JP3624884B2 - 音声データ処理装置 - Google Patents
音声データ処理装置 Download PDFInfo
- Publication number
- JP3624884B2 JP3624884B2 JP2001400597A JP2001400597A JP3624884B2 JP 3624884 B2 JP3624884 B2 JP 3624884B2 JP 2001400597 A JP2001400597 A JP 2001400597A JP 2001400597 A JP2001400597 A JP 2001400597A JP 3624884 B2 JP3624884 B2 JP 3624884B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- audio data
- band
- sampling frequency
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声データを符号化する符号化装置、符号化音声データを復号する復号装置として用いられる音声データ処理装置、方法及びプログラムに関し、特に、入力サンプリング周波数と異なる出力サンプリング周波数のデータを得る場合に用いて好適なものである。
【０００２】
【従来の技術】
従来、サンプリング周波数Ｆｓ の音声データ（オーディオデータ）を帯域分割符号化方式により圧縮符号化する符号化装置を用いて、サンプリング周波数Ｆｓ／ｎの音声データを符号化できるようにする場合、図８のような構成としていた。ここでは、例えばｎ＝２とし、Ｆｓ ＝３２ＫＨｚの音声データを扱う符号化装置を用いて、Ｆｓ ／２＝１６ＫＨｚの音声データを符号化してＦｓ ＝３２ＫＨｚの符号化音声データを得る場合について説明する。
【０００３】
図８において、Ｆｓ ／２＝１６ＫＨｚの音声データが入力されると、リサンプラ部１００において、ゼロ挿入部１０１によりサンプルとサンプルの間にｎ−１個（この例では１個）のゼロデータが挿入されることにより、Ｆｓ ＝３２ＫＨｚに周波数変換される。もし、このゼロデータが挿入されたデータをそのままエンコーダ部２００のサブバンド解析フィルタバンク２０１に入力すると、ゼロデータを挿入したことによる本来出てこないはずの１６／２＝８ＫＨｚ以上のエイリアス成分が現れてしまう。
【０００４】
そこで、次にＬＰＦ（ローパスフィルタ）からなる補間フィルタ１０２により上記エイリアス成分を除去した後、サブバンド解析フィルタバンク２０１に入力する。サブバンド解析フィルタバンク２０１においては、補間フィルタ１０２の出力が複数の帯域に分割される。分割された複数の帯域信号は符号化部２０２で圧縮符号化され、Ｆｓ ＝３２ＫＨｚの符号化音声データとして出力される。
【０００５】
また従来、帯域分割符号化方式で圧縮符号化されたサンプリング周波数Ｆｓ の符号化音声データを復号する復号装置を用いて、サンプリング周波数Ｆｓ ／ｎの復号された音声データを出力できるようにする場合は、図９のような構成としていた。例えばｎ＝２とし、Ｆｓ ＝３２ＫＨｚの符号化音声データを扱う復号装置を用いて、Ｆｓ ／２＝１６ＫＨｚの音声データを出力する場合について説明する。
【０００６】
図９において、Ｆｓ ＝３２ＫＨｚの圧縮符号化された音声データが入力されると、デコーダ部３００において、復号部３０１により各帯域毎に復号された後、サブバンド合成フィルタバンク３０２により各帯域信号が合成される。この帯域合成出力はリサンプリング部４００のＬＰＦ４０１によりＦｓ ／２ｎ＝８ＫＨｚ以上の周波数成分を除去された後、間引き部４０２で間引き処理（デシメーション処理）がなされることにより、Ｆｓ ／２＝１６ＫＨｚに周波数変換された音声データを得ることができる。
【０００７】
このような符号化装置及び復号装置の構成は、処理能力の高いＤＳＰ（デジタル信号処理装置）等を用いたハードウェア構成としたり、あるいはＣＰＵを用いたソフトウェア構成とすることができる。
【０００８】
【発明が解決しようとする課題】
上述した図８の符号化装置の構成では、音声データが補間フィルタ１０２とサブバンド解析フィルタバンク２０１の２つのフィルタを通る。また、リサンプラ部１００で１６ＫＨｚ→３２ＫＨｚに周波数変換されたデータには、０〜１６／２ＫＨｚの信号成分が含まれ、８ＫＨｚ以上はエイリアス成分となっている。従って、後段のサブバンド解析フィルタバンク２０１の出力のうち上半分である８ＫＨｚ以上の周波数成分は無駄なものとなっている。
【０００９】
また、図９の復号装置の構成では、復号されたデータがサブバンド合成フィルタバンク３０２とＬＰＦ４０１の２つのフィルタを通る。また、サブバンド合成フィルタ３０２の出力における８ＫＨｚより高い周波数成分はＬＰＦ４０１で除去されるので、サブバンド合成フィルタバンク２０１の出力のうち上記８ＫＨｚより高い周波数成分は無駄なものとなっている。
【００１０】
従って、従来の符号化装置及び復号装置は、上記の理由により無駄な演算が多くなり、このため、符号化装置及び復号装置をハードウェア構成とする場合は、回路規模が増大し、ソフトウェア構成とする場合は、処理速度が低下する等の問題があった。
【００１１】
本発明は上記の問題を解決するためになされたもので、ハードウェア構成とする場合は、回路規模を縮小することができ、ソフトウェア構成とする場合は、処理速度を向上させることができる符号化装置、復号装置等の音声データ処理装置、方法、及びこの装置をソフトウェア構成とする場合にＣＰＵが実行するプログラムを提供することを目的としている。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、本発明による符号化装置としての音声データ処理装置は、サンプリング周波数Ｆｓ／ｎの音声データの入力とサンプリング周波数Ｆｓの音声データの入力との切り換えを示す切換信号を入力する切換信号入力部と、前記切換信号に応じて前記二つの音声データを切り換えて入力する切換手段と、前記サンプリング周波数Ｆｓ／ｎの入力音声データのサンプルとサンプルとの間にｎ−１個のゼロデータを挿入してサンプリング周波数Ｆｓの音声データに変換するゼロデータ挿入手段と、前記変換されたサンプリング周波数Ｆｓの音声データを複数の帯域信号に分割するサブバンド解析フィルタバンクと、前記複数の帯域信号をそれぞれ正規化して正規化データを得る正規化手段と、前記正規化データを所定の割当てられたビット数で量子化して量子化データを得る量子化手段と、前記量子化手段に所定のビット数を割当て、その際、前記切換信号が前記サンプリング周波数Ｆｓ／ｎの音声データの入力を示すときは、前記複数の帯域信号のうちＦｓ／２ｎ以上の帯域信号に対応する正規化データに対してゼロビットを割当て、前記切換信号が前記サンプリング周波数Ｆｓの音声データの入力を示すときは、前記Ｆｓ／２ｎ以上の帯域信号に対応する正規化データに対するゼロビットの割当ては行わないビット割当手段とを設けたものである。
【００１３】
また、本発明による符号化装置としての音声データ処理装置は、サンプリング周波数Ｆｓの復号化音声データの出力とサンプリング周波数Ｆｓ／ｎの復号化音声データの出力との切り換えを示す切換信号を入力する切換信号入力部と、入力したサンプリング周波数Ｆｓの符号化音声データを複数の帯域毎に復号する復号化手段と、前記復号された音声データを逆量子化して逆量子化データを得る逆量子化手段と、前記逆量子化データを所定のレベルに制御し、その際、前記切換信号が前記サンプリング周波数Ｆｓ／ｎの復号化音声データの出力を示すときは、Ｆｓ／２ｎ以上の帯域と対応する逆量子化データに対するゼロレベル制御は行わないレベル制御手段と、前記レベル制御された帯域毎のデータを合成して帯域合成データを得るサブバンド合成フィルタバンクと、前記帯域合成データを間引きしてサンプリング周波数Ｆｓ／ｎの音声データを得る間引き手段と、前記切換信号が前記サンプリング周波数Ｆｓ／ｎの復号化音声データの出力を示すときは、前記サブバンド合成フィルタバンクから得られる前記帯域合成データを前記間引き手段に出力し、前記切換信号が前記サンプリング周波数Ｆｓの復号化音声データの出力を示すときは、前記間引き手段を通さずに出力する切り換え手段とを設けたものである。
【００２０】
【作用】
従って、本発明によれば、符号化を行う場合は、サブバンド解析フィルタバンクにより帯域分割した後に帯域制限を行ってエイリアス成分を除去するので、従来のようにフィルタ処理を２回行わずに済み、処理を速くできる。また、上記帯域制限は、エイリアス成分の帯域に対して量子化の際にゼロビットを割当てるだけなので、回路構成を簡単にして容易に実現することができる。
【００２１】
また、復号を行う場合は、サブバンド合成フィルタで帯域合成する前に帯域制限を行ってエイリアス成分の帯域を除去するので、フィルタ処理を２回行わずに済み、処理を速くできる。また、上記帯域制限は、エイリアス成分の帯域をゼロレベルに制御するだけなので、回路構成を簡単にして容易に実現することができる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を図面と共に説明する。
図１は本発明の第１の実施の形態による符号化装置を概念的に示すブロック図である。
１はサンプリング周波数Ｆｓ ／ｎの入力音声データにゼロデータを挿入してサンプリング周波数Ｆｓ に変換するゼロ挿入部である。２はＦｓ に変換された音声データを複数の帯域信号に分割するサブバンド解析フィルタバンクである。３は複数の帯域信号を帯域制限してエイリアス成分を除去する帯域制限部である。４はエイリアス成分が除去された音声データをサンプリング周波数Ｆｓ で圧縮符号化する符号化部である。
【００２３】
次に、上記構成による動作について説明する。ここでは、図示の符号化装置が、本来はサンプリング周波数Ｆｓ の音声データを帯域分割方式により圧縮符号化する符号化装置であって、この符号化装置を用いてＦｓ ／ｎの音声データを符号化してＦｓ の符号化音声データを得るものとする。例としてｎ＝２とし、Ｆｓ ／２＝１６ＫＨｚの音声データを符号化してＦｓ ＝３２ＫＨｚの符号化音声データを得る場合について説明する。
【００２４】
図１において、Ｆｓ ／２＝１６ＫＨｚの音声データが入力されると、ゼロ挿入部１によりサンプルとサンプルの間にｎ−１個（この例では１個）のゼロデータを挿入する。従って、音声データのサンプル数がｎ個になり、サンプリング周波数がＦｓ ／２からＦｓ ＝３２ＫＨｚに周波数変換される。
【００２５】
この周波数変換されたデータには、図２（ａ）に示す元のデータのスペクトルに対して、同図（ｂ）に示すようにＦｓ ／２ｎ（＝８ＫＨｚ）以上のエイリアス成分が含まれているが、これをそのままサブバンド解析フィルタバンク２に入力して、複数の帯域信号に分割する。次に、複数の帯域信号のうち８ＫＨｚより高い周波数成分を帯域制限部３により除去する。その後、符号化部２０２で圧縮符号化することにより、Ｆｓ ＝３２ＫＨｚの符号化音声データが出力される。
【００２６】
本実施の形態においては、サンプリング周波数が変換されたデータをエイリアス成分を含んだままサブバンド解析フィルタバンク２で処理した後、帯域制限部３でエイリアス成分を除去しているので、図８の従来の符号化装置における補間フィルタ１０２による処理を省略することができる。また、帯域制限部３としては、後述する図４のビット割当部２１においてビット割当てをしない、あるいはスケールファクタ抽出・正規化部１８においてスケールファクタをゼロにする等の方法により、容易に実現することができる。
従って、本実施の形態によれば、処理を高速に行うことかできると共に、回路規模を縮小することができる。
【００２７】
図３は本発明の第２の実施の形態による復号装置を概念的に示すブロック図である。
図３において、５はサンプリング周波数Ｆｓ の音声データを帯域毎に復号する復号部、６は復号されたデータのエイリアス成分を除去する帯域制限部、７は帯域制限されたデータの各帯域信号を合成するサブバンド合成フィルタバンク、７は帯域合成された音声データを間引きする間引き部である。
【００２８】
次に、上記構成による動作について説明する。ここでは、図示の復号装置が、本来はサンプリング周波数Ｆｓ の帯域分割方式により圧縮符号化された音声データを復号してＦｓ の音声データを出力する復号装置であって、この復号装置を用いてＦｓ ／ｎの音声データを出力するものとする。例としてｎ＝２とし、Ｆｓ ＝３２ＫＨｚの符号化音声データを復号してＦｓ ／ｎ＝１６ＫＨｚの音声データを出力する場合について説明する。
【００２９】
図３において、復号部５は、入力されたＦｓ ＝３２ＫＨｚの圧縮符号化された音声データを帯域毎に復号する。もしこの復号されたデータをそのままサブバンド合成フィルタ７に入力して処理し、さらに間引き処理すると、出力にエイリアス成分が折り返し雑音となって帯域内に現れてしまう。このため、上記復号されたデータを帯域制限部６でエイリアス成分に相当するＦｓ ／２ｎの帯域信号を除去した後、サブバンド合成フィルタ７に入力して残りの各帯域信号を合成する。この帯域合成された音声データは次に間引き部８で間引き処理されることにより、Ｆｓ ／２＝１６ＫＨｚの音声データを得ることができる。
【００３０】
本実施の形態においては、復号したデータをサブバンド合成フィルタ７に入力する前に帯域制限部６でエイリアス成分を除去しているので、図９のＬＰＦ４０１による処理を省略することができる。また、帯域制限部６としては、後述する図６の復号装置におけるレベル制御部２８において、Ｆｓ ／２ｎ（＝８ＫＨｚ）以上の帯域がゼロになるように制御することにより、容易に実現することができる。
従って、本実施の形態によれば、処理を高速に行うことかできると共に、回路規模を縮小することができる。
【００３１】
図４は本発明の第３の実施の形態を示すブロック図であり、図１に概念的に示した符号化装置の具体的な構成例を示すものである。
この符号化装置は、サンプリング周波数Ｆｓ の音声データを帯域分割方式により圧縮符号化してＦｓ の符号化音声データを出力する従来の構成部分と、サンプリング周波数Ｆｓ ／ｎの音声データを圧縮符号化してＦｓ の符号化音声データを出力する本発明に関する構成部分とを含むものである。
【００３２】
図４において、１１はアナログ音声信号が入力される入力端子、１２はアナログ音声信号から折り返し雑音となるエイリアス成分を除去するＬＰＦ、１３はＬＰＦ１２の出力をサンプリング周波数Ｆｓ でＡ／Ｄ変換してデジタルの音声データを出力するＡ／Ｄ変換器である。１４はＦｓ ／ｎのデジタルの音声データが入力される入力端子、１５は上記入力音声データのサンプルとサンプルの間にｎ−１個のゼロデータを挿入してＦｓ の音声データに周波数変換するゼロ挿入部である。１６はＡ／Ｄ変換器１３の出力又はゼロ挿入部１５の出力を選択するセレクタである。
【００３３】
１７は入力音声データを複数帯域に分割するサブバンド解析フィルタバンク、１８は複数の帯域信号を正規化すると共に、その正規化データのスケールファクタインデックスを求めるスケールファクタ抽出・正規化部、１９は帯域毎の正規化データを割り当てられたビット数で量子化する量子化部、２０は心理聴覚モデルを使用して入力音声データの耳に聞こえる程度を帯域毎に求める心理聴覚分析部で、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｓｆｏｒｍ，高速フーリエ変換）処理を行うＦＦＴ処理部（図示せず）を前処理部として内蔵するものとする。
【００３４】
２１は量子化部１９の量子化に際して各帯域に何ビットを割り当てるかを、心理聴覚分析部２０の分析結果に基づいて決定するビット割当部、２２はＦｓ の入力音声データとＦｓ ／２の入力音声データとの切り換え制御信号が入力される入力端子である。２３は量子化されたデータと制御情報等をビットストリームに組み立てるビットストリームエンコーダ、２４は符号化音声データ及び制御情報等を含むビットストリームを出力する出力端子である。
【００３５】
上記従来の構成部分は、上記１１，１２，１３，１７〜２１，２３，２４の部分であり、上記本発明に関する構成部分は、上記１４，１５，１６，２２の部分である。
【００３６】
次に、上記構成による動作について説明する。ここでは、ｎ＝２，Ｆｓ ＝３２ＫＨｚとして説明する。
まず、入力端子１１にアナログの音声信号が入力された場合の従来の構成部分の動作について説明する。このときセレクタ１６は入力端子２２に入力された切り換え制御信号によりＡ／Ｄ変換器１３の出力を選択する。
【００３７】
入力端子１１に入力された音声信号はＬＰＦ１２でＦｓ ／２以上のエイリアス成分を除去され後、Ａ／Ｄ変換器１３でＦｓ ＝３２ＫＨｚでサンプリングされることにより、０〜Ｆｓ ／２の帯域（０〜１６ＫＨｚ）に有効データを有するデジタルの音声データに変換される。この音声データはセレクタ１６を介してサブバンド解析フィルタバンク１７と心理聴覚分析部２０に入力される。
【００３８】
サブバンド解析フィルタバンク１７は、それぞれ通過帯域の異なるａ個の並列に設けられた帯域フィルタで構成され、音声データが各帯域フィルタに共通に入力されることにより、Ｆｓ ／２の帯域がａ個の帯域信号に分割される。従って、各帯域フィルタからａ個の実数の組が得られる。以下の説明においては、サブバンド解析フィルタバンク１７から出力されるａ個のサンプル（実数）を１組とし、これをｂ組、組み合わせたサンプル数ａｂ個のデータを１フレームと言うものとする。
【００３９】
次に、スケールファクタ抽出・正規化部１８では、１フレーム内で、各帯域におけるｂ個の実数について絶対値が最大の実数を求め、さらに、この絶対値が最大の実数を１として、他の実数の正規化を行う。従って、各帯域について−１．０００〜＋１．０００の実数で表わされる正規化データが得られる。次に、その帯域の正規化データにおける１が示す実際の値（即ち、絶対値が最大の実数）を２進数で表現する場合の値（例えば、絶対値が最大の実数が８なら２進数で８、１０なら２進数で１６、１２０なら２進数で１２８等々）をスケールファクタとしてスケールファクタインデックスと対応して記載されたスケールファクタテーブルから各帯域におけるスケールファクタインデックスを求めておく。
【００４０】
一方、心理聴覚分析部２０では、まず前処理として、Ａ／Ｄ変換器１３からの１フレーム分のデータであるａｂ個のサンプルについてＦＦＴ処理を行う。この分析の結果、Ｆｓ ／２の帯域のデータが有効であるので、ａｂ／２個の複素数で表される有効データが得られる。ここで、各複素数の絶対値を求めておく。
【００４１】
次に、上記ａｂ／２個の有効データから次の条件に基づいて耳に聞こえるであろう音をレベル別に選択する。
（１）大きな帯域成分は多分聞こえる。
（２）（１）の成分の周りの音は聞こえ難い。
（３）小さな成分は聞こえ難い。
（４）（１）〜（３）に、さらに耳の周波数特性（聴覚特性）を考慮する。
【００４２】
上記のようにして聞こえる音のレベルを段階的に示すデータを得、これをさらに対応する帯域毎にまとめる。そして、各帯域について上記データを各段階毎に数値化する。例えば２倍のレベル差をｄＢ（６ｄＢで２倍）で表す。
【００４３】
次に、ビット割当部２１は、上記ｄＢで表わされた各段階に対してビット数を割り当てる。例えば６ｄＢについて１ビットを割り当て、レベル差が大きくなる程ビット数を多く割当てる。また、総ビット数が所定のビット数に収まるようにする。従って、このビット割当部２１からは、帯域毎に何ビットを割当てるかを示すビット割当情報が出力される。
【００４４】
次に、量子化部１９は、スケールファクタ抽出・正規化部１８から得られる前記正規化データを上記ビット割当情報により割当てられたビット数で２進数に変換し、小数点以下を割当てられたビット数だけ取り出す。
【００４５】
次に、ビットストリームエンコーダ２３において、１フレーム毎にヘッダ部と量子化データ部とが作成される。ヘッダ部には、前記絶対値が最大の実数を何ビットで表したかを帯域毎に示す情報が所定ビット数で記載される。また、上記量子化データ部は、上記ビット割当情報としてのビットアロケーション情報、帯域毎の前記スケールファクタインデックス情報等が所定ビット数で記載され、その後に量子化データが続くようなデータ構成となっている。これらの情報は、スケールファクタ抽出・正規化部１８、ビット割当部２１及び量子化部１９から得られるもので、復号装置により符号化音声データを復号する際に必要な制御情報として用いられる。
上記ヘッダ部及び量子化データ部はビットストリームに組み立てられて、出力端子２４からＦｓ ＝３２ＫＨｚの符号化音声データとして出力される。
【００４６】
次に、入力端子１４にＦｓ ＝１６ＫＨｚの音声データが入力された場合、即ち、本発明に関する場合について図５のフローチャートを参照して説明する。このときセレクタ１６は入力端子２２からの切り換え制御信号によりゼロ挿入部１５の出力を選択する。
【００４７】
入力された音声データは、ゼロ挿入部１５でサンプルとサンプルの間にｎ−１個（この例では１個）のゼロデータが挿入されることにより、Ｆｓ ＝３２ＫＨｚに変換される（図５のステップＳ１、以下、ステップ略）。これにより、以下の処理を従来と同等に行うことができる。尚、このゼロデータが挿入された音声データは、１６／２＝８ＫＨｚ以上のエイリアス成分を含んでいる。この音声データはセレクタ１６を介してサブバンド解析フィルタバンク１７と心理聴覚分析部２０に入力される。
【００４８】
サブバンド解析フィルタバンク１７では、前述したように入力音声データはａ個の帯域信号に分割される（Ｓ２）。分割された帯域信号は次にスケールファクタ抽出・正規化部１８に入力されて正規化が行われると共に、スケールファクタインデックスが求められる（Ｓ３）。
【００４９】
一方、心理聴覚分析部２０により帯域毎に耳に聞こえる音を段階的に示す情報が得られ、この情報に基づいてビット割当部２１が正規化データにビット割当てを行うが、その際、前記切り換え制御信号に応じて上記８ＫＨｚ以上のエイリアス成分の帯域についてはビットを割り当てないようにする（Ｓ４）。
【００５０】
次に、量子化部１９で正規化データの量子化を行うが（Ｓ５）、その場合、上記エイリアス成分の帯域については量子化が省略される。即ち、エイリアス成分の帯域の割当てビット数を強制的にゼロにすることにより、エイリアス成分を除去することができる。次に、量子化部１９からの量子化データは、ビットストリームエンコーダ２３において、制御情報と共にビットストリームに組み立てられて出力される（Ｓ６）。
【００５１】
尚、前記切り換え制御信号に応じてスケールファクタ抽出・正規化部１８における正規化等の処理をエイリアス成分の帯域については行わないようにすれば、量子化部１９では自動的にその帯域の量子化が行われないので、割当てビット数をゼロにした場合と同等の効果が得られる。
【００５２】
本実施の形態によれば、サンプリング周波数Ｆｓ の符号化装置を用いてＦｓ ／ｎの入力音声データを圧縮符号化してＦｓ の符号化音声データを得ることができる。従って、この符号化音声データをサンプリング周波数Ｆｓ の符号化音声データを扱う復号装置を用いて通常の復号処理を行うことができる。
また、エイリアス成分については、量子化や正規化等の処理を行わないようにしているので、全体の処理量を削減できると共に、簡単な回路、あるいは処理を付加するだけで実現することができる。
【００５３】
図６は本発明の第４の実施の形態を示すブロック図であり、図３に概念的に示した復号装置の具体的な構成例を示すものである。
この復号装置は、サンプリング周波数Ｆｓ の圧縮符号化された音声データを復号してＦｓ の音声データを出力する従来の構成部分と、サンプリング周波数Ｆｓの圧縮符号化された音声データを復号してＦｓ ／ｎの音声データを出力する本発明に関する構成部分とを含むものである。
【００５４】
図６において、２５はサンプリング周波数Ｆｓ の符号化音声データのビットストリームが入力される入力端子、２６は入力されたビットストリームから量子化データと、ビットアロケーション情報及びスケールファクタインデックス情報等の制御情報とを分離するビットストリームデコーダ、２７は量子化データをビットアロケーション情報に基づいて逆量子化して元の正規化データ（実数）を出力する逆量子化部、２８は逆量子化された実数データをスケールファクタに基づいてレベル制御するレベル制御部、２９はレベル制御されたデータの各帯域信号を合成するサブバンド合成フィルタ、３０は切り換え制御信号の入力端子である。
【００５５】
３１は分配器で、復号された音声データを切り換え制御信号に応じて分配する。３２は復号された音声データをアナログ音声信号に変換するＤ／Ａ変換器、３３はアナログ音声信号からエイリアス成分を除去するＬＰＦ、３４はアナログ音声信号の出力端子である。３５は音声データを間引き処理してＦｓ ／ｎの音声データを得る間引き部、３６は間引きされたＦｓ ／ｎの音声データの出力端子である。
【００５６】
上記構成において、上記２５〜２９，３２〜３４は従来の構成部分、３０，３１，３５，３６は本発明に関する構成部分である。
【００５７】
次に、上記構成による動作について説明する。ここでは、ｎ＝２，Ｆｓ ＝３２ＫＨｚとし、Ｆｓ ＝３２ＫＨｚの音声データを出力する場合と、Ｆｓ ＝１６ＫＨｚの音声データを出力する場合とについて説明する。
【００５８】
まず、Ｆｓ ＝３２ＫＨｚの音声データを出力する場合について説明する。
入力端子２５に帯域分割方式によりＦｓ ＝３２ＫＨｚで圧縮符号化された音声データのビットストリームが入力されると、ビットストリームデコーダ２６は、１フレーム毎に量子化データと、スケールファクタインデックス情報及びビットアロケーション情報を含む制御情報とを分離する。この場合、１フレームにつき、スケールファクタインデックスは１組存在し、量子化データはｂ組存在する。次に、逆量子化部２７は、量子化データを制御情報におけるビットアロケーション情報に基づいて−１〜＋１の元の実数データ（逆量子化データ）に逆量子化する。
【００５９】
次に、レベル制御部２８は、スケールファクタテーブルを用いて上記スケールファクタインデックスからスケールファクタを求め、求められたスケールファクタを上記実数データに乗算する。これにより、図４の符号化装置におけるサブバンド解析フィルタバンク１７の出力と同等の帯域毎の出力データが得られる。この帯域毎の出力データをサブバンド合成フィルタバンク２９に入力して、各帯域信号を合成する。
【００６０】
この帯域合成された音声データは、入力端子３０からの切り換え制御信号に応じて分配器３１を介してＤ／Ａ変換器３２に供給され、アナログ音声信号に変換される。その後、ＬＰＦ３３でエイリアス成分が除去されて出力端子３４から出力される。
【００６１】
次に、Ｆｓ ＝１６ＫＨｚの音声データを出力する場合について図７のフローチャートを参照して説明する。
この場合は、入力音声データにはＦｓ ／２までの帯域のデータが含まれており、これをそのまま１／２に間引して１６ＫＨｚにすると、１６／２＝８ＫＨｚ以上のエイリアス成分が発生してしまう。
【００６２】
まず、入力端子２５に符号化音声データのビットストリームが入力されると、ビットストリームデコーダ２６により量子化データと制御情報とに分離され（Ｓ１１）た後、逆量子化部２７で逆量子化される（Ｓ１２）。次に、逆量子化された実数データをレベル制御部２８でスケールファクタインデックスを乗算するが、このとき、前記切り換え制御信号に応じてエイリアス成分に相当する８ＫＨｚ以上の帯域に対して強制的にゼロを乗算する（Ｓ１３）。
【００６３】
この乗算結果をサブバンド合成フィルタバンク２９で合成すれば（Ｓ１４）、エイリアス成分の帯域が除去され、残りの帯域が合成されたデータを得ることができる。この帯域合成データを前記切り換え制御信号で制御される分配器３１を介して間引き部３５で１／２に間引き処理することにより（Ｓ１５）、エイリアス成分のないＦｓ ＝１６ＫＨｚの復号された音声データを出力端子３６に得ることができる。
【００６４】
本実施の形態によれば、サンプリング周波数Ｆｓ の符号化音声データを扱う復号装置を用いて、ダウンサンプリングされたサンプリング周波数Ｆｓ ／ｎの復号された音声データを得ることができる。従って、この音声データを後段のサンプリング周波数Ｆｓ ／ｎの音声データしか扱うことのできない処理装置、例えばＤ／Ａ変換器に入力することができる。
また、エイリアス成分の帯域についてはゼロを乗算するので、エイリアス成分のない出力音声データを得ることができると共に、簡単な回路、あるいは処理を付加するだけで実現することができる。
【００６５】
次に、本発明の実施の形態によるプログラムについて説明する。
本発明による符号化装置や復号装置等の音声データ処理装置をソフトウェア構成とする場合、図１〜図７について前述した動作に基づく処理を、音声データ処理装置のコンピュータシステムにおけるＣＰＵが実行するためのプログラムは、本発明によるプログラムを構成する。
【００６６】
このプログラムの記録媒体としては、光磁気ディスク、光ディスク、半導体メモリ、磁気記録媒体等を用いることができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フレキシブルディスク、メモリカード等に構成して用いてよい。またこの記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部のＲＡＭ等の揮発性メモリのように、一定時間プログラムを保持するものも含まれる。
【００６７】
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータシステムに伝送されるものであってもよい。上記伝送媒体とは、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体をいうものとする。
【００６８】
また、上記プログラムは、前述した機能の一部を実現するためであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００６９】
従って、この記録媒体を図１、図３、図４、図６のシステム又は装置とは異なるシステム又は装置において用い、そのシステム又は装置のコンピュータがこの記録媒体に格納されたプログラムを実行することによっても、各実施の形態で説明した機能及び効果と同等の機能及び効果を得ることができ、本発明の目的を達成することができる。
【００７０】
【発明の効果】
以上説明したように本発明によれば、符号化を行う場合は、サブバンド解析フィルタバンクによる帯域分割の後にエイリアス成分を除去するための帯域制限を行うので、従来のようにフィルタ処理を２回行わずに済み、処理を速くできる。また、帯域制限は、エイリアス成分の帯域の量子化の際にゼロビットを割当てるだけなので、回路構成を簡単にして容易に実現することができる。
【００７１】
また、復号を行う場合は、サブバンド合成フィルタで帯域合成する前にエイリアス成分の帯域を除去するための帯域制限を行うので、フィルタ処理を２回行わずに済み、処理を速くできる。また、帯域制限は、エイリアス成分の帯域をゼロレベルに制御するだけなので、回路構成を簡単にして容易に実現することができる。
【００７２】
従って、本発明によれば、音声データ処理装置をハードウェア構成とする場合には、回路構成を簡単にすることができ、音声データ処理装置をソフトウェア構成とする場合には、処理を高速に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による符号化装置を示すブロック図である。
【図２】図１の動作を説明するための周波数スペクトラムを示す図である。
【図３】本発明の第２の実施の形態による復号装置を示すブロック図である。
【図４】本発明の第３の実施の形態による符号化装置を示すブロック図である。
【図５】図４の符号化装置において、サンプリング周波数Ｆｓ ／ｎの音声データが入力された場合における動作を示すフローチャートである。
【図６】本発明の第４の実施の形態による復号装置を示すブロック図である。
【図７】図５の復号装置において、サンプリング周波数Ｆｓ ／ｎの音声データを出力する場合における動作を示すフローチャートである。
【図８】従来の符号化装置を示すブロック図である。
【図９】従来の復号装置を示すブロック図である。
【符号の説明】
１：ゼロ挿入部、２：サブバンド解析フィルタバンク、３：帯域制限部、４：符号化部、５：復号部、６：帯域制限部、７：サブバンド合成フィルタバンク、８：間引き部、１１：アナログ音声信号の入力端子、１４：Ｆｓ ／２の音声データの入力端子、１５：ゼロ挿入部、１６：セレクタ、１７：サブバンド解析フィルタバンク、１８：スケールファクタ抽出・正規化部、１９：量子化部、２１：ビット割当部、２２：切り換え制御信号の入力端子、２３：ビットストリームエンコーダ、２５：符号化音声データの入力端子、２６：ビットストリームデコーダ、２７：逆量子化部、２８：レベル制御部、２９：サブバンド合成フィルタバンク、３０：切り換え制御信号の入力端子、３１：分配器、３４：アナログ音声信号の出力端子、３５：間引き部、３６：Ｆｓ ／ｎの音声データの出力端子
【発明の属する技術分野】
本発明は、音声データを符号化する符号化装置、符号化音声データを復号する復号装置として用いられる音声データ処理装置、方法及びプログラムに関し、特に、入力サンプリング周波数と異なる出力サンプリング周波数のデータを得る場合に用いて好適なものである。
【０００２】
【従来の技術】
従来、サンプリング周波数Ｆｓ の音声データ（オーディオデータ）を帯域分割符号化方式により圧縮符号化する符号化装置を用いて、サンプリング周波数Ｆｓ／ｎの音声データを符号化できるようにする場合、図８のような構成としていた。ここでは、例えばｎ＝２とし、Ｆｓ ＝３２ＫＨｚの音声データを扱う符号化装置を用いて、Ｆｓ ／２＝１６ＫＨｚの音声データを符号化してＦｓ ＝３２ＫＨｚの符号化音声データを得る場合について説明する。
【０００３】
図８において、Ｆｓ ／２＝１６ＫＨｚの音声データが入力されると、リサンプラ部１００において、ゼロ挿入部１０１によりサンプルとサンプルの間にｎ−１個（この例では１個）のゼロデータが挿入されることにより、Ｆｓ ＝３２ＫＨｚに周波数変換される。もし、このゼロデータが挿入されたデータをそのままエンコーダ部２００のサブバンド解析フィルタバンク２０１に入力すると、ゼロデータを挿入したことによる本来出てこないはずの１６／２＝８ＫＨｚ以上のエイリアス成分が現れてしまう。
【０００４】
そこで、次にＬＰＦ（ローパスフィルタ）からなる補間フィルタ１０２により上記エイリアス成分を除去した後、サブバンド解析フィルタバンク２０１に入力する。サブバンド解析フィルタバンク２０１においては、補間フィルタ１０２の出力が複数の帯域に分割される。分割された複数の帯域信号は符号化部２０２で圧縮符号化され、Ｆｓ ＝３２ＫＨｚの符号化音声データとして出力される。
【０００５】
また従来、帯域分割符号化方式で圧縮符号化されたサンプリング周波数Ｆｓ の符号化音声データを復号する復号装置を用いて、サンプリング周波数Ｆｓ ／ｎの復号された音声データを出力できるようにする場合は、図９のような構成としていた。例えばｎ＝２とし、Ｆｓ ＝３２ＫＨｚの符号化音声データを扱う復号装置を用いて、Ｆｓ ／２＝１６ＫＨｚの音声データを出力する場合について説明する。
【０００６】
図９において、Ｆｓ ＝３２ＫＨｚの圧縮符号化された音声データが入力されると、デコーダ部３００において、復号部３０１により各帯域毎に復号された後、サブバンド合成フィルタバンク３０２により各帯域信号が合成される。この帯域合成出力はリサンプリング部４００のＬＰＦ４０１によりＦｓ ／２ｎ＝８ＫＨｚ以上の周波数成分を除去された後、間引き部４０２で間引き処理（デシメーション処理）がなされることにより、Ｆｓ ／２＝１６ＫＨｚに周波数変換された音声データを得ることができる。
【０００７】
このような符号化装置及び復号装置の構成は、処理能力の高いＤＳＰ（デジタル信号処理装置）等を用いたハードウェア構成としたり、あるいはＣＰＵを用いたソフトウェア構成とすることができる。
【０００８】
【発明が解決しようとする課題】
上述した図８の符号化装置の構成では、音声データが補間フィルタ１０２とサブバンド解析フィルタバンク２０１の２つのフィルタを通る。また、リサンプラ部１００で１６ＫＨｚ→３２ＫＨｚに周波数変換されたデータには、０〜１６／２ＫＨｚの信号成分が含まれ、８ＫＨｚ以上はエイリアス成分となっている。従って、後段のサブバンド解析フィルタバンク２０１の出力のうち上半分である８ＫＨｚ以上の周波数成分は無駄なものとなっている。
【０００９】
また、図９の復号装置の構成では、復号されたデータがサブバンド合成フィルタバンク３０２とＬＰＦ４０１の２つのフィルタを通る。また、サブバンド合成フィルタ３０２の出力における８ＫＨｚより高い周波数成分はＬＰＦ４０１で除去されるので、サブバンド合成フィルタバンク２０１の出力のうち上記８ＫＨｚより高い周波数成分は無駄なものとなっている。
【００１０】
従って、従来の符号化装置及び復号装置は、上記の理由により無駄な演算が多くなり、このため、符号化装置及び復号装置をハードウェア構成とする場合は、回路規模が増大し、ソフトウェア構成とする場合は、処理速度が低下する等の問題があった。
【００１１】
本発明は上記の問題を解決するためになされたもので、ハードウェア構成とする場合は、回路規模を縮小することができ、ソフトウェア構成とする場合は、処理速度を向上させることができる符号化装置、復号装置等の音声データ処理装置、方法、及びこの装置をソフトウェア構成とする場合にＣＰＵが実行するプログラムを提供することを目的としている。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、本発明による符号化装置としての音声データ処理装置は、サンプリング周波数Ｆｓ／ｎの音声データの入力とサンプリング周波数Ｆｓの音声データの入力との切り換えを示す切換信号を入力する切換信号入力部と、前記切換信号に応じて前記二つの音声データを切り換えて入力する切換手段と、前記サンプリング周波数Ｆｓ／ｎの入力音声データのサンプルとサンプルとの間にｎ−１個のゼロデータを挿入してサンプリング周波数Ｆｓの音声データに変換するゼロデータ挿入手段と、前記変換されたサンプリング周波数Ｆｓの音声データを複数の帯域信号に分割するサブバンド解析フィルタバンクと、前記複数の帯域信号をそれぞれ正規化して正規化データを得る正規化手段と、前記正規化データを所定の割当てられたビット数で量子化して量子化データを得る量子化手段と、前記量子化手段に所定のビット数を割当て、その際、前記切換信号が前記サンプリング周波数Ｆｓ／ｎの音声データの入力を示すときは、前記複数の帯域信号のうちＦｓ／２ｎ以上の帯域信号に対応する正規化データに対してゼロビットを割当て、前記切換信号が前記サンプリング周波数Ｆｓの音声データの入力を示すときは、前記Ｆｓ／２ｎ以上の帯域信号に対応する正規化データに対するゼロビットの割当ては行わないビット割当手段とを設けたものである。
【００１３】
また、本発明による符号化装置としての音声データ処理装置は、サンプリング周波数Ｆｓの復号化音声データの出力とサンプリング周波数Ｆｓ／ｎの復号化音声データの出力との切り換えを示す切換信号を入力する切換信号入力部と、入力したサンプリング周波数Ｆｓの符号化音声データを複数の帯域毎に復号する復号化手段と、前記復号された音声データを逆量子化して逆量子化データを得る逆量子化手段と、前記逆量子化データを所定のレベルに制御し、その際、前記切換信号が前記サンプリング周波数Ｆｓ／ｎの復号化音声データの出力を示すときは、Ｆｓ／２ｎ以上の帯域と対応する逆量子化データに対するゼロレベル制御は行わないレベル制御手段と、前記レベル制御された帯域毎のデータを合成して帯域合成データを得るサブバンド合成フィルタバンクと、前記帯域合成データを間引きしてサンプリング周波数Ｆｓ／ｎの音声データを得る間引き手段と、前記切換信号が前記サンプリング周波数Ｆｓ／ｎの復号化音声データの出力を示すときは、前記サブバンド合成フィルタバンクから得られる前記帯域合成データを前記間引き手段に出力し、前記切換信号が前記サンプリング周波数Ｆｓの復号化音声データの出力を示すときは、前記間引き手段を通さずに出力する切り換え手段とを設けたものである。
【００２０】
【作用】
従って、本発明によれば、符号化を行う場合は、サブバンド解析フィルタバンクにより帯域分割した後に帯域制限を行ってエイリアス成分を除去するので、従来のようにフィルタ処理を２回行わずに済み、処理を速くできる。また、上記帯域制限は、エイリアス成分の帯域に対して量子化の際にゼロビットを割当てるだけなので、回路構成を簡単にして容易に実現することができる。
【００２１】
また、復号を行う場合は、サブバンド合成フィルタで帯域合成する前に帯域制限を行ってエイリアス成分の帯域を除去するので、フィルタ処理を２回行わずに済み、処理を速くできる。また、上記帯域制限は、エイリアス成分の帯域をゼロレベルに制御するだけなので、回路構成を簡単にして容易に実現することができる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を図面と共に説明する。
図１は本発明の第１の実施の形態による符号化装置を概念的に示すブロック図である。
１はサンプリング周波数Ｆｓ ／ｎの入力音声データにゼロデータを挿入してサンプリング周波数Ｆｓ に変換するゼロ挿入部である。２はＦｓ に変換された音声データを複数の帯域信号に分割するサブバンド解析フィルタバンクである。３は複数の帯域信号を帯域制限してエイリアス成分を除去する帯域制限部である。４はエイリアス成分が除去された音声データをサンプリング周波数Ｆｓ で圧縮符号化する符号化部である。
【００２３】
次に、上記構成による動作について説明する。ここでは、図示の符号化装置が、本来はサンプリング周波数Ｆｓ の音声データを帯域分割方式により圧縮符号化する符号化装置であって、この符号化装置を用いてＦｓ ／ｎの音声データを符号化してＦｓ の符号化音声データを得るものとする。例としてｎ＝２とし、Ｆｓ ／２＝１６ＫＨｚの音声データを符号化してＦｓ ＝３２ＫＨｚの符号化音声データを得る場合について説明する。
【００２４】
図１において、Ｆｓ ／２＝１６ＫＨｚの音声データが入力されると、ゼロ挿入部１によりサンプルとサンプルの間にｎ−１個（この例では１個）のゼロデータを挿入する。従って、音声データのサンプル数がｎ個になり、サンプリング周波数がＦｓ ／２からＦｓ ＝３２ＫＨｚに周波数変換される。
【００２５】
この周波数変換されたデータには、図２（ａ）に示す元のデータのスペクトルに対して、同図（ｂ）に示すようにＦｓ ／２ｎ（＝８ＫＨｚ）以上のエイリアス成分が含まれているが、これをそのままサブバンド解析フィルタバンク２に入力して、複数の帯域信号に分割する。次に、複数の帯域信号のうち８ＫＨｚより高い周波数成分を帯域制限部３により除去する。その後、符号化部２０２で圧縮符号化することにより、Ｆｓ ＝３２ＫＨｚの符号化音声データが出力される。
【００２６】
本実施の形態においては、サンプリング周波数が変換されたデータをエイリアス成分を含んだままサブバンド解析フィルタバンク２で処理した後、帯域制限部３でエイリアス成分を除去しているので、図８の従来の符号化装置における補間フィルタ１０２による処理を省略することができる。また、帯域制限部３としては、後述する図４のビット割当部２１においてビット割当てをしない、あるいはスケールファクタ抽出・正規化部１８においてスケールファクタをゼロにする等の方法により、容易に実現することができる。
従って、本実施の形態によれば、処理を高速に行うことかできると共に、回路規模を縮小することができる。
【００２７】
図３は本発明の第２の実施の形態による復号装置を概念的に示すブロック図である。
図３において、５はサンプリング周波数Ｆｓ の音声データを帯域毎に復号する復号部、６は復号されたデータのエイリアス成分を除去する帯域制限部、７は帯域制限されたデータの各帯域信号を合成するサブバンド合成フィルタバンク、７は帯域合成された音声データを間引きする間引き部である。
【００２８】
次に、上記構成による動作について説明する。ここでは、図示の復号装置が、本来はサンプリング周波数Ｆｓ の帯域分割方式により圧縮符号化された音声データを復号してＦｓ の音声データを出力する復号装置であって、この復号装置を用いてＦｓ ／ｎの音声データを出力するものとする。例としてｎ＝２とし、Ｆｓ ＝３２ＫＨｚの符号化音声データを復号してＦｓ ／ｎ＝１６ＫＨｚの音声データを出力する場合について説明する。
【００２９】
図３において、復号部５は、入力されたＦｓ ＝３２ＫＨｚの圧縮符号化された音声データを帯域毎に復号する。もしこの復号されたデータをそのままサブバンド合成フィルタ７に入力して処理し、さらに間引き処理すると、出力にエイリアス成分が折り返し雑音となって帯域内に現れてしまう。このため、上記復号されたデータを帯域制限部６でエイリアス成分に相当するＦｓ ／２ｎの帯域信号を除去した後、サブバンド合成フィルタ７に入力して残りの各帯域信号を合成する。この帯域合成された音声データは次に間引き部８で間引き処理されることにより、Ｆｓ ／２＝１６ＫＨｚの音声データを得ることができる。
【００３０】
本実施の形態においては、復号したデータをサブバンド合成フィルタ７に入力する前に帯域制限部６でエイリアス成分を除去しているので、図９のＬＰＦ４０１による処理を省略することができる。また、帯域制限部６としては、後述する図６の復号装置におけるレベル制御部２８において、Ｆｓ ／２ｎ（＝８ＫＨｚ）以上の帯域がゼロになるように制御することにより、容易に実現することができる。
従って、本実施の形態によれば、処理を高速に行うことかできると共に、回路規模を縮小することができる。
【００３１】
図４は本発明の第３の実施の形態を示すブロック図であり、図１に概念的に示した符号化装置の具体的な構成例を示すものである。
この符号化装置は、サンプリング周波数Ｆｓ の音声データを帯域分割方式により圧縮符号化してＦｓ の符号化音声データを出力する従来の構成部分と、サンプリング周波数Ｆｓ ／ｎの音声データを圧縮符号化してＦｓ の符号化音声データを出力する本発明に関する構成部分とを含むものである。
【００３２】
図４において、１１はアナログ音声信号が入力される入力端子、１２はアナログ音声信号から折り返し雑音となるエイリアス成分を除去するＬＰＦ、１３はＬＰＦ１２の出力をサンプリング周波数Ｆｓ でＡ／Ｄ変換してデジタルの音声データを出力するＡ／Ｄ変換器である。１４はＦｓ ／ｎのデジタルの音声データが入力される入力端子、１５は上記入力音声データのサンプルとサンプルの間にｎ−１個のゼロデータを挿入してＦｓ の音声データに周波数変換するゼロ挿入部である。１６はＡ／Ｄ変換器１３の出力又はゼロ挿入部１５の出力を選択するセレクタである。
【００３３】
１７は入力音声データを複数帯域に分割するサブバンド解析フィルタバンク、１８は複数の帯域信号を正規化すると共に、その正規化データのスケールファクタインデックスを求めるスケールファクタ抽出・正規化部、１９は帯域毎の正規化データを割り当てられたビット数で量子化する量子化部、２０は心理聴覚モデルを使用して入力音声データの耳に聞こえる程度を帯域毎に求める心理聴覚分析部で、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｓｆｏｒｍ，高速フーリエ変換）処理を行うＦＦＴ処理部（図示せず）を前処理部として内蔵するものとする。
【００３４】
２１は量子化部１９の量子化に際して各帯域に何ビットを割り当てるかを、心理聴覚分析部２０の分析結果に基づいて決定するビット割当部、２２はＦｓ の入力音声データとＦｓ ／２の入力音声データとの切り換え制御信号が入力される入力端子である。２３は量子化されたデータと制御情報等をビットストリームに組み立てるビットストリームエンコーダ、２４は符号化音声データ及び制御情報等を含むビットストリームを出力する出力端子である。
【００３５】
上記従来の構成部分は、上記１１，１２，１３，１７〜２１，２３，２４の部分であり、上記本発明に関する構成部分は、上記１４，１５，１６，２２の部分である。
【００３６】
次に、上記構成による動作について説明する。ここでは、ｎ＝２，Ｆｓ ＝３２ＫＨｚとして説明する。
まず、入力端子１１にアナログの音声信号が入力された場合の従来の構成部分の動作について説明する。このときセレクタ１６は入力端子２２に入力された切り換え制御信号によりＡ／Ｄ変換器１３の出力を選択する。
【００３７】
入力端子１１に入力された音声信号はＬＰＦ１２でＦｓ ／２以上のエイリアス成分を除去され後、Ａ／Ｄ変換器１３でＦｓ ＝３２ＫＨｚでサンプリングされることにより、０〜Ｆｓ ／２の帯域（０〜１６ＫＨｚ）に有効データを有するデジタルの音声データに変換される。この音声データはセレクタ１６を介してサブバンド解析フィルタバンク１７と心理聴覚分析部２０に入力される。
【００３８】
サブバンド解析フィルタバンク１７は、それぞれ通過帯域の異なるａ個の並列に設けられた帯域フィルタで構成され、音声データが各帯域フィルタに共通に入力されることにより、Ｆｓ ／２の帯域がａ個の帯域信号に分割される。従って、各帯域フィルタからａ個の実数の組が得られる。以下の説明においては、サブバンド解析フィルタバンク１７から出力されるａ個のサンプル（実数）を１組とし、これをｂ組、組み合わせたサンプル数ａｂ個のデータを１フレームと言うものとする。
【００３９】
次に、スケールファクタ抽出・正規化部１８では、１フレーム内で、各帯域におけるｂ個の実数について絶対値が最大の実数を求め、さらに、この絶対値が最大の実数を１として、他の実数の正規化を行う。従って、各帯域について−１．０００〜＋１．０００の実数で表わされる正規化データが得られる。次に、その帯域の正規化データにおける１が示す実際の値（即ち、絶対値が最大の実数）を２進数で表現する場合の値（例えば、絶対値が最大の実数が８なら２進数で８、１０なら２進数で１６、１２０なら２進数で１２８等々）をスケールファクタとしてスケールファクタインデックスと対応して記載されたスケールファクタテーブルから各帯域におけるスケールファクタインデックスを求めておく。
【００４０】
一方、心理聴覚分析部２０では、まず前処理として、Ａ／Ｄ変換器１３からの１フレーム分のデータであるａｂ個のサンプルについてＦＦＴ処理を行う。この分析の結果、Ｆｓ ／２の帯域のデータが有効であるので、ａｂ／２個の複素数で表される有効データが得られる。ここで、各複素数の絶対値を求めておく。
【００４１】
次に、上記ａｂ／２個の有効データから次の条件に基づいて耳に聞こえるであろう音をレベル別に選択する。
（１）大きな帯域成分は多分聞こえる。
（２）（１）の成分の周りの音は聞こえ難い。
（３）小さな成分は聞こえ難い。
（４）（１）〜（３）に、さらに耳の周波数特性（聴覚特性）を考慮する。
【００４２】
上記のようにして聞こえる音のレベルを段階的に示すデータを得、これをさらに対応する帯域毎にまとめる。そして、各帯域について上記データを各段階毎に数値化する。例えば２倍のレベル差をｄＢ（６ｄＢで２倍）で表す。
【００４３】
次に、ビット割当部２１は、上記ｄＢで表わされた各段階に対してビット数を割り当てる。例えば６ｄＢについて１ビットを割り当て、レベル差が大きくなる程ビット数を多く割当てる。また、総ビット数が所定のビット数に収まるようにする。従って、このビット割当部２１からは、帯域毎に何ビットを割当てるかを示すビット割当情報が出力される。
【００４４】
次に、量子化部１９は、スケールファクタ抽出・正規化部１８から得られる前記正規化データを上記ビット割当情報により割当てられたビット数で２進数に変換し、小数点以下を割当てられたビット数だけ取り出す。
【００４５】
次に、ビットストリームエンコーダ２３において、１フレーム毎にヘッダ部と量子化データ部とが作成される。ヘッダ部には、前記絶対値が最大の実数を何ビットで表したかを帯域毎に示す情報が所定ビット数で記載される。また、上記量子化データ部は、上記ビット割当情報としてのビットアロケーション情報、帯域毎の前記スケールファクタインデックス情報等が所定ビット数で記載され、その後に量子化データが続くようなデータ構成となっている。これらの情報は、スケールファクタ抽出・正規化部１８、ビット割当部２１及び量子化部１９から得られるもので、復号装置により符号化音声データを復号する際に必要な制御情報として用いられる。
上記ヘッダ部及び量子化データ部はビットストリームに組み立てられて、出力端子２４からＦｓ ＝３２ＫＨｚの符号化音声データとして出力される。
【００４６】
次に、入力端子１４にＦｓ ＝１６ＫＨｚの音声データが入力された場合、即ち、本発明に関する場合について図５のフローチャートを参照して説明する。このときセレクタ１６は入力端子２２からの切り換え制御信号によりゼロ挿入部１５の出力を選択する。
【００４７】
入力された音声データは、ゼロ挿入部１５でサンプルとサンプルの間にｎ−１個（この例では１個）のゼロデータが挿入されることにより、Ｆｓ ＝３２ＫＨｚに変換される（図５のステップＳ１、以下、ステップ略）。これにより、以下の処理を従来と同等に行うことができる。尚、このゼロデータが挿入された音声データは、１６／２＝８ＫＨｚ以上のエイリアス成分を含んでいる。この音声データはセレクタ１６を介してサブバンド解析フィルタバンク１７と心理聴覚分析部２０に入力される。
【００４８】
サブバンド解析フィルタバンク１７では、前述したように入力音声データはａ個の帯域信号に分割される（Ｓ２）。分割された帯域信号は次にスケールファクタ抽出・正規化部１８に入力されて正規化が行われると共に、スケールファクタインデックスが求められる（Ｓ３）。
【００４９】
一方、心理聴覚分析部２０により帯域毎に耳に聞こえる音を段階的に示す情報が得られ、この情報に基づいてビット割当部２１が正規化データにビット割当てを行うが、その際、前記切り換え制御信号に応じて上記８ＫＨｚ以上のエイリアス成分の帯域についてはビットを割り当てないようにする（Ｓ４）。
【００５０】
次に、量子化部１９で正規化データの量子化を行うが（Ｓ５）、その場合、上記エイリアス成分の帯域については量子化が省略される。即ち、エイリアス成分の帯域の割当てビット数を強制的にゼロにすることにより、エイリアス成分を除去することができる。次に、量子化部１９からの量子化データは、ビットストリームエンコーダ２３において、制御情報と共にビットストリームに組み立てられて出力される（Ｓ６）。
【００５１】
尚、前記切り換え制御信号に応じてスケールファクタ抽出・正規化部１８における正規化等の処理をエイリアス成分の帯域については行わないようにすれば、量子化部１９では自動的にその帯域の量子化が行われないので、割当てビット数をゼロにした場合と同等の効果が得られる。
【００５２】
本実施の形態によれば、サンプリング周波数Ｆｓ の符号化装置を用いてＦｓ ／ｎの入力音声データを圧縮符号化してＦｓ の符号化音声データを得ることができる。従って、この符号化音声データをサンプリング周波数Ｆｓ の符号化音声データを扱う復号装置を用いて通常の復号処理を行うことができる。
また、エイリアス成分については、量子化や正規化等の処理を行わないようにしているので、全体の処理量を削減できると共に、簡単な回路、あるいは処理を付加するだけで実現することができる。
【００５３】
図６は本発明の第４の実施の形態を示すブロック図であり、図３に概念的に示した復号装置の具体的な構成例を示すものである。
この復号装置は、サンプリング周波数Ｆｓ の圧縮符号化された音声データを復号してＦｓ の音声データを出力する従来の構成部分と、サンプリング周波数Ｆｓの圧縮符号化された音声データを復号してＦｓ ／ｎの音声データを出力する本発明に関する構成部分とを含むものである。
【００５４】
図６において、２５はサンプリング周波数Ｆｓ の符号化音声データのビットストリームが入力される入力端子、２６は入力されたビットストリームから量子化データと、ビットアロケーション情報及びスケールファクタインデックス情報等の制御情報とを分離するビットストリームデコーダ、２７は量子化データをビットアロケーション情報に基づいて逆量子化して元の正規化データ（実数）を出力する逆量子化部、２８は逆量子化された実数データをスケールファクタに基づいてレベル制御するレベル制御部、２９はレベル制御されたデータの各帯域信号を合成するサブバンド合成フィルタ、３０は切り換え制御信号の入力端子である。
【００５５】
３１は分配器で、復号された音声データを切り換え制御信号に応じて分配する。３２は復号された音声データをアナログ音声信号に変換するＤ／Ａ変換器、３３はアナログ音声信号からエイリアス成分を除去するＬＰＦ、３４はアナログ音声信号の出力端子である。３５は音声データを間引き処理してＦｓ ／ｎの音声データを得る間引き部、３６は間引きされたＦｓ ／ｎの音声データの出力端子である。
【００５６】
上記構成において、上記２５〜２９，３２〜３４は従来の構成部分、３０，３１，３５，３６は本発明に関する構成部分である。
【００５７】
次に、上記構成による動作について説明する。ここでは、ｎ＝２，Ｆｓ ＝３２ＫＨｚとし、Ｆｓ ＝３２ＫＨｚの音声データを出力する場合と、Ｆｓ ＝１６ＫＨｚの音声データを出力する場合とについて説明する。
【００５８】
まず、Ｆｓ ＝３２ＫＨｚの音声データを出力する場合について説明する。
入力端子２５に帯域分割方式によりＦｓ ＝３２ＫＨｚで圧縮符号化された音声データのビットストリームが入力されると、ビットストリームデコーダ２６は、１フレーム毎に量子化データと、スケールファクタインデックス情報及びビットアロケーション情報を含む制御情報とを分離する。この場合、１フレームにつき、スケールファクタインデックスは１組存在し、量子化データはｂ組存在する。次に、逆量子化部２７は、量子化データを制御情報におけるビットアロケーション情報に基づいて−１〜＋１の元の実数データ（逆量子化データ）に逆量子化する。
【００５９】
次に、レベル制御部２８は、スケールファクタテーブルを用いて上記スケールファクタインデックスからスケールファクタを求め、求められたスケールファクタを上記実数データに乗算する。これにより、図４の符号化装置におけるサブバンド解析フィルタバンク１７の出力と同等の帯域毎の出力データが得られる。この帯域毎の出力データをサブバンド合成フィルタバンク２９に入力して、各帯域信号を合成する。
【００６０】
この帯域合成された音声データは、入力端子３０からの切り換え制御信号に応じて分配器３１を介してＤ／Ａ変換器３２に供給され、アナログ音声信号に変換される。その後、ＬＰＦ３３でエイリアス成分が除去されて出力端子３４から出力される。
【００６１】
次に、Ｆｓ ＝１６ＫＨｚの音声データを出力する場合について図７のフローチャートを参照して説明する。
この場合は、入力音声データにはＦｓ ／２までの帯域のデータが含まれており、これをそのまま１／２に間引して１６ＫＨｚにすると、１６／２＝８ＫＨｚ以上のエイリアス成分が発生してしまう。
【００６２】
まず、入力端子２５に符号化音声データのビットストリームが入力されると、ビットストリームデコーダ２６により量子化データと制御情報とに分離され（Ｓ１１）た後、逆量子化部２７で逆量子化される（Ｓ１２）。次に、逆量子化された実数データをレベル制御部２８でスケールファクタインデックスを乗算するが、このとき、前記切り換え制御信号に応じてエイリアス成分に相当する８ＫＨｚ以上の帯域に対して強制的にゼロを乗算する（Ｓ１３）。
【００６３】
この乗算結果をサブバンド合成フィルタバンク２９で合成すれば（Ｓ１４）、エイリアス成分の帯域が除去され、残りの帯域が合成されたデータを得ることができる。この帯域合成データを前記切り換え制御信号で制御される分配器３１を介して間引き部３５で１／２に間引き処理することにより（Ｓ１５）、エイリアス成分のないＦｓ ＝１６ＫＨｚの復号された音声データを出力端子３６に得ることができる。
【００６４】
本実施の形態によれば、サンプリング周波数Ｆｓ の符号化音声データを扱う復号装置を用いて、ダウンサンプリングされたサンプリング周波数Ｆｓ ／ｎの復号された音声データを得ることができる。従って、この音声データを後段のサンプリング周波数Ｆｓ ／ｎの音声データしか扱うことのできない処理装置、例えばＤ／Ａ変換器に入力することができる。
また、エイリアス成分の帯域についてはゼロを乗算するので、エイリアス成分のない出力音声データを得ることができると共に、簡単な回路、あるいは処理を付加するだけで実現することができる。
【００６５】
次に、本発明の実施の形態によるプログラムについて説明する。
本発明による符号化装置や復号装置等の音声データ処理装置をソフトウェア構成とする場合、図１〜図７について前述した動作に基づく処理を、音声データ処理装置のコンピュータシステムにおけるＣＰＵが実行するためのプログラムは、本発明によるプログラムを構成する。
【００６６】
このプログラムの記録媒体としては、光磁気ディスク、光ディスク、半導体メモリ、磁気記録媒体等を用いることができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フレキシブルディスク、メモリカード等に構成して用いてよい。またこの記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部のＲＡＭ等の揮発性メモリのように、一定時間プログラムを保持するものも含まれる。
【００６７】
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータシステムに伝送されるものであってもよい。上記伝送媒体とは、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体をいうものとする。
【００６８】
また、上記プログラムは、前述した機能の一部を実現するためであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００６９】
従って、この記録媒体を図１、図３、図４、図６のシステム又は装置とは異なるシステム又は装置において用い、そのシステム又は装置のコンピュータがこの記録媒体に格納されたプログラムを実行することによっても、各実施の形態で説明した機能及び効果と同等の機能及び効果を得ることができ、本発明の目的を達成することができる。
【００７０】
【発明の効果】
以上説明したように本発明によれば、符号化を行う場合は、サブバンド解析フィルタバンクによる帯域分割の後にエイリアス成分を除去するための帯域制限を行うので、従来のようにフィルタ処理を２回行わずに済み、処理を速くできる。また、帯域制限は、エイリアス成分の帯域の量子化の際にゼロビットを割当てるだけなので、回路構成を簡単にして容易に実現することができる。
【００７１】
また、復号を行う場合は、サブバンド合成フィルタで帯域合成する前にエイリアス成分の帯域を除去するための帯域制限を行うので、フィルタ処理を２回行わずに済み、処理を速くできる。また、帯域制限は、エイリアス成分の帯域をゼロレベルに制御するだけなので、回路構成を簡単にして容易に実現することができる。
【００７２】
従って、本発明によれば、音声データ処理装置をハードウェア構成とする場合には、回路構成を簡単にすることができ、音声データ処理装置をソフトウェア構成とする場合には、処理を高速に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による符号化装置を示すブロック図である。
【図２】図１の動作を説明するための周波数スペクトラムを示す図である。
【図３】本発明の第２の実施の形態による復号装置を示すブロック図である。
【図４】本発明の第３の実施の形態による符号化装置を示すブロック図である。
【図５】図４の符号化装置において、サンプリング周波数Ｆｓ ／ｎの音声データが入力された場合における動作を示すフローチャートである。
【図６】本発明の第４の実施の形態による復号装置を示すブロック図である。
【図７】図５の復号装置において、サンプリング周波数Ｆｓ ／ｎの音声データを出力する場合における動作を示すフローチャートである。
【図８】従来の符号化装置を示すブロック図である。
【図９】従来の復号装置を示すブロック図である。
【符号の説明】
１：ゼロ挿入部、２：サブバンド解析フィルタバンク、３：帯域制限部、４：符号化部、５：復号部、６：帯域制限部、７：サブバンド合成フィルタバンク、８：間引き部、１１：アナログ音声信号の入力端子、１４：Ｆｓ ／２の音声データの入力端子、１５：ゼロ挿入部、１６：セレクタ、１７：サブバンド解析フィルタバンク、１８：スケールファクタ抽出・正規化部、１９：量子化部、２１：ビット割当部、２２：切り換え制御信号の入力端子、２３：ビットストリームエンコーダ、２５：符号化音声データの入力端子、２６：ビットストリームデコーダ、２７：逆量子化部、２８：レベル制御部、２９：サブバンド合成フィルタバンク、３０：切り換え制御信号の入力端子、３１：分配器、３４：アナログ音声信号の出力端子、３５：間引き部、３６：Ｆｓ ／ｎの音声データの出力端子
Claims (2)
- サンプリング周波数Ｆｓ／ｎの音声データの入力とサンプリング周波数Ｆｓの音声データの入力との切り換えを示す切換信号を入力する切換信号入力部と、
前記切換信号に応じて前記二つの音声データを切り換えて入力する切換手段と、
前記サンプリング周波数Ｆｓ／ｎの入力音声データのサンプルとサンプルとの間にｎ−１個のゼロデータを挿入してサンプリング周波数Ｆｓの音声データに変換するゼロデータ挿入手段と、
前記変換されたサンプリング周波数Ｆｓの音声データを複数の帯域信号に分割するサブバンド解析フィルタバンクと、
前記複数の帯域信号をそれぞれ正規化して正規化データを得る正規化手段と、
前記正規化データを所定の割当てられたビット数で量子化して量子化データを得る量子化手段と、
前記量子化手段に所定のビット数を割当て、その際、前記切換信号が前記サンプリング周波数Ｆｓ／ｎの音声データの入力を示すときは、前記複数の帯域信号のうちＦｓ／２ｎ以上の帯域信号に対応する正規化データに対してゼロビットを割当て、前記切換信号が前記サンプリング周波数Ｆｓの音声データの入力を示すときは、前記Ｆｓ／２ｎ以上の帯域信号に対応する正規化データに対するゼロビットの割当ては行わないビット割当手段と、
を設けたことを特徴とする音声データ処理装置。 - サンプリング周波数Ｆｓの復号化音声データの出力とサンプリング周波数Ｆｓ／ｎの復号化音声データの出力との切り換えを示す切換信号を入力する切換信号入力部と、
入力したサンプリング周波数Ｆｓの符号化音声データを複数の帯域毎に復号する復号化手段と、
前記復号された音声データを逆量子化して逆量子化データを得る逆量子化手段と、
前記逆量子化データを所定のレベルに制御し、その際、前記切換信号が前記サンプリング周波数Ｆｓ／ｎの復号化音声データの出力を示すときは、Ｆｓ／２ｎ以上の帯域と対応する逆量子化データに対するゼロレベルに制御は行わないレベル制御手段と、
前記レベル制御された帯域毎のデータを合成して帯域合成データを得るサブバンド合成フィルタバンクと、
前記帯域合成データを間引きしてサンプリング周波数Ｆｓ／ｎの音声データを得る間引き手段と、
前記切換信号が前記サンプリング周波数Ｆｓ／ｎの復号化音声データの出力を示すときは、前記サブバンド合成フィルタバンクから得られる前記帯域合成データを前記間引き手段に出力し、前記切換信号が前記サンプリング周波数Ｆｓの復号化音声データの出力を示すときは、前記間引き手段を通さずに出力する切り換え手段と、
を設けたことを特徴とする音声データ処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001400597A JP3624884B2 (ja) | 2001-12-28 | 2001-12-28 | 音声データ処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001400597A JP3624884B2 (ja) | 2001-12-28 | 2001-12-28 | 音声データ処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003195898A JP2003195898A (ja) | 2003-07-09 |
| JP3624884B2 true JP3624884B2 (ja) | 2005-03-02 |
Family
ID=27605083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001400597A Expired - Fee Related JP3624884B2 (ja) | 2001-12-28 | 2001-12-28 | 音声データ処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3624884B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4496467B2 (ja) * | 2003-05-21 | 2010-07-07 | ソニー株式会社 | データ処理装置、符号化装置および符号化方法、復号装置および復号方法、並びにプログラム |
| FR2899423A1 (fr) * | 2006-03-28 | 2007-10-05 | France Telecom | Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme. |
| JP5443724B2 (ja) * | 2008-10-10 | 2014-03-19 | セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー | 音声信号処理回路 |
-
2001
- 2001-12-28 JP JP2001400597A patent/JP3624884B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003195898A (ja) | 2003-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3371590B2 (ja) | 高能率符号化方法及び高能率復号化方法 | |
| KR100634506B1 (ko) | 저비트율 부호화/복호화 방법 및 장치 | |
| JP3765622B2 (ja) | オーディオ符号化復号化システム | |
| JPH08190764A (ja) | ディジタル信号処理方法、ディジタル信号処理装置及び記録媒体 | |
| WO2010011249A1 (en) | Compression of audio scale-factors by two-dimensional transformation | |
| RU2289858C2 (ru) | Способ и устройство кодирования аудиосигнала с использованием извлечения гармоник | |
| KR100352351B1 (ko) | 정보부호화방법및장치와정보복호화방법및장치 | |
| JP3900000B2 (ja) | 符号化方法及び装置、復号方法及び装置、並びにプログラム | |
| JP2002372996A (ja) | 音響信号符号化方法及び装置、音響信号復号化方法及び装置、並びに記録媒体 | |
| JP3353868B2 (ja) | 音響信号変換符号化方法および復号化方法 | |
| EP1249837A2 (en) | A method for decompressing a compressed audio signal | |
| JP4726445B2 (ja) | 広域音声信号の圧縮装置および復元装置ならびに圧縮方法および復元方法 | |
| JP3624884B2 (ja) | 音声データ処理装置 | |
| KR100668299B1 (ko) | 구간별 선형양자화를 이용한 디지털 신호 부호화/복호화방법 및 장치 | |
| JP3685823B2 (ja) | 信号符号化方法及び装置、並びに信号復号化方法及び装置 | |
| WO1999044291A1 (fr) | Dispositif et procede de codage, dispositif et procede de decodage, support d'enregistrement de programme et de donnees | |
| JPS63201700A (ja) | 音声・楽音の帯域分割符号化装置 | |
| JP4256189B2 (ja) | 音声信号圧縮装置、音声信号圧縮方法及びプログラム | |
| JPH1083623A (ja) | 信号記録方法、信号記録装置、記録媒体および信号処理方法 | |
| Bhamidipati et al. | Analysis of different discrete wavelet transform basis functions in speech signal compression | |
| JP2587591B2 (ja) | 音声・楽音の帯域分割符号化復号化装置 | |
| JP3504485B2 (ja) | 楽音符号化装置および楽音復号化装置および楽音符号化復号化装置およびプログラム記憶媒体 | |
| JP2003216172A (ja) | 音声信号加工装置、音声信号加工方法及びプログラム | |
| JP2001083995A (ja) | サブバンド符号化・復号方法 | |
| JPH07221650A (ja) | 情報符号化方法及び装置並びに情報復号化方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040803 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041004 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041122 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |