JP4496467B2 - データ処理装置、符号化装置および符号化方法、復号装置および復号方法、並びにプログラム - Google Patents

Description

本発明は、データ処理装置、符号化装置および符号化方法、復号装置および復号方法、並びにプログラムに関し、特に、例えば、いわゆるアルゴリズム遅延を減少させることができるようにするデータ処理装置、符号化装置および符号化方法、復号装置および復号方法、並びにプログラムに関する。

図１は、従来の通信システムの一例の構成を示している。

図１において、通信システムは、送信装置１と受信装置２から構成されている。そして、送信装置１には、例えば、ディジタルのオーディオデータ（音声データを含む）としてのPCM(Pulse Code Modulation)データが供給され、送信装置１は、PCMデータを符号化し、符号化データとして、例えば、無線または有線の伝送路３を介して、受信装置２に送信する。受信装置２は、送信装置１から送信されてくる符号化データを、PCMデータに復号して出力する。

送信装置１は、信号記憶装置１１と、符号化フレーム処理部１２とから構成される。信号記憶装置１１は、送信装置１に供給されるPCMデータを一時記憶する。符号化フレーム処理部１２は、信号記憶装置１１に記憶された所定のサンプル数ＮのPCMデータを、１フレームのデータとして順次読み出した上で量子化および符号化を行い、その符号化データを伝送路３を介して、受信装置２に送信する。

受信装置２は、復号フレーム処理部１３から構成される。復号フレーム処理部１３は、送信装置１から送信されてくる符号化データを受信する。さらに、復号フレーム部１３は、受信した符号化データを逆量子化等し、PCMデータに復号して出力する。

以上のように、フレーム単位でPCMデータの符号化／復号を行う方法としては、例えば、MPEG(Moving Picture Experts Group)がある（例えば、非特許文献１参照）。

Eric Allamanche, Ralf Geiger, Juergen Herre and Thomas Sporer, "MPEG-4 Low Delay Audio Coding based on the AAC Codec", Presented at the 106th Convention 1999 May 8-11 Munich, Germany(An Audio Engineering Society Preprint)

ところで、送信装置１におけるPCMデータの符号化効率を高める方法の１つとして、１フレームを構成するPCMデータのサンプル数（以下、適宜、フレーム長ともいう）を大とする方法がある。

しかしながら、フレーム長を大とすると、信号記憶装置１１へのPCMデータの供給が開始されてから、そのフレーム長だけのPCMデータが、信号記憶装置１１に記憶されるまで、符号化フレーム処理部１２において処理を開始することができないことになる。即ち、フレーム長をＮ［サンプル］とするとともに、PCMデータのサンプリング周波数をＦ_s［Ｈｚ］とすれば、信号記憶装置１１へのPCMデータの供給が開始されてから、Ｎ／Ｆ_s［秒］の間は、符号化フレーム処理部１２において処理を開始することができない。このフレーム長のPCMデータが揃うまで符号化フレーム処理部１２において処理ができないことによる処理の遅延は、アルゴリズム遅延（原理遅延）と呼ばれるものに相当する。

従って、図１の通信システムを、例えば、IP(Internet Protocol)電話システム（いわゆる、インターネット電話）などに適用した場合には、送信装置１側のユーザが発話を開始してから、少なくとも、Ｎ／Ｆ_s［秒］の間は、受信装置２側のユーザは、送信装置１側のユーザの発話内容を受信することができない。

具体的には、例えば、PCMデータが48000[Hz]でサンプリングされたもので、１フレームを2048[サンプル]で構成するものとすると、アルゴリズム遅延は、約４３[ミリ秒]（＝2048/48000）となる。

送信装置１と受信装置２との間の系で生じる遅延は、アルゴリズム遅延だけでなく、符号化の各処理に要する時間による遅延や、伝送路３における遅延などもある。従って、アルゴリズム遅延だけで、約４３[ミリ秒]もの遅延が生じることは、リアルタイムでの双方向通信が要求されるIP電話システムなどにおいては、ユーザの円滑なコミュニケーションを妨げることとなり、大きな問題となる。

一方、符号化フレーム処理部１２および復号フレーム処理部１３での処理単位となるフレームのフレーム長を小とすることにより、アルゴリズム遅延も小さくすることができる。

しかしながら、符号化フレーム処理部１２および復号フレーム処理部１３としては、装置の低コスト化を考慮すれば、既存のコーデック(codec(Compression/Decompression))を用いるのが望ましい。

そして、既存のコーデックについて、その処理単位であるフレームのフレーム長を変更するのは、大規模な変更を要し、困難である。

本発明は、このような状況に鑑みてなされたものであり、フレーム長を変えずに、アルゴリズム遅延を減少させることができるようにするものである。

本発明のデータ処理装置は、Ｎ／Ｒサンプルのデータが得られた時点で、このデータに対してＲ倍のオーバーサンプリングを行い、Ｎサンプルのデータを生成するオーバーサンプリング手段と、オーバーサンプリング後のフレーム単位のデータの角周波数が０乃至π／（２Ｒ）の成分に対して、符号化データを出力する符号化処理を行なう符号化処理手段と、符号化処理手段が、オーバーサンプリングを行なわずにＮサンプルのデータが得られるまで待機した上で符号化処理を行なう通常の場合に比較して、Ｒ倍の頻度で処理を行うように符号化処理手段を制御する符号化制御手段と、符号化データに対して、復号処理を行なう復号処理手段と、復号処理手段が出力する出力データに対して、間引き処理を施し、元の出力データの１／Ｒ倍のサンプル数のデータを出力する間引き手段とを有することを特徴とする。

本発明の符号化装置は、データの系列に対して、Ｒ倍のオーバーサンプリングを行なうオーバーサンプリング手段と、オーバーサンプリング後のデータの所定サンプル数Ｎを１フレームとして、フレーム単位のデータの角周波数が０乃至π／（２Ｒ）の成分に対して、符号化データを出力する符号化処理を行なう符号化処理手段と、符号化処理手段が、オーバーサンプリングを行なわずにＮサンプルのデータが得られるまで待機した上で符号化処理を行なう通常の場合に比較して、Ｒ倍の頻度で処理を行うように符号化処理手段を制御する符号化制御手段とを有することを特徴とする。

本発明の符号化方法は、データの系列に対して、Ｒ倍のオーバーサンプリングを行なうオーバーサンプリングステップと、オーバーサンプリング後のデータの所定サンプル数Nを１フレームとして、フレーム単位のデータの角周波数が０乃至π／（２Ｒ）の成分に対して、符号化データを出力する符号化処理を行なう符号化処理ステップと、符号化処理ステップが、オーバーサンプリングを行なわずにNサンプルのデータが得られるまで待機した上で符号化処理を行なう通常の場合に比較して、Ｒ倍の頻度で処理を行うように符号化処理ステップを制御する符号化制御ステップとを備えることを特徴とする。

本発明の第１のプログラムは、コンピュータを、データの系列に対して、Ｒ倍のオーバーサンプリングを行なうオーバーサンプリング手段と、オーバーサンプリング後のデータの所定サンプル数Ｎを１フレームとして、フレーム単位のデータの角周波数が０乃至π／（２Ｒ）の成分に対して、符号化データを出力する符号化処理を行なう符号化処理手段と、符号化処理手段が、オーバーサンプリングを行なわずにNサンプルのデータが得られるまで待機した上で符号化処理を行なう通常の場合に比較して、R倍の頻度で処理を行うように符号化処理手段を制御する符号化制御手段として機能させる。

本発明の復号装置は、符号化データに対して、復号処理を行なう復号処理手段と、フレーム単位の符号化データに対して、復号処理手段が出力する出力データに対して、間引き処理を施し、元の出力データの１／Ｒ倍のサンプル数のデータを出力する間引き手段と、復号処理手段が、間引き処理を行なわない場合のＲ倍の頻度で処理を行うように、復号処理手段を制御する復号制御手段とを備えることを特徴とする。

本発明の復号方法は、符号化データに対して、復号処理を行なう復号処理ステップと、フレーム単位の符号化データに対して、復号処理ステップにおいて出力される出力データに対して、間引き処理を施し、元の出力データの１／Ｒ倍のサンプル数のデータを出力する間引きステップと、間引き処理を行なわない場合のＲ倍の頻度で処理を行うように、復号処理ステップの処理を制御する復号制御ステップとを備えることを特徴とする。

本発明の第２のプログラムは、コンピュータを、符号化データに対して、復号処理を行なう復号処理手段と、フレーム単位の符号化データに対して、復号処理手段において出力される出力データに対して、間引き処理を施し、元の出力データの１／Ｒ倍のサンプル数のデータを出力する間引き手段と、間引き処理を行なわない場合のＲ倍の頻度で処理を行うように、復号処理手段の処理を制御する復号制御手段として機能させる。

本発明のデータ処理装置においては、Ｎ／Ｒサンプルのデータが得られた時点で、このデータに対してＲ倍のオーバーサンプリングを行い、Ｎサンプルのデータを生成する。さらに、オーバーサンプリング後のフレーム単位のデータの角周波数が０乃至π／（２Ｒ）の成分に対して、符号化データを出力する符号化処理を行なう。そして、オーバーサンプリングを行なわずにＮサンプルのデータが得られるまで待機した上で符号化処理を行なう通常の場合に比較して、Ｒ倍の頻度で処理を行う。一方、符号化データに対して、復号処理を行ない、その結果得られる出力データに対して、間引き処理を施し、元の出力データの１／Ｒ倍のサンプル数のデータを出力する。

本発明の符号化装置および符号化方法、並びに第１のプログラムにおいては、データの系列に対して、Ｒ倍のオーバーサンプリングを行ない、オーバーサンプリング後のデータの所定サンプル数Ｎを１フレームとして、フレーム単位のデータの角周波数が０乃至π／（２Ｒ）の成分に対して、符号化データを出力する符号化処理を行なう。この場合に、オーバーサンプリングを行なわずにNサンプルのデータが得られるまで待機した上で符号化処理を行なう通常の場合に比較して、R倍の頻度で処理を行う。

本発明の復号装置および復号方法、並びに第２のプログラムにおいては、符号化データに対して、復号処理を行ない、その復号処理の結果、フレーム単位の符号化データに対して得られる出力データに対して、間引き処理を施し、元の出力データの１／Ｒ倍のサンプル数のデータを出力する。この場合に、間引き処理を行なわない場合のＲ倍の頻度で処理を行う。

本発明によれば、アルゴリズム遅延を減少させることができる。

図２は、本発明を適用した情報処理システムの一実施の形態の構成例を示している。

情報処理装置２１と２２は、各種のプログラムを実行することで、各種の処理を行うようになっている。また、情報処理装置２１と２２は、インターネットなどのネットワーク２３に接続されており、そのネットワーク２３上の図示せぬサーバなどとの間で通信を行うことができるようになっている。さらに、情報処理装置２１と２２は、それぞれの間で、ネットワーク２３を介して通信を行うことができるようになっている。

なお、情報処理装置２１および２２は、例えば、汎用のコンピュータや、携帯電話機、携帯用のゲーム機、電子手帳その他のPDA(Personal Digital Assistant)などで構成することができる。

図３は、情報処理装置２１および２２が、例えば、汎用のコンピュータで構成される場合のハードウェア構成例を示している。

情報処理装置２１および２２としてのコンピュータは、CPU(Central Processing Unit)３２を内蔵している。CPU３２には、バス３１を介して、入出力インタフェース４０が接続されており、CPU３２は、入出力インタフェース４０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部３７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)３３に格納されているプログラムを実行する。あるいは、また、CPU３２は、ハードディスク３５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３８で受信されてハードディスク３５にインストールされたプログラム、またはドライブ３９に装着されたリムーバブル記録媒体４１から読み出されてハードディスク３５にインストールされたプログラムを、RAM(Random Access Memory)３４にロードして実行する。これにより、CPU３２は、後述するフローチャートにしたがった処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、CPU３２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部３６から出力、あるいは、通信部３８から送信、さらには、ハードディスク３５に記録等させる。

なお、情報処理装置２１および２２としてのコンピュータが各種の処理を行うためのプログラムは、そのコンピュータに内蔵されている記録媒体としてのハードディスク３５やＲＯＭ３３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体４１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３８で受信し、内蔵するハードディスク３５にインストールすることができる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

さらに、ここでは、情報処理装置２１および２２を、コンピュータで構成し、後述する各種の処理をソフトウェアにより行うこととするが、その処理は、専用のハードウェアによって行うようにすることも可能である。

情報処理装置２１および２２においては、例えば、オーディオデータを符号化して符号化データとし、その符号化データをオーディオデータに復号するコーデックシステムのプログラムがインストールされており、CPU３２が、そのコーデックシステムのプログラムを実行することにより、情報処理装置２１および２２は、コーデックシステムとして機能する。

図４は、情報処理装置２１および２２がプログラムを実行することにより実現されるコーデックシステムの機能的構成例を示している。

コーデックシステムは、符号化装置６１、復号装置６２、および制御部６３から構成され、オーディオデータを符号化して符号化データとし、また、符号化データをオーディオデータに復号する。

即ち、符号化装置６１には、オーディオデータであるPCMデータが供給されるようになっている。符号化装置６１は、そこに供給される所定のサンプル数ＮのPCMデータを、１フレームのデータとして、フレーム単位のPCMデータを順次符号化し、その符号化データを、例えば、光ディスクや、光磁気ディスク、磁気ディスク、半導体メモリなどの記録媒体６４に記録し、あるいは、例えば、インターネットその他の無線または有線の伝送媒体６５を介して送信（伝送）する。なお、記録媒体６４は、例えば、図３のハードディスク３５やリムーバブル記録媒体４１に相当し、伝送媒体６５は、例えば、図２のネットワーク２３に相当する。

復号装置６２は、記録媒体６４から読み出された符号化データ、または伝送媒体６５を介して送信されてきた符号化データを受信する。さらに、復号装置６２は、符号化データをフレーム単位で復号処理することにより、PCMデータであるオーディオデータに復号して出力する。

制御部６３は、符号化装置６１と復号装置６２の処理を制御する。

ここで、図４のコーデックシステムは、例えば、オーディオデータを符号化データに符号化して記録媒体６４に記録し、あるいは、記録媒体６４から符号化データを読み出し、オーディオデータに復号して再生するオーディオレコーダ／プレーヤなどのアプリケーションプログラムにおいて、オーディオデータの符号化や復号に用いることができる。さらに、図４のコーデックシステムは、例えば、オーディオデータを符号化データに符号化してインターネットなどの伝送媒体６５を介して伝送するとともに、伝送媒体６５から伝送されてくる符号化データを受信し、オーディオデータに復号して出力するIP電話システム（インターネット電話）などのアプリケーションプログラムにおいて、やはり、オーディオデータの符号化や復号に用いることができる。

図４において、符号化装置６１は、補間部５１、セレクタ５２、信号記憶装置５３、および符号化フレーム処理部５４で構成される。

補間部５１は、符号化装置６１に供給される符号化対象のPCMデータの系列を受信し、制御部６３の制御にしたがい、そのPCMデータの系列に対して、例えば補間処理を行うことによって、オーバーサンプリング処理を施し、元のPCMデータのＲ倍のサンプル数のオーバーサンプリング後のデータを、信号記憶装置５３に出力する。なお、本実施の形態では、Ｒは、例えば、１より大の整数である。

信号記憶装置５３は、例えば、FIFO(First In First Out)メモリやリングバッファなどで構成され、符号化装置６１に供給されるオーバーサンプリング後のＰＣＭデータを順次記憶する。なお、信号記憶装置５３は、１フレーム以上の記憶容量を有し、その記憶容量分のデータを記憶した後は、その後に供給されるデータを、最も古いデータに上書きする形で記憶する。

符号化フレーム処理部５４は、図１の符号化フレーム処理部１２と同様に、信号記憶装置５３に記憶されたデータのうち、まだ処理していない、最も古い所定のサンプル数Ｎのデータを１フレームとして、その１フレームのデータに対して、量子化のための信号分析を行なう。例えば、DFT(Discrete Fourier Transform)またはFFT(Fast Fourier Transform)や、DCT(Discrete Cosine Transform)，MDCT(Modified DCT)などの直交変換処理を施し、さらに、その結果得られる直交変換データを量子化等して符号化し、符号化データを出力する。この符号化フレーム処理部５４が出力する符号化データが、記録媒体６４に記録され、あるいは伝送媒体６５を介して伝送される。

なお、符号化フレーム処理部５４は、制御部６３の制御の下、オーバーサンプリング後
のデータを対象として処理を行う場合には、そのオーバーサンプリング後のデータとなる
前の元のPCMデータを対象として処理を行う場合よりも高い頻度、即ち、Ｒ倍の頻度で処理を行う。

復号フレーム処理部５５は、記録媒体６４から読み出された符号化データ、あるいは伝送媒体６５を介して伝送されてくる符号化データを、図１の復号フレーム処理部１３における場合と同様に逆量子化等し、復号フレーム処理部５５は、復号処理の結果として得られるデータを、出力データとして間引き部５６とセレクタ５７に供給する。

なお、復号フレーム処理部５５は、符号化フレーム処理部５４が行う信号分析処理に対応する逆処理を施す。即ち、符号化フレーム処理部５４が、信号分析処理として直交変換処理を行い、例えばMDCT処理を用いるのであれば、復号フレーム処理部５５は、逆直交変換処理として逆MDCT処理を行う。また、通信等リアルタイム処理が必要とされる状況において、復号フレーム処理部５５は、制御部６３の制御の下、オーバーサンプリング後のデータから得られた符号化データを対象として処理を行う場合には、そのオーバーサンプリング後のデータとなる前の元のPCMデータから得られた符号化データを対象として行う場合に比べ、Ｒ倍の
頻度で処理を行う必要がある。

間引き部５６は、制御部６３の制御にしたがい、復号フレーム処理部５５から供給される出力データに対して、間引き処理を施し、元の出力データの１／Ｒ倍のサンプル数のデータである間引きデータを、復号済のＰＣＭデータとして出力する。

次に、図５は、Ｒ倍のオーバーサンプリングを行う図４の補間部５１の第１の構成例を示している。

図５においては、補間部５１は、そこに供給されるPCMデータに対して０を補間し、その補間結果を、オーバーサンプリング後のデータとして出力する。

即ち、図５では、補間部５１は、セレクタ７１から構成される。セレクタ７１には、符号化対象のPCMデータと、値が０のデータ（以下、適宜、０値という）とが供給されるようになっており、セレクタ７１は、制御部６３の制御の下、PCMデータまたは０値を選択し、オーバーサンプリング後のデータとして出力する。即ち、セレクタ７１は、そこに供給されるPCMデータを選択し、その後、Ｒ−１個の０値を選択する。さらに、セレクタ７１は、その次に供給されるPCMデータを選択し、その後、Ｒ−１個の０値を選択し、以下、同様の処理を行うことで、そこに供給されるPCMデータの隣接するサンプルどうしの間に、Ｒ−１個の０値を挿入したPCMデータを、オーバーサンプリング後のデータとして出力する。

従って、例えば、Ｒ＝２の場合は、図５の補間部５１は、図６に示すオーバーサンプリング後のデータを出力する。

即ち、図６は、Ｒ＝２の場合に図５の補間部５１が出力するオーバーサンプリング後のデータを示している。

Ｒ＝２の場合、図５の補間部５１は、図６において左側に示すPCMデータに対して、その隣接するサンプルどうしの間に、１つの０値を挿入する。その結果、図５の補間部５１からは、図６において右側に示すオーバーサンプリング後のデータ、即ち、図６において左側に示すPCMデータの隣接するサンプルどうしの間に、１つの０値が挿入されたPCMデータが出力される。

なお、図６においては、左から右方向を時間方向とするとともに、上方向をPCMデータのサンプル値（レベル）として、PCMデータ（オーバーサンプリング後のデータ）を示してある。後述する図８においても、同様である。

次に、図７は、Ｒ倍のオーバーサンプリングを行う図４の補間部５１の第２の構成例を示している。

図７においては、補間部５１は、そこに供給されるPCMデータに対して補間するサンプルのサンプル値を演算し、そのサンプル値のサンプルを、元のPCMデータに対して補間して、その補間結果を、オーバーサンプリング後のデータとして出力する。

即ち、図７では、補間部５１は、ラッチ回路８１および８２、補間値演算部８３、並びにセレクタ８４から構成されている。

ラッチ回路８１は、補間部５１に供給されるPCMデータのサンプルを順次ラッチし、ラッチ回路８２と補間値演算部８３に供給する。ラッチ回路８２は、ラッチ回路８２から供給されるPCMデータのサンプルを順次ラッチする。即ち、これにより、ラッチ回路８１において、PCMデータのあるサンプルがラッチされているとき、ラッチ回路８２において、そのサンプルの１サンプル前のサンプルがラッチされる。

補間値演算部８３は、ラッチ回路８１と８２でラッチされているPCMデータのサンプル、即ち、隣接する２つのサンプルの間を、例えば線形補間するＲ−１サンプルのサンプル値を演算し、セレクタ８４に供給する。ここで、PCMデータの隣接する２つのサンプルの間を補間する値の方法は、線形補間に限定されるものではない。

セレクタ８４は、制御部６３の制御の下、ラッチ回路８２でラッチされているPCMデータのサンプル、または補間値演算部８３から供給されるＲ−１サンプルを選択し、オーバーサンプリング後のデータとして出力する。即ち、セレクタ８４は、ラッチ回路８２で新たなPCMデータのサンプルがラッチされたとき、そのサンプルを選択し、その後、補間値演算部８３から供給されるＲ−１サンプルを選択することを繰り返すことで、補間部５１に供給されるPCMデータの隣接するサンプルどうしの間に、Ｒ−１個のサンプルを挿入したPCMデータを、オーバーサンプリング後のデータとして出力する。

従って、例えば、Ｒ＝２の場合は、図７の補間部５１は、図８に示すオーバーサンプリング後のデータを出力する。

即ち、図８は、Ｒ＝２の場合に図７の補間部５１が出力するオーバーサンプリング後の
データを示している。

Ｒ＝２の場合、図７の補間部５１は、図８において左側に示すPCMデータに対して、その隣接するサンプルどうしの間を線形補間する値（以下、適宜、補間値という）を挿入する。その結果、図７の補間部５１からは、図８において右側に示すオーバーサンプリング後のデータ、即ち、図８において左側に示すPCMデータの隣接するサンプルどうしの間に、１つの補間値が挿入されたPCMデータが出
力される。

次に、図９は、図４の符号化フレーム処理部５４の構成例を示している。

図９において、符号化フレーム処理部５４は、直交変換部９１と量子化／符号化部９２で構成されている。直交変換部９１は、信号記憶装置５３から１フレームのPCMデータを読み出して、直交変換し、その結果得られる直交変換データを、量子化／符号化部９２に供給する。量子化／符号化部９２は、直交変換部９１から供給される直交変換データを量子化等し、その結果得られるデータを、符号化データとして出力する。

なお、直交変換部９１と量子化／符号化部９２は、制御部６３から供給される、フレーム処理頻度制御信号に応じた頻度で、処理を行う。

即ち、符号化フレーム処理部５４が、補間が行われていないPCMデータを対象として処理を行う場合、制御部６３は、所定の基準の頻度（フレームレート）で処理を行う動作モードである通常モードを指示する処理頻度制御信号を、直交変換部９１と量子化／符号化部９２に供給し、この場合、直交変換部９１と量子化／符号化部９２は、通常モードで処理を行う。

一方、符号化フレーム処理部５４が、オーバーサンプリング後のデータを対象として処理を行う場合、制御部６３は、所定の基準の処理頻度のＲ倍の頻度で処理を行う動作モードである高頻度モードを指示する処理頻度制御信号を、直交変換部９１と量子化／符号化部９２に供給し、この場合、直交変換部９１と量子化／符号化部９２は、高頻度モードで処理を行う。

次に、符号化フレーム処理部５４（ひいては、復号フレーム処理部５５）において処理の対象となるPCMデータについて説明する。

なお、符号化対象のPCMデータを、オーバーサンプリング後のデータであるPCMデータと区別するために、以下、適宜、元のPCMデータという。

符号化フレーム処理部５４において、ＮサンプルのPCMデータを１フレームとして直交変換処理を行う場合、１フレームの元のPCMデータのスペクトルは、例えば、図１０に示すようになる。なお、ここでは、PCMデータのスペクトルとして、例えば、そのPCMデータのFFT結果を採用することとする。

即ち、図１０は、横軸を角周波数とするとともに、縦軸をPCMデータのスペクトルのスペクトル成分（周波数成分）として、元のPCMデータのFFT結果としてのスペクトルを表している。なお、PCMデータの各スペクトル成分は、離散的な角周波数ごとに現れるが、図１０では、図を簡略化するために、スペクトルを連続波形として表してある。後述する図１１乃至図１４、図２０、および図２２においても同様である。

Ｎサンプルの元のPCMデータをFFTすると、角周波数０乃至πの範囲において等間隔のＮ個の角周波数のスペクトル成分が得られる。図１０において、角周波数π／２は、元のPCMデータのサンプリング周波数をＦ_s[Hz]とすると、Ｆ_s／２[Hz]（ナイキスト周波数）に相当し、角周波数π／２乃至πの範囲においては、角周波数０乃至π／２の範囲のスペクトル成分の折り返し成分、即ち、いわゆるエリアシング(aliasing)成分（ミラーイメージ）（スペクトルイメージ）が現れる。

符号化フレーム処理部５４において、元のPCMデータを処理する場合には、図１０に示す角周波数０乃至π／２の範囲のスペクトル成分を有するPCMデータを処理することになる。

次に、図１１は、Ｎサンプルの元のPCMデータの隣接するサンプルどうしの間に、Ｒ−１個の０値を補間するＲ倍のオーバーサンプリング（以下、適宜、０詰め型オーバーサンプリングという）を行って得られるＮ×ＲサンプルのPCMデータであるオーバーサンプリング後のデータのFFT結果としてのスペクトルを表している。

Ｎ×Ｒサンプルのオーバーサンプリング後のデータをFFTすると、角周波数０乃至πの範囲において等間隔のＮ×Ｒ個の角周波数のスペクトル成分が得られる。図１１において、角周波数π／２は、Ｒ×Ｆ_s／２[Hz]に相当し、周波数Ｆ_sの整数倍に相当する角周波数の部分には、角周波数０乃至π／（２Ｒ）の範囲のスペクトル成分のエリアシング成分が現れる。

次に、図１２は、Ｎ／Ｒサンプルの元のPCMデータの隣接するサンプルどうしの間に、Ｒ−１個の０値を補間するＲ倍の０詰め型オーバーサンプリングを行って得られるＮサンプルのPCMデータであるオーバーサンプリング後のデータのFFT結果としてのスペクトルを表している。

Ｎサンプルのオーバーサンプリング後のデータのFFT結果は、図１１のＮ×Ｒサンプルのオーバーサンプリング後のデータのFFT結果であるスペクトルを、角周波数の方向に１／Ｒに間引いたものとなる。即ち、Ｎサンプルのオーバーサンプリング後のデータをFFTすると、角周波数０乃至πの範囲において等間隔のＮ個の角周波数のスペクトル成分が得られ、さらに、図１１のＮ×Ｒサンプルのオーバーサンプリング後のデータのスペクトルと同様のエリアシング成分が現れる。

ここで、符号化フレーム処理部５４は、フレーム単位、即ち、Ｎサンプル単位でPCMデータを処理するから、符号化フレーム処理部５４が処理するオーバーサンプリング後のデータは、Ｎ／Ｒサンプルの元のPCMデータの隣接するサンプルに、Ｒ−１個の０値を補間することにより得られるＮサンプルのオーバーサンプリング後のデータということになる。

従って、図４の補間部５１として、図５の第１の構成例を採用する場合、即ち、図４の補間部５１において、０値を補間する場合において、符号化フレーム処理部５４で、オーバーサンプリング後のデータを処理するときには、図１２に示す角周波数０乃至π／２の範囲のスペクトル成分を有するPCMデータ（オーバーサンプリング後のデータ）を処理することになる。

補間部５１において、Ｎ／Ｒサンプルの元のPCMデータの隣接するサンプルどうしの間に、Ｒ−１個の０値を補間することにより得られるＮサンプルのオーバーサンプリング後のデータは、元のPCMデータがＮサンプル集まるのに要する時間の１／Ｒの時間で得ることができる。従って、符号化フレーム処理部５４において、補間部５１で得られるオーバーサンプリング後のデータを処理する場合には、アルゴリズム遅延を、元のPCMデータを処理する場合の１／Ｒの時間に減少させることができる。

但し、符号化フレーム処理部５４において、補間部５１で得られるオーバーサンプリング後のデータを処理する場合には、Ｎサンプル（１フレーム）のオーバーサンプリング後のデータが、元のPCMデータがＮサンプル集まるのに要する時間の１／Ｒの時間で順次得られるため、符号化フレーム処理部５４では、元のPCMデータを処理する場合のＲ倍の頻度で処理を行う必要がある。このため、符号化フレーム処理部５４は、オーバーサンプリング後のデータを処理する場合には、上述したように、元のPCMデータを処理する場合のＲ倍の頻度で処理を行う。

なお、符号化フレーム処理部５４が処理するオーバーサンプリング後のデータの、図１２に示した角周波数０乃至π／２の範囲のスペクトル成分のうちの、周波数Ｆ_sの整数倍に相当する角周波数の部分は、角周波数０乃至π／（２Ｒ）の範囲のスペクトル成分のエリアシング成分である。従って、符号化フレーム処理部５４（の量子化／符号化部９２）では、角周波数０乃至π／（２Ｒ）の範囲のスペクトル成分だけを処理すれば良く、角周波数π／（２Ｒ）以上のスペクトル成分は、処理する必要がない。

従って、符号化フレーム処理部５４は、０詰め型オーバーサンプリングによって得られたオーバーサンプリング後のデータを処理する場合には、元のPCMデータを処理する場合のＲ倍の頻度で処理を行う必要があるが、オーバーサンプリング後のデータのエリアシング成分（角周波数π／（２Ｒ）以上のスペクトル成分）は、処理する必要がないため、即ち、オーバーサンプリング後のデータのエリアシング成分でない成分だけを処理すれば良いため、全体の演算量は、元のPCMデータを処理する場合のＲ倍よりも十分小さく抑えることができる。

次に、図１３は、Ｎサンプルの元のPCMデータの隣接するサンプルどうしの間に、補間値を補間するＲ倍のオーバーサンプリングを行って得られるＮ×ＲサンプルのPCMデータであるオーバーサンプリング後のデータのFFT結果としてのスペクトルを表している。

Ｎ×Ｒサンプルのオーバーサンプリング後のデータをFFTすると、角周波数０乃至πの範囲において等間隔のＮ×Ｒ個の角周波数のスペクトル成分が得られる。図１３において、角周波数π／２は、Ｒ×Ｆ_s／２[Hz]に相当する。

ここで、補間値を補間して得られるオーバーサンプリング後のデータにおいては、角周波数０乃至π／（２Ｒ）と、（１−１／（２Ｒ））π乃至πの範囲に、図１０の角周波数０乃至π／２と、π／２乃至πの範囲と同様のスペクトル成分が現れるが、図１１における場合のように、周波数Ｆ_sの整数倍に相当する角周波数の部分に、エリアシング成分は現れない。従って、図１３に示した、補間値を補間して得られるオーバーサンプリング後のデータのスペクトルは、図１１に示した０詰め型オーバーサンプリングによって得られるオーバーサンプリング後のデータのスペクトルのエリアシング成分を帯域制限したものに等価である。そこで、補間値を補間することによるＲ倍のオーバーサンプリングを、以下、適宜、帯域制限型オーバーサンプリングという。

次に、図１４は、Ｎ／Ｒサンプルの元のPCMデータの隣接するサンプルどうしの間に、Ｒ−１個の補間値を補間するＲ倍の帯域制限型オーバーサンプリングを行って得られるＮサンプルのPCMデータであるオーバーサンプリング後のデータのFFT結果としてのスペクトルを表している。

Ｎサンプルのオーバーサンプリング後のデータのFFT結果は、図１３のＮ×Ｒサンプルのオーバーサンプリング後のデータのFFT結果であるスペクトルを、角周波数の方向に１／Ｒに間引いたものとなる。即ち、Ｎサンプルのオーバーサンプリング後のデータをFFTすると、角周波数０乃至πの範囲において等間隔のＮ個の角周波数のスペクトル成分が得られる。また、そのスペクトルは、図１３における場合と同様に、角周波数０乃至π／（２Ｒ）と、（１−１／（２Ｒ））π乃至πの範囲に、図１０の角周波数０乃至π／２と、π／２乃至πの範囲と同様のスペクトル成分が現れるが、周波数Ｆ_sの整数倍に相当する角周波数の部分に、エリアシング成分は現れない。

ここで、符号化フレーム処理部５４は、フレーム単位、即ち、Ｎサンプル単位でPCMデータを処理するから、符号化フレーム処理部５４が処理するオーバーサンプリング後のデータは、Ｎ／Ｒサンプルの元のPCMデータの隣接するサンプルに、Ｒ−１個の補間値を補間することにより得られるＮサンプルのオーバーサンプリング後のデータということになる。

従って、図４の補間部５１として、図７の第２の構成例を採用する場合、即ち、図４の補間部５１において、補間値を補間する場合において、符号化フレーム処理部５４で、オーバーサンプリング後のデータを処理するときには、図１４に示す角周波数０乃至π／２の範囲のスペクトル成分を有するPCMデータを処理することになる。

補間部５１において、Ｎ／Ｒサンプルの元のPCMデータの隣接するサンプルどうしの間に、Ｒ−１個の補間値を補間することにより得られるＮサンプルのオーバーサンプリング後のデータは、元のPCMデータがＮサンプル集まるのに要する時間の１／Ｒの時間で得ることができる。従って、符号化フレーム処理部５４において、補間部５１で得られるオーバーサンプリング後のデータを処理する場合には、アルゴリズム遅延を、元のPCMデータを処理する場合の１／Ｒの時間に減少させることができる。

但し、符号化フレーム処理部５４において、補間部５１で得られるオーバーサンプリング後のデータを処理する場合には、Ｎサンプル（１フレーム）のオーバーサンプリング後のデータが、元のPCMデータがＮサンプル集まるのに要する時間の１／Ｒの時間で順次得られるため、符号化フレーム処理部５４では、元のPCMデータを処理する場合のＲ倍の頻度で処理を行う必要がある。このため、符号化フレーム処理部５４は、オーバーサンプリング後のデータを処理する場合には、上述したように、高頻度モードで、即ち、元のPCMデータを処理する場合のＲ倍の頻度で処理を行う。

なお、符号化フレーム処理部５４が処理するオーバーサンプリング後のデータの、図１４に示した角周波数０乃至π／２の範囲のスペクトル成分のうちの、π／（２Ｒ）以上の角周波数のスペクトル成分は０である。従って、符号化フレーム処理部５４（の量子化／符号化部９２）では、角周波数０乃至π／（２Ｒ）の範囲のスペクトル成分だけを処理すれば良く、角周波数π／（２Ｒ）以上のスペクトル成分は、処理する必要がない。

従って、符号化フレーム処理部５４は、帯域制限型オーバーサンプリングによって得られたオーバーサンプリング後のデータを処理する場合には、元のPCMデータを処理する場合のＲ倍の頻度で処理を行う必要があるが、オーバーサンプリング後のデータの角周波数π／（２Ｒ）以上のスペクトル成分は、処理する必要がないため、即ち、オーバーサンプリング後のデータの角周波数０乃至π／（２Ｒ）のスペクトル成分だけを処理すれば良いため、全体の演算量は、元のPCMデータを処理する場合のＲ倍よりも十分小さく抑えることができる。

以上のように、符号化フレーム処理部５４は、０詰め型オーバーサンプリング、および帯域制限型オーバーサンプリングのいずれによって得られたオーバーサンプリング後のデータを処理する場合であっても、元のPCMデータを処理する場合のＲ倍の頻度で処理を行う。但し、オーバーサンプリング後のデータの角周波数π／（２Ｒ）以上のスペクトル成分は、処理する必要がないため、全体の演算量は、元のPCMデータを処理する場合のＲ倍よりも十分小さく抑えることができる。

なお、以上のことは、符号化フレーム処理部５４に対応する処理を行う復号フレーム処理部５５についても同様である。また、符号化フレーム処理部５４および復号フレーム処理部５５において、角周波数が０乃至π／（２Ｒ）のスペクトル成分についてだけ処理を行わせることは、制御部６３による制御によって行うことができる。

次に、図１５は、図４の復号フレーム処理部５５の構成例を示している。

復号／逆量子化部１０１には、記録媒体６４または伝送媒体６５からの符号化データが供給される。復号／逆量子化部１０１は、そこに供給される符号化データを逆量子化等することにより、直交変換データに復号し、逆直交変換部１０２に供給する。逆直交変換部１０２は、復号／逆量子化部１０１から供給される直交変換データをフレーム単位で逆直交変換し、その逆直交変換結果のPCMデータを、出力データとして、間引き部５６とセレクタ５７に供給する。

なお、復号／逆量子化部１０１と逆直交変換部１０２は、制御部６３から供給される、処理頻度制御信号に応じた処理頻度で、処理を行う。

即ち、復号フレーム処理部５５が、補間が行われていない元のPCMデータから得られた符号化データを対象として処理を行う場合、制御部６３は、所定の基準の処理頻度で処理を行う動作モードである通常モードを指示する処理頻度制御信号を、復号／逆量子化部１０１と逆直交変換部１０２に供給し、この場合、復号／逆量子化部１０１と逆直交変換部１０２は、通常モードで処理を行う。

一方、復号フレーム処理部５５が、オーバーサンプリング後のデータから得られた符号化データを対象として処理を行う場合、制御部６３は、所定の基準の処理頻度のＲ倍の頻度で処理を行う動作モードである高頻度モードを指示する処理頻度制御信号を、復号／逆量子化部１０１と逆直交変換部１０２に供給し、この場合、復号／逆量子化部１０１と逆直交変換部１０２は、高頻度モードで処理を行う。

次に、図１６乃至図１９のフローチャートを参照して、図４のコーデックシステムの処理について説明する。

コーデックシステムが、例えば、オーディオデータを符号化データに符号化して記録媒体６４に記録し、あるいは、記録媒体６４から符号化データを読み出し、オーディオデータに復号して再生するオーディオレコーダ／プレーヤなどのいわゆる蓄積系のアプリケーションプログラムにおいて、オーディオデータの符号化や復号に用いられる場合には、コーデックシステムは、記録媒体６４に符号化データを記録する記録処理や、記録媒体６４から符号化データを再生する再生処理を行う。

また、コーデックシステムが、例えば、オーディオデータを符号化データに符号化してインターネットなどの伝送媒体６５を介して伝送するとともに、伝送媒体６５から伝送されてくる符号化データを受信し、オーディオデータに復号して出力するIP電話システム（インターネット電話）などの、リアルタイム性が要求される伝送系のアプリケーションプログラムにおいて、オーディオデータの符号化や復号に用いられる場合には、コーデックシステムは、符号化データを伝送媒体６５を介して送信する送信処理や、伝送媒体６５を介して送信されてくる符号化データを受信する受信処理を行う。

なお、IP電話システムによれば、例えば、図２において、情報処理装置２１と２２との間で、電話通信を行うことができる。

まず最初に、図１６のフローチャートを参照して、オーディオデータを記録媒体６４に記録する記録処理について説明する。

記録処理は、例えば、記録すべきオーディオデータであるPCMデータが、コーデックシステムに供給されると開始される。

記録処理においては、まず最初に、ステップＳ１において、制御部６３は、符号化フレーム処理部５４の動作モードを通常モードとするように制御する。これにより、ステップＳ１では、符号化フレーム処理部５４は、その動作モードを通常モードとし、所定の基準の処理頻度で処理を開始する。

ステップＳ１の処理後は、ステップＳ２に進み、制御部６３は、セレクタ５２を制御することにより、元のPCMデータと、補間部５１が出力するオーバーサンプリング後のデータとのうちの、元のPCMデータを選択させる。これにより、セレクタ５２から信号記憶装置５３には、元のPCMデータが供給される。

その後、ステップＳ２からＳ３に進み、信号記憶装置５３は、セレクタ５２から供給される元のPCMデータの記憶を開始し、ステップＳ４に進む。

ステップＳ４では、符号化フレーム処理部５４が、信号記憶装置５３に、１フレーム分の元のPCMデータが記憶されたかどうかを判定し、まだ記憶されていないと判定した場合、ステップＳ４に戻る。そして、ステップＳ４において、信号記憶装置５３に、１フレーム分の元のPCMデータが記憶されたと判定された場合、ステップＳ５に進み、符号化フレーム処理部５４（図９）の直交変換部９１は、信号記憶装置５３から１フレーム分の元のPCMデータを読み出し、ステップＳ６に進む。

ステップＳ６では、直交変換部９１は、直前のステップＳ５で信号記憶装置５３から読み出した１フレームの元のPCMデータを直交変換し、その結果得られる直交変換データを、量子化／符号化部９２に供給して、ステップＳ７に進む。ステップＳ７では、量子化／符号化部９２は、直交変換部９１から供給される直交変換データを量子化等することにより、符号化データとし、ステップＳ８に進む。

ここで、ステップＳ６の直交変換部９１の処理と、ステップＳ７の量子化／符号化部９２の処理は、所定の基準の処理頻度（フレーム単位の元のPCMデータの処理に間に合う処理頻度）で行われる。

ステップＳ８では、符号化フレーム処理部５４は、符号化データを、記録媒体６４に記録し、ステップＳ９に進む。ステップＳ９では、符号化フレーム処理部５４が、信号記憶装置５３に、未処理のPCMデータがまだ記憶されているかどうかを判定し、記憶されていると判定された場合、ステップＳ４に戻り、以下、同様の処理が繰り返される。

また、ステップＳ９において、信号記憶装置５３に、未処理のPCMデータが記憶されていないと判定された場合、記録処理を終了する。

次に、図１７のフローチャートを参照して、記録媒体６４に記録されたオーディオデータを再生する再生処理について説明する。

再生処理は、例えば、ユーザが入力部３７（図３）を操作することにより、オーディオデータの再生を指令した場合に開始される。

再生処理においては、まず最初に、ステップＳ２１において、制御部６３は、復号フレーム処理部５５の動作モードを通常モードとするように制御する。これにより、ステップＳ２１では、復号フレーム処理部５５は、その動作モードを通常モードとし、所定の基準の処理頻度で処理を開始する。

ステップＳ２１の処理後は、ステップＳ２２に進み、復号フレーム処理部５５は、記録媒体６４からの符号化データの読み出しを開始し、ステップ２３に進む。

ステップＳ２３では、復号フレーム処理部５５が、記録媒体６４から、１フレーム分の符号化データが読み出されたかどうかを判定し、まだ読み出されていないと判定した場合、ステップＳ２３に戻る。そして、ステップＳ２３において、記録媒体６４から、１フレーム分の符号化データが読み出されたと判定された場合、ステップＳ２４に進み、復号フレーム処理部５５（図１５）の復号／逆量子化部１０１は、その１フレーム分の符号化データを逆量子化等することにより、直交変換データに復号し、逆直交変換部１０２に供給して、ステップＳ２５に進む。ステップＳ２５では、逆直交変換部１０２は、復号／逆量子化部１０１から供給される直交変換データを逆直交変換し、その結果得られるPCMデータを出力データとして、セレクタ５７に供給して、ステップＳ２６に進む。

ここで、ステップＳ２４の復号／逆量子化部１０１の処理と、ステップＳ２５の逆直交変換部１０２の処理は、所定の基準の処理頻度（フレーム単位の符号化データの処理に間に合う処理頻度）で行われる。

ステップＳ２６では、セレクタ５７は、逆直交変換部１０２が出力する出力データを選択して出力し、ステップＳ２７に進む。セレクタ５７が出力する出力データであるオーディオデータは、例えば、出力部３６（図３）に供給されて出力される。

ステップＳ２７では、復号フレーム処理部５５が、記録媒体６４に、未処理の符号化データがまだ記録されているかどうかを判定し、記録されていると判定された場合、ステップＳ２３に戻り、以下、同様の処理が繰り返される。

また、ステップＳ２７において、記録媒体６４に、未処理の符号化データが記憶されていないと判定された場合、再生処理を終了する。

次に、図１８のフローチャート参照して、オーディオデータを、伝送媒体６５を介して送信する送信処理について説明する。

送信処理は、例えば、送信すべきオーディオデータであるPCMデータが、コーデックシステムに供給されると開始される。

送信処理においては、まず最初に、ステップＳ４１において、制御部６３は、符号化フレーム処理部５４の動作モードを高頻度モードとするように制御する。これにより、ステップＳ４１では、符号化フレーム処理部５４は、その動作モードを高頻度モードとし、所定の基準の処理頻度のＲ倍の頻度で処理を開始する。

ステップＳ４１の処理後は、ステップＳ４２に進み、制御部６３は、補間部５１を制御することにより、コーデックシステムに供給される元のPCMデータに対する補間処理を開始させ、ステップＳ４３に進む。ここで、ステップＳ４２の処理により、補間部５１からは、元のPCMデータのＲ倍のサンプル数のオーバーサンプリング後のデータの出力が開始される。

ステップＳ４３では、制御部６３は、セレクタ５２を制御することにより、元のPCMデータと、補間部５１が出力するオーバーサンプリング後のデータとのうちの、オーバーサンプリング後のデータを選択させる。これにより、セレクタ５２から信号記憶装置５３には、補間部５１が出力するオーバーサンプリング後のデータが供給される。

その後、ステップＳ４３からＳ４４に進み、信号記憶装置５３は、セレクタ５２から供給されるオーバーサンプリング後のデータの記憶を開始し、ステップＳ４５に進む。

ステップＳ４５では、符号化フレーム処理部５４が、信号記憶装置５３に、１フレーム分のオーバーサンプリング後のデータが記憶されたかどうかを判定し、まだ記憶されていないと判定した場合、ステップＳ４５に戻る。そして、ステップＳ４５において、信号記憶装置５３に、１フレーム分のオーバーサンプリング後のデータが記憶されたと判定された場合、ステップＳ４６に進み、符号化フレーム処理部５４（図９）の直交変換部９１は、信号記憶装置５３から１フレーム分のオーバーサンプリング後のデータを読み出し、ステップＳ４７に進む。

ステップＳ４７では、直交変換部９１は、直前のステップＳ４６で信号記憶装置５３から読み出した１フレームのオーバーサンプリング後のデータを直交変換し、その結果得られる直交変換データを、量子化／符号化部９２に供給して、ステップＳ４８に進む。ステップＳ４８では、量子化／符号化部９２は、直交変換部９１から供給される直交変換データを量子化等することにより、符号化データとし、ステップＳ４９に進む。

ここで、符号化フレーム処理部５４は、ステップＳ４１の処理により、高頻度モードとなっており、従って、ステップＳ４７の直交変換部９１の処理と、ステップＳ４８の量子化／符号化部９２の処理は、所定の基準の処理頻度のＲ倍の頻度で行われる。

なお、処理頻度を表す情報であるＲ（以下、適宜、処理頻度情報Ｒともいう）は、符号化装置６１と復号装置６２において固定の値とすることもできるし、可変の値とすることもできる。処理頻度情報Ｒを可変とする場合には、その可変の値の処理頻度情報Ｒは、例えば、制御部６３が、伝送媒体６５におけるデータ伝送の遅延時間などに基づいて設定し、あるいは、ユーザによる入力部３７（図３）の操作に応じて設定すること等が可能である。但し、例えば、オーディオデータを、情報処理装置２１から２２（または２２から２１）に送信する場合に、処理頻度情報Ｒを可変とするときには、送信側である情報処理装置２１の制御部６３で設定された処理頻度情報Ｒ、ならびに間引きのレート示す量を、受信側である情報処理装置２２の制御部６３で認識する必要がある。そこで、処理頻度情報Ｒを可変とするときには、送信側である情報処理装置２１の制御部６３で設定された処理頻度情報Ｒ、ならびに間引きのレート示す量を、符号化データに含めて送信することができる。

ステップＳ４９では、符号化フレーム処理部５４は、符号化データを、伝送媒体６５を介して送信し、ステップＳ５０に進む。ステップＳ５０では、符号化フレーム処理部５４が、信号記憶装置５３に、未処理のオーバーサンプリング後のデータがまだ記憶されているかどうかを判定し、記憶されていると判定された場合、ステップＳ４５に戻り、以下、同様の処理が繰り返される。

また、ステップＳ５０において、信号記憶装置５３に、未処理のオーバーサンプリング後のデータが記憶されていないと判定された場合、送信処理を終了する。

以上のように、符号化フレーム処理部５４において、所定の基準の処理頻度のＲ倍の頻度で、元のPCMデータのＲ倍のサンプル数のオーバーサンプリング後のデータを処理するので、アルゴリズム遅延を、元のPCMデータを処理する場合に比較して、理論的には、１／Ｒにすることができる。

次に、図１９のフローチャートを参照して、伝送媒体６５を介して送信されてくるオーディオデータを受信する受信処理について説明する。

受信処理は、例えば、伝送媒体６５を介して送信されてくるオーディオデータであるPCMデータが、コーデックシステムに供給されると開始される。

受信処理においては、まず最初に、ステップＳ６１において、制御部６３は、復号フレーム処理部５５の動作モードを高頻度モードとするように制御する。これにより、ステップＳ６１では、復号フレーム処理部５５は、その動作モードを高頻度モードとし、所定の基準の処理頻度のＲ倍の頻度で処理を開始する。

ステップＳ６１の処理後は、ステップＳ６２に進み、復号フレーム処理部５５は、伝送媒体６５を介して送信されていく符号化データの受信を開始し、ステップ６３に進む。

ステップＳ６３では、復号フレーム処理部５５が、１フレーム分の符号化データを受信したかどうかを判定し、まだ受信していないと判定した場合、ステップＳ６３に戻る。そして、ステップＳ６３において、１フレーム分の符号化データを受信したと判定された場合、ステップＳ６４に進み、復号フレーム処理部５５（図１５）の復号／逆量子化部１０１は、その１フレーム分の符号化データを逆量子化等することにより、直交変換データに復号し、逆直交変換部１０２に供給して、ステップＳ６５に進む。ステップＳ６５では、逆直交変換部１０２は、復号／逆量子化部１０１から供給される直交変換データを逆直交変換し、その結果得られるPCMデータを出力データとして、間引き部５６とセレクタ５７に供給して、ステップＳ６６に進み、制御部６３は、間引き部５６を制御することにより、間引き処理を行わせる。これにより、間引き部５６では、復号フレーム処理部５５の逆直交変換部１０２から供給される出力データを１／Ｒ倍のサンプル数に間引き、即ち、出力データの最初のサンプルを選択し、その後、Ｒ−１サンプルを選択せず、その次のサンプルを選択することを繰り返し、これにより得られる間引きデータとしてのＰＣＭデータを、セレクタ部５７に出力する

その後、ステップＳ６６からＳ６７に進み、制御部６３はセレクタ５７を制御することにより、復号フレーム処理部５５の出力と、間引き部５６の出力とのうちの、間引き部５６の出力を選択させる。

これにより、セレクタ５７は、間引き部５６から供給される間引きデータとしてのPCMデータを選択して出力するようになる。セレクタ５７が出力する間引きされたオーディオデータは、例えば、出力部３６（図３）に供給されて出力される。

また、復号フレーム処理部５５は、ステップＳ６１の処理により、高頻度モードとなっており、従って、ステップＳ６４の復号／逆量子化部１０１の処理と、ステップＳ６５の逆直交変換部１０２の処理は、所定の基準の処理頻度のＲ倍の頻度で行われる。

ステップＳ６７の処理後、ステップＳ６８に進み、復号フレーム処理部５５が、伝送媒体６５から、符号化データがまだ送信されてくるかどうかを判定し、送信されてくると判定された場合、ステップＳ６３に戻り、以下、同様の処理が繰り返される。

また、ステップＳ６８において、符号化データが送信されてこないと判定された場合、受信処理を終了する。

以上のように、復号フレーム処理部５５において、所定の基準の処理頻度のＲ倍の頻度で、元のPCMデータのＲ倍のサンプル数のオーバーサンプリング後のデータから得られた符号化データを処理し、さらに、その処理の結果得られる出力データを１／Ｒ倍に間引くので、アルゴリズム遅延を、元のPCMデータを処理する場合に比較して、理論的には、１／Ｒにすることができる。

ここで、送信処理および受信処理では、符号化フレーム処理部５４および復号フレーム処理部５５において、元のPCMデータのＲ倍のサンプル数とされたオーバーサンプリング後のデータについて、所定の基準の処理頻度のＲ倍の頻度で処理を行うので、符号化フレーム処理部５４および復号フレーム処理部５５の演算量は、単純には、元のPCMデータを所定の基準の処理頻度で処理する場合に比較して、Ｒ倍になる。但し、元のPCMデータのＲ倍のサンプル数とされたオーバーサンプリング後のデータについては、上述したように、図２０に示すオーバーサンプリング後のデータのスペクトル成分のうちの、角周波数が０乃至π／（２Ｒ）の範囲のスペクトル成分（図２０において影を付してある部分）だけを対象として処理を行えば良く、このようにすることにより、演算量を、元のPCMデータを処理する場合のＲ倍よりも十分小さく抑えることができる。

なお、図２０は、図１２に示した場合と同様の、元のPCMデータをＲ倍の０詰め型オーバーサンプリングした場合のオーバーサンプリング後のデータのスペクトルを示している。

次に、図２１は、PCMデータを、複数の周波数帯域のデータであるサブバンドデータに周波数帯域分割し、少なくとも直交変換することにより符号化する符号化フレーム処理部５４の構成例を示している。

ここで、PCMデータを、周波数帯域分割し、少なくとも直交変換することにより符号化する符号化方式としては、例えば、ATRAC(Adaptive TRansform Acoustic Coding)(ATRAC, ATRAC3, ATRAC-X)などがある。そこで、ここでは、符号化フレーム処理部５４が、例えば、ATRAC-X方式でPCMデータを符号化するものとして説明を行う。なお、ATRAC-X方式では、１フレームは、２０４８サンプルであり、また、PCMデータは、１６のサブバンドに周波数帯域分割される。

図２１において、符号化フレーム処理部５４は、帯域分割フィルタ１１１、１６個のサブバンド処理部１１２₁乃至１１２₁₆、およびマルチプレクサ１１３で構成されている。

帯域分割フィルタ１１１は、例えば、ＰＱＦ(Polyphase Quadrature Filter)などで構成され、そこに供給されるPCMデータを周波数帯域分割し、１６のサブバンドのデータを得て、各サブバンドのデータ（サブバンドデータ）を、対応するサブバンド処理部１１２₁乃至１１２₁₆に供給する。ここで、以下、適宜、１６のサブバンドを、低周波数のものから順に、サブバンド＃１，＃２，・・・，＃１６と記述する。また、以下、適宜、サブバンド＃１，＃２，・・・，＃１６のデータを、サブバンドデータ＃１，＃２，・・・，＃１６と記述する。サブバンドデータ＃ｉは（ｉ＝１，２，・・・，１６）、帯域分割フィルタ１１１から、サブバンド処理部１１２_iに供給されて処理される。

サブバンド処理部１１２_iは、帯域分割フィルタ１１１から供給されるサブバンドデータ＃ｉを処理し、サブバンド＃ｉの符号化データを得て、マルチプレクサ１１３に供給する。

ここで、サブバンド処理部１１２₁は、前処理部１２１、直交変換部１２２、および量子化／符号化部１２３で構成される。前処理部１２１は、サブバンド処理部１１２₁に供給されるサブバンドデータ＃１のゲイン調整を行い、直交変換部１２２に供給する。直交変換部１２２は、前処理部１２１からのサブバンドデータ＃１をMDCT処理し、そのMDCT処理の結果得られるMDCT係数を、量子化／符号化部１２３に供給する。量子化／符号化部１２３は、直交変換部１２２から供給されるMDCT係数を量子化等することにより、サブバンド＃１の符号化データに符号化し、マルチプレクサ１１３に供給する。

サブバンド処理部１１２₁以外のサブバンド処理部１１２_iも、サブバンド処理部１１２₁と同様に構成され、帯域分割フィルタ１１１から供給されるサブバンドデータ＃ｉを、サブバンド処理部１１２₁と同様に処理し、その結果得られるサブバンド＃ｉの符号化データを、マルチプレクサ１１３に供給する。

マルチプレクサ１１３は、サブバンド処理部１１２₁乃至１１２₁₆から供給されるサブバンド＃１乃至＃１６の符号化データを多重化し、その多重化結果を、最終的な符号化データとして出力する。

なお、ATRAC-X方式では、１フレームは、２０４８サンプルであるが、直交変換であるMDCT処理は、２フレームに亘り、１フレームずつオーバラップしながら行われる。従って、MDCT処理が２フレームを対象として行われるため、帯域分割フィルタ１１１は、２フレーム（＝４０９６サンプル）のPCMデータを、１６のサブバンドのサブバンドデータに分割して、MDCT処理が行われるサブバンド処理部１１２_iに供給する。このため、１つのサブバンドのサブバンドデータは、２５６サンプル（＝４０９６サンプル／１６）となる。

図２１の符号化フレーム処理部５４において、元のPCMデータをＲ倍オーバーサンプリングして得られるオーバーサンプリング後のデータを処理する場合、そのオーバーサンプリング後のデータについては、図１０乃至図１４で説明したように、角周波数が０乃至π／（２Ｒ）の範囲のスペクトル成分のオーバーサンプリング後のデータだけを対象に処理すれば良い。

従って、帯域分割フィルタ１１１において得られる１６のサブバンドのサブバンドデータ＃１乃至＃１６のうちの、角周波数がπ／（２Ｒ）以上の範囲のサブバンドデータを処理するサブバンド処理部１１２_iは、処理を行わなくて良い。

具体的には、例えば、Ｒ＝２の場合、サブバンドデータ＃１乃至＃８を処理するサブバンド処理部１１２₁乃至１１２₈だけが処理を行えば良く、サブバンドデータ＃９乃至＃１６を処理するサブバンド処理部１１２₉乃至１１２₁₆は処理を行う必要がない。

そして、この場合、マルチプレクサ１１３は、サブバンド処理部１１２₉乃至１１２₁₆から供給されるサブバンド＃９乃至＃１６の符号化データはすべて０であるとして多重化を行えば良い。

なお、図２１の符号化フレーム処理部５４においても、制御部６３の制御にしたがい、オーバーサンプリング後のデータを対象として処理を行う場合には、元のPCMデータを対象として処理を行う場合のＲ倍の頻度で処理が行われる。

但し、例えば、いま、Ｒ＝２とすると、上述したように、サブバンドデータ＃９乃至＃１６を処理するサブバンド処理部１１２₉乃至１１２₁₆は処理を行う必要がなく、さらに、帯域分割フィルタ１１１においても、オーバーサンプリング後のデータからサブバンドデータ＃９乃至＃１６を分割する処理を行う必要がない。

従って、符号化フレーム処理部５４において、オーバーサンプリング後のデータを対象として処理を行う場合には、元のPCMデータを対象として処理を行う場合のＲ倍の頻度で処理が行われるが、帯域分割フィルタ１１１およびサブバンド処理部１１２₁乃至１１２₁₆において、１フレームのオーバーサンプリング後のデータを処理するための演算量は、１フレームの元のPCMデータを処理するための演算量の１／Ｒになる。

ここで、図２１の符号化フレーム処理部５４が、１フレームの元のPCMデータを処理するときの演算量を１とするとともに、そのときのマルチプレクサ１１３の演算量をｒとすると、帯域分割フィルタ１１１およびサブバンド処理部１１２₁乃至１１２₁₆が、１フレームの元のPCMデータを処理するときの演算量は、１−ｒで表すことができる。

符号化フレーム処理部５４において、オーバーサンプリング後のデータを対象として処理を行う場合には、上述したように、帯域分割フィルタ１１１およびサブバンド処理部１１２₁乃至１１２₁₆において、１フレームのオーバーサンプリング後のデータを処理するための演算量は、１フレームの元のPCMデータを処理するための演算量の１／Ｒになるから、（１−ｒ）／Ｒとなる。

従って、符号化フレーム処理部５４において、１フレームのオーバーサンプリング後のデータを処理するための演算量は、帯域分割フィルタ１１１およびサブバンド処理部１１２₁乃至１１２₁₆における演算量（１−ｒ）／Ｒと、マルチプレクサ１１３の演算量ｒとを加算した演算量（１−１／Ｒ）ｒ＋１／Ｒ（＝（１−ｒ）／Ｒ＋ｒ）となる。さらに、符号化フレーム処理部５４では、オーバーサンプリング後のデータを処理するときは、元のPCMデータを処理するときのＲ倍の頻度で処理が行われるから、１フレームの元のPCMデータの処理と同一の時間に行われるオーバーサンプリング後のデータの処理に要する演算量は、１フレームのオーバーサンプリング後のデータを処理するための演算量（１−１／Ｒ）ｒ＋１／ＲのＲ倍である１＋（Ｒ−１）ｒとなる。

なお、マルチプレクサ１１３において、角周波数がπ／（２Ｒ）以上の範囲のサブバンドデータの符号化データを０として多重化しないようにすれば、即ち、マルチプレクサ１１３においても、帯域分割フィルタ１１１およびサブバンド処理部１１２₁乃至１１２₁₆における場合と同様に、角周波数がπ／（２Ｒ）以上の範囲のサブバンドデータを処理しないようにすれば、符号化フレーム処理部５４において、オーバーサンプリング後のデータを処理するための演算量と、元のPCMデータの処理するための演算量との差は、理論的にはない。

以上のように、符号化フレーム処理部５４において、PCMデータを周波数帯域分割して処理する場合には、図２２に示す、オーバーサンプリング後のデータのうちの角周波数がπ／（２Ｒ）以上の成分（サブバンドデータ）を処理する部分は、処理を行う必要がなく、従って、所定の基準の処理頻度のＲ倍の頻度で処理を行っても、全体的な演算量の増加を低減することができる。

ここで、符号化フレーム処理部５４において、オーバーサンプリング後のデータのうちの角周波数がπ／（２Ｒ）以上の成分（サブバンドデータ）を処理する部分に処理を行わせないようにする制御（または、オーバーサンプリング後のデータのうちの角周波数がπ／（２Ｒ）以下の成分（サブバンドデータ）を処理する部分だけに処理を行わせる制御）は、制御部６３において行うことができる。

なお、図２２においては、角周波数０乃至π／（２Ｒ）に対応する周波数帯域（図中、影を付してある部分）が、サブバンド＃１に一致しており、従って、図２２に示すスペクトルとなるオーバーサンプリング後のデータについては、サブバンドデータ＃１だけを処理するだけで済む。ここで、図２２は、図１２に示した場合と同様の、元のPCMデータをＲ倍の０詰め型オーバーサンプリングした場合のオーバーサンプリング後のデータのスペクトルを示している。

次に、図２３は、符号化フレーム処理部５４が、図２１に示したように構成される場合の復号フレーム処理部５５の構成例を示している。

復号フレーム処理部５５に供給される符号化データは、デマルチプレクサ１３１に供給される。デマルチプレクサ１３１は、そこに供給される符号化データを、１６のサブバンド＃１乃至＃１６の符号化データに分離し、サブバンド＃ｉの符号化データを、サブバンド処理部１３２_iに供給する。

サブバンド処理部１３２_iは、デマルチプレクサ１３１から供給されるサブバンド＃ｉの符号化データを処理し、サブバンド＃ｉのサブバンドデータを得て、合成フィルタ１３３に供給する。

なお、ATRAC-X方式では、上述したように、１つのサブバンドのサブバンドデータは、２５６サンプルであり、従って、サブバンド処理部１３２_iは、１フレームにつき、２５６サンプルからなるサブバンドデータ＃ｉを、合成フィルタ１３３に出力する。

ここで、サブバンド処理部１３２₁は、復号／逆量子化部１４１、逆直交変換部１４２、および後処理部１４３で構成される。復号／逆量子化部１４１は、デマルチプレクサ１３１から供給されるサブバンドデータ＃１を逆量子化等することにより、サブバンド＃１のMDCT係数に復号し、逆直交変換部１４２に供給する。逆直交変換部１４２は、復号／逆量子化部１４１からのサブバンド＃１のMDCT係数を逆MDCT処理し、その逆MDCT処理の結果得られるサブバンドデータ＃１を、後処理部１４３に供給する。後処理部１４３は、逆直交変換部１４２から供給されるサブバンドデータ＃１に対して必要な後処理を施し、合成フィルタ１３３に供給する。

サブバンド処理部１３２₁以外のサブバンド処理部１３２_iも、サブバンド処理部１３２₁と同様に構成され、デマルチプレクサ１３１から供給されるサブバンド＃ｉの符号化データを、サブバンド処理部１３２₁と同様に処理し、その結果得られるサブバンドデータ＃ｉを、合成フィルタ１３３に供給する。

合成フィルタ１３３は、サブバンド処理部１３２₁乃至１３２₁₆から供給される、１６の周波数帯域成分としてのサブバンドデータ＃ｉを合成し、その合成結果であるPCMデータを、合成データとして出力する。

図２３の復号フレーム処理部５５においても、図２１の符号化フレーム処理部５４における場合と同様に、符号化データが、Ｒ倍オーバーサンプリングによって生成されたオーバーサンプリング後のデータから得られたものである場合、そのオーバーサンプリング後のデータについては、図１０乃至図１４で説明したように、角周波数が０乃至π／（２Ｒ）の範囲のスペクトル成分のオーバーサンプリング後のデータだけを対象に処理すれば良い。

従って、デマルチプレクサ１３１において得られる１６のサブバンド＃１乃至＃１６の符号化データのうちの、角周波数がπ／（２Ｒ）以上の範囲のサブバンドの符号化データを処理するサブバンド処理部１３２_iは、処理を行わなくて良い。

具体的には、例えば、Ｒ＝２の場合、サブバンド＃１乃至＃８の符号化データを処理するサブバンド処理部１３２₁乃至１３２₈だけが処理を行えば良く、サブバンド＃９乃至＃１６の符号化データを処理するサブバンド処理部１３２₉乃至１３２₁₆は処理を行う必要がない。

そして、この場合、合成フィルタ１３３は、サブバンド処理部１３２₉乃至１３２₁₆から供給されるサブバンド＃９乃至＃１６のサブバンドデータはすべて０であるとして、サブバンドデータの合成を行えば良い。

なお、図２３の復号フレーム処理部５５においても、制御部６３の制御にしたがい、オーバーサンプリング後のデータから得られた符号化データを対象として処理を行う場合には、元のPCMデータから得られた符号化データを対象として処理を行う場合のＲ倍の頻度で処理が行われる。

但し、図２３の復号フレーム処理部５５においてＲ倍の頻度で処理を行う場合であっても、図２１の符号化フレーム処理部５４における場合と同様に、サブバンド＃１乃至＃１６の符号化データのうちの角周波数がπ／（２Ｒ）以上の成分を処理する部分は、処理を行う必要がなく、従って、所定の基準の処理頻度のＲ倍の頻度で処理を行っても、全体的な演算量の増加を低減することができる。

ここで、復号フレーム処理部５５において、サブバンド＃１乃至＃１６の符号化データのうちの角周波数がπ／（２Ｒ）以上の成分を処理する部分に処理を行わせないようにする制御（または、サブバンド＃１乃至＃１６の符号化データのうちの角周波数がπ／（２Ｒ）以下の成分を処理する部分だけに処理を行わせる制御）は、制御部６３において行うことができる。

以上のように、符号化装置６１において、Ｒ倍のオーバーサンプリングを行い、そのオーバーサンプリングの結果得られるオーバーサンプリング後のデータを、符号化フレーム処理部５４で所定の基準の処理頻度のＲ倍の頻度で処理を行うとともに、復号装置６２において、符号化装置６１から送信されている符号化データを、所定の基準の処理頻度のＲ倍の頻度で処理し、その結果得られるPCMデータ（出力データ）を１／Ｒ倍のデシメーション処理するようにしたので、演算量の増加を抑えながら、アルゴリズム遅延を減少させることができる。そして、その結果、例えば、リアルタイムでの双方向通信が要求されるIP電話システムなどにおいて、ユーザのコミュニケーションを円滑に図ることが可能となる。

さらに、アルゴリズム遅延を減少させるにあたって、コーデックシステムにおける直交変換処理（逆直交変換処理）の対象となるサンプル数であるフレーム長を変更する必要がないので、既存のコーデックシステムを利用して、安価に装置を実現することが可能となる。

ここで、例えば、ATRAC-Xでは、サンプリング周波数Ｆ_sが３２[kHz]で、１フレームが２０４８サンプルで構成される。従って、Ｒ＝１の場合、即ち、既存のATRAC-Xのコーデックシステムにおけるアルゴリズム遅延は、６４[ミリ秒]（＝２０４８サンプル／３２[kHz]）となる。

これに対して、例えば、Ｒ＝２の場合のアルゴリズム遅延は、既存のATRAC-Xのコーデックシステムにおけるアルゴリズム遅延の１／２の３２[ミリ秒]となる。また、例えば、Ｒ＝４の場合のアルゴリズム遅延は、既存のATRAC-Xのコーデックシステムにおけるアルゴリズム遅延の１／４の１６[ミリ秒]となる。

符号化装置６１および復号装置６２では、直交変換処理（逆直交変換処理）の対象となるフレームを構成するためのアルゴリズム遅延の他に、その他の各種の処理に起因する遅延がある。そして、例えば、IP電話システムにおいて伝送媒体６５となるインターネットにおける伝送遅延が、５０[ミリ秒]程度以上であることを考慮すると、円滑なコミュニケーションを図るためには、フレームを構成することに起因するアルゴリズム遅延は、５０[ミリ秒]以下とするのが望ましい。従って、Ｒ＝２、望ましくは、Ｒ＝４とすることにより、十分に円滑なコミュニケーションを図ることが可能となる。

ここで、符号化装置６１において（復号装置６２についても同様）、その処理頻度を、所定の基準の処理頻度のＲ倍にして、オーバーサンプリング後のデータを処理することは、例えば、単に、装置のシステムクロックをＲ倍にすることにより、処理頻度をＲ倍にして処理を行うこととは異なる。

即ち、例えば、所定のサンプル数Ｎでフレームを構成し、そのフレーム単位で処理を行う装置について、そのシステムクロックをＲ倍にした場合、あるフレーム＃ｎの処理は、システムクロックをＲ倍にする前の１／Ｒの時間で終了し、次のフレーム＃ｎ＋１が構成されるのを待って、そのフレーム＃ｎ＋１の処理が行われる。そして、フレーム＃ｎが構成されてから、次のフレーム＃ｎ＋１が構成されるまでの時間は、処理頻度をＲ倍にしてもしなくても、変わらない。従って、あるフレーム＃ｎの処理が開始されてから、次のフレーム＃ｎ＋１の処理が開始されるまでの時間間隔は、処理頻度をＲ倍にしてもしなくても変わらない。

一方、符号化装置６１では、その処理頻度を、所定の基準の処理頻度のＲ倍にして、PCMデータのＲ倍のオーバーサンプリング結果であるオーバーサンプリング後のデータを処理するので、やはり、あるフレーム＃ｎの処理は、システムクロックをＲ倍にする前の１／Ｒの時間で終了し、次のフレーム＃ｎ＋１が構成されるのを待って、そのフレーム＃ｎ＋１の処理が行われる。但し、フレーム＃ｎが構成されてから、次のフレーム＃ｎ＋１が構成されるまでの時間は、フレームを構成するオーバーサンプリング後のデータが、PCMデータについてＲ倍のオーバーサンプリングを行うことにより得られるので、処理頻度が所定の基準の処理頻度である場合の１／Ｒの時間となる。従って、あるフレーム＃ｎの処理が開始されてから、次のフレーム＃ｎ＋１の処理が開始されるまでの時間間隔は、処理頻度が所定の基準の処理頻度である場合の１／Ｒ倍になる。

つまり、処理頻度をＲ倍にする前の１フレームの処理に要する時間を、基準時間というものとすると、装置のシステムクロックをＲ倍にすることにより、処理頻度をＲ倍にしても、しなくても、基準時間に処理されるフレーム数は、１フレームである。これに対して、符号化装置６１において、その処理頻度が、所定の基準の処理頻度のＲ倍にされた場合には、基準時間に処理されるフレーム数は、処理頻度が、所定の基準の処理頻度の場合のＲ倍のフレーム数となる。

なお、符号化装置６１において、PCMデータについてＲ倍のオーバーサンプリングを行うことにより得られるオーバーサンプリング後のデータの周波数精度は、周波数分析に用いるポイント数が同じであれば、オーバーサンプリングを行わない場合に比較して劣化する。

即ち、図１０と、図１２または図１４とを比較して分かるように、元のPCMデータについてＲ倍のオーバーサンプリングを行うことにより得られるオーバーサンプリング後のデータのスペクトル（図１２または図１４）は、元のPCMデータの角周波数０乃至π／２の範囲のスペクトル（図１０）が、角周波数０乃至π／（２Ｒ）の範囲に、いわば圧縮されたものとなるため、その周波数精度は、元のPCMデータの１／Ｒとなる。そして、この周波数精度の劣化は、復号装置６２で得られるPCMデータとしてのオーディオデータの音質の劣化として現れる。

但し、符号化装置６１（復号装置６２）では、上述したように、角周波数０乃至π／（２Ｒ）の範囲のデータだけを量子化（逆量子化）すれば良いから、周波数精度の劣化に起因する音質の劣化は、その量子化（逆量子化）時の量子化ステップを細かくすることで低減することができる。なお、量子化ステップを細かくした場合、符号化装置６１が送信する符号化データ（復号装置６２が受信する符号化データ）のビットレートが高くなるため、量子化ステップは、符号化データのビットレートと音質とのトレードオフで決める必要がある。

以上においては、本発明を、オーディオデータを送受信する場合について説明したが、本発明は、オーディオデータ以外の、例えば、ビデオデータなどを送受信する場合にも適用可能である。

なお、本実施の形態では、補間処理を行うことによって、オーバーサンプリングを行うようにしたが、オーバーサンプリングを行う方法は、補間処理を利用するものに限定されるものではない。

また、本実施の形態では、データを、少なくとも直交変換することにより符号化するようにしたが、データの符号化方法も、直交変換を行うものに限定されるものではない。

従来の通信システムの一例の構成を示すブロック図である。 本発明を適用した情報処理システムの一実施の形態の構成例を示すブロック図である。 情報処理装置２１（２２）がコンピュータで構成される場合のハードウェア構成例を示すブロック図である。 情報処理装置２１（２２）がプログラムを実行することにより実現されるコーデックシステムの一実施の形態の構成例を示すブロック図である。 補間部５１の第１の構成例を示すブロック図である。 オーバーサンプリング後のデータを示す図である。 補間部５１の第２の構成例を示すブロック図である。 オーバーサンプリング後のデータを示す図である。 符号化フレーム処理部５４の構成例を示すブロック図である。 PCMデータのスペクトルを示す図である。 ０詰め型オーバーサンプリングされたPCMデータのスペクトルを示す図である。 ０詰め型オーバーサンプリングされたPCMデータのスペクトルを示す図である。 帯域制限型オーバーサンプリングされたPCMデータのスペクトルを示す図である。 帯域制限型オーバーサンプリングされたPCMデータのスペクトルを示す図である。 復号フレーム処理部５５の構成例を示すブロック図である。 記録処理を説明するフローチャートである。 再生処理を説明するフローチャートである。 送信処理を説明するフローチャートである。 受信処理を説明するフローチャートである。 ０詰め型オーバーサンプリングされたPCMデータのスペクトルを示す図である。 符号化フレーム処理部５４の他の構成例を示すブロック図である。 ０詰め型オーバーサンプリングされたPCMデータのスペクトルを示す図である。 復号フレーム処理部５５の他の構成例を示すブロック図である。

符号の説明

２１，２２ 情報処理装置， ２３ ネットワーク， ３１ バス， ３２ CPU， ３３ ROM， ３４ RAM， ３５ ハードディスク， ３６ 出力部， ３７ 入力部， ３８ 通信部， ３９ ドライブ， ４０ 入出力インタフェース， ４１ リムーバブル記録媒体， ５１ 補間部， ５２ セレクタ， ５３ 信号記憶装置， ５４ 符号化フレーム処理部， ５５ 復号フレーム処理部， ５６ 間引き部， ５７ セレクタ， ６１ 符号化装置， ６２ 復号装置， ６３ 制御部， ６４ 記録媒体， ６５ 伝送媒体， ７１ セレクタ， ８１，８２ ラッチ回路， ８３ 補間値演算部， ８４ セレクタ， ９１ 直交変換部， ９２ 量子化／符号化部， １０１ 復号／逆量子化部， １０２ 逆直交変換部， １１１ 帯域分割フィルタ， １１２₁乃至１１２₁₆ サブバンド処理部， １１３ マルチプレクサ， １２１ 前処理部， １２２ 直交変換部， １２３ 量子化／符号化部， １３１ デマルチプレクサ， １３２₁乃至１３２₁₆ サブバンド処理部， １３３ 合成フィルタ， １４１ 復号／逆量子化部， １４２ 逆直交変換部， １４３ 後処理部

Claims (11)

1. 所定のサンプル数Ｎのディジタルデータにより１フレームの入力が構成され、このフレーム単位のデータを符号化し、符号化データを出力する符号化装置と
   前記符号化データを復号する復号装置と
   を備えるデータ処理装置において、
   前記符号化装置は、
   Ｎ／Ｒサンプルのデータが得られた時点で、このデータに対してＲ倍のオーバーサンプリングを行い、Ｎサンプルのデータを生成するオーバーサンプリング手段と、
   前記オーバーサンプリング後の前記フレーム単位のデータの角周波数が０乃至π／（２Ｒ）の成分に対して、前記符号化データを出力する符号化処理を行なう符号化処理手段と、
   前記符号化処理手段が、前記オーバーサンプリングを行なわずにＮサンプルのデータが得られるまで待機した上で前記符号化処理を行なう通常の場合に比較して、Ｒ倍の頻度で処理を行うように前記符号化処理手段を制御する符号化制御手段と
   を有し、
   前記復号装置は、
   前記符号化データに対して、復号処理を行なう復号処理手段と、
   前記復号処理手段が出力する出力データに対して、間引き処理を施し、元の前記出力データの１／Ｒ倍のサンプル数のデータを出力する間引き手段と
   を有する
   ことを特徴とするデータ処理装置。
2. ディジタルのデータを符号化し、符号化データを出力する符号化装置において、
   前記データの系列に対して、Ｒ倍のオーバーサンプリングを行なうオーバーサンプリング手段と、
   前記オーバーサンプリング後のデータの所定サンプル数Ｎを１フレームとして、フレーム単位のデータの角周波数が０乃至π／（２Ｒ）の成分に対して、前記符号化データを出力する符号化処理を行なう符号化処理手段と、
   前記符号化処理手段が、前記オーバーサンプリングを行なわずにＮサンプルのデータが得られるまで待機した上で前記符号化処理を行なう通常の場合に比較して、Ｒ倍の頻度で処理を行うように前記符号化処理手段を制御する符号化制御手段と
   を有することを特徴とする符号化装置。
3. 前記オーバーサンプリング手段は、ある演算によって補間すべきサンプルのサンプル値を算出し、この値により補間を行なうことによりオーバーサンプリングを行なう
   ことを特徴とする請求項２に記載の符号化装置。
4. 前記オーバーサンプリング手段は、サンプル値の算出演算を行なわず、０（ゼロ値）により補間を行なうことによりオーバーサンプリングを行なう
   ことを特徴とする請求項２に記載の符号化装置。
5. 前記オーバーサンプリング後のデータを、複数の周波数帯域のデータであるサブバンドデータに分割する周波数帯域分割手段をさらに備え、
   前記符号化処理手段は、前記複数の周波数帯域のサブバンドデータそれぞれを処理する、前記複数の周波数帯域と同一の数のサブバンドデータ処理手段を有し、
   複数の前記サブバンドデータ処理手段のうちの、角周波数が０乃至π／（２Ｒ）の周波数帯域の前記サブバンドデータを処理する前記サブバンドデータ処理手段だけが前記符号化処理を行い、他のサブバンドデータについては処理を行なわない
   ことを特徴とする請求項２に記載の符号化装置。
6. ディジタルのデータを符号化し、符号化データを出力する符号化方法において、
   前記データの系列に対して、Ｒ倍のオーバーサンプリングを行なうオーバーサンプリングステップと、
   前記オーバーサンプリング後のデータの所定サンプル数Nを１フレームとして、フレーム単位のデータの角周波数が０乃至π／（２Ｒ）の成分に対して、前記符号化データを出力する符号化処理を行なう符号化処理ステップと、
   前記符号化処理ステップが、前記オーバーサンプリングを行なわずにNサンプルのデータが得られるまで待機した上で前記符号化処理を行なう通常の場合に比較して、Ｒ倍の頻度で処理を行うように前記符号化処理ステップを制御する符号化制御ステップと
   を備えることを特徴とする符号化方法。
7. コンピュータを、
   前記データの系列に対して、Ｒ倍のオーバーサンプリングを行なうオーバーサンプリング手段と、
   前記オーバーサンプリング後のデータの所定サンプル数Ｎを１フレームとして、フレーム単位のデータの角周波数が０乃至π／（２Ｒ）の成分に対して、前記符号化データを出力する符号化処理を行なう符号化処理手段と、
   前記符号化処理手段が、前記オーバーサンプリングを行なわずにNサンプルのデータが得られるまで待機した上で前記符号化処理を行なう通常の場合に比較して、R倍の頻度で処理を行うように前記符号化処理ステップを制御する符号化制御手段と
   して機能させるプログラム。
8. ディジタルのデータを符号化した符号化データを復号する復号装置において、
   前記符号化データは、
   前記データの系列に対して、Ｒ倍のオーバーサンプリングを行ない、
   前記オーバーサンプリング後のデータの所定サンプル数Ｎを１フレームとしてフレーム単位のデータの角周波数が０乃至π／（２Ｒ）の成分に対して符号化処理を行なう
   ことにより得られたものであり、
   前記符号化データに対して、復号処理を行なう復号処理手段と、
   前記フレーム単位の符号化データに対して、前記復号処理手段が出力する出力データに対して、間引き処理を施し、元の前記出力データの１／Ｒ倍のサンプル数のデータを出力する間引き手段と、
   前記復号処理手段が、前記間引き処理を行なわない場合の前記Ｒ倍の頻度で処理を行うように、前記復号処理手段を制御する復号制御手段と
   を備えることを特徴とする復号装置。
9. 前記符号化データは、
   前記Ｒ倍のオーバーサンプリングによって得られたデータを、複数の周波数帯域のデータであるサブバンドデータに分割し、
   前記複数の周波数帯域のサブバンドデータに対して前記符号化処理を施す
   ことにより得られたものであり、
   前記復号処理手段は、前記複数の周波数帯域のサブバンドデータそれぞれを処理する、前記複数の周波数帯域と同一の数のサブバンドデータ処理手段を有し、
   複数の前記サブバンドデータ処理手段のうちの角周波数成分が０乃至π／（２Ｒ）の周波数帯域の前記サブバンドデータを処理する前記サブバンドデータ処理手段だけが前記復号処理を行い、他のサブバンドデータについては処理を行なわない
   ことを特徴とする請求項８に記載の復号装置。
10. ディジタルのデータを符号化した符号化データを復号する復号方法において、
    前記符号化データは、前記Ｒ倍のオーバーサンプリングによって得られたデータの角周波数が０乃至π／（２Ｒ）の成分につき所定のサンプル数を１フレームとして符号化処理を施すことにより得られたものであり、
    前記符号化データに対して、復号処理を行なう復号処理ステップと、
    前記フレーム単位の符号化データに対して、前記復号処理ステップにおいて出力される出力データに対して、間引き処理を施し、元の前記出力データの１／Ｒ倍のサンプル数のデータを出力する間引きステップと、
    前記間引き処理を行なわない場合の前記Ｒ倍の頻度で処理を行うように、前記復号処理ステップの処理を制御する復号制御ステップと
    を備えることを特徴とする復号方法。
11. ディジタルのデータを符号化した符号化データを復号するコンピュータを、
    復号処理手段と、
    間引き手段と、
    復号制御手段と
    して機能させるプログラムであって、
    前記符号化データは、前記データの系列に対して、前記Ｒ倍のオーバーサンプリングによって得られたデータの角周波数が０乃至π／（２Ｒ）の成分につき所定のサンプル数を１フレームとして符号化処理を施すことにより得られたものであり、
    前記復号処理手段は、前記符号化データに対して、復号処理を行ない、
    前記間引き手段は、前記フレーム単位の符号化データに対して、前記復号処理手段において出力される出力データに対して、間引き処理を施し、元の前記出力データの１／Ｒ倍のサンプル数のデータを出力し、
    前記復号制御手段は、前記間引き処理を行なわない場合の前記Ｒ倍の頻度で処理を行うように、前記復号処理手段の処理を制御する
    プログラム。

Images