JPH0746140A - 符号化装置及び復号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、音声データの伝送等における遅延
を最小限とする符号化装置及び復号化装置を提供するこ
とを目的とする。 【構成】 本発明の符号化装置は、入力される信号のス
ペクトル分析をフレーム単位で行うスペクトル分析手段
と、前記入力された信号より量子化レベルを算出する量
子化レベル算出手段と、前記スペクトル分析により求め
られたサンプルデータを前記量子化レベル算出手段で算
出された量子化レベルで量子化する量子化手段と、この
量子化手段で量子化された量子化サンプルをフレームの
後半に、前記量子化レベル算出手段で算出された量子化
レベルをフレームの前半に配置し多重化する多重化手段
と、この多重化手段で多重化されたフレームを所定のビ
ットレートで出力する出力手段とを備えて構成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、遅延時間が問題とされ
る放送、ＴＶ会議、電話、リアルタイムのモニタリング
等における高能率音声符号化伝送を行うための符号化装
置及び復号化装置に関するものである。

【０００２】

【従来の技術】従来、利用されている音声圧縮は時間軸
上の相関を利用したＡＤＰＣＭ（Ａｄａｐｔｉｖｅ Ｄ
ｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏ
ｄｕｌａｔｉｏｎ；適応差分パルス符号変調）や、準瞬
時圧縮などであり、圧縮に関する遅延時間は数ｍｓと実
用上は問題にならないほど小さいものであった。

【０００３】一方、近年になって資源の有効利用のため
に高効率音声符号化方式が実現されている。この高効率
音声符号化方式は音響信号のスペクトル解析を行ない、
人の聴覚心理モデルに基づき、聞こえない成分について
の情報を削減することで大幅な圧縮を行なうものである
が、この圧縮の際に要する遅延時間は大きいものとなっ
ている。

【０００４】次に、図４を参照して、この従来の高効率
音声符号化方式について説明する。入力される１６ビッ
トＰＣＭ信号は、サブバンドフィルタなどのスペクトル
分析器１１１により周波数成分に分解され、量子化器１
１３に出力される。

【０００５】量子化レベル算出器１１５では入力１６ビ
ットＰＣＭ信号を２フレーム分、１０２４サンプルをフ
ーリエ変換等の周波数解析を行ない、さらに聴覚心理に
基づくマスキング理論及び静寂時において知覚される最
小値である最小可聴限を考慮してスペクトルごとに量子
化レベルを算出し、量子化器１１３及びマルチプレクサ
１１７に送る。

【０００６】量子化器１１３では、量子化レベル算出器
１１５から送られた量子化レベルに基づき、スペクトル
ごとに量子化を行ない、この量子化データをマルチプレ
クサ１１７に送る。マルチプレクサ１１７は量子化器１
１３より送られた量子化データに、量子化レベルを多重
化して１フレーム分の圧縮データを出力バッファ１１９
に送る。出力バッファ１１９は所定のビットレートでビ
ットストリームを出力する。

【０００７】次に、従来の高効率音声符号化方式に対応
する復号化装置について図５を参照して説明する。符号
化装置１０１で符号化され所定のビットレートで伝送さ
れるビットストリームは、一旦復号化装置１０３の入力
バッファ１３１に入力され、１フレーム分のデータが受
信されると、デ・フォーマット部１３３に転送する。こ
の入力バッファ１３１から転送され多重化されたビット
ストリームは、デ・フォーマット部１３３で量子化デー
タ、量子化レベルの情報、その他の情報に分割され、逆
量子化器１３５に送られる。

【０００８】逆量子化器１３５はデ・フォーマットされ
た量子化データの、逆量子化を行い、スペクトル合成器
１３７に送る。スペクトル合成器１３７は逆量子化器１
３５から送られた逆量子化されたデータの、スペクトル
合成を行いＰＣＭ音声信号を出力する。

【０００９】次に、従来の高効率音声符号化方式の符号
化・復号化の作用をそれぞれ図６に示すタイムチャート
を参照して説明する。まず、符号化に際しては、１フレ
ーム、例えば５１２サンプルの符号化する音声信号は、
オーバーラップの処理のため、次フレームと合わせ、２
フレーム分のバッファリングＤ１１１が行われる。

【００１０】２フレーム分のデータがバッファリングさ
れると、符号化処理Ｄ１１３が開始される。符号化の処
理は毎フレームパイプライン的に流れ作業の処理を行
い、１フレームの時間内に符号化処理Ｄ１１３を行う。
そしてこの符号化処理Ｄ１１３が終了すると、ビットス
トリーム出力Ｄ１１５が開始される。

【００１１】一方、復号化に際しては、符号化装置１０
１より送られたビットストリームは１フレーム分バッフ
ァされ、バッファリングＤ１１７が終了後、復号化処理
Ｄ１１９が開始される。復号化の処理は毎フレームパイ
プライン的に流れ作業の処理が行なわれ、１フレームの
時間内に復号化処理Ｄ１１９が行われ、音声出力Ｄ１２
１が行われる。

【００１２】以上の様に音声データが入力されてから、
符号化・復号化処理が行われ音声が出力されるまでに５
フレーム分の遅延が生じる。すなわち、一般に高能率符
号化処理及び復号化処理は、１フレームが５１２〜１１
５２サンプルと長いフレーム長を持つため、その遅延時
間は相当に大きくなり、例えば符号化及び復号化処理に
１００ｍｓ程度の時間がかかり、この処理時間が遅延時
間となった。

【００１３】

【発明が解決しようとする課題】上述してきたように、
高能率符号化処理は聴覚特性等を利用して大幅な圧縮を
行うものであるが、フレーム長が長いため符号化及び復
号化処理に長い遅延時間が生じる。そのためリアルタイ
ムでモニタリングを行う場合や、画面と音声を同時に伝
送する場合、通信などではこの遅延時間が問題となる。

【００１４】本発明は、上記課題に鑑みてなされたもの
で、フレーム単体が長い音声データの伝送等における遅
延を最小限とする符号化装置及び復号化装置を提供する
ことを目的とする。

【００１５】

【課題を解決するための手段】上記目的を達成するため
本願第１の発明は、入力される信号のスペクトル分析を
フレーム単位で行うスペクトル分析手段と、前記入力さ
れた信号より量子化レベルを算出する量子化レベル算出
手段と、前記スペクトル分析により求められたサンプル
データを前記量子化レベル算出手段で算出された量子化
レベルで量子化する量子化手段と、この量子化手段で量
子化された量子化サンプルをフレームの後半に、前記量
子化レベル算出手段で算出された量子化レベルをフレー
ムの前半に配置し多重化する多重化手段と、この多重化
手段で多重化されたフレームを所定のビットレートで出
力する出力手段とを有することを要旨とする。

【００１６】また、本願第２の発明は、請求項１記載の
出力手段が量子化手段におけるサンプルデータの量子化
の終了前に、量子化レベルをフレームの前半に配置され
るように出力することを特徴とすることを要旨とする。

【００１７】また、本願第３の発明は、量子化レベルを
フレームの前半に、量子化サンプルをフレームの後半に
多重化された信号を受信し入力する入力手段と、この入
力手段に入力された信号から量子化レベルと量子化サン
プルを分離するデコード手段と、このデコード手段で分
離された量子化レベルを基に量子化サンプルを逆量子化
する逆量子化手段と、この逆量子化手段の出力をスペク
トル合成して音声信号を出力するスペクトル合成手段と
を有し、前記デコード手段は入力手段が多重化されたフ
レームの後半に配置される量子化サンプルの受信の終了
前に、ビットストリームのデコード並びに量子化レベル
による量子化サンプルの復号化処理を開始することを要
旨とする。

【００１８】

【作用】本願第１の発明の符号化装置は、スペクトル分
析手段で入力される信号のスペクトル分析がフレーム単
位で行われ、また量子化レベル算出手段で入力された信
号より量子化レベルが算出される。つぎにスペクトル分
析により求められたサンプルデータは量子化レベルで量
子化され、フレームの量子化レベルの後に配置され所定
のビットレートで出力される。

【００１９】本願第２の発明の符号化装置は、請求項１
記載の出力手段が量子化手段におけるサンプルデータの
量子化の終了前に、量子化レベルをフレームの前半に配
置されるように出力する。

【００２０】本願第３の発明の復号化装置は、入力手段
で量子化レベルをフレームの前半に、量子化サンプルを
フレームの後半に多重化された信号が受信され入力され
る。この入力手段に入力された信号は、量子化レベルと
量子化サンプルに分離され、この量子化レベルを基に量
子化サンプルが逆量子化される。このとき、入力手段が
多重化されたフレームの後半に配置される量子化サンプ
ルの受信の終了前に、ビットストリームのデコード並び
に量子化レベルによる量子化サンプルの復号化処理が開
始される。

【００２１】

【実施例】以下、本発明に係る一実施例を図面を参照し
て説明する。本発明は符号化・復号化の両方で適用が可
能であり、それぞれ例をあげて説明する。図１は本発明
に係る符号化装置の一実施例を示すブロック図であり、
図２は本発明に係る復号化装置の一実施例を示すブロッ
ク図である。

【００２２】まず図１を参照して符号化装置１の構成を
説明する。符号化装置１はスペクトル分析器１１と量子
化レベル算出器１５の入力側が接続され、入力された１
６ビットＰＣＭ信号がそれぞれに入力される。スペクト
ル分析器１１の出力側は量子化器１３を介してマルチプ
レクサ１７に接続される。また、量子化レベル算出器１
５の出力側は量子化器１３及びマルチプレクサ１７に接
続される。マルチプレクサ１７は出力バッファ１９に接
続され、この出力バッファ１９はマルチプレクサ１７で
多重化され、パラレルに出力される圧縮データをビット
ストリームとして出力する。

【００２３】次に、作用を処理手順に従って説明する。
まず、入力された１６ビットＰＣＭ信号は２フレーム
分、１０２４サンプルをＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃ
ｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）
やサブバンドフィルタ等で構成されるスペクトル分析器
１１により周波数成分に分解され、量子化器１３に出力
される。

【００２４】一方、量子化レベル算出器１５では、入力
された１６ビットＰＣＭ信号１を２フレーム分、１０２
４サンプルをフーリエ変換等の周波数解析を行ない、聴
覚上小さい音が大きな音に消されてしまうかのように感
じられる聴覚心理にもとずいた、マスキング理論（参考
文献 電子通信学会「聴覚と音声」p.111-114)や、また
静寂時において知覚される最小値である最小可聴限を考
慮してスペクトルごとに量子化レベルを算出し、量子化
器１３及びマルチプレクサ１７に出力する。

【００２５】この量子化レベル算出器１５から送られた
量子化レベルを入力した量子化器１３では、該量子化レ
ベルによりサンプルデータをスペクトルごとに量子化を
行ない、この量子化で得られた量子化サンプルをマルチ
プレクサ１７に送る。

【００２６】マルチプレクサ１７は量子化器１３より送
られた量子化サンプルと、量子化レベルとを、量子化レ
ベルがフレームの前半に、量子化サンプルがフレームの
後半に配置されるように多重化して１フレーム分の圧縮
データを出力バッファ１９に出力する。さらに出力バッ
ファ１９は所定のビットレートでビットストリーム１０
を出力する。

【００２７】次に図２を参照して本発明に係る復号化装
置３の構成を説明する。復号化装置３に入力されたビッ
トストリームは入力バッファ３１を介して接続されるデ
・フォーマット部３３に入力される。このデ・フォーマ
ット部３３は逆量子化器３５に接続され、さらに逆量子
化器３５はスペクトル合成器３７に接続される。

【００２８】次に、作用を処理手順に従って説明する。
まず、符号化装置１により符号化された所定のビットレ
ートで送られてくるビットストリームは一旦入力バッフ
ァ３１に入力される。この入力バッファは、１フレーム
分のデータを受信すると、デ・フォーマット部３３に転
送する。

【００２９】入力バッファ３１から転送された多重化さ
れたビットストリームはデ・フォーマット部３３により
量子化サンプルや、量子化レベルの情報、などに分割さ
れ、逆量子化器３５に送られる。

【００３０】逆量子化器３５はデ・フォーマットされた
量子化データの、逆量子化を行い、スペクトル合成器３
７に送る。

【００３１】スペクトル合成器３７は逆量子化器３５か
ら送られた逆量子化されたサンプルの、スペクトル合成
を行いＰＣＭの音声信号を出力する。

【００３２】次に図３に示すタイムチャートを参照して
符号化・復号化処理について説明する。まず、符号化装
置１における符号化処理について説明する。１フレー
ム、例えば５１２サンプルの符号化対象の音声信号は、
オーバーラップの処理のため、次フレームと合わせ、２
フレーム分のバッファリングＤ１１が行われる。

【００３３】２フレーム分のデータがバッファリングＤ
１１されると、符号化処理Ｄ１３Ａ，Ｄ１３Ｂが開始さ
れる。符号化処理Ｄ１３Ａ，Ｄ１３Ｂは毎フレーム、パ
イプライン的に流れ作業の処理が行われ、１フレームの
時間内に符号化処理Ｄ１３Ａ，Ｄ１３Ｂが行われる。

【００３４】ここで符号化処理Ｄ１３Ａはサブバンド分
解や、ＭＤＣＴ等の周波数解析の処理であり、符号化処
理Ｄ１３Ｂはサンプルデータの量子化処理である。

【００３５】バッファ出力Ｄ１５Ａは同期コードや、ス
ケールファクタ等の周波数サンプルの補助情報を伝送す
る。この処理は符号化処理Ｄ１３Ａが終了すれば開始で
きるもので符号化処理Ｄ１３Ｂの終了を待たずして出力
される。バッファ出力Ｄ１５Ｂは符号化処理Ｄ１３Ｂ
（量子化）が終了するまで開始できないものであり、出
力されるビットストリームは周波数サンプルである。

【００３６】バッファ出力は符号化処理Ｄ１３Ｂの終了
時とバッファ出力Ｄ１５Ｂの開始時が概ね一致するよう
に先行される。この符号化されたデータは復号化装置３
へと出力される。

【００３７】つぎに、復号化装置３における復号化処理
について説明する。復号化装置３において、符号化の処
理は毎フレームパイプライン的に流れ作業の処理を行
い、１フレームの時間内に符号化処理を行う。

【００３８】ビットストリームのバッファ入力Ｄ１７Ａ
は同期コード、周波数サンプルの補助情報、例えば量子
化レベル、すなわち量子化サンプルの指数部分であるス
ケールファクタのバッファである。バッファ入力Ｄ１７
Ｂは周波数サンプルのバッファである。

【００３９】復号化処理Ｄ１９Ａはバッファ入力Ｄ１７
Ａが終了すれば開始できるものであり、ビットストリー
ムのデコードや、逆量子化である。具体的には、例えば
補助情報に基づき（サンプルごとにビット数が異な
る）、量子化レベル、量子化サンプルを抽出する（ビッ
トストリームのデコード）。この量子化レベル（スケー
ルファクタ）の値により、逆スケーリングを行う。

【００４０】続いて復号化処理Ｄ１９Ｂを行う。この復
号化処理Ｄ１９Ｂはバッファ入力Ｄ１７Ｂが終了しない
と（全ての周波数データが揃わないと）開始できないも
のであり、サブバンド合成や、ＩＭＤＣＴ等の周波数統
合を行う。具体的には、逆量子化されたサンプル（周波
数データ３２₂ ）のスペクトル合成、サブバンド合成
（ＩＦＦＴ、ＩＤＣＴ等を用いる）による周波数／時間
変換を行ない時間データ６４₂ を得る。時間データ６４
₂ はバッファリングされる。バッファのサイズは１０２
４₂ で、ＦＩＬＯ（ファーストインラストアウト）で古
いものから順に捨てられる。バッファの１０２４サンプ
ルからとびとびに５１２サンプルを取り出し、窓関数を
掛ける。この窓関数を掛けた５１２サンプルのデータは
３２サンプルづつ分解し、１６ブロックをオーバラップ
して３２サンプルのデータを生成し、この３２サンプル
をＰＣＭデータとして出力する。

【００４１】また、バッファ入力Ｄ１７Ｂの終了時と復
号化処理Ｄ１９Ｂの開始時が概ね一致するように符号化
処理Ｄ１９Ａ，Ｄ１９Ｂを先行させる。復号化処理後、
音声信号はタイミングＤ２１で出力される。

【００４２】上述してきたように本実施例では音声を扱
っていることから、通常は量子化レベルは全てのデータ
が揃わないと復号化処理が開始出来ない。一方、量子化
サンプルについては全てのデータが揃う前に処理を開始
できるものがあり、この様な処理を先行させることで遅
延時間の短縮を計ることができる。

【００４３】尚、一つの量子化レベルに対して量子化サ
ンプルは、１つとは限らず、複数の量子化サンプルブロ
ックが対応する場合もある。このような場合には、先行
処理による効果をさらに高めることも可能である。

【００４４】

【発明の効果】以上説明したように本発明は、符号化処
理におけるビットストリーム出力、復号化処理の復号化
の両方で二段目の処理を先行させるので、遅延時間を減
少させることができる。

【図面の簡単な説明】

【図１】本発明に係る符号化装置の一実施例を示すブロ
ック図である。

【図２】本発明に係る復号化装置の一実施例を示すブロ
ック図である。

【図３】図１及び図２に示した符号化装置及び復号化装
置における動作を説明するためのタイムチャート図であ
る。

【図４】従来例の符号化装置の構成を示すブロック図で
ある。

【図５】従来例の復号化装置の構成を示すブロック図で
ある。

【図６】従来例における動作を説明するためのタイムチ
ャート図である。

【符号の説明】

１…符号化装置，３…復号化装置，１１…スペクトル分
析器，１３…量子化器，１５…量子化レベル算出器，１
７…マルチプレクサ，１９…出力バッファ，３１…入力
バッファ，３３…デ・フォーマット部，３５…逆量子化
器，３７…スペクトル合成器。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 入力される信号のスペクトル分析をフレ
   ーム単位で行うスペクトル分析手段と、 前記入力された信号より量子化レベルを算出する量子化
   レベル算出手段と、 前記スペクトル分析により求められたサンプルデータを
   前記量子化レベル算出手段で算出された量子化レベルで
   量子化する量子化手段と、 この量子化手段で量子化された量子化サンプルをフレー
   ムの後半に、前記量子化レベル算出手段で算出された量
   子化レベルをフレームの前半に配置し多重化する多重化
   手段と、 この多重化手段で多重化されたフレームを所定のビット
   レートで出力する出力手段とを有することを特徴とする
   符号化装置。
2. 【請求項２】 前記出力手段は量子化手段におけるサン
   プルデータの量子化の終了前に、量子化レベルをフレー
   ムの前半に配置されるように出力することを特徴とする
   請求項１記載の符号化装置。
3. 【請求項３】 量子化レベルをフレームの前半に、量子
   化サンプルをフレームの後半に多重化された信号を受信
   し入力する入力手段と、 この入力手段に入力された信号から量子化レベルと量子
   化サンプルを分離、デコードするデコード手段と、 このデコード手段で分離、デコードされた量子化レベル
   を基に量子化サンプルを逆量子化する逆量子化手段と、 この逆量子化手段の出力をスペクトル合成して音声信号
   を出力するスペクトル合成手段と を有し、前記デコード手段は入力手段が多重化されたフ
   レームの後半に配置される全ての量子化サンプルの受信
   の終了前に、ビットストリームのデコード並びに量子化
   レベルによる量子化サンプルの復号を開始することを特
   徴とする復号化装置。