JPH01248200A - 音声復号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は所定のフレーム単位で圧縮符号化されてパケッ
ト伝送される音声情報を効果的に再生することのできる
音声復号化装置に関する。

（従来の技術） 近時、高効率な情報伝送形態としてパケット伝送が注目
されている。音声情報の通信にあっても、この種のパケ
ット通信ネットワークを介して高効率な通信を行なうこ
とが試みられている。

ところで通常のデータ伝送におけるパケット通信にあっ
ては、ネットワーク内での伝送路の違いによるパケット
の追越し、つまりパケット順序の入替わりに対処するべ
く、バッファリングによるパケット順序の並べ替えや、
パケットの再送等の処置が講じられる。

ところで音声信号のパケット伝送にあっては、伝送情報
の正確性よりもむしろ会話の自然性に重きが置かれ、パ
ケットの順序の入替わりが生じた場合にはその一方を棄
却することによって時間的に前後のない状態でパケット
データを復号処理し、音声信号を再生することが行なわ
れる。しかしこのようなパケットの棄却を行なった場合
、棄却によるパケット抜けに起因して再生音声信号波形
に不連続部分が生じ、この不連続部分で耳障りな音が発
生したり、また再生音声の明瞭度が低下する等の不具合
が生じた。

そこで従来では、例えば第３図に示すように所定の周期
でサンプリングされた音声信号Ｘ　（ｎ）をＭ点毎にフ
レーム分解し、連続するＬ個のフレームに亙って各フレ
ームでの音声信号Ｘ。、を１つづつ順に抽出してパケッ
ト化し、これを伝送するようにしている。即ち、フレー
ム番号をノ（０≦、ｌ？＜Ｌ）、各フレーム内でのデー
タ・インデックスをｍ（０≦ｍ≦Ｍ）として前述した音
声信号Ｘ（ｎ＋を各フレーム毎に Ｘ　　ｌ　（１，＋ｍ）−Ｘ　　（Ｍ・）十ｌ）として
示した場合、パケット化して伝送するＭ組のパケット・
データＸ１ｆ７．＋ｍ）を次のようにして求めている。

■　　（Ｘ　１（０＝Ｏ）　　＋　　Ｘ　ｌ（１，ｏ）
＋　　”””　Ｘ’（Ｌ−１，０１１■（ＸＩ（０−１
１＋Ｘ１（１−１＋＋”’”’Ｘ１（Ｌ−＋、＋１１■
　　（Ｘ　ｌ（０＋Ｍ−１＋＋　　Ｘ　Ｉ（１，Ｍ−１
）＋　　”’　Ｘ　１ｆＬ−１，Ｍ−１１１受信側（復
号装置）では、このようにしてパケット伝送されるデー
タＸＩ（ｊ、ｍ）をＭパケットについて並替えし、前述
した音声データＸ（７，ａ）の系列を復元した後、その
音声信号の再生を行なっている。

このような対策を施すことにより、例えばその一部（こ
の例ではパケット■）にパケット抜けが生じても第３図
に示すように再生データ・フレームでの音声信号Ｘｆａ
ｌの欠落は各フレームにおいてそれぞれ１サンプルに止
まり、その前後のデータから補間処理等により補うこと
が可能となる。

この結果、パケット伝送した音声の品質を確保すること
が可能となり、また前述したような耳障りな音の発生を
防ぐことが可能となる。

然し乍ら、パケット伝送にあっては受信先アドレスやヘ
ッダ等のオーバーヘッドがあり、伝送効率上、その１パ
ケツト長をあまり短くすることはできない。しかも上述
した手法を採用する為には、成る程度音声フレームの個
数りを大きく設定する必要がある。このことはパケット
伝送に際してＬフレームに亙る音声データを蓄積する必
要があることを意味し、入力音声をパケット送信するま
で、また受信パケットを復号して音声信号を再生するま
でに多大な時間遅延が生じることが否めない。

しかもこのような方式での音声パケットの伝送は、ＡＤ
ＰＣＭ、ＡＤＨ等の送信データがフレーム内で同じ意味
を持つ情報での圧縮符号化（圧縮比率が１／２程度）に
しか適用することができず、また予測残差信号に対して
従来方式を適用しても、その予測残差信号の補間の効率
が小さく、復号音声の劣化が無視できない。

一方、第４図に示すようなフレーム構成を採用して音声
情報をフレーム単位で圧縮符号化し、これをパケット伝
送することが考えられている。このような形態を採用す
れば各フレーム毎に高効率な圧縮符号化方式が可能とな
り、例えばフレーム単位で圧縮比率１／４以下の圧縮符
号化を実現することが可能となる。しかしこのようなフ
レーム処理が施された音声データのパケット伝送にあっ
ては、各パケットはフィールド毎に異なる意味の情報を
持つことになる。これ故、パケット抜けが生じても前述
した補間処理等の対策を全く講じることができないと云
う問題がある。

（発明が解決しようとする課題） このように従来における音声のパケット伝送にあっては
、パケット抜けに起因する耳障りな音の発生や、パケッ
ト・データの入力からその復号出力までの遅延時間の問
題、更にはフレーム処理を行なう圧縮符号化に対しては
パケット抜けに対処することができない等の種々の問題
があった。

本発明はこのような事情を考慮してなされたもので、そ
の目的とするところは、パケット抜けや遅延時間の問題
を招来することなしに音声信号の効果的なパケット伝送
を可能とする実用性の高い音声復号化装置を提供するこ
とにある。

［発明の構成］ （課届を解決するための手段） 本発明はサンプリング音声信号を所定のフレーム単位で
圧縮符号化してパケット伝送するシステムに用いられ、
この受信パケットを復号化処理して上記音声信号を再生
する音声復号化装置において、 所定のフレーム単位でパケット伝送されたデータの系列
をフレーム間予測部にて複数フレームにまたがって連続
的に予ｎ１すると共に、受信パケットの連続性からパケ
ット抜けを検出し、この手段によりパケット抜けが検出
されたとき、受信パケットから求められるデータ系列に
代えて前記フレーム間予測部にて予測されたデータ系列
を用いて音声信号の復号再生を行なう手段を設けたこと
を特徴とするものである。

（作用） 本発明によれば音声信号が所定のフレーム単位で圧縮符
号化されてパケット伝送される場合であっても、復号部
ではフレーム間予測部にてそのデータ系列を複数フレー
ムに亙って連続的に予測しており、またパケット抜けが
生じたか否かを常時監視している。そしてパケット抜け
が検出されたとき、通常の音声復号処理に用いられる受
信データ系列に代えて、上記フレーム間予測部にて求め
られた複数フレーム亙る予測データ系列を用いて音声信
号の復号化処理が行なわれる。

この結果、パケット抜けが生じた場合であっても、その
欠落部分の音声符号を効果的に補うことができ、耳障り
な音の発生を防いで復号再生音声の品質を確保すること
が可能となる。また所定のフレーム単位で圧縮符号化さ
れたデータ・パケットに個々に対処してその復号化処理
を行なうので、つまり複数のパケットに亙ってデータ系
列の並替え等の処理を施す必要がないので、時間的な遅
延が問題となることもない。

（実施例） 以下、図面を参照して本発明の一実施例につき説明する
。

第１図は本発明の一実施例に係る音声復号化装置を備え
て構成される音声パケット伝送システムの概略構成図で
あり、１は符号化装置を備えて構成されるパケット送信
部、２は本発明に係る復号化装置を備えて構成されるパ
ケット受信部である。

このパケット送信部１とパケット受信部２とは所定のパ
ケット伝送路３を介して相互に接続される。

尚、パケット伝送路３は、パケット交換機や種々のパケ
ット通信網により構築されることは云うまでもない。

この第１図において、音声のパケット伝送の根底となる
パケット送信部１について先ず説明すると、このパケッ
ト１送信部１では入力音声信号をＡ／Ｄ変換器１１を介
して所定の周期でサンプリング。

ディジタル化し、所定のフレーム単位での圧縮符号化と
そのパケット送信に供せられる音声データｘ、７．の系
列として取込んでいる。

パケット送信部１における符号化部は、ピッチ分析部１
２にて上記音声データＸ　（ａ　）の基本周波数成分を
ピッチ情報として分析し、その分析結果に従いピッチ予
ｎ１部１３にてその冗長成分の除去を行なう。つまり音
声の長時間に亙る相関に従ってその冗長成分の除去を行
なう。次に音声の近接相関を除去するべく、ＬＰＧ分析
部１４にて近接予測係数を分析し、その結果に従って近
接予測部１５にて予測処理を行なう。

以上のピッチ予測および近接予ｉ’１ｌｌｌにより除去
することのできなかった音声の冗長成分（予測残差）に
対して、次に電力分析部１６にて所定のフレーム内（所
定のサンプル数のまとまり）でその電力情報を求め、こ
の電力情報を用いて正規化部１７にて上記予測残差を正
規化（１／Δ倍）する。しかる後、この正規化された予
測残差を量子化部１８にて量子化し、その量子化コード
ｅ（。）を求める。

このような一連の処理により求められた前記ピッチ情報
、近接予測係数、電力情報、正規化予測残差信号の量子
化コードｅ。）をマルチプレクサ（ＭＰＸ）１９にて、
前述した第４図に示すフレーム構成に多重化することで
、そのフレーム内における音声の圧縮符号化が行なわれ
る。そしてこの圧縮符号化された情報が１つのパケット
・データとして前記伝送路３を介して送信される。

尚、以上の音声の符号化処理は、所定のフレーム単位で
圧縮符号化処理を実行する従来の音声コーデックと同様
なものである。

さて本発明が特徴とするところは、このようにして所定
のフレーム単位で圧縮符号化されて上記パケット送信部
１から順にパケット伝送されてくるデータから前記音声
信号Ｘ（１）を復号再生するパケット受信部２の復号化
装置の構成にある。

この復号化装置は、基本的には上述した如くフレーム単
位で圧縮符号化された情報を復号するべく、デマルチプ
レクサ（ＤＥＭＰＸ）２１にて受信パケットから前記ピ
ッチ情報、近接予測係数、電力情報、正規化予測残差信
号の量子化コードｅ。

、をそれぞれ分解抽出し、逆量子化部２２にて上記量子
化コードｅ。、から正規化予測残差信号を求める。そし
てこの再生された正規化予測残差信号′　と前記電力情
報とから正規化復元部２３にて残差信号を復元し、この
残差信号に対して近接予測合成部２４およびピッチ合成
部２５にて前記近接予測係数およびピッチ情報を合成し
て前記音声信号Ｘ（。）を再生復元し、これをＤ／Ａ変
換器２６にてアナログ音声信号に復元して再生出力する
如く構成される。これらの基本構成については、従来の
復号化装置と全く同様である。

しかしてこの復号化装置にあっては、前記ＤＥＭＰＸ２
１にて求められたピッチ情報、近接予測係数、電力情報
、および前記逆量子化部２２にて量子へ 化コードｅ（。）から求められた正規化予測残差信号に
従い、受信パケットのデータから招来の受信データを複
数のフレーム間に亙って予測するフレーム間予７１ＰＪ
部３１、および前記ＤＥＭＰＸ２１を介して所定の時間
内に次のパケットが受信されるか否かを検出し、その検
出結果に従ってセレクタ３３や前記ピッチ情報、近接予
測係数、電力情報に対する処理部３４．３５．３８をそ
れぞれ動作制御する制御部３２が設けられている点を特
徴としている。

制御部３２は、パケット伝送される音声情報の受信時に
は成る時間間隔内で連続的にパケットが伝送されると云
う性質から、成るタイミングでのパケットの受信から次
のパケットが受信されるまでの時間を監視し、パケット
抜けが生じたか否かを検出している。そしてパケット抜
けが検出されたとき、制御部３２は前記セレクタ３３や
処理部３４．３５゜３６をそれぞれ切替制御し、前述し
た受信パケット・データからの音声データの復号処理に
代えて上記フレーム間予測部３１にて複数フレームに亙
って予測された擬似予測残差信号、擬似ピッチ情報。

擬似近接予測係数、擬似電力情報をそれぞれ用いて音声
データの復号処理を行なわせるものとなっている。

さてこのような擬似子ａｌ残差信号、擬似ピッチ情報、
擬似近接予測係数、擬似電力情報をそれぞれ複数フレー
ムに亙って予測するフレーム間予測部３１は、基本的に
は音声情報の統計的な性質が２０〜３０ａ＋ｓｅｃ程度
の間では殆んど変化することがないと云う事実に立脚し
、現在および過去の受信データから将来（次のフレーム
）の受信データを予測するものである。この予測処理は
学習的に行なわれる。

即ち、フレーム間予１１１１部３１はピッチ情報、近接
予測係数、電力情報については、 △ Ａ　（Ｎｉｌ）　＝　ｆ　（Ａ　（Ｎ）、　Ａ　＋Ｎ−
＋＋、−Ａ　（Ｎ−＊）、　Ｅ　（Ｎ））Ｅ　（Ｎ）　
”　Ａ　ｆＮ）　　Ａ　ｆＮ）△ Ａ（Ｎｉｌｌ　　；現時点Ｎに対する（Ｎｉ１）時点の
予測ｆ　（Ａ　ｆＮ）、　Ａ　（Ｎ−１）、・・・Ａい
−０．　Ｅ　、Ｎ、）；現時点および過去の受信データ
から （Ｎｉ１）時点を予測する線形関数 Ｅ（Ｎ）　　　：予測値と受信データとの差としてフレ
ーム間での予測を行なう。また正規化残差信号について
は、現在および過去の受信データから、パルス列、白色
雑音、或いはその両者の線形結合をモデル化したものと
、実際の受信データとに基づいて学習して予測する。

このフレーム間予測について更に詳しく説明すると、音
声信号はその生成機構から２変換面上で次のように表現
することができる。

Ｓ　（Ｚ）　−σＥ　（Ｚ）　Ａ　ｆＺ）　Ｐ　（２１
Ｓ＋ｚ＋；音声信号５（７）の２変換 σ２　　；残差信号の電力 Ｅ（Ｚ）；残差信号ｅ　Ｉｎ）の２変換Ａ（ｚ）；近接
予測係数列の２変換 Ｐ（Ｚ）；ピッチ予測係数の２変換 ここで、上記σｌ　　Ｅ　（Ｚ）、　Ａ　（Ｚ）、　Ｐ
　（Ｚ）のそれぞれについて過去の受信フレームのデー
タから現在のフレーム・データを予測するものとする。

尚、受信フレームをメモリに蓄積することにより、過去
、将来の受信フレームからパケット抜けの生じたフレー
ム・データを予ｎ１することも勿論可能である。

しかして現フレームＬで受信されるであろう残差信号ｅ
　Ｌ〈ｎｌ　［ｎ−０，１，〜Ｎ−１］は過去の残差信
号ｅＬ−１（ａｌから次のようにして予測される。

ｅ　Ｌ（１１＋−Ｕ　Ｌ　Ｓ　ｐ（１１＋＋βＬ　Ｓ　
’ｎ　ｉｓ）　　　　（１）ＧＬ　ＷＴ　ａ　ａＬ−。

Ｔ、に、、、、、からｋ　、、ｌｌ、までのｅ　Ｌ−１
ｆｌ）についての正規化自己相関の最大値で βＬ　−（１−ＧＬ　）　βＬ−１ Ｓｎ；白色雑音（係数列） この残差信号ｅ　Ｉ＋＋）は有声か無声かによりその性
質を異にし、有声音の場合にはインパルス性の信号とし
て、また無声音の場合には白色雑音に近似して予測され
る。また前記αＬの計算に用いられる残差信号ｅＬ−１
（ａｌは、実際には前記逆量子化部２２で求められる逆
量子化値ｅＬ−１（ｎｌであり、上記残差信号ｅＬ−１
゜）の有声音の度合いを示すパラメータとなる。そして
このパラメータα、は上述したｅＬ−Ｉ＋。）とαＬ−
１とから求められることになる。

またβ、は無声音の度合いを示すパラメータであり、α
１とβ、とから計算されることになる。

一方、前記残差信号の電力σ２Ｌは σＬ−σＬ−１＋ΔσＬ　−１（２） として計算される。但し、ΔσＬ−１は、σＬ−２とσ
、−３との差分である。

これに対して近接予測係数ａＬ（。−１＋　［ｎ−０，
１，〜ＰＤＰは予ｎｊ次数コは、フレーム間での予測を
行ない易いパラメータとして、例えばＬＳＰパラメータ
に変換し、このＬＳＰパラメータを用いて予測される。

その後、予測されたＬＳＰパラメータからの再変換によ
って近接子ｉ０ｊ係数ａ　Ｌ（ｎｌなる予測値が求めら
れる。具体的には、ＬＳＰパラメータにおいて ＬＳＰＬ、、　−ＧＬ（Ｌ　Ｓ　Ｐ　Ｌ−１，−ｌｌ　
　’　Ｌ　Ｓ　Ｐ　Ｌ−１，−）＋β、ΔＬ　Ｓ　Ｐ　
Ｌ−１，−（３）なる計算を施し、その予測値を求める
。但し、上式においてＬ　Ｓ　Ｐ　Ｌ−１＋ｍは（Ｌ−
１）番目のフレームにおけるｍ番目のＬＳＰパラメータ
であり、またΔＬ　Ｓ　Ｐ　Ｌ−１＋ｍはＬ　Ｓ　Ｐ　
Ｌ−２１，とＬ　Ｓ　Ｐ　Ｌ−、、ｆｆｉとの差分であ
る。

ここで上記ＬＳＰパラメータは声音の場合には、隣接し
たＬＳＰパラメータＬ　Ｓ　Ｐ　Ｌ、ｆｆｉ、、とＬＳ
Ｐｌ、１との間で、成るｍについて非常に近いと云う性
質を持つ。また無声の場合には各ｍについて隣接パラメ
ータ間では大きく異なった値となることが知られている
。上述した第（３）式に示す予測処理は、第１項に示す
有声音に対する予測と、第２項に示す無声音に対する予
測との線形結合として与えられることになる。

更にピッチ情報については、そのビットゲインＧを ＧＬ″″ＧＬ−１＋ΔＧＬ−１（４） として予測し、またそのピッチ周期ｍについてはｍｌ、
　ｍｊｌｌし一、＋Δｍ１−１　　　　　　　　　　（
５１として予測する。但し、 ΔＧ　Ｌ−１ｒ　Ｇ　Ｌ−２とＧＬ−宜との差分Δｍｌ
−＋　　；ｍＬ−７とｍｌ−１との差分である。

第２図は上述した予測処理の処理手順を示すもので、先
ずデマルチプレクサ２１を介して受信されたパケット・
データを取込むことから予測処理が開始される（ステッ
プａ）。そして逆量子化部２２で求められた予測残差信
号ｅ、−１から正規化自己相関を計算しくステップｂ）
、その最大値を求める（ステップＣ）。その後、前述し
たようにα。

およびβＬを求め、第（１）式に従って残差信号の予測
値ｅＬ（。、を求める（ステップｅ）。

その後、更に前述した第（２）式、第（３）式、第（４
）。

（５）式にそれぞれ従ってＧＬ　、ＬＳＰＬ、−、ＧＬ
　。

ｍＬをそれぞれ予測する（ステップｅ、ｆ、ｇ）。

以上の予測処理をフレーム単位で順次実行する。

そして前記制御部３２でパケット抜けが検出されたか否
かを判定しくステップｈ）、パケット抜は検出時には上
述した如く予測された情報を用いて音声データの復号処
理を実行する（ステップｉ）。

かくしてこのように構成された本装置によれば、フレー
ム単位での圧縮符号化処理を施したパケットとして音声
情報を伝送する場合であっても、そのパケット抜けに効
果的に対処し、予測情報によってパケット欠落部分の音
声情報を効果的に補い品質の高い音声を復号再生するこ
とが可能となる。

しかもこのような予１１処理によりパケット抜けに対処
し得ることから、上述したフレーム単位での圧縮符号化
処理を効率的に施し、高能率なパケット伝送が可能とな
る。

また前述した従来例に示されるように複数フレームに亙
ってパケット・データを蓄積した後に復号処理を行なう
必要がないので、時間的な遅延の問題がなく、会話の自
然性を良好に保ことか可能となる。また上述した復号化
方式におけるフレーム間予測、所謂ボコーダにおけるパ
ラメータ生成である為、その処理量の増大はさほどでは
ない。

しかも少量のハードウェアによって簡易に実現すること
ができる等の実用上多大なる効果が奏せられる。

尚、本発明は上述した実施例に限定されるものではなく
、例えばフレーム間予測のアルゴリズム等はその要旨を
逸脱しない範囲で種々変形可能である。

［発明の効果コ 以上説明したように本発明によれば、遅延時間の問題を
効果的に回避し、フレーム単位での圧縮符号化による音
声のパケット伝送を可能とし、しかもパケット抜けを効
果的に補って品質の高い音声情報の復号再生を可能とす
る等の実用上多大なる効果が奏せられる。

【図面の簡単な説明】

第１図は本発明の一実施例に係る音声復号化装置を用い
て構成されるパケット伝送システムの概略的な構成図、
第２図は実施例装置において特徴的な作用を呈するフレ
ーム間予測部の概略的な処理手続きの流れを示す図、第
３図は従来の音声パケット伝送における問題点を説明す
る為の図、第４図はフレーム単位での圧縮符号化による
伝送パケットのフレーム構成図である。 １・・・パケット送信部、２・・・パケット受信部、２
１・・・デマルチプレクサ、２２・・・逆量子化部、３
１・・・フレーム間予測部、３２・・・制御部、３３・
・・セレクタ、３４゜３５、３８・・・処理部。 出願人代理人　弁理士　鈴江武彦 第２図 １−２１−メ＝Ｎ、イニ乙に二会を士す、４ｊ匹二二ぢ
仝升？、。ニゲ≦ご笠さヒ２−イ、フレーム番号第３図 １ホす又第４図

Claims (1)

1. 【特許請求の範囲】 所定の周期でサンプリングされた音声信号を所定のサン
   プリング数からなるフレーム単位で圧縮符号化してパケ
   ット伝送された情報を受信し、この受信データを復号し
   て上記音声信号を再生する音声復号化装置において、 パケット伝送された圧縮符号化データの系列を複数フレ
   ームにまたがって連続的に予測するフレーム間予測部と
   、受信パケットの連続性からパケット抜けを検出する手
   段と、この手段によりパケット抜けが検出されたとき、
   受信データに代えて前記フレーム間予測部にて予測され
   たデータ系列を用いて音声信号の復号再生を行なう制御
   手段とを具備したことを特徴とする音声復号化装置。