JP3722366B2 - パケット構成方法及び装置、パケット構成プログラム、並びにパケット分解方法及び装置、パケット分解プログラム - Google Patents
パケット構成方法及び装置、パケット構成プログラム、並びにパケット分解方法及び装置、パケット分解プログラム Download PDFInfo
- Publication number
- JP3722366B2 JP3722366B2 JP2002045839A JP2002045839A JP3722366B2 JP 3722366 B2 JP3722366 B2 JP 3722366B2 JP 2002045839 A JP2002045839 A JP 2002045839A JP 2002045839 A JP2002045839 A JP 2002045839A JP 3722366 B2 JP3722366 B2 JP 3722366B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- packet
- code
- signal
- previous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は音声信号を圧縮符号化してパケットに収容する方法及び装置、もしくは伝送されたパケットに収容された符号から音声信号を復号する方法及び装置に関する。
【０００２】
【従来の技術】
移動体通信やVoIP(Voice over IP)に代表されるように、パケット通信によって音声とデータを統合的に扱う事が可能となる。パケット音声通信における問題点として、符号化による音声の劣化、遅延、パケット消失があげられる。通信路が広帯域化、高速化されることにより、符号化による劣化、遅延は解消されるが、パケット消失は通信容量が増えても生じる可能性がありうる問題である。
パケット消失が起こる原因として次のものがあげられる。まず、パケット数が多い場合、パケットどうしのコリジョン（衝突）によってパケットが完全に消失してしまう場合がある。また符号ビット誤りが伝送上のエラー等によってある閾値、例えば50%程度に達した場合、そのパケット情報は全て失われたものとし、パケット消失と判定される。さらに、パケットの到着遅延がゆらぎ吸収バッファよりも大きい場合にパケット消失と判定される。これらの原因によってパケットが消失し、音声の品質劣化が生じる。
品質の劣化によって聴覚に不快感を与えないために、失われたパケットの部分は別の何らかの信号で補償する必要がある。符号化方式によっては、過去の音声の特徴量を用いて符号化しているため、一度パケットが消失すると、復帰後しばらくは品質が劣化することがある。その品質の劣化を目立たないように補正することもパケット消失補償に含まれる。例えば、復号器において、前のパケット情報を用いて、パラメータの補間や音量の制御を施すことにより、たとえ一部のパケット情報が欠落しても、できるだけ劣化を抑えるように処理をする。この処理は、パケットが消失したという情報が利用可能であることが条件であるが、伝送条件の悪い場合、つまりパケット消失が起こりやすい場合には、消失補償による劣化抑制処理の効果は非常に大きい。
【０００３】
IP通信ではパケットを送信しても、ネットワークの状況によって、ある程度は届かない可能性がある。IP通信では送信したパケットの順番を判定し、復号器側バッファ（ゆらぎ吸収バッファ）で希望するパケットが再生すべき時に到着していないと判断された場合、パケット消失と判定される。また伝送誤りによって、パケット消失と判断される場合もIP上で誤り判定機能を持たせることによってパケット消失の判定をする。
【０００４】
パケットが消失した場合の解決策として、現在までにいくつかの手法が提案されてきた。
低ビットレートの音声符号化に使用されるCELP(Code Excited Linear Prediction：符号励振線形予測)方式でのパケット消失補償では、パケット内の音声信号を周期的成分と非周期的成分に分析しておき、消失パケットに格納された信号波形のピッチ周波数が周期性であれば、適応符号帳の励振信号を用い、非周期性であれば、白色雑音をランダムに使用するという手法がよく用いられる。その他にも合成フィルタ係数を反復させる、適応・固定コードブックゲインを減衰させる、ゲイン予測を減衰させるという手法があげられる。
また、PCM(Pulse Code Modulation)のような波形符号化の場合は、過去の信号からピッチ周期を解析し適当な波形を取り出し、それを繰り返すことによって、擬似的な信号を作る手法がある。この波形繰り返し補償で最も劣化の原因となりやすいのは波形の不連続によるものである。その波形の不連続が発生しやすいのは消失パケットの代わりに生成された補償信号と前後のパケットの信号波形との繋ぎ合わせの部分である。この不連続性を目立たなくするために、ピッチ周期を消失から復帰後と連続になるように調整する、あるいはOLA(Overlap add)によって、合成信号と復帰後の信号を除々に変化させていくという手法がある。また、連続でパケットが消失した場合（バースト消失）、合成信号のパワーを除々に減衰させることにより、聴覚に不快にならないような工夫をしている。
【０００５】
これらの手法は聴覚に不快な信号を抑制する効果に関しては有効な手法であった。しかし、あくまで擬似的な合成信号の再生であり常に原音に近い音を再生することが困難である場合が多い。パケット間において、ピッチやパワーが急速に変わったりする場合、あるいはピッチ間隔の不一致による波形の不連続性や無理な調整によって音質が著しく劣化する場合があった。
【０００６】
【発明が解決しようとする課題】
本発明では、従来のパケット消失補償技術の欠点を解消し、パケット消失による音声の品質劣化を改善することを課題としている。
従来技術ではパケットが消失している区間で、急激な音声信号の変化によって、劣化が目立つことがあった。また常にパケット消失に備えて前後のフレームの符号を補助情報として付加すると帯域の有効活用はできない。本発明では補助情報を効率よく付加し、パケットが消失することによる音声信号の劣化を抑えることのできるパケット構成方法及び装置、パケット構成プログラム、並びにパケット分解方法及び装置、パケット分解プログラムを提供することを課題としている。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明のパケット構成方法及び装置は、
音声信号をフレームごとに符号化した符号をパケットに格納するパケット構成方法及び装置において、
現フレームの音声信号の繰り返しまたは該符号の特徴量の外挿により前フレーム及び後フレームの補償信号を合成し、前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より大きく、後フレームの信号波形と前記後フレームの補償信号との歪が所定の閾値より大きい場合、現フレームと、前フレームと後フレームの符号を含めてパケットを構成し、
前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より大きく、後フレームの補償信号との歪が所定の閾値より小さい場合、現フレームと前フレームの符号と前フレームを示す符号を含めてパケットを構成し、
前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より小さく、後フレームの信号波形と前記後フレームの補償信号との歪が所定の閾値より大きい場合、現フレームと後フレームの符号と後フレームを示す符号を含めてパケットを構成することを特徴とする。
【０００８】
また、本発明のパケット分解方法及び装置は、
パケット毎に格納されたフレーム毎の符号を復号化して音声信号を再生するパケット分解方法及び装置において、
パケットが消失したか否かを判定し、
現パケットが消失した場合、
前パケットが後フレーム符号を含むとき、当該後フレーム符号を復号して現パケットの音声信号を再生し、
後パケットが前フレーム符号を含むとき、当該前フレーム符号を復号して現パケットの音声信号を再生し、
前パケットも後パケットも前フレーム符号も後フレーム符号も含まず現フレーム符号を含むとき、前後いずれか一方のパケットの当該現フレーム符号の復号信号の繰り返し又は該信号の特徴量の補間もしくは外挿により現パケットの音声信号を再生することを特徴とする。
【０００９】
【発明の実施の形態】
本発明では符号器において入力された音声信号を一定のサンプル数のフレームごとに符号化を行う。現在注目する区間を現フレーム、その信号を符号化するメインエンコーダを備え、これによって符号化されたデータをメインコードと称す。なお、現フレームよりも時間的に直前または直後のフレームをそれぞれ前フレーム、後フレームと称す。それらの信号をそれぞれ符号化する前サブコーデック、後サブコーデックを備える。符号化されたデータを各々前サブコード、後サブコードと称す。後フレームは現フレームよりも時間的に未来の信号であるので、その信号を扱うには符号器側において、１フレーム分以上の入力音声信号をバッファリングする必要がある。本発明ではその各フレーム分の符号を１パケットに詰めて送信する。
【００１０】
VoIPをはじめとする、パケットによる音声通信においては、ネットワークの状態によって、受信側に音声パケットが送信時刻順に届くとは限らない。ネットワークの状況によって、前のパケットとの到着時間間隔が大きくなったり小さくなったりと揺らいで到着する。この揺らぎを復号化側で吸収（解消）するために揺らぎ吸収バッファが設けられる。
一般にパケットに含ませる音声フレームが短ければ短いほど、１つのパケットが消失したときの音声の劣化が小さい。ただし、１つのパケットに含ませる音声フレームが短ければ短いほどオーバーヘッドの占める割合が大きい。これは、音声をパケット化して送る場合においては、音声データ以外にもIPのヘッダ、RTP(Real-time Transport Protocol)のヘッダ等がパケット毎に付加されるためである。本発明においては現フレームを符号化するメインエンコーダは高品質符号化（64kbit/s以上）を用いる。よって１パケットに含ませる音声長として10ms程度が望ましい。音声波に周期性があるため、前後のパケットにある音声信号と相関がある場合が多い。本発明ではその特性を利用し、現フレームを符号化したメインコードに、その周辺の信号から作成した後フレームの合成信号あるいは前フレームの合成信号と、後フレームあるいは前フレーム信号を比較することによって、補助情報の必要性を判断し、前、後のサブコードをパケット消失時の対策として符号器側において付加する。
【００１１】
VoIpにおいては揺らぎ吸収バッファにおける最大待機時間よりも到着が遅れて届かなかったパケットは破棄されたと判断される。（パケットが消失する原因は他にもパケット同士のコリジョン、伝送上のエラー等があげられる。）
復号器側では、パケット消失と判定されない場合は揺らぎ吸収バッファに蓄積されたメインコードをメインデコーダに出力しデコードする。パケット消失の判定がされた場合は揺らぎ吸収バッファに届いている後サブコードとメインコードを組み合わせたビットストリーム、あるいは後に届く前サブコードとメインコードを組み合わせたビットストリームを使って劣化の非常に少ないパケット消失補償を行うことができる。
ここでメインエンコーダは圧縮率が比較的低い、高品質の符号化方式（例えばPCM,64kbit/s）を用い、またサブコーデックにはメインエンコーダより高圧縮、そして演算量の比較的小さい符号化方式（例えばADPCM,32kbit/s）コーデックを選ぶ。このようにすることによって、メインコードに対して少ない情報量の付加で効率の良いパケット消失補償を行うことができる。
【００１２】
（符号器）
本発明の符号器を図１〜図７を参照して説明する。
図１に符号器のブロック図を示す。
入力された音声信号はフレーム形成部１において例えば音声長10ms毎にフレームが形成され、パターン分類部２に入力される。
パターン分類部２においては、次の処理が行われる。
(Ｉ)無音または無声子音の判断が行われる。本発明では、現フレームの無音または無声子音の判断方法としてフレームにわたって波形の振幅が予め定められた閾値（例えば、量子化16ビットのうち256(28)）以下の場合をもって判断する。
なお、無音区間は周知の手段により検出することができる。
(II)無音または無声子音区間と判断されない場合（有声音区間）は、
(i)現フレーム、（あるいは前フレームと後フレーム）から“波形繰り返し補償”により前フレーム、後フレーム（現フレーム）の合成波形（信号）を生成する。合成信号列の具体例については近過去の信号のピッチ成分を抽出し、それを繰り返して外挿する。ただし、フレーム間の波形のつなぎあわせの部分は不連続とならないように重ね合わせる(OLA:Overlap add)。
(ii)それぞれの合成波形と前フレームと後フレーム（あるいは現フレーム）の波形と比べてどの程度の波形歪があるかを調べる。前フレームのコードを伝送する必要性の有無（現フレームから前フレームの波形を作ることができる）、後フレームのコードを伝送する必要の有無（現フレームから後フレームの波形を作ることができる）を判断する。ここで伝送の必要性は前（後）フレームの信号波形と現フレームの波形を繰り返し又は外挿補間等により波形合成した合成信号列との信号雑音比(SNR)又は歪（ケプストラム距離値(Cepstrum Distance measure：CD)等）が各々所定の閾値以上（または以下）であることをもって判断する。
【００１３】
SNR、CDは以下のように表される。
【数１】
【００１４】
無音、無声子音、波形歪の測定によって次に挙げる６つのパターンに分類できる。
(1)無声区間である。
(2)無声子音である。
(3)現フレームから前フレームの波形も後フレームの波形も作ることができる。
(4)現フレームから前フレームの波形を作ることができるが、後フレームの波形は作ることができない。
(5)現フレームから後フレームの波形を作ることができるが、前フレームの波形は作ることができない。
(6)現フレームから前フレームの波形も後フレームの波形も作ることができない。
上記パターン情報(1)〜(6)は前サブエンコーダ6-1、後サブエンコーダ7-4に入力される。
現フレームはメインエンコーダ３でメインコードが生成されパケット構成部５に出力される。 前フレームは前サブエンコーダ6-1に入力されパターン情報に基づき前サブコードが生成されパケット構成部５に入力される。
後フレームは後サブエンコーダ3-4に入力されパターン情報に基づき後サブコードが生成されパケット構成部５に入力される。
【００１５】
パケット構成部５は、図６に示すようにメインコードに前、後サブコードを付加してビットストリーム（パケット）を構成する。
図２に現フレームから前フレームの擬似信号を生成する例を示す。
（図２を参照して手順を示すと、▲１▼現フレームから波形繰り返しにより前フレームの合成信号を生成し、▲２▼前フレームの音声信号と比較して所定の閾値以下である場合、▲３▼現フレームから前フレームの擬似信号を作ることができる。）
図３に現フレームから前フレームの擬似信号を生成しない例を示す。
（図３を参照して手順を示すと、▲１▼現フレームから波形繰り返しにより前フレームの合成信号を生成し、▲２▼前フレームの音声信号と比較して所定の閾値以下でない場合、▲３▼この場合において、前フレームの信号を圧縮して前サブコードを生成する。）
図４に現フレームから後フレームの擬似信号を生成する例を示す。
図５に現フレームから後フレームの擬似信号を生成しない例を示す。
この場合において後フレームの信号を圧縮して後サブコードを生成する。
【００１６】
パターン(1)、(2)のように無音、無声子音は、一般に周期性の無い信号であり前後のパケットに相関がなく、繰り返しによる補間を行うと音声が劣化してしまう。また、無声子音は比較的長い時間現れることが多い。しかし、無声子音はパワーが小さく前、後サブエンコーダ6-1、7-4において量子化ビットのビット数を少なくして量子化し（例えば８bitで量子化）、サブコード（無音、無声子音コード）を出力する。つまり情報量を少なくすることによって、同じ情報量で多くのフレームの重複伝送が可能となり、パケット消失に耐性を持たせることができる。このようにしてもパワーが小さいので劣化が顕著となることはない。
パターン(3)の場合、フレームが例え欠落しても前後のパケットから補間して音声劣化のほとんどない補償を行うことができる。この場合はパケットが消失しても劣化の少ない消失補償が前後の信号によって行えるため補助情報を必要としない（つまり、サブコードは付加する必要はない）。
パターン(4)の場合はメインフレームから後フレームの波形を作ることができない。よってこの後フレームの消失によって音声が著しく劣化する可能性がある。よって後フレームをサブコーデックで圧縮し、組み合わせて送信すると良い。また、パターン(5)の場合はメインフレームから前フレームの波形を作ることができない。よってこの前フレームの消失によって音声が著しく劣化する可能性がある。よって前フレームをサブコーデックで圧縮し、組み合わせて送信すると良い。ここでサブコーデックに圧縮コーデックを持たせる場合は通常前フレームの内部情報を引き続き用いて符号化される場合が多い。また圧縮コーデックは演算量が多くなりコーデックの負荷が大きくなるのでサブコーデックはできるだけ演算量が少ないものを選ぶと良い。（サブコーデックで圧縮してサブコードを生成する場合の例を図３、５、６に示す。）
【００１７】
パケット構成部５でパケット（ビットストリーム）を構成する際に現フレームのコード（メインコード）の他に伝送する必要があるコード（サブコード）を次のように判定する。(i)前フレームだけなら前方付加、(ii)後フレームだけならば後方付加、(iii)前後両方ならば両方付加、(iv)必要なし（パターン(3)）の場合にはメインコードのみとする。これにより、常に１パケットに３フレーム収容するのではなく、メインコード１フレーム分のみ、前後サブコードいずれかを加えた２フレームだけのことがある。(iii),(iv)は情報量の大きさで識別できるものの(i),(ii)は単に情報量で識別できないので互いの違いを区別するための識別情報を符号化側で付与し、復号側で何れかの状態を区別する必要がある。
【００１８】
即ち、従来技術では常に「サブコードを付加する」に対して本発明では「必要がある時だけサブコードを付加する」ことによって、品質は同等でも平均伝送情報量を削減することが可能となる。
例えば、PCM(64kbps)をメインコーダ（デコーダ）、ADPCM(32kbps)をサブコーダ（デコーダ）として用いた場合、１パケットに収容される情報量は、(1)前サブコード付加(32kbps＋64kbps＝96kbps)、(2)後サブコード付加(32kbps＋64kbps＝96kbps)、(3)両サブコード付加(32kbps＋64kbps＋32kbps＝128kbps)、(4)サブコード必要なし(64kbps)、(5)無音または無声子音(32kbps)となる。
符号器側にて、十分な品質をとれる場合には補助情報なしとし、補償できない場合のみサブコードによる補助情報を付与するので、サブコードを常に付加する場合と比べて、サブコーデックに圧縮率は低いが演算量の小さいコーデックを使用できる。
【００１９】
内部状態について説明する。
内部状態の生成はサブコードを例えばPCM(Pulse Code Modulation)により符号化する場合には必要としない。しかし、サブコードをADPCM(Adaptive Differential PCM)、LDCELP(Low Delay Code Excited Linear Prediction)により符号化する場合においては必要となる。
ここで、内部状態とは内部状態特徴量のことで、符号化に必要な特徴量を指す。例えばADPCMでは、予測フィルタ係数、適応フィルタ係数、予測係数、ステップ幅、またLDCELPでは聴覚重み付けフィルタ係数、合成フィルタ係数、予測フィルタ係数、予測係数等があげられる。
サブコードが必要であると判定されればその信号をADPCMで符号化するための内部状態が必要となる。ADPCMは量子化ステップ幅と予測係数の両方を適応的に逐次更新する手法であり、内部状態を生成するために、CELP符号化方式ほど多くの過去の信号を必要としない点で有利である。
よって内部状態は、前サブコードにおいては、メインエンコーダ３とメインローカルデコーダ6-3で符号化、復号化して、この信号に基づいて内部状態生成部6-2において生成し、この信号と前フレーム信号により前サブエンコーダ6-1により前サブコードを生成することができる。後サブコードにおいては図７に示すように同様の操作を内部状態生成部7-3で時間軸において逆向きに符号化することにより内部状態を生成し、この信号と後フレーム信号により後サブエンコーダ7-4で後サブコードを作成することができる。このような構成によりADPCMによりサブコードを生成することができる。
【００２０】
パターン(6)の場合はメインフレームから後フレーム、前フレームのどちらの信号も波形を復元することはできない。よってこの後フレーム、前フレームの消失によって音声が著しく劣化する可能性がある。このような場合は帯域に余裕があれば前フレーム、後フレームのどちらかの信号もサブコードとして出力させると良い。（図６参照）
上記のように分類する上で、ペイロード（ヘッダを除いた符号化列）がどのサブコードを含むか判別できない場合は識別情報（数ビット）も必要となる。
例えば、10msの女性音声の場合において、再生信号と補間信号のSN値が正（０を閾値とする場合）であるとき良いフレームと判断した場合、前後いずれのパケットから補間可能15%、無音区間40%、無声子音20%、前後パケットから補間不能25%程度になる。つまり、無音、無声子音を除く37.5%前後のパケットから補間可能となることがわかる。SN値の閾値を変える、つまり歪の許容範囲を変えることによって帯域を制御することができる。
【００２１】
（復号器）
図８を参照して復号器を説明する。
復号器側では届いたパケットをパケット分解部10において、補助情報、識別情報によりメインコード、後サブコード、前サブコード、無音、無声子音コードに分配する。メインコードはメインデコーダ11に入力され復号される。また、前、後サブコードはそれぞれ前、後サブデコーダ14-1,15-1に入力される。
【００２２】
図９に示すように、
▲１▼パケットロス時のサブコードが無音、無声子音コードであれば、メインデコーダ11の符号化に用いた量子化ビット、すなわち、少ない量子化ビット（例えば８bit）に戻して再生する。
▲２▼パケットの消失がない場合はメインコードを再生する。
▲３▼パケットが消失した場合は、後サブコード、前サブコードの場合は符号器と同様な手法によって内部状態生成部14-2,15-2により内部状態を生成する。メインデコーダ11でメインコードをデコードし、この信号に基づき内部状態を得ることができる。また、その信号を用いて前サブデコーダ14-1、後サブデコーダ15-1によりサブコードを復号することができる。なお、サブコードをPCMで符号化した場合には内部状態の生成は行わない。
【００２３】
パケットロスがあれば、出力コントローラ12で前後に対応する前フレームまたは後フレームに対応するサブコードをサブデコーダで復号して復号音声を再生する。該当信号がなければ以前の消失のないパケットのメインコードに基づいて波形合成による消失補償、例えば上記のように繰り返し波形を合成して重ね合わせ再生する。つまり出力コントローラにおいて、パケットが消失した時点で、
・既に入力したパケットにサブコードがある場合、該サブコードに基づく信号を再生する。
・次に入力したパケットにサブコードがある場合、該サブコードに基づく信号を再生する。
・どちらのパケットにもサブコードがない場合、過去の復号信号を用いた波形繰り返し補償を適用するように制御する。
ここで、出力コントローラは揺らぎ吸収バッファに上記のような判別機能が含まれているものである。
このような構成にすることで常にサブコードを付加する場合と比べてほぼ同等の情報量で、演算量が遙かに改善されかつ品質の良い復号音声信号を得ることができる。特にパケットが２つ連続で消失した場合においても図９のように消失補償がされ品質向上が期待できる。なお、上記の例においてメインコードはパケット毎に格納されているが、１つのパケットに複数フレーム分のメインコード、サブコードを格納することは任意である。
【００２４】
本発明手法と従来手法の符号化方式による平均ビットレートの例を示す。
（メインコーデックはG.711(PCM)符号化方式(64kb/s)、サブコーデックは演算量が比較的小さいG.726(ADPCM)方式(32kb/s)を用いる。）
【表１】
ITU-Tで勧告された客観評価法PESQ(Perceptual Evaluation of Speech Quality)を実施して以下の結果が得られた。ただし、従来法として特願2001−18541の発明と比較し、いずれも単一パケット消失率、２連続パケット消失率３,５,10パーセントのときのPESQ値を表に示す。
その結果、本発明では補償無しのときは勿論、従来法よりも高いPESQ値（PESQ値が高い方が主観的品質に優れる）、つまり主観評価値が得られた。
【表２】
【００２５】
本発明の符号器及び復号器は、ＣＰＵやメモリ等を有するコンピュータと、アクセス主体となる端末と、記録媒体とから構成することができる。記録媒体は、ＣＤ−ＲＯＭ、磁気ディスク装置、半導体メモリ等の機械読み取り可能な記録媒体であり、ここに記録されたパケット構成プログラム及びパケット復号プログラム制御用プログラムはコンピュータに読み取られ、コンピュータの動作を制御し、コンピュータ上に前述した実施の形態における各構成要素を実現する。
【００２６】
【発明の効果】
本発明によれば、従来法に比較して、少ない情報量の付加で、パケット消失による品質の劣化を抑え、原音に忠実な消失部分の補償をすることが可能となる。また、演算量に関しても軽くすることが可能となり、メインであるフレームの前後の補助情報をもつため、パケットが連続で消失した場合においても従来手法よりも優れた性能を発揮する。
【図面の簡単な説明】
【図１】本発明の１実施例である符号器のブロック図。
【図２】現フレームから前フレームの擬似信号を生成する例を説明するための図。
【図３】現フレームから前フレームの擬似信号が生成しない例を説明するための図。
【図４】現フレームから後フレームの擬似信号が生成する例を説明するための図。
【図５】現フレームから後フレームの擬似信号が生成しない例を説明するための図。
【図６】符号器のパケット構成を説明するための図。
【図７】後サブコードにおける内部状態の生成を説明するための図。
【図８】本発明の１実施例である復号器のブロック図。
【図９】復号器の機能を説明するための図。
【符号の説明】
１・・・フレーム形成部
２・・・パターン分類部
３・・・メインエンコーダ
４・・・パケット構成部
６・・・前サブコーデック
6-1・・・前サブエンコーダ、6-2・・・内部状態生成部、6-3・・・メインローカルデコーダ
７・・・後サブコーデック
7-1・・・後メインエンコーダ、7-2・・・メインローカルデコーダ、7-3・・・内部状態生成部
10・・・パケット分解部
11・・・メインデコーダ
12・・・出力コントローラ
14・・・前サブコーデック
14-1・・・前サブデコーダ、14-2・・・内部状態生成部
15・・・後サブコーデック
15-1・・・後サブデコーダ、15-2・・・内部状態生成部
【発明の属する技術分野】
本発明は音声信号を圧縮符号化してパケットに収容する方法及び装置、もしくは伝送されたパケットに収容された符号から音声信号を復号する方法及び装置に関する。
【０００２】
【従来の技術】
移動体通信やVoIP(Voice over IP)に代表されるように、パケット通信によって音声とデータを統合的に扱う事が可能となる。パケット音声通信における問題点として、符号化による音声の劣化、遅延、パケット消失があげられる。通信路が広帯域化、高速化されることにより、符号化による劣化、遅延は解消されるが、パケット消失は通信容量が増えても生じる可能性がありうる問題である。
パケット消失が起こる原因として次のものがあげられる。まず、パケット数が多い場合、パケットどうしのコリジョン（衝突）によってパケットが完全に消失してしまう場合がある。また符号ビット誤りが伝送上のエラー等によってある閾値、例えば50%程度に達した場合、そのパケット情報は全て失われたものとし、パケット消失と判定される。さらに、パケットの到着遅延がゆらぎ吸収バッファよりも大きい場合にパケット消失と判定される。これらの原因によってパケットが消失し、音声の品質劣化が生じる。
品質の劣化によって聴覚に不快感を与えないために、失われたパケットの部分は別の何らかの信号で補償する必要がある。符号化方式によっては、過去の音声の特徴量を用いて符号化しているため、一度パケットが消失すると、復帰後しばらくは品質が劣化することがある。その品質の劣化を目立たないように補正することもパケット消失補償に含まれる。例えば、復号器において、前のパケット情報を用いて、パラメータの補間や音量の制御を施すことにより、たとえ一部のパケット情報が欠落しても、できるだけ劣化を抑えるように処理をする。この処理は、パケットが消失したという情報が利用可能であることが条件であるが、伝送条件の悪い場合、つまりパケット消失が起こりやすい場合には、消失補償による劣化抑制処理の効果は非常に大きい。
【０００３】
IP通信ではパケットを送信しても、ネットワークの状況によって、ある程度は届かない可能性がある。IP通信では送信したパケットの順番を判定し、復号器側バッファ（ゆらぎ吸収バッファ）で希望するパケットが再生すべき時に到着していないと判断された場合、パケット消失と判定される。また伝送誤りによって、パケット消失と判断される場合もIP上で誤り判定機能を持たせることによってパケット消失の判定をする。
【０００４】
パケットが消失した場合の解決策として、現在までにいくつかの手法が提案されてきた。
低ビットレートの音声符号化に使用されるCELP(Code Excited Linear Prediction：符号励振線形予測)方式でのパケット消失補償では、パケット内の音声信号を周期的成分と非周期的成分に分析しておき、消失パケットに格納された信号波形のピッチ周波数が周期性であれば、適応符号帳の励振信号を用い、非周期性であれば、白色雑音をランダムに使用するという手法がよく用いられる。その他にも合成フィルタ係数を反復させる、適応・固定コードブックゲインを減衰させる、ゲイン予測を減衰させるという手法があげられる。
また、PCM(Pulse Code Modulation)のような波形符号化の場合は、過去の信号からピッチ周期を解析し適当な波形を取り出し、それを繰り返すことによって、擬似的な信号を作る手法がある。この波形繰り返し補償で最も劣化の原因となりやすいのは波形の不連続によるものである。その波形の不連続が発生しやすいのは消失パケットの代わりに生成された補償信号と前後のパケットの信号波形との繋ぎ合わせの部分である。この不連続性を目立たなくするために、ピッチ周期を消失から復帰後と連続になるように調整する、あるいはOLA(Overlap add)によって、合成信号と復帰後の信号を除々に変化させていくという手法がある。また、連続でパケットが消失した場合（バースト消失）、合成信号のパワーを除々に減衰させることにより、聴覚に不快にならないような工夫をしている。
【０００５】
これらの手法は聴覚に不快な信号を抑制する効果に関しては有効な手法であった。しかし、あくまで擬似的な合成信号の再生であり常に原音に近い音を再生することが困難である場合が多い。パケット間において、ピッチやパワーが急速に変わったりする場合、あるいはピッチ間隔の不一致による波形の不連続性や無理な調整によって音質が著しく劣化する場合があった。
【０００６】
【発明が解決しようとする課題】
本発明では、従来のパケット消失補償技術の欠点を解消し、パケット消失による音声の品質劣化を改善することを課題としている。
従来技術ではパケットが消失している区間で、急激な音声信号の変化によって、劣化が目立つことがあった。また常にパケット消失に備えて前後のフレームの符号を補助情報として付加すると帯域の有効活用はできない。本発明では補助情報を効率よく付加し、パケットが消失することによる音声信号の劣化を抑えることのできるパケット構成方法及び装置、パケット構成プログラム、並びにパケット分解方法及び装置、パケット分解プログラムを提供することを課題としている。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明のパケット構成方法及び装置は、
音声信号をフレームごとに符号化した符号をパケットに格納するパケット構成方法及び装置において、
現フレームの音声信号の繰り返しまたは該符号の特徴量の外挿により前フレーム及び後フレームの補償信号を合成し、前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より大きく、後フレームの信号波形と前記後フレームの補償信号との歪が所定の閾値より大きい場合、現フレームと、前フレームと後フレームの符号を含めてパケットを構成し、
前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より大きく、後フレームの補償信号との歪が所定の閾値より小さい場合、現フレームと前フレームの符号と前フレームを示す符号を含めてパケットを構成し、
前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より小さく、後フレームの信号波形と前記後フレームの補償信号との歪が所定の閾値より大きい場合、現フレームと後フレームの符号と後フレームを示す符号を含めてパケットを構成することを特徴とする。
【０００８】
また、本発明のパケット分解方法及び装置は、
パケット毎に格納されたフレーム毎の符号を復号化して音声信号を再生するパケット分解方法及び装置において、
パケットが消失したか否かを判定し、
現パケットが消失した場合、
前パケットが後フレーム符号を含むとき、当該後フレーム符号を復号して現パケットの音声信号を再生し、
後パケットが前フレーム符号を含むとき、当該前フレーム符号を復号して現パケットの音声信号を再生し、
前パケットも後パケットも前フレーム符号も後フレーム符号も含まず現フレーム符号を含むとき、前後いずれか一方のパケットの当該現フレーム符号の復号信号の繰り返し又は該信号の特徴量の補間もしくは外挿により現パケットの音声信号を再生することを特徴とする。
【０００９】
【発明の実施の形態】
本発明では符号器において入力された音声信号を一定のサンプル数のフレームごとに符号化を行う。現在注目する区間を現フレーム、その信号を符号化するメインエンコーダを備え、これによって符号化されたデータをメインコードと称す。なお、現フレームよりも時間的に直前または直後のフレームをそれぞれ前フレーム、後フレームと称す。それらの信号をそれぞれ符号化する前サブコーデック、後サブコーデックを備える。符号化されたデータを各々前サブコード、後サブコードと称す。後フレームは現フレームよりも時間的に未来の信号であるので、その信号を扱うには符号器側において、１フレーム分以上の入力音声信号をバッファリングする必要がある。本発明ではその各フレーム分の符号を１パケットに詰めて送信する。
【００１０】
VoIPをはじめとする、パケットによる音声通信においては、ネットワークの状態によって、受信側に音声パケットが送信時刻順に届くとは限らない。ネットワークの状況によって、前のパケットとの到着時間間隔が大きくなったり小さくなったりと揺らいで到着する。この揺らぎを復号化側で吸収（解消）するために揺らぎ吸収バッファが設けられる。
一般にパケットに含ませる音声フレームが短ければ短いほど、１つのパケットが消失したときの音声の劣化が小さい。ただし、１つのパケットに含ませる音声フレームが短ければ短いほどオーバーヘッドの占める割合が大きい。これは、音声をパケット化して送る場合においては、音声データ以外にもIPのヘッダ、RTP(Real-time Transport Protocol)のヘッダ等がパケット毎に付加されるためである。本発明においては現フレームを符号化するメインエンコーダは高品質符号化（64kbit/s以上）を用いる。よって１パケットに含ませる音声長として10ms程度が望ましい。音声波に周期性があるため、前後のパケットにある音声信号と相関がある場合が多い。本発明ではその特性を利用し、現フレームを符号化したメインコードに、その周辺の信号から作成した後フレームの合成信号あるいは前フレームの合成信号と、後フレームあるいは前フレーム信号を比較することによって、補助情報の必要性を判断し、前、後のサブコードをパケット消失時の対策として符号器側において付加する。
【００１１】
VoIpにおいては揺らぎ吸収バッファにおける最大待機時間よりも到着が遅れて届かなかったパケットは破棄されたと判断される。（パケットが消失する原因は他にもパケット同士のコリジョン、伝送上のエラー等があげられる。）
復号器側では、パケット消失と判定されない場合は揺らぎ吸収バッファに蓄積されたメインコードをメインデコーダに出力しデコードする。パケット消失の判定がされた場合は揺らぎ吸収バッファに届いている後サブコードとメインコードを組み合わせたビットストリーム、あるいは後に届く前サブコードとメインコードを組み合わせたビットストリームを使って劣化の非常に少ないパケット消失補償を行うことができる。
ここでメインエンコーダは圧縮率が比較的低い、高品質の符号化方式（例えばPCM,64kbit/s）を用い、またサブコーデックにはメインエンコーダより高圧縮、そして演算量の比較的小さい符号化方式（例えばADPCM,32kbit/s）コーデックを選ぶ。このようにすることによって、メインコードに対して少ない情報量の付加で効率の良いパケット消失補償を行うことができる。
【００１２】
（符号器）
本発明の符号器を図１〜図７を参照して説明する。
図１に符号器のブロック図を示す。
入力された音声信号はフレーム形成部１において例えば音声長10ms毎にフレームが形成され、パターン分類部２に入力される。
パターン分類部２においては、次の処理が行われる。
(Ｉ)無音または無声子音の判断が行われる。本発明では、現フレームの無音または無声子音の判断方法としてフレームにわたって波形の振幅が予め定められた閾値（例えば、量子化16ビットのうち256(28)）以下の場合をもって判断する。
なお、無音区間は周知の手段により検出することができる。
(II)無音または無声子音区間と判断されない場合（有声音区間）は、
(i)現フレーム、（あるいは前フレームと後フレーム）から“波形繰り返し補償”により前フレーム、後フレーム（現フレーム）の合成波形（信号）を生成する。合成信号列の具体例については近過去の信号のピッチ成分を抽出し、それを繰り返して外挿する。ただし、フレーム間の波形のつなぎあわせの部分は不連続とならないように重ね合わせる(OLA:Overlap add)。
(ii)それぞれの合成波形と前フレームと後フレーム（あるいは現フレーム）の波形と比べてどの程度の波形歪があるかを調べる。前フレームのコードを伝送する必要性の有無（現フレームから前フレームの波形を作ることができる）、後フレームのコードを伝送する必要の有無（現フレームから後フレームの波形を作ることができる）を判断する。ここで伝送の必要性は前（後）フレームの信号波形と現フレームの波形を繰り返し又は外挿補間等により波形合成した合成信号列との信号雑音比(SNR)又は歪（ケプストラム距離値(Cepstrum Distance measure：CD)等）が各々所定の閾値以上（または以下）であることをもって判断する。
【００１３】
SNR、CDは以下のように表される。
【数１】
無音、無声子音、波形歪の測定によって次に挙げる６つのパターンに分類できる。
(1)無声区間である。
(2)無声子音である。
(3)現フレームから前フレームの波形も後フレームの波形も作ることができる。
(4)現フレームから前フレームの波形を作ることができるが、後フレームの波形は作ることができない。
(5)現フレームから後フレームの波形を作ることができるが、前フレームの波形は作ることができない。
(6)現フレームから前フレームの波形も後フレームの波形も作ることができない。
上記パターン情報(1)〜(6)は前サブエンコーダ6-1、後サブエンコーダ7-4に入力される。
現フレームはメインエンコーダ３でメインコードが生成されパケット構成部５に出力される。 前フレームは前サブエンコーダ6-1に入力されパターン情報に基づき前サブコードが生成されパケット構成部５に入力される。
後フレームは後サブエンコーダ3-4に入力されパターン情報に基づき後サブコードが生成されパケット構成部５に入力される。
【００１５】
パケット構成部５は、図６に示すようにメインコードに前、後サブコードを付加してビットストリーム（パケット）を構成する。
図２に現フレームから前フレームの擬似信号を生成する例を示す。
（図２を参照して手順を示すと、▲１▼現フレームから波形繰り返しにより前フレームの合成信号を生成し、▲２▼前フレームの音声信号と比較して所定の閾値以下である場合、▲３▼現フレームから前フレームの擬似信号を作ることができる。）
図３に現フレームから前フレームの擬似信号を生成しない例を示す。
（図３を参照して手順を示すと、▲１▼現フレームから波形繰り返しにより前フレームの合成信号を生成し、▲２▼前フレームの音声信号と比較して所定の閾値以下でない場合、▲３▼この場合において、前フレームの信号を圧縮して前サブコードを生成する。）
図４に現フレームから後フレームの擬似信号を生成する例を示す。
図５に現フレームから後フレームの擬似信号を生成しない例を示す。
この場合において後フレームの信号を圧縮して後サブコードを生成する。
【００１６】
パターン(1)、(2)のように無音、無声子音は、一般に周期性の無い信号であり前後のパケットに相関がなく、繰り返しによる補間を行うと音声が劣化してしまう。また、無声子音は比較的長い時間現れることが多い。しかし、無声子音はパワーが小さく前、後サブエンコーダ6-1、7-4において量子化ビットのビット数を少なくして量子化し（例えば８bitで量子化）、サブコード（無音、無声子音コード）を出力する。つまり情報量を少なくすることによって、同じ情報量で多くのフレームの重複伝送が可能となり、パケット消失に耐性を持たせることができる。このようにしてもパワーが小さいので劣化が顕著となることはない。
パターン(3)の場合、フレームが例え欠落しても前後のパケットから補間して音声劣化のほとんどない補償を行うことができる。この場合はパケットが消失しても劣化の少ない消失補償が前後の信号によって行えるため補助情報を必要としない（つまり、サブコードは付加する必要はない）。
パターン(4)の場合はメインフレームから後フレームの波形を作ることができない。よってこの後フレームの消失によって音声が著しく劣化する可能性がある。よって後フレームをサブコーデックで圧縮し、組み合わせて送信すると良い。また、パターン(5)の場合はメインフレームから前フレームの波形を作ることができない。よってこの前フレームの消失によって音声が著しく劣化する可能性がある。よって前フレームをサブコーデックで圧縮し、組み合わせて送信すると良い。ここでサブコーデックに圧縮コーデックを持たせる場合は通常前フレームの内部情報を引き続き用いて符号化される場合が多い。また圧縮コーデックは演算量が多くなりコーデックの負荷が大きくなるのでサブコーデックはできるだけ演算量が少ないものを選ぶと良い。（サブコーデックで圧縮してサブコードを生成する場合の例を図３、５、６に示す。）
【００１７】
パケット構成部５でパケット（ビットストリーム）を構成する際に現フレームのコード（メインコード）の他に伝送する必要があるコード（サブコード）を次のように判定する。(i)前フレームだけなら前方付加、(ii)後フレームだけならば後方付加、(iii)前後両方ならば両方付加、(iv)必要なし（パターン(3)）の場合にはメインコードのみとする。これにより、常に１パケットに３フレーム収容するのではなく、メインコード１フレーム分のみ、前後サブコードいずれかを加えた２フレームだけのことがある。(iii),(iv)は情報量の大きさで識別できるものの(i),(ii)は単に情報量で識別できないので互いの違いを区別するための識別情報を符号化側で付与し、復号側で何れかの状態を区別する必要がある。
【００１８】
即ち、従来技術では常に「サブコードを付加する」に対して本発明では「必要がある時だけサブコードを付加する」ことによって、品質は同等でも平均伝送情報量を削減することが可能となる。
例えば、PCM(64kbps)をメインコーダ（デコーダ）、ADPCM(32kbps)をサブコーダ（デコーダ）として用いた場合、１パケットに収容される情報量は、(1)前サブコード付加(32kbps＋64kbps＝96kbps)、(2)後サブコード付加(32kbps＋64kbps＝96kbps)、(3)両サブコード付加(32kbps＋64kbps＋32kbps＝128kbps)、(4)サブコード必要なし(64kbps)、(5)無音または無声子音(32kbps)となる。
符号器側にて、十分な品質をとれる場合には補助情報なしとし、補償できない場合のみサブコードによる補助情報を付与するので、サブコードを常に付加する場合と比べて、サブコーデックに圧縮率は低いが演算量の小さいコーデックを使用できる。
【００１９】
内部状態について説明する。
内部状態の生成はサブコードを例えばPCM(Pulse Code Modulation)により符号化する場合には必要としない。しかし、サブコードをADPCM(Adaptive Differential PCM)、LDCELP(Low Delay Code Excited Linear Prediction)により符号化する場合においては必要となる。
ここで、内部状態とは内部状態特徴量のことで、符号化に必要な特徴量を指す。例えばADPCMでは、予測フィルタ係数、適応フィルタ係数、予測係数、ステップ幅、またLDCELPでは聴覚重み付けフィルタ係数、合成フィルタ係数、予測フィルタ係数、予測係数等があげられる。
サブコードが必要であると判定されればその信号をADPCMで符号化するための内部状態が必要となる。ADPCMは量子化ステップ幅と予測係数の両方を適応的に逐次更新する手法であり、内部状態を生成するために、CELP符号化方式ほど多くの過去の信号を必要としない点で有利である。
よって内部状態は、前サブコードにおいては、メインエンコーダ３とメインローカルデコーダ6-3で符号化、復号化して、この信号に基づいて内部状態生成部6-2において生成し、この信号と前フレーム信号により前サブエンコーダ6-1により前サブコードを生成することができる。後サブコードにおいては図７に示すように同様の操作を内部状態生成部7-3で時間軸において逆向きに符号化することにより内部状態を生成し、この信号と後フレーム信号により後サブエンコーダ7-4で後サブコードを作成することができる。このような構成によりADPCMによりサブコードを生成することができる。
【００２０】
パターン(6)の場合はメインフレームから後フレーム、前フレームのどちらの信号も波形を復元することはできない。よってこの後フレーム、前フレームの消失によって音声が著しく劣化する可能性がある。このような場合は帯域に余裕があれば前フレーム、後フレームのどちらかの信号もサブコードとして出力させると良い。（図６参照）
上記のように分類する上で、ペイロード（ヘッダを除いた符号化列）がどのサブコードを含むか判別できない場合は識別情報（数ビット）も必要となる。
例えば、10msの女性音声の場合において、再生信号と補間信号のSN値が正（０を閾値とする場合）であるとき良いフレームと判断した場合、前後いずれのパケットから補間可能15%、無音区間40%、無声子音20%、前後パケットから補間不能25%程度になる。つまり、無音、無声子音を除く37.5%前後のパケットから補間可能となることがわかる。SN値の閾値を変える、つまり歪の許容範囲を変えることによって帯域を制御することができる。
【００２１】
（復号器）
図８を参照して復号器を説明する。
復号器側では届いたパケットをパケット分解部10において、補助情報、識別情報によりメインコード、後サブコード、前サブコード、無音、無声子音コードに分配する。メインコードはメインデコーダ11に入力され復号される。また、前、後サブコードはそれぞれ前、後サブデコーダ14-1,15-1に入力される。
【００２２】
図９に示すように、
▲１▼パケットロス時のサブコードが無音、無声子音コードであれば、メインデコーダ11の符号化に用いた量子化ビット、すなわち、少ない量子化ビット（例えば８bit）に戻して再生する。
▲２▼パケットの消失がない場合はメインコードを再生する。
▲３▼パケットが消失した場合は、後サブコード、前サブコードの場合は符号器と同様な手法によって内部状態生成部14-2,15-2により内部状態を生成する。メインデコーダ11でメインコードをデコードし、この信号に基づき内部状態を得ることができる。また、その信号を用いて前サブデコーダ14-1、後サブデコーダ15-1によりサブコードを復号することができる。なお、サブコードをPCMで符号化した場合には内部状態の生成は行わない。
【００２３】
パケットロスがあれば、出力コントローラ12で前後に対応する前フレームまたは後フレームに対応するサブコードをサブデコーダで復号して復号音声を再生する。該当信号がなければ以前の消失のないパケットのメインコードに基づいて波形合成による消失補償、例えば上記のように繰り返し波形を合成して重ね合わせ再生する。つまり出力コントローラにおいて、パケットが消失した時点で、
・既に入力したパケットにサブコードがある場合、該サブコードに基づく信号を再生する。
・次に入力したパケットにサブコードがある場合、該サブコードに基づく信号を再生する。
・どちらのパケットにもサブコードがない場合、過去の復号信号を用いた波形繰り返し補償を適用するように制御する。
ここで、出力コントローラは揺らぎ吸収バッファに上記のような判別機能が含まれているものである。
このような構成にすることで常にサブコードを付加する場合と比べてほぼ同等の情報量で、演算量が遙かに改善されかつ品質の良い復号音声信号を得ることができる。特にパケットが２つ連続で消失した場合においても図９のように消失補償がされ品質向上が期待できる。なお、上記の例においてメインコードはパケット毎に格納されているが、１つのパケットに複数フレーム分のメインコード、サブコードを格納することは任意である。
【００２４】
本発明手法と従来手法の符号化方式による平均ビットレートの例を示す。
（メインコーデックはG.711(PCM)符号化方式(64kb/s)、サブコーデックは演算量が比較的小さいG.726(ADPCM)方式(32kb/s)を用いる。）
【表１】
その結果、本発明では補償無しのときは勿論、従来法よりも高いPESQ値（PESQ値が高い方が主観的品質に優れる）、つまり主観評価値が得られた。
【表２】
本発明の符号器及び復号器は、ＣＰＵやメモリ等を有するコンピュータと、アクセス主体となる端末と、記録媒体とから構成することができる。記録媒体は、ＣＤ−ＲＯＭ、磁気ディスク装置、半導体メモリ等の機械読み取り可能な記録媒体であり、ここに記録されたパケット構成プログラム及びパケット復号プログラム制御用プログラムはコンピュータに読み取られ、コンピュータの動作を制御し、コンピュータ上に前述した実施の形態における各構成要素を実現する。
【００２６】
【発明の効果】
本発明によれば、従来法に比較して、少ない情報量の付加で、パケット消失による品質の劣化を抑え、原音に忠実な消失部分の補償をすることが可能となる。また、演算量に関しても軽くすることが可能となり、メインであるフレームの前後の補助情報をもつため、パケットが連続で消失した場合においても従来手法よりも優れた性能を発揮する。
【図面の簡単な説明】
【図１】本発明の１実施例である符号器のブロック図。
【図２】現フレームから前フレームの擬似信号を生成する例を説明するための図。
【図３】現フレームから前フレームの擬似信号が生成しない例を説明するための図。
【図４】現フレームから後フレームの擬似信号が生成する例を説明するための図。
【図５】現フレームから後フレームの擬似信号が生成しない例を説明するための図。
【図６】符号器のパケット構成を説明するための図。
【図７】後サブコードにおける内部状態の生成を説明するための図。
【図８】本発明の１実施例である復号器のブロック図。
【図９】復号器の機能を説明するための図。
【符号の説明】
１・・・フレーム形成部
２・・・パターン分類部
３・・・メインエンコーダ
４・・・パケット構成部
６・・・前サブコーデック
6-1・・・前サブエンコーダ、6-2・・・内部状態生成部、6-3・・・メインローカルデコーダ
７・・・後サブコーデック
7-1・・・後メインエンコーダ、7-2・・・メインローカルデコーダ、7-3・・・内部状態生成部
10・・・パケット分解部
11・・・メインデコーダ
12・・・出力コントローラ
14・・・前サブコーデック
14-1・・・前サブデコーダ、14-2・・・内部状態生成部
15・・・後サブコーデック
15-1・・・後サブデコーダ、15-2・・・内部状態生成部
Claims (9)
- 音声信号をフレームごとに符号化した符号をパケットに格納するパケット構成方法において、
現フレームの音声信号の繰り返しまたは該符号の特徴量の外挿により前フレーム及び後フレームの補償信号を合成する過程と、
前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より大きく、後フレームの信号波形と前記後フレームの補償信号との歪が所定の閾値より大きい場合、現フレームと、前フレームと後フレームの符号を含めてパケットを構成する過程と、
前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より大きく、後フレームの補償信号との歪が所定の閾値より小さい場合、現フレームと前フレームの符号と前フレームを示す符号を含めてパケットを構成する過程と、
前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より小さく、後フレームの信号波形と前記後フレームの補償信号との歪が所定の閾値より大きい場合、現フレームと後フレームの符号と後フレームを示す符号を含めてパケットを構成する過程と、を有することを特徴とするパケット構成方法。 - 請求項１に記載のパケット構成方法において、
前記前フレーム又は後フレームの符号は、前記現フレームに対する符号化方法とは異なる符号化方法で前記前フレーム又は後フレームの音声信号に対して前記現フレームの符号化による復号信号に基づく内部状態変数を用いて生成することを特徴とするパケット構成方法。 - 音声信号をフレームごとに符号化した符号をパケットに格納するパケット構成装置において、
現フレームの音声信号の繰り返しまたは該符号の特徴量の外挿により前フレーム及び後フレームの補償信号を合成する手段と、
前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より大きく、後フレームの信号波形と前記後フレームの補償信号との歪が所定の閾値より大きい場合、現フレームと、前フレームと後フレームの符号を含めてパケットを構成し、前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より大きく、後フレームの補償信号との歪が所定の閾値より小さい場合、現フレームと前フレームの符号と前フレームを示す符号を含めてパケットを構成し、
前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より小さく、後フレームの信号波形と前記後フレームの補償信号との歪が所定の閾値より大きい場合、現フレームと後フレームの符号と後フレームを示す符号を含めてパケットを構成する手段と、を備えたことを特徴とするパケット構成装置。 - 請求項３に記載のパケット構成装置において、
前記前フレーム又は後フレームの符号は、前記現フレームに対する符号化方法とは異なる符号化方法で前記前フレーム又は後フレームの音声信号に対して前記現フレームの符号化による復号信号に基づく内部状態変数を用いて生成することを特徴とするパケット構成装置。 - 音声信号をフレームごとに符号化した符号をパケットに格納する処理をコンピュータに実行させるパケット構成プログラムにおいて、
現フレームの音声信号の繰り返しまたは該符号の特徴量の外挿により前フレーム及び後フレームの補償信号を合成する処理と、
前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より大きく、後フレームの信号波形と前記後フレームの補償信号との歪が所定の閾値より大きい場合、現フレームと、前フレームと後フレームの符号を含めてパケットを構成する処理と、
前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より大きく、後フレームの補償信号との歪が所定の閾値より小さい場合、現フレームと前フレームの符号と前フレームを示す符号を含めてパケットを構成する処理と、
前フレームの信号波形と前記前フレームの補償信号との歪が所定の閾値より小さく、後フレームの信号波形と前記後フレームの補償信号との歪が所定の閾値より大きい場合、現フレームと後フレームの符号と後フレームを示す符号を含めてパケットを構成する処理と、をコンピュータに実行させるパケット構成プログラム。 - 請求項５に記載のパケット構成プログラムにおいて、
前記前フレーム又は後フレームの符号は、前記現フレームに対する符号化方法とは異なる符号化方法で前記前フレーム又は後フレームの音声信号に対して前記現フレームの符号化による復号信号に基づく内部状態変数を用いて生成することを特徴とするパケット構成プログラム。 - パケット毎に格納されたフレーム毎の符号を復号化して音声信号を再生するパケット分解方法において、
パケットが消失したか否かを判定する過程と、
現パケットが消失した場合、
前パケットが後フレーム符号を含むとき、当該後フレーム符号を復号して現パケットの音声信号を再生する過程と、
後パケットが前フレーム符号を含むとき、当該前フレーム符号を復号して現パケットの音声信号を再生する過程と、
前パケットも後パケットも前フレーム符号も後フレーム符号も含まず現フレーム符号を含むとき、前後いずれか一方のパケットの当該現フレーム符号の復号信号の繰り返し又は該信号の特徴量の補間もしくは外挿により現パケットの音声信号を再生する過程と、を有することを特徴とするパケット分解方法。 - パケット毎に格納されたフレーム毎の符号を復号化して音声信号を再生するパケット分解装置において、
パケットが消失したか否かを判定する手段と、
現パケットが消失した場合、
前パケットが後フレーム符号を含むとき、当該後フレーム符号を復号して現パケットの音声信号を再生し、後パケットが前フレーム符号を含むとき、当該前フレーム符号を復号して現パケットの音声信号を再生し、前パケットも後パケットも前フレーム符号も後フレーム符号も含まず現フレーム符号を含むとき、前後いずれか一方のパケットの当該現フレーム符号の復号信号の繰り返し又は該信号の特徴量の補間もしくは外挿により現パケットの音声信号を再生する手段と、を備えたことを特徴とするパケット分解装置。 - パケット毎に格納されたフレーム毎の符号を復号化して音声信号を再生する処理をコンピュータに実行させるパケット分解プログラムにおいて、
パケットが消失したか否かを判定する処理と、
現パケットが消失した場合、
前パケットが後フレーム符号を含むとき、当該後フレーム符号を復号して現パケットの音声信号を再生する処理と、
後パケットが前フレーム符号を含むとき、当該前フレーム符号を復号して現パケットの音声信号を再生する処理と、
前パケットも後パケットも前フレーム符号も後フレーム符号も含まず現フレーム符号を含むとき、前後いずれか一方のパケットの当該現フレーム符号の復号信号の繰り返し又は該信号の特徴量の補間もしくは外挿により現パケットの音声信号を再生する処理と、をコンピュータに実行させるパケット分解プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002045839A JP3722366B2 (ja) | 2002-02-22 | 2002-02-22 | パケット構成方法及び装置、パケット構成プログラム、並びにパケット分解方法及び装置、パケット分解プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002045839A JP3722366B2 (ja) | 2002-02-22 | 2002-02-22 | パケット構成方法及び装置、パケット構成プログラム、並びにパケット分解方法及び装置、パケット分解プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003249957A JP2003249957A (ja) | 2003-09-05 |
| JP3722366B2 true JP3722366B2 (ja) | 2005-11-30 |
Family
ID=28659486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002045839A Expired - Fee Related JP3722366B2 (ja) | 2002-02-22 | 2002-02-22 | パケット構成方法及び装置、パケット構成プログラム、並びにパケット分解方法及び装置、パケット分解プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3722366B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3880497B2 (ja) | 2002-09-27 | 2007-02-14 | Ｎｅｃインフロンティア株式会社 | Ｌａｎ通信システム |
| AU2003302114A1 (en) * | 2002-11-21 | 2004-06-15 | Nippon Telegraph And Telephone Corporation | Digital signal processing method, processor thereof, program thereof, and recording medium containing the program |
| DE602005019559D1 (de) | 2004-05-11 | 2010-04-08 | Nippon Telegraph & Telephone | Schallpaket-sendeverfahren, schallpaket-sendevorrichtung, schallpaket-sendeprogramm und aufzeichnungsmedium, in dem dieses programm aufgezeichnet wurde |
| JP4419748B2 (ja) * | 2004-08-12 | 2010-02-24 | 沖電気工業株式会社 | 消失補償装置、消失補償方法、および消失補償プログラム |
| US7519535B2 (en) * | 2005-01-31 | 2009-04-14 | Qualcomm Incorporated | Frame erasure concealment in voice communications |
| US8086452B2 (en) | 2005-11-30 | 2011-12-27 | Panasonic Corporation | Scalable coding apparatus and scalable coding method |
| JP5052514B2 (ja) | 2006-07-12 | 2012-10-17 | パナソニック株式会社 | 音声復号装置 |
| US20090248404A1 (en) * | 2006-07-12 | 2009-10-01 | Panasonic Corporation | Lost frame compensating method, audio encoding apparatus and audio decoding apparatus |
| JP5190363B2 (ja) | 2006-07-12 | 2013-04-24 | パナソニック株式会社 | 音声復号装置、音声符号化装置、および消失フレーム補償方法 |
| JP5123516B2 (ja) * | 2006-10-30 | 2013-01-23 | 株式会社エヌ・ティ・ティ・ドコモ | 復号装置、符号化装置、復号方法及び符号化方法 |
| EP3579228A1 (en) | 2012-11-15 | 2019-12-11 | NTT DoCoMo, Inc. | Audio coding device, audio coding method, audio coding program, audio decoding device, audio decoding method, and audio decoding program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0669959A (ja) * | 1992-08-19 | 1994-03-11 | Nippon Telegr & Teleph Corp <Ntt> | 音声パケット廃棄補償方式 |
| JPH11225161A (ja) * | 1998-02-05 | 1999-08-17 | Matsushita Electric Ind Co Ltd | データ処理方法およびデータ処理装置 |
| JP2002162998A (ja) * | 2000-11-28 | 2002-06-07 | Fujitsu Ltd | パケット修復処理を伴なう音声符号化方法 |
| JP3566931B2 (ja) * | 2001-01-26 | 2004-09-15 | 日本電信電話株式会社 | 音声信号の符号列のパケット組立方法、装置及びパケット分解方法、装置並びにこれらの方法を実行するプログラム、プログラムを記録する記録媒体 |
| JP3628268B2 (ja) * | 2001-03-13 | 2005-03-09 | 日本電信電話株式会社 | 音響信号符号化方法、復号化方法及び装置並びにプログラム及び記録媒体 |
-
2002
- 2002-02-22 JP JP2002045839A patent/JP3722366B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003249957A (ja) | 2003-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1202251B1 (en) | Transcoder for prevention of tandem coding of speech | |
| US10083698B2 (en) | Packet loss concealment for speech coding | |
| JP4658596B2 (ja) | 線形予測に基づく音声コーデックにおける効率的なフレーム消失の隠蔽のための方法、及び装置 | |
| AU2006252972B2 (en) | Robust decoder | |
| RU2418324C2 (ru) | Поддиапазонный речевой кодекс с многокаскадными таблицами кодирования и избыточным кодированием | |
| EP2535893B1 (en) | Device and method for lost frame concealment | |
| JP2006502426A (ja) | ソース制御された可変ビットレート広帯域音声の符号化方法および装置 | |
| US6873954B1 (en) | Method and apparatus in a telecommunications system | |
| US8055499B2 (en) | Transmitter and receiver for speech coding and decoding by using additional bit allocation method | |
| JP3722366B2 (ja) | パケット構成方法及び装置、パケット構成プログラム、並びにパケット分解方法及び装置、パケット分解プログラム | |
| JPH01155400A (ja) | 音声符号化方式 | |
| US7302385B2 (en) | Speech restoration system and method for concealing packet losses | |
| JP3566931B2 (ja) | 音声信号の符号列のパケット組立方法、装置及びパケット分解方法、装置並びにこれらの方法を実行するプログラム、プログラムを記録する記録媒体 | |
| JP4558734B2 (ja) | 信号復号化装置 | |
| US7089180B2 (en) | Method and device for coding speech in analysis-by-synthesis speech coders | |
| JP3451998B2 (ja) | 無音声符号化を含む音声符号化・復号装置、復号化方法及びプログラムを記録した記録媒体 | |
| US7584096B2 (en) | Method and apparatus for encoding speech | |
| KR100542435B1 (ko) | 패킷 망에서의 프레임 손실 은닉 방법 및 장치 | |
| KR100591544B1 (ko) | ＶｏＩＰ 시스템을 위한 프레임 손실 은닉 방법 및 장치 | |
| JP3496618B2 (ja) | 複数レートで動作する無音声符号化を含む音声符号化・復号装置及び方法 | |
| JP3475958B2 (ja) | 無音声符号化を含む音声符号化・復号装置、復号化方法及びプログラムを記録した記録媒体 | |
| JP2005534984A (ja) | 音声フレームのエラー軽減用の音声通信ユニットおよび方法 | |
| JPH034300A (ja) | 音声符号化復号化方式 | |
| JPS617899A (ja) | マルチパルス型符号化復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050520 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050823 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050908 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050908 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080922 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |