JP4320033B2 - 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体 - Google Patents
音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体 Download PDFInfo
- Publication number
- JP4320033B2 JP4320033B2 JP2006516897A JP2006516897A JP4320033B2 JP 4320033 B2 JP4320033 B2 JP 4320033B2 JP 2006516897 A JP2006516897 A JP 2006516897A JP 2006516897 A JP2006516897 A JP 2006516897A JP 4320033 B2 JP4320033 B2 JP 4320033B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- sound quality
- level
- packet
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 58
- 230000005540 biological transmission Effects 0.000 title claims description 50
- 230000005236 sound signal Effects 0.000 claims description 298
- 238000011156 evaluation Methods 0.000 claims description 85
- 238000004364 calculation method Methods 0.000 claims description 45
- 230000006866 deterioration Effects 0.000 claims description 43
- 230000015556 catabolic process Effects 0.000 claims description 36
- 238000006731 degradation reaction Methods 0.000 claims description 36
- 238000013441 quality evaluation Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 29
- 238000012545 processing Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 20
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 230000003111 delayed effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013213 extrapolation Methods 0.000 description 3
- 238000001308 synthesis method Methods 0.000 description 3
- 101100334010 Drosophila melanogaster sotv gene Proteins 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Description
【技術分野】
【０００１】
この発明は、ＩＰ（インターネットプロトコル）ネットワークでの音声パケット送信方法、装置、及びその方法を実行するプログラムとそれを記録した記録媒体に関する。
【背景技術】
【０００２】
現在インターネットではＩＰ（Internet Protocol）（非特許文献１参照）パケットにより電子メールやＷＷＷ（World Wide Web）等さまざまな通信が行われている。
現在広く使われているインターネットはベストエフォート型のネットワークであり、パケットが確実に送信先に到着する保証がないため、ＴＣＰ(Transmission Control Protocol)（非特許文献２参照）プロトコルなどによる再送制御を実現した通信により確実なパケット通信を行うことが多い。しかしVoIP(Voice over Internet Protocol)など通信のリアルタイム性が重要となる場合には、パケットロス発生時に再送制御により紛失パケットを求めると、パケットの到着が大きく遅れるために、受信バッファにおける蓄積状態のパケット数を大きく設定しなければならず、リアルタイム性が損なわれてしまうという問題がある。そのためＶｏＩＰなどでは再送制御を行わないＵＤＰ(User Datagram Protocol)（非特許文献３参照）プロトコルにより通信が行われることが多いが、ネットワークの輻輳時にパケットロスが発生し、音質の劣化が生じてしまう問題があった。
【０００３】
パケットを再送することなく音質劣化を防止する従来手法として、送信時にパケット損失率に応じて同じパケットを重複送信しパケット到着確率を上げることで、音切れを防止する手法があるが（特許文献１参照）パケットロスが頻繁に発生するのはネットワークの輻輳時であり、この状態で過剰にパケットを重複送信すると送信情報量の増加や送信パケット数の増加によりネットワークの更なる輻輳を招きパケットロスが更に増加してしまう問題がある。また、パケット損失率が高い状態の間は絶えずパケットを重複送信するためネットワーク送信インタフェースに過剰に負荷がかかってしまい、パケットの送信遅延を招いてしまうといった問題があった。
【０００４】
また、遅延を増やさずにパケットロスによる音質劣化を防止する手法として、音声データの補間手法があり、例えば消失部分のデータを過去のピッチ区間のデータを繰り返すことで補間するG.711 appendix I（非特許文献４参照）があるが、この方法では音声の立ち上がり区間のような信号が急激に変化している領域の音声データが欠落したときに、音声パワ、ピッチが元音声と異なるデータを過去から合成してしまうために異音が発生してしまうという問題があった。
受信側でパケットロスが生じることを送信側で予め想定し、送信側で現フレーム中のピッチ長の音声波形の繰り返しにより音声波形を合成し、その合成音声波形の次フレームの原音声波形に対する品質が閾値より小さければ、現フレームの音声符号と共に次フレームの圧縮音声符号をサブフレーム符号としてパケットにより送信することが提案されている（特許文献２）。この方法によれば、受信側では、現フレームのパケットロスが生じた場合、その前後のフレームのパケットにサブフレーム符号が含まれていなければ前フレーム中の１ピッチ長の波形から現フレームを合成し、もしサブフレーム符号が含まれていればそれを復号して使用する。いずれにしても原音声信号より品質の低下した音声波形が生じることになるが、補間波形の品質が規定より悪い場合に、現フレームに加えて前後パケットにサブコーデックの情報を加える方式のため、サブコーデックの情報を前後のパケットにより送信しても、３連続以上のパケットロスが発生すると、現フレームに対する符号化情報及びサブコーデックの符号化情報が共に利用できなくなり、復号音声の音質が劣化してしまう問題があった。
【先行技術文献】
【特許文献】
【特許文献１】
特開平11-177623号公報
【特許文献２】
特開2003-249957号公報
【非特許文献】
【非特許文献１】
“Internet Protocol”,RFC791,1981.
【非特許文献２】
“Transmission Control Protocol”,RFC793,1981.
【非特許文献３】
“User Datagram Protocol”,RFC768,1980.
【非特許文献４】
ITU-T Recommendation G.711 Appendix I, “A high quality low-complexity algorithm for packet loss concealment with G.711” ,pp.1-18,1999.
【非特許文献５】
J. Nurminen, A. Heikkinen & J. Saarinen,“Objective evaluation of methods for quantization of variable-dimension spectral vectors in WI speech coding，”in Proc. Eurospeech 2001, Aalborg, Denmark, Sep. 2001,pp.1969-1972
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この発明は、上述の問題点に鑑みてなされたものであり、リアルタイム性が重要となる双方向音声通信を行う際に、遅延やネットワークへの過剰な通信負荷を抑えながら音声再生に重要なフレームデータのロスの発生を抑え、再生音質の劣化を軽減することができる音声パケット送信方法、その装置、およびプログラムの記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明によれば、現フレームの音声信号の特徴パラメータである少なくともピッチパラメータを含む補助情報を作成し、現フレームと隣接する少なくとも１つの隣接フレームの音声信号から、その音声信号のピッチを有する第１の補間音声信号を現フレームの音声信号に対して作成し、前記補助情報中の少なくともピッチパラメータを使用して前記少なくとも１つの隣接フレームの音声信号から現フレームの音声信号に対する第２の補間音声信号を作成し、第１補間音声信号の第１音質評価値及び第２補間音声信号の第２音質評価値を計算し、第１音質評価値に基づいて音質が悪いほど段階的に大きな値をとる重複レベルと第１音質劣化レベルを求め、第２音質評価値に基づいて音質が悪いほど段階的に大となる第２音質劣化レベルを求め、第２音質劣化レベルが第１音質劣化レベルより小さくないときは現フレームの音声信号のパケットを重複レベル数だけ作成し、第２音質劣化レベルが第１音質劣化レベルより小さいときは現フレームの音声信号のパケットを１個以上と、前記補助情報のパケットを１個以上とを合計で重複レベルと同数だけ作成し、作成したパケットをネットワークに送信する。
【発明の効果】
【０００７】
この発明の構成によれば、パケットロスが音声信号のうちどのタイミングで発生しても、パケット遅延を増加させることなく、かつネットワークに過剰な負荷をかけることなく、受信側で音質のよい再生音声信号を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】図１Ａはこの発明における音声パケット送信装置の第１検討例の機能構成例を示すブロック図であり、図１Ｂはパケットの構成例を示す図。
【図２】図１Ａ中の補間音声作成部２０の具体的機能構成例を示すブロック図。
【図３Ａ】波形合成方法を説明するための図。
【図３Ｂ】ピッチがフレームより長い場合の波形合成方法を説明するための図。
【図４】波形合成方法の他の例を説明するための図。
【図５】図５Ａは図４において波形を接続するための一方の重み関数の例を示す図であり、図５Ｂは他方の重み関数の例を示す図。
【図６】図１中の音質判定部４０の具体的機能構成例を示すブロック図。
【図７】音質評価値と重複レベルとの関係例を規定するテーブルの例を示す図。
【図８】音質評価値と重複レベルとの関係例を規定するテーブルの他の例を示す図。
【図９】音質評価値と重複レベルとの関係を規定するテーブルの更に他の例を示す図。
【図１０】図１における音質判定部４０の他の構成例を示す図。
【図１１】図１０の音質判定部を使用する場合の音質評価値と重複レベルの関係を規定するテーブルの例を示す図。
【図１２】図１における音質判定部４０とパケット生成部１０５の処理手順を示すフロー図。
【図１３】図１の送信装置に対応する受信装置の機能構成例を示すブロック図。
【図１４】図１４Ａは図１３における受信パケットの処理手順を示すフロー図であり、図１４Ｂは図１３における再生音声の生成手順を示すフロー図。
【図１５】この発明における音声パケット送信装置の第２検討例の機能構成例を示すブロック図。
【図１６】図１５中の音質判定部４０の具体的機能構成例を示すブロック図。
【図１７】評価値と重複レベルとの関係を規定するテーブルの更に他の例を示す図。
【図１８】図１５の送信装置における音質判定部４０とパケット作成部１５の処理手順を示すフロー図。
【図１９】図１５に示した音声パケット送信装置に対応する音声パケット受信装置の機能構成例を示すブロック図。
【図２０】この発明における音声パケット送信装置の第３検討例の機能構成例を示すブロック図。
【図２１】図２０中の補間音声作成部２０の具体的機能構成例を示すブロック図。
【図２２】図２０に示した送信装置に対応する受信装置の機能構成例を示すブロック図。
【図２３】この発明の音声パケット送信装置の実施形態の機能構成を示すブロック図。
【図２４】図２３における補助情報作成部３０の具体的構成例を示すブロック図。
【図２５】図２３における補間音声作成部２０の具体的構成例を示すブロック図。
【図２６】図２３における音質判定部４０の具体的構成例を示すブロック図。
【図２７】評価値と重複レベル及び音質劣化レベルとの関係を規定するテーブルの例を示す図。
【図２８】評価値と音質劣化レベルの関係を規定するテーブルの例を示す図。
【図２９】図２３の送信装置の第１動作例における音質判定部４０とパケット作成部１５の処理手順を示すフロー図。
【図３０】図２３の送信装置の第２動作例における音質判定部４０とパケット作成部１５の処理手順を示すフロー図。
【図３１】図２３の送信装置の第３動作例における音質判定部４０とパケット作成部１５の処理手順の前半部を示すフロー図。
【図３２】図３１の後半部のフロー図。
【図３３】図２３の送信装置の第４動作例における音質判定部４０とパケット作成部１５の処理手順の後半部のフロー図。
【図３４】図２３の送信装置に対応する受信装置の例を示すブロック図。
【図３５】図３４における補間音声作成部７０の具体的構成例を示すブロック図。
【図３６】図３６Ａは図３４における受信パケットの処理手順を示すフロー図であり、図３６Ｂは図３４における再生音声の生成処理手順を示すフロー図。
【発明を実施するための形態】
【０００９】
[第１検討例］
図１に、この発明における音声パケット送信装置の第１検討例の機能構成例を示す。この例では、パケットはＵＤＰ／ＩＰプロトコルにより送受信される。ＵＤＰ／ＩＰプロトコルによれば、各パケットは図１Ｂに示すように、送信先アドレスDEST ADD、送信元アドレスORG ADD、ＲＴＰフォーマットによるデータを含んでいる。このＲＴＰフォーマットにおけるデータとして音声信号のフレーム番号FR#と音声データDATAを含ませる。音声データは、入力されたＰＣＭ音声信号を符号化した符号化音声信号であっても、入力されたＰＣＭ音声信号そのままであってもよいが、この例では、パケットに格納する音声データは符号化音声信号の場合である。以降の説明では１つのパケットに１フレームの音声データを格納して送信するものとして説明するが、１つのパケットに複数フレームの音声データを格納してもよい。
【００１０】
入力端子１００からのＰＣＭ音声入力信号は符号化部１１に入力されて符号化される。符号化部１１における符号化アルゴリズムは入力音声信号帯域に対応可能な符号化アルゴリズムであれば良く、ITU-T G.711などの音声帯域信号（〜４ｋＨｚ）用符号化アルゴリズムやITU-T G.722などの４ｋＨｚ帯域以上の広帯域信号用符号化アルゴリズムなども使用することが出来る。一般に符号化方法により異なるが、１フレームの音声信号の符号化により、その符号化方法で扱う複数種類のパラメータの符号が生成されるが、ここではそれらをまとめて単に符号化音声信号と呼ぶことにする。
【００１１】
符号化部１１から出力される符号化音声信号の符号列はパケット作成部１５に送られると同時に復号化部１２に送られ、復号化部１２で符号化部１１に対応した復号化アルゴリズムによりＰＣＭ音声信号に復号化される。復号化部１２において復号化された音声信号は補間音声作成部２０に送られ、補間音声作成部２０において、相手の受信装置においてパケットロスが発生した場合に行われる補間処理と同様な処理により補間音声信号が作成される。補間音声信号としては、現フレームより過去のフレームの波形から外挿法で作成してもよいし、現フレームの前後のフレームの波形から内挿法で作成してもよい。
【００１２】
図２に補間音声作成部２０の具体的機能構成例を示す。ここでは外挿法により補間音声信号を作成する。復号音声信号は入力端子２０１よりメモリ２０２の領域Ａ０に格納される。メモリ２０２の各領域Ａ０，…，Ａ５は符号化処理の分析フレーム長のＰＣＭ音声信号が格納できるサイズを有し、例えば８ｋＨｚサンプリングの音声信号を１０ｍｓごとの分析フレーム長で符号化を行う場合には、８０サンプルの復号音声信号が１つの領域に格納されることになる。新たな分析フレームの復号音声信号がメモリ２０２に入力されるごとに、既に領域Ａ０〜Ａ４に格納されている過去のフレームの復号音声信号は領域Ａ１〜Ａ５へシフトされ、現フレームの復号音声信号が領域Ａ０に書き込まれる。
【００１３】
メモリ２０２内に格納されている音声信号を用いて、現フレームに対する補間音声信号が紛失信号生成部２０３で作成される。紛失信号生成部２０３には、メモリ２０２内の０番領域Ａ０を除いた領域Ａ１〜Ａ５内の音声信号が入力される。ここではメモリ２０２において領域Ａ１〜Ａ５の連続５フレームの音声信号を紛失信号生成部２０３に送る場合について説明しているが、メモリ２０２には１フレーム（１パケット）分の補間音声信号を生成するアルゴリズムに必要な過去のＰＣＭ音声信号分だけは蓄積できるメモリを用意する必要がある。紛失信号生成部２０３ではこの例では入力された音声信号（現フレームの信号）を除く過去の復号音声信号（この実施例では５フレーム分）から現フレームに対する音声信号を補間法により作成して出力する。
【００１４】
紛失信号合成部２０３はピッチ検出部２０３Ａと、波形切り出し部２０３Ｂと、フレーム波形合成部２０３Ｃとから構成されている。ピッチ検出部２０３Ａはメモリ領域Ａ１〜Ａ５内の一連の音声波形の自己相関値をサンプル点を順次ずらして計算し、自己相関値のピークの間隔をピッチ長として検出する。図２のように過去の複数のフレームに対するメモリ領域Ａ１〜Ａ５を設けておくことにより、音声信号のピッチ長が１フレーム長より長い場合でも、ここでは５フレーム長以内であればピッチを検出することができる。
図３Ａではメモリ領域Ａ０〜Ａ５に書き込まれた音声波形データの現フレームｍから過去のフレームｍ−３の途中までの波形例を模式的に示している。波形切り出し部２０３Ｂは検出されたピッチ長の波形３Ａを現フレームより過去のフレームからコピーし、図３Ａに示すように１フレーム長となるまで過去側から未来方向に向かって波形３Ｂ、３Ｃ，３Ｄのように繰り返し貼り付けて現フレームに対する補間音声信号を合成する。ただし、一般にフレーム長はピッチ長の整数倍とは限らないので、貼り付ける最後の波形はそのフレームの残りの区間に合わせて切り取る。また、検出されたピッチ長が１フレーム長より長い場合は、例えば図３Ｂに示すように、現フレームの直前の１ピッチ長の波形の過去側開始点から１フレーム長の波形３Ａをコピーした波形３Ｂを現フレームの補間音声信号として使用する。
【００１５】
図４は補間音声信号の合成方法の他の例を示す。この例では検出したピッチ長よりΔＬ長い波形４Ａを繰り返しコピーして波形４Ｂ，４Ｃ，４Ｄを得る。これら互いに隣接する波形の前後端でΔＬだけ互いに重なるように波形を配置し、互いに重なる前後端のΔＬの区間にそれぞれ図５Ａ，５Ｂの重み関数W1, W2を乗算して互いに加算することにより切り出し波形を連続的に接続して１フレーム長の波形４Ｅを得ることができる。例えば、時点t1とt2の重なり区間では、波形４Ｂの後端ΔＬに対し時点t1からt2にかけて図５Ａに示す１から０に直線的に減少する重み関数W1を乗算し、同じ区間の波形４Ｃの前端ΔＬに図５Ｂに示す０から１に直線的に増加する重み関数W2を乗算し、これら乗算結果を区間t1〜t2に渡って互いにサンプル値を加算する。他の重なり区間も同様である。
【００１６】
このようにして、紛失信号生成部２０３は直前の少なくとも１つのフレームの音声信号に基づいて１フレーム分の補間音声信号を生成し、音質判定部４０に与える。紛失信号生成部２０３での補間音声信号生成アルゴリズムは例えば非特許文献４に示すもの、その他のものでもよい。
図１の説明に戻る。入力端子１００より音声信号（原音声信号）、復号化部１２の出力信号および補間音声作成部２０の出力信号は音質判定部４０に送られ、パケットの重複レベルＬｄを決定する。
【００１７】
図６に音質判定部４０の具体例を示す。まず補間音声信号の音質を表わす評価値が評価値計算部４１で計算される。ここでは入力端子１００に与えられた入力音声信号（原音声信号）と、復号化部１２の出力信号（復号音声信号）とから第１計算部４１２において現フレームの原音声信号に対する現フレームの復号音声信号の客観評価値Fw1を計算する。同様に現フレームの入力音声信号（原音声信号）と、過去のフレームの復号音声信号から作成した現フレームに対する補間音声作成部２０の出力信号（補間音声信号）とから第２計算部４１３において原音声信号に対する補間音声信号の客観評価値Fw2を計算する。具体的には、第１計算部４１２と第２計算部４１３で計算する客観評価値Fw1、Fw2としては例えばＳＮＲ（信号対雑音比）を使用する。ここでは、第１計算部４１２では１フレームの原音声信号のパワーPorgを信号Ｓとし、１フレームの原音声信号と復号音声信号の差のパワー（両信号の対応するサンプルの値の差の２乗の１フレームにわたる総和）Pdif1を雑音Ｎとして次式
Fw1=10log(S/N)=10log(Porg/Pdif1) (1)
の計算を行う。各フレームのサンプル数をＮとし、原音声信号及び復号音声信号のフレーム内のｎ番目のサンプル値をそれぞれxn、ynとすれば、Porg=Σxn 2、Pdif1=Σ(xn-yn)2である。ただしΣはフレーム内のサンプル番号０からN-1についての総和をあらわす。同様に、第２計算部４１３では、客観評価値Fw2として、１フレームの原音声信号のパワーPorgを信号Ｓとし、１フレームの原音声信号と補間音声信号の差のパワーPdif2を雑音Ｎとして、
Fw2=10log(S/N)=10log(Porg/Pdif2) (2)
の計算を行う。ただし、補間音声信号のフレーム内のｎ番目のサンプル値をznとすれば、Pdif2=Σ(xn-zn)2である。
【００１８】
信号対雑音比ＳＮＲの代わりにＷＳＮＲ（重み付信号対雑音比；例えば非特許文献５：J.Nurminen,A.Heikkinen & J.Saarinen,“Objective evaluation of methods for quantization of variable-dimension spectral vectors in WI speech coding，”in Proc. Eurospeech 2001, Aalborg, Denmark, Sep. 2001,pp.1969-1972.参照）、やＳＮＲｓｅｇ（セグメンタルＳＮＲ：各フレームを複数の単位区間に分割し、それらの単位区間のＳＮＲの平均値）、ＷＳＮＲｓｅｇ，ＣＤ（ケプストラム距離、ここでは第１計算部４１２で求める原音声信号Orgと復号音声信号Decとのケプストラム距離、以下CD(Org, Dec)と表し、歪に対応する）やＰＥＳＱ（ＩＴＵ−Ｔ規格Ｐ.８６２に規定された総合評価尺度）などの評価値を使用することが出来る。また、客観評価値は１種類のみに限らず、２種類以上の客観評価値を併用しても良い。
【００１９】
第１計算部４１２および第２計算部４１３でそれぞれ計算された１種類以上の客観評価値を使って、第３計算部４１１で更に補間音声信号の音質を表わす評価値が計算されて重複送信判定部４２に送られる。重複送信判定部４２はこれら評価値に基づき、補間音声信号の音質が悪い程、段階的に大きな整数値となる重複レベルＬｄが決定される。つまり評価値により求めた音質を表わす値に応じて、離散的値をとる重複レべルＬｄの１つに決定される。パケットの重複レベルＬｄの決定方法としては、例えばＷＳＮＲを客観評価値として使用する場合、式(1) における差のパワーPdif1としてPdif1=Σ(xn-yn)2を使う代わりに聴覚重み付けした差信号の２乗和WPdif1=Σ[WF(xn-yn)]2を使用する。WF(xn-yn)は差信号(xn-yn)に対する聴覚重み付けフィルタ処理を表している。聴覚重み付けフィルタの係数は原音声信号の線形予測係数から決めることができる。式(2) についても同様である。
【００２０】
第１計算部４１２で得られたＷＳＮＲ出力をFw1、第２計算部４１３で得られたＷＳＮＲ出力をFw2として第３計算部４１１でFd=Fw1−Fw2が計算され、これが評価値として重複送信判定部４２に入力され、例えば図７のテーブルを参照してFdの値から重複レベルＬｄを決定すると効果的である。つまり復号音声信号の原音声信号に対する評価値Fw1から補間音声信号の原音声信号に対する評価値Fw2を差し引いた値Fdが大きいほど、重複レベルＬｄを大きくする。Fd=Fw1−Fw2が大きい程、補間音声信号の復号音声信号に対する音質が悪いから、そのような音声信号のフレームはなるべく高い確率で受信側に到着するように、同一フレームを重複して送るパケットの数を多くする。逆に、Fd=Fw1−Fw2が小さい場合は、パケットロスが生じてそのフレームの音声信号を補間音声信号で代用しても受信側の再生音声信号の品質はそれ程劣化しない。よってFd=Fw1−Fw2が小さい場合は同一フレームに対するパケットの重複送信回数Ldを小さくする。Ld=1の場合は同一フレームについてのパケットは一回のみ送信する（即ち重複送信しない）。図７のテーブルは予め実験に基づいて作成し、重複送信判定部４２内のテーブル格納部４２Ｔに設けられている。
【００２１】
種別が異なる複数の客観評価値を使用してもよい。例えばＷＳＮＲとＣＤの値を客観評価値として使用する場合、前記第１計算部４１２でCD(Org, Dec)も計算し、この計算したＣＤをFd1として、Fd=Fw1−Fw2と共に重複送信判定部４２へ入力し、図８のテーブルを参照してFdの値から重複レベルＬｄを決定すると効果的である。原音声信号に対する復号音声信号の歪Fd1=CD(Org, Dec)が小さければ、先の場合と同様にFd=Fw1−Fw2が大きい程、重複レベルＬｄの値を大きくするが、Fd1が大きければ、パケットロスが生じなくても良い音質が得られないフレームであることを意味している。従って、重複レベル値Ｌｄの値を大きくしてもその利益が得られないからＬｄを小さくし、かつFd=Fw1−Fw2の値によるＬｄの差も２段階にしか分けていない。なお、評価値計算部４１で復号音声信号Decに対する補間音声信号Comのケプストラム距離CD(Dec, Com)を計算して、この値Fd2も重複レベルＬｄの決定に用いても良い。そのテーブルの例を図９に示す。この例は図８のテーブルにおけるFd=Fw1-Fw2が２ｄＢ未満の領域と２ｄＢ以上１０ｄＢ未満の領域を１０ｄＢ未満の領域１つに置き換え、この領域においてFd2が１未満の領域と１以上の領域の２つに分けたものである。
【００２２】
図１中のパケット作成部１５では、符号化部１１からの符号化音声信号を、音質判定部４０から受け取ったパケット重複レベルＬｄの数だけ複製し、Ｌｄ個のパケットを作成して送信部１６に送り、ネットワークにパケットを送信する。Ｌｄ＝１の時は、パケットを重複させることなく、１個だけ送信する。
前述の図６の例においては評価値計算部４１は客観評価値として原音声信号のパワーPorgと、原音声信号と復号音声信号の差のパワーPdif1とから式(1)により求めた評価値Fw1と、原音声信号のパワーPorgと、原音声信号と補間音声信号の差のパワーPdif2とから式(2)により求めた評価値Fw2との２つの評価値を使用して重複レベルＬｄを決める例を示したが、図１０に音質判定部４０の他の例を示すように、復号音声信号と補間音声信号だけから客観評価値を求めてもよい。即ち、評価値計算部４１では、復号音声信号のパワーPdecと、復号音声信号と補間音声信号の差のパワーPdif'とから評価値Fw’を次式
Fw’＝10log(Pdec/Pdif') (3)
により求める。この場合、差のパワーPdif'が大きくなれば評価値Fw’が小さくなり、それだけ補間音声信号の音質が悪くなることを意味している。重複送信判定部４２内のテーブルには例えば図１１に示すように、評価値Fw’が２ｄＢ未満ではＬｄ＝１、２ｄＢ≦Fw’＜１０ｄＢではＬｄ＝２，Fw’≧１０ｄＢではＬｄ＝３のように評価値Fw’に対し重複レベルＬｄを規定してある。このテーブルは予め実験に基づいて決めてある。
【００２３】
図１２は図６の音質判定部４０が図７のテーブルを使って重複レベルＬｄを求める場合の図１の送信装置における音質判定部４０とパケット作成部１５による処理手順を示す。ただし客観評価値として重み付信号対雑音比ＷＳＮＲを使用するものとする。以下の処理において、ステップＳ１〜Ｓ３は図６の評価値計算部４１により実行され、ステップＳ４〜Ｓ１０は重複送信判定部４２により実行され、ステップＳ１１は図１のパケット作成部１５により実行される。
ステップＳ１：評価値計算部４１において、原音声信号OrgのパワーPorgと、原音信号Orgと復号音声信号Decの聴覚重み付け差信号のパワーWPdif1からWSNR=10log(Porg/WPdif1)を評価値Fw1として求める。以後この計算をFw1=WSNR(Org, Dec)と表すことにする。
【００２４】
ステップＳ２：評価値計算部４１において原音声信号のパワーPorgと、原音声信号と補間音声信号Comの聴覚重み付け差信号のパワーWPdif2からWSNR=10log(Porg/WPdif2)を評価値Pw2として求める。以後この計算をFw2=WSNR(Org, Ext)と表すことにする。
ステップＳ３：差分Fd=Fw1-Fw2を求める。
ステップＳ４：重複送信判定部４２においてＦｄ＜２ｄＢか判定し、２ｄＢより小であればステップＳ５でＬｄ＝１と決め、そうでなければステップＳ６に移る。
ステップＳ６：２ｄＢ≦Ｆｄ＜１０ｄＢであるか判定し、そうであればステップＳ７で図７のテーブルからＬｄ＝２と決め、そうでなければステップＳ８に移る。
【００２５】
ステップＳ８：１０ｄＢ≦Ｆｄ＜１５ｄＢか判定し、そうであればステップＳ９で図７のテーブルからＬｄ＝３と決め、そうでなければステップＳ１０でＬｄ＝４と決める。
ステップＳ１１：パケット作成部１５はＬｄ個のパケットにそれぞれ同じ現フレームの音声データを格納し、順次送信する。
図１に示した音声パケット送信装置と対応する音声パケット受信装置の機能構成を図１３に示す。受信装置は受信部５０と、符号列構成部６１と、復号化部６２と、補間音声作成部７０と、出力信号選択部６３とから構成されている。受信部５０はパケット受信部５１と、バッファ５２と、制御部５３とから構成されている。制御部５３はパケット受信部５１で受信されたパケットが格納する音声データのフレーム番号と同じフレーム番号の音声データを格納したパケットが既にバッファ５２に蓄積されているかチェックし、もし既に蓄積されていれば、受信パケットを破棄し、蓄積されてなければその受信パケットをバッファ５２に蓄積する。
【００２６】
制御部５３はバッファ５２からフレーム番号順に、各フレーム番号の音声データを格納するパケットを探索し、パケットがあればそのパケットを取り出して符号列構成部６１に与える。符号列構成部６１は与えられたパケット中の１フレーム分の符号化音声信号を取り出し、符号化音声信号を構成する各種パラメータ符号を所定の順に並べて復号化部６２に与える。復号化部６２は与えられた符号化音声信号を復号して１フレーム分の音声信号を生成し、出力選択部６３と補間音声作成部７０に与える。バッファ５２に現フレームの符号化音声信号を格納するパケットがなかった場合、制御部５３はパケットロスを表す制御信号CLSTを発生し、補間音声作成部７０と、出力信号選択部６３とに与える。
【００２７】
補間音声作成部７０は送信装置における補間音声作成部２０とほぼ同様の構成であり、メモリ７０２と、紛失信号生成部７０３とから構成されており、紛失信号生成部７０３の構成も図２に示した送信側における紛失信号生成部２０３と同様に構成されている。復号化部６２から復号音声信号が与えられると補間音声作成部７０は、制御信号CLSTが与えられていなければ、まずメモリ７０２の領域Ａ０〜Ａ４の音声信号を領域Ａ１〜Ａ５にシフトし、与えられた復号音声信号を領域Ａ０に書き込む。さらに、出力信号選択部６３により選択された復号音声信号が再生音声信号として出力される。
【００２８】
制御部５３によりパケット紛失が検出され、制御信号CLSTが発生された場合は、バッファ５２から現フレームのパケットが得られないので、補間音声作成部７０はメモリ７０２の領域Ａ０〜Ａ４の音声信号を領域Ａ１〜Ａ５にシフトし、これらシフトされた音声信号に基づいて紛失信号生成部７０３により補間音声信号を生成し、メモリ７０２の領域Ａ０に書き込むとともに、出力信号選択部６３を介して再生音声信号として出力する。
図１４Ａ、１４Ｂは図１３の受信装置によるパケット受信処理と、音声信号再生処理の手順を示す。パケット受信処理は、図１４Ａにおいて、ステップＳ１Ａでパケットが受信されたか判定し、受信されるとステップＳ２Ａでそのパケットが格納する音声データのフレーム番号と同じフレーム番号の音声データを格納したパケットが既にバッファ５２に蓄積されているか判定する。同じフレーム番号の音声データを格納したパケットが見つかればステップＳ３Ａで受信パケットを破棄し、ステップＳ１Ａで次のパケットを待つ。バッファ５２に同一フレーム番号の音声データを格納したパケットがなければ、ステップＳ４Ａで受信パケットをバッファ５２に蓄積し、ステップＳ１Ａに戻り次のパケットを待つ。
【００２９】
音声信号再生処理は、図１４Ｂにおいて、ステップＳ１Ｂでバッファ５２に現フレームの音声データが格納されたパケットが蓄積されているか判定し、あればステップＳ２Ｂでそのパケットを取り出して符号列構成部６１に与える。符号列構成部６１は与えられたパケットからから現フレームの音声データである符号化音声信号を取り出し、その符号化音声信号を構成するパラメータ符号を所定の順に配列して復号化部６２に与える。ステップＳ３Ｂで復号化部６２は符号化音声信号を復号して音声信号を生成し、ステップＳ４Ｂで音声信号をメモリ７０２に格納し、ステップＳ６Ｂで音声信号を出力する。ステップＳ１Ｂでバッファ５２に現フレームの音声データを格納したパケットがなかった場合は、ステップＳ５Ｂで前フレームの音声信号から補間音声信号を生成し、ステップＳ４Ｂでその生成した補間音声信号をメモリ７０２に格納し、ステップＳ４Ｂでその生成した補間音声信号を出力する。
[第２検討例]
図１５に、この発明における音声パケット送信装置の第２検討例の機能構成を示す。ここでは第１検討例に示した符号化部１１、および復号化部１２を設けず、入力ＰＣＭ音声信号を直接パケット化し、送信する。入力端子１００よりのＰＣＭ入力音声信号から補間音声作成部２０にて補間音声信号を作成する。補間音声作成部２０の処理は図２に示した処理と同じである。ここで作成した補間音声信号は、音質判定部４０に送られる。音質判定部４０ではパケットの重複レベルＬｄを決定し、パケット作成部１５へ出力する。
【００３０】
図１６に音質判定部４０の具体例を示す。ここでは入力端子１００から送られた現フレームの入力ＰＣＭ原音声信号に対する、補間音声作成部２０の出力補間音声信号の客観評価値を評価値計算部４１で計算する。ここでは客観評価値としてＳＮＲやＷＳＮＲ、またはＳＮＲｓｅｇ，ＷＳＮＲｓｅｇ、ＣＤやＰＥＳＱなどの評価値を使用することが出来る。また客観評価値は１種類のみに限らず、２種類以上の客観評価値を併用しても良い。評価値計算部４１で計算された客観評価値は重複送信判定部４２に送られ、パケットの重複レベルＬｄを決定する。パケットの重複レベルLdの決定方法としては、例えばＷＳＮＲを客観評価値として使用する場合、評価値計算部４１のＷＳＮＲ出力をＦｗとし、図１７に示すようにＬｄを決定すると効果的である。この場合は評価値Ｆｗが大きい程、重複レベルＬｄを小さくする。この例では重複送信判定部４２内に図１７に示すテーブルを設けることになる。この場合は評価値計算部４１における計算は原音声信号のパワーを信号Ｓとし、原音声信号と補間音声信号との重み付き差信号のパワーを雑音ＮとしてＷＳＮＲを計算しているから、ＷＳＮＲが大きければパケットロスに対して補間音声信号を用いても音質劣化が少ないため、ＷＳＮＲが大きい程、重複レベル値Ｌｄを小さくしている。
【００３１】
パケット作成部１５では、処理フレームサイズ分の入力ＰＣＭ音声信号を、音質判定部４０から受け取ったパケット重複レベルＬｄの数だけ複製し、Ｌｄ個のパケットを作成して送信部１６に送り、ネットワークにパケットを送信する。
図１８は図１５の送信装置において、図１７のテーブルを使って図１６の音質判定部４０により重複レベルＬｄを求める処理と、パケット作成部１５によるパケット作成処理の手順を示す。この例も評価値Fwとして重み付信号対雑音比ＷＳＮＲを使用するものとする。ステップＳ１で原音声信号OrgのパワーPorgと、原音声信号Orgと補間音声信号Comの聴覚重み付き差信号のパワーWPdifから評価値Fwを
WSNR＝10log(Porg/WPdif)
として求める。以降この計算をFw=WSNR(Org, Com)と表すことにする。ステップＳ２で評価値Fwが２ｄＢ未満か判定し、そうであればステップＳ３で図１７のテーブルを参照してFwの値から重複レベルＬｄ＝３と決定する。Fwが２ｄＢ未満でなければステップＳ４でFwが２ｄＢ以上、１０ｄＢ未満であるが判定し、そうであればステップＳ５で図１７のテーブルを参照してＬｄ＝２と決定し、そうでなければステップＳ６でＬｄ＝１と決定する。ステップＳ７でパケット作成部１５は決定された重複レベルＬｄに従って、Ｌｄ個の各パケットにそれぞれ現フレームの音声信号を格納して送信部１６に与え、順次送信する。
【００３２】
図１５に示した送信装置と対応するパケット受信装置を図１９に示す。受信部５０と補間音声作成部７０は図１３の受信部５０及び補間音声作成部７０と同様の構成である。ここでは受信部５０で受信したパケットデータからＰＣＭ音声信号構成部６４でＰＣＭ出力音声信号列を取り出す。送信側からパケットが重複して送られ、複数パケットを受信部５０で受信した場合には、２番目以降に到着した重複パケットは破棄される。パケットを正常に受信した場合、ＰＣＭ音声信号構成部６４でパケットからＰＣＭ音声信号が取り出され、出力信号選択部６３に送られると同時に次フレーム以降の補間音声信号のために補間音声作成部７０内のメモリ（図１３参照）に格納される。受信部５０より制御信号CLSTでパケットロス発生が通知されると、補間音声作成部７０は図２を参照して説明した動作と同様に補間音声信号を作成し、出力信号選択部６３に送る。出力信号選択部６３では、受信部５０よりパケットロス発生が通知されると、補間音声作成部７０の出力補間音声信号を出力音声信号として選択し、パケットロスが発生していない場合にはＰＣＭ音声信号構成部６４の出力を出力音声信号として選択し、出力する。
[第３検討例]
前述の各検討例では、補間音声信号を過去のフレームから外挿法により作成する場合を示したが、この第３検討例では現フレームに対し前後のフレームの波形から内挿法で補間音声信号を作成する。図２０に、この発明における音声パケット送信装置の第３検討例の機能構成を示す。この例における符号化部１１、復号化部１２、音質判定部４０、パケット作成部１５、送信部１６の構成及び動作は図１の検討例のそれぞれ対応するものと同じである。この例は現フレームの音声信号に対する補間音声信号を、それより過去のフレームの音声信号と、現フレームの次のフレームの音声信号から内挿法により作成するように構成されている。
【００３３】
符号化部１１で符号化された符号化音声は１フレーム期間の遅延を与えるデータ遅延部１９に送られると同時に復号化部１２に送られる。復号化部１２において復号化された音声信号は１フレーム期間の遅延を与えるデータ遅延部１８を介して音質判定部４０に与えると共に、補間音声作成部２０に送られ、現フレームより１フレーム過去のフレームにパケットロスが発生したと仮定した場合の補間音声が作成される。音質判定部４０にはデータ遅延部１７により１フレーム期間遅延された原音声信号が与えられると共に、補間音声作成部２０からの補間音声信号と、データ遅延部１８からの復号音声信号が与えられ、図１の検討例と同様に重複レベルＬｄが決定される。
【００３４】
内挿法を用いたこの補間音声作成部２０の具体例を図２１に示す。復号音声信号はメモリ２０２の領域Ａ−１にコピーされる。メモリ２０２の領域Ａ０を除いた領域Ａ−１および領域Ａ１〜Ａ５にそれぞれ格納されている各１フレームの復号音声信号が紛失信号生成部２０３に入力される。この場合はパケットロスとなったフレームの音声信号に対する補間音声信号をそのフレームに対し、未来の先読み復号音声信号と過去の復号音声信号を用いて生成する。紛失信号生成部２０３では送信しようとする現フレームの音声信号に対し、過去の復号音声信号（この実施例中では５フレーム分）と前記現フレームに対して先読みした未来の復号音声信号（この実施例では１フレーム分）から前記現フレームの音声信号の補間音声信号を作成して出力する。
【００３５】
具体的には、例えば領域Ａ１〜Ａ５の音声信号をつかって図３Ａの場合と同様にピッチ長を検出し、そのピッチ長の波形を領域Ａ１の終了点（現フレームとの隣接点）から過去の方向に切り出して、繰り返し繋げて過去からの外挿波形を作成し、同様に領域Ａ０の開始点からピッチ長の波形を未来方向に切り出して、繰り返しつなげて未来からの外挿波形を作成し、これら２つの外挿波形の対応するサンプルをそれぞれ加算して２分の１とすることにより内挿音声信号を補間音声信号として得る。この例では未来フレームとして１フレーム長のメモリ領域Ａ−１を設けているので、ピッチ長が１フレーム以内の場合にしか適用できないが、未来フレーム用として複数フレームに渡るよう複数領域を設けることにより１フレーム長より長いピッチ長に対応できることは明らかである。その場合、その未来フレームの数に合わせてデータ遅延部１７，１８，１９の遅延量を増加する必要がある。次のフレームの復号音声信号がメモリ２０２に入力されると、各領域Ａ−１，…，Ａ４に格納されている復号音声信号を領域番号が１大きい領域Ａ０，…，Ａ５にシフトする。
【００３６】
図２０において入力端子１００よりの入力音声信号はデータ遅延部１７に送られ、１フレーム期間だけ遅延されて、音質判定部４０に送られる。また、復号化部１２からの復号音声信号もデータ遅延部１８により、１フレーム期間だけ遅延されて音質判定部４０に送られる。データ遅延部１７からの原音声信号、データ遅延部１８からの復号音声信号および補間音声作成部２０からの補間音声信号は音質判定部４０に送られ、パケットの重複レベルＬｄを決定する。音質判定部４０の動作は図６を参照して説明した動作と同様である。データ遅延部１９では、符号化部１１から送られた符号化音声信号を１フレーム期間遅らせてパケット作成部１５に送る。
【００３７】
図２０に示した音声パケット送信装置と対応する音声パケット受信装置の機能構成例を図２２に示す。受信部５０、符号列構成部６１、復号化部６２、出力信号選択部６３等の構成及び動作は図１３の対応するものと同様である。図１３と異なる点は、復号化部６２の出力側に復号音声信号に対し１フレーム期間の遅延を与えるデータ遅延部６７が設けられ、かつ、受信部５０内の制御部（図１３参照）がパケットロスを検出した場合に出力する制御信号CLSTを１フレーム期間だけ遅延して補間音声作成部７０及び出力信号選択部６３に与えるデータ遅延部６８が設けられていること、補間音声作成部７０が図２１と同様の過去の復号音声信号と、現フレームに対して先読みした未来の復号音声信号とから内挿音声信号を補間音声信号として作成することである。
【００３８】
復号化部６２にて復号された復号音声信号はデータ遅延部６７に送られると同時に次フレーム以降の補間音声作成のために図２１に示したと同様な補間音声作成部７０内のメモリ（図示せず）に格納される。データ遅延部６７は復号音声信号を１フレーム遅延して出力信号選択部６３に送る。受信部５０よりパケットロスの発生が検出され、制御信号CLSTが出力されると、制御信号CLSTは遅延部６８を通して１フレーム期間だけ遅延されて補間音声作成部７０及び出力信号選択部６３に与えられる。補間音声作成部７０は、図２１を参照して説明した動作と同様に補間音声信号を作成して出力する。出力信号選択部６３では、受信部５０よりパケットロス発生が通知されると、補間音声作成部７０の出力を出力音声信号として選択し、パケットロスが発生していない場合にはデータ遅延部６７の出力を出力音声信号として選択し、復号音声信号を出力する。
［実施形態］
前述の各検討例では、送信側において現フレームの音声信号に対し、それに隣接する少なくとも１つのフレームから作成した補間音声信号の音質が規定より低い場合は、受信側においてそのフレームに対応するパケットの損失が生じた場合に隣接フレームから補間音声信号を作成しても、その音質が悪い。そこで、できるだけパケットロスが生じないよう、同じそのフレームの音声信号を格納するパケットを、予測される補間音声信号の客観評価値に応じて決めた重複レベルＬｄ回数だけ繰り返し送信する。その場合、補間音声信号の作成は、隣接する少なくとも１つのフレームの音声波形からピッチ長の波形をコピーして、１フレーム長となるまで繰り返し貼り付ける例を説明した。
【００３９】
以下の実施形態では、補間音声信号の作成に現フレームのピッチ（及びパワー）を使ったほうが音質の優れた補間音声信号を合成可能であると判定された場合に、現フレームの符号化音声信号をパケットで送信すると共に、重複して送信していた符号化音声信号の代わりに補助情報として同じ現フレームのピッチパラメータ（及びパワーパラメータ）を同じフレームについての別のパケットで送信し、受信側でそのフレームの符号化音声信号のパケットが受信できず、補助情報のパケットが受信された場合は、その補助情報を使用することにより送信するデータ量を減らすことができ、かつ、より品質の高い補間音声信号を作成することを可能にする。
【００４０】
図２３はそのような補助情報を使用可能にする送信装置の構成例を示す。この構成は、図１の送信装置に更に現フレームの音声信号のピッチパラメータ（及びパワーパラメータ）を求める補助情報作成部３０を設ける。また、補間音声作成部２０は、
(1) 図１と同様に少なくとも１つの隣接フレームから、そのピッチを検出してピッチ長の波形を切り出し、その波形に基づいて第１補間音声信号を作成する第１機能と、
(2) 前記第１機能において隣接フレームの波形から検出したピッチを使用する代わりに、補助情報作成部３０により検出した現フレームの音声信号のピッチパラメータを使用して隣接フレームの波形からピッチ長の波形を切り出して第２補間音声波形を作成する第２機能と、
(3) 更に前記第２機能において補助情報作成部３０で求めた現フレームの音声信号のパワーパラメータに基づいて前記合成した第２補間音声信号のパワーを調整し、現フレームの音声信号パワーと一致した第３補間音声波形を作成する第３機能、
を有している。
【００４１】
音質判定部４０ではこれらの第１、第２及び第３補間音声波形による評価値Fd1, Fd2, Fd3をそれぞれ求め、評価値Fd1に対応する重複レベルLdと音質劣化レベルQL_1、評価値Fd2に対応する音質劣化レベルQL_2、及び評価値Fd3に対応する音質劣化レベルQL_3を予め決めたテーブルを参照して決める。
パケット作成部１５は、重複レベルLdの値及び音質劣化レベルQL_1、QL_2、QL_3間の比較結果に基づいて、Ld個のパケットに現フレームの音声データを格納して送出するか、１つのパケットに現フレームの音声データを格納し、残りのLd-1個のパケットに同じ補助情報（ピッチパラメータ、又はピッチパラメータとパワーパラメータ）をそれぞれ格納して送信するかを判定し、判定結果に従ってパケットを作成し送信する。これらの処理については後でフローチャートを参照して説明する。
【００４２】
図２４は補助情報作成部３０の構成例を示す。現フレームの音声信号はパワー計算部３０１に与えられてそのフレームの音声信号のパワーＰ＝Σxn 2が計算され、そのパワー値をパワーパラメータとして得る。一方、音声信号は線形予測部３０３に与えられてそのフレームの音声信号の線形予測係数を求める。得られた線形予測係数は平坦化部３０２に与えられ、線形予測分析によるスペクトル包絡の逆特性を持つ逆フィルタを構成する。これにより音声信号は逆フィルタ処理され、そのスペクトル包絡が平坦化される。逆フィルタ処理された音声信号は自己相関係数計算部３０４に与えられ、その自己相関係数
【数１】
が計算される。ただし、入力音声信号が８ｋＨｚの場合、40≦k≦120として計算するとよい。ピッチパラメータ決定部３０５は自己相関係数R(k)がピークとなるｋをピッチとして検出し、ピッチパラメータを出力する。
【００４３】
図２５は補間音声作成部２０の機能構成を示す。図２の場合と同様に現フレームの復号音声信号はメモリ２０２の領域Ａ０に書き込まれると共に、それまで領域Ａ０〜Ａ４に保持されていた過去のフレームの音声信号は領域Ａ１〜Ａ５にシフトされる。紛失信号作成部２０３は第１、第２、及び第３補間信号作成部２１，２２，２３を有している。第１補間信号作成部２１は、前述の第１機能による第１補間音声信号を図２の場合と同様に、領域Ａ１〜Ａ５の波形から検出したピッチ長を使って切り出した波形の繰り返し連結合成により形成する。第２補間信号作成部２２は、前述の第２機能による第２補間音声信号を、補助情報作成部３０から与えられた補助情報である現フレームのピッチパラメータを使って領域Ａ１の音声波形からピッチ長の波形を切り出し、繰り返し連結して合成する。第３補間信号作成部２３は、前述の第３機能による第３補間音声信号を、前記第２補間信号作成部２２により作成された第２補間音声信号のパワーを補助情報作成部３０から補助情報として与えられた現フレームのパワーパラメータにより現フレームのパワーと等しくなるように調整することにより作成する。具体的には、例えばパワーパラメータをPpとし、パワー調整前の補間音声信号のパワーをPc＝Σyn 2とすると、K=(Pp/Pc)1/2を計算し、補間音声信号の各サンプルynにKを乗算することによりパワー調整された補間音声信号を得ることができる。
【００４４】
図２６は音質判定部４０の構成例を示す。音質判定部４０は図６の例と同様に評価値計算部４１と、重複送信判定部４２とから構成されている。評価値計算部４１は原音声信号Orgと復号音声信号DecからFw1=WSNR(Org, Dec)を計算する第１計算部４１２と、原音信号Orgと第１補間音声信号Com1からFw2_1=WSNR(Org, Com1)を計算する第2-1計算部４１３Ａと、原音信号Orgと第２補間音声信号Com2からFw2_2=WSNR(Org, Com2)を計算する第2-2計算部４１３Ｂと、原音信号Orgと第３補間音声信号Com3からFw2_3=WSNR(Org, Com3)を計算する第2-3計算部４１３Ｃと、第１評価値Fd1=Fw1-Fw2_1、第２評価値Fd2=Fw1-Fw2_2、第３評価値Fd3=Fw1-Fw2_3を計算する第３計算部４１１とを有している。これら評価値Fd1, Fd2, Fd3は重複送信判定部４２に与えられる。
【００４５】
重複送信判定部４２のテーブル格納部４２Ｔには、図２７に示す第１評価値Fd1に対する重複レベルLdと音質劣化レベルQL_1を規定するテーブルと、図２８に示す第２評価値Fd2に対する音質劣化レベルQL_2を規定するテーブルと、第３評価値Fd3に対する音質劣化レベルQL_3を規定する図２８と同様な図示してないテーブルとが格納されている。図２７,２８のテーブルにおいて、評価値の値が大きいほうが音質劣化レベルが段階的に大きくなるように決められている。なお、図２７のテーブルの例ではたまたま評価値Fd1に対する重複レベルLdと音質劣化レベルQL_1の値が同じになっているが、同じになる必要性はなく、これらの値は予め実験により決められる。
第１動作実施例
図２９は図２３の送信装置による第１の動作実施例を示す。ここでは図１で示した過去のフレームの波形とピッチ長を使用して補間音声信号Ext1を作成する場合と、現フレームのピッチと過去のフレームの波形を使って補間音声信号Ext2を作成する場合とを、音質劣化レベルによって選択する。ここで、補間音声作成部２０には現フレームの入力音声信号に対し、補助情報作成部３０で求めたピッチパラメータと、パワーパラメータと、現フレームの音声信号を符号化部１１で符号化し、その符号化音声を復号化部１２で復号化した復号音声信号とが与えられている。
ステップＳ１：補間音声作成部２０により原音声信号(Org)と復号音声信号(Dec)からFw1=WSNR(Org, Dec)を計算し、原音声信号(Org)と第１補間音声信号(Com1)からFw2=WSNR(Org, Com1)を計算し、原音声信号(Org)と第２補間音声信号(Com2)からFw3=WSNR(Org, Com2)を計算する。
ステップＳ２：差分評価値Fd1=Fw1-Fw2とFd2=Fw1-Fw3を計算する。
ステップＳ３〜Ｓ９Ｂにおいては、差分評価値Fd1が図２７のテーブルにおいてどの領域に属するか判定し、その領域に対応する重複レベルLdと音質劣化レベルQL_1の値をそれぞれ決定する。
ステップＳ１０〜Ｓ１６においては、差分評価値Fd2が図２８のテーブルにおいてどの領域に属するか判定し、その領域に対応する音質劣化レベルQL_2の値を決定する。
ステップＳ１７：音質劣化レベルQL_1がQL_2より小さいか、即ち、現フレームのピッチを用いて作成した補間音声信号Com2のほうが過去のフレームのピッチを用いて作成した補間音声信号Com1より音質劣化レベルが小さいか判定する。小さくない場合、即ち現フレームのピッチを使っても音質が改善されない場合、ステップＳ１８でLd個のパケットすべてに現フレームの符号化音声データを格納して順次送信する。
ステップＳ１９：音質劣化レベルQL_2がQL_1より小さければ、過去のフレームの音声信号だけで作成した補間音声信号Ext1より、現フレームの音声信号のピッチを使って過去のフレームの音声波形から切り出したピッチ長の波形により作成した補間音声信号Ext2のほうが音質が改善されるので、１個のパケットに現フレームの符号化音声データを格納し、Ld-1個のすべてのパケットにそれぞれ補助情報として現フレームのピッチパラメータを格納して送信する。
【００４６】
このようにすれば、受信側で現フレームの音声データを格納したパケットを受信できればその現フレームの音声信号を再生できるし、現フレームの音声データを格納したパケットが受信されなかった場合でも、現フレームの補助情報（ピッチパラメータ）を格納したパケットが受信できれば、その現フレームのピッチを使って過去のフレームの音声波形から補間音声信号を作成することにより音質劣化をある程度抑えることができる。
第２動作実施例
図３０に第２動作実施例を示す。この動作例において、ステップＳ１〜Ｓ１８は図２９のステップＳ１〜Ｓ１８とまったく同じであり、それ以降のステップが異なる。即ち、ステップＳ１９で劣化レベル差Ndup1=QL_1−QL_2を補助情報（ピッチパラメータ）の重複数と決め、ステップＳ２０でLd個のパケットのうち、Ndup1個のパケットに現フレームの補助情報（ここではピッチパラメータ）をそれぞれ格納し、残りのLd-Ndup1個のパケットにそれぞれ現フレームの符号化音声データを格納し、送信する。即ち、この動作例では、過去のフレームの音声データだけから補間音声信号を作成するよりも現フレームのピッチを使って作成したほうが音質劣化が少ない場合、その音質劣化の低減効果に応じて同一補助情報を送出するパケット重複数を変えることにより、同じ現フレームの符号化音声データを送出するパケットの重複数も相反的に変化できるようにしている。
第３動作実施例
図３１,３２に第３動作実施例を示す。この動作例では、第１及び第２動作例における第１及び第２補間音声信号Com1, Com2に加えて、更に現フレームのピッチパラメータとパワーパラメータを補助情報として使い、過去のフレームの波形から第３補間音声信号Com3を作成する。これに伴い、ステップＳ１では図３０におけるステップＳ１におけるＷＳＮＲの計算に更に第４評価値Fw4=WSNR(Org, Com3)の計算が追加され、ステップＳ２では図３０のステップＳ２におけるＷＳＮＲ差分計算として更にFd3=Fw1-Fw4の計算が追加される。また、図３０のステップＳ１０〜Ｓ１６によるFd2に対する音質劣化レベルQL_2の決定と同様なFd3に対する音質劣化レベルQL_3の決定ステップＳ１１０〜Ｓ１１６が追加されている。
【００４７】
ステップＳ１７ではQL_2とQL_3の小さいほうがQL_1より小さいか判定し、小さくなければステップＳ１８でLd個の全てのパケットに現フレームの符号化音声データをそれぞれ格納して送信する。QL_1より小さければ、ステップＳ１９でQL_3がQL_2より小さいか判定し、小さくなければステップＳ２０で図２９のステップＳ１９と同様に現フレームの符号化音声データを格納した１つのパケットと、現フレームのピッチパラメータを格納したLd-1個のパケットを作成し、送信する。QL_3がQL_2より小さければ、ステップＳ２１で現フレームの符号化音声データを格納した１個のパケットと、現フレームのピッチとパワーを格納したLd-1個のパケットを作成し、送信する。
第４動作実施例
第４動作実施例は第３動作実施例の変形であり、その前半のステップは第３動作実施例である図３１のステップＳ１〜Ｓ１６とまったく同じであり、図３１を兼用するものとする。ステップＳ１６より後の処理を図３３のステップＳ１１０〜Ｓ２３に示す。これらのうち、Fd3に対する音質劣化レベルQL_3を決めるステップＳ１１０〜Ｓ１１６も第３動作実施例の図３２に示すステップＳ１１０〜Ｓ１１６と同様であり、更にステップＳ１７，Ｓ１８も同様である。
【００４８】
ステップＳ１９でQL_3がQL_2より小さくない場合、補助情報として現フレームのピッチパラメータとパワーパラメータを使っても、現フレームのピッチパラメータのみを使う場合より補間音声信号の音質を改善できないことを意味し、ステップＳ２０でピッチパラメータに対する重複数をNdup1=QL_1−QL_2と決め、ステップＳ２１で現フレームのピッチパラメータをNdup1個のパケットにそれぞれ格納し、残りのLd-Ndup1個のパケットに現フレームの符号化音声データをそれぞれ格納して送信する。ステップＳ１９でQL_3がQL_2より小であれば、補助情報として現フレームのピッチパラメータだけを使うより、ピッチパラメータとパワーパラメータの両方を使ったほうが補間音声信号の音質が改善されることを意味しており、ステップＳ２２で補助情報（ピッチとパワー）に対する重複値をNdup2=QL_1−QL_3と決め、ステップＳ２３で現フレームの補助情報をNdup2個のパケットにそれぞれ格納し、残りのLd-Ndup2個の全てのパケットに現フレームの符号化音声データを格納して送信する。
【００４９】
図３４は図２３の送信装置に対応する受信装置の構成例を示す。この構成は図１３に示した受信装置に補助情報抽出部８１が追加されている。また、補間音声作成部７０は図３５に示すように、メモリ７０２と紛失信号生成部７０３と、信号選択部７０４とから構成されている。紛失信号生成部７０３はピッチ検出部７０３Ａと、波形切り出し部７０３Ｂと、フレーム波形合成部７０３Ｃと、ピッチ切替部７０３Ｄとから構成されている。
制御部５３は、受信されたパケットが格納するデータと同じフレームに対するパケットがバッファ５２に既に蓄積されているかチェックし、蓄積されてなければバッファ５２に受信パケットを蓄積する。この処理の詳細は図３６Ａのフローを参照して後で詳述する。
【００５０】
音声信号の再生処理においては、図３６Ｂのフローを参照して後でも説明するが、制御部５３は、現在必要とするフレームのパケットがバッファ５２に蓄積されているかチェックし、蓄積されてない場合はパケットロスと判定して制御信号CLSTを発生する。制御部５３が制御信号CLSTを発生すると、信号選択部７０４は紛失信号生成部７０３の出力を選択し、ピッチ切替部７０３Ｄはピッチ検出部７０３Ａの検出ピッチを選択して波形切り出し部７０３Ｂに与えてそのピッチ長の波形をメモリ７０２の領域Ａ１から切り出し、フレーム波形合成部７０３Ｃで切り出し波形から１フレーム長の波形に合成し、合成した波形を補間音声信号として出力選択部６３に与えると共に信号選択部７０４を介してメモリ７０２の領域Ａ０に書き込む。
【００５１】
制御部５３がバッファ５２中に現フレームの符号化音声データを格納したパケットを見つけた場合は、そのパケットを符号列構成部６１に与えて符号化音声データが取り出され、復号化部６２で復号化されて復号音声信号が出力信号選択部６３を介して出力されると共に、補間音声作成部７０のメモリ７０２の領域Ａ０に信号選択部７０４を介して書き込まれる。制御部５３がバッファ５２中に現フレームの補助情報を格納したパケットを見つけた場合は、そのパケットを補助情報抽出部８１に与える。
補助情報抽出部８１はそのパケットから現フレームの補助情報（ピッチパラメータ、又はピッチパラメータとパワーパラメータの組）を抽出し、補間音声作成部７０の紛失信号生成部７０３に与える。補助情報が与えられると補助情報中の現フレームのピッチパラメータがピッチ切替部７０３Ｄを介して波形切り出し部７０３Ｂに与えられ、従って、波形切り出し部７０３Ｂは与えられた現フレームのピッチ長の波形を領域Ａ１の音声波形から切り出し、それに基づいてフレーム波形合成部７０３Ｃにおいて１フレーム長の波形が合成され、補間音声信号として出力される。補助情報中に現フレームのパワーパラメータも含まれている場合は、フレーム波形合成部７０３Ｃはそのパワーパラメータにより、合成フレーム波形のパワーを調整し、補間音声信号として出力する。補間音声信号を作成した場合は、いずれも信号選択部７０４を介してメモリ７０２の領域Ａ０に書き込む。
【００５２】
図３６Ａは、パケット受信部５１で受信されたパケットを制御部５３の制御に従ってバッファ５２に蓄積する処理の例を示す。
ステップＳ１Ａでパケットが受信されたか判定し、受信されたならステップＳ２Ａでその受信パケットが格納するデータのフレーム番号と同じフレーム番号のデータを格納するパケットがバッファ５２内に既に存在するかチェックし、もし存在すればステップＳ３Ａでバッファ内のそのパケットのデータが符号化音声データであるかチェックする。もし符号化音声データであれば、受信パケットは不要であり、ステップＳ４Ａで受信パケットを破棄し、ステップＳ１Ａに戻り次のパケットを待つ。
【００５３】
ステップＳ３Ａで、バッファ内の同じフレームのパケットのデータが符号化音声データでなかった場合、即ち、補助情報であった場合、ステップＳ５Ａで受信パケットのデータが符号化音声データであるか判定し、符号化音声データでなかった場合（即ち補助情報であった場合）、ステップＳ４Ａで受信パケットを破棄し、ステップＳ１Ａに戻る。ステップＳ５Ａで受信パケットのデータが符号化音声データであった場合、ステップＳ６Ａでバッファ内にある同じフレームのパケットを受信パケットで置き換えてステップＳ１Ａに戻る。即ち、同じフレームについての受信パケットが符号化音声データであれば、補間音声を作成する必要はないので補助情報は不要である。ステップＳ２Ａでバッファ内に同じフレームに対するパケットがなかった場合は、ステップＳ７Ａで受信パケットをバッファ５２に蓄積し、ステップＳ１Ａに戻って次のパケットを待つ。
【００５４】
図３６Ｂは、制御部５３の制御に従ってバッファ５２から読み出したパケットから音声データを取り出し、再生音声信号を出力する処理の例を示す。
ステップＳ１Ｂでバッファ５２に必要とする現フレームに対するパケットが存在するかチェックし、存在しなければパケットロスと判定してステップＳ２Ｂで紛失信号生成部７０３のピッチ検出部７０３Ａにより過去のフレームからピッチを検出する。検出ピッチ長を使ってステップＳ３Ｂで過去のフレームの音声波形からピッチ長の波形を切り出し、１フレームの波形を合成し、ステップＳ７Ｂでその合成波形を補間音声信号としてメモリ７０２の領域Ａ０に格納し、ステップＳ８Ｂで補間音声信号を出力してステップＳ１Ｂに戻り、次のフレームの処理を開始する。
【００５５】
ステップＳ１Ｂで現フレームに対するパケットがバッファ５２に存在していた場合は、ステップＳ４Ｂでそのパケットのデータが補助情報であるか判定し、補助情報であればステップＳ５Ｂでその補助情報からピッチパラメータを抽出し、ステップＳ３Ｂでそのピッチパラメータを使って補間音声信号を作成する。ステップＳ４Ｂでバッファ内の現フレームに対するパケットが補助情報でなかった場合は、そのパケットのデータは符号化音声データであり、ステップＳ６Ｂでその符号化音声データを復号して音声波形データを得て、ステップＳ７Ｂでその音声波形データをメモリ４０２Ａの領域Ａ０に書き込み、ステップＳ８Ｂで音声信号として出力してステップＳ１Ｂに戻る。
【００５６】
図３６Ｂの処理は送信側による図３０の動作例に対応する処理であるが、図３１,３２，３３の動作例に対応する処理の場合は、ステップＳ５Ｂで括弧内に示すように更にパワーパラメータを補助情報から抽出し、ステップＳ３Ｂで括弧内に示すように、パワーパラメータに従って合成波形のパワーを調整する。
【０００１】
この発明は、ＩＰ（インターネットプロトコル）ネットワークでの音声パケット送信方法、装置、及びその方法を実行するプログラムとそれを記録した記録媒体に関する。
【背景技術】
【０００２】
現在インターネットではＩＰ（Internet Protocol）（非特許文献１参照）パケットにより電子メールやＷＷＷ（World Wide Web）等さまざまな通信が行われている。
現在広く使われているインターネットはベストエフォート型のネットワークであり、パケットが確実に送信先に到着する保証がないため、ＴＣＰ(Transmission Control Protocol)（非特許文献２参照）プロトコルなどによる再送制御を実現した通信により確実なパケット通信を行うことが多い。しかしVoIP(Voice over Internet Protocol)など通信のリアルタイム性が重要となる場合には、パケットロス発生時に再送制御により紛失パケットを求めると、パケットの到着が大きく遅れるために、受信バッファにおける蓄積状態のパケット数を大きく設定しなければならず、リアルタイム性が損なわれてしまうという問題がある。そのためＶｏＩＰなどでは再送制御を行わないＵＤＰ(User Datagram Protocol)（非特許文献３参照）プロトコルにより通信が行われることが多いが、ネットワークの輻輳時にパケットロスが発生し、音質の劣化が生じてしまう問題があった。
【０００３】
パケットを再送することなく音質劣化を防止する従来手法として、送信時にパケット損失率に応じて同じパケットを重複送信しパケット到着確率を上げることで、音切れを防止する手法があるが（特許文献１参照）パケットロスが頻繁に発生するのはネットワークの輻輳時であり、この状態で過剰にパケットを重複送信すると送信情報量の増加や送信パケット数の増加によりネットワークの更なる輻輳を招きパケットロスが更に増加してしまう問題がある。また、パケット損失率が高い状態の間は絶えずパケットを重複送信するためネットワーク送信インタフェースに過剰に負荷がかかってしまい、パケットの送信遅延を招いてしまうといった問題があった。
【０００４】
また、遅延を増やさずにパケットロスによる音質劣化を防止する手法として、音声データの補間手法があり、例えば消失部分のデータを過去のピッチ区間のデータを繰り返すことで補間するG.711 appendix I（非特許文献４参照）があるが、この方法では音声の立ち上がり区間のような信号が急激に変化している領域の音声データが欠落したときに、音声パワ、ピッチが元音声と異なるデータを過去から合成してしまうために異音が発生してしまうという問題があった。
受信側でパケットロスが生じることを送信側で予め想定し、送信側で現フレーム中のピッチ長の音声波形の繰り返しにより音声波形を合成し、その合成音声波形の次フレームの原音声波形に対する品質が閾値より小さければ、現フレームの音声符号と共に次フレームの圧縮音声符号をサブフレーム符号としてパケットにより送信することが提案されている（特許文献２）。この方法によれば、受信側では、現フレームのパケットロスが生じた場合、その前後のフレームのパケットにサブフレーム符号が含まれていなければ前フレーム中の１ピッチ長の波形から現フレームを合成し、もしサブフレーム符号が含まれていればそれを復号して使用する。いずれにしても原音声信号より品質の低下した音声波形が生じることになるが、補間波形の品質が規定より悪い場合に、現フレームに加えて前後パケットにサブコーデックの情報を加える方式のため、サブコーデックの情報を前後のパケットにより送信しても、３連続以上のパケットロスが発生すると、現フレームに対する符号化情報及びサブコーデックの符号化情報が共に利用できなくなり、復号音声の音質が劣化してしまう問題があった。
【先行技術文献】
【特許文献】
【特許文献１】
特開平11-177623号公報
【特許文献２】
特開2003-249957号公報
【非特許文献】
【非特許文献１】
“Internet Protocol”,RFC791,1981.
【非特許文献２】
“Transmission Control Protocol”,RFC793,1981.
【非特許文献３】
“User Datagram Protocol”,RFC768,1980.
【非特許文献４】
ITU-T Recommendation G.711 Appendix I, “A high quality low-complexity algorithm for packet loss concealment with G.711” ,pp.1-18,1999.
【非特許文献５】
J. Nurminen, A. Heikkinen & J. Saarinen,“Objective evaluation of methods for quantization of variable-dimension spectral vectors in WI speech coding，”in Proc. Eurospeech 2001, Aalborg, Denmark, Sep. 2001,pp.1969-1972
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この発明は、上述の問題点に鑑みてなされたものであり、リアルタイム性が重要となる双方向音声通信を行う際に、遅延やネットワークへの過剰な通信負荷を抑えながら音声再生に重要なフレームデータのロスの発生を抑え、再生音質の劣化を軽減することができる音声パケット送信方法、その装置、およびプログラムの記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明によれば、現フレームの音声信号の特徴パラメータである少なくともピッチパラメータを含む補助情報を作成し、現フレームと隣接する少なくとも１つの隣接フレームの音声信号から、その音声信号のピッチを有する第１の補間音声信号を現フレームの音声信号に対して作成し、前記補助情報中の少なくともピッチパラメータを使用して前記少なくとも１つの隣接フレームの音声信号から現フレームの音声信号に対する第２の補間音声信号を作成し、第１補間音声信号の第１音質評価値及び第２補間音声信号の第２音質評価値を計算し、第１音質評価値に基づいて音質が悪いほど段階的に大きな値をとる重複レベルと第１音質劣化レベルを求め、第２音質評価値に基づいて音質が悪いほど段階的に大となる第２音質劣化レベルを求め、第２音質劣化レベルが第１音質劣化レベルより小さくないときは現フレームの音声信号のパケットを重複レベル数だけ作成し、第２音質劣化レベルが第１音質劣化レベルより小さいときは現フレームの音声信号のパケットを１個以上と、前記補助情報のパケットを１個以上とを合計で重複レベルと同数だけ作成し、作成したパケットをネットワークに送信する。
【発明の効果】
【０００７】
この発明の構成によれば、パケットロスが音声信号のうちどのタイミングで発生しても、パケット遅延を増加させることなく、かつネットワークに過剰な負荷をかけることなく、受信側で音質のよい再生音声信号を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】図１Ａはこの発明における音声パケット送信装置の第１検討例の機能構成例を示すブロック図であり、図１Ｂはパケットの構成例を示す図。
【図２】図１Ａ中の補間音声作成部２０の具体的機能構成例を示すブロック図。
【図３Ａ】波形合成方法を説明するための図。
【図３Ｂ】ピッチがフレームより長い場合の波形合成方法を説明するための図。
【図４】波形合成方法の他の例を説明するための図。
【図５】図５Ａは図４において波形を接続するための一方の重み関数の例を示す図であり、図５Ｂは他方の重み関数の例を示す図。
【図６】図１中の音質判定部４０の具体的機能構成例を示すブロック図。
【図７】音質評価値と重複レベルとの関係例を規定するテーブルの例を示す図。
【図８】音質評価値と重複レベルとの関係例を規定するテーブルの他の例を示す図。
【図９】音質評価値と重複レベルとの関係を規定するテーブルの更に他の例を示す図。
【図１０】図１における音質判定部４０の他の構成例を示す図。
【図１１】図１０の音質判定部を使用する場合の音質評価値と重複レベルの関係を規定するテーブルの例を示す図。
【図１２】図１における音質判定部４０とパケット生成部１０５の処理手順を示すフロー図。
【図１３】図１の送信装置に対応する受信装置の機能構成例を示すブロック図。
【図１４】図１４Ａは図１３における受信パケットの処理手順を示すフロー図であり、図１４Ｂは図１３における再生音声の生成手順を示すフロー図。
【図１５】この発明における音声パケット送信装置の第２検討例の機能構成例を示すブロック図。
【図１６】図１５中の音質判定部４０の具体的機能構成例を示すブロック図。
【図１７】評価値と重複レベルとの関係を規定するテーブルの更に他の例を示す図。
【図１８】図１５の送信装置における音質判定部４０とパケット作成部１５の処理手順を示すフロー図。
【図１９】図１５に示した音声パケット送信装置に対応する音声パケット受信装置の機能構成例を示すブロック図。
【図２０】この発明における音声パケット送信装置の第３検討例の機能構成例を示すブロック図。
【図２１】図２０中の補間音声作成部２０の具体的機能構成例を示すブロック図。
【図２２】図２０に示した送信装置に対応する受信装置の機能構成例を示すブロック図。
【図２３】この発明の音声パケット送信装置の実施形態の機能構成を示すブロック図。
【図２４】図２３における補助情報作成部３０の具体的構成例を示すブロック図。
【図２５】図２３における補間音声作成部２０の具体的構成例を示すブロック図。
【図２６】図２３における音質判定部４０の具体的構成例を示すブロック図。
【図２７】評価値と重複レベル及び音質劣化レベルとの関係を規定するテーブルの例を示す図。
【図２８】評価値と音質劣化レベルの関係を規定するテーブルの例を示す図。
【図２９】図２３の送信装置の第１動作例における音質判定部４０とパケット作成部１５の処理手順を示すフロー図。
【図３０】図２３の送信装置の第２動作例における音質判定部４０とパケット作成部１５の処理手順を示すフロー図。
【図３１】図２３の送信装置の第３動作例における音質判定部４０とパケット作成部１５の処理手順の前半部を示すフロー図。
【図３２】図３１の後半部のフロー図。
【図３３】図２３の送信装置の第４動作例における音質判定部４０とパケット作成部１５の処理手順の後半部のフロー図。
【図３４】図２３の送信装置に対応する受信装置の例を示すブロック図。
【図３５】図３４における補間音声作成部７０の具体的構成例を示すブロック図。
【図３６】図３６Ａは図３４における受信パケットの処理手順を示すフロー図であり、図３６Ｂは図３４における再生音声の生成処理手順を示すフロー図。
【発明を実施するための形態】
【０００９】
[第１検討例］
図１に、この発明における音声パケット送信装置の第１検討例の機能構成例を示す。この例では、パケットはＵＤＰ／ＩＰプロトコルにより送受信される。ＵＤＰ／ＩＰプロトコルによれば、各パケットは図１Ｂに示すように、送信先アドレスDEST ADD、送信元アドレスORG ADD、ＲＴＰフォーマットによるデータを含んでいる。このＲＴＰフォーマットにおけるデータとして音声信号のフレーム番号FR#と音声データDATAを含ませる。音声データは、入力されたＰＣＭ音声信号を符号化した符号化音声信号であっても、入力されたＰＣＭ音声信号そのままであってもよいが、この例では、パケットに格納する音声データは符号化音声信号の場合である。以降の説明では１つのパケットに１フレームの音声データを格納して送信するものとして説明するが、１つのパケットに複数フレームの音声データを格納してもよい。
【００１０】
入力端子１００からのＰＣＭ音声入力信号は符号化部１１に入力されて符号化される。符号化部１１における符号化アルゴリズムは入力音声信号帯域に対応可能な符号化アルゴリズムであれば良く、ITU-T G.711などの音声帯域信号（〜４ｋＨｚ）用符号化アルゴリズムやITU-T G.722などの４ｋＨｚ帯域以上の広帯域信号用符号化アルゴリズムなども使用することが出来る。一般に符号化方法により異なるが、１フレームの音声信号の符号化により、その符号化方法で扱う複数種類のパラメータの符号が生成されるが、ここではそれらをまとめて単に符号化音声信号と呼ぶことにする。
【００１１】
符号化部１１から出力される符号化音声信号の符号列はパケット作成部１５に送られると同時に復号化部１２に送られ、復号化部１２で符号化部１１に対応した復号化アルゴリズムによりＰＣＭ音声信号に復号化される。復号化部１２において復号化された音声信号は補間音声作成部２０に送られ、補間音声作成部２０において、相手の受信装置においてパケットロスが発生した場合に行われる補間処理と同様な処理により補間音声信号が作成される。補間音声信号としては、現フレームより過去のフレームの波形から外挿法で作成してもよいし、現フレームの前後のフレームの波形から内挿法で作成してもよい。
【００１２】
図２に補間音声作成部２０の具体的機能構成例を示す。ここでは外挿法により補間音声信号を作成する。復号音声信号は入力端子２０１よりメモリ２０２の領域Ａ０に格納される。メモリ２０２の各領域Ａ０，…，Ａ５は符号化処理の分析フレーム長のＰＣＭ音声信号が格納できるサイズを有し、例えば８ｋＨｚサンプリングの音声信号を１０ｍｓごとの分析フレーム長で符号化を行う場合には、８０サンプルの復号音声信号が１つの領域に格納されることになる。新たな分析フレームの復号音声信号がメモリ２０２に入力されるごとに、既に領域Ａ０〜Ａ４に格納されている過去のフレームの復号音声信号は領域Ａ１〜Ａ５へシフトされ、現フレームの復号音声信号が領域Ａ０に書き込まれる。
【００１３】
メモリ２０２内に格納されている音声信号を用いて、現フレームに対する補間音声信号が紛失信号生成部２０３で作成される。紛失信号生成部２０３には、メモリ２０２内の０番領域Ａ０を除いた領域Ａ１〜Ａ５内の音声信号が入力される。ここではメモリ２０２において領域Ａ１〜Ａ５の連続５フレームの音声信号を紛失信号生成部２０３に送る場合について説明しているが、メモリ２０２には１フレーム（１パケット）分の補間音声信号を生成するアルゴリズムに必要な過去のＰＣＭ音声信号分だけは蓄積できるメモリを用意する必要がある。紛失信号生成部２０３ではこの例では入力された音声信号（現フレームの信号）を除く過去の復号音声信号（この実施例では５フレーム分）から現フレームに対する音声信号を補間法により作成して出力する。
【００１４】
紛失信号合成部２０３はピッチ検出部２０３Ａと、波形切り出し部２０３Ｂと、フレーム波形合成部２０３Ｃとから構成されている。ピッチ検出部２０３Ａはメモリ領域Ａ１〜Ａ５内の一連の音声波形の自己相関値をサンプル点を順次ずらして計算し、自己相関値のピークの間隔をピッチ長として検出する。図２のように過去の複数のフレームに対するメモリ領域Ａ１〜Ａ５を設けておくことにより、音声信号のピッチ長が１フレーム長より長い場合でも、ここでは５フレーム長以内であればピッチを検出することができる。
図３Ａではメモリ領域Ａ０〜Ａ５に書き込まれた音声波形データの現フレームｍから過去のフレームｍ−３の途中までの波形例を模式的に示している。波形切り出し部２０３Ｂは検出されたピッチ長の波形３Ａを現フレームより過去のフレームからコピーし、図３Ａに示すように１フレーム長となるまで過去側から未来方向に向かって波形３Ｂ、３Ｃ，３Ｄのように繰り返し貼り付けて現フレームに対する補間音声信号を合成する。ただし、一般にフレーム長はピッチ長の整数倍とは限らないので、貼り付ける最後の波形はそのフレームの残りの区間に合わせて切り取る。また、検出されたピッチ長が１フレーム長より長い場合は、例えば図３Ｂに示すように、現フレームの直前の１ピッチ長の波形の過去側開始点から１フレーム長の波形３Ａをコピーした波形３Ｂを現フレームの補間音声信号として使用する。
【００１５】
図４は補間音声信号の合成方法の他の例を示す。この例では検出したピッチ長よりΔＬ長い波形４Ａを繰り返しコピーして波形４Ｂ，４Ｃ，４Ｄを得る。これら互いに隣接する波形の前後端でΔＬだけ互いに重なるように波形を配置し、互いに重なる前後端のΔＬの区間にそれぞれ図５Ａ，５Ｂの重み関数W1, W2を乗算して互いに加算することにより切り出し波形を連続的に接続して１フレーム長の波形４Ｅを得ることができる。例えば、時点t1とt2の重なり区間では、波形４Ｂの後端ΔＬに対し時点t1からt2にかけて図５Ａに示す１から０に直線的に減少する重み関数W1を乗算し、同じ区間の波形４Ｃの前端ΔＬに図５Ｂに示す０から１に直線的に増加する重み関数W2を乗算し、これら乗算結果を区間t1〜t2に渡って互いにサンプル値を加算する。他の重なり区間も同様である。
【００１６】
このようにして、紛失信号生成部２０３は直前の少なくとも１つのフレームの音声信号に基づいて１フレーム分の補間音声信号を生成し、音質判定部４０に与える。紛失信号生成部２０３での補間音声信号生成アルゴリズムは例えば非特許文献４に示すもの、その他のものでもよい。
図１の説明に戻る。入力端子１００より音声信号（原音声信号）、復号化部１２の出力信号および補間音声作成部２０の出力信号は音質判定部４０に送られ、パケットの重複レベルＬｄを決定する。
【００１７】
図６に音質判定部４０の具体例を示す。まず補間音声信号の音質を表わす評価値が評価値計算部４１で計算される。ここでは入力端子１００に与えられた入力音声信号（原音声信号）と、復号化部１２の出力信号（復号音声信号）とから第１計算部４１２において現フレームの原音声信号に対する現フレームの復号音声信号の客観評価値Fw1を計算する。同様に現フレームの入力音声信号（原音声信号）と、過去のフレームの復号音声信号から作成した現フレームに対する補間音声作成部２０の出力信号（補間音声信号）とから第２計算部４１３において原音声信号に対する補間音声信号の客観評価値Fw2を計算する。具体的には、第１計算部４１２と第２計算部４１３で計算する客観評価値Fw1、Fw2としては例えばＳＮＲ（信号対雑音比）を使用する。ここでは、第１計算部４１２では１フレームの原音声信号のパワーPorgを信号Ｓとし、１フレームの原音声信号と復号音声信号の差のパワー（両信号の対応するサンプルの値の差の２乗の１フレームにわたる総和）Pdif1を雑音Ｎとして次式
Fw1=10log(S/N)=10log(Porg/Pdif1) (1)
の計算を行う。各フレームのサンプル数をＮとし、原音声信号及び復号音声信号のフレーム内のｎ番目のサンプル値をそれぞれxn、ynとすれば、Porg=Σxn 2、Pdif1=Σ(xn-yn)2である。ただしΣはフレーム内のサンプル番号０からN-1についての総和をあらわす。同様に、第２計算部４１３では、客観評価値Fw2として、１フレームの原音声信号のパワーPorgを信号Ｓとし、１フレームの原音声信号と補間音声信号の差のパワーPdif2を雑音Ｎとして、
Fw2=10log(S/N)=10log(Porg/Pdif2) (2)
の計算を行う。ただし、補間音声信号のフレーム内のｎ番目のサンプル値をznとすれば、Pdif2=Σ(xn-zn)2である。
【００１８】
信号対雑音比ＳＮＲの代わりにＷＳＮＲ（重み付信号対雑音比；例えば非特許文献５：J.Nurminen,A.Heikkinen & J.Saarinen,“Objective evaluation of methods for quantization of variable-dimension spectral vectors in WI speech coding，”in Proc. Eurospeech 2001, Aalborg, Denmark, Sep. 2001,pp.1969-1972.参照）、やＳＮＲｓｅｇ（セグメンタルＳＮＲ：各フレームを複数の単位区間に分割し、それらの単位区間のＳＮＲの平均値）、ＷＳＮＲｓｅｇ，ＣＤ（ケプストラム距離、ここでは第１計算部４１２で求める原音声信号Orgと復号音声信号Decとのケプストラム距離、以下CD(Org, Dec)と表し、歪に対応する）やＰＥＳＱ（ＩＴＵ−Ｔ規格Ｐ.８６２に規定された総合評価尺度）などの評価値を使用することが出来る。また、客観評価値は１種類のみに限らず、２種類以上の客観評価値を併用しても良い。
【００１９】
第１計算部４１２および第２計算部４１３でそれぞれ計算された１種類以上の客観評価値を使って、第３計算部４１１で更に補間音声信号の音質を表わす評価値が計算されて重複送信判定部４２に送られる。重複送信判定部４２はこれら評価値に基づき、補間音声信号の音質が悪い程、段階的に大きな整数値となる重複レベルＬｄが決定される。つまり評価値により求めた音質を表わす値に応じて、離散的値をとる重複レべルＬｄの１つに決定される。パケットの重複レベルＬｄの決定方法としては、例えばＷＳＮＲを客観評価値として使用する場合、式(1) における差のパワーPdif1としてPdif1=Σ(xn-yn)2を使う代わりに聴覚重み付けした差信号の２乗和WPdif1=Σ[WF(xn-yn)]2を使用する。WF(xn-yn)は差信号(xn-yn)に対する聴覚重み付けフィルタ処理を表している。聴覚重み付けフィルタの係数は原音声信号の線形予測係数から決めることができる。式(2) についても同様である。
【００２０】
第１計算部４１２で得られたＷＳＮＲ出力をFw1、第２計算部４１３で得られたＷＳＮＲ出力をFw2として第３計算部４１１でFd=Fw1−Fw2が計算され、これが評価値として重複送信判定部４２に入力され、例えば図７のテーブルを参照してFdの値から重複レベルＬｄを決定すると効果的である。つまり復号音声信号の原音声信号に対する評価値Fw1から補間音声信号の原音声信号に対する評価値Fw2を差し引いた値Fdが大きいほど、重複レベルＬｄを大きくする。Fd=Fw1−Fw2が大きい程、補間音声信号の復号音声信号に対する音質が悪いから、そのような音声信号のフレームはなるべく高い確率で受信側に到着するように、同一フレームを重複して送るパケットの数を多くする。逆に、Fd=Fw1−Fw2が小さい場合は、パケットロスが生じてそのフレームの音声信号を補間音声信号で代用しても受信側の再生音声信号の品質はそれ程劣化しない。よってFd=Fw1−Fw2が小さい場合は同一フレームに対するパケットの重複送信回数Ldを小さくする。Ld=1の場合は同一フレームについてのパケットは一回のみ送信する（即ち重複送信しない）。図７のテーブルは予め実験に基づいて作成し、重複送信判定部４２内のテーブル格納部４２Ｔに設けられている。
【００２１】
種別が異なる複数の客観評価値を使用してもよい。例えばＷＳＮＲとＣＤの値を客観評価値として使用する場合、前記第１計算部４１２でCD(Org, Dec)も計算し、この計算したＣＤをFd1として、Fd=Fw1−Fw2と共に重複送信判定部４２へ入力し、図８のテーブルを参照してFdの値から重複レベルＬｄを決定すると効果的である。原音声信号に対する復号音声信号の歪Fd1=CD(Org, Dec)が小さければ、先の場合と同様にFd=Fw1−Fw2が大きい程、重複レベルＬｄの値を大きくするが、Fd1が大きければ、パケットロスが生じなくても良い音質が得られないフレームであることを意味している。従って、重複レベル値Ｌｄの値を大きくしてもその利益が得られないからＬｄを小さくし、かつFd=Fw1−Fw2の値によるＬｄの差も２段階にしか分けていない。なお、評価値計算部４１で復号音声信号Decに対する補間音声信号Comのケプストラム距離CD(Dec, Com)を計算して、この値Fd2も重複レベルＬｄの決定に用いても良い。そのテーブルの例を図９に示す。この例は図８のテーブルにおけるFd=Fw1-Fw2が２ｄＢ未満の領域と２ｄＢ以上１０ｄＢ未満の領域を１０ｄＢ未満の領域１つに置き換え、この領域においてFd2が１未満の領域と１以上の領域の２つに分けたものである。
【００２２】
図１中のパケット作成部１５では、符号化部１１からの符号化音声信号を、音質判定部４０から受け取ったパケット重複レベルＬｄの数だけ複製し、Ｌｄ個のパケットを作成して送信部１６に送り、ネットワークにパケットを送信する。Ｌｄ＝１の時は、パケットを重複させることなく、１個だけ送信する。
前述の図６の例においては評価値計算部４１は客観評価値として原音声信号のパワーPorgと、原音声信号と復号音声信号の差のパワーPdif1とから式(1)により求めた評価値Fw1と、原音声信号のパワーPorgと、原音声信号と補間音声信号の差のパワーPdif2とから式(2)により求めた評価値Fw2との２つの評価値を使用して重複レベルＬｄを決める例を示したが、図１０に音質判定部４０の他の例を示すように、復号音声信号と補間音声信号だけから客観評価値を求めてもよい。即ち、評価値計算部４１では、復号音声信号のパワーPdecと、復号音声信号と補間音声信号の差のパワーPdif'とから評価値Fw’を次式
Fw’＝10log(Pdec/Pdif') (3)
により求める。この場合、差のパワーPdif'が大きくなれば評価値Fw’が小さくなり、それだけ補間音声信号の音質が悪くなることを意味している。重複送信判定部４２内のテーブルには例えば図１１に示すように、評価値Fw’が２ｄＢ未満ではＬｄ＝１、２ｄＢ≦Fw’＜１０ｄＢではＬｄ＝２，Fw’≧１０ｄＢではＬｄ＝３のように評価値Fw’に対し重複レベルＬｄを規定してある。このテーブルは予め実験に基づいて決めてある。
【００２３】
図１２は図６の音質判定部４０が図７のテーブルを使って重複レベルＬｄを求める場合の図１の送信装置における音質判定部４０とパケット作成部１５による処理手順を示す。ただし客観評価値として重み付信号対雑音比ＷＳＮＲを使用するものとする。以下の処理において、ステップＳ１〜Ｓ３は図６の評価値計算部４１により実行され、ステップＳ４〜Ｓ１０は重複送信判定部４２により実行され、ステップＳ１１は図１のパケット作成部１５により実行される。
ステップＳ１：評価値計算部４１において、原音声信号OrgのパワーPorgと、原音信号Orgと復号音声信号Decの聴覚重み付け差信号のパワーWPdif1からWSNR=10log(Porg/WPdif1)を評価値Fw1として求める。以後この計算をFw1=WSNR(Org, Dec)と表すことにする。
【００２４】
ステップＳ２：評価値計算部４１において原音声信号のパワーPorgと、原音声信号と補間音声信号Comの聴覚重み付け差信号のパワーWPdif2からWSNR=10log(Porg/WPdif2)を評価値Pw2として求める。以後この計算をFw2=WSNR(Org, Ext)と表すことにする。
ステップＳ３：差分Fd=Fw1-Fw2を求める。
ステップＳ４：重複送信判定部４２においてＦｄ＜２ｄＢか判定し、２ｄＢより小であればステップＳ５でＬｄ＝１と決め、そうでなければステップＳ６に移る。
ステップＳ６：２ｄＢ≦Ｆｄ＜１０ｄＢであるか判定し、そうであればステップＳ７で図７のテーブルからＬｄ＝２と決め、そうでなければステップＳ８に移る。
【００２５】
ステップＳ８：１０ｄＢ≦Ｆｄ＜１５ｄＢか判定し、そうであればステップＳ９で図７のテーブルからＬｄ＝３と決め、そうでなければステップＳ１０でＬｄ＝４と決める。
ステップＳ１１：パケット作成部１５はＬｄ個のパケットにそれぞれ同じ現フレームの音声データを格納し、順次送信する。
図１に示した音声パケット送信装置と対応する音声パケット受信装置の機能構成を図１３に示す。受信装置は受信部５０と、符号列構成部６１と、復号化部６２と、補間音声作成部７０と、出力信号選択部６３とから構成されている。受信部５０はパケット受信部５１と、バッファ５２と、制御部５３とから構成されている。制御部５３はパケット受信部５１で受信されたパケットが格納する音声データのフレーム番号と同じフレーム番号の音声データを格納したパケットが既にバッファ５２に蓄積されているかチェックし、もし既に蓄積されていれば、受信パケットを破棄し、蓄積されてなければその受信パケットをバッファ５２に蓄積する。
【００２６】
制御部５３はバッファ５２からフレーム番号順に、各フレーム番号の音声データを格納するパケットを探索し、パケットがあればそのパケットを取り出して符号列構成部６１に与える。符号列構成部６１は与えられたパケット中の１フレーム分の符号化音声信号を取り出し、符号化音声信号を構成する各種パラメータ符号を所定の順に並べて復号化部６２に与える。復号化部６２は与えられた符号化音声信号を復号して１フレーム分の音声信号を生成し、出力選択部６３と補間音声作成部７０に与える。バッファ５２に現フレームの符号化音声信号を格納するパケットがなかった場合、制御部５３はパケットロスを表す制御信号CLSTを発生し、補間音声作成部７０と、出力信号選択部６３とに与える。
【００２７】
補間音声作成部７０は送信装置における補間音声作成部２０とほぼ同様の構成であり、メモリ７０２と、紛失信号生成部７０３とから構成されており、紛失信号生成部７０３の構成も図２に示した送信側における紛失信号生成部２０３と同様に構成されている。復号化部６２から復号音声信号が与えられると補間音声作成部７０は、制御信号CLSTが与えられていなければ、まずメモリ７０２の領域Ａ０〜Ａ４の音声信号を領域Ａ１〜Ａ５にシフトし、与えられた復号音声信号を領域Ａ０に書き込む。さらに、出力信号選択部６３により選択された復号音声信号が再生音声信号として出力される。
【００２８】
制御部５３によりパケット紛失が検出され、制御信号CLSTが発生された場合は、バッファ５２から現フレームのパケットが得られないので、補間音声作成部７０はメモリ７０２の領域Ａ０〜Ａ４の音声信号を領域Ａ１〜Ａ５にシフトし、これらシフトされた音声信号に基づいて紛失信号生成部７０３により補間音声信号を生成し、メモリ７０２の領域Ａ０に書き込むとともに、出力信号選択部６３を介して再生音声信号として出力する。
図１４Ａ、１４Ｂは図１３の受信装置によるパケット受信処理と、音声信号再生処理の手順を示す。パケット受信処理は、図１４Ａにおいて、ステップＳ１Ａでパケットが受信されたか判定し、受信されるとステップＳ２Ａでそのパケットが格納する音声データのフレーム番号と同じフレーム番号の音声データを格納したパケットが既にバッファ５２に蓄積されているか判定する。同じフレーム番号の音声データを格納したパケットが見つかればステップＳ３Ａで受信パケットを破棄し、ステップＳ１Ａで次のパケットを待つ。バッファ５２に同一フレーム番号の音声データを格納したパケットがなければ、ステップＳ４Ａで受信パケットをバッファ５２に蓄積し、ステップＳ１Ａに戻り次のパケットを待つ。
【００２９】
音声信号再生処理は、図１４Ｂにおいて、ステップＳ１Ｂでバッファ５２に現フレームの音声データが格納されたパケットが蓄積されているか判定し、あればステップＳ２Ｂでそのパケットを取り出して符号列構成部６１に与える。符号列構成部６１は与えられたパケットからから現フレームの音声データである符号化音声信号を取り出し、その符号化音声信号を構成するパラメータ符号を所定の順に配列して復号化部６２に与える。ステップＳ３Ｂで復号化部６２は符号化音声信号を復号して音声信号を生成し、ステップＳ４Ｂで音声信号をメモリ７０２に格納し、ステップＳ６Ｂで音声信号を出力する。ステップＳ１Ｂでバッファ５２に現フレームの音声データを格納したパケットがなかった場合は、ステップＳ５Ｂで前フレームの音声信号から補間音声信号を生成し、ステップＳ４Ｂでその生成した補間音声信号をメモリ７０２に格納し、ステップＳ４Ｂでその生成した補間音声信号を出力する。
[第２検討例]
図１５に、この発明における音声パケット送信装置の第２検討例の機能構成を示す。ここでは第１検討例に示した符号化部１１、および復号化部１２を設けず、入力ＰＣＭ音声信号を直接パケット化し、送信する。入力端子１００よりのＰＣＭ入力音声信号から補間音声作成部２０にて補間音声信号を作成する。補間音声作成部２０の処理は図２に示した処理と同じである。ここで作成した補間音声信号は、音質判定部４０に送られる。音質判定部４０ではパケットの重複レベルＬｄを決定し、パケット作成部１５へ出力する。
【００３０】
図１６に音質判定部４０の具体例を示す。ここでは入力端子１００から送られた現フレームの入力ＰＣＭ原音声信号に対する、補間音声作成部２０の出力補間音声信号の客観評価値を評価値計算部４１で計算する。ここでは客観評価値としてＳＮＲやＷＳＮＲ、またはＳＮＲｓｅｇ，ＷＳＮＲｓｅｇ、ＣＤやＰＥＳＱなどの評価値を使用することが出来る。また客観評価値は１種類のみに限らず、２種類以上の客観評価値を併用しても良い。評価値計算部４１で計算された客観評価値は重複送信判定部４２に送られ、パケットの重複レベルＬｄを決定する。パケットの重複レベルLdの決定方法としては、例えばＷＳＮＲを客観評価値として使用する場合、評価値計算部４１のＷＳＮＲ出力をＦｗとし、図１７に示すようにＬｄを決定すると効果的である。この場合は評価値Ｆｗが大きい程、重複レベルＬｄを小さくする。この例では重複送信判定部４２内に図１７に示すテーブルを設けることになる。この場合は評価値計算部４１における計算は原音声信号のパワーを信号Ｓとし、原音声信号と補間音声信号との重み付き差信号のパワーを雑音ＮとしてＷＳＮＲを計算しているから、ＷＳＮＲが大きければパケットロスに対して補間音声信号を用いても音質劣化が少ないため、ＷＳＮＲが大きい程、重複レベル値Ｌｄを小さくしている。
【００３１】
パケット作成部１５では、処理フレームサイズ分の入力ＰＣＭ音声信号を、音質判定部４０から受け取ったパケット重複レベルＬｄの数だけ複製し、Ｌｄ個のパケットを作成して送信部１６に送り、ネットワークにパケットを送信する。
図１８は図１５の送信装置において、図１７のテーブルを使って図１６の音質判定部４０により重複レベルＬｄを求める処理と、パケット作成部１５によるパケット作成処理の手順を示す。この例も評価値Fwとして重み付信号対雑音比ＷＳＮＲを使用するものとする。ステップＳ１で原音声信号OrgのパワーPorgと、原音声信号Orgと補間音声信号Comの聴覚重み付き差信号のパワーWPdifから評価値Fwを
WSNR＝10log(Porg/WPdif)
として求める。以降この計算をFw=WSNR(Org, Com)と表すことにする。ステップＳ２で評価値Fwが２ｄＢ未満か判定し、そうであればステップＳ３で図１７のテーブルを参照してFwの値から重複レベルＬｄ＝３と決定する。Fwが２ｄＢ未満でなければステップＳ４でFwが２ｄＢ以上、１０ｄＢ未満であるが判定し、そうであればステップＳ５で図１７のテーブルを参照してＬｄ＝２と決定し、そうでなければステップＳ６でＬｄ＝１と決定する。ステップＳ７でパケット作成部１５は決定された重複レベルＬｄに従って、Ｌｄ個の各パケットにそれぞれ現フレームの音声信号を格納して送信部１６に与え、順次送信する。
【００３２】
図１５に示した送信装置と対応するパケット受信装置を図１９に示す。受信部５０と補間音声作成部７０は図１３の受信部５０及び補間音声作成部７０と同様の構成である。ここでは受信部５０で受信したパケットデータからＰＣＭ音声信号構成部６４でＰＣＭ出力音声信号列を取り出す。送信側からパケットが重複して送られ、複数パケットを受信部５０で受信した場合には、２番目以降に到着した重複パケットは破棄される。パケットを正常に受信した場合、ＰＣＭ音声信号構成部６４でパケットからＰＣＭ音声信号が取り出され、出力信号選択部６３に送られると同時に次フレーム以降の補間音声信号のために補間音声作成部７０内のメモリ（図１３参照）に格納される。受信部５０より制御信号CLSTでパケットロス発生が通知されると、補間音声作成部７０は図２を参照して説明した動作と同様に補間音声信号を作成し、出力信号選択部６３に送る。出力信号選択部６３では、受信部５０よりパケットロス発生が通知されると、補間音声作成部７０の出力補間音声信号を出力音声信号として選択し、パケットロスが発生していない場合にはＰＣＭ音声信号構成部６４の出力を出力音声信号として選択し、出力する。
[第３検討例]
前述の各検討例では、補間音声信号を過去のフレームから外挿法により作成する場合を示したが、この第３検討例では現フレームに対し前後のフレームの波形から内挿法で補間音声信号を作成する。図２０に、この発明における音声パケット送信装置の第３検討例の機能構成を示す。この例における符号化部１１、復号化部１２、音質判定部４０、パケット作成部１５、送信部１６の構成及び動作は図１の検討例のそれぞれ対応するものと同じである。この例は現フレームの音声信号に対する補間音声信号を、それより過去のフレームの音声信号と、現フレームの次のフレームの音声信号から内挿法により作成するように構成されている。
【００３３】
符号化部１１で符号化された符号化音声は１フレーム期間の遅延を与えるデータ遅延部１９に送られると同時に復号化部１２に送られる。復号化部１２において復号化された音声信号は１フレーム期間の遅延を与えるデータ遅延部１８を介して音質判定部４０に与えると共に、補間音声作成部２０に送られ、現フレームより１フレーム過去のフレームにパケットロスが発生したと仮定した場合の補間音声が作成される。音質判定部４０にはデータ遅延部１７により１フレーム期間遅延された原音声信号が与えられると共に、補間音声作成部２０からの補間音声信号と、データ遅延部１８からの復号音声信号が与えられ、図１の検討例と同様に重複レベルＬｄが決定される。
【００３４】
内挿法を用いたこの補間音声作成部２０の具体例を図２１に示す。復号音声信号はメモリ２０２の領域Ａ−１にコピーされる。メモリ２０２の領域Ａ０を除いた領域Ａ−１および領域Ａ１〜Ａ５にそれぞれ格納されている各１フレームの復号音声信号が紛失信号生成部２０３に入力される。この場合はパケットロスとなったフレームの音声信号に対する補間音声信号をそのフレームに対し、未来の先読み復号音声信号と過去の復号音声信号を用いて生成する。紛失信号生成部２０３では送信しようとする現フレームの音声信号に対し、過去の復号音声信号（この実施例中では５フレーム分）と前記現フレームに対して先読みした未来の復号音声信号（この実施例では１フレーム分）から前記現フレームの音声信号の補間音声信号を作成して出力する。
【００３５】
具体的には、例えば領域Ａ１〜Ａ５の音声信号をつかって図３Ａの場合と同様にピッチ長を検出し、そのピッチ長の波形を領域Ａ１の終了点（現フレームとの隣接点）から過去の方向に切り出して、繰り返し繋げて過去からの外挿波形を作成し、同様に領域Ａ０の開始点からピッチ長の波形を未来方向に切り出して、繰り返しつなげて未来からの外挿波形を作成し、これら２つの外挿波形の対応するサンプルをそれぞれ加算して２分の１とすることにより内挿音声信号を補間音声信号として得る。この例では未来フレームとして１フレーム長のメモリ領域Ａ−１を設けているので、ピッチ長が１フレーム以内の場合にしか適用できないが、未来フレーム用として複数フレームに渡るよう複数領域を設けることにより１フレーム長より長いピッチ長に対応できることは明らかである。その場合、その未来フレームの数に合わせてデータ遅延部１７，１８，１９の遅延量を増加する必要がある。次のフレームの復号音声信号がメモリ２０２に入力されると、各領域Ａ−１，…，Ａ４に格納されている復号音声信号を領域番号が１大きい領域Ａ０，…，Ａ５にシフトする。
【００３６】
図２０において入力端子１００よりの入力音声信号はデータ遅延部１７に送られ、１フレーム期間だけ遅延されて、音質判定部４０に送られる。また、復号化部１２からの復号音声信号もデータ遅延部１８により、１フレーム期間だけ遅延されて音質判定部４０に送られる。データ遅延部１７からの原音声信号、データ遅延部１８からの復号音声信号および補間音声作成部２０からの補間音声信号は音質判定部４０に送られ、パケットの重複レベルＬｄを決定する。音質判定部４０の動作は図６を参照して説明した動作と同様である。データ遅延部１９では、符号化部１１から送られた符号化音声信号を１フレーム期間遅らせてパケット作成部１５に送る。
【００３７】
図２０に示した音声パケット送信装置と対応する音声パケット受信装置の機能構成例を図２２に示す。受信部５０、符号列構成部６１、復号化部６２、出力信号選択部６３等の構成及び動作は図１３の対応するものと同様である。図１３と異なる点は、復号化部６２の出力側に復号音声信号に対し１フレーム期間の遅延を与えるデータ遅延部６７が設けられ、かつ、受信部５０内の制御部（図１３参照）がパケットロスを検出した場合に出力する制御信号CLSTを１フレーム期間だけ遅延して補間音声作成部７０及び出力信号選択部６３に与えるデータ遅延部６８が設けられていること、補間音声作成部７０が図２１と同様の過去の復号音声信号と、現フレームに対して先読みした未来の復号音声信号とから内挿音声信号を補間音声信号として作成することである。
【００３８】
復号化部６２にて復号された復号音声信号はデータ遅延部６７に送られると同時に次フレーム以降の補間音声作成のために図２１に示したと同様な補間音声作成部７０内のメモリ（図示せず）に格納される。データ遅延部６７は復号音声信号を１フレーム遅延して出力信号選択部６３に送る。受信部５０よりパケットロスの発生が検出され、制御信号CLSTが出力されると、制御信号CLSTは遅延部６８を通して１フレーム期間だけ遅延されて補間音声作成部７０及び出力信号選択部６３に与えられる。補間音声作成部７０は、図２１を参照して説明した動作と同様に補間音声信号を作成して出力する。出力信号選択部６３では、受信部５０よりパケットロス発生が通知されると、補間音声作成部７０の出力を出力音声信号として選択し、パケットロスが発生していない場合にはデータ遅延部６７の出力を出力音声信号として選択し、復号音声信号を出力する。
［実施形態］
前述の各検討例では、送信側において現フレームの音声信号に対し、それに隣接する少なくとも１つのフレームから作成した補間音声信号の音質が規定より低い場合は、受信側においてそのフレームに対応するパケットの損失が生じた場合に隣接フレームから補間音声信号を作成しても、その音質が悪い。そこで、できるだけパケットロスが生じないよう、同じそのフレームの音声信号を格納するパケットを、予測される補間音声信号の客観評価値に応じて決めた重複レベルＬｄ回数だけ繰り返し送信する。その場合、補間音声信号の作成は、隣接する少なくとも１つのフレームの音声波形からピッチ長の波形をコピーして、１フレーム長となるまで繰り返し貼り付ける例を説明した。
【００３９】
以下の実施形態では、補間音声信号の作成に現フレームのピッチ（及びパワー）を使ったほうが音質の優れた補間音声信号を合成可能であると判定された場合に、現フレームの符号化音声信号をパケットで送信すると共に、重複して送信していた符号化音声信号の代わりに補助情報として同じ現フレームのピッチパラメータ（及びパワーパラメータ）を同じフレームについての別のパケットで送信し、受信側でそのフレームの符号化音声信号のパケットが受信できず、補助情報のパケットが受信された場合は、その補助情報を使用することにより送信するデータ量を減らすことができ、かつ、より品質の高い補間音声信号を作成することを可能にする。
【００４０】
図２３はそのような補助情報を使用可能にする送信装置の構成例を示す。この構成は、図１の送信装置に更に現フレームの音声信号のピッチパラメータ（及びパワーパラメータ）を求める補助情報作成部３０を設ける。また、補間音声作成部２０は、
(1) 図１と同様に少なくとも１つの隣接フレームから、そのピッチを検出してピッチ長の波形を切り出し、その波形に基づいて第１補間音声信号を作成する第１機能と、
(2) 前記第１機能において隣接フレームの波形から検出したピッチを使用する代わりに、補助情報作成部３０により検出した現フレームの音声信号のピッチパラメータを使用して隣接フレームの波形からピッチ長の波形を切り出して第２補間音声波形を作成する第２機能と、
(3) 更に前記第２機能において補助情報作成部３０で求めた現フレームの音声信号のパワーパラメータに基づいて前記合成した第２補間音声信号のパワーを調整し、現フレームの音声信号パワーと一致した第３補間音声波形を作成する第３機能、
を有している。
【００４１】
音質判定部４０ではこれらの第１、第２及び第３補間音声波形による評価値Fd1, Fd2, Fd3をそれぞれ求め、評価値Fd1に対応する重複レベルLdと音質劣化レベルQL_1、評価値Fd2に対応する音質劣化レベルQL_2、及び評価値Fd3に対応する音質劣化レベルQL_3を予め決めたテーブルを参照して決める。
パケット作成部１５は、重複レベルLdの値及び音質劣化レベルQL_1、QL_2、QL_3間の比較結果に基づいて、Ld個のパケットに現フレームの音声データを格納して送出するか、１つのパケットに現フレームの音声データを格納し、残りのLd-1個のパケットに同じ補助情報（ピッチパラメータ、又はピッチパラメータとパワーパラメータ）をそれぞれ格納して送信するかを判定し、判定結果に従ってパケットを作成し送信する。これらの処理については後でフローチャートを参照して説明する。
【００４２】
図２４は補助情報作成部３０の構成例を示す。現フレームの音声信号はパワー計算部３０１に与えられてそのフレームの音声信号のパワーＰ＝Σxn 2が計算され、そのパワー値をパワーパラメータとして得る。一方、音声信号は線形予測部３０３に与えられてそのフレームの音声信号の線形予測係数を求める。得られた線形予測係数は平坦化部３０２に与えられ、線形予測分析によるスペクトル包絡の逆特性を持つ逆フィルタを構成する。これにより音声信号は逆フィルタ処理され、そのスペクトル包絡が平坦化される。逆フィルタ処理された音声信号は自己相関係数計算部３０４に与えられ、その自己相関係数
【数１】
【００４３】
図２５は補間音声作成部２０の機能構成を示す。図２の場合と同様に現フレームの復号音声信号はメモリ２０２の領域Ａ０に書き込まれると共に、それまで領域Ａ０〜Ａ４に保持されていた過去のフレームの音声信号は領域Ａ１〜Ａ５にシフトされる。紛失信号作成部２０３は第１、第２、及び第３補間信号作成部２１，２２，２３を有している。第１補間信号作成部２１は、前述の第１機能による第１補間音声信号を図２の場合と同様に、領域Ａ１〜Ａ５の波形から検出したピッチ長を使って切り出した波形の繰り返し連結合成により形成する。第２補間信号作成部２２は、前述の第２機能による第２補間音声信号を、補助情報作成部３０から与えられた補助情報である現フレームのピッチパラメータを使って領域Ａ１の音声波形からピッチ長の波形を切り出し、繰り返し連結して合成する。第３補間信号作成部２３は、前述の第３機能による第３補間音声信号を、前記第２補間信号作成部２２により作成された第２補間音声信号のパワーを補助情報作成部３０から補助情報として与えられた現フレームのパワーパラメータにより現フレームのパワーと等しくなるように調整することにより作成する。具体的には、例えばパワーパラメータをPpとし、パワー調整前の補間音声信号のパワーをPc＝Σyn 2とすると、K=(Pp/Pc)1/2を計算し、補間音声信号の各サンプルynにKを乗算することによりパワー調整された補間音声信号を得ることができる。
【００４４】
図２６は音質判定部４０の構成例を示す。音質判定部４０は図６の例と同様に評価値計算部４１と、重複送信判定部４２とから構成されている。評価値計算部４１は原音声信号Orgと復号音声信号DecからFw1=WSNR(Org, Dec)を計算する第１計算部４１２と、原音信号Orgと第１補間音声信号Com1からFw2_1=WSNR(Org, Com1)を計算する第2-1計算部４１３Ａと、原音信号Orgと第２補間音声信号Com2からFw2_2=WSNR(Org, Com2)を計算する第2-2計算部４１３Ｂと、原音信号Orgと第３補間音声信号Com3からFw2_3=WSNR(Org, Com3)を計算する第2-3計算部４１３Ｃと、第１評価値Fd1=Fw1-Fw2_1、第２評価値Fd2=Fw1-Fw2_2、第３評価値Fd3=Fw1-Fw2_3を計算する第３計算部４１１とを有している。これら評価値Fd1, Fd2, Fd3は重複送信判定部４２に与えられる。
【００４５】
重複送信判定部４２のテーブル格納部４２Ｔには、図２７に示す第１評価値Fd1に対する重複レベルLdと音質劣化レベルQL_1を規定するテーブルと、図２８に示す第２評価値Fd2に対する音質劣化レベルQL_2を規定するテーブルと、第３評価値Fd3に対する音質劣化レベルQL_3を規定する図２８と同様な図示してないテーブルとが格納されている。図２７,２８のテーブルにおいて、評価値の値が大きいほうが音質劣化レベルが段階的に大きくなるように決められている。なお、図２７のテーブルの例ではたまたま評価値Fd1に対する重複レベルLdと音質劣化レベルQL_1の値が同じになっているが、同じになる必要性はなく、これらの値は予め実験により決められる。
第１動作実施例
図２９は図２３の送信装置による第１の動作実施例を示す。ここでは図１で示した過去のフレームの波形とピッチ長を使用して補間音声信号Ext1を作成する場合と、現フレームのピッチと過去のフレームの波形を使って補間音声信号Ext2を作成する場合とを、音質劣化レベルによって選択する。ここで、補間音声作成部２０には現フレームの入力音声信号に対し、補助情報作成部３０で求めたピッチパラメータと、パワーパラメータと、現フレームの音声信号を符号化部１１で符号化し、その符号化音声を復号化部１２で復号化した復号音声信号とが与えられている。
ステップＳ１：補間音声作成部２０により原音声信号(Org)と復号音声信号(Dec)からFw1=WSNR(Org, Dec)を計算し、原音声信号(Org)と第１補間音声信号(Com1)からFw2=WSNR(Org, Com1)を計算し、原音声信号(Org)と第２補間音声信号(Com2)からFw3=WSNR(Org, Com2)を計算する。
ステップＳ２：差分評価値Fd1=Fw1-Fw2とFd2=Fw1-Fw3を計算する。
ステップＳ３〜Ｓ９Ｂにおいては、差分評価値Fd1が図２７のテーブルにおいてどの領域に属するか判定し、その領域に対応する重複レベルLdと音質劣化レベルQL_1の値をそれぞれ決定する。
ステップＳ１０〜Ｓ１６においては、差分評価値Fd2が図２８のテーブルにおいてどの領域に属するか判定し、その領域に対応する音質劣化レベルQL_2の値を決定する。
ステップＳ１７：音質劣化レベルQL_1がQL_2より小さいか、即ち、現フレームのピッチを用いて作成した補間音声信号Com2のほうが過去のフレームのピッチを用いて作成した補間音声信号Com1より音質劣化レベルが小さいか判定する。小さくない場合、即ち現フレームのピッチを使っても音質が改善されない場合、ステップＳ１８でLd個のパケットすべてに現フレームの符号化音声データを格納して順次送信する。
ステップＳ１９：音質劣化レベルQL_2がQL_1より小さければ、過去のフレームの音声信号だけで作成した補間音声信号Ext1より、現フレームの音声信号のピッチを使って過去のフレームの音声波形から切り出したピッチ長の波形により作成した補間音声信号Ext2のほうが音質が改善されるので、１個のパケットに現フレームの符号化音声データを格納し、Ld-1個のすべてのパケットにそれぞれ補助情報として現フレームのピッチパラメータを格納して送信する。
【００４６】
このようにすれば、受信側で現フレームの音声データを格納したパケットを受信できればその現フレームの音声信号を再生できるし、現フレームの音声データを格納したパケットが受信されなかった場合でも、現フレームの補助情報（ピッチパラメータ）を格納したパケットが受信できれば、その現フレームのピッチを使って過去のフレームの音声波形から補間音声信号を作成することにより音質劣化をある程度抑えることができる。
第２動作実施例
図３０に第２動作実施例を示す。この動作例において、ステップＳ１〜Ｓ１８は図２９のステップＳ１〜Ｓ１８とまったく同じであり、それ以降のステップが異なる。即ち、ステップＳ１９で劣化レベル差Ndup1=QL_1−QL_2を補助情報（ピッチパラメータ）の重複数と決め、ステップＳ２０でLd個のパケットのうち、Ndup1個のパケットに現フレームの補助情報（ここではピッチパラメータ）をそれぞれ格納し、残りのLd-Ndup1個のパケットにそれぞれ現フレームの符号化音声データを格納し、送信する。即ち、この動作例では、過去のフレームの音声データだけから補間音声信号を作成するよりも現フレームのピッチを使って作成したほうが音質劣化が少ない場合、その音質劣化の低減効果に応じて同一補助情報を送出するパケット重複数を変えることにより、同じ現フレームの符号化音声データを送出するパケットの重複数も相反的に変化できるようにしている。
第３動作実施例
図３１,３２に第３動作実施例を示す。この動作例では、第１及び第２動作例における第１及び第２補間音声信号Com1, Com2に加えて、更に現フレームのピッチパラメータとパワーパラメータを補助情報として使い、過去のフレームの波形から第３補間音声信号Com3を作成する。これに伴い、ステップＳ１では図３０におけるステップＳ１におけるＷＳＮＲの計算に更に第４評価値Fw4=WSNR(Org, Com3)の計算が追加され、ステップＳ２では図３０のステップＳ２におけるＷＳＮＲ差分計算として更にFd3=Fw1-Fw4の計算が追加される。また、図３０のステップＳ１０〜Ｓ１６によるFd2に対する音質劣化レベルQL_2の決定と同様なFd3に対する音質劣化レベルQL_3の決定ステップＳ１１０〜Ｓ１１６が追加されている。
【００４７】
ステップＳ１７ではQL_2とQL_3の小さいほうがQL_1より小さいか判定し、小さくなければステップＳ１８でLd個の全てのパケットに現フレームの符号化音声データをそれぞれ格納して送信する。QL_1より小さければ、ステップＳ１９でQL_3がQL_2より小さいか判定し、小さくなければステップＳ２０で図２９のステップＳ１９と同様に現フレームの符号化音声データを格納した１つのパケットと、現フレームのピッチパラメータを格納したLd-1個のパケットを作成し、送信する。QL_3がQL_2より小さければ、ステップＳ２１で現フレームの符号化音声データを格納した１個のパケットと、現フレームのピッチとパワーを格納したLd-1個のパケットを作成し、送信する。
第４動作実施例
第４動作実施例は第３動作実施例の変形であり、その前半のステップは第３動作実施例である図３１のステップＳ１〜Ｓ１６とまったく同じであり、図３１を兼用するものとする。ステップＳ１６より後の処理を図３３のステップＳ１１０〜Ｓ２３に示す。これらのうち、Fd3に対する音質劣化レベルQL_3を決めるステップＳ１１０〜Ｓ１１６も第３動作実施例の図３２に示すステップＳ１１０〜Ｓ１１６と同様であり、更にステップＳ１７，Ｓ１８も同様である。
【００４８】
ステップＳ１９でQL_3がQL_2より小さくない場合、補助情報として現フレームのピッチパラメータとパワーパラメータを使っても、現フレームのピッチパラメータのみを使う場合より補間音声信号の音質を改善できないことを意味し、ステップＳ２０でピッチパラメータに対する重複数をNdup1=QL_1−QL_2と決め、ステップＳ２１で現フレームのピッチパラメータをNdup1個のパケットにそれぞれ格納し、残りのLd-Ndup1個のパケットに現フレームの符号化音声データをそれぞれ格納して送信する。ステップＳ１９でQL_3がQL_2より小であれば、補助情報として現フレームのピッチパラメータだけを使うより、ピッチパラメータとパワーパラメータの両方を使ったほうが補間音声信号の音質が改善されることを意味しており、ステップＳ２２で補助情報（ピッチとパワー）に対する重複値をNdup2=QL_1−QL_3と決め、ステップＳ２３で現フレームの補助情報をNdup2個のパケットにそれぞれ格納し、残りのLd-Ndup2個の全てのパケットに現フレームの符号化音声データを格納して送信する。
【００４９】
図３４は図２３の送信装置に対応する受信装置の構成例を示す。この構成は図１３に示した受信装置に補助情報抽出部８１が追加されている。また、補間音声作成部７０は図３５に示すように、メモリ７０２と紛失信号生成部７０３と、信号選択部７０４とから構成されている。紛失信号生成部７０３はピッチ検出部７０３Ａと、波形切り出し部７０３Ｂと、フレーム波形合成部７０３Ｃと、ピッチ切替部７０３Ｄとから構成されている。
制御部５３は、受信されたパケットが格納するデータと同じフレームに対するパケットがバッファ５２に既に蓄積されているかチェックし、蓄積されてなければバッファ５２に受信パケットを蓄積する。この処理の詳細は図３６Ａのフローを参照して後で詳述する。
【００５０】
音声信号の再生処理においては、図３６Ｂのフローを参照して後でも説明するが、制御部５３は、現在必要とするフレームのパケットがバッファ５２に蓄積されているかチェックし、蓄積されてない場合はパケットロスと判定して制御信号CLSTを発生する。制御部５３が制御信号CLSTを発生すると、信号選択部７０４は紛失信号生成部７０３の出力を選択し、ピッチ切替部７０３Ｄはピッチ検出部７０３Ａの検出ピッチを選択して波形切り出し部７０３Ｂに与えてそのピッチ長の波形をメモリ７０２の領域Ａ１から切り出し、フレーム波形合成部７０３Ｃで切り出し波形から１フレーム長の波形に合成し、合成した波形を補間音声信号として出力選択部６３に与えると共に信号選択部７０４を介してメモリ７０２の領域Ａ０に書き込む。
【００５１】
制御部５３がバッファ５２中に現フレームの符号化音声データを格納したパケットを見つけた場合は、そのパケットを符号列構成部６１に与えて符号化音声データが取り出され、復号化部６２で復号化されて復号音声信号が出力信号選択部６３を介して出力されると共に、補間音声作成部７０のメモリ７０２の領域Ａ０に信号選択部７０４を介して書き込まれる。制御部５３がバッファ５２中に現フレームの補助情報を格納したパケットを見つけた場合は、そのパケットを補助情報抽出部８１に与える。
補助情報抽出部８１はそのパケットから現フレームの補助情報（ピッチパラメータ、又はピッチパラメータとパワーパラメータの組）を抽出し、補間音声作成部７０の紛失信号生成部７０３に与える。補助情報が与えられると補助情報中の現フレームのピッチパラメータがピッチ切替部７０３Ｄを介して波形切り出し部７０３Ｂに与えられ、従って、波形切り出し部７０３Ｂは与えられた現フレームのピッチ長の波形を領域Ａ１の音声波形から切り出し、それに基づいてフレーム波形合成部７０３Ｃにおいて１フレーム長の波形が合成され、補間音声信号として出力される。補助情報中に現フレームのパワーパラメータも含まれている場合は、フレーム波形合成部７０３Ｃはそのパワーパラメータにより、合成フレーム波形のパワーを調整し、補間音声信号として出力する。補間音声信号を作成した場合は、いずれも信号選択部７０４を介してメモリ７０２の領域Ａ０に書き込む。
【００５２】
図３６Ａは、パケット受信部５１で受信されたパケットを制御部５３の制御に従ってバッファ５２に蓄積する処理の例を示す。
ステップＳ１Ａでパケットが受信されたか判定し、受信されたならステップＳ２Ａでその受信パケットが格納するデータのフレーム番号と同じフレーム番号のデータを格納するパケットがバッファ５２内に既に存在するかチェックし、もし存在すればステップＳ３Ａでバッファ内のそのパケットのデータが符号化音声データであるかチェックする。もし符号化音声データであれば、受信パケットは不要であり、ステップＳ４Ａで受信パケットを破棄し、ステップＳ１Ａに戻り次のパケットを待つ。
【００５３】
ステップＳ３Ａで、バッファ内の同じフレームのパケットのデータが符号化音声データでなかった場合、即ち、補助情報であった場合、ステップＳ５Ａで受信パケットのデータが符号化音声データであるか判定し、符号化音声データでなかった場合（即ち補助情報であった場合）、ステップＳ４Ａで受信パケットを破棄し、ステップＳ１Ａに戻る。ステップＳ５Ａで受信パケットのデータが符号化音声データであった場合、ステップＳ６Ａでバッファ内にある同じフレームのパケットを受信パケットで置き換えてステップＳ１Ａに戻る。即ち、同じフレームについての受信パケットが符号化音声データであれば、補間音声を作成する必要はないので補助情報は不要である。ステップＳ２Ａでバッファ内に同じフレームに対するパケットがなかった場合は、ステップＳ７Ａで受信パケットをバッファ５２に蓄積し、ステップＳ１Ａに戻って次のパケットを待つ。
【００５４】
図３６Ｂは、制御部５３の制御に従ってバッファ５２から読み出したパケットから音声データを取り出し、再生音声信号を出力する処理の例を示す。
ステップＳ１Ｂでバッファ５２に必要とする現フレームに対するパケットが存在するかチェックし、存在しなければパケットロスと判定してステップＳ２Ｂで紛失信号生成部７０３のピッチ検出部７０３Ａにより過去のフレームからピッチを検出する。検出ピッチ長を使ってステップＳ３Ｂで過去のフレームの音声波形からピッチ長の波形を切り出し、１フレームの波形を合成し、ステップＳ７Ｂでその合成波形を補間音声信号としてメモリ７０２の領域Ａ０に格納し、ステップＳ８Ｂで補間音声信号を出力してステップＳ１Ｂに戻り、次のフレームの処理を開始する。
【００５５】
ステップＳ１Ｂで現フレームに対するパケットがバッファ５２に存在していた場合は、ステップＳ４Ｂでそのパケットのデータが補助情報であるか判定し、補助情報であればステップＳ５Ｂでその補助情報からピッチパラメータを抽出し、ステップＳ３Ｂでそのピッチパラメータを使って補間音声信号を作成する。ステップＳ４Ｂでバッファ内の現フレームに対するパケットが補助情報でなかった場合は、そのパケットのデータは符号化音声データであり、ステップＳ６Ｂでその符号化音声データを復号して音声波形データを得て、ステップＳ７Ｂでその音声波形データをメモリ４０２Ａの領域Ａ０に書き込み、ステップＳ８Ｂで音声信号として出力してステップＳ１Ｂに戻る。
【００５６】
図３６Ｂの処理は送信側による図３０の動作例に対応する処理であるが、図３１,３２，３３の動作例に対応する処理の場合は、ステップＳ５Ｂで括弧内に示すように更にパワーパラメータを補助情報から抽出し、ステップＳ３Ｂで括弧内に示すように、パワーパラメータに従って合成波形のパワーを調整する。
Claims (8)
- 入力音声信号をフレームごとにパケットにより送信する音声パケット送信方法であって、
(a-1) 現フレームの音声信号の特徴パラメータである少なくともピッチパラメータを含む補助情報を作成するステップと、
(a-2) 前記現フレームの音声信号に対して、前記現フレームと隣接する少なくとも１つの隣接フレームの音声信号から、その音声信号のピッチを有する第１の補間音声信号を作成するステップと、
(a-3) 前記補助情報中の少なくともピッチパラメータを使用して前記少なくとも１つの隣接フレームの音声信号から、前記現フレームの音声信号に対する第２の補間音声信号を作成するステップと、
(b-1) 前記第１補間音声信号の第１音質評価値を求めるステップと、
(b-2) 前記第２補間音声信号の第２音質評価値を求めるステップと、
(c-1) 前記第１音質評価値に基づいて音質が悪いほど段階的に大となる整数値の１以上の重複レベルと、音質が悪いほど段階的に大となる第１音質劣化レベルを決めるステップと、
(c-2) 前記第２音質評価値に基づいて音質が悪いほど段階的に大となる第２音質劣化レベルを決めるステップと、
(d) 前記第２音質劣化レベルが前記第１音質劣化レベルより小さくないときは、前記現フレームの音声信号のパケットを前記重複レベル数だけ作成し、前記第２音質劣化レベルが前記第１音質劣化レベルより小さいときは、前記現フレームの音声信号のパケットを１個以上と、前記補助情報のパケットを１個以上とを合計で前記重複レベルと同数だけ作成するステップと、
(e) 前記作成されたパケットをネットワークに送信するステップと、
を含む音声パケット送信方法。 - 請求項１記載の音声パケット送信方法において、
前記ステップ(c-2) は、更に前記第１音質劣化レベルと前記第２音質劣化レベルの差を補助情報重複数として計算するステップを含み、
前記ステップ(d) は、前記第２音質劣化レベルが前記第１音質劣化レベルより小さくないときに、前記補助情報のパケットを前記補助情報重複数だけ作成する。 - 入力音声信号をフレームごとにパケットにより送信する音声パケット送信方法であって、
(a-1) 現フレームの音声信号の特徴パラメータであるピッチパラメータとパワーパラメータを含む補助情報を作成するステップと、
(a-2) 前記現フレームの音声信号に対して、前記現フレームと隣接する少なくとも１つの隣接フレームの音声信号から、その音声信号のピッチを有する第１の補間音声信号を作成するステップと、
(a-3) 前記補助情報中の前記ピッチパラメータを使用して前記少なくとも１つの隣接フレームの音声信号から前記現フレームの音声信号に対する第２の補間音声信号を作成するステップと、
(a-4) 前記補助情報中の前記ピッチパラメータと前記パワーパラメータとを使って前記少なくとも１つの隣接フレームの音声信号から前記現フレームの音声信号に対する第３の補間音声信号を作成するステップと、
(b-1) 前記第１補間音声信号の第１音質評価値を求めるステップと、
(b-2) 前記第２補間音声信号の第２音質評価値を求めるステップと、
(b-3) 前記第３補間音声信号の第３音質評価値を求めるステップと、
(c-1)前記第１音質評価値に基づいて音質が悪いほど段階的に大となる整数値の１以上の重複レベルと、音質が悪いほど段階的に大となる第１音質劣化レベルを決めるステップと、
(c-2)前記第２音質評価値に基づいて音質が悪いほど段階的に大となる第２音質劣化レベルを決めるステップと、
(c-3)前記第３音質評価値に基づいて音質が悪いほど段階的に大となる第３音質劣化レベルを決めるステップと、
(d) 前記第２及び第３音質劣化レベルのうち小さい方が前記第１音質劣化レベルより小さくないときは、前記現フレームの音声信号のパケットを前記重複レベル数だけ作成し、
前記第２及び第３音質劣化レベルが前記第１音質劣化レベルより小さいときは、前記第３音質劣化レベルが前記第２音質劣化レベルより小さくなければ前記現フレームの音声信号のパケットを１個以上と、前記ピッチパラメータのパケットを１個以上とを合計で前記重複レベル数だけ作成し、前記第３音質劣化レベルが前記第２音質劣化レベルより小さければ前記現フレームの音声信号のパケットを１個以上と、前記ピッチパラメータと前記パワーパラメータを含む補助情報のパケットを１個以上とを合計で前記重複レベルと同数だけ作成するステップと、
(e) 前記作成されたパケットをネットワークに送信するステップと、
を含む音声パケット送信方法。 - 請求項３記載の音声パケット送信方法において、
前記ステップ(c-3) は、更に前記第１音質劣化レベルと前記第２音質劣化レベルの差を第１補助情報重複数として計算するステップと、前記第１音質劣化レベルと前記第３音質劣化レベルの差を第２補助情報重複数として計算するステップとを含み、
前記ステップ(d) は、前記第３音質劣化レベルが前記第２音質劣化レベルより小さくないときに、前記ピッチパラメータのパケットを前記第１補助情報重複数だけ作成し、前記第３音質劣化レベルが前記第２音質劣化レベルより小さいときは、前記ピッチパラメータと前記パワーパラメータを含む補助情報のパケットを前記第２補助情報重複数だけ作成する。 - 入力音声信号をフレームごとにパケットにより送信する音声パケット送信装置であって、
現フレームの音声信号のピッチパラメータを補助情報として作成する補助情報作成部と、
現フレームと隣接する少なくとも１つのフレームの音声信号から現フレームに対する補間音声信号を作成する補間音声作成部と、
少なくとも前記補間音声信号が入力され、その補間音声信号の音質評価値を計算する評価値計算部と、
前記音質評価値に基づき補間音声信号の音質が悪いほど段階的に大となる整数値の重複レベルを決める重複送信判定部と、
前記重複レベルにより指定される数だけ、前記現フレームの音声信号についてのパケットを作成するパケット作成部と、
前記作成された音声パケットをネットワークに送信する送信部とを含み、
前記補間音声作成部は前記現フレームに隣接する少なくとも１つのフレームの音声信号のみから第１補間音声信号を作成し、前記現フレームの前記ピッチパラメータを使って前記隣接する少なくとも１つのフレームの音声信号から第２補間音声信号を作成し、
前記評価値計算部は前記第１補間音声信号の第１音質評価値と、前記第２補間音声信号の第２音質評価値を求め、前記重複送信判定部は前記第１音質評価値に基づいて音質が悪いほど段階的に大となる前記重複レベルと第１音質劣化レベルを決め、前記第２音質評価値に基づいて音質が悪いほど段階的に大となる第２音質劣化レベルを決め、
前記パケット作成部は前記第２音質劣化レベルが前記第１音質劣化レベルより小さくないときは前記現フレームの音声信号のパケットを前記重複レベル数だけ作成し、前記第２音質劣化レベルが前記第１音質劣化レベルより小さいときは、前記現フレームの音声信号のパケットを１個以上と、前記補助情報のパケットを１個以上とを合計で前記重複レベル数と同数だけ作成する、
ことを特徴とする音声パケット送信装置。 - 入力音声信号をフレームごとにパケットにより送信する音声パケット送信装置であって、
現フレームの音声信号のピッチパラメータとパワーパラメータを補助情報として作成する補助情報作成部と、
現フレームと隣接する少なくとも１つのフレームの音声信号から現フレームに対する補間音声信号を作成する補間音声作成部と、
少なくとも前記補間音声信号が入力され、その補間音声信号の音質評価値を計算する評価値計算部と、
前記音質評価値に基づき補間音声信号の音質が悪いほど段階的に大となる整数値の重複レベルを決める重複送信判定部と、
前記重複レベルにより指定される数だけ、前記現フレームの音声信号についてのパケットを作成するパケット作成部と、
前記作成された音声パケットをネットワークに送信する送信部とを含み、
前記補間音声作成部は前記現フレームに隣接する少なくとも１つのフレームの音声信号のみから第１補間音声信号を作成し、前記現フレームのピッチパラメータを使って前記隣接する少なくとも１つのフレームの音声信号から第２補間音声信号を作成し、前記現フレームのピッチパラメータとパワーパラメータとを使って前記隣接する少なくとも１つのフレームの音声信号から第３補間音声信号を作成し、
前記評価値計算部は前記第１補間音声信号の第１音質評価値と、前記第２補間音声信号の第２音質評価値と、前記第３補間音声信号の第３音質評価値とを求め、
前記重複送信判定部は前記第１音質評価値に基づいて音質が悪いほど段階的に大となる前記重複レベルと第１音質劣化レベルを決め、前記第２音質評価値に基づいて音質が悪いほど段階的に大となる第２音質劣化レベルを決め、前記第３音質評価値に基づいて音質が悪いほど段階的に大となる第３音質劣化レベルを決め、
前記パケット作成部は、前記第２及び第３音質劣化レベルのうち小さい方が前記第１音質劣化レベルより小さくないときは、前記現フレームの音声信号のパケットを前記重複レベル数だけ作成し、前記第２及び第３音質劣化レベルのうち小さい方が前記第１音質劣化レベルより小さいときは、前記第３音質劣化レベルが前記第２音質劣化レベルより小さくなければ前記現フレームの音声信号のパケットを１個以上と、前記ピッチパラメータのパケットを１個以上とを合計で前記重複レベル数だけ作成し、前記第３音質劣化レベルが前記第２音質劣化レベルより小さければ、前記現フレームの音声信号のパケットを１個以上と、前記ピッチパラメータと前記パワーパラメータを含む補助情報のパケットを１個以上とを合計で前記重複レベル数と同数だけ作成する、
ことを特徴とする音声パケット送信装置。 - 請求項１又は３記載の音声パケット送信方法をコンピュータで実行可能なプログラム。
- 請求項１又は３に記載した音声パケット送信方法をコンピュータで実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004141375 | 2004-05-11 | ||
| JP2004141375 | 2004-05-11 | ||
| PCT/JP2005/008519 WO2005109402A1 (ja) | 2004-05-11 | 2005-05-10 | 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2005109402A1 JPWO2005109402A1 (ja) | 2008-03-21 |
| JP4320033B2 true JP4320033B2 (ja) | 2009-08-26 |
Family
ID=35320431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006516897A Active JP4320033B2 (ja) | 2004-05-11 | 2005-05-10 | 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7711554B2 (ja) |
| EP (1) | EP1746581B1 (ja) |
| JP (1) | JP4320033B2 (ja) |
| CN (1) | CN100580773C (ja) |
| DE (1) | DE602005019559D1 (ja) |
| WO (1) | WO2005109402A1 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200638335A (en) * | 2005-04-13 | 2006-11-01 | Dolby Lab Licensing Corp | Audio metadata verification |
| JP2007114417A (ja) * | 2005-10-19 | 2007-05-10 | Fujitsu Ltd | 音声データ処理方法及び装置 |
| WO2007063910A1 (ja) * | 2005-11-30 | 2007-06-07 | Matsushita Electric Industrial Co., Ltd. | スケーラブル符号化装置およびスケーラブル符号化方法 |
| WO2008007700A1 (fr) * | 2006-07-12 | 2008-01-17 | Panasonic Corporation | Dispositif de décodage de son, dispositif de codage de son, et procédé de compensation de trame perdue |
| EP2054876B1 (en) * | 2006-08-15 | 2011-10-26 | Broadcom Corporation | Packet loss concealment for sub-band predictive coding based on extrapolation of full-band audio waveform |
| JP5074749B2 (ja) * | 2006-12-04 | 2012-11-14 | 日本電信電話株式会社 | 音声信号受信装置、それに使用される音声パケット消失補償方法、その方法を実施するプログラム、及びそのプログラムを記録した記録媒体 |
| US7873064B1 (en) | 2007-02-12 | 2011-01-18 | Marvell International Ltd. | Adaptive jitter buffer-packet loss concealment |
| EP2172039B1 (en) * | 2007-06-25 | 2013-03-27 | Telefonaktiebolaget LM Ericsson (publ) | Continued telecommunication with weak links |
| CN101588341B (zh) * | 2008-05-22 | 2012-07-04 | 华为技术有限公司 | 一种丢帧隐藏的方法及装置 |
| US8537844B2 (en) * | 2009-10-06 | 2013-09-17 | Electronics And Telecommunications Research Institute | Ethernet to serial gateway apparatus and method thereof |
| US20110196673A1 (en) * | 2010-02-11 | 2011-08-11 | Qualcomm Incorporated | Concealing lost packets in a sub-band coding decoder |
| US8612242B2 (en) * | 2010-04-16 | 2013-12-17 | St-Ericsson Sa | Minimizing speech delay in communication devices |
| US20110257964A1 (en) * | 2010-04-16 | 2011-10-20 | Rathonyi Bela | Minimizing Speech Delay in Communication Devices |
| US8976675B2 (en) * | 2011-02-28 | 2015-03-10 | Avaya Inc. | Automatic modification of VOIP packet retransmission level based on the psycho-acoustic value of the packet |
| CN102833037B (zh) * | 2012-07-18 | 2015-04-29 | 华为技术有限公司 | 一种语音数据丢包的补偿方法及装置 |
| US8875202B2 (en) * | 2013-03-14 | 2014-10-28 | General Instrument Corporation | Processing path signatures for processing elements in encoded video |
| JP7059852B2 (ja) * | 2018-07-27 | 2022-04-26 | 株式会社Ｊｖｃケンウッド | 無線通信装置、音声信号制御方法、およびプログラム |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1097295A (ja) | 1996-09-24 | 1998-04-14 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号符号化方法及び復号化方法 |
| US6167060A (en) * | 1997-08-08 | 2000-12-26 | Clarent Corporation | Dynamic forward error correction algorithm for internet telephone |
| JP3734946B2 (ja) | 1997-12-15 | 2006-01-11 | 松下電器産業株式会社 | データ送出装置、データ受信装置及びデータ伝送装置 |
| JP3644477B2 (ja) * | 1998-10-09 | 2005-04-27 | 富士ゼロックス株式会社 | 音声受信装置および音声送受信装置 |
| WO2000041400A2 (en) * | 1999-01-06 | 2000-07-13 | Koninklijke Philips Electronics N.V. | System for the presentation of delayed multimedia signals packets |
| US7047190B1 (en) * | 1999-04-19 | 2006-05-16 | At&Tcorp. | Method and apparatus for performing packet loss or frame erasure concealment |
| FR2804813B1 (fr) * | 2000-02-03 | 2002-09-06 | Cit Alcatel | Procede de codage facilitant la restitution sonore des signaux de parole numerises transmis a un terminal d'abonne lors d'une communication telephonique par transmission de paquets et equipement mettant en oeuvre ce procede |
| KR100438167B1 (ko) * | 2000-11-10 | 2004-07-01 | 엘지전자 주식회사 | 인터넷 전화통신을 위한 음성신호 송수신장치 |
| JP2002162998A (ja) * | 2000-11-28 | 2002-06-07 | Fujitsu Ltd | パケット修復処理を伴なう音声符号化方法 |
| JP3628268B2 (ja) * | 2001-03-13 | 2005-03-09 | 日本電信電話株式会社 | 音響信号符号化方法、復号化方法及び装置並びにプログラム及び記録媒体 |
| US6910175B2 (en) * | 2001-09-14 | 2005-06-21 | Koninklijke Philips Electronics N.V. | Encoder redundancy selection system and method |
| JP3722366B2 (ja) * | 2002-02-22 | 2005-11-30 | 日本電信電話株式会社 | パケット構成方法及び装置、パケット構成プログラム、並びにパケット分解方法及び装置、パケット分解プログラム |
| JP4022427B2 (ja) * | 2002-04-19 | 2007-12-19 | 独立行政法人科学技術振興機構 | エラー隠蔽方法、エラー隠蔽プログラム、送信装置、受信装置及びエラー隠蔽装置 |
| JP4050961B2 (ja) | 2002-08-21 | 2008-02-20 | 松下電器産業株式会社 | パケット型音声通信端末 |
| US7251241B1 (en) * | 2002-08-21 | 2007-07-31 | Cisco Technology, Inc. | Devices, softwares and methods for predicting reconstruction of encoded frames and for adjusting playout delay of jitter buffer |
| JP2004120619A (ja) | 2002-09-27 | 2004-04-15 | Kddi Corp | オーディオ情報復号装置 |
| US7359979B2 (en) * | 2002-09-30 | 2008-04-15 | Avaya Technology Corp. | Packet prioritization and associated bandwidth and buffer management techniques for audio over IP |
-
2005
- 2005-05-10 WO PCT/JP2005/008519 patent/WO2005109402A1/ja not_active Application Discontinuation
- 2005-05-10 CN CN200580001518A patent/CN100580773C/zh not_active Expired - Fee Related
- 2005-05-10 JP JP2006516897A patent/JP4320033B2/ja active Active
- 2005-05-10 DE DE602005019559T patent/DE602005019559D1/de active Active
- 2005-05-10 EP EP05739165A patent/EP1746581B1/en not_active Not-in-force
- 2005-05-10 US US10/580,195 patent/US7711554B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| WO2005109402A1 (ja) | 2005-11-17 |
| EP1746581B1 (en) | 2010-02-24 |
| JPWO2005109402A1 (ja) | 2008-03-21 |
| US20070150262A1 (en) | 2007-06-28 |
| US7711554B2 (en) | 2010-05-04 |
| CN100580773C (zh) | 2010-01-13 |
| CN1906662A (zh) | 2007-01-31 |
| EP1746581A1 (en) | 2007-01-24 |
| EP1746581A4 (en) | 2008-05-28 |
| DE602005019559D1 (de) | 2010-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4320033B2 (ja) | 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体 | |
| JP4473869B2 (ja) | 音響信号のパケット通信方法、送信方法、受信方法、これらの装置およびプログラム | |
| US9270722B2 (en) | Method for concatenating frames in communication system | |
| US6389006B1 (en) | Systems and methods for encoding and decoding speech for lossy transmission networks | |
| US20020178012A1 (en) | System and method for compressed domain beat detection in audio bitstreams | |
| CN101471073B (zh) | 一种基于频域的丢包补偿方法、装置和系统 | |
| KR20070051878A (ko) | 스케일러블 부호화 장치 및 스케일러블 부호화 방법 | |
| KR20140124004A (ko) | 음성 주파수 신호 처리 방법 및 장치 | |
| JP2008529423A (ja) | 音声通信におけるフレーム消失キャンセル | |
| KR20090051760A (ko) | 에코 제거/억압 방법 및 장치 | |
| BRPI0611430A2 (pt) | codificador, decodificador e seus métodos | |
| KR20180094905A (ko) | 다수의 오디오 신호들의 인코딩 | |
| CN103456307B (zh) | 音频解码器中帧差错隐藏的谱代替方法及系统 | |
| JP4365653B2 (ja) | 音声信号送信装置、音声信号伝送システム及び音声信号送信方法 | |
| CN1929355B (zh) | 语音包丢失恢复系统以及方法 | |
| KR20070059860A (ko) | 디지털 오디오 패킷 손실을 복구하기 위한 방법 및 장치 | |
| KR100594599B1 (ko) | 수신단 기반의 패킷 손실 복구 장치 및 그 방법 | |
| JP2008139661A (ja) | 音声信号受信装置、それに使用される音声パケット消失補償方法、その方法を実施するプログラム、及びそのプログラムを記録した記録媒体 | |
| Rodbro et al. | Time-scaling of sinusoids for intelligent jitter buffer in packet based telephony | |
| JP4093174B2 (ja) | 受信装置および方法 | |
| Gokhale | Packet loss concealment in voice over internet | |
| JP2005534984A (ja) | 音声フレームのエラー軽減用の音声通信ユニットおよび方法 | |
| JP2003295900A (ja) | 音声処理方法、音声処理装置、音声処理プログラム | |
| JP2004020675A (ja) | 音声符号化／復号化方法及び音声符号化／復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090416 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090519 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090529 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120605 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4320033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130605 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140605 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |