JPWO2005109402A1 - 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体 - Google Patents

音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体 Download PDF

Info

Publication number
JPWO2005109402A1
JPWO2005109402A1 JP2006516897A JP2006516897A JPWO2005109402A1 JP WO2005109402 A1 JPWO2005109402 A1 JP WO2005109402A1 JP 2006516897 A JP2006516897 A JP 2006516897A JP 2006516897 A JP2006516897 A JP 2006516897A JP WO2005109402 A1 JPWO2005109402 A1 JP WO2005109402A1
Authority
JP
Japan
Prior art keywords
sound quality
audio signal
complementary
level
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006516897A
Other languages
English (en)
Other versions
JP4320033B2 (ja
Inventor
岳至 森
岳至 森
仲 大室
仲 大室
祐介 日和▲崎▼
祐介 日和▲崎▼
片岡　章俊
章俊 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2005109402A1 publication Critical patent/JPWO2005109402A1/ja
Application granted granted Critical
Publication of JP4320033B2 publication Critical patent/JP4320033B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

入力音声を符号化部（１１）で符号化し、この符号化音声を復号化部（１２）で復号化し、補完音声作成部（２０）で過去の復号音声を用いて現フレームの音声を補完する補完音声を作成し、音質判定部（４０）で入力音声と補完音声を用いて補完音声の音質を評価し、その音質評価値が低い程、段階的に大きな値をとる重複レベルを作り、パケット作成部（１５）で符号化音声に対し、重複レベルで指定される数の同一のパケットを作成して送信することにより受信側でパケットロスの生じる可能性を小さくする。

Description

この発明は、ＩＰ（インターネットプロトコル）ネットワークでの音声パケット送信方法、装置、及びその方法を実行するプログラムとそれを記録した記録媒体に関する。
現在インターネットではＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）（非特許文献１参照）パケットにより電子メールやＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）等さまざまな通信が行われている。
現在広く使われているインターネットはベストエフォート型のネットワークであり、パケットが確実に送信先に到着する保証がないため、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）（非特許文献２参照）プロトコルなどによる再送制御を実現した通信により確実なパケット通信を行うことが多い。しかしＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）など通信のリアルタイム性が重要となる場合には、パケットロス発生時に再送制御により紛失パケットを求めると、パケットの到着が大きく遅れるために、受信バッファにおける蓄積状態のパケット数を大きく設定しなければならず、リアルタイム性が損なわれてしまうという問題がある。そのためＶｏＩＰなどでは再送制御を行わないＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）（非特許文献３参照）プロトコルにより通信が行われることが多いが、ネットワークの輻輳時にパケットロスが発生し、音質の劣化が生じてしまう問題があった。
パケットを再送することなく音質劣化を防止する従来手法として、送信時にパケット損失率に応じて同じパケットを重複送信しパケット到着確率を上げることで、音切れを防止する手法があるが（特許文献１参照）パケットロスが頻繁に発生するのはネットワークの輻輳時であり、この状態で過剰にパケットを重複送信すると送信情報量の増加や送信パケット数の増加によりネットワークの更なる輻輳を招きパケットロスが更に増加してしまう問題がある。また、パケット損失率が高い状態の間は絶えずパケットを重複送信するためネットワーク送信インタフェースに過剰に負荷がかかってしまい、パケットの送信遅延を招いてしまうといった問題があった。
また、遅延を増やさずにパケットロスによる音質劣化を防止する手法として、音声データの補完手法があり、例えば消失部分のデータを過去のピッチ区間のデータを繰り返すことで補完するＧ．７１１ ａｐｐｅｎｄｉｘ Ｉ（非特許文献４参照）があるが、この方法では音声の立ち上がり区間のような信号が急激に変化している領域の音声データが欠落したときに、音声パワ、ピッチが元音声と異なるデータを過去から合成してしまうために異音が発生してしまうという問題があった。
受信側でパケットロスが生じることを送信側で予め想定し、送信側で現フレーム中のピッチ長の音声波形の繰り返しにより音声波形を合成し、その合成音声波形の次フレームの原音声波形に対する品質が閾値より小さければ、現フレームの音声符号と共に次フレームの圧縮音声符号をサブフレーム符号としてパケットにより送信することが提案されている（特許文献２）。この方法によれば、受信側では、現フレームのパケットロスが生じた場合、その前後のフレームのパケットにサブフレーム符号が含まれていなければ前フレーム中の１ピッチ長の波形から現フレームを合成し、もしサブフレーム符号が含まれていればそれを復号して使用する。いずれにしても原音声信号より品質の低下した音声波形が生じることになるが、補完波形の品質が規定より悪い場合に、現フレームに加えて前後パケットにサブコーデックの情報を加える方式のため、サブコーデックの情報を前後のパケットにより送信しても、３連続以上のパケットロスが発生すると、現フレームに対する符号化情報及びサブコーデックの符号化情報が共に利用できなくなり、復号音声の音質が劣化してしまう問題があった。
特開平１１−１７７６２３号公報 特開２００３−２４９９５７号公報 "Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ"，ＲＦＣ７９１，１９８１． "Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ"，ＲＦＣ７９３，１９８１． "Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ"，ＲＦＣ７６８，１９８０． ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｇ．７１１ Ａｐｐｅｎｄｉｘ Ｉ，"Ａ ｈｉｇｈ ｑｕａｌｉｔｙ ｌｏｗ−ｃｏｍｐｌｅｘｉｔｙ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｐａｃｋｅｔ ｌｏｓｓ ｃｏｎｃｅａｌｍｅｎｔ ｗｉｔｈ Ｇ．７１１"，ｐｐ．１−１８，１９９９． Ｊ．Ｎｕｒｍｉｎｅｎ，Ａ．Ｈｅｉｋｋｉｎｅｎ ＆ Ｊ．Ｓａａｒｉｎｅｎ，"Ｏｂｊｅｃｔｉｖｅ ｅｖａｌｕａｔｉｏｎ ｏｆ ｍｅｔｈｏｄｓ ｆｏｒ ｑｕａｎｔｉｚａｔｉｏｎ ｏｆ ｖａｒｉａｂｌｅ−ｄｉｍｅｎｓｉｏｎ ｓｐｅｃｔｒａｌ ｖｅｃｔｏｒｓ ｉｎ ＷＩ ｓｐｅｅｃｈ ｃｏｄｉｎｇ，"ｉｎ Ｐｒｏｃ．Ｅｕｒｏｓｐｅｅｃｈ ２００１，Ａａｌｂｏｒｇ，Ｄｅｎｍａｒｋ，Ｓｅｐ．２００１，ｐｐ．１９６９−１９７２
この発明は、上述の問題点に鑑みてなされたものであり、リアルタイム性が重要となる双方向音声通信を行う際に、遅延やネットワークへの過剰な通信負荷を抑えながら音声再生に重要なフレームデータのロスの発生を抑え、再生音質の劣化を軽減することができる音声パケット送信方法、その装置、およびプログラムの記録媒体を提供することを目的とする。
この発明によれば現処理フレーム音声信号を除いた音声信号から現処理フレーム音声信号に関する補完音声信号を作成し、その補完音声信号の音質評価値を計算し、この音質評価値に基づき、補完信号の音質が悪いほど段階的に大きな値をとる重複レベルを求め、この重複レベルにより指定される数だけ同一の音声パケットを作成し、この同一の音声パケットをネットワークに送信する。
この発明の構成によれば、補完音声信号により十分な再生音質が確保できないフレーム音声信号のみ重複送信されることになり、パケットロスが音声信号のうちどのタイミングで発生しても、パケット遅延を増加させることなく、かつネットワークに過剰な負荷をかけることなく、受信側で音質のよい再生音声信号を得ることができる。
［図１］図１Ａはこの発明の音声パケット送信装置の第１実施形態の機能構成例を示すブロック図であり、図１Ｂはパケットの構成例を示す図。
［図２］図１Ａ中の補完音声作成部２０の具体的機能構成例を示すブロック図。
［図３Ａ］波形合成方法を説明するための図。
［図３Ｂ］ピッチがフレームより長い場合の波形合成方法を説明するための図。
［図４］波形合成方法の他の例を説明するための図。
［図５］図５Ａは図４において波形を接続するための一方の重み関数の例を示す図であり、図５Ｂは他方の重み関数の例を示す図。
［図６］図１中の音質判定部４０の具体的機能構成例を示すブロック図。
［図７］音質評価値と重複レベルとの関係例を規定するテーブルの例を示す図。
［図８］音質評価値と重複レベルとの関係例を規定するテーブルの他の例を示す図。
［図９］音質評価値と重複レベルとの関係を規定するテーブルの更に他の例を示す図。
［図１０］図１における音質判定部４０の他の構成例を示す図。
［図１１］図１０の音質判定部を使用する場合の音質評価値と重複レベルの関係を規定するテーブルの例を示す図。
［図１２］図１における音質判定部４０とパケット生成部１０５の処理手順を示すフロー図。
［図１３］図１の送信装置に対応する受信装置の機能構成例を示すブロック図。
［図１４］図１４Ａは図１３における受信パケットの処理手順を示すフロー図であり、図１４Ｂは図１３における再生音声の生成手順を示すフロー図。
［図１５］この発明の音声パケット送信装置の第２実施形態の機能構成例を示すブロック図。
［図１６］図１５中の音質判定部４０の具体的機能構成例を示すブロック図。
［図１７］評価値と重複レベルとの関係を規定するテーブルの更に他の例を示す図。
［図１８］図１５の送信装置における音質判定部４０とパケット作成部１５の処理手順を示すフロー図。
［図１９］図１５に示した音声パケット送信装置に対応する音声パケット受信装置の機能構成例を示すブロック図。
［図２０］この発明の音声パケット送信装置の第３実施形態の機能構成例を示すブロック図。
［図２１］図２０中の補完音声作成部２０の具体的機能構成例を示すブロック図。
［図２２］図２０に示した送信装置に対応する受信装置の機能構成例を示すブロック図。
［図２３］この発明の音声パケット送信装置の第４実施形態の機能構成を示すブロック図。
［図２４］図２３における補助情報作成部３０の具体的構成例を示すブロック図。
［図２５］図２３における補完音声作成部２０の具体的構成例を示すブロック図。
［図２６］図２３における音質判定部４０の具体的構成例を示すブロック図。
［図２７］評価値と重複レベル及び音質劣化レベルとの関係を規定するテーブルの例を示す図。
［図２８］評価値と音質劣化レベルの関係を規定するテーブルの例を示す図。
［図２９］図２３の送信装置の第１動作例における音質判定部４０とパケット作成部１５の処理手順を示すフロー図。
［図３０］図２３の送信装置の第２動作例における音質判定部４０とパケット作成部１５の処理手順を示すフロー図。
［図３１］図２３の送信装置の第３動作例における音質判定部４０とパケット作成部１５の処理手順の前半部を示すフロー図。
［図３２］図３１の後半部のフロー図。
［図３３］図２３の送信装置の第４動作例における音質判定部４０とパケット作成部１５の処理手順の後半部のフロー図。
［図３４］図２３の送信装置に対応する受信装置の例を示すブロック図。
［図３５］図３４における補完音声作成部７０の具体的構成例を示すブロック図。
［図３６］図３６Ａは図３４における受信パケットの処理手順を示すフロー図であり、図３６Ｂは図３４における再生音声の生成処理手順を示すフロー図。
［第１実施形態］
図１に、この発明による音声パケット送信装置の第１実施形態の機能構成例を示す。この発明では、パケットはＵＤＰ／ＩＰプロトコルにより送受信される。ＵＤＰ／ＩＰプロトコルによれば、各パケットは図１Ｂに示すように、送信先アドレスＤＥＳＴ ＡＤＤ、送信元アドレスＯＲＧ ＡＤＤ、ＲＴＰフォーマットによるデータを含んでいる。このＲＴＰフォーマットにおけるデータとして音声信号のフレーム番号ＦＲ＃と音声データＤＡＴＡを含ませる。音声データは、入力されたＰＣＭ音声信号を符号化した符号化音声信号であっても、入力されたＰＣＭ音声信号そのままであってもよいが、この実施形態では、パケットに格納する音声データは符号化音声信号の場合である。以降の説明では１つのパケットに１フレームの音声データを格納して送信するものとして説明するが、１つのパケットに複数フレームの音声データを格納してもよい。
入力端子１００からのＰＣＭ音声入力信号は符号化部１１に入力されて符号化される。符号化部１１における符号化アルゴリズムは入力音声信号帯域に対応可能な符号化アルゴリズムであれば良く、ＩＴＵ−Ｔ Ｇ．７１１などの音声帯域信号（〜４ｋＨｚ）用符号化アルゴリズムやＩＴＵ−Ｔ Ｇ．７２２などの４ｋＨｚ帯域以上の広帯域信号用符号化アルゴリズムなども使用することが出来る。一般に符号化方法により異なるが、１フレームの音声信号の符号化により、その符号化方法で扱う複数種類のパラメータの符号が生成されるが、ここではそれらをまとめて単に符号化音声信号と呼ぶことにする。
符号化部１１から出力される符号化音声信号の符号列はパケット作成部１５に送られると同時に復号化部１２に送られ、復号化部１２で符号化部１１に対応した復号化アルゴリズムによりＰＣＭ音声信号に復号化される。復号化部１２において復号化された音声信号は補完音声作成部２０に送られ、補完音声作成部２０において、相手の受信装置においてパケットロスが発生した場合に行われる補完処理と同様な処理により補完音声信号が作成される。補完音声信号としては、現フレームより過去のフレームの波形から外挿法で作成してもよいし、現フレームの前後のフレームの波形から内挿法で作成してもよい。
図２に補完音声作成部２０の具体的機能構成例を示す。ここでは外挿法により補完音声信号を作成する。復号音声信号は入力端子２０１よりメモリ２０２の領域Ａ０に格納される。メモリ２０２の各領域Ａ０，…，Ａ５は符号化処理の分析フレーム長のＰＣＭ音声信号が格納できるサイズを有し、例えば８ｋＨｚサンプリングの音声信号を１０ｍｓごとの分析フレーム長で符号化を行う場合には、８０サンプルの復号音声信号が１つの領域に格納されることになる。新たな分析フレームの復号音声信号がメモリ２０２に入力されるごとに、既に領域Ａ０〜Ａ４に格納されている過去のフレームの復号音声信号は領域Ａ１〜Ａ５へシフトされ、現フレームの復号音声信号が領域Ａ０に書き込まれる。
メモリ２０２内に格納されている音声信号を用いて、現フレームに対する補完音声信号が紛失信号生成部２０３で作成される。紛失信号生成部２０３には、メモリ２０２内の０番領域Ａ０を除いた領域Ａ１〜Ａ５内の音声信号が入力される。ここではメモリ２０２において領域Ａ１〜Ａ５の連続５フレームの音声信号を紛失信号生成部２０３に送る場合について説明しているが、メモリ２０２には１フレーム（１パケット）分の補完音声信号を生成するアルゴリズムに必要な過去のＰＣＭ音声信号分だけは蓄積できるメモリを用意する必要がある。紛失信号生成部２０３ではこの例では入力された音声信号（現フレームの信号）を除く過去の復号音声信号（この実施例では５フレーム分）から現フレームに対する音声信号を補完法により作成して出力する。
紛失信号合成部２０３はピッチ検出部２０３Ａと、波形切り出し部２０３Ｂと、フレーム波形合成部２０３Ｃとから構成されている。ピッチ検出部２０３Ａはメモリ領域Ａ１〜Ａ５内の一連の音声波形の自己相関値をサンプル点を順次ずらして計算し、自己相関値のピークの間隔をピッチ長として検出する。図２のように過去の複数のフレームに対するメモリ領域Ａ１〜Ａ５を設けておくことにより、音声信号のピッチ長が１フレーム長より長い場合でも、ここでは５フレーム長以内であればピッチを検出することができる。
図３Ａではメモリ領域Ａ０〜Ａ５に書き込まれた音声波形データの現フレームｍから過去のフレームｍ−３の途中までの波形例を模式的に示している。波形切り出し部２０３Ｂは検出されたピッチ長の波形３Ａを現フレームより過去のフレームからコピーし、図３Ａに示すように１フレーム長となるまで過去側から未来方向に向かって波形３Ｂ、３Ｃ，３Ｄのように繰り返し貼り付けて現フレームに対する補完音声信号を合成する。ただし、一般にフレーム長はピッチ長の整数倍とは限らないので、貼り付ける最後の波形はそのフレームの残りの区間に合わせて切り取る。また、検出されたピッチ長が１フレーム長より長い場合は、例えば図３Ｂに示すように、現フレームの直前の１ピッチ長の波形の過去側開始点から１フレーム長の波形３Ａをコピーした波形３Ｂを現フレームの補完音声信号として使用する。
図４は補完音声信号の合成方法の他の例を示す。この例では検出したピッチ長よりΔＬ長い波形４Ａを繰り返しコピーして波形４Ｂ，４Ｃ，４Ｄを得る。これら互いに隣接する波形の前後端でΔＬだけ互いに重なるように波形を配置し、互いに重なる前後端のΔＬの区間にそれぞれ図５Ａ，５Ｂの重み関数Ｗ１，Ｗ２を乗算して互いに加算することにより切り出し波形を連続的に接続して１フレーム長の波形４Ｅを得ることができる。例えば、時点ｔ１とｔ２の重なり区間では、波形４Ｂの後端ΔＬに対し時点ｔ０からｔ１にかけて図５Ａに示す１から０に直線的に減少する重み関数Ｗ１を乗算し、同じ区間の波形４Ｃの前端ΔＬに図５Ｂに示す０から１に直線的に増加する重み関数Ｗ２を乗算し、これら乗算結果を区間ｔ０〜ｔ１に渡って互いにサンプル値を加算する。他の重なり区間も同様である。
このようにして、紛失信号生成部２０３は直前の少なくとも１つのフレームの音声信号に基づいて１フレーム分の補完音声信号を生成し、音質判定部４０に与える。紛失信号生成部２０３での補完音声信号生成アルゴリズムは例えば非特許文献４に示すもの、その他のものでもよい。
図１の説明に戻る。入力端子１００より音声信号（原音声信号）、復号化部１２の出力信号および補完音声作成部２０の出力信号は音質判定部４０に送られ、パケットの重複レベルＬｄを決定する。
図６に音質判定部４０の具体例を示す。まず補完音声信号の音質を表わす評価値が評価値計算部４１で計算される。ここでは入力端子１００に与えられた入力音声信号（原音声信号）と、復号化部１２の出力信号（復号音声信号）とから第１計算部４１２において現フレームの原音声信号に対する現フレームの復号音声信号の客観評価値Ｆｗ１を計算する。同様に現フレームの入力音声信号（原音声信号）と、過去のフレームの復号音声信号から作成した現フレームに対する補完音声作成部２０の出力信号（補完音声信号）とから第２計算部４１３において原音声信号に対する補完音声信号の客観評価値Ｆｗ２を計算する。具体的には、第１計算部４１２と第２計算部４１３で計算する客観評価値Ｆｗ１、Ｆｗ２としては例えばＳＮＲ（信号対雑音比）を使用する。ここでは、第１計算部４１２では１フレームの原音声信号のパワーＰｏｒｇを信号Ｓとし、１フレームの原音声信号と復号音声信号の差のパワー（両信号の対応するサンプルの値の差の２乗の１フレームにわたる総和）Ｐｄｉｆ１を雑音Ｎとして次式
Ｆｗ１＝１０ｌｏｇ（Ｓ／Ｎ）＝１０ｌｏｇ（Ｐｏｒｇ／Ｐｄｉｆ１） （１）
の計算を行う。各フレームのサンプル数をＮとし、原音声信号及び復号音声信号のフレーム内のｎ番目のサンプルイ直をそれぞれｘｎ、ｙｎとすれば、Ｐｏｒｇ＝Σｘｎ ２、Ｐｄｉｆ１＝Σ（ｘｎ−ｙｎ）２である。ただしΣはフレーム内のサンプル番号０からＮ−１についての総和をあらわす。同様に、第２計算部４１３では、客観評価値Ｆｗ２として、１フレームの原音声信号のパワーＰｏｒｇを信号Ｓとし、１フレームの原音声信号と補完音声信号の差のパワーＰｄｉｆ２を雑音Ｎとして、
Ｆｗ２＝１０ｌｏｇ（Ｓ／Ｎ）＝１０ｌｏｇ（Ｐｏｒｇ／Ｐｄｉｆ２） （２）
の計算を行う。ただし、補完音声信号のフレーム内のｎ番目のサンプル値をｚｎとすれば、Ｐｄｉｆ２＝Σ（ｘｎ−ｚｎ）２である。
信号対雑音比ＳＮＲの代わりにＷＳＮＲ（重み付信号対雑音比；例えば非特許文献５：Ｊ．Ｎｕｒｍｉｎｅｎ，Ａ．Ｈｅｉｋｋｉｎｅｎ ＆ Ｊ．Ｓａａｒｉｎｅｎ，“Ｏｂｊｅｃｔｉｖｅ ｅｖａｌｕａｔｉｏｎ ｏｆ ｍｅｔｈｏｄｓ ｆｏｒ ｑｕａｎｔｉｚａｔｉｏｎ ｏｆ ｖａｒｉａｂｌｅ−ｄｉｍｅｎｓｉｏｎ ｓｐｅｃｔｒａｌ ｖｅｃｔｏｒｓ ｉｎ ＷＩ ｓｐｅｅｃｈ ｃｏｄｉｎｇ，”ｉｎ Ｐｒｏｃ．Ｅｕｒｏｓｐｅｅｃｈ ２００１，Ａａｌｂｏｒｇ，Ｄｅｎｍａｒｋ，Ｓｅｐ．２００１，ｐｐ．１９６９−１９７２．参照）、やＳＮＲｓｅｇ（セグメンタルＳＮＲ：各フレームを複数の単位区間に分割し、それらの単位区間のＳＮＲの平均値）、ＷＳＮＲｓｅｇ，ＣＤ（ケプストラム距離、ここでは第１計算部４１２で求める原音声信号Ｏｒｇと復号音声信号Ｄｅｃとのケプストラム距離、以下ＣＤ（Ｏｒｇ，Ｄｅｃ）と表し、歪に対応する）やＰＥＳＱ（ＩＴＵ−Ｔ規格Ｐ．８６２に規定された総合評価尺度）などの評価値を使用することが出来る。また、客観評価値は１種類のみに限らず、２種類以上の客観評価値を併用しても良い。
第１計算部４１２および第２計算部４１３でそれぞれ計算された１種類以上の客観評価値を使って、第３計算部４１１で更に補完音声信号の音質を表わす評価値が計算されて重複送信判定部４２に送られる。重複送信判定部４２はこれら評価値に基づき、補完音声信号の音質が悪い程、段階的に大きな整数値となる重複レベルＬｄが決定される。つまり評価値により求めた音質を表わす値に応じて、離散的値をとる重複レベルＬｄの１つに決定される。パケットの重複レベルＬｄの決定方法としては、例えばＷＳＮＲを客観評価値として使用する場合、式（１）における差のパワーＰｄｉｆ１としてＰｄｉｆ１＝Σ（ｘｎ−ｙｎ）２を使う代わりに聴覚重み付けした差信号の２乗和ＷＰｄｉｆ１＝Σ［ＷＦ（ｘｎ−ｙｎ）］２を使用する。ＷＦ（ｘｎ−ｙｎ）は差信号（ｘｎ−ｙｎ）に対する聴覚重み付けフィルタ処理を表している。聴覚重み付けフィルタの係数は原音声信号の線形予測係数から決めることができる。式（２）についても同様である。
第１計算部４１２で得られたＷＳＮＲ出力をＦｗ１、第２計算部４１３で得られたＷＳＮＲ出力をＦｗ２として第３計算部４１１でＦｄ＝Ｆｗ１−Ｆｗ２が計算され、これが評価値として重複送信判定部４２に入力され、例えば図７のテーブルを参照してＦｄの値から重複レベルＬｄを決定すると効果的である。つまり復号音声信号の原音声信号に対する評価値Ｆｗ１から補完音声信号の原音声信号に対する評価値Ｆｗ２を差し引いた値Ｆｄが大きいほど、重複レベルＬｄを大きくする。Ｆｄ＝Ｆｗ１−Ｆｗ２が大きい程、補完音声信号の復号音声信号に対する音質が悪いから、そのような音声信号のフレームはなるべく高い確率で受信側に到着するように、同一フレームを重複して送るパケットの数を多くする。逆に、Ｆｄ＝Ｆｗ１−Ｆｗ２が小さい場合は、パケットロスが生じてそのフレームの音声信号を補完音声信号で代用しても受信側の再生音声信号の品質はそれ程劣化しない。よってＦｄ＝Ｆｗ１−Ｆｗ２が小さい場合は同一フレームに対するパケットの重複送信回数Ｌｄを小さくする。Ｌｄ＝１の場合は同一フレームについてのパケットは一回のみ送信する（即ち重複送信しない）。図７のテーブルは予め実験に基づいて作成し、重複送信判定部４２内のテーブル格納部４２Ｔに設けられている。
種別が異なる複数の客観評価値を使用してもよい。例えばＷＳＮＲとＣＤの値を客観評価値として使用する場合、前記第１計算部４１２でＣＤ（Ｏｒｇ，Ｄｅｃ）も計算し、この計算したＣＤをＦｄ１として、Ｆｄ＝Ｆｗ１−Ｆｗ２と共に重複送信判定部４２へ入力し、図８のテーブルを参照してＦｄの値から重複レベルＬｄを決定すると効果的である。原音声信号に対する復号音声信号の歪Ｆｄ１＝ＣＤ（Ｏｒｇ，Ｄｅｃ）が小さければ、先の場合と同様にＦｄ＝Ｆｗ１−Ｆｗ２が大きい程、重複レベルＬｄの値を大きくするが、Ｆｄ１が大きければ、パケットロスが生じなくても良い音質が得られないフレームであることを意味している。従って、重複レベル値Ｌｄの値を大きくしてもその利益が得られないからＬｄを小さくし、かつＦｄ＝Ｆｗ１−Ｆｗ２の値によるＬｄの差も２段階にしか分けていない。なお、評価値計算部４１で復号音声信号Ｄｅｃに対する補完音声信号Ｃｏｍのケプストラム距離ＣＤ（Ｄｅｃ，Ｃｏｍ）を計算して、この値Ｆｄ２も重複レベルＬｄの決定に用いても良い。そのテーブルの例を図９に示す。この例は図８のテーブルにおけるＦｄ＝Ｆｗ１−Ｆｗ２が２ｄＢ未満の領域と２ｄＢ以上１０ｄＢ未満の領域を１０ｄＢ未満の領域１つに置き換え、この領域においてＦｄ２が１未満の領域と１以上の領域の２つに分けたものである。
図１中のパケット作成部１５では、符号化部１１からの符号化音声信号を、音質判定部４０から受け取ったパケット重複レベルＬｄの数だけ複製し、Ｌｄ個のパケットを作成して送信部１６に送り、ネットワークにパケットを送信する。Ｌｄ＝１の時は、パケットを重複させることなく、１個だけ送信する。
前述の図６の例においては評価値計算部４１は客観評価値として原音声信号のパワーＰｏｒｇと、原音声信号と復号音声信号の差のパワーＰｄｉｆ１とから式（１）により求めた評価値Ｆｗ１と、原音声信号のパワーＰｏｒｇと、原音声信号と補完音声信号の差のパワーＰｄｉｆ２とから式（２）により求めた評価値Ｆｗ２との２つの評価値を使用して重複レベルＬｄを決める例を示したが、図１０に音質判定部４０の他の例を示すように、復号音声信号と補完音声信号だけから客観評価値を求めてもよい。即ち、評価値計算部４１では、復号音声信号のパワーＰｄｅｃと、復号音声信号と補完音声信号の差のパワーＰｄｉｆ’とから評価値Ｆｗ’を次式
Ｆｗ’＝１０ｌｏｇ（Ｐｄｅｃ／Ｐｄｉｆ’） （３）
により求める。この場合、差のパワーＰｄｉｆ’が大きくなれば評価値Ｆｗ’が小さくなり、それだけ補完音声信号の音質が悪くなることを意味している。重複送信判定部４２内のテーブルには例えば図１１に示すように、評価値Ｆｗ’が１０ｄＢ以上ではＬｄ＝１、２ｄＢ≦Ｆｗ’＜１０ｄＢではＬｄ＝２，Ｆｗ’＜２ｄＢではＬｄ＝３のように評価値Ｆｗ’に対し重複レベルＬｄを規定してある。このテーブルは予め実験に基づいて決めてある。
図１２は図６の音質判定部４０が図７のテーブルを使って重複レベルＬｄを求める場合の図１の送信装置における音質判定部４０とパケット作成部１５による処理手順を示す。ただし客観評価値として重み付信号対雑音比ＷＳＮＲを使用するものとする。以下の処理において、ステップＳ１〜Ｓ３は図６の評価値計算部４１により実行され、ステップＳ４〜Ｓ１０は重複送信判定部４２により実行され、ステップＳ１１は図１のパケット作成部１５により実行される。
ステップＳ１：評価値計算部４１において、原音声信号ＯｒｇのパワーＰｏｒｇと、原音信号Ｏｒｇと復号音声信号Ｄｅｃの聴覚重み付け差信号のパワーＷＰｄｉｆ１から
ＷＳＮＲ＝１０ｌｏｇ（Ｐｏｒｇ／ＷＰｄｉｆ１）を評価値Ｆｗ１として求める。以後この計算を
Ｆｗ１＝ＷＳＮＲ（Ｏｒｇ，Ｄｅｃ）と表すことにする。
ステップＳ２：評価値計算部４１において原音声信号のパワーＰｏｒｇと、原音信号と補完音声信号Ｃｏｍの聴覚重み付け差信号のパワーＷＰｄｉｆ２から
ＷＳＮＲ＝１０ｌｏｇ（Ｐｏｒｇ／ＷＰｄｉｆ２）を評価値Ｐｗ２として求める。以後この計算を
Ｆｗ２＝ＷＳＮＲ（Ｏｒｇ，Ｅｘｔ）と表すことにする。
ステップＳ３：差分Ｆｄ＝Ｆｗ１−Ｆｗ２を求める。
ステップＳ４：重複送信判定部４２においてＦｄ＜２ｄＢか判定し、２ｄＢより小であればステップＳ５でＬｄ＝１と決め、そうでなければステップＳ６に移る。
ステップＳ６：２ｄＢ≦Ｆｄ＜１０ｄＢであるか判定し、そうであればステップＳ７で図７のテーブルからＬｄ＝２と決め、そうでなければステップＳ８に移る。
ステップＳ８：１０ｄＢ≦Ｆｄ＜１５ｄＢか判定し、そうであればステップＳ９で図７のテーブルからＬｄ＝３と決め、そうでなければステップＳ１０でＬｄ＝４と決める。
ステップＳ１１：パケット作成部１５はＬｄ個のパケットにそれぞれ同じ現フレームの音声データを格納し、順次送信する。
図１に示した音声パケット送信装置と対応する音声パケット受信装置の機能構成を図１３に示す。受信装置は受信部５０と、符号構成部６１と、復号化部６２と、補完音声作成部７０と、出力信号選択部６３とから構成されている。受信部５０はパケット受信部５１と、バッファ５２と、制御部５３とから構成されている。制御部５３はパケット受信部５１で受信されたパケットが格納する音声データのフレーム番号と同じフレーム番号の音声データを格納したパケットが既にバッファ５２に蓄積されているかチェックし、もし既に蓄積されていれば、受信パケットを破棄し、蓄積されてなければその受信パケットをバッファ５２に蓄積する。
制御部５３はバッファ５２からフレーム番号順に、各フレーム番号の音声データを格納するパケットを探索し、パケットがあればそのパケットを取り出して符号列構成部６１に与える。符号列構成部６１は与えられたパケット中の１フレーム分の符号化音声信号を取り出し、符号化音声信号を構成する各種パラメータ符号を所定の順に並べて復号化部６２に与える。復号化部６２は与えられた符号化音声信号を復号して１フレーム分の音声信号を生成し、出力選択部６３と補完音声作成部７０に与える。バッファ５２に現フレームの符号化音声信号を格納するパケットがなかった場合、制御部５３はパケットロスを表す制御信号ＣＬＳＴを発生し、補完音声作成部７０と、出力信号選択部６３とに与える。
補完音声作成部７０は送信装置における補完音声作成部２０とほぼ同様の構成であり、メモリ７０２と、紛失信号生成部７０３とから構成されており、紛失信号生成部７０３の構成も図２に示した送信側における紛失信号生成部２０３と同様に構成されている。復号化部６２から復号音声信号が与えられると補完音声作成部７０は、制御信号ＣＬＳＴが与えられていなければ、まずメモリ７０２の領域Ａ０〜Ａ４の音声信号を領域Ａ１〜Ａ５にシフトし、与えられた復号音声信号を領域Ａ０に書き込む。さらに、出力信号選択部６３により選択された復号音声信号が再生音声信号として出力される。
制御部５３によりパケット紛失が検出され、制御信号ＣＬＳＴが発生された場合は、バッファ５２から現フレームのパケットが得られないので、補完音声作成部７０はメモリ７０２の領域Ａ０〜Ａ４の音声信号を領域Ａ１〜Ａ５にシフトし、これらシフトされた音声信号に基づいて紛失信号生成部７０３により補完音声信号を生成し、メモリ７０２の領域Ａ０に書き込むとともに、出力信号選択部６３を介して再生音声信号として出力する。
図１４Ａ、１４Ｂは図１３の受信装置によるパケット受信処理と、音声信号再生処理の手順を示す。パケット受信処理は、図１４Ａにおいて、ステップＳ１Ａでパケットが受信されたか判定し、受信されるとステップＳ２Ａでそのパケットが格納する音声データのフレーム番号と同じフレーム番号の音声データを格納したパケットが既にバッファ５２に蓄積されているか判定する。同じフレーム番号の音声データを格納したパケットが見つかればステップＳ３Ａで受信パケットを破棄し、ステップＳ１Ａで次のパケットを待つ。バッファ５２に同一フレーム番号の音声データを格納したパケットがなければ、ステップＳ４Ａで受信パケットをバッファ５２に蓄積し、ステップＳ１Ａに戻り次のパケットを待つ。
音声信号再生処理は、図１４Ｂにおいて、ステップＳ１Ｂでバッファ５２に現フレームの音声データが格納されたパケットが蓄積されているか判定し、あればステップＳ２Ｂでそのパケットを取り出して符号列構成部６１に与える。符号列構成部６１は与えられたパケットからから現フレームの音声データである符号化音声信号を取り出し、その符号化音声信号を構成するパラメータ符号を所定の順に配列して復号化部６２に与える。ステップＳ３Ｂで復号化部６２は符号化音声信号を復号して音声信号を生成し、ステップＳ４Ｂで音声信号をメモリ７０２に格納し、ステップＳ６Ｂで音声信号を出力する。ステップＳ１Ｂでバッファ５２に現フレームの音声データを格納したパケットがなかった場合は、ステップＳ５Ｂで前フレームの音声信号から補完音声信号を生成し、ステップＳ４Ｂでその生成した補完音声信号をメモリ７０２に格納し、ステップＳ４Ｂでその生成した補完音声信号を出力する。
［第２実施形態］
図１５に、この発明による音声パケット送信装置の第２実施形態の機能構成を示す。ここでは第１実施形態に示した符号化部１１、および復号化部１２を設けず、入力ＰＣＭ音声信号を直接パケット化し、送信する。入力端子１００よりのＰＣＭ入力音声信号から補完音声作成部２０にて補完音声信号を作成する。補完音声作成部２０の処理は図２に示した処理と同じである。ここで作成した補完音声信号は、音質判定部４０に送られる。音質判定部４０ではパケットの重複レベルＬｄを決定し、パケット作成部１５へ出力する。
図１６に音質判定部４０の具体例を示す。ここでは入力端子１００から送られた現フレームの入力ＰＣＭ原音声信号に対する、補完音声作成部２０の出力補完音声信号の客観評価値を評価値計算部４１で計算する。ここでは客観評価値としてＳＮＲやＷＳＮＲ、またはＳＮＲｓｅｇ，ＷＳＮＲｓｅｇ、ＣＤやＰＥＳＱなどの評価値を使用することが出来る。また客観評価値は１種類のみに限らず、２種類以上の客観評価値を併用しても良い。評価値計算部４１で計算された客観評価値は重複送信判定部４２に送られ、パケットの重複レベルＬｄを決定する。パケットの重複レベルＬｄの決定方法としては、例えばＷＳＮＲを客観評価値として使用する場合、評価値計算部４１のＷＳＮＲ出力をＦｗとし、図１７に示すようにＬｄを決定すると効果的である。この場合は評価値Ｆｗが大きい程、重複レベルＬｄを小さくする。この例では重複送信判定部４２内に図１７に示すテーブルを設けることになる。この場合は評価値計算部４１における計算は原音声信号のパワーを信号Ｓとし、原音声信号と補完音声信号との重み付き差信号のパワを雑音ＲとしてＷＳＮＲを計算しているから、ＷＳＮＲが大きければパケットロスに対して補完音声信号を用いても音質劣化が少ないため、ＷＳＮＲが大きい程、重複レベル値Ｌｄを小さくしている。
パケット作成部１５では、処理フレームサイズ分の入力ＰＣＭ音声信号を、音質判定部４０から受け取ったパケット重複レベルＬｄの数だけ複製し、Ｌｄ個のパケットを作成して送信部１６に送り、ネットワークにパケットを送信する。
図１８は図１５の送信装置において、図１７のテーブルを使って図１６の音質判定部４０により重複レベルＬｄを求める処理と、パケット作成部１５によるパケット作成処理の手順を示す。この例も評価値Ｆｗとして重み付信号対雑音比ＷＳＮＲを使用するものとする。ステップＳ１で原音声信号ＯｒｇのパワーＰｏｒｇと、原音声信号Ｏｒｇと補完音声信号Ｃｏｍの聴覚重み付き差信号のパワーＷＰｄｉｆから評価値Ｆｗを
ＷＳＮＲ＝１０ｌｏｇ（Ｐｏｒｇ／ＷＰｄｉｆ）
として求める。以降この計算をＦｗ＝ＷＳＮＲ（Ｏｒｇ，Ｃｏｍ）と表すことにする。ステップＳ２で評価値Ｆｗが２ｄＢ未満か判定し、そうであればステップＳ３で図１７のテーブルを参照してＦｗの値から重複レベルＬｄ＝３と決定する。Ｆｗが２ｄＢ未満でなければステップＳ４でＦｗが２ｄＢ以上、１０ｄＢ未満であるが判定し、そうであればステップＳ５で図１７のテーブルを参照してＬｄ＝２と決定し、そうでなければステップＳ６でＬｄ＝１と決定する。ステップＳ７でパケット作成部１５は決定された重複レベルＬｄに従って、Ｌｄ個の各パケットにそれぞれ現フレームの音声信号を格納して送信部１６に与え、順次送信する。
図１５に示した送信装置と対応するパケット受信装置を図１９に示す。受信部５０と補完音声作成部７０は図１３の受信部５０及び補完音声作成部７０と同様の構成である。ここでは受信部５０で受信したパケットデータからＰＣＭ音声信号構成部６４でＰＣＭ出力音声信号列を取り出す。送信側からパケットが重複して送られ、複数パケットを受信部５０で受信した場合には、２番目以降に到着した重複パケットは破棄される。パケットを正常に受信した場合、ＰＣＭ音声信号構成部６４でパケットからＰＣＭ音声信号が取り出され、出力信号選択部６３に送られると同時に次フレーム以降の補完音声信号のために補完音声作成部７０内のメモリ（図１３参照）に格納される。受信部５０より制御信号ＣＬＳＴでパケットロス発生が通知されると、補完音声作成部７０は図２を参照して説明した動作と同様に補完音声信号を作成し、出力信号選択部６３に送る。出力信号選択部６３では、受信部５０よりパケットロス発生が通知されると、補完音声作成部７０の出力補完音声信号を出力音声信号として選択し、パケットロスが発生していない場合にはＰＣＭ音声信号構成部６４の出力を出力音声信号として選択し、出力する。
［第３実施形態］
前述の各実施形態では、補完音声信号を過去のフレームから外挿法により作成する場合を示したが、この第３実施形態では現フレームに対し前後のフレームの波形から内挿法で補完音声信号を作成する。図２０に、この発明による音声パケット送信装置の第３実施形態の機能構成を示す。この実施例における符号化部１１、復号化部１２、音質判定部４０、パケット作成部１５、送信部１６の構成及び動作は図１の実施例のそれぞれ対応するものと同じである。この実施例は現フレームの音声信号に対する補完音声信号を、それより過去のフレームの音声信号と、現フレームの次のフレームの音声信号から内挿法により作成するように構成されている。
符号化部１１で符号化された符号化音声は１フレーム期間の遅延を与えるデータ遅延部１９に送られると同時に復号化部１２に送られる。復号化部１２において復号化された音声信号は１フレーム期間の遅延を与えるデータ遅延部１８を介して音質判定部４０に与えると共に、補完音声作成部２０に送られ、現フレームより１フレーム過去のフレームにパケットロスが発生したと仮定した場合の補完音声が作成される。音質判定部４０にはデータ遅延部１７により１フレーム期間遅延された原音声信号が与えられると共に、補完音声作成部２０からの補完音声信号と、データ遅延部１８からの復号音声信号が与えられ、図１の実施例と同様に重複レベルＬｄが決定される。
内挿法を用いたこの補完音声作成部２０の具体例を図２１に示す。復号音声信号はメモリ２０２の領域Ａ−１にコピーされる。メモリ２０２の領域Ａ０を除いた領域Ａ−１および領域Ａ１〜Ａ５にそれぞれ格納されている各１フレームの復号音声信号が紛失信号生成部２０３に入力される。この場合はパケットロスとなったフレームの音声信号に対する補完音声信号をそのフレームに対し、未来の先読み復号音声信号と過去の復号音声信号を用いて生成する。紛失信号生成部２０３では送信しようとする現フレームの音声信号に対し、過去の復号音声信号（この実施例中では５フレーム分）と前記現フレームに対して先読みした未来の復号音声信号（この実施例では１フレーム分）から前記現フレームの音声信号の補完音声信号を作成して出力する。
具体的には、例えば領域Ａ１〜Ａ５の音声信号をつかって図３Ａの場合と同様にピッチ長を検出し、そのピッチ長の波形を領域Ａ１の終了点（現フレームとの隣接点）から過去の方向に切り出して、繰り返し繋げて過去からの外挿波形を作成し、同様に領域Ａ０の開始点からピッチ長の波形を未来方向に切り出して、繰り返しつなげて未来からの外挿波形を作成し、これら２つの外挿波形の対応するサンプルをそれぞれ加算して２分の１とすることにより内挿音声信号を補完音声信号として得る。この例では未来フレームとして１フレーム長のメモリ領域Ａ−１を設けているので、ピッチ長が１フレーム以内の場合にしか適用できないが、未来フレーム用として複数フレームに渡るよう複数領域を設けることにより１フレーム長より長いピッチ長に対応できることは明らかである。その場合、その未来フレームの数に合わせてデータ遅延部１７，１８，１９の遅延量を増加する必要がある。次のフレームの復号音声信号がメモリ２０２に入力されると、各領域Ａ−１，…，Ａ４に格納されている復号音声信号を領域番号が１大きい領域Ａ０，…，Ａ５にシフトする。
図２０において入力端子１００よりの入力音声信号はデータ遅延部１７に送られ、１フレーム期間だけ遅延されて、音質判定部４０に送られる。また、復号化部１２からの復号音声信号もデータ遅延部１８により、１フレーム期間だけ遅延されて音質判定部４０に送られる。データ遅延部１７からの原音声信号、データ遅延部１８からの復号音声信号および補完音声作成部２０からの補完音声信号は音質判定部４０に送られ、パケットの重複レベルＬｄを決定する。音質判定部４０の動作は図６を参照して説明した動作と同様である。データ遅延部１９では、符号化部１１から送られた符号化音声信号を１フレーム期間遅らせてパケット作成部１５に送る。
図２０に示した音声パケット送信装置と対応する音声パケット受信装置の機能構成例を図２２に示す。受信部５０、符号列構成部６１、復号化部６２、出力信号選択部６３等の構成及び動作は図１３の対応するものと同様である。図１３と異なる点は、復号化部６２の出力側に復号音声信号に対し１フレーム期間の遅延を与えるデータ遅延部６７が設けられ、かつ、受信部５０内の制御部（図１３参照）がパケットロスを検出した場合に出力する制御信号ＣＬＳＴを１フレーム期間だけ遅延して補完音声作成部７０及び出力信号選択部６３に与えるデータ遅延部６８が設けられていること、補完音声作成部７０が図２１と同様の過去の復号音声信号と、現フレームに対して先読みした未来の復号音声信号とから内挿音声信号を補完音声信号として作成することである。
復号化部６２にて復号された復号音声信号はデータ遅延部６７に送られると同時に次フレーム以降の補完音声作成のために図２１に示したと同様な補完音声作成部７０内のメモリ（図示せず）に格納される。データ遅延部６７は復号音声信号を１フレーム遅延して出力信号選択部６３に送る。受信部５０よりデータ遅延部６８を通して１フレーム期間遅延されたパケットロスの発生が検出され、制御信号ＣＬＳＴが出力されると、制御信号ＣＬＳＴは１フレーム期間だけ遅延されて補完音声作成部７０及び出力信号選択部６３に与えられる。補完音声作成部７０は、図２１を参照して説明した動作と同様に補完音声信号を作成して出力する。出力信号選択部６３では、受信部５０よりパケットロス発生が通知されると、補完音声作成部７０の出力を出力音声信号として選択し、パケットロスが発生していない場合にはデータ遅延部６７の出力を出力音声信号として選択し、復号音声信号を出力する。
［第４実施形態］
前述の各実施形態では、送信側において現フレームの音声信号に対し、それに隣接する少なくとも１つのフレームから作成した補完音声信号の音質が規定より低い場合は、受信側においてそのフレームに対応するパケットの損失が生じた場合に隣接フレームから補完音声信号を作成しても、その音質が悪い。そこで、できるだけパケットロスが生じないよう、同じそのフレームの音声信号を格納するパケットを、予測される補完音声信号の客観評価値に応じて決めた重複レベルＬｄ回数だけ繰り返し送信する。その場合、補完音声信号の作成は、隣接する少なくとも１つのフレームの音声波形からピッチ長の波形をコピーして、１フレーム長となるまで繰り返し貼り付ける例を説明した。
以下の実施形態では、補完音声信号の作成に現フレームのピッチ（及びパワー）を使ったほうが音質の優れた補完音声信号を合成可能であると判定された場合に、現フレームの符号化音声信号をパケットで送信すると共に、重複して送信していた符号化音声信号の代わりに補助情報として同じ現フレームのピッチパラメータ（及びパワーパラメータ）を同じフレームについての別のパケットで送信し、受信側でそのフレームの符号化音声信号のパケットが受信できず、補助情報のパケットが受信された場合は、その補助情報を使用することにより送信するデータ量を減らすことができ、かつ、より品質の高い補完音声信号を作成することを可能にする。
図２３はそのような補助情報を使用可能にする送信装置の構成例を示す。この構成は、図１の送信装置に更に現フレームの音声信号のピッチパラメータ（及びパワーパラメータ）を求める補助情報作成部３０を設ける。また、補完音声作成部２０は、
（１）図１と同様に少なくとも１つの隣接フレームから、そのピッチを検出してピッチ長の波形を切り出し、その波形に基づいて第１補完音声信号を作成する第１機能と、
（２）前記第１機能において隣接フレームの波形から検出したピッチを使用する代わりに、補助情報作成部３０により検出した現フレームの音声信号のピッチパラメータを使用して隣接フレームの波形からピッチ長の波形を切り出して第２補完音声波形を作成する第２機能と、
（３）更に前記第２機能において補助情報作成部３０で求めた現フレームの音声信号のパワーパラメータに基づいて前記合成した第２補完音声信号のパワーを調整し、現フレームの音声信号パワーと一致した第３補完音声波形を作成する第３機能、
を有している。
音質判定部４０ではこれらの第１、第２及び第３補完音声波形による評価値Ｆｄ１，Ｆｄ２，Ｆｄ３をそれぞれ求め、評価値Ｆｄ１に対応する重複レベルＬｄと音質劣化レベルＱＬ＿１、評価値Ｆｄ２に対応する音質劣化レベルＱＬ＿２、及び評価値Ｆｄ３に対応する音質劣化レベルＱＬ＿３を予め決めたテーブルを参照して決める。
パケット作成部１５は、重複レベルＬｄの値及び音質劣化レベルＱＬ＿１、ＱＬ＿２、ＱＬ＿３間の比較結果に基づいて、Ｌｄ個のパケットに現フレームの音声データを格納して送出するか、１つのパケットに現フレームの音声データを格納し、残りのＬｄ−１個のパケットに同じ補助情報（ピッチパラメータ、又はピッチパラメータとパワーパラメータ）をそれぞれ格納して送信するかを判定し、判定結果に従ってパケットを作成し送信する。これらの処理については後でフローチャートを参照して説明する。
図２４は補助情報作成部３０の構成例を示す。現フレームの音声信号はパワー計算部３０１に与えられてそのフレームの音声信号のパワーＰ＝Σｘｎ ２が計算され、そのパワー値をパワーパラメータとして得る。一方、音声信号は線形予測部３０３に与えられてそのフレームの音声信号の線形予測係数を求める。得られた線形予測係数は平坦化部３０２に与えられ、線形予測分析によるスペクトル包絡の逆特性を持つ逆フィルタを構成する。これにより音声信号は逆フィルタ処理され、そのスペクトル包絡が平坦化される。逆フィルタ処理された音声信号は自己相関係数計算部３０４に与えられ、その自己相関係数
Figure 2005109402
が計算される。ただし、入力音声信号が８ｋＨｚの場合、４０≦ｋ≦１２０として計算するとよい。ピッチパラメータ決定部３０５は自己相関係数Ｒ（ｋ）がピークとなるｋをピッチとして検出し、ピッチパラメータを出力する。
図２５は補完音声作成部２０の機能構成を示す。図２の場合と同様に現フレームの復号音声信号はメモリ２０２の領域Ａ０に書き込まれると共に、それまで領域Ａ０〜Ａ４に保持されていた過去のフレームの音声信号は領域Ａ１〜Ａ５にシフトされる。紛失信号作成部２０３は第１、第２、及び第３補完信号作成部２１，２２，２３を有している。第１補完信号作成部２１は、前述の第１機能による第１補完音声信号を図２の場合と同様に、領域Ａ１〜Ａ５の波形から検出したピッチ長を使って切り出した波形の繰り返し連結合成により形成する。第２補完信号作成部２２は、前述の第２機能による第２補完音声信号を、補助情報作成部３０から与えられた補助情報である現フレームのピッチパラメータを使って領域Ａ１の音声波形からピッチ長の波形を切り出し、繰り返し連結して合成する。第３補完信号作成部２３は、前述の第３機能による第３補完音声信号を、前記第２補完信号作成部２２により作成された第２補完音声信号のパワーを補助情報作成部３０から補助情報として与えられた現フレームのパワーパラメータにより現フレームのパワーと等しくなるように調整することにより作成する。具体的には、例えばパワーパラメータをＰｐとし、パワー調整前の補完音声信号のパワーをＰｃ＝Σｙｎ ２とすると、Ｋ＝（Ｐｐ／Ｐｃ）１／２を計算し、補完音声信号の各サンプルｙｎにＫを乗算することによりパワー調整された補完音声信号を得ることができる。
図２６は音質判定部４０の構成例を示す。音質判定部４０は図６の例と同様に評価値計算部４１と、重複送信判定部４２とから構成されている。評価値計算部４１は原音声信号Ｏｒｇと復号音声信号ＤｅｃからＦｗ１＝ＷＳＮＲ（Ｏｒｇ，Ｄｅｃ）を計算する第１計算部４１２と、原音信号Ｏｒｇと第１補完音声信号Ｃｏｍ１からＦｗ２＿１＝ＷＳＮＲ（Ｏｒｇ，Ｃｏｍ１）を計算する第２−１計算部４１３Ａと、原音信号Ｏｒｇと第２補完音声信号Ｃｏｍ２からＦｗ２＿２＝ＷＳＮＲ（Ｏｒｇ，Ｃｏｍ２）を計算する第２−２計算部４１３Ｂと、原音信号Ｏｒｇと第３補完音声信号Ｃｏｍ３からＦｗ２＿３＝ＷＳＮＲ（Ｏｒｇ，Ｃｏｍ３）を計算する第２−３計算部４１３Ｃと、第１評価値Ｆｄ１＝Ｆｗ１−Ｆｗ２＿１、第２表価値Ｆｄ２＝Ｆｗ１−Ｆｗ２＿２、第３評価値Ｆｄ３＝Ｆｗ１−Ｆｗ２＿３を計算する第３計算部４１１とを有している。これら評価値Ｆｄ１，Ｆｄ２，Ｆｄ３は重複送信判定部４２に与えられる。
重複送信判定部４２のテーブル格納部４２Ｔには、図２７に示す第１評価値Ｆｄ１に対する重複レベルＬｄと音質劣化レベルＱＬ＿１を規定するテーブルと、図２８に示す第２評価値Ｆｄ２に対する音質劣化レベルＱＬ＿２を規定するテーブルと、第３評価値Ｆｄ３に対する音質劣化レベルＱＬ＿３を規定する図２８と同様な図示してないテーブルとが格納されている。図２７，２８のテーブルにおいて、評価値の値が大きいほうが音質劣化レベルが段階的に大きくなるように決められている。なお、図２７のテーブルの例ではたまたま評価値Ｆｄ１に対する重複レベルＬｄと音質劣化レベルＱＬ＿１の値が同じになっているが、同じになる必要性はなく、これらの値は予め実験により決められる。
第１動作実施例
図２９は図２３の送信装置による第１の動作実施例を示す。ここでは図１で示した過去のフレームの波形とピッチ長を使用して補完音声信号Ｅｘｔ１を作成する場合と、現フレームのピッチと過去のフレームの波形を使って補完音声信号Ｅｘｔ２を作成する場合とを、音質劣化レベルによって選択する。ここで、補完音声作成部２０には現フレームの入力音声信号に対し、補助情報作成部３０で求めたピッチパラメータと、パワーパラメータと、現フレームの音声信号を符号化部１１で符号化し、その符号化音声を復号化部１２で復号化した復号音声信号とが与えられている。
ステップＳ１：補完音声作成部２０により原音声信号（Ｏｒｇ）と復号音声信号（Ｄｅｃ）からＦｗ１＝ＷＳＮＲ（Ｏｒｇ，Ｄｅｃ）を計算し、原音声信号（Ｏｒｇ）と第１補完音声信号（Ｃｏｍ１）からＦｗ２＝ＷＳＮＲ（Ｏｒｇ，Ｃｏｍ１）を計算し、原音声信号（Ｏｒｇ）と第２補完音声信号（Ｃｏｍ２）からＦｗ３＝ＷＳＮＲ（Ｏｒｇ，Ｃｏｍ２）を計算する。
ステップＳ２：差分評価値Ｆｄ１＝Ｆｗ１−Ｆｗ２とＦｄ２＝Ｆｗ１−Ｆｗ３を計算する。
ステップＳ３〜Ｓ９Ｂにおいては、差分評価値Ｆｄ１が図２７のテーブルにおいてどの領域に属するか判定し、その領域に対応する重複レベルＬｄと音質劣化レベルＱＬ＿１の値をそれぞれ決定する。
ステップＳ１０〜Ｓ１６においては、差分評価値Ｆｄ２が図２８のテーブルにおいてどの領域に属するか判定し、その領域に対応する音質劣化レベルＱＬ＿２の値を決定する。
ステップＳ１７：音質劣化レベルＱＬ＿１がＱＬ＿２より小さいか、即ち、現フレームのピッチを用いて作成した補完音声信号Ｃｏｍ２のほうが過去のフレームのピッチを用いて作成した補完音声信号Ｃｏｍ１より音質劣化レベルが小さいか判定する。小さくない場合、即ち現フレームのピッチを使っても音質が改善されない場合、ステップＳ１８でＬｄ個のパケットすべてに現フレームの符号化音声データを格納して順次送信する。
ステップＳ１９：音質劣化レベルＱＬ＿２がＱＬ＿１より小さければ、過去のフレームの音声信号だけで作成した補完音声信号Ｅｘｔ１より、現フレームの音声信号のピッチを使って過去のフレームの音声波形から切り出したピッチ長の波形により作成した補完音声信号Ｅｘｔ２のほうが音質が改善されるので、１個のパケットに現フレームの符号化音声データを格納し、Ｌｄ−１個のすべてのパケットにそれぞれ補助情報として現フレームのピッチパラメータを格納して送信する。
このようにすれば、受信側で現フレームの音声データを格納したパケットを受信できればその現フレームの音声信号を再生できるし、現フレームの音声データを格納したパケットが受信されなかった場合でも、現フレームの補助情報（ピッチパラメータ）を格納したパケットが受信できれば、その現フレームのピッチを使って過去のフレームの音声波形から補完音声信号を作成することにより音質劣化をある程度抑えることができる。
第２動作実施例
図３０に第２動作実施例を示す。この動作例において、ステップＳ１〜Ｓ１８は図２９のステップＳ１〜Ｓ１８とまったく同じであり、それ以降のステップが異なる。即ち、ステップＳ１９で劣化レベル差Ｎｄｕｐ１＝ＱＬ＿１−ＱＬ＿２を補助情報（ピッチパラメータ）の重複数と決め、ステップＳ２０でＬｄ個のパケットのうち、Ｎｄｕｐ１個のパケットに現フレームの補助情報（ここではピッチパラメータ）をそれぞれ格納し、残りのＬｄ−Ｎｄｕｐ１個のパケットにそれぞれ現フレームの符号化音声データを格納し、送信する。即ち、この動作例では、過去のフレームの音声データだけから補完音声信号を作成するよりも現フレームのピッチを使って作成したほうが音質劣化が少ない場合、その音質劣化の低減効果に応じて同一補助情報を送出するパケット重複数を変えることにより、同じ現フレームの符号化音声データを送出するパケットの重複数も相反的に変化できるようにしている。
第３動作実施例
図３１，３２に第３動作実施例を示す。この動作例では、第１及び第２動作例における第１及び第２補完音声信号Ｃｏｍ１，Ｃｏｍ２に加えて、更に現フレームのピッチパラメータとパワーパラメータを補助情報として使い、過去のフレームの波形から第３補完音声信号Ｃｏｍ３を作成する。これに伴い、ステップＳ１では図３０におけるステップＳ１におけるＷＳＮＲの計算に更に第４評価値Ｆｗ４＝ＷＳＮＲ（Ｏｒｇ，Ｃｏｍ３）の計算が追加され、ステップＳ２では図３０のステップＳ２におけるＷＳＮＲ差分計算として更にＦｄ３＝Ｆｗ１−Ｆｗ４の計算が追加される。また、図３０のステップＳ１０〜Ｓ１６によるＦｄ２に対する音質劣化レベルＱＬ＿２の決定と同様なＦｄ３に対する音質劣化レベルＱＬ＿３の決定ステップＳ１１０〜Ｓ１１６が追加されている。
ステップＳ１７ではＱＬ＿２とＱＬ＿３の小さいほうがＱＬ＿１より小さいか判定し、小さくなければステップＳ１８でＬｄ個の全てのパケットに現フレームの符号化音声データをそれぞれ格納して送信する。ＱＬ＿１より小さければ、ステップＳ１９でＱＬ＿３がＱＬ＿２より小さいか判定し、小さくなければステップＳ２０で図２９のステップＳ１９と同様に現フレームの符号化音声データを格納した１つのパケットと、現フレームのピッチパラメータを格納したＬｄ−１個のパケットを作成し、送信する。ＱＬ＿３がＱＬ＿２より小さければ、ステップＳ２１で現フレームの符号化音声データを格納した１個のパケットと、現フレームのピッチとパワーを格納したＬｄ−１個のパケットを作成し、送信する。
第４動作実施例
第４動作実施例は第３動作実施例の変形であり、その前半のステップは第３動作実施例である図３１のステップＳ１〜Ｓ１６とまったく同じであり、図３１を兼用するものとする。ステップＳ１６より後の処理を図３３のステップＳ１１０〜Ｓ２３に示す。これらのうち、Ｆｄ３に対する音質劣化レベルＱＬ＿３を決めるステップＳ１１０〜Ｓ１１６も第３動作実施例の図３２に示すステップＳ１１０〜Ｓ１１６と同様であり、更にステップＳ１７，Ｓ１８も同様である。
ステップＳ１９でＱＬ＿３がＱＬ＿２より小さくない場合、補助情報として現フレームのピッチパラメータとパワーパラメータを使っても、現フレームのピッチパラメータのみを使う場合より補完音声信号の音質を改善できないことを意味し、ステップＳ２０でピッチパラメータに対する重複数をＮｄｕｐ１＝ＱＬ＿１−ＱＬ＿２と決め、ステップＳ２１で現フレームのピッチパラメータをＮｄｕｐ１個のパケットにそれぞれ格納し、残りのＬｄ−Ｎｄｕｐ１個のパケットに現フレームの符号化音声データをそれぞれ格納して送信する。ステップＳ１９でＱＬ＿３がＱＬ＿２より小であれば、補助情報として現フレームのピッチパラメータだけを使うより、ピッチパラメータとパワーパラメータの両方を使ったほうが補完音声信号の音質が改善されることを意味しており、ステップＳ２２で補助情報（ピッチとパワー）に対する重複値をＮｄｕｐ２＝ＱＬ＿１−ＱＬ＿３と決め、ステップＳ２３で現フレームの補助情報をＮｄｕｐ２個のパケットにそれぞれ格納し、残りのＬｄ−Ｎｄｕｐ２個の全てのパケットに現フレームの符号化音声データを格納して送信する。
図３４は図２３の送信装置に対応する受信装置の構成例を示す。この構成は図１３に示した受信装置に補助情報抽出部８１が追加されている。また、補完音声作成部７０は図３５に示すように、メモリ７０２と紛失信号生成部７０３と、信号選択部７０４とから構成されている。紛失信号生成部７０３はピッチ検出部７０３Ａと、波形切り出し部７０３Ｂと、フレーム波形合成部７０３Ｃと、ピッチ切替部７０３Ｄとから構成されている。
制御部５３は、受信されたパケットが格納するデータと同じフレームに対するパケットがバッファ５２に既に蓄積されているかチェックし、蓄積されてなければバッファ５２に受信パケットを蓄積する。この処理の詳細は図３６Ａのフローを参照して後で詳述する。
音声信号の再生処理においては、図３６Ｂのフローを参照して後でも説明するが、制御部５３は、現在必要とするフレームのパケットがバッファ５２に蓄積されているかチェックし、蓄積されてない場合はパケットロスと判定して制御信号ＣＬＳＴを発生する。制御部５３が制御信号ＣＬＳＴを発生すると、信号選択部７０４は紛失信号生成部７０３の出力を選択し、ピッチ切替部７０３Ｄはピッチ検出部７０３Ａの検出ピッチを選択して波形切り出し部７０３Ｂに与えてそのピッチ長の波形をメモリ７０２の領域Ａ１から切り出し、フレーム波形合成部７０３Ｃで切り出し波形から１フレーム長の波形に合成し、合成した波形を補完音声信号として出力選択部６３に与えると共に信号選択部７０４を介してメモリ７０２の領域Ａ０に書き込む。
制御部５３がバッファ５２中に現フレームの符号化音声データを格納したパケットを見つけた場合は、そのパケットを符号列構成部６１に与えて符号化音声データが取り出され、復号化部６２で復号化されて復号音声信号が出力信号選択部６３を介して出力されると共に、補完音声作成部７０のメモリ７０２の領域Ａ０に信号選択部７０４を介して書き込まれる。制御部５３がバッファ５２中に現フレームの補助情報を格納したパケットを見つけた場合は、そのパケットを補助情報抽出部８１に与える。
補助情報抽出部８１はそのパケットから現フレームの補助情報（ピッチパラメータ、又はピッチパラメータとパワーパラメータの組）を抽出し、補完音声作成部７０の紛失信号生成部７０３に与える。補助情報が与えられると補助情報中の現フレームのピッチパラメータがピッチ切替部７０３Ｄを介して波形切り出し部７０３Ｂに与えられ、従って、波形切り出し部７０３Ｂは与えられた現フレームのピッチ長の波形を領域Ａ１の音声波形から切り出し、それに基づいてフレーム波形合成部７０３Ｃにおいて１フレーム長の波形が合成され、補完音声信号として出力される。補助情報中に現フレームのパワーパラメータも含まれている場合は、フレーム波形合成部７０３Ｃはそのパワーパラメータにより、合成フレーム波形のパワーを調整し、補完音声信号として出力する。補完音声信号を作成した場合は、いずれも信号選択部７０４を介してメモリ７０２の領域Ａ０に書き込む。
図３６Ａは、パケット受信部５１で受信されたパケットを制御部５３の制御に従ってバッファ５２に蓄積する処理の例を示す。
ステップＳ１Ａでパケットが受信されたか判定し、受信されたならステップＳ２Ａでその受信パケットが格納するデータのフレーム番号と同じフレーム番号のデータを格納するパケットがバッファ５２内に既に存在するかチェックし、もし存在すればステップＳ３Ａでバッファ内のそのパケットのデータが符号化音声データであるかチェックする。もし符号化音声データであれば、受信パケットは不要であり、ステップＳ４Ａで受信パケットを破棄し、ステップＳ１Ａに戻り次のパケットを待つ。
ステップＳ３Ａで、バッファ内の同じフレームのパケットのデータが符号化音声データでなかった場合、即ち、補助情報であった場合、ステップＳ５Ａで受信パケットのデータが符号化音声データであるか判定し、符号化音声データでなかった場合（即ち補助情報であった場合）、ステップＳ４Ａで受信パケットを破棄し、ステップＳ１Ａに戻る。ステップＳ５Ａで受信パケットのデータが符号化音声データであった場合、ステップＳ６Ａでバッファ内にある同じフレームのパケットを受信パケットで置き換えてステップＳ１Ａに戻る。即ち、同じフレームについての受信パケットが符号化音声データであれば、補完音声を作成する必要はないので補助情報は不要である。ステップＳ２Ａでバッファ内に同じフレームに対するパケットがなかった場合は、ステップＳ７Ａで受信パケットをバッファ５２に蓄積し、ステップＳ１Ａに戻って次のパケットを待つ。
図３６Ｂは、制御部５３の制御に従ってバッファ５２から読み出したパケットから音声データを取り出し、再生音声信号を出力する処理の例を示す。
ステップＳ１Ｂでバッファ５２に必要とする現フレームに対するパケットが存在するかチェックし、存在しなければパケットロスと判定してステップＳ２Ｂで紛失信号生成部７０３のピッチ検出部７０３Ａにより過去のフレームからピッチを検出する。検出ピッチ長を使ってステップＳ３Ｂで過去のフレームの音声波形からピッチ長の波形を切り出し、１フレームの波形を合成し、ステップＳ７Ｂでその合成波形を補完音声信号としてメモリ７０２の領域Ａ０に格納し、ステップＳ８Ｂで補完音声信号を出力してステップＳ１Ｂに戻り、次のフレームの処理を開始する。
ステップＳ１Ｂで現フレームに対するパケットがバッファ５２に存在していた場合は、ステップＳ４Ｂでそのパケットのデータが補助情報であるか判定し、補助情報であればステップＳ５Ｂでその補助情報からピッチパラメータを抽出し、ステップＳ３Ｂでそのピッチパラメータを使って補完音声信号を作成する。ステップＳ４Ｂでバッファ内の現フレームに対するパケットが補助情報でなかった場合は、そのパケットのデータは符号化音声データであり、ステップＳ６Ｂその符号化音声データを復号して音声波形データを得て、ステップＳ７Ｂでその音声波形データを目盛り４０２Ａの領域Ａ０に書き込み、ステップＳ８Ｂで音声信号として出力してステップＳ１Ｂに戻る。
図３６Ｂの処理は送信側による図３０の動作例に対応する処理であるが、図３１，３２，３３の動作例に対応する処理の場合は、ステップＳ５Ｂで括弧内に示すように更にパワーパラメータを補助情報から抽出し、ステップＳ３Ｂで括弧内に示すように、パワーパラメータに従って合成波形のパワーを調整する。
図４は補完音声信号の合成方法の他の例を示す。この例では検出したピッチ長よりΔＬ長い波形４Ａを繰り返しコピーして波形４Ｂ，４Ｃ，４Ｄを得る。これら互いに隣接する波形の前後端でΔＬだけ互いに重なるように波形を配置し、互いに重なる前後端のΔＬの区間にそれぞれ図５Ａ，５Ｂの重み関数W1, W2を乗算して互いに加算することにより切り出し波形を連続的に接続して１フレーム長の波形４Ｅを得ることができる。例えば、時点t1とt2の重なり区間では、波形４Ｂの後端ΔＬに対し時点t1からt2にかけて図５Ａに示す１から０に直線的に減少する重み関数W1を乗算し、同じ区間の波形４Ｃの前端ΔＬに図５Ｂに示す０から１に直線的に増加する重み関数W2を乗算し、これら乗算結果を区間t1〜t2に渡って互いにサンプル値を加算する。他の重なり区間も同様である。
図１中のパケット作成部１５では、符号化部１１からの符号化音声信号を、音質判定部４０から受け取ったパケット重複レベルＬｄの数だけ複製し、Ｌｄ個のパケットを作成して送信部１６に送り、ネットワークにパケットを送信する。Ｌｄ＝１の時は、パケットを重複させることなく、１個だけ送信する。
前述の図６の例においては評価値計算部４１は客観評価値として原音声信号のパワーPorgと、原音声信号と復号音声信号の差のパワーPdif1とから式(1)により求めた評価値Fw1と、原音声信号のパワーPorgと、原音声信号と補完音声信号の差のパワーPdif2とから式(2)により求めた評価値Fw2との２つの評価値を使用して重複レベルＬｄを決める例を示したが、図１０に音質判定部４０の他の例を示すように、復号音声信号と補完音声信号だけから客観評価値を求めてもよい。即ち、評価値計算部４１では、復号音声信号のパワーPdecと、復号音声信号と補完音声信号の差のパワーPdif'とから評価値Fw’を次式
Fw’＝10log(Pdec/Pdif') (3)
により求める。この場合、差のパワーPdif'が大きくなれば評価値Fw’が小さくなり、それだけ補完音声信号の音質が悪くなることを意味している。重複送信判定部４２内のテーブルには例えば図１１に示すように、評価値Fw’が２ｄＢ未満ではＬｄ＝１、２ｄＢ≦Fw’＜１０ｄＢではＬｄ＝２，Fw’≧１０ｄＢではＬｄ＝３のように評価値Fw’に対し重複レベルＬｄを規定してある。このテーブルは予め実験に基づいて決めてある。
ステップＳ２：評価値計算部４１において原音声信号のパワーPorgと、原音声信号と補完音声信号Comの聴覚重み付け差信号のパワーWPdif2からWSNR=10log(Porg/WPdif2)を評価値Pw2として求める。以後この計算をFw2=WSNR(Org, Ext)と表すことにする。
ステップＳ３：差分Fd=Fw1-Fw2を求める。
ステップＳ４：重複送信判定部４２においてＦｄ＜２ｄＢか判定し、２ｄＢより小であればステップＳ５でＬｄ＝１と決め、そうでなければステップＳ６に移る。
ステップＳ６：２ｄＢ≦Ｆｄ＜１０ｄＢであるか判定し、そうであればステップＳ７で図７のテーブルからＬｄ＝２と決め、そうでなければステップＳ８に移る。
ステップＳ８：１０ｄＢ≦Ｆｄ＜１５ｄＢか判定し、そうであればステップＳ９で図７のテーブルからＬｄ＝３と決め、そうでなければステップＳ１０でＬｄ＝４と決める。
ステップＳ１１：パケット作成部１５はＬｄ個のパケットにそれぞれ同じ現フレームの音声データを格納し、順次送信する。
図１に示した音声パケット送信装置と対応する音声パケット受信装置の機能構成を図１３に示す。受信装置は受信部５０と、符号列構成部６１と、復号化部６２と、補完音声作成部７０と、出力信号選択部６３とから構成されている。受信部５０はパケット受信部５１と、バッファ５２と、制御部５３とから構成されている。制御部５３はパケット受信部５１で受信されたパケットが格納する音声データのフレーム番号と同じフレーム番号の音声データを格納したパケットが既にバッファ５２に蓄積されているかチェックし、もし既に蓄積されていれば、受信パケットを破棄し、蓄積されてなければその受信パケットをバッファ５２に蓄積する。
図１６に音質判定部４０の具体例を示す。ここでは入力端子１００から送られた現フレームの入力ＰＣＭ原音声信号に対する、補完音声作成部２０の出力補完音声信号の客観評価値を評価値計算部４１で計算する。ここでは客観評価値としてＳＮＲやＷＳＮＲ、またはＳＮＲｓｅｇ，ＷＳＮＲｓｅｇ、ＣＤやＰＥＳＱなどの評価値を使用することが出来る。また客観評価値は１種類のみに限らず、２種類以上の客観評価値を併用しても良い。評価値計算部４１で計算された客観評価値は重複送信判定部４２に送られ、パケットの重複レベルＬｄを決定する。パケットの重複レベルLdの決定方法としては、例えばＷＳＮＲを客観評価値として使用する場合、評価値計算部４１のＷＳＮＲ出力をＦｗとし、図１７に示すようにＬｄを決定すると効果的である。この場合は評価値Ｆｗが大きい程、重複レベルＬｄを小さくする。この例では重複送信判定部４２内に図１７に示すテーブルを設けることになる。この場合は評価値計算部４１における計算は原音声信号のパワーを信号Ｓとし、原音声信号と補完音声信号との重み付き差信号のパワーを雑音ＮとしてＷＳＮＲを計算しているから、ＷＳＮＲが大きければパケットロスに対して補完音声信号を用いても音質劣化が少ないため、ＷＳＮＲが大きい程、重複レベル値Ｌｄを小さくしている。
復号化部６２にて復号された復号音声信号はデータ遅延部６７に送られると同時に次フレーム以降の補完音声作成のために図２１に示したと同様な補完音声作成部７０内のメモリ（図示せず）に格納される。データ遅延部６７は復号音声信号を１フレーム遅延して出力信号選択部６３に送る。受信部５０よりパケットロスの発生が検出され、制御信号CLSTが出力されると、制御信号CLSTは遅延部６８を通して１フレーム期間だけ遅延されて補完音声作成部７０及び出力信号選択部６３に与えられる。補完音声作成部７０は、図２１を参照して説明した動作と同様に補完音声信号を作成して出力する。出力信号選択部６３では、受信部５０よりパケットロス発生が通知されると、補完音声作成部７０の出力を出力音声信号として選択し、パケットロスが発生していない場合にはデータ遅延部６７の出力を出力音声信号として選択し、復号音声信号を出力する。
［第４実施形態］
前述の各実施形態では、送信側において現フレームの音声信号に対し、それに隣接する少なくとも１つのフレームから作成した補完音声信号の音質が規定より低い場合は、受信側においてそのフレームに対応するパケットの損失が生じた場合に隣接フレームから補完音声信号を作成しても、その音質が悪い。そこで、できるだけパケットロスが生じないよう、同じそのフレームの音声信号を格納するパケットを、予測される補完音声信号の客観評価値に応じて決めた重複レベルＬｄ回数だけ繰り返し送信する。その場合、補完音声信号の作成は、隣接する少なくとも１つのフレームの音声波形からピッチ長の波形をコピーして、１フレーム長となるまで繰り返し貼り付ける例を説明した。
図２６は音質判定部４０の構成例を示す。音質判定部４０は図６の例と同様に評価値計算部４１と、重複送信判定部４２とから構成されている。評価値計算部４１は原音声信号Orgと復号音声信号DecからFw1=WSNR(Org, Dec)を計算する第１計算部４１２と、原音信号Orgと第１補完音声信号Com1からFw2_1=WSNR(Org, Com1)を計算する第2-1計算部４１３Ａと、原音信号Orgと第２補完音声信号Com2からFw2_2=WSNR(Org, Com2)を計算する第2-2計算部４１３Ｂと、原音信号Orgと第３補完音声信号Com3からFw2_3=WSNR(Org, Com3)を計算する第2-3計算部４１３Ｃと、第１評価値Fd1=Fw1-Fw2_1、第２評価値Fd2=Fw1-Fw2_2、第３評価値Fd3=Fw1-Fw2_3を計算する第３計算部４１１とを有している。これら評価値Fd1, Fd2, Fd3は重複送信判定部４２に与えられる。
ステップＳ１Ｂで現フレームに対するパケットがバッファ５２に存在していた場合は、ステップＳ４Ｂでそのパケットのデータが補助情報であるか判定し、補助情報であればステップＳ５Ｂでその補助情報からピッチパラメータを抽出し、ステップＳ３Ｂでそのピッチパラメータを使って補完音声信号を作成する。ステップＳ４Ｂでバッファ内の現フレームに対するパケットが補助情報でなかった場合は、そのパケットのデータは符号化音声データであり、ステップＳ６Ｂでその符号化音声データを復号して音声波形データを得て、ステップＳ７Ｂでその音声波形データをメモリ４０２Ａの領域Ａ０に書き込み、ステップＳ８Ｂで音声信号として出力してステップＳ１Ｂに戻る。

Claims (13)

  1. 入力音声信号をフレームごとにパケットにより送信する音声パケット送信方法であって、
    （ａ）現処理フレームと隣接する少なくとも１つのフレームの音声信号から現処理フレームの音声信号に対する補完音声信号を作成するステップと、
    （ｂ）前記補完音声信号の音質評価値を計算するステップと、
    （ｃ）前記音質評価値に基づき、補完音声信号の音質が悪いほど段階的に大となる整数値の１以上の重複レベルを決めるステップと、
    （ｄ）前記重複レベルにより指定される数だけ、前記現フレームの音声信号についてのパケットを作成するステップと、
    （ｅ）前記作成されたパケットをネットワークに送信するステップ、
    とを含む音声パケット送信方法。
  2. 請求項１記載の音声パケット送信方法において、
    前記ステップ（ｂ）は前記入力音声信号と前記補完音声信号とから前記音質評価値を計算するステップであり、
    前記ステップ（ｄ）は、前記現フレームの入力音声信号をそのままパケットに作成するステップを含む。
  3. 請求項１記載の音声パケット送信方法において、
    前記ステップ（ａ）は、前記入力音声信号を符号化して符号列を生成するステップと、前記符号列を復号化して復号音声信号を生成するステップとを含み、
    前記ステップ（ｂ）は、前記入力音声信号と前記復号音声信号から第１音質評価値を計算するステップと、前記入力音声信号と前記補完音声信号とから第２音質評価値を計算するステップとを含み、
    前記ステップ（ｃ）は、前記第１音質評価値と前記第２音質評価値に基づき前記重複レベルを求めるステップを含む。
  4. 請求項１記載の音声パケット送信方法において、
    前記ステップ（ａ）は、
    （ａ−１）前記現フレームの音声信号の特徴パラメータである少なくともピッチパラメータを含む補助情報を作成するステップと、
    （ａ−２）前記少なくとも１つの隣接フレームの音声信号から、その音声信号のピッチを有する第１の補完音声信号を作成するステップと、
    （ａ−３）前記補助情報中の少なくともピッチパラメータを使用して前記少なくとも１つの隣接フレームの音声信号から第２の補完音声信号を作成するステップ、
    とを含み、
    前記ステップ（ｂ）は、前記第１補完音声信号の第１音質評価値を求めるステップと、前記第２補完音声信号の第２音質評価値を求めるステップとを含み、
    前記ステップ（ｃ）は、前記第１音質評価値に基づいて音質が悪いほど段階的に大となる前記重複レベルと第１音質劣化レベルを決めるステップと、前記第２音質評価値に基づいて音質が悪いほど段階的に大となる第２音質劣化レベルを決めるステップとを含み、
    前記ステップ（ｄ）は、前記第２音質劣化レベルが前記第１音質劣化レベルより小さくないときは前記現フレームの音声信号のパケットを前記重複レベル数だけ作成し、前記第２音質劣化レベルが前記第１音質劣化レベルより小さいときは、前記現フレームの音声信号のパケットを１個以上と、前記補助情報のパケットを１個以上とを合計で前記重複レベルと同数だけ作成するステップを含み、
    前記ステップ（ｅ）は、前記現フレームについて前記合計で重複レベルと同数のパケットを送信するステップである。
  5. 請求項４記載の音声パケット送信方法において、
    前記ステップ（ｃ）は、更に前記第１音質劣化レベルと前記第２音質劣化レベルの差を補助情報重複数として計算するステップを含み、
    前記ステップ（ｄ）は、前記第２音質劣化レベルが前記第１音質劣化レベルより小さくないときに、前記補助情報のパケットを前記補助情報重複数だけ作成する。
  6. 請求項１記載の音声パケット送信方法において、
    前記ステップ（ａ）は、
    （ａ−１）前記現フレームの音声信号の特徴パラメータであるピッチパラメータとパワーパラメータを含む補助情報を作成するステップと、
    （ａ−２）前記少なくとも１つの隣接フレームの音声信号から、その音声信号のピッチを有する第１の補完音声信号を作成するステップと、
    （ａ−３）前記補助情報中のピッチパラメータを使用して前記少なくとも１つの隣接フレームの音声信号から第２の補完音声信号を作成するステップと、
    （ａ−４）前記補助情報中の前記ピッチパラメータと前記パワーパラメータとを使って前期少なくとも１つの隣接フレームの音声信号から第３の補完音声信号を作成するステップ、
    とを含み、
    前記ステップ（ｂ）は、前記第１補完音声信号の第１音質評価値を求めるステップと、前記第２補完音声信号の第２音質評価値を求めるステップと、前記第３補完音声信号の第３音質評価値を求めるステップとを含み、
    前記ステップ（ｃ）は、
    （ｃ−１）前記第１音質評価値に基づいて音質が悪いほど段階的に大となる前記重複レベルと第１音質劣化レベルを決めるステップと、
    （ｃ−２）前記第２音質評価値に基づいて音質が悪いほど段階的に大となる第２音質劣化レベルを決めるステップと、
    （ｃ−３）前記第３音質評価値に基づいて音質が悪いほど段階的に大となる第３音質劣化レベルを決めるステップ、
    とを含み、
    前記ステップ（ｄ）は、前記第２及び第３音質劣化レベルのうち小さい方が前記第１音質劣化レベルより小さくないときは、前記現フレームの音声信号のパケットを前記重複レベル数だけ作成するステップと、
    前記第２及び第３音質劣化レベルが前記第１音質劣化レベルより小さいときは、前記第３音質劣化レベルが前記第２音質劣化レベルより小さくなければ前記現フレームの音声信号のパケットを１個以上と、前記ピッチパラメータのパケットを１個以上とを合計で前記重複レベル数だけ作成し、前記第３音質劣化レベルが前記第２音質劣化レベルより小さければ、前記現フレームの音声信号のパケットを１個以上と、前記ピッチパラメータと前記パワーパラメータを含む補助情報のパケットを１個以上とを合計で前記重複レベルと同数だけ作成するステップとを含み、
    前記ステップ（ｅ）は、前記現フレームについて前記合計で重複レベルと同数のパケットを送信するステップである。
  7. 請求項６記載の音声パケット送信方法において、
    前記ステップ（ｃ）は、更に前記第１音質劣化レベルと前記第２音質劣化レベルの差を第１補助情報重複数として計算するステップと、前記第１音質劣化レベルと前記第３音質劣化レベルの差を第２補助情報重複数として計算するステップとを含み、
    前記ステップ（ｄ）は、前記第３音質劣化レベルが前記第２音質劣化レベルより小さくないときに、前記ピッチパラメータのパケットを前記第１補助情報重複数だけ作成し、前記第３音質劣化レベルが前記第２音質劣化レベルより小さいときは、前記ピッチパラメータと前記パワーパラメータを含む補助情報のパケットを前記第２補助情報重複数だけ作成する。
  8. 入力音声信号をフレームごとにパケットにより送信する音声パケット送信装置であって、
    現フレームと隣接する少なくとも１つのフレームの音声信号からから現フレームに対する補完音声信号を作成する補完音声作成部と、
    少なくとも前記補完音声信号が入力され、その補完音声信号の音質評価値を計算する評価値計算部と、
    前記音質評価値に基づき補完音声信号の音質が悪いほど段階的に大となる整数値の重複レベルを決める重複送信判定部と、
    前記重複レベルにより指定される数だけ、前記現フレームの音声信号についてのパケットを作成するパケット作成部と、
    前記作成された音声パケットをネットワークに送信する送信部、
    とを含む音声パケット送信装置。
  9. 請求項８記載の音声パケット送信装置は、更に前記現フレームの入力音声を符号化し、符号化音声を得る符号化部と、前記符号化音声を復号化して復号音声を得る復号化部とを含み、前記補完音声作成部は前記現フレームと隣接する少なくとも１つのフレームの前記復号音声を使って前記補完音声を作成する。
  10. 請求項８記載の音声パケット送信装置は、更に前記現フレームの音声信号のピッチパラメータを補助情報として作成する補助情報作成部を含み、
    前記補完音声作成部は前記現フレームに隣接する少なくとも１つのフレームの音声信号のみから第１補完音声を作成し、前記現フレームの前記ピッチパラメータを使って前記隣接する少なくとも１つのフレームの音声信号から第２補完音声を作成し、
    前記音質評価値計算部は前記第１補完音声の第１音質評価値と、前記第２補完音声の第２音質評価値を求め、前記重複送信判定部は前記第１音質評価値に基づいて音質が悪いほど段階的に大となる前記重複レベルと第１音質劣化レベルを決め、前記第２音質評価値に基づいて音質が悪いほど段階的に大となる第２音質劣化レベルを決め、
    前記パケット作成部は前記第２音質劣化レベルが前記第１音質劣化レベルより小さくないときは前記現フレームの音声信号のパケットを前記重複レベル数だけ作成し、前記第２音質劣化レベルが前記第１音質劣化レベルより小さいときは、前記現フレームの音声信号のパケットを１個以上と、前記補助情報のパケットを１個以上とを合計で前記重複レベル数と同数だけ作成する。
  11. 請求項８記載の音声パケット送信装置は、更に前記現フレームの音声信号のピッチパラメータとパワーパラメータを補助情報として作成する補助情報作成部を含み、
    前記補完音声作成部は前記現フレームに隣接する少なくとも１つのフレームの音声信号のみから第１補完音声を作成し、前記現フレームのピッチパラメータを使って前記隣接する少なくとも１つのフレームの音声信号から第２補完音声を作成し、前記現フレームのピッチパラメータとパワーパラメータとを使って前記隣接する少なくとも１つのフレームの音声信号から第３補完音声を作成し、
    前記音質評価値計算部は前記第１補完音声の第１音質評価値と、前記第２補完音声の第２音質評価値と、前記第３補完音声の第３音質評価値とを求め、
    前記重複送信判定部は前記第１音質評価値に基づいて音質が悪いほど段階的に大となる前記重複レベルと第１音質劣化レベルを決め、前記第２音質評価値に基づいて音質が悪いほど段階的に大となる第２音質劣化レベルを決め、前記第３温室評価値に基づいて音質が悪いほど段階的に大となる第３音質劣化レベルを決め、
    前記パケット作成部は、前記第２及び第３音質劣化レベルのうち小さい方が前記第１音質劣化レベルより小さくないときは、前記現フレームの音声信号のパケットを前記重複レベル数だけ作成し、前記第２及び第３音質劣化レベルが前記第１音質劣化レベルより小さいときは、前記第３音質劣化レベルが前記第２音質劣化レベルより小さくなければ前記現フレームの音声信号のパケットを１個以上と、前記ピッチパラメータのパケットを１個以上とを合計で前記重複レベル数だけ作成し、前記第３音質劣化レベルが前記第２音質劣化レベルより小さければ、前記現フレームの音声信号のパケットを１個以上と、前記ピッチパラメータと前記パワーパラメータを含む補助情報のパケットを１個以上とを合計で前記重複レベル数と同数だけ作成する。
  12. 請求項１記載の音声パケット送信方法をコンピュータで実行可能なプログラム。
  13. 請求項１に記載した音声パケット送信方法をコンピュータで実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2006516897A 2004-05-11 2005-05-10 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体 Active JP4320033B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004141375 2004-05-11
JP2004141375 2004-05-11
PCT/JP2005/008519 WO2005109402A1 (ja) 2004-05-11 2005-05-10 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体

Publications (2)

Publication Number Publication Date
JPWO2005109402A1 true JPWO2005109402A1 (ja) 2008-03-21
JP4320033B2 JP4320033B2 (ja) 2009-08-26

Family

ID=35320431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006516897A Active JP4320033B2 (ja) 2004-05-11 2005-05-10 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体

Country Status (6)

Country Link
US (1) US7711554B2 (ja)
EP (1) EP1746581B1 (ja)
JP (1) JP4320033B2 (ja)
CN (1) CN100580773C (ja)
DE (1) DE602005019559D1 (ja)
WO (1) WO2005109402A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200638335A (en) * 2005-04-13 2006-11-01 Dolby Lab Licensing Corp Audio metadata verification
JP2007114417A (ja) * 2005-10-19 2007-05-10 Fujitsu Ltd 音声データ処理方法及び装置
JP4969454B2 (ja) * 2005-11-30 2012-07-04 パナソニック株式会社 スケーラブル符号化装置およびスケーラブル符号化方法
US8255213B2 (en) 2006-07-12 2012-08-28 Panasonic Corporation Speech decoding apparatus, speech encoding apparatus, and lost frame concealment method
US8005678B2 (en) 2006-08-15 2011-08-23 Broadcom Corporation Re-phasing of decoder states after packet loss
JP5074749B2 (ja) * 2006-12-04 2012-11-14 日本電信電話株式会社 音声信号受信装置、それに使用される音声パケット消失補償方法、その方法を実施するプログラム、及びそのプログラムを記録した記録媒体
US7873064B1 (en) * 2007-02-12 2011-01-18 Marvell International Ltd. Adaptive jitter buffer-packet loss concealment
US8380525B2 (en) * 2007-06-25 2013-02-19 Telefonaktiebolaget Lm Ericsson (Publ) Continued telecommunication with weak links
CN101588341B (zh) * 2008-05-22 2012-07-04 华为技术有限公司 一种丢帧隐藏的方法及装置
US8537844B2 (en) * 2009-10-06 2013-09-17 Electronics And Telecommunications Research Institute Ethernet to serial gateway apparatus and method thereof
US20110196673A1 (en) * 2010-02-11 2011-08-11 Qualcomm Incorporated Concealing lost packets in a sub-band coding decoder
US8612242B2 (en) * 2010-04-16 2013-12-17 St-Ericsson Sa Minimizing speech delay in communication devices
US20110257964A1 (en) * 2010-04-16 2011-10-20 Rathonyi Bela Minimizing Speech Delay in Communication Devices
US8976675B2 (en) * 2011-02-28 2015-03-10 Avaya Inc. Automatic modification of VOIP packet retransmission level based on the psycho-acoustic value of the packet
CN102833037B (zh) * 2012-07-18 2015-04-29 华为技术有限公司 一种语音数据丢包的补偿方法及装置
US8875202B2 (en) * 2013-03-14 2014-10-28 General Instrument Corporation Processing path signatures for processing elements in encoded video
JP7059852B2 (ja) * 2018-07-27 2022-04-26 株式会社Ｊｖｃケンウッド 無線通信装置、音声信号制御方法、およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097295A (ja) 1996-09-24 1998-04-14 Nippon Telegr & Teleph Corp <Ntt> 音響信号符号化方法及び復号化方法
US6167060A (en) * 1997-08-08 2000-12-26 Clarent Corporation Dynamic forward error correction algorithm for internet telephone
JP3734946B2 (ja) 1997-12-15 2006-01-11 松下電器産業株式会社 データ送出装置、データ受信装置及びデータ伝送装置
JP3644477B2 (ja) 1998-10-09 2005-04-27 富士ゼロックス株式会社 音声受信装置および音声送受信装置
KR100722707B1 (ko) 1999-01-06 2007-06-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 멀티미디어 신호를 전송하기 위한 전송 시스템
US7047190B1 (en) * 1999-04-19 2006-05-16 At&Tcorp. Method and apparatus for performing packet loss or frame erasure concealment
FR2804813B1 (fr) 2000-02-03 2002-09-06 Cit Alcatel Procede de codage facilitant la restitution sonore des signaux de parole numerises transmis a un terminal d'abonne lors d'une communication telephonique par transmission de paquets et equipement mettant en oeuvre ce procede
KR100438167B1 (ko) * 2000-11-10 2004-07-01 엘지전자 주식회사 인터넷 전화통신을 위한 음성신호 송수신장치
JP2002162998A (ja) * 2000-11-28 2002-06-07 Fujitsu Ltd パケット修復処理を伴なう音声符号化方法
JP3628268B2 (ja) * 2001-03-13 2005-03-09 日本電信電話株式会社 音響信号符号化方法、復号化方法及び装置並びにプログラム及び記録媒体
US6910175B2 (en) * 2001-09-14 2005-06-21 Koninklijke Philips Electronics N.V. Encoder redundancy selection system and method
JP3722366B2 (ja) 2002-02-22 2005-11-30 日本電信電話株式会社 パケット構成方法及び装置、パケット構成プログラム、並びにパケット分解方法及び装置、パケット分解プログラム
JP4022427B2 (ja) * 2002-04-19 2007-12-19 独立行政法人科学技術振興機構 エラー隠蔽方法、エラー隠蔽プログラム、送信装置、受信装置及びエラー隠蔽装置
JP4050961B2 (ja) 2002-08-21 2008-02-20 松下電器産業株式会社 パケット型音声通信端末
US7251241B1 (en) * 2002-08-21 2007-07-31 Cisco Technology, Inc. Devices, softwares and methods for predicting reconstruction of encoded frames and for adjusting playout delay of jitter buffer
JP2004120619A (ja) * 2002-09-27 2004-04-15 Kddi Corp オーディオ情報復号装置
US7359979B2 (en) * 2002-09-30 2008-04-15 Avaya Technology Corp. Packet prioritization and associated bandwidth and buffer management techniques for audio over IP

Also Published As

Publication number Publication date
US20070150262A1 (en) 2007-06-28
DE602005019559D1 (de) 2010-04-08
WO2005109402A1 (ja) 2005-11-17
US7711554B2 (en) 2010-05-04
JP4320033B2 (ja) 2009-08-26
EP1746581A1 (en) 2007-01-24
EP1746581A4 (en) 2008-05-28
EP1746581B1 (en) 2010-02-24
CN100580773C (zh) 2010-01-13
CN1906662A (zh) 2007-01-31

Similar Documents

Publication Publication Date Title
JP4320033B2 (ja) 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体
JP4473869B2 (ja) 音響信号のパケット通信方法、送信方法、受信方法、これらの装置およびプログラム
US9270722B2 (en) Method for concatenating frames in communication system
KR101513184B1 (ko) 계층적 디코딩 구조에서의 디지털 오디오 신호의 송신 에러에 대한 은닉
US6389006B1 (en) Systems and methods for encoding and decoding speech for lossy transmission networks
US7778824B2 (en) Device and method for frame lost concealment
RU2713605C1 (ru) Устройство кодирования аудио, способ кодирования аудио, программа кодирования аудио, устройство декодирования аудио, способ декодирования аудио и программа декодирования аудио
KR20090051760A (ko) 에코 제거/억압 방법 및 장치
US7302385B2 (en) Speech restoration system and method for concealing packet losses
Lindblom et al. Packet loss concealment based on sinusoidal modeling
KR100594599B1 (ko) 수신단 기반의 패킷 손실 복구 장치 및 그 방법
JP5074749B2 (ja) 音声信号受信装置、それに使用される音声パケット消失補償方法、その方法を実施するプログラム、及びそのプログラムを記録した記録媒体
JP4236675B2 (ja) 音声符号変換方法および装置
JP4093174B2 (ja) 受信装置および方法
JP3754819B2 (ja) 音声通信方法及び音声通信装置
Gokhale Packet loss concealment in voice over internet
JP2004020676A (ja) 音声符号化／復号化方法及び音声符号化／復号化装置
JP2005534984A (ja) 音声フレームのエラー軽減用の音声通信ユニットおよび方法
JP2003295900A (ja) 音声処理方法、音声処理装置、音声処理プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090519

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090529

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120605

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4320033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130605

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140605

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350