JP4535069B2 - 補償回路 - Google Patents

補償回路 Download PDF

Info

Publication number
JP4535069B2
JP4535069B2 JP2006519163A JP2006519163A JP4535069B2 JP 4535069 B2 JP4535069 B2 JP 4535069B2 JP 2006519163 A JP2006519163 A JP 2006519163A JP 2006519163 A JP2006519163 A JP 2006519163A JP 4535069 B2 JP4535069 B2 JP 4535069B2
Authority
JP
Japan
Prior art keywords
periodic signal
signal data
data
period
cut
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006519163A
Other languages
English (en)
Other versions
JP2006526177A (ja
Inventor
厚史 田代
弘美 青柳
真資 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Publication of JP2006526177A publication Critical patent/JP2006526177A/ja
Application granted granted Critical
Publication of JP4535069B2 publication Critical patent/JP4535069B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Read Only Memory (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Systems (AREA)
  • Error Detection And Correction (AREA)
  • Telephone Function (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Noise Elimination (AREA)

Description

発明の背景・発明の分野
本発明は、周期性信号データの消失を補償する補償回路およびその方法に関するものであり、たとえば音声信号の消失の補償に適用し得る。
背景技術の説明
現在、インターネット等のネットワークを利用した音声通信が盛んに行なわれているが、ネットワークを介して送られた音声が消失して、通信音声品質の劣化が生じることがある。この劣化に対する補償方法として、たとえば、ITU-T （International Telecommunication Union-Telecommunication Standardization Sector）勧告 G. 711 Appendix Iに記載の方法が利用できる。
この文献に記載の方法によれば、ネットワーク上から到着した符号化音声信号は、音声復号器により復号されて、補償回路に入力される。補償回路は、復号処理単位である音声フレーム毎に入力復号音声信号を監視し、音声消失が発生する度に補償処理を実行する。より具体的には、補償回路は、音声消失が生ずると、たとえば回路内のメモリに確保しておいた音声消失直前の音声データを基に当該音声消失時点付近での周期すなわち波形周期を求める。補償回路は次に、メモリに蓄積された音声データを読み出して、音声消失により音声データの補間が必要となったフレームに対してデータの補間を行ない、そのフレームの開始位相がその直前フレームの終了位相と一致して波形周期での連続性が確保できるようにする。
補償回路のメモリは、たとえば最大で一連の３周期分の音声データを確保できる容量を備え、その3周期分の音声データを使用することによって、単一波形が連続した場合に起こる好ましくないトーン音の発生を避けることができる。すなわち、１周期分の音声データだけを確保してこれを補間に繰返し利用すれば、不要なトーン音が発生することになる。
しかし、消失の補償用音声データを最大で３周期分、確保することは、実用的でなく、メモリの規模やそのアクセス構成が大きくなり、その結果、補償回路全体の規模が大きくなっていた。また、消失フレームが連続して発生すると、補間音声データの作成に利用する区間を波形周期単位で拡大していた。したがって、消失フレームが連続して到来すると、補間データの作成に利用する音声データを広範囲の区間から得ることになり、補間音声の変動自然性が損なわれることがある。
発明の概要
本発明はそこで、上述の欠点を解消し、消失した周期性信号部分を補間できる補償回路およびその補償方法を提供することを目的とする。
本発明によれば、消失した周期性信号データを過去に入力された周期性信号データから補間する補償回路は、入力された最新の周期性信号データを所定数、保持する過去データ保持回路を含む。判定回路は、処理単位の周期性信号データ列毎に消失の有無を判定する。消失時に、補間回路は、過去データ保持回路に保持された周期性信号データ列のなかから、決定された利用区間の周期性信号データ列を用いて、補間用補間データを生成する。消失が複数の処理単位で連続すると、位置制御部は、処理単位毎に位置が変化するように利用区間の位置を決定する。
本発明によればまた、消失した周期性信号データを過去に入力された周期性信号データから補間する補償方法は、入力された最新の周期性信号データを所定数だけ保持する過去データ保持工程で開始する。処理単位の周期性信号データ列毎に、消失の有無を判定する。消失時に、過去データ保持工程によって保持された周期性信号データ列のなかから、決定された利用区間の周期性信号データ列を用いて、補間用補間データを作成する。さらに、消失が複数の処理単位で連続すると、処理単位毎に位置が変化するように利用区間の位置を決定する。
本発明の目的および特徴は、添付図面に関連する以下の詳細な説明を考慮すれば、より明らかになろう。
好適実施例の説明
図面の図１を参照すると、本発明の実施例である本姓消失補償回路は、例として音声信号に適用される。なお、図１に示す回路は、以下に説明する機能を実現できるかぎり、すべてハードウェアで、または部分的にソフトウェアで構成してもよい。
図１に示すように、音声消失補償回路は、全体を10で示すが、音声補間部12、２つのメモリ部(Ａ) 14および(Ｂ) 16、消失判定部18、自己相関演算部20および補間制御部22を含み、図示のように相互接続されている。補償回路10はまた、音声復号器26も含み、これは、ネットワーク上から到着した音声データを復号するように構成され、その出力端子24は、音声補間部12に接続されている。
音声補間部12は、音声復号器26から入力24に符号化音声データを受信すると、音声データが消失していなければ、音声データを単に通過させるだけである。音声データが消失していれば、音声補間部12は、補間制御部22の制御の下にデータメモリ部16に確保しておいた音声データを使用して置換ないしは補間を行なう。
音声復号器26から出力される消失していない音声データは、この文脈で完全音声データを称することがあるが、データメモリ部14に音声補間部12を通して入力され、消失補償に使用される。図示の実施例では、データメモリ部14に確保する音声データの長さは、従来の回路の場合より短い。たとえば、データメモリ部14の蓄積容量は、たかだか２、３周期分の音声データ波形を蓄積するに十分な大きさにすぎない。音声データの波形周期は、5ミリ秒ないし15ミリ秒の範囲内にあるが、勿論、設計者によって適切に選択可能である。データメモリ部16の出力32は、他方のデータメモリ部16に接続されている。
音声データの補間を行なう場合、データメモリ部14に蓄積された音声データは、データメモリ部16にコピーされる。これによって、データメモリ部14に蓄積された音声データが書き換えられても、補間直前に現れた音声データをデータメモリ部16に保持することができる。
消失判定部18は、音声データが消失されたか否かを判定するものである。たとえば、音声フレームの到着順序を表わすフレーム番号が得られなかった場合や、フレーム番号が得られたが過去のフレーム番号と同じであった場合、フレーム番号は得られたが、たとえば誤り検出で、その音声データが復号できなかった場合、消失判定部18は、そのフレーム番号で指定される当該音声データが消失したと判定する。消失判定部18の機能は、所望により、音声復号器26に配備してもよい。いずれにせよ、消失判定部18は、音声消失補償回路10の一部をなしている。消失判定部18から出力される判定結果は、補償制御部22および自己相関演算部20に送られる。
自己相関演算部20は、補間制御部22の制御下で、音声データの消失時に、データメモリ部14に格納されている音声データ列の自己相関値を演算し、自己相関値から波形周期34およびシフト周期36を得て、同期検出を行なう。こうして生成された波形周期34およびシフト周期36は、補間制御部22に与えられる。
図２は、自己相関部22から出力される具体的な演算結果を示すグラフである。横軸はシフト量を示し、縦軸は、シフト量に対応する自己相関値を示す。波形周期とは、音声データ列に固有の周期に関する従来の基本情報のことをいう。図示の実施例では、音声データの波形周期は、一般に5ミリ秒〜15ミリ秒の範囲であるが、上述の範囲内の最大自己相関値を有するシフト量をいう。勿論、波形周期のサーチ範囲は、所望により、前述の範囲より広くても狭くてもよい。
他方、シフト周期は、データメモリ部16における音声データ区間を規定する情報として検出され、音声データの消失したフレームが2以上連続した場合、２番目以降のフレームの音声データの補間に使われる。シフト周期は、波形周期より小さいずらし量の範囲における自己相関値の最大ピークでのずらし量で実現される。シフト周期を他の観点で定めてもよい。たとえば、波形周期の1/4倍〜3/4倍の範囲内での自己相関値のピークにずらし量が相当するという追加の条件を決定に使用してもよい。
一般に、音声信号は、複数の周波数成分が互いに重畳されて形成され、そのため波形周期以外でも自己相関値のピークが複数生ずる。そのような複数の自己相関値のピークのうち所定の条件を満たすものをシフト周期として使用する。
波形周期およびシフト周期は、上述の自己相関を用いる方法以外の何らかの適切な方法、たとえば周波数分析を使用する方法によって決定してもよい。
図１に戻って、補間制御部22は、音声消失補償回路10の全体を制御して、音声消失フレームの音声データの補間するものである。自己相関演算部20は、有効な最新音声データを基準に、また過去の所定数の音声データを用いて、自己相関演算を行なう。これは、音声消失フレームが生じる直前での音声データ列の最終位相を補償回路10が分かっていることを意味する。
上述の構成を有する補償回路10の動作を、図３Ａないし図３Ｄおよび図４も参照しながら説明する。以下の説明において、データメモリ部14および16の蓄積領域は、それぞれバッファＡおよびＢと称するものとする。具体的に記載も図示もしないが、ITU-T勧告 G. 711に記載のオーバーラップ補間処理を行なってもよい。
補償回路10に入力された音声データは、図３の部分[A]に示すように、バッファＡに格納されるが、バッファＡの格納内容はフレーム毎に更新される。バッファＡの大きさは、たとえば最大波形周期長の2、3倍とするが、この量に限定されない。
音声消失フレームが発生すると、バッファＡに保持されている入力音声データ列から上述した波形周期およびシフト周期を計算し、これらを音声消失の解消まで記憶しておく。また、補間音声データを作成するため、バッファＡに保持していた入力音声データをバッファＢにコピーし、音声消失の解消までバッファＢに記憶しておく。この時点で、１波形周期分の音声データから１フレーム分の補間音声データが作成され、復元された波形データすなわち音声データが出力される。
まず、音声消失が１フレームだけの場合の補間音声データの作成方法を説明する。このとき、補間用に使用する音声データは、音声消失の直前の点から１波形周期前まで点に及ぶ。この区間を適宜、切出し区間と称する。図３の部分[B]に示すように、音声消失の直前から１波形周期前の音声データを補間音声データの始点(311)として用いる。補間音声データを作成するために、その始点(311)から右端(313)までの音声データを用いる。301で示す補間音声データが１フレーム分に満たない場合は、処理は左端(314)に戻る。
処理が右端(313)から左端(314)に戻って補間音声データを作成する場合、右端(313)の左側の区間および左端(314)の左側の区間がそれぞれ1/4周期に相当し、互いにオーバーラップ処理をすることになり、これによって右端(313)から左端(314)への連続的遷移が生ずる。このオーバーラップ処理は、ITU-T勧告 G. 711では"overlap add"として定義されている。同様に、音声消失直前の区間と１フレーム目の左側の区間は、それぞれ1/4周期に相当するが、互いにオーバーラップ処理をして、音声消失直前の音声データから補間音声データまで連続的に遷移させる。このITU-T勧告 G. 711に基づくオーバーラップ方法は例示にすぎず、音声波形を連続的に結合するどのような他の方法で置換してもよい。
次に、音声消失が２フレーム連続した場合の補間音声データの作成方法を説明する。音声データが消失した１番目のフレームについては、補間音声データは、音声消失が１フレームだけの場合と同様にして作成される。以下では、音声データがやはり消失した２番目のフレームについて、補間音声データの作成方法を説明する。
まず、図３の部分[C]に示すように、切出し区間は、１番目のフレームの補間に利用した位置より左方に１シフト周期(320)分だけ移動させる。この新たな切出し区間(326)から補間音声データ(302)を作成する。切出し区間(326)の始点(321)は次のように決定する。
１番目のフレームの切出し区間の終点を仮始点(325)とする。これは、図３の部分[B]の終点(312)と同一点である。仮始点(325)が現切出し区間内、すなわち左端(324)と右端(323)の間にある場合は、仮始点(325)を始点として使用する。仮始点(325)が現切出し区間(326)にない場合は、仮始点(325)から１波形周期分だけ左側にシフトした区間(326)内の点を実際の始点(321)と定める。この実際の始点における音声データから、２番目のフレームの補間音声データの作成を開始する。
２番目のフレームについてもやはり、１番目のフレームの終点(312)の右側1/の区間と２番目のフレームの始点(321)の右側の区間がそれぞれ1/4周期に相当し、これをオーバーラップ処理して、１番目のフレームの補間音声データから２番目のそれに確実に連続的に遷移するようにする。ITU-T勧告 G. 711に基づくオーバーラップ処理は、上述のように波形を連続的に結合させるどのような他の手法で置換してもよい。
音声消失が３フレーム以上連続した場合、３番目のフレームの補間音声データも、２番目のフレームの補間音声データの作成と同様の方法で、すなわちシフト周期を利用して切出し区間を定め、その切出し区間内で始点を定めて、補間音声データを作成することによって、作成される(図３、[D]参照)。
ここで、２番目の フレーム以降では、補間音声データはそれぞれ、出力される前に連続的に減衰させる。減衰率100%以上になると、補間音声データとして０を出力する。
上述したように、３番目のフレーム以降でも、逐次切出し区間をフレーム毎に１シフト周期分だけ左フレームへ移動させている。そのため、１シフト周期分だけ左方向に移動させた切出し区間がバッファＢの範囲を超えてしまうことがある。以下に、このような場合の補間音声データの作成方法を図４を参照して説明する。
図４は、バッファＢにおける切出し区間の変化を示す。図示のように、２番目のフレーム以降、１番目のフレームに対し波形周期を基に定めた切出し区間(B1)を順次、切出し区間(B2)および(B3)へフレーム毎に１シフト周期分だけ移動させる。その結果、切出し区間(B3)以降の切出し区間(341)がバッファＢの左端(351)の左側を、切出し区間(B4)で示すように、含むことも生じる。この場合、切出し区間(341)を１波形周期分だけ右側に移動させ、その結果の切出し区間を区間(342)として使用して、補間音声データを作成する。
より具体的には、切出し区間(342)は始点(344)を含み、これは次のようにして定める。前フレームの終点(330)を仮始点(343)として、仮始点(343)が区間(342)内にあれば、その仮始点を始点にする。仮始点(343)が区間(342)内になければ、前フレームの終点(330)が区間(342)内にはいるまで、１波形周期ずつ右側に区間(342)を移動させる。その後のフレームにおいても音声消失が続く場合は、切出し区間(B5)および(B6)をそれぞれ左方向に１シフト周期だけシフトさせ、シフトさせた切出し区間がバッファＢの範囲を超えた場合は、１波形周期だけ右側へ移動させる。
音声消失から有効な音声データ列に戻ると、ITU-T勧告 G. 711に基づくオーバーラップ処理を行ない、補間音声データから実際の音声データヘ連続的に遷移させる。ここでのオーバーラップ処理は、最後の補間音声データの終点から右側と、実際の音声データの始点を用いて行なう。勿論、上述のオーバーラップ処理は、連続遷移を実現可能な何らかの他の方法で置換してもよい。
上述のように、図示の実施例は、補間音声データを作成するために、２種類の周期、すなわち波形周期とシフト周期を計算し、シフト周期に基づいて過去の音声データを利用する切出し区間をフレーム毎に移動させる。したがって切出し区間は、以前の切出し区間と重複しながら順次、移動する。これによって、過去の音声データを格納するメモリ部として小さいメモリ容量のものを適用でき、したがって回路規模全体を小さくすることができる。
勿論、本実施例は、従来と同様の大きいメモリ容量でも同様に実現可能であるが、その場合、多くの波形データすなわち切出し区間を用いることができる。これにより、補間音声データに多種類の変動を含めることができ、したがって補間音声データを自然な音質することができる。すなわち、多いメモリ容量を使用可能な回路では、より変化の大きい、したがってより自然な聴感の補間音声データを作成することができる。
本実施例ではさらに、切出し区間を徐々にシフトさせ、したがって復元音声として望ましくない単一波形の連続生成を回避できる。したがって、自然な音声データを補間でき、聴感上の違和感を解消することができる。さらにまた、本実施例は、波形周期に基づいて定めたシフト周期によって、切出し区間のシフト幅を決めて、これによって音声データの連続性を保っている。
本発明による音声消失補償回路の他の実施例を、図５を参照しながら説明する。この実施例は、基本的には先の実施例と同様であるので、以下の説明は、この実施例に固有の処理に絞られる。簡潔に述べると、本実施例が前述の実施例と相違する点は、シフト周期分だけ左方向に移動させた切出し区間がバッファＢの範囲を超えた場合の切出し区間の決定方法にある。
図５は、バッファＢを示し、この実施例での切出し区間の変化を示す。図５に示す切出し区間(B1)ないし(B3)は、図４に示す切出し区間(B1)ないし(B3)と同一である。図５に示すように、切出し区間(B4)で表わされるシフトさせた結果の新たな切出し区間(501)がバッファＢの左端(521)の左側を含むと、補間音声データの作成に使用する切出し区間(503)は、次のようにして再決定される。
まず、切出し区間を切出し区間(501)から１波形周期分だけ右側に移動させる。次に、結果としての新たな切出し区間(502)の右端(504)がバッファＢの最新の１波形周期の範囲内にあるか否かを判定する。この判定の答えが真であれば、この切出し区間(502)を用いて補間用補間音声データを作成する。上述の判定結果が偽の場合は、切出し区間をさらに１波形周期分だけ右側に移動させ、同様な判定を行なう。上述の操作は、移動した切出し区間の右端位置が最新の１波形周期内にはいるまで、繰り返される。
より具体的には、新たに選択された切出し区間(503)の始点を決めるため、前述の実施例と同様に、前フレームについての終点位置が切出し区間(503)にはいるまで、これを１波形周期ずつ右側に移動させる。
上述のフレーム以降にも音声消失が続く場合、切出し区間(511)で示すように、切出し区間(503)を順次、左側へシフトさせる。
このように、図示の実施例は、音声消失フレームが長期に連続した場合でも、補間した音声が変化できるように構成されている。これは、切出し区間の位置が特定の範囲にかたよらないようにしたことにより、達成される。これによって、作成した補間音声の自然さを維持し、そうでなければ単一波形の連続に起因するであろう望ましくないトーン音の出力が防止される。
図６を参照して、本発明による音声消失補償回路のさらに他の実施例を説明する。本実施例もまた、図３および図４を参照して説明した実施例とは、シフト周期分だけ左方向に移動させた切出し区間がバッファＢの範囲を超えたときの切出し区間の決定方法を除いて、同じである。図６はバッファＢを示し、また本実施例に特有の切出し区間の変化を示す。図６に示す切出し区間(B1)ないし(B3)は、図４に示す切出し区間(B1)ないし(B3)と同じである。
図６に示すように、切出し区間を左方にシフトさせて新たに決定した切出し区間(601)が切出し区間(B4)で示すバッファＢの左端(641)の左側を含むときは、その切出し区間(601)を１波形周期分だけ右側に移動させ、結果の区間(602)をそのフレームでの切出し区間とする。この切出し区間(602)内に仮の始点があれば、前述の実施例と同様に、これを切出し区間(602)の始点とし、そうでない場合は、仮始点を１波形周期分だけ右側に移動させて、これを始点とする。このフレームの次にも音声消失が続く場合は、右方シフトを繰り返す。
シフト周期に基づいて行なう右方シフトを繰り返した結果、切出し区間(631)がバッファＢの右端(642)の右側を含むときは、切出し区間(631)を１波形周期だけ左側に移動した新たな切出し区間(632)を選択し、これによって補間音声データを作成する。切出し区間(632)内の始点(634)は、方向は反対であるが前述の実施例と同様の方法で決定する。これ以降のフレームにおいて音声消失が続く場合、切出し区間の作法シフトをシフト周期で繰り返す。上述の手順は、消失がなくなるまで繰り返される。
上述のように、本実施例では、近いフレームの切出し区間を互いに接近して配置し、これによって補間用音声データも時間的に近い位置に存在することができる。このため、近接するフレームの補間波形の間に連続性が保たれ、これによってフレーム間遷移が自然なものになる。
また、本実施例では、先の実施例と同様に、切出し区間が特定の範囲に連続して存在しないようにして、補間音声を変化させる構成をとっている。これによって、そうでなければ単一波形の連続により生ずるであろう再生に望ましくないトーン音の出力を避けている。
図７を参照して、本発明による音声消失補償回路のさらに別の実施例を説明する。この実施例も、図３および図４を参照して説明した実施例と同一であるが、シフト周期分だけ左または右方向に移動させた切出し区間がバッファＢの範囲を超えた場合の切出し区間の決定方法が異なる。図７は、バッファＢと、本実施例に特有の切出し区間の変化を示す。図７に示す切出し区間(B1)ないし(B3)は、図４に示す切出し区間(B1)ないし(B3)と同じである。
図７に示すように、直前の切出し区間(711)をシフトして選んだ切出し区間(701)が切出し区間(B4)で示すバッファＢの左端(741)の左側を含むときは、切出し区間(701)の左端(703)がバッファＢの左端(741)と一致するまで切出し区間(701)を右側に移動させる。結果としての新たな区間(702)は、補間音声データの作成用切出し区間として使用される。区間(702)内の始点について、図４に示す手順のように、仮始点が区間(702)内にある場合は、この点を始点とし、そうでない場合は、仮始点を１波形周期分左側に移動させる。
その後のフレームでも音声消失が続く場合は、切出し区間のシフト周期分の右方向シフトを繰り返す。各切出し区間内の始点は、図６の手順と同じ方法で決定される。
切出し区間(B7)で示すように、右方向へのシフト後の切出し区間(731)がバッファＢの右端(742)の右側を含むときは、区間(731)の右端(733)がバッファＢの右端(742)に一致するまで、区間(731)を左側に移動させる。こうした左方移動で決まった区間(732)を切出し区間として使用し、補間音声データを作成する。
その後のフレームでも音声消失が続く場合は、切出し区間のシフト周期分だけの左方向へのシフトを繰り返す。各切出し区間内の始点の決定方法も、図６の手順と同じでよい。
音声消失フレームが長期に連続する場合、本実施例では、バッファＢに保存された音声データの全範囲を必ず補間音声データの作成に使用することができ、したがって自然な補間音声を出力できる。本実施例は、メモリ容量の少ないメモリで実現し易い。
また、本実施例では、補間音声の波形にバッファＢ全体の変化を含ませることができ、同時に単一波形の連続による望ましくないトーン音が避けられる。
図８は、内部メモリ800を使用する従来の音声消失補償方法を示し、そのメモリ容量は、音声データを蓄積するに十分な、たとえば３波形周期分までの大きさである。このように音声メモリ800に蓄積された音声データを使用して、単一の連続波形によるトーン音を避ける。この方法はしかし、メモリ800の規模とそのアクセス構成が増大し、補償回路全体の規模が大きくなる。
図８の方法によればさらに、消失フレームが連続して発生すると、合成音声データの発生に使用する区間が波形周期を基に延長される。その結果、消失フレームが連続すると、音声データの生成用音声データを広い範囲から収集し、補間音声の自然な変化を損なってしまう。
これに対して、図示し説明した本発明の各実施例では、音声データの位置をシフトさせて徐々に補間し、これによって使用する区間をシフトさせている。したがって、音声データを３波形周期にわたって確保しなくても、音声信号の消失は、信号品質を低下させることなく補償される。
各実施例では、常にシフト周期を定めるものとして図示し説明したが、条件によってはシフト周期を定めず、その場合は、従来の補償処理を行なってもよい。たとえば、消失フレームが無音声区間のように相関の小さい場合、すなわち、たとえば自己相関値と所定の閾値との差分との比較、または自己相関値と所定の閾値との間の比の比較で判断されるような場合、シフト周期を決定しなくてもよい。
各実施例では、波形周期より短い周期のうちで最大の自己相関値を有するものをシフト周期に選定していた。これに代わって、自己相関値が所定の値より大きい複数のずらし量または周期のうちで、波形周期に最も近い、または最も遠い周期を選んでもよい。
各実施例で定めたシフト周期は、複数のシフト周期に置換してもよい。たとえば、第１のシフト周期を利用する切出し区間のシフトと第２のシフト周期を利用する切出し区間のシフトとが交互に行なわれるようにしてもよい。さらに、乱数を各シフトごとに選択的に使ってもよい。
各実施例では、切出し区間が波形周期と一致していたが、切出し区間をフレーム長または同様の固定長としてもよい。この場合、シフト周期は切出し区間より短いことを要する。切出し区間を固定的であっても、シフト後の切出し区間での始点は、波形周期を利用して決定される。
各実施例において、補間の際、オーバーラップ処理を適宜、実行する。また、各実施例は、図示し説明したように音声信号に適用可能であるが、たとえば音楽信号や正弦波信号などの他の周期性信号にも適用可能である。
要約すると、本発明によれば、消失した周期性信号部分を補間できる回路が提供されることが理解できたであろう。
平成15年5月14日付出願の特願2003-136338号の明細書、特許請求の範囲、添付図面および要約書を含む全開示内容をここに、全体として引用することにより組み込むものとする。
本発明を特定の実施例を参照して説明したが、本発明はこれらの実施例に限定すべきでない。当業者は、これらの実施例を本発明の範囲および精神から逸脱することなく変更し修正可能であることは、明らかである。
本発明の実施例による消失補償回路を示す機能ブロック図である。 同実施例に含まれる自己相関演算回路によって行なわれる特定の処理結果を示すグラフである。 図示の実施例で実行される補間用補間音声データの生成手順を示す図である。 図示の実施例でやはり実行され、補間に利用する過去の音声データ範囲を規定する切出し区間の判定方法を示す図である。 本発明の他の実施例で実行される切出し区間の判定方法を示す図である。 本発明の別の実施例で実行される切出し区間の判定方法を示す図である。 本発明のさらに他の実施例で実行される切出し区間の判定方法を示す図である。 従来の音声消失補償方法を示す図である。

Claims (3)

  1. 消失した周期性信号データを該消失した周期性信号データの前に入力された周期性信号データから補間する補償回路において、該回路は、
    入力される最新の周期性信号データを所定数、保持する過去データ保持回路と、
    処理単位の周期性信号データ列毎に消失の有無を判定する判定回路と、
    消失時に、前記過去データ保持回路に保持された周期性信号データ列のなかから、決定された利用区間の周期性信号データ列を用いて、補間データを作成する補間回路と、
    消失が複数の処理単位で連続した場合、処理単位毎に位置が変化するように前記利用区間の位置を決定する位置制御部とを含み、
    前記周期性信号は音声信号を含み、
    前記位置制御部は、前記過去データ保持回路に保持された周期性信号データ列の周期を演算し、得られた複数の周期のなかで最も周期性が高い波形周期を前記利用区間の幅に決定し、前記過去データ保持回路に保持された周期性信号データ列の周期を演算し、得られた複数の周期のなかで前記利用区間の幅より短い周期を、処理単位毎に前記利用区間を変化させる指標として選択することを特徴とする補償回路。
  2. 消失した周期性信号データを該消失した周期性信号データの前に入力された周期性信号データから補間する補償方法において、該方法は、
    入力される最新の周期性信号データを所定数、保持する過去データ保持工程と、
    処理単位の周期性信号データ列毎に消失の有無を判定する判定工程と、
    消失時に、前記過去データ保持工程で保持された周期性信号データ列のなかから、決定された利用区間の周期性信号データ列を用いて、補間データを作成する補間工程と、
    消失が複数の処理単位で連続した場合、処理単位毎に位置が変化するように前記利用区間の位置を決定する位置制御工程とを含み、
    前記周期性信号は音声信号を含み、
    前記位置制御工程は、前記過去データ保持工程で保持された周期性信号データ列の周期を演算し、得られた複数の周期のなかで最も周期性が高い波形周期を前記利用区間の幅に決定し、前記過去データ保持工程で保持された周期性信号データ列の周期を演算し、得られた複数の周期のなかで前記利用区間の幅より短い周期を、処理単位毎に前記利用区間を変化させる指標とすることを特徴とする補償方法。
  3. 消失した周期性信号データを該消失した周期性信号データの前に入力された周期性信号データから補間する補償装置において、該装置は、
    入力される最新の周期性信号データを所定数、保持する過去データ保持手段と、
    処理単位の周期性信号データ列毎に消失の有無を判定する判定手段と、
    消失時に、前記過去データ保持手段に保持された周期性信号データ列のなかから、決定された利用区間の周期性信号データ列を用いて、補間データを作成する補間手段と、
    消失が複数の処理単位で連続した場合、処理単位毎に位置が変化するように前記利用区間の位置を決定する位置制御手段とを含み、
    前記周期性信号は音声信号を含み、
    前記位置制御手段は、前記過去データ保持手段に保持された周期性信号データ列の周期を演算し、得られた複数の周期のなかで最も周期性が高い波形周期を前記利用区間の幅に決定し、前記過去データ保持手段に保持された周期性信号データ列の周期を演算し、得られた複数の周期のなかで前記利用区間の幅より短い周期を、処理単位毎に前記利用区間を変化させる指標として選択することを特徴とする補償装置。
JP2006519163A 2003-05-14 2004-05-14 補償回路 Expired - Lifetime JP4535069B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003136338 2003-05-14
PCT/JP2004/006893 WO2004102531A1 (en) 2003-05-14 2004-05-14 Apparatus and method for concealing erased periodic signal data

Publications (2)

Publication Number Publication Date
JP2006526177A JP2006526177A (ja) 2006-11-16
JP4535069B2 true JP4535069B2 (ja) 2010-09-01

Family

ID=33447216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006519163A Expired - Lifetime JP4535069B2 (ja) 2003-05-14 2004-05-14 補償回路

Country Status (6)

Country Link
US (1) US7305338B2 (ja)
JP (1) JP4535069B2 (ja)
KR (1) KR20060011854A (ja)
CN (1) CN100576318C (ja)
GB (1) GB2416467B (ja)
WO (1) WO2004102531A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047860B2 (en) 2005-01-31 2015-06-02 Skype Method for concatenating frames in communication system
FR2907586A1 (fr) * 2006-10-20 2008-04-25 France Telecom Synthese de blocs perdus d'un signal audionumerique,avec correction de periode de pitch.
JP5637379B2 (ja) * 2010-11-26 2014-12-10 ソニー株式会社 復号装置、復号方法、およびプログラム
KR102238376B1 (ko) 2013-02-05 2021-04-08 텔레폰악티에볼라겟엘엠에릭슨(펍) 오디오 프레임 손실 은폐를 제어하기 위한 방법 및 장치
FR3004876A1 (fr) * 2013-04-18 2014-10-24 France Telecom Correction de perte de trame par injection de bruit pondere.

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450449A (en) * 1994-03-14 1995-09-12 At&T Ipm Corp. Linear prediction coefficient generation during frame erasure or packet loss
US5699485A (en) * 1995-06-07 1997-12-16 Lucent Technologies Inc. Pitch delay modification during frame erasures
US6952668B1 (en) * 1999-04-19 2005-10-04 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
KR100633720B1 (ko) * 1999-04-19 2006-10-16 에이티 앤드 티 코포레이션 패킷 손실 또는 프레임 삭제 은폐를 수행하는 방법 및 장치
US6584104B1 (en) * 1999-07-06 2003-06-24 Lucent Technologies, Inc. Lost-packet replacement for a digital voice signal
US6775649B1 (en) * 1999-09-01 2004-08-10 Texas Instruments Incorporated Concealment of frame erasures for speech transmission and storage system and method
US6636829B1 (en) * 1999-09-22 2003-10-21 Mindspeed Technologies, Inc. Speech communication system and method for handling lost frames
US6584438B1 (en) * 2000-04-24 2003-06-24 Qualcomm Incorporated Frame erasure compensation method in a variable rate speech coder
DE60223580T2 (de) * 2001-08-17 2008-09-18 Broadcom Corp., Irvine Verbessertes verbergen einer rahmenlöschung für die prädiktive sprachcodierung auf der basis einer extrapolation einer sprachsignalform
US7143032B2 (en) * 2001-08-17 2006-11-28 Broadcom Corporation Method and system for an overlap-add technique for predictive decoding based on extrapolation of speech and ringinig waveform
FR2830970B1 (fr) * 2001-10-12 2004-01-30 France Telecom Procede et dispositif de synthese de trames de substitution, dans une succession de trames representant un signal de parole

Also Published As

Publication number Publication date
GB0521833D0 (en) 2005-12-07
JP2006526177A (ja) 2006-11-16
GB2416467B (en) 2006-08-30
KR20060011854A (ko) 2006-02-03
GB2416467A (en) 2006-01-25
US7305338B2 (en) 2007-12-04
CN100576318C (zh) 2009-12-30
US20060224388A1 (en) 2006-10-05
CN1784717A (zh) 2006-06-07
WO2004102531A1 (en) 2004-11-25

Similar Documents

Publication Publication Date Title
US9336783B2 (en) Method and apparatus for performing packet loss or frame erasure concealment
RU2407071C2 (ru) Способ генерации кадров маскирования в системе связи
CA2335006C (en) Method and apparatus for performing packet loss or frame erasure concealment
US7047190B1 (en) Method and apparatus for performing packet loss or frame erasure concealment
US7908140B2 (en) Method and apparatus for performing packet loss or frame erasure concealment
US7233897B2 (en) Method and apparatus for performing packet loss or frame erasure concealment
JP5019479B2 (ja) ボコーダにおけるフレームの位相整合のための方法および装置
US8346546B2 (en) Packet loss concealment based on forced waveform alignment after packet loss
WO2005109402A1 (ja) 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体
JPH01155400A (ja) 音声符号化方式
US6973425B1 (en) Method and apparatus for performing packet loss or Frame Erasure Concealment
JP4535069B2 (ja) 補償回路
KR102230089B1 (ko) 오디오 신호의 은닉된 오디오 신호 부분으로부터 후속하는 오디오 신호 부분까지의 전이를 개선하기 위한 장치 및 방법
JP4419748B2 (ja) 消失補償装置、消失補償方法、および消失補償プログラム
JP5074749B2 (ja) 音声信号受信装置、それに使用される音声パケット消失補償方法、その方法を実施するプログラム、及びそのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100525

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4535069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350