JP4365610B2 - 音声復号化装置および音声復号化方法 - Google Patents
音声復号化装置および音声復号化方法 Download PDFInfo
- Publication number
- JP4365610B2 JP4365610B2 JP2003096639A JP2003096639A JP4365610B2 JP 4365610 B2 JP4365610 B2 JP 4365610B2 JP 2003096639 A JP2003096639 A JP 2003096639A JP 2003096639 A JP2003096639 A JP 2003096639A JP 4365610 B2 JP4365610 B2 JP 4365610B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- stationary noise
- pseudo
- noise
- gain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声復号化装置および音声復号化方法に関し、特にＣＥＬＰ方式に用いて好適な音声復号化装置および音声復号化方法に関する。
【０００２】
【従来の技術】
ディジタル移動通信、インターネット通信に代表されるパケット通信、あるいは音声蓄積の分野において、電波などの伝送路の容量や記録媒体の有効利用のために音声情報を圧縮し、高能率で符号化するための装置として、音声符号化装置が用いられている。中でもＣＥＬＰ（Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ：符号励振線形予測符号化）方式をベースとする方式が、中・低ビットレートでの音声符号化において広く実用化されている。ＣＥＬＰの技術については、非特許文献１に示されている。
【０００３】
ＣＥＬＰ型音声符号化方法は、音声を一定のフレーム長（５ｍｓ〜５０ｍｓ程度）に区切り、フレーム毎に音声の線形予測分析を行い、線形予測による予測残差（励振信号）を既知の波形から成る適応符号ベクトルと固定符号ベクトルを用いて符号化するものである。適応符号ベクトルは、過去に生成した駆動音源ベクトルを格納している適応符号帳から選択される。
【０００４】
この固定符号ベクトルは、予め用意されたベクトルを格納している固定符号帳から選択される。固定符号帳に格納される固定符号ベクトルには、ランダムな雑音系列のベクトルや何本かのパルスを異なる位置に配置することによって生成されるベクトルなどが用いられる。固定符号帳は、格納するベクトルの内容や符号帳の構成によって、雑音符号帳やランダム符号帳と呼ばれることもある。
【０００５】
従来のＣＥＬＰ符号化装置では、入力されたディジタル信号を用いて線形予測係数の分析および量子化、ピッチ探索（適応符号帳探索）、固定符号帳探索、およびゲイン符号帳探索がそれぞれ行われ、符号化された線形予測係数（Ｌ）、適応符号ベクトル（Ａ）、固定符号ベクトル（Ｆ）およびゲイン（Ｇ）が、多重化されて復号装置に伝送される。復号装置は、前記Ｌ，Ｐ，Ｆ，Ｇの各パラメータを復号し、復号線形予測係数によって構成される合成フィルタを復号音源信号（Ａ，Ｆ，Ｇから生成される）で駆動して復号音声信号を得る。
【０００６】
また、ＣＥＬＰ復号器において、復号した定常雑音信号の主観的品質を改善する技術として特許文献１が挙げられる。
【０００７】
また、復号信号のエネルギパラメータを、定常性の度合いを用いて生成し直すことにより、定常雑音信号の主観的品質を改善する技術として特許文献２が挙げられる。
【０００８】
【特許文献１】
特開２００２−２３６４９５号公報
【特許文献２】
特表２００２−５２５６６５号公報
【非特許文献１】
M.R.Schroeder and B.S.Atal : "Code-Excited Linear Prediction (CELP) : High-quality Speech At Very Low Bit Rates," Proc. ICASSP-85, 25.1.1, pp.937-940,1985.
【０００９】
【発明が解決しようとする課題】
しかしながら、従来の装置においては、復号信号の主観品質が充分ではないという問題がある。
【００１０】
本発明はかかる点に鑑みてなされたものであり、復号信号の主観品質を高めることのできる音声復号化装置および音声復号化方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の第１の態様に係る音声復号化装置は、擬似的に定常的な雑音である擬似定常雑音信号を生成する擬似定常雑音生成手段と、復号する信号が所定の区間毎に定常的な雑音か否かを示す雑音区間判定情報を用いて前記擬似定常雑音信号に乗算する利得係数を算出する利得調整手段と、前記擬似定常雑音信号に利得係数を乗算する乗算手段と、符号化された信号を復号する復号手段と、復号した信号に利得係数を乗算した擬似定常雑音信号を付加する付加手段と、を具備する構成を採る。
【００１２】
本発明の第２の態様に係る音声復号化装置は、前記利得調整手段が、雑音区間の連続する数が人間の定常的な雑音の知覚する数未満である場合に雑音区間の連続する数に基づいて利得係数を算出する係数算出手段を具備し、前記乗算手段が、前記係数算出手段が算出した利得係数を擬似定常雑音信号に乗算する構成を採る。
【００１３】
本発明の第３の態様に係る音声復号化装置は、前記利得調整手段が、雑音区間の連続する数をカウントし雑音区間が終了した場合にこの数を０にクリアするカウント手段と、過去に雑音区間が連続した数を記憶するバッファ手段と、前記カウント手段のカウントする数が前記バッファ手段の記憶する数より小さい場合に、前記バッファ手段が記憶する数を定常的な雑音の区間の数として雑音区間の移動平均値を算出する平均区間長算出手段と、を具備し、前記係数算出手段が、前記平均区間長算出手段が算出した雑音区間の連続する数の移動平均値が低下した場合に利得係数を小さく構成を採る。
【００１４】
これらの構成によれば、定常雑音信号の主観品質が復号信号の主観品質に与える影響が大きい場合とそうでない場合とで異なるレベル設定を行い、定常雑音区間が持続する長さに応じて付加する擬似定常雑音信号のエネルギレベルを制御することにより、それぞれの条件に適した擬似定常雑音信号のエネルギレベルを設定することができ、復号信号の主観品質を高めることができる。
【００１５】
本発明の第４の態様に係る音声復号化装置は、前記復号手段において復号された信号のスペクトルパラメータと信号エネルギパラメータとピッチパラメータを用いて復号した信号を区間毎に定常雑音か否か判定する判定手段を具備し、前記利得調整手段は、前記判定手段の判定結果に基づいて前記擬似定常雑音信号に乗算する利得係数を算出する構成を採る。
【００１６】
この構成によれば、復号器側のみでの処理となるため、符号器の種類によらず復号信号の主観品質を高めることができる。また、符号化側から復号化側に雑音区間を示す情報を伝送する必要がなく、伝送効率をあげることができる。
【００１７】
本発明の第５の態様に係る基地局装置は、上記の音声復号化装置を具備する構成を採る。本発明の第６の態様に係る通信端末装置は、上記の音声復号化装置を具備する構成を採る。
【００１８】
本発明の第７の態様に係る音声復号化プログラムは、擬似的に定常的な雑音である擬似定常雑音信号を生成する擬似定常雑音生成ステップと、復号する信号が所定の区間毎に定常的な雑音か否かを示す雑音区間判定情報を用いて前記擬似定常雑音信号に乗算する利得係数を算出する利得調整ステップと、前記擬似定常雑音信号に利得係数を乗算する乗算ステップと、符号化された信号を復号する復号ステップと、復号した信号に利得係数を乗算した擬似定常雑音信号を付加する付加ステップと、をコンピュータに実行させる構成を採る。
【００１９】
これらの構成によれば、定常雑音信号の主観品質が復号信号の主観品質に与える影響が大きい場合とそうでない場合とで異なるレベル設定を行い、定常雑音区間が持続する長さに応じて付加する擬似定常雑音信号のエネルギレベルを制御することにより、それぞれの条件に適した擬似定常雑音信号のエネルギレベルを設定することができ、復号信号の主観品質を高めることができる。
【００２０】
本発明の第８の態様に係る音声復号化方法は、擬似的に定常的な雑音である擬似定常雑音信号を生成する擬似定常雑音生成工程と、復号する信号が所定の区間毎に定常的な雑音か否かを示す雑音区間判定情報を用いて前記擬似定常雑音信号に乗算する利得係数を算出する利得調整工程と、前記擬似定常雑音信号に利得係数を乗算する乗算工程と、符号化された信号を復号する復号工程と、復号した信号に利得係数を乗算した擬似定常雑音信号を付加する付加工程と、を具備するようにした。
【００２１】
この方法によれば、定常雑音信号の主観品質が復号信号の主観品質に与える影響が大きい場合とそうでない場合とで異なるレベル設定を行い、定常雑音区間が持続する長さに応じて付加する擬似定常雑音信号のエネルギレベルを制御することにより、それぞれの条件に適した擬似定常雑音信号のエネルギレベルを設定することができ、復号信号の主観品質を高めることができる。
【００２２】
【発明の実施の形態】
本発明の骨子は、定常雑音信号の主観品質が復号信号の主観品質に与える影響が大きい場合とそうでない場合とで異なるレベル設定を行い、定常雑音区間が持続する長さに応じて付加する擬似定常雑音信号のエネルギレベルを制御することにより、それぞれの条件に適した擬似定常雑音信号のエネルギレベルを設定することができ、復号信号の主観品質を高めることである。
【００２３】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る音声復号化装置の構成を示すブロック図である。図１の音声復号化装置１０１は、ＬＰＣ復号器１１０と、適応符号帳１１１と、利得符号帳１１２と、固定符号帳１１３と、適応符号利得乗算器１１４と、固定符号利得乗算器１１５と、加算器１１６と、合成フィルタ１１７と、ポストフィルタ１１８とから主に構成される。
【００２４】
また、図１の定常雑音後処理装置１０２は、雑音生成部１２１と、加算器１２５と、スケーリング部１２６と、定常雑音特徴抽出部１２７とから主に構成される。雑音生成部１２１は、擬似定常雑音生成器１２２と、利得調整器１２３と、乗算器１２４とから主に構成される。
【００２５】
図１において、符号受信装置１００は、伝送路を経由して符号化信号を受信し、受信信号から量子化線形予測係数を表現する符号Lと適応符号ベクトルを表現する符号Ａとゲイン情報を表現する符号Ｇと固定符号ベクトルを表現する符号Ｆとに分離して、音声復号化装置１０１に供給する。
【００２６】
線形予測係数（ＬＰＣ）復号器１１０は、符号Ｌを復号し、復号で得られる線形予測係数を合成フィルタ１１７に供給する。適応符号帳１１１は、符号Ａを復号し、復号で得られる適応符号ベクトルを適応符号利得乗算器１１４に出力する。
【００２７】
利得符号帳１１２は、符号Ｇを復号し、復号で得られる適応符号利得を適応符号利得乗算器１１４に出力し、同じく復号で得られる固定符号利得を固定符号利得乗算器１１５に出力する。
【００２８】
固定符号帳１１３は、符号Ｆを復号し、復号で得られる固定符号ベクトルを固定符号利得乗算器１１５に出力する。なお、擬似定常雑音生成器１２２が、固定符号帳１１３に格納されている固定符号ベクトルを用いて擬似定常雑音信号を生成する場合、固定符号帳１１３は、擬似定常雑音生成器１２２によってランダムに選択された固定符号ベクトルを定常雑音後処理装置１０２に出力する。
【００２９】
適応符号利得乗算器１１４は、適応符号ベクトルに適応符号利得を乗算し、加算器１１６に出力する。固定符号利得乗算器１１５は、固定符号ベクトルに固定符号利得を乗算し、加算器１１６に出力する。
【００３０】
加算器１１６は、利得乗算後の適応符号ベクトルと固定符号ベクトルとを加算して駆動音源を生成し、この駆動音源を合成フィルタ１１７に出力する。また、加算器１１６は、この駆動音源を適応符号帳１１１にもフィードバックする。そして、適応符号帳１１１は、この駆動音源で内部のバッファを更新する。
【００３１】
合成フィルタ１１７は、ＬＰＣ復号器１１０から供給された線形予測係数によって構成され、加算器１１６から入力される駆動音源信号を用いて、復号音声信号を生成し、ポストフィルタ１１８に出力する。
【００３２】
ポストフィルタ１１８は、合成フィルタ１１７によって合成された音声信号に対してホルマント強調やピッチ強調等の音声の主観的品質を改善する処理を行い、音声復号化装置１０１の最終的な復号音声信号を出力する。また、ポストフィルタ１１８は、この最終的な復号音声信号を定常雑音後処理装置１０２の加算器１２５、スケーリング部１２６、及び定常雑音特徴抽出部１２７にも出力する。
【００３３】
擬似定常雑音生成器１２２は、固定符号帳１１３からランダムに固定符号ベクトルを選択して雑音信号を生成し、定常雑音特徴抽出部１２７から与えられる定常雑音信号のスペクトル特性をあらわす線形予測係数で構成された合成フィルタを前記雑音信号で駆動して擬似定常雑音信号を生成する。
【００３４】
そして、擬似定常雑音生成器１２２は、定常雑音特徴抽出部１２７から与えられる定常雑音信号のエネルギパラメータにしたがって擬似定常雑音信号のエネルギを調整し、調整後の擬似定常雑音信号を乗算器１２４に出力する。
【００３５】
なお、擬似定常雑音信号のエネルギ調整の処理の一例は、特許文献１により具体的に開示されている。本発明では、擬似定常雑音の生成のしかたについては特に限定しない。
【００３６】
利得調整器１２３は、符号化側から送信された雑音区間判定情報（定常雑音区間か否かであるかを示す情報）を入力として、擬似定常雑音信号に乗じる利得係数を算出し、乗算器１２４に出力する。乗算器１２４は、利得調整器１２３によって決定された利得を擬似定常雑音生成器１２２にから出力された擬似定常雑音信号に乗算して加算器１２５に出力する。
【００３７】
加算器１２５は、音声復号化装置１０１の出力信号（復号音声信号＝ポストフィルタ１１８の出力信号）に利得調整後の擬似定常雑音信号を加算し、加算後の復号音声信号をスケーリング部１２６に出力する。
【００３８】
スケーリング部１２６は、加算器１２５から入力した擬似定常雑音信号を加算した後の復号音声信号と擬似定常雑音信号加算前の復号音声信号とを用いて、両者のエネルギがほぼ等しくなるようなスケーリング処理を行い、最終的な出力信号として出力する。なお、スケーリング処理で用いられるスケーリング係数は、符号化側から送信された雑音区間判定情報によっても制御される。
【００３９】
定常雑音特徴抽出部１２７は、復号したＬＳＰパラメータと復号音声信号を用いて、定常雑音区間における平均的なＬＳＰパラメータおよび信号エネルギを算出し、定常雑音信号の特徴パラメータとして擬似定常雑音生成器１２２に出力する。
【００４０】
これらスケーリング処理及び定常雑音特徴抽出処理の一例が、特許文献１に具体的に開示されている。本発明では、スケーリング処理及び定常雑音特徴抽出処理の具体的方法については特に限定しない。
【００４１】
図２は、本実施の形態の音声復号化装置の利得調整器の詳細な構成を示すブロック図である。図２の利得調整器１２３は、カウンタ２０１と、カウンタバッファ２０２と、定常雑音区間平均区間長算出器２０３と、利得調整係数算出器２０４とから主に構成される。
【００４２】
図２において、雑音区間判定情報は、カウンタ２０１に入力される。カウンタ２０１は、雑音区間判定情報に基づいて定常雑音区間であるフレームの数をカウントする。そして、カウンタ２０１は、カウンタの値をカウンタバッファ２０２と定常雑音区間平均区間長算出器２０３にそれぞれ出力する。
【００４３】
カウンタバッファ２０２は、１フレーム前のカウンタ２０１の値を保持する。そして、カウンタバッファ２０２は、１フレーム前のカウンタの値を定常雑音区間平均区間長算出器２０３に出力する。
【００４４】
定常雑音区間平均区間長算出器２０３は、定常的な雑音区間の平均区間長を算出して利得調整係数算出器２０４に出力する。
【００４５】
利得調整係数算出器２０４は、復号信号中の定常雑音信号が復号信号の主観品質に与える影響が大きいか否か判断し、この判断結果に基づいて利得係数を決定する。
【００４６】
以下、利得調整器１２３の動作について説明する。図３は、本実施の形態の音声復号化装置の利得調整器の動作を示すフロー図である。
【００４７】
図３において、カウンタ２０１は、音声復号化処理開始時に初期化されているか否か判断する（ＳＴ３０１）。初期化されていない場合、ＳＴ３０２に進み、初期化されている場合、ＳＴ３０３に進む。
【００４８】
カウンタ２０１の値は、音声復号化処理開始時に初期化（ゼロクリア）される（ＳＴ３０２）。
【００４９】
つぎに、カウンタ２０１において、雑音区間判定情報を用いて現在の復号フレームが定常雑音区間であるかどうかが確認される。現在の復号フレームが定常雑音区間である場合、ＳＴ３０４に進み、現在の復号フレームが定常雑音区間でない場合、ＳＴ３０５に進む（ＳＴ３０３）。
【００５０】
常雑音区間である場合、カウンタが１つ増やされる（ＳＴ３０４）。そうでない場合は、カウンタがリセット（ゼロクリア）される（ＳＴ３０５）。
【００５１】
次に、定常雑音区間平均区間長算出器２０３が、定常雑音区間からそれ以外の区間（例えば音声区間）に変わったかどうか、即ち直前のフレームまで続いていた定常雑音区間が終了したかどうか、を確認する（ＳＴ３０６）。直前のフレームまで続いていた定常雑音区間が終了している場合、ＳＴ３０７に進み、それ以外の場合、即ち現在のフレームが定常雑音区間であったり直前のフレームが定常雑音区間でなかったりする場合、ＳＴ３０８に進む。
【００５２】
そして、定常雑音区間平均区間長算出器２０３において、平均区間長Taが算出される（ＳＴ３０７）。
【００５３】
利得調整係数算出器２０４において、定常雑音区間平均区間長から復号信号中の定常雑音信号が復号信号の主観品質に与える影響が大きいか否か判断される（ＳＴ３０８）。すなわち、利得調整係数算出器２０４は、まず、平均区間長Taが所定の閾値Thを超えているかどうかを判定する。
【００５４】
具体的な確認方法の例としては、直前のカウンタの値を保持しているカウンタバッファの内容と現在のカウンタの内容を比較し、カウンタバッファの内容のほうが大きくなっているかどうかを確認する方法がある。その結果、直前のフレームまで続いていた定常雑音区間が終了した（カウンタバッファの値のほうがカウンタの値より大きくなっている）場合は、カウンタバッファの値を直前の定常雑音区間の区間長Tsとして、過去の平均的な定常雑音区間の区間長Ta（定常雑音の継続時間）を例えば式（１）により算出する。
Ta＝k×Ta＋(1-k)×Ts …（１）
ここで、kは平滑化係数であり、例えば0.9程度の値に設定する。
【００５５】
平均区間長Taが所定の閾値Th未満の場合、ＳＴ３０９に進み、平均区間長Taが所定の閾値Th以上の場合ＳＴ３１０に進む。
【００５６】
TaがTh未満の場合、定常雑音区間の継続長が十分でないため、例えば式（２）等を用いて、Taに応じた利得調整係数を算出する（ＳＴ３０９）。
Cs＝α×Ta …（２）
ここで、α＝C/Thである。なお、Ｃは後述する定数である。
【００５７】
また、TaがTh以上の場合、定常雑音区間の継続時間は十分であり、復号信号中の定常雑音信号が復号信号の主観品質に与える影響が大きいと判断し、経験的に定めた定数Cを利得調整係数Csとする（ＳＴ３１０）。Cの値は、音声符号化アルゴリズムの定常雑音信号に対する符号化性能によって変わりうるが、およそ0.5〜1.0の範囲で設定する。
【００５８】
次に、求められたCsがフレーム間で緩やかに変化するように、例えば式（３）に示すように平滑化する（ＳＴ３１１）。
Cs＝γCsp＋(1−γ)Cs …（３）
ここで、γは平滑化係数であり、例えば0.9とする。また、Cspは直前のフレームにおいて算出されたCsを保持する変数である。
【００５９】
そして、Csの値をCspの値に反映させる（ＳＴ３１２）。最後に、カウンタバッファの値を現フレームにおけるカウンタの値で更新する（ＳＴ３１３）。
【００６０】
このように、本発明の音声復号化装置によれば、定常雑音信号の主観品質が復号信号の主観品質に与える影響が大きい場合とそうでない場合とで異なるレベル設定を行い、定常雑音区間が持続する長さに応じて付加する擬似定常雑音信号のエネルギレベルを制御することにより、それぞれの条件に適した擬似定常雑音信号のエネルギレベルを設定することができ、復号信号の主観品質を高めることができる。
【００６１】
なお、図１では雑音区間判定情報が外部から入力されているが、これは、復号化側において、復号された各種の音声パラメータを用いて求められるものであっても良いし、符号化音声パラメータとは別に符号化側から伝送されてくるものであっても良い。
【００６２】
以下、復号化側において、復号された各種の音声パラメータを用いて雑音区間の判定を行う例について説明する。図４は、本実施の形態の音声復号化処理システムの構成を示すブロック図である。但し、図１と同一の構成となるものについては、図１と同一番号を付し、詳しい説明を省略する。図４の音声復号化処理システム４００は、定常雑音区間検出装置４０１を具備し、復号側で復号する信号が雑音区間か否か判定する点が図１の音声復号化装置と異なる。
【００６３】
図４において、符号受信装置１００は、符号化信号を伝送路から受信し、各種パラメータを分離して音声復号化装置１０１に出力する。
【００６４】
音声復号化装置１０１は、各種パラメータから音声信号を復号し、復号音声信号と復号処理の途中で得られたパラメータを定常雑音区間検出装置４０１および定常雑音後処理装置１０２に出力する。
【００６５】
定常雑音区間検出装置４０１は、音声復号化装置１０１から入力される情報を用いて定常雑音区間かどうかの判定を行い、判定結果と判定処理の途中で得られたパラメータを定常雑音後処理装置１０２に出力する。例えば、定常雑音区間検出装置４０１は、音声復号化装置１０１が用いるＬＳＰパラメータと復号信号音声のエネルギと復号されたピッチパラメータ（ピッチ周期およびピッチゲイン）より雑音区間を判定する。この判定方法の一例は特許文献１に開示されている。
【００６６】
定常雑音後処理装置１０２は、定常雑音区間検出装置４０１の判定を雑音区間判定情報として用い、音声復号化装置１０１において復号化した信号に擬似定常雑音信号を生成し付加する後処理を行う。すなわち、定常雑音後処理装置１０２は、音声復号化装置１０１から入力した復号音声信号に対して、音声復号化装置１０１から入力した各種パラメータ情報と定常雑音区間検出装置４０１から入力した判定情報および各種パラメータ情報とを用いて、擬似定常雑音信号を生成し付加する後処理を行い、最終的な復号音声信号として出力する。
【００６７】
以下、音声復号化処理システム４００の動作について説明する。図５は、本実施の形態の音声復号化処理システムの動作を示すフロー図である。
【００６８】
まず、ＳＴ５０１において、各種メモリの初期化を行う（復号化処理が開始された時に１回だけ行われる）。次に、定常雑音区間検出装置４０１において、区間毎に定常雑音状態か否か判定処理が行われる（ＳＴ５０２）。
【００６９】
次に、ＳＴ５０３では、擬似定常雑音生成器１２２において、擬似定常雑音信号の生成が行われる。次に、ＳＴ５０４では、利得調整器１２３及び乗算器１２４において、擬似定常雑音信号のエネルギレベルを調整する処理が行われる。
【００７０】
次に、ＳＴ５０５では、加算器１２５において、エネルギレベル調整後の擬似定常雑音信号を音声復号化装置１０１の出力信号（復号音声信号）に加算する処理が行われる。次に、ＳＴ５０６では、スケーリング部１２６において、擬似定常雑音信号加算前と加算後の信号エネルギがほぼ等しくなるようにスケーリング処理が行われる。
【００７１】
ＳＴ５０７において、音声復号処理が終了していない場合、ＳＴ５０２に戻り、音声復号処理が終了している場合、以上の処理を終了する。
【００７２】
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照して説明する。図６は、本発明の実施の形態２に係る音声信号伝送システムの構成を示すブロック図である。本発明の実施の形態２において、図６における音声復号化装置６１５は、前述した実施の形態１に示したシステムによって構成されている点に本実施の形態の特徴がある。
【００７３】
図６は、本発明の実施の形態１に係る音声信号伝送システムの構成を示すプロック図である。図６の音声信号伝送システムは、音声信号送信装置６００及び音声信号受信装置６１０を具備している。
【００７４】
音声信号送信装置６００は、入力装置６０１、Ａ／Ｄ変換装置６０２、音声符号化装置６０３、信号処理装置６０４、ＲＦ変調装置６０５、送信装置６０６及びアンテナ６０７とから主に構成される。
【００７５】
Ａ／Ｄ変換装置６０２の入力端子は、入力装置６０１に接続されている。音声符号化装置６０３の入力端子は、Ａ／Ｄ変換装置６０２の出力端子に接続されている。信号処理装置６０４の入力端子は、音声符号化装置６０３の出力端子に接続されている。ＲＦ変調装置６０５の入力端子は、信号処理装置６０４の出力端子に接続されている。送信装置６０６の入力端子は、ＲＦ変調装置６０５の出力端子に接続されている。アンテナ６０７は、送信装置６０６の出力端子に接続されている。
【００７６】
入力装置６０１は、音声信号を受けてこれを電気信号であるアナログ音声信号に変換し、Ａ／Ｄ変換装置６０２に与える。Ａ／Ｄ変換装置６０２は、入力装置６０１からのアナログの音声信号をディジタル音声信号に変換し、これを音声符号化装置６０３へ与える。
【００７７】
音声符号化装置６０３は、Ａ／Ｄ変換装置６０２からのディジタル音声信号を符号化して音声符号化ビット列を生成し信号処理装置６０４に与える。信号処理装置６０４は、音声符号化装置６０３からの音声符号化ビット列にチャネル符号化処理やパケット化処理及び送信バッファ処理等を行った後、その音声符号化ビット列をＲＦ変調装置６０５に与える。
【００７８】
ＲＦ変調装置６０５は、信号処理装置６０４からのチャネル符号化処理等が行われた音声符号化ビット列の信号を変調して送信装置６０６に与える。送信装置６０６は、ＲＦ変調装置６０５からの変調された音声符号化信号をアンテナ６０７を介して電波（ＲＦ信号）として送出する。
【００７９】
音声信号送信装置６００においては、Ａ／Ｄ変換装置６０２を介して得られるディジタル音声信号に対して数十ｍｓのフレーム単位で処理が行われる。システムを構成するネットワークがパケット網である場合には、１フレーム又は数フレームの符号化データを１つのパケットに入れこのパケットをパケット網に送出する。なお、前記ネットワークが回線交換網の場合には、パケット化処理や送信バッファ処理は不要である。
【００８０】
また、音声信号受信装置６１０は、アンテナ６１１、受信装置６１２、ＲＦ復調装置６１３、信号処理装置６１４、音声復号化装置６１５、Ｄ／Ａ変換装置６１６及び出力装置６１７を有している。
【００８１】
受信装置６１２の入力端子は、アンテナ６１１に接続されている。ＲＦ復調装置６１３の入力端子は、受信装置６１２の出力端子に接続されている。信号処理装置６１４の入力端子は、ＲＦ復調装置６１３の出力端子に接続されている。音声復号化装置６１５の入力端子は、信号処理装置６１４の出力端子に接続されている。Ｄ／Ａ変換装置６１６の入力端子は、音声復号化装置６１５の出力端子に接続されている。出力装置６１７の入力端子は、Ｄ／Ａ変換装置６１６の出力端子に接続されている。
【００８２】
受信装置６１２は、アンテナ６１１を介して音声符号化情報を含んでいる電波（ＲＦ信号）を受けてアナログの電気信号である受信音声符号化信号を生成し、これをＲＦ復調装置６１３に与える。アンテナ６１１を介して受けた電波（ＲＦ信号）は、伝送路において信号の減衰や雑音の重畳がなければ、音声信号送信装置６００において送出された電波（ＲＦ信号）と全く同じものになる。
【００８３】
ＲＦ復調装置６１３は、受信装置６１２からの受信音声符号化信号を復調し信号処理装置６１４に与える。信号処理装置６１４は、ＲＦ復調装置６１３からの受信音声符号化信号のジッタ吸収バッファリング処理、パケット組みたて処理およびチャネル復号化処理等を行い、受信音声符号化ビット列を音声復号化装置６１５に与える。
【００８４】
音声復号化装置６１５は、信号処理装置６１４からの受信音声符号化ビット列の復号化処理を行って復号音声信号を生成しＤ／Ａ変換装置６１６へ与える。音声復号化装置６１５は、実施の形態１の音声復号化処理システム４００から構成される。
【００８５】
Ｄ／Ａ変換装置６１６は、音声復号化装置６１５からのディジタル復号音声信号をアナログ復号音声信号に変換して出力装置６１７に与える。出力装置６１７は、Ｄ／Ａ変換装置６１６からのアナログ復号音声信号を空気の振動に変換し音波として人間の耳に聞こえる様に出力する。
【００８６】
このように、本実施の形態の通信装置によれば、無線通信において前述した実施の形態１に示したような効果を享受でき、復号信号の主観品質を高めることができる。
【００８７】
なお、本発明は、オーディオ信号を用いる受信装置、受信復号化装置又は音声信号復号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【００８８】
なお、本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。例えば、上記実施の形態では、音声復号化装置として行う場合について説明しているが、これに限られるものではなく、この音声復号化方法をソフトウェアとして行うことも可能である。
【００８９】
例えば、上記音声復号化方法を実行するプログラムを予めＲＯＭ（Read Only Memory）に格納しておき、そのプログラムをＣＰＵ（Central Processor Unit）によって動作させるようにしても良い。
【００９０】
また、上記音声復号化方法を実行するプログラムをコンピュータで読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュータのＲＡＭ（Random Access Memory）に記録して、コンピュータをそのプログラムにしたがって動作させるようにしても良い。
【００９１】
【発明の効果】
以上説明したように、本発明の音声復号化装置および音声復号化方法によれば、定常雑音信号の主観品質が復号信号の主観品質に与える影響が大きい場合とそうでない場合とで異なるレベル設定を行い、定常雑音区間が持続する長さに応じて付加する擬似定常雑音信号のエネルギレベルを制御することにより、それぞれの条件に適した擬似定常雑音信号のエネルギレベルを設定することができ、復号信号の主観品質を高めることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る音声復号化装置の構成を示すブロック図
【図２】上記実施の形態の音声復号化装置の利得調整器の詳細な構成を示すブロック図
【図３】上記実施の形態の音声復号化装置の利得調整器の動作を示すフロー図
【図４】上記実施の形態の音声復号化処理システムの構成を示すブロック図
【図５】上記実施の形態の音声復号化処理システムの動作を示すフロー図
【図６】本発明の実施の形態２に係る音声信号伝送システムの構成を示すブロック図
【符号の説明】
１１０ ＬＰＣ復号器
１１１ 適応符号帳
１１２ 利得符号帳
１１３ 固定符号帳
１１４ 適応符号利得乗算器
１１５ 固定符号利得乗算器
１１６、１２５ 加算器
１１７ 合成フィルタ
１１８ ポストフィルタ
１２１ 雑音生成部
１２２ 擬似定常雑音生成器
１２３ 利得調整器
１２４ 乗算器
１２６ スケーリング部
１２７ 定常雑音特徴抽出部
２０１ カウンタ
２０２ カウンタバッファ
２０３ 定常雑音区間平均区間長算出器
２０４ 利得調整係数算出器
４０１ 定常雑音区間検出装置
【発明の属する技術分野】
本発明は、音声復号化装置および音声復号化方法に関し、特にＣＥＬＰ方式に用いて好適な音声復号化装置および音声復号化方法に関する。
【０００２】
【従来の技術】
ディジタル移動通信、インターネット通信に代表されるパケット通信、あるいは音声蓄積の分野において、電波などの伝送路の容量や記録媒体の有効利用のために音声情報を圧縮し、高能率で符号化するための装置として、音声符号化装置が用いられている。中でもＣＥＬＰ（Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ：符号励振線形予測符号化）方式をベースとする方式が、中・低ビットレートでの音声符号化において広く実用化されている。ＣＥＬＰの技術については、非特許文献１に示されている。
【０００３】
ＣＥＬＰ型音声符号化方法は、音声を一定のフレーム長（５ｍｓ〜５０ｍｓ程度）に区切り、フレーム毎に音声の線形予測分析を行い、線形予測による予測残差（励振信号）を既知の波形から成る適応符号ベクトルと固定符号ベクトルを用いて符号化するものである。適応符号ベクトルは、過去に生成した駆動音源ベクトルを格納している適応符号帳から選択される。
【０００４】
この固定符号ベクトルは、予め用意されたベクトルを格納している固定符号帳から選択される。固定符号帳に格納される固定符号ベクトルには、ランダムな雑音系列のベクトルや何本かのパルスを異なる位置に配置することによって生成されるベクトルなどが用いられる。固定符号帳は、格納するベクトルの内容や符号帳の構成によって、雑音符号帳やランダム符号帳と呼ばれることもある。
【０００５】
従来のＣＥＬＰ符号化装置では、入力されたディジタル信号を用いて線形予測係数の分析および量子化、ピッチ探索（適応符号帳探索）、固定符号帳探索、およびゲイン符号帳探索がそれぞれ行われ、符号化された線形予測係数（Ｌ）、適応符号ベクトル（Ａ）、固定符号ベクトル（Ｆ）およびゲイン（Ｇ）が、多重化されて復号装置に伝送される。復号装置は、前記Ｌ，Ｐ，Ｆ，Ｇの各パラメータを復号し、復号線形予測係数によって構成される合成フィルタを復号音源信号（Ａ，Ｆ，Ｇから生成される）で駆動して復号音声信号を得る。
【０００６】
また、ＣＥＬＰ復号器において、復号した定常雑音信号の主観的品質を改善する技術として特許文献１が挙げられる。
【０００７】
また、復号信号のエネルギパラメータを、定常性の度合いを用いて生成し直すことにより、定常雑音信号の主観的品質を改善する技術として特許文献２が挙げられる。
【０００８】
【特許文献１】
特開２００２−２３６４９５号公報
【特許文献２】
特表２００２−５２５６６５号公報
【非特許文献１】
M.R.Schroeder and B.S.Atal : "Code-Excited Linear Prediction (CELP) : High-quality Speech At Very Low Bit Rates," Proc. ICASSP-85, 25.1.1, pp.937-940,1985.
【０００９】
【発明が解決しようとする課題】
しかしながら、従来の装置においては、復号信号の主観品質が充分ではないという問題がある。
【００１０】
本発明はかかる点に鑑みてなされたものであり、復号信号の主観品質を高めることのできる音声復号化装置および音声復号化方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の第１の態様に係る音声復号化装置は、擬似的に定常的な雑音である擬似定常雑音信号を生成する擬似定常雑音生成手段と、復号する信号が所定の区間毎に定常的な雑音か否かを示す雑音区間判定情報を用いて前記擬似定常雑音信号に乗算する利得係数を算出する利得調整手段と、前記擬似定常雑音信号に利得係数を乗算する乗算手段と、符号化された信号を復号する復号手段と、復号した信号に利得係数を乗算した擬似定常雑音信号を付加する付加手段と、を具備する構成を採る。
【００１２】
本発明の第２の態様に係る音声復号化装置は、前記利得調整手段が、雑音区間の連続する数が人間の定常的な雑音の知覚する数未満である場合に雑音区間の連続する数に基づいて利得係数を算出する係数算出手段を具備し、前記乗算手段が、前記係数算出手段が算出した利得係数を擬似定常雑音信号に乗算する構成を採る。
【００１３】
本発明の第３の態様に係る音声復号化装置は、前記利得調整手段が、雑音区間の連続する数をカウントし雑音区間が終了した場合にこの数を０にクリアするカウント手段と、過去に雑音区間が連続した数を記憶するバッファ手段と、前記カウント手段のカウントする数が前記バッファ手段の記憶する数より小さい場合に、前記バッファ手段が記憶する数を定常的な雑音の区間の数として雑音区間の移動平均値を算出する平均区間長算出手段と、を具備し、前記係数算出手段が、前記平均区間長算出手段が算出した雑音区間の連続する数の移動平均値が低下した場合に利得係数を小さく構成を採る。
【００１４】
これらの構成によれば、定常雑音信号の主観品質が復号信号の主観品質に与える影響が大きい場合とそうでない場合とで異なるレベル設定を行い、定常雑音区間が持続する長さに応じて付加する擬似定常雑音信号のエネルギレベルを制御することにより、それぞれの条件に適した擬似定常雑音信号のエネルギレベルを設定することができ、復号信号の主観品質を高めることができる。
【００１５】
本発明の第４の態様に係る音声復号化装置は、前記復号手段において復号された信号のスペクトルパラメータと信号エネルギパラメータとピッチパラメータを用いて復号した信号を区間毎に定常雑音か否か判定する判定手段を具備し、前記利得調整手段は、前記判定手段の判定結果に基づいて前記擬似定常雑音信号に乗算する利得係数を算出する構成を採る。
【００１６】
この構成によれば、復号器側のみでの処理となるため、符号器の種類によらず復号信号の主観品質を高めることができる。また、符号化側から復号化側に雑音区間を示す情報を伝送する必要がなく、伝送効率をあげることができる。
【００１７】
本発明の第５の態様に係る基地局装置は、上記の音声復号化装置を具備する構成を採る。本発明の第６の態様に係る通信端末装置は、上記の音声復号化装置を具備する構成を採る。
【００１８】
本発明の第７の態様に係る音声復号化プログラムは、擬似的に定常的な雑音である擬似定常雑音信号を生成する擬似定常雑音生成ステップと、復号する信号が所定の区間毎に定常的な雑音か否かを示す雑音区間判定情報を用いて前記擬似定常雑音信号に乗算する利得係数を算出する利得調整ステップと、前記擬似定常雑音信号に利得係数を乗算する乗算ステップと、符号化された信号を復号する復号ステップと、復号した信号に利得係数を乗算した擬似定常雑音信号を付加する付加ステップと、をコンピュータに実行させる構成を採る。
【００１９】
これらの構成によれば、定常雑音信号の主観品質が復号信号の主観品質に与える影響が大きい場合とそうでない場合とで異なるレベル設定を行い、定常雑音区間が持続する長さに応じて付加する擬似定常雑音信号のエネルギレベルを制御することにより、それぞれの条件に適した擬似定常雑音信号のエネルギレベルを設定することができ、復号信号の主観品質を高めることができる。
【００２０】
本発明の第８の態様に係る音声復号化方法は、擬似的に定常的な雑音である擬似定常雑音信号を生成する擬似定常雑音生成工程と、復号する信号が所定の区間毎に定常的な雑音か否かを示す雑音区間判定情報を用いて前記擬似定常雑音信号に乗算する利得係数を算出する利得調整工程と、前記擬似定常雑音信号に利得係数を乗算する乗算工程と、符号化された信号を復号する復号工程と、復号した信号に利得係数を乗算した擬似定常雑音信号を付加する付加工程と、を具備するようにした。
【００２１】
この方法によれば、定常雑音信号の主観品質が復号信号の主観品質に与える影響が大きい場合とそうでない場合とで異なるレベル設定を行い、定常雑音区間が持続する長さに応じて付加する擬似定常雑音信号のエネルギレベルを制御することにより、それぞれの条件に適した擬似定常雑音信号のエネルギレベルを設定することができ、復号信号の主観品質を高めることができる。
【００２２】
【発明の実施の形態】
本発明の骨子は、定常雑音信号の主観品質が復号信号の主観品質に与える影響が大きい場合とそうでない場合とで異なるレベル設定を行い、定常雑音区間が持続する長さに応じて付加する擬似定常雑音信号のエネルギレベルを制御することにより、それぞれの条件に適した擬似定常雑音信号のエネルギレベルを設定することができ、復号信号の主観品質を高めることである。
【００２３】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る音声復号化装置の構成を示すブロック図である。図１の音声復号化装置１０１は、ＬＰＣ復号器１１０と、適応符号帳１１１と、利得符号帳１１２と、固定符号帳１１３と、適応符号利得乗算器１１４と、固定符号利得乗算器１１５と、加算器１１６と、合成フィルタ１１７と、ポストフィルタ１１８とから主に構成される。
【００２４】
また、図１の定常雑音後処理装置１０２は、雑音生成部１２１と、加算器１２５と、スケーリング部１２６と、定常雑音特徴抽出部１２７とから主に構成される。雑音生成部１２１は、擬似定常雑音生成器１２２と、利得調整器１２３と、乗算器１２４とから主に構成される。
【００２５】
図１において、符号受信装置１００は、伝送路を経由して符号化信号を受信し、受信信号から量子化線形予測係数を表現する符号Lと適応符号ベクトルを表現する符号Ａとゲイン情報を表現する符号Ｇと固定符号ベクトルを表現する符号Ｆとに分離して、音声復号化装置１０１に供給する。
【００２６】
線形予測係数（ＬＰＣ）復号器１１０は、符号Ｌを復号し、復号で得られる線形予測係数を合成フィルタ１１７に供給する。適応符号帳１１１は、符号Ａを復号し、復号で得られる適応符号ベクトルを適応符号利得乗算器１１４に出力する。
【００２７】
利得符号帳１１２は、符号Ｇを復号し、復号で得られる適応符号利得を適応符号利得乗算器１１４に出力し、同じく復号で得られる固定符号利得を固定符号利得乗算器１１５に出力する。
【００２８】
固定符号帳１１３は、符号Ｆを復号し、復号で得られる固定符号ベクトルを固定符号利得乗算器１１５に出力する。なお、擬似定常雑音生成器１２２が、固定符号帳１１３に格納されている固定符号ベクトルを用いて擬似定常雑音信号を生成する場合、固定符号帳１１３は、擬似定常雑音生成器１２２によってランダムに選択された固定符号ベクトルを定常雑音後処理装置１０２に出力する。
【００２９】
適応符号利得乗算器１１４は、適応符号ベクトルに適応符号利得を乗算し、加算器１１６に出力する。固定符号利得乗算器１１５は、固定符号ベクトルに固定符号利得を乗算し、加算器１１６に出力する。
【００３０】
加算器１１６は、利得乗算後の適応符号ベクトルと固定符号ベクトルとを加算して駆動音源を生成し、この駆動音源を合成フィルタ１１７に出力する。また、加算器１１６は、この駆動音源を適応符号帳１１１にもフィードバックする。そして、適応符号帳１１１は、この駆動音源で内部のバッファを更新する。
【００３１】
合成フィルタ１１７は、ＬＰＣ復号器１１０から供給された線形予測係数によって構成され、加算器１１６から入力される駆動音源信号を用いて、復号音声信号を生成し、ポストフィルタ１１８に出力する。
【００３２】
ポストフィルタ１１８は、合成フィルタ１１７によって合成された音声信号に対してホルマント強調やピッチ強調等の音声の主観的品質を改善する処理を行い、音声復号化装置１０１の最終的な復号音声信号を出力する。また、ポストフィルタ１１８は、この最終的な復号音声信号を定常雑音後処理装置１０２の加算器１２５、スケーリング部１２６、及び定常雑音特徴抽出部１２７にも出力する。
【００３３】
擬似定常雑音生成器１２２は、固定符号帳１１３からランダムに固定符号ベクトルを選択して雑音信号を生成し、定常雑音特徴抽出部１２７から与えられる定常雑音信号のスペクトル特性をあらわす線形予測係数で構成された合成フィルタを前記雑音信号で駆動して擬似定常雑音信号を生成する。
【００３４】
そして、擬似定常雑音生成器１２２は、定常雑音特徴抽出部１２７から与えられる定常雑音信号のエネルギパラメータにしたがって擬似定常雑音信号のエネルギを調整し、調整後の擬似定常雑音信号を乗算器１２４に出力する。
【００３５】
なお、擬似定常雑音信号のエネルギ調整の処理の一例は、特許文献１により具体的に開示されている。本発明では、擬似定常雑音の生成のしかたについては特に限定しない。
【００３６】
利得調整器１２３は、符号化側から送信された雑音区間判定情報（定常雑音区間か否かであるかを示す情報）を入力として、擬似定常雑音信号に乗じる利得係数を算出し、乗算器１２４に出力する。乗算器１２４は、利得調整器１２３によって決定された利得を擬似定常雑音生成器１２２にから出力された擬似定常雑音信号に乗算して加算器１２５に出力する。
【００３７】
加算器１２５は、音声復号化装置１０１の出力信号（復号音声信号＝ポストフィルタ１１８の出力信号）に利得調整後の擬似定常雑音信号を加算し、加算後の復号音声信号をスケーリング部１２６に出力する。
【００３８】
スケーリング部１２６は、加算器１２５から入力した擬似定常雑音信号を加算した後の復号音声信号と擬似定常雑音信号加算前の復号音声信号とを用いて、両者のエネルギがほぼ等しくなるようなスケーリング処理を行い、最終的な出力信号として出力する。なお、スケーリング処理で用いられるスケーリング係数は、符号化側から送信された雑音区間判定情報によっても制御される。
【００３９】
定常雑音特徴抽出部１２７は、復号したＬＳＰパラメータと復号音声信号を用いて、定常雑音区間における平均的なＬＳＰパラメータおよび信号エネルギを算出し、定常雑音信号の特徴パラメータとして擬似定常雑音生成器１２２に出力する。
【００４０】
これらスケーリング処理及び定常雑音特徴抽出処理の一例が、特許文献１に具体的に開示されている。本発明では、スケーリング処理及び定常雑音特徴抽出処理の具体的方法については特に限定しない。
【００４１】
図２は、本実施の形態の音声復号化装置の利得調整器の詳細な構成を示すブロック図である。図２の利得調整器１２３は、カウンタ２０１と、カウンタバッファ２０２と、定常雑音区間平均区間長算出器２０３と、利得調整係数算出器２０４とから主に構成される。
【００４２】
図２において、雑音区間判定情報は、カウンタ２０１に入力される。カウンタ２０１は、雑音区間判定情報に基づいて定常雑音区間であるフレームの数をカウントする。そして、カウンタ２０１は、カウンタの値をカウンタバッファ２０２と定常雑音区間平均区間長算出器２０３にそれぞれ出力する。
【００４３】
カウンタバッファ２０２は、１フレーム前のカウンタ２０１の値を保持する。そして、カウンタバッファ２０２は、１フレーム前のカウンタの値を定常雑音区間平均区間長算出器２０３に出力する。
【００４４】
定常雑音区間平均区間長算出器２０３は、定常的な雑音区間の平均区間長を算出して利得調整係数算出器２０４に出力する。
【００４５】
利得調整係数算出器２０４は、復号信号中の定常雑音信号が復号信号の主観品質に与える影響が大きいか否か判断し、この判断結果に基づいて利得係数を決定する。
【００４６】
以下、利得調整器１２３の動作について説明する。図３は、本実施の形態の音声復号化装置の利得調整器の動作を示すフロー図である。
【００４７】
図３において、カウンタ２０１は、音声復号化処理開始時に初期化されているか否か判断する（ＳＴ３０１）。初期化されていない場合、ＳＴ３０２に進み、初期化されている場合、ＳＴ３０３に進む。
【００４８】
カウンタ２０１の値は、音声復号化処理開始時に初期化（ゼロクリア）される（ＳＴ３０２）。
【００４９】
つぎに、カウンタ２０１において、雑音区間判定情報を用いて現在の復号フレームが定常雑音区間であるかどうかが確認される。現在の復号フレームが定常雑音区間である場合、ＳＴ３０４に進み、現在の復号フレームが定常雑音区間でない場合、ＳＴ３０５に進む（ＳＴ３０３）。
【００５０】
常雑音区間である場合、カウンタが１つ増やされる（ＳＴ３０４）。そうでない場合は、カウンタがリセット（ゼロクリア）される（ＳＴ３０５）。
【００５１】
次に、定常雑音区間平均区間長算出器２０３が、定常雑音区間からそれ以外の区間（例えば音声区間）に変わったかどうか、即ち直前のフレームまで続いていた定常雑音区間が終了したかどうか、を確認する（ＳＴ３０６）。直前のフレームまで続いていた定常雑音区間が終了している場合、ＳＴ３０７に進み、それ以外の場合、即ち現在のフレームが定常雑音区間であったり直前のフレームが定常雑音区間でなかったりする場合、ＳＴ３０８に進む。
【００５２】
そして、定常雑音区間平均区間長算出器２０３において、平均区間長Taが算出される（ＳＴ３０７）。
【００５３】
利得調整係数算出器２０４において、定常雑音区間平均区間長から復号信号中の定常雑音信号が復号信号の主観品質に与える影響が大きいか否か判断される（ＳＴ３０８）。すなわち、利得調整係数算出器２０４は、まず、平均区間長Taが所定の閾値Thを超えているかどうかを判定する。
【００５４】
具体的な確認方法の例としては、直前のカウンタの値を保持しているカウンタバッファの内容と現在のカウンタの内容を比較し、カウンタバッファの内容のほうが大きくなっているかどうかを確認する方法がある。その結果、直前のフレームまで続いていた定常雑音区間が終了した（カウンタバッファの値のほうがカウンタの値より大きくなっている）場合は、カウンタバッファの値を直前の定常雑音区間の区間長Tsとして、過去の平均的な定常雑音区間の区間長Ta（定常雑音の継続時間）を例えば式（１）により算出する。
Ta＝k×Ta＋(1-k)×Ts …（１）
ここで、kは平滑化係数であり、例えば0.9程度の値に設定する。
【００５５】
平均区間長Taが所定の閾値Th未満の場合、ＳＴ３０９に進み、平均区間長Taが所定の閾値Th以上の場合ＳＴ３１０に進む。
【００５６】
TaがTh未満の場合、定常雑音区間の継続長が十分でないため、例えば式（２）等を用いて、Taに応じた利得調整係数を算出する（ＳＴ３０９）。
Cs＝α×Ta …（２）
ここで、α＝C/Thである。なお、Ｃは後述する定数である。
【００５７】
また、TaがTh以上の場合、定常雑音区間の継続時間は十分であり、復号信号中の定常雑音信号が復号信号の主観品質に与える影響が大きいと判断し、経験的に定めた定数Cを利得調整係数Csとする（ＳＴ３１０）。Cの値は、音声符号化アルゴリズムの定常雑音信号に対する符号化性能によって変わりうるが、およそ0.5〜1.0の範囲で設定する。
【００５８】
次に、求められたCsがフレーム間で緩やかに変化するように、例えば式（３）に示すように平滑化する（ＳＴ３１１）。
Cs＝γCsp＋(1−γ)Cs …（３）
ここで、γは平滑化係数であり、例えば0.9とする。また、Cspは直前のフレームにおいて算出されたCsを保持する変数である。
【００５９】
そして、Csの値をCspの値に反映させる（ＳＴ３１２）。最後に、カウンタバッファの値を現フレームにおけるカウンタの値で更新する（ＳＴ３１３）。
【００６０】
このように、本発明の音声復号化装置によれば、定常雑音信号の主観品質が復号信号の主観品質に与える影響が大きい場合とそうでない場合とで異なるレベル設定を行い、定常雑音区間が持続する長さに応じて付加する擬似定常雑音信号のエネルギレベルを制御することにより、それぞれの条件に適した擬似定常雑音信号のエネルギレベルを設定することができ、復号信号の主観品質を高めることができる。
【００６１】
なお、図１では雑音区間判定情報が外部から入力されているが、これは、復号化側において、復号された各種の音声パラメータを用いて求められるものであっても良いし、符号化音声パラメータとは別に符号化側から伝送されてくるものであっても良い。
【００６２】
以下、復号化側において、復号された各種の音声パラメータを用いて雑音区間の判定を行う例について説明する。図４は、本実施の形態の音声復号化処理システムの構成を示すブロック図である。但し、図１と同一の構成となるものについては、図１と同一番号を付し、詳しい説明を省略する。図４の音声復号化処理システム４００は、定常雑音区間検出装置４０１を具備し、復号側で復号する信号が雑音区間か否か判定する点が図１の音声復号化装置と異なる。
【００６３】
図４において、符号受信装置１００は、符号化信号を伝送路から受信し、各種パラメータを分離して音声復号化装置１０１に出力する。
【００６４】
音声復号化装置１０１は、各種パラメータから音声信号を復号し、復号音声信号と復号処理の途中で得られたパラメータを定常雑音区間検出装置４０１および定常雑音後処理装置１０２に出力する。
【００６５】
定常雑音区間検出装置４０１は、音声復号化装置１０１から入力される情報を用いて定常雑音区間かどうかの判定を行い、判定結果と判定処理の途中で得られたパラメータを定常雑音後処理装置１０２に出力する。例えば、定常雑音区間検出装置４０１は、音声復号化装置１０１が用いるＬＳＰパラメータと復号信号音声のエネルギと復号されたピッチパラメータ（ピッチ周期およびピッチゲイン）より雑音区間を判定する。この判定方法の一例は特許文献１に開示されている。
【００６６】
定常雑音後処理装置１０２は、定常雑音区間検出装置４０１の判定を雑音区間判定情報として用い、音声復号化装置１０１において復号化した信号に擬似定常雑音信号を生成し付加する後処理を行う。すなわち、定常雑音後処理装置１０２は、音声復号化装置１０１から入力した復号音声信号に対して、音声復号化装置１０１から入力した各種パラメータ情報と定常雑音区間検出装置４０１から入力した判定情報および各種パラメータ情報とを用いて、擬似定常雑音信号を生成し付加する後処理を行い、最終的な復号音声信号として出力する。
【００６７】
以下、音声復号化処理システム４００の動作について説明する。図５は、本実施の形態の音声復号化処理システムの動作を示すフロー図である。
【００６８】
まず、ＳＴ５０１において、各種メモリの初期化を行う（復号化処理が開始された時に１回だけ行われる）。次に、定常雑音区間検出装置４０１において、区間毎に定常雑音状態か否か判定処理が行われる（ＳＴ５０２）。
【００６９】
次に、ＳＴ５０３では、擬似定常雑音生成器１２２において、擬似定常雑音信号の生成が行われる。次に、ＳＴ５０４では、利得調整器１２３及び乗算器１２４において、擬似定常雑音信号のエネルギレベルを調整する処理が行われる。
【００７０】
次に、ＳＴ５０５では、加算器１２５において、エネルギレベル調整後の擬似定常雑音信号を音声復号化装置１０１の出力信号（復号音声信号）に加算する処理が行われる。次に、ＳＴ５０６では、スケーリング部１２６において、擬似定常雑音信号加算前と加算後の信号エネルギがほぼ等しくなるようにスケーリング処理が行われる。
【００７１】
ＳＴ５０７において、音声復号処理が終了していない場合、ＳＴ５０２に戻り、音声復号処理が終了している場合、以上の処理を終了する。
【００７２】
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照して説明する。図６は、本発明の実施の形態２に係る音声信号伝送システムの構成を示すブロック図である。本発明の実施の形態２において、図６における音声復号化装置６１５は、前述した実施の形態１に示したシステムによって構成されている点に本実施の形態の特徴がある。
【００７３】
図６は、本発明の実施の形態１に係る音声信号伝送システムの構成を示すプロック図である。図６の音声信号伝送システムは、音声信号送信装置６００及び音声信号受信装置６１０を具備している。
【００７４】
音声信号送信装置６００は、入力装置６０１、Ａ／Ｄ変換装置６０２、音声符号化装置６０３、信号処理装置６０４、ＲＦ変調装置６０５、送信装置６０６及びアンテナ６０７とから主に構成される。
【００７５】
Ａ／Ｄ変換装置６０２の入力端子は、入力装置６０１に接続されている。音声符号化装置６０３の入力端子は、Ａ／Ｄ変換装置６０２の出力端子に接続されている。信号処理装置６０４の入力端子は、音声符号化装置６０３の出力端子に接続されている。ＲＦ変調装置６０５の入力端子は、信号処理装置６０４の出力端子に接続されている。送信装置６０６の入力端子は、ＲＦ変調装置６０５の出力端子に接続されている。アンテナ６０７は、送信装置６０６の出力端子に接続されている。
【００７６】
入力装置６０１は、音声信号を受けてこれを電気信号であるアナログ音声信号に変換し、Ａ／Ｄ変換装置６０２に与える。Ａ／Ｄ変換装置６０２は、入力装置６０１からのアナログの音声信号をディジタル音声信号に変換し、これを音声符号化装置６０３へ与える。
【００７７】
音声符号化装置６０３は、Ａ／Ｄ変換装置６０２からのディジタル音声信号を符号化して音声符号化ビット列を生成し信号処理装置６０４に与える。信号処理装置６０４は、音声符号化装置６０３からの音声符号化ビット列にチャネル符号化処理やパケット化処理及び送信バッファ処理等を行った後、その音声符号化ビット列をＲＦ変調装置６０５に与える。
【００７８】
ＲＦ変調装置６０５は、信号処理装置６０４からのチャネル符号化処理等が行われた音声符号化ビット列の信号を変調して送信装置６０６に与える。送信装置６０６は、ＲＦ変調装置６０５からの変調された音声符号化信号をアンテナ６０７を介して電波（ＲＦ信号）として送出する。
【００７９】
音声信号送信装置６００においては、Ａ／Ｄ変換装置６０２を介して得られるディジタル音声信号に対して数十ｍｓのフレーム単位で処理が行われる。システムを構成するネットワークがパケット網である場合には、１フレーム又は数フレームの符号化データを１つのパケットに入れこのパケットをパケット網に送出する。なお、前記ネットワークが回線交換網の場合には、パケット化処理や送信バッファ処理は不要である。
【００８０】
また、音声信号受信装置６１０は、アンテナ６１１、受信装置６１２、ＲＦ復調装置６１３、信号処理装置６１４、音声復号化装置６１５、Ｄ／Ａ変換装置６１６及び出力装置６１７を有している。
【００８１】
受信装置６１２の入力端子は、アンテナ６１１に接続されている。ＲＦ復調装置６１３の入力端子は、受信装置６１２の出力端子に接続されている。信号処理装置６１４の入力端子は、ＲＦ復調装置６１３の出力端子に接続されている。音声復号化装置６１５の入力端子は、信号処理装置６１４の出力端子に接続されている。Ｄ／Ａ変換装置６１６の入力端子は、音声復号化装置６１５の出力端子に接続されている。出力装置６１７の入力端子は、Ｄ／Ａ変換装置６１６の出力端子に接続されている。
【００８２】
受信装置６１２は、アンテナ６１１を介して音声符号化情報を含んでいる電波（ＲＦ信号）を受けてアナログの電気信号である受信音声符号化信号を生成し、これをＲＦ復調装置６１３に与える。アンテナ６１１を介して受けた電波（ＲＦ信号）は、伝送路において信号の減衰や雑音の重畳がなければ、音声信号送信装置６００において送出された電波（ＲＦ信号）と全く同じものになる。
【００８３】
ＲＦ復調装置６１３は、受信装置６１２からの受信音声符号化信号を復調し信号処理装置６１４に与える。信号処理装置６１４は、ＲＦ復調装置６１３からの受信音声符号化信号のジッタ吸収バッファリング処理、パケット組みたて処理およびチャネル復号化処理等を行い、受信音声符号化ビット列を音声復号化装置６１５に与える。
【００８４】
音声復号化装置６１５は、信号処理装置６１４からの受信音声符号化ビット列の復号化処理を行って復号音声信号を生成しＤ／Ａ変換装置６１６へ与える。音声復号化装置６１５は、実施の形態１の音声復号化処理システム４００から構成される。
【００８５】
Ｄ／Ａ変換装置６１６は、音声復号化装置６１５からのディジタル復号音声信号をアナログ復号音声信号に変換して出力装置６１７に与える。出力装置６１７は、Ｄ／Ａ変換装置６１６からのアナログ復号音声信号を空気の振動に変換し音波として人間の耳に聞こえる様に出力する。
【００８６】
このように、本実施の形態の通信装置によれば、無線通信において前述した実施の形態１に示したような効果を享受でき、復号信号の主観品質を高めることができる。
【００８７】
なお、本発明は、オーディオ信号を用いる受信装置、受信復号化装置又は音声信号復号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【００８８】
なお、本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。例えば、上記実施の形態では、音声復号化装置として行う場合について説明しているが、これに限られるものではなく、この音声復号化方法をソフトウェアとして行うことも可能である。
【００８９】
例えば、上記音声復号化方法を実行するプログラムを予めＲＯＭ（Read Only Memory）に格納しておき、そのプログラムをＣＰＵ（Central Processor Unit）によって動作させるようにしても良い。
【００９０】
また、上記音声復号化方法を実行するプログラムをコンピュータで読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュータのＲＡＭ（Random Access Memory）に記録して、コンピュータをそのプログラムにしたがって動作させるようにしても良い。
【００９１】
【発明の効果】
以上説明したように、本発明の音声復号化装置および音声復号化方法によれば、定常雑音信号の主観品質が復号信号の主観品質に与える影響が大きい場合とそうでない場合とで異なるレベル設定を行い、定常雑音区間が持続する長さに応じて付加する擬似定常雑音信号のエネルギレベルを制御することにより、それぞれの条件に適した擬似定常雑音信号のエネルギレベルを設定することができ、復号信号の主観品質を高めることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る音声復号化装置の構成を示すブロック図
【図２】上記実施の形態の音声復号化装置の利得調整器の詳細な構成を示すブロック図
【図３】上記実施の形態の音声復号化装置の利得調整器の動作を示すフロー図
【図４】上記実施の形態の音声復号化処理システムの構成を示すブロック図
【図５】上記実施の形態の音声復号化処理システムの動作を示すフロー図
【図６】本発明の実施の形態２に係る音声信号伝送システムの構成を示すブロック図
【符号の説明】
１１０ ＬＰＣ復号器
１１１ 適応符号帳
１１２ 利得符号帳
１１３ 固定符号帳
１１４ 適応符号利得乗算器
１１５ 固定符号利得乗算器
１１６、１２５ 加算器
１１７ 合成フィルタ
１１８ ポストフィルタ
１２１ 雑音生成部
１２２ 擬似定常雑音生成器
１２３ 利得調整器
１２４ 乗算器
１２６ スケーリング部
１２７ 定常雑音特徴抽出部
２０１ カウンタ
２０２ カウンタバッファ
２０３ 定常雑音区間平均区間長算出器
２０４ 利得調整係数算出器
４０１ 定常雑音区間検出装置
Claims (7)
- 擬似的に定常的な雑音である擬似定常雑音信号を生成する擬似定常雑音生成手段と、復号する信号が所定の区間毎に定常的な雑音か否かを示す雑音区間判定情報を用いて前記擬似定常雑音信号に乗算する利得係数を算出する利得調整手段と、前記擬似定常雑音信号に利得係数を乗算する乗算手段と、符号化された信号を復号する復号手段と、復号した信号に利得係数を乗算した擬似定常雑音信号を付加する付加手段と、を具備し、前記利得調整手段は、雑音区間の連続する数が人間の定常的な雑音の知覚する数未満である場合に雑音区間の連続する数に基づいて利得係数を算出する係数算出手段を具備し、前記乗算手段は、前記係数算出手段が算出した利得係数を擬似定常雑音信号に乗算することを特徴とする音声復号化装置。
- 前記利得調整手段は、雑音区間の連続する数をカウントし雑音区間が終了した場合にこの数を０にクリアするカウント手段と、過去に雑音区間が連続した数を記憶するバッファ手段と、前記カウント手段のカウントする数が前記バッファ手段の記憶する数より小さい場合に、前記バッファ手段が記憶する数を定常的な雑音の区間の数として雑音区間の移動平均値を算出する平均区間長算出手段と、を具備し、前記係数算出手段は、前記平均区間長算出手段が算出した雑音区間の連続する数の移動平均値が所定の閾値を超えない範囲において低下した場合に利得係数を小さくすることを特徴とする請求項１に記載の音声復号化装置。
- 前記復号手段において復号された信号のスペクトルパラメータと信号エネルギパラメータとピッチパラメータを用いて復号した信号を区間毎に定常雑音か否か判定する判定手段を具備し、前記利得調整手段は、前記判定手段の判定結果に基づいて前記擬似定常雑音信号に乗算する利得係数を算出することを特徴とする請求項１または請求項２に記載の音声復号化装置。
- 請求項１から請求項３のいずれかに記載の音声復号化装置を具備することを特徴とする基地局装置。
- 請求項１から請求項３のいずれかに記載の音声復号化装置を具備することを特徴とする通信端末装置。
- 擬似的に定常的な雑音である擬似定常雑音信号を生成する擬似定常雑音生成ステップと、復号する信号が所定の区間毎に定常的な雑音か否かを示す雑音区間判定情報を用いて前記擬似定常雑音信号に乗算する利得係数を算出する利得調整ステップと、前記擬似定常雑音信号に利得係数を乗算する乗算ステップと、符号化された信号を復号する復号ステップと、復号した信号に利得係数を乗算した擬似定常雑音信号を付加する付加ステップと、をコンピュータに実行させる音声復号化プログラムであって、前記利得調整ステップにおいて、雑音区間の連続する数が人間の定常的な雑音の知覚する数未満である場合に雑音区間の連続する数に基づいて利得係数を算出させ、前記乗算ステップにおいて、算出された前記利得係数を擬似定常雑音信号に乗算させることを特徴とする音声復号化プログラム。
- 擬似的に定常的な雑音である擬似定常雑音信号を生成する擬似定常雑音生成工程と、復号する信号が所定の区間毎に定常的な雑音か否かを示す雑音区間判定情報を用いて前記擬似定常雑音信号に乗算する利得係数を算出する利得調整工程と、前記擬似定常雑音信号に利得係数を乗算する乗算工程と、符号化された信号を復号する復号工程と、復号した信号に利得係数を乗算した擬似定常雑音信号を付加する付加工程と、を具備する音声復号化方法であって、前記利得調整工程は、雑音区間の連続する数が人間の定常的な雑音の知覚する数未満である場合に雑音区間の連続する数に基づいて利得係数を算出する係数算出工程を具備し、前記乗算工程において、前記係数算出工程において算出した利得係数を擬似定常雑音信号に乗算することを特徴とする音声復号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003096639A JP4365610B2 (ja) | 2003-03-31 | 2003-03-31 | 音声復号化装置および音声復号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003096639A JP4365610B2 (ja) | 2003-03-31 | 2003-03-31 | 音声復号化装置および音声復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004302258A JP2004302258A (ja) | 2004-10-28 |
| JP4365610B2 true JP4365610B2 (ja) | 2009-11-18 |
Family
ID=33408635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003096639A Expired - Lifetime JP4365610B2 (ja) | 2003-03-31 | 2003-03-31 | 音声復号化装置および音声復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4365610B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107408390A (zh) * | 2015-04-13 | 2017-11-28 | 日本电信电话株式会社 | 线性预测编码装置、线性预测解码装置、它们的方法、程序以及记录介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101617362B (zh) | 2007-03-02 | 2012-07-18 | 松下电器产业株式会社 | 语音解码装置和语音解码方法 |
| KR101235830B1 (ko) * | 2007-12-06 | 2013-02-21 | 한국전자통신연구원 | 음성코덱의 품질향상장치 및 그 방법 |
| US9640190B2 (en) | 2012-08-29 | 2017-05-02 | Nippon Telegraph And Telephone Corporation | Decoding method, decoding apparatus, program, and recording medium therefor |
-
2003
- 2003-03-31 JP JP2003096639A patent/JP4365610B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107408390A (zh) * | 2015-04-13 | 2017-11-28 | 日本电信电话株式会社 | 线性预测编码装置、线性预测解码装置、它们的方法、程序以及记录介质 |
| CN107408390B (zh) * | 2015-04-13 | 2021-08-06 | 日本电信电话株式会社 | 线性预测编码装置、线性预测解码装置、它们的方法以及记录介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004302258A (ja) | 2004-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102449690B (zh) | 用于重建被擦除语音帧的系统与方法 | |
| CN1989548B (zh) | 语音解码装置及补偿帧生成方法 | |
| US7222069B2 (en) | Voice code conversion apparatus | |
| US8255210B2 (en) | Audio/music decoding device and method utilizing a frame erasure concealment utilizing multiple encoded information of frames adjacent to the lost frame | |
| EP2535893B1 (en) | Device and method for lost frame concealment | |
| EP1164580A1 (en) | Multi-mode voice encoding device and decoding device | |
| JP4489960B2 (ja) | 音声の無声セグメントの低ビットレート符号化 | |
| EP3131094B1 (en) | Noise signal processing and generation method, encoder/decoder and encoding/decoding system | |
| EP1221694A1 (en) | Voice encoder/decoder | |
| US7542898B2 (en) | Pitch cycle search range setting apparatus and pitch cycle search apparatus | |
| JP4287637B2 (ja) | 音声符号化装置、音声符号化方法及びプログラム | |
| EP0922278B1 (en) | Variable bitrate speech transmission system | |
| EP1073039A2 (en) | Speech decoder with gain processing | |
| JP4365610B2 (ja) | 音声復号化装置および音声復号化方法 | |
| JP2003249957A (ja) | パケット構成方法及び装置、パケット構成プログラム、並びにパケット分解方法及び装置、パケット分解プログラム | |
| US20190348055A1 (en) | Audio paramenter quantization | |
| JPWO2003071522A1 (ja) | 固定音源ベクトルの生成方法及び固定音源符号帳 | |
| EP0971337A1 (en) | Method and device for emphasizing pitch | |
| US7584096B2 (en) | Method and apparatus for encoding speech | |
| JP4343302B2 (ja) | ピッチ強調方法及びその装置 | |
| JP4619549B2 (ja) | マルチモード音声復号化装置及びマルチモード音声復号化方法 | |
| JP2002073097A (ja) | Ｃｅｌｐ型音声符号化装置とｃｅｌｐ型音声復号化装置及び音声符号化方法と音声復号化方法 | |
| JPH09244695A (ja) | 音声符号化装置及び復号化装置 | |
| JPH034300A (ja) | 音声符号化復号化方式 | |
| JPH0426120B2 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090702 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090728 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090821 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4365610 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |