JPWO2006028009A1 - スケーラブル復号化装置および信号消失補償方法 - Google Patents

スケーラブル復号化装置および信号消失補償方法 Download PDF

Info

Publication number
JPWO2006028009A1
JPWO2006028009A1 JP2006535718A JP2006535718A JPWO2006028009A1 JP WO2006028009 A1 JPWO2006028009 A1 JP WO2006028009A1 JP 2006535718 A JP2006535718 A JP 2006535718A JP 2006535718 A JP2006535718 A JP 2006535718A JP WO2006028009 A1 JPWO2006028009 A1 JP WO2006028009A1
Authority
JP
Japan
Prior art keywords
lsp
wideband
band
unit
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006535718A
Other languages
English (en)
Other versions
JP4989971B2 (ja
Inventor
江原 宏幸
宏幸 江原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2006535718A priority Critical patent/JP4989971B2/ja
Publication of JPWO2006028009A1 publication Critical patent/JPWO2006028009A1/ja
Application granted granted Critical
Publication of JP4989971B2 publication Critical patent/JP4989971B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients

Abstract

伝送誤りに対する耐性を向上させることができるスケーラブル復号化装置。この装置において、狭帯域LSP復号化部(108)は、現在の符号化情報のコアレイヤに対応する狭帯域LSP符号化情報を復号化する。記憶部(126)は、過去の符号化情報の拡張レイヤに対応する広帯域量子化LSPを記憶広帯域LSPとして記憶する。フレーム消失補償部(124)および切替部(128)の組み合わせから成る補償部は、現在の符号化情報の広帯域LSP符号化情報が消失した場合、狭帯域量子化LSPの帯域変換LSPと記憶広帯域LSPとの重み付け加算によって補償広帯域LSPを生成し、消失した広帯域LSP符号化情報の復号信号を補償広帯域LSPで補償する。

Description

本発明は、周波数帯域幅に(周波数軸方向に)スケーラビリティを有する符号化情報を復号化するスケーラブル復号化装置およびその信号消失補償方法に関する。
一般に、音声信号の符号化において、LSP(線スペクトル対)パラメータは、スペクトル包絡情報を効率的に表現するパラメータとして、広く用いられている。なお、LSPは、LSF(線スペクトル周波数)とも呼ばれる。
LSPパラメータ(以下、単に「LSP」と言う)の符号化は、音声信号を高能率で符号化する音声符号化技術の必須要素技術の一つであり、音声信号を階層的に符号化して狭帯域信号および広帯域信号をそれぞれコアレイヤおよび拡張レイヤに対応付けて生成する帯域スケーラブル音声符号化においても重要な要素技術である。
帯域スケーラブル音声符号化により得られた符号化LSPを復号化する従来の方法としては、例えば特許文献1に記載されたものがある。ここに開示されたスケーラブル復号化方法では、コアレイヤの狭帯域復号LSPを0.5倍したものに、拡張レイヤで復号化された成分を加えて、広帯域復号LSPを得る。
ところで、上記の符号化LSPが伝送されるとき、その一部が伝送路上で消失することがある。LSPの一部が復号化側に届かない場合、復号化側では、消失した情報を補償するための処理を行う必要がある。このように、情報伝送の際に誤りが発生し得るシステム環境の下で行われる音声通信では、消失補償処理の使用が、音声符号化/復号化方式の誤り耐性を改善する上で重要な要素技術と言える。例えば特許文献2に記載された消失補償処理では、低次3次と高次7次とに分けて伝送された10次のLSPのうち高次7次のLSPが復号化側に届かなかった場合に、最後に正常に復号化された高次7次のLSPを復号値として繰り返し使用する。
特開平11−30997号公報 特開平9−172413号公報
しかしながら、上記従来のスケーラブル復号化方法においては、伝送された符号化LSPのうち消失した一部の符号化LSPに対する補償処理が行われないため、例えばシステム環境に起因して発生し得る伝送誤りに対する耐性を向上させることができないという問題があった。
本発明の目的は、伝送誤りに対する耐性を向上させることができるスケーラブル復号化装置および信号消失補償方法を提供することである。
本発明のスケーラブル復号化装置は、第1の階層符号化信号のコアレイヤに対応する狭帯域スペクトルパラメータを復号化する復号化手段と、第1の階層符号化信号と異なる第2の階層符号化信号の拡張レイヤに対応する広帯域スペクトルパラメータを記憶する記憶手段と、第2の階層符号化信号の広帯域スペクトルパラメータが消失した場合、復号化された狭帯域スペクトルパラメータの帯域変換信号と記憶された広帯域スペクトルパラメータとの重み付け加算によって消失補償信号を生成し、消失した広帯域スペクトルパラメータの復号信号を消失補償信号で補償する補償手段と、を有する構成を採る。
本発明の信号消失補償方法は、現在の階層符号化信号の拡張レイヤに対応する広帯域スペクトルパラメータが消失した場合に、現在の階層符号化信号のコアレイヤに対応し且つ復号化された狭帯域スペクトルパラメータの帯域変換信号と過去の階層符号化信号の拡張レイヤに対応する広帯域スペクトルパラメータとの重み付け加算によって消失補償信号を生成し、消失した広帯域スペクトルパラメータの復号信号を消失補償信号で補償するようにした。
本発明によれば、伝送誤りに対する耐性を向上させることができる。
本発明の実施の形態1に係るスケーラブル復号化装置の構成を示すブロック図 本発明の実施の形態1に係る広帯域LSP復号化部の構成を示すブロック図 本発明の実施の形態1に係るフレーム消失補償部の構成を示すブロック図 本発明の実施の形態1に係る量子化LSPを示す図 本発明の実施の形態1に係る帯域変換LSPを示す図 本発明の実施の形態1に係る広帯域LSPを示す図 本発明の実施の形態1に係る補償広帯域LSPを示す図 本発明の実施の形態2に係るスケーラブル復号化装置の構成を示すブロック図 本発明の実施の形態2に係る広帯域LSP復号化部の構成を示すブロック図 本発明の実施の形態2に係るフレーム消失補償部の構成を示すブロック図
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係るスケーラブル復号化装置の構成の要部を示すブロック図である。図1のスケーラブル復号化装置100は、多重分離部102、音源復号化部104、106、狭帯域LSP復号化部108、広帯域LSP復号化部110、音声合成部112、114、アップサンプル部116および加算部118を有する。図2は、広帯域LSP復号化部110の内部構成を示すブロック図であり、広帯域LSP復号化部110は、変換部120、復号実行部122、フレーム消失補償部124、記憶部126および切替部128を有する。記憶部126は、バッファ129を有する。図3は、フレーム消失補償部124の内部構成を示すブロック図であり、フレーム消失補償部124は、重み付け部130、132および加算部134を有する。
多重分離部102は、符号化情報を受け取る。ここで、多重分離部102で受け取られる符号化情報は、図示されないスケーラブル符号化装置で音声信号を階層的に符号化することによって生成された信号である。スケーラブル符号化装置での音声符号化においては、狭帯域音源符号化情報、広帯域音源符号化情報、狭帯域LSP符号化情報および広帯域LSP符号化情報から成る符号化情報が生成される。狭帯域音源符号化情報および狭帯域LSP符号化情報は、コアレイヤに対応付けて生成された信号であり、広帯域音源符号化情報および広帯域LSP符号化情報は、拡張レイヤに対応付けて生成された信号である。
多重分離部102は、受け取った符号化情報を、各パラメータの符号化情報に分離する。分離後の狭帯域音源符号化情報は音源復号化部106に、分離後の狭帯域LSP符号化情報は狭帯域LSP復号化部108に、分離後の広帯域音源符号化情報は音源復号化部104に、分離後の広帯域LSP符号化情報は広帯域LSP復号化部110に、それぞれ出力される。
音源復号化部106は、多重分離部102から入力された狭帯域音源符号化情報を復号して、狭帯域量子化音源信号を得る。狭帯域量子化音源信号は、音声合成部112へ出力される。
狭帯域LSP復号化部108は、多重分離部102から入力された狭帯域LSP符号化情報を復号して、狭帯域量子化LSPを得る。狭帯域量子化LSPは、音声合成部112および広帯域LSP復号化部110へ出力される。
音声合成部112は、狭帯域LSP復号化部108から入力された狭帯域量子化LSPを線形予測係数に変換し、得られた線形予測係数を用いて線形予測合成フィルタを構築する。また、この線形予測合成フィルタを、音源復号化部106から入力された狭帯域量子化音源信号で駆動して復号音声信号を合成する。この復号音声信号は、狭帯域復号音声信号として出力される。また、狭帯域復号音声信号は、広帯域復号音声信号を得るためにアップサンプル部116へ出力される。なお、この狭帯域復号音声信号は、そのまま最終出力として用いられても良い。狭帯域復号音声信号をそのまま最終出力とする場合は、ポストフィルタなど主観的な品質を改善するための後処理を行なってから出力するのが一般的である。
アップサンプル部116は、音声合成部112から入力された狭帯域復号音声信号のアップサンプル処理を行う。アップサンプル処理を受けた狭帯域復号音声信号は、加算部118へ出力される。
音源復号化部104は、多重分離部102から入力された広帯域音源符号化情報を復号し、広帯域量子化音源信号を得る。得られた広帯域量子化音源信号は、音声合成部114へ出力される。
広帯域LSP復号化部110は、図示されないフレーム消失情報生成部から入力された後述のフレーム消失情報に基づいて、狭帯域LSP復号化部108から入力された狭帯域量子化LSPと多重分離部102から入力された広帯域LSP符号化情報とから、広帯域量子化LSPを得る。得られた広帯域量子化LSPは、音声合成部114へ出力される。
ここで、図2を参照しながら、広帯域LSP復号化部110の内部構成についてより具体的に説明する。
変換部120は、狭帯域LSP復号化部108から入力された狭帯域量子化LSPに可変または固定の変換係数を乗じる。この乗算により、狭帯域量子化LSPは狭帯域の周波数領域から広帯域の周波数領域に変換され、帯域変換LSPが得られる。得られた帯域変換LSPは、復号実行部122およびフレーム消失補償部124へ出力される。
なお、変換部120は、変換係数を乗じる処理以外の処理によって変換処理を行っても良い。例えば、マッピングテーブルを用いた非線形変換を行っても良いし、LSPを自己相関係数に変換し自己相関係数の領域でアップサンプル処理することを含んでも良い。
復号実行部122は、多重分離部102から入力された広帯域LSP符号化情報から、広帯域LSP残差ベクトルを復号する。そして、変換部120から入力された帯域変換LSPに、広帯域LSP残差ベクトルを加算する。このようにして、広帯域量子化LSPを復号する。得られた広帯域量子化LSPは、切替部128へ出力される。
なお、復号実行部122の構成は、前述のものだけに限定されない。例えば、復号実行部122は、その内部に符号帳を有しても良い。この場合、復号実行部122は、多重分離部102から入力された広帯域LSP符号化情報からインデックス情報を復号し、そのインデックス情報で特定されるLSPベクトルを用いて広帯域LSPを得る。また、過去に復号した広帯域量子化LSP、過去に入力した広帯域LSP符号化情報、過去に変換部120から入力した帯域変換LSP、などを用いて広帯域量子化LSPを復号する構成であっても良い。
フレーム消失補償部124は、変換部120から入力された帯域変換LSPとバッファ129に記憶されている記憶広帯域LSPとを重み付け加算する。これにより、補償広帯域LSPを生成する。重み付け加算については後述する。補償広帯域LSPは、入力された帯域変換LSPに対応する符号化情報のうち広帯域LSP符号化情報の一部のフレームが伝送路上で消失した場合に、その広帯域LSP符号化情報の復号信号である広帯域量子化LSPを補償するために用いられる。生成された補償広帯域LSPは切替部128へ出力される。
記憶部126は、その内部に設けられたバッファ129に、フレーム消失補償部124による補償広帯域LSPの生成に用いられる記憶広帯域LSPを予め記憶し、その記憶広帯域LSPをフレーム消失補償部124および切替部128へ出力する。また、バッファ129に記憶されている記憶広帯域LSPを、切替部128から入力された広帯域量子化LSPで、更新する。
これにより、切替部128から入力された広帯域量子化LSPで記憶広帯域LSPが更新される。したがって、後続の符号化情報、特に、現在の符号化情報の直後の符号化情報の広帯域LSP符号化情報が消失した場合に、現在の符号化情報の広帯域LSP符号化情報に対して生成された広帯域量子化LSPを記憶広帯域LSPとして用いて、後続の符号化情報の広帯域LSP符号化情報に対する補償広帯域LSPを生成することができる。
切替部128は、入力されたフレーム消失情報に従って、広帯域量子化LSPとして音声合成部114へ出力される情報を切り替える。
より具体的には、入力されたフレーム消失情報が「符号化情報に含まれる狭帯域LSP符号化情報および広帯域LSP符号化情報の全てが正常に受信された」ことを示す場合、切替部128は、復号実行部122から入力された広帯域量子化LSPをそのまま音声合成部114および記憶部126へ出力する。また、入力されたフレーム消失情報が「符号化情報に含まれる狭帯域LSP符号化情報および広帯域LSP符号化情報のうち、狭帯域LSP符号化情報は正常に受信され、広帯域LSP符号化情報の少なくとも一部が消失した」ことを示す場合、切替部128は、フレーム消失補償部124から入力された補償広帯域LSPを広帯域量子化LSPとして音声合成部114および記憶部126へ出力する。また、入力されたフレーム消失情報が「符号化情報に含まれる狭帯域LSP符号化情報および広帯域LSP符号化情報の双方の少なくとも一部が消失した」ことを示す場合、切替部128は、記憶部126から入力された記憶広帯域LSPを広帯域量子化LSPとして音声合成部114および記憶部126へ出力する。
すなわち、フレーム消失補償部124および切替部128の組み合わせは、多重分離部102に入力された符号化情報の広帯域LSP符号化情報が消失した場合、復号化された狭帯域量子化LSPから得られた帯域変換LSPとバッファ129に予め記憶された記憶広帯域LSPとの重み付け加算によって消失補償信号を生成し、消失した広帯域信号の広帯域量子化LSPを消失補償信号で補償する補償部を構成する。
ここで、図3を参照しながら、フレーム消失補償部124の内部構成についてより具体的に説明する。重み付け部130は、変換部120から入力された帯域変換LSPに重み係数w1を乗算する。この乗算によって得られたLSPベクトルは加算部134へ出力される。重み付け部132は、記憶部126から入力された記憶広帯域LSPに重み係数w2を乗算する。この乗算によって得られたLSPベクトルは、加算部134へ出力される。加算部134は、重み付け部130、132からそれぞれ入力されたLSPベクトルを加算する。この加算により補償広帯域LSPが生成される。
再び図1を参照する。音声合成部114は、広帯域LSP復号化部110から入力された量子化広帯域LSPを線形予測係数に変換し、得られた線形予測係数を用いて線形予測合成フィルタを構築する。また、この線形予測合成フィルタを、音源復号化部104から入力された広帯域量子化音源信号で駆動して復号音声信号を合成する。この復号音声信号は、加算部118へ出力される。
加算部118は、アップサンプル部116から入力されたアップサンプル後の狭帯域復号音声信号と音声合成部114から入力された復号音声信号とを加算する。そして、この加算によって得られた広帯域復号音声信号を出力する。
次いで、上記構成を有するスケーラブル復号化装置100における動作、特に重み付け加算処理について説明する。
ここでは、コアレイヤに対応する狭帯域の周波数領域を0〜4kHzとし、拡張レイヤに対応する広帯域の周波数領域を0〜8kHzとし、変換部120で用いられる変換係数を「0.5」とした場合を例にとり、図4A〜図4Dを用いて説明する。図4Aにおいては、サンプリング周波数は8kHz、ナイキスト周波数は4kHzであり、図4B〜図4Dにおいては、サンプリング周波数は16kHzであり、ナイキスト周波数は8kHzである。
変換部120では、入力された現在の狭帯域量子化LSPの各次LSPを0.5倍することで例えば図4Aに示される4kHz帯域の量子化LSPを8kHz帯域の量子化LSPに変換して、例えば図4Bに示される帯域変換LSPを生成する。なお、変換部120では、前述の手法と異なる手法を用いて帯域幅(サンプリング周波数)を変換するようにしても良い。また、ここでは、広帯域量子化LSPの次数を16次とし、1〜8次を低域、9〜16次を高域とそれぞれ定義する。
重み付け部130には、帯域変換LSPが入力される。重み付け部130では、次の式(1)および(2)により設定された重み係数w1(i)を、変換部120から入力された帯域変換LSPに乗算する。なお、入力された帯域変換LSPは、多重分離部102で取得された現在の符号化情報から導出されたものである。また、iは次数を表す。
w1(i)=(9−i)/8 (i=1〜8) …(1)
w1(i)=0 (i=9〜16) …(2)
一方、重み付け部132には、例えば図4Cに示される記憶広帯域LSPが入力される。重み付け部132では、次の式(3)および(4)により設定された重み係数w2(i)を、記憶部126から入力された記憶広帯域LSPに乗算する。なお、入力された記憶広帯域LSPは、多重分離部102で現在の符号化情報よりも過去に(例えば現在の符号化情報の直前のフレームで)取得された符号化情報から、導出されたものである。
w2(i)=(i−1)/8 (i=1〜8) …(3)
w2(i)=1 (i=9〜16) …(4)
すなわち、重み係数w1(i)および重み係数w2(i)は、w1(i)+w2(i)=1.0となるように設定されている。また、重み係数w1(i)は、0〜1の間で、高域に近づくほど小さくなるような値に設定されており、高域では0に設定されている。また、重み係数w2(i)は、0〜1の間で、高域に近づくほど大きくなるような値に設定されており、高域では1に設定されている。
そして、加算部134では、重み付け部130での乗算によって得られたLSPベクトルと重み付け部132での乗算によって得られたLSPベクトルとの和ベクトルを求める。このように前述のLSPベクトルの和ベクトルを求めることにより、例えば図4Dに示される補償広帯域LSPが得られる。
重み係数w1(i)、w2(i)は、狭帯域量子化LSPを変換して得られる帯域変換LSPと、過去に復号した広帯域量子化LSPである記憶広帯域LSPと、のどちらがエラーフリー時に復号される広帯域量子化LSPに近いかによって適応的に設定するのが理想的である。すなわち、帯域変換LSPの方がエラーフリー時の広帯域量子化LSPに近い場合は重み係数w1(i)の方が大きく、記憶広帯域LSPの方がエラーフリー時の広帯域量子化LSPに近い場合は重み係数w2(i)の方が大きくなるように設定するのが良い。ただし実際には、フレーム消失が発生したときはエラーフリー時の広帯域量子化LSPは知り得ないので、理想的な重み係数の設定は困難である。しかしながら、前述のような4kHz帯域信号と8kHz帯域信号とのスケーラブル符号化を行った場合、4kHz以上の帯域では記憶広帯域LSPの方がエラーフリー時の広帯域量子化LSPに近い(エラーフリー時の広帯域量子化LSPとの誤差が小さい)ことが多く、4kHz以下の帯域では0Hzに近づくほど帯域変換LSPの方がエラーフリー時の広帯域LSPに近い(エラーフリー時の広帯域量子化LSPとの誤差が小さい)ことが多い、という傾向がある。したがって、前述の式(1)〜(4)は、前述の誤差傾向を含む特性を近似する関数である。よって、式(1)〜(4)で定義された重み係数w1(i)、w2(i)を用いることにより、狭帯域の周波数帯域と広帯域の周波数帯域との組み合わせによって特定される誤差特性、すなわち、帯域変換LSPとエラーフリーの広帯域量子化LSPとの間での誤差傾向を考慮に入れた重み付け加算を行うことができる。しかも、式(1)〜(4)のような簡単な式で重み係数w1(i)、w2(i)が決定されるので、重み係数w1(i)、w2(i)をROM(Read Only Memory)などに記憶しておく必要がなく、効果的な重み付け加算を簡単な構成で実現することができる。
なお、本実施の形態では、周波数または次数が高くなるほど誤差が大きくなる誤差変動傾向が存在する場合を例にとって説明したが、誤差変動傾向は各レイヤの周波数領域の設定条件などによって異なる。例えば、狭帯域の周波数領域が300Hz〜3.4kHzで、広帯域の周波数領域が50Hz〜7kHzであるような場合は、下限周波数が異なるため、300Hz以下の領域で発生する誤差よりも300Hz以上の領域で発生する誤差の方が小さくなるか同程度になることもあり得る。このような場合は、例えば、重み係数w2(1)を重み係数w2(2)と同じ値または重み係数w2(2)よりも大きな値にしても良い。
すなわち、重み係数w1(i)、w2(i)の設定に要求される条件は次の通りである。狭帯域の周波数領域と広帯域の周波数領域とが互いに重複する領域である重複帯域に対応する係数を第1の係数と定義する。また、狭帯域の周波数領域と広帯域の周波数領域とが互いに重複しない領域である非重複帯域に対応する係数を第2の係数と定義する。第1の係数は、重複帯域内の周波数またはその周波数に対応する次数と、重複帯域および非重複帯域の境界周波数またはその境界周波数に対応する次数と、の差に応じて決まる変数であり、第2の係数は、非重複帯域内で定数である。
さらに、第1の係数については、前述の差が小さくなるほど小さくなる値を帯域変換LSPに個別に対応付けて設定し、前述の差が小さくなるほど大きくなる値を記憶広帯域LSPに個別に対応付けて設定する。具体的には、式(1)および(3)に示したような線形的な式で第1の係数を表しても良いし、音声データベースなどを用いて学習的に得た値を第1の係数として用いても良い。第1の係数を学習的に得る場合は、重み付け加算の結果得られる補償広帯域LSPとエラーフリー時の広帯域量子化LSPとの誤差をデータベースの全ての音声データに対して計算し、その総和が最も小さくなるように重み付け係数を決定する。
このように、本実施の形態によれば、現在の符号化情報の広帯域LSP符号化情報が消失した場合、その符号化信号の狭帯域量子化LSPの帯域変換LSPと過去の符号化情報の広帯域量子化LSPとの重み付け加算によって補償広帯域LSPを生成し、消失した広帯域符号化情報の広帯域量子化LSPを補償広帯域LSPで補償する、すなわち、消失した広帯域符号化情報の広帯域量子化LSPの補償に用いる補償広帯域LSPを、現在の符号化情報の帯域変換LSPと過去の符号化情報の広帯域量子化LSPとの重み付け加算によって生成する。このため、消失した広帯域LSP符号化情報の広帯域量子化LSPの補償に過去の符号化情報の広帯域量子化LSPのみを用いる場合や現在の符号化情報の狭帯域量子化LSPのみを用いる場合に比べて、補償された広帯域LSP符号化情報の広帯域量子化LSPをエラーフリーの状態に近づけることができ、ひいては、伝送誤りに対する耐性を向上させることができる。また、現在の符号化情報の帯域変換LSPと過去の符号化情報の広帯域量子化LSPとを滑らかに接続することができ、生成される補償広帯域LSPのフレーム間の連続性を保つことができる。
(実施の形態2)
図5は、本発明の実施の形態2に係るスケーラブル復号化装置の構成の要部を示すブロック図である。なお、図5のスケーラブル復号化装置200は、実施の形態1で説明したスケーラブル復号化装置100と同様の基本的構成を有する。よって、実施の形態1で説明したものと同一の構成要素には同一の参照符号を付し、その詳細な説明を省略する。
スケーラブル復号化装置200は、実施の形態1で説明した広帯域LSP復号化部110の代わりに広帯域LSP復号化部202を有する。図6は、広帯域LSP復号化部202の内部構成を示すブロック図である。広帯域LSP復号化部202は、実施の形態1で説明したフレーム消失補償部124の代わりにフレーム消失補償部204を有する。さらに、広帯域LSP復号化部202には変動量算出部206が設けられている。図7は、フレーム消失補償部204の内部構成を示すブロック図である。フレーム消失補償部204は、フレーム消失補償部124の内部構成に重み係数制御部208を加えた構成を有する。
広帯域LSP復号化部202は、広帯域LSP復号化部110と同様に、フレーム消失情報に基づいて、狭帯域LSP復号化部108から入力された狭帯域量子化LSPと多重分離部102から入力された広帯域LSP符号化情報とから、広帯域量子化LSPを得る。
広帯域LSP復号化部202において、変動量算出部206は、変換部120によって得られた帯域変換LSPを受け取る。そして、帯域変換LSPのフレーム間変動量を算出する。変動量算出部206は、算出されたフレーム間変動量に応じた制御信号をフレーム消失補償部204の重み係数制御部208に出力する。
フレーム消失補償部204は、フレーム消失補償部124と同様の手法により、変換部120から入力された帯域変換LSPとバッファ129に記憶されている記憶広帯域LSPとを重み付け加算する。これにより、補償広帯域LSPを生成する。
なお、実施の形態1の重み付け加算では、次数iまたは対応する周波数によって一意に決まる重み係数w1、w2をそのまま用いたのに対し、本実施の形態の重み付け加算では、重み係数w1、w2を適応的に制御して用いる。
フレーム消失補償部204において、重み係数制御部208は、変動量算出部206から入力された制御信号に従って、全帯域の重み係数w1(i)、w2(i)のうち重複帯域に対応する(つまり、実施の形態1で「第1の係数」として定義されている)重み係数w1(i)、w2(i)を適応的に変化させる。
より具体的には、算出されたフレーム間変動量が大きいほど重み係数w1(i)を大きくし且つこれに伴って重み係数w2(i)を小さくする設定を行う。また、算出されたフレーム間変動量が小さいほど重み係数w2(i)を大きくし且つこれに伴って重み係数w1(i)を小さくする設定を行う。
前述の制御方法の一例としては、算出されたフレーム間変動量と特定の閾値とを比較しその比較結果に応じて、重み係数w1(i)および重み係数w2(i)を含む重み係数セットを切り替える制御方法が挙げられる。この制御方法を採用する場合、重み係数制御部208は、閾値以上のフレーム間変動量に対応する重み係数セットWS1と、閾値未満のフレーム間変動量に対応する重み係数セットWS2と、を予め記憶しておく。重み係数セットWS1に含まれる重み係数w1(i)は、重み係数セットWS2に含まれる重み係数w1(i)よりも大きい値に設定されており、重み係数セットWS1に含まれる重み係数w2(i)は、重み係数セットWS2に含まれる重み係数w2(i)よりも小さい値に設定されている。
そして、比較の結果、算出されたフレーム間変動量が閾値以上であった場合、重み係数制御部208は、重み付け部130が重み係数セットWS1の重み係数w1(i)を使用するように重み付け部130を制御するとともに、重み付け部132が重み係数セットWS1の重み係数w2(i)を使用するように重み付け部132を制御する。一方、比較の結果、算出されたフレーム間変動量が閾値未満であった場合、重み係数制御部208は、重み付け部130が重み係数セットWS2の重み係数w1(i)を使用するように重み付け部130を制御するとともに、重み付け部132が重み係数セットWS2の重み係数w2(i)を使用するように重み付け部132を制御する。
このように、本実施の形態によれば、フレーム間変動量が大きいほど重み係数w1(i)を大きくするとともにこれに伴って重み係数w2(i)を小さくする設定を行う一方、算出されたフレーム間変動量が小さいほど重み係数w2(i)を大きくするとともにこれに伴って重み係数w1(i)を小さくする設定を行う、すなわち、重み付け加算に用いる重み係数w1(i)、w2(i)をフレーム間変動量に基づいて適応的に変化させるため、重み付け係数w1(i)、w2(i)を、正常に受信された情報の経時的な変動に応じて適応的に制御することができ、広帯域量子化LSPの補償の精度をさらに向上させることができる。
なお、本実施の形態に係る変動量算出部206は、変換部120の後段に設けられ、帯域変換LSPのフレーム間変動量を算出する。ただし、変動量算出部206の配置および構成は前述のものに限定されない。例えば、変動量算出部206を変換部120の前段に設けても良い。この場合、変動量算出部206は、狭帯域LSP復号化部108によって得られた狭帯域量子化LSPのフレーム間変動量を算出する。この場合においても上記と同様の作用効果を実現することができる。
また、変動量算出部206では、フレーム間変動量の算出を帯域変換LSP(または狭帯域量子化LSP)の各次数に対して個別に行っても良い。この場合、重み係数制御部208では、重み係数w1(i)、w2(i)の制御を次数毎に行う。これにより、広帯域量子化LSPの補償の精度を一層向上させることができる。
なお、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。
本明細書は、2004年9月6日出願の特願2004−258925に基づく。この内容はすべてここに含めておく。
本発明のスケーラブル復号化装置および信号消失補償方法は、移動体通信システムやインターネットプロトコルを用いたパケット通信システムなどにおける通信装置の用途に適用できる。
本発明は、周波数帯域幅に(周波数軸方向に)スケーラビリティを有する符号化情報を復号化するスケーラブル復号化装置およびその信号消失補償方法に関する。
一般に、音声信号の符号化において、LSP(線スペクトル対)パラメータは、スペクトル包絡情報を効率的に表現するパラメータとして、広く用いられている。なお、LSPは、LSF(線スペクトル周波数)とも呼ばれる。
LSPパラメータ(以下、単に「LSP」と言う)の符号化は、音声信号を高能率で符号化する音声符号化技術の必須要素技術の一つであり、音声信号を階層的に符号化して狭帯域信号および広帯域信号をそれぞれコアレイヤおよび拡張レイヤに対応付けて生成する帯域スケーラブル音声符号化においても重要な要素技術である。
帯域スケーラブル音声符号化により得られた符号化LSPを復号化する従来の方法としては、例えば特許文献1に記載されたものがある。ここに開示されたスケーラブル復号化方法では、コアレイヤの狭帯域復号LSPを0.5倍したものに、拡張レイヤで復号化された成分を加えて、広帯域復号LSPを得る。
ところで、上記の符号化LSPが伝送されるとき、その一部が伝送路上で消失することがある。LSPの一部が復号化側に届かない場合、復号化側では、消失した情報を補償するための処理を行う必要がある。このように、情報伝送の際に誤りが発生し得るシステム環境の下で行われる音声通信では、消失補償処理の使用が、音声符号化/復号化方式の誤り耐性を改善する上で重要な要素技術と言える。例えば特許文献2に記載された消失補償処理では、低次3次と高次7次とに分けて伝送された10次のLSPのうち高次7次のLSPが復号化側に届かなかった場合に、最後に正常に復号化された高次7次のLSPを復号値として繰り返し使用する。
特開平11−30997号公報 特開平9−172413号公報
しかしながら、上記従来のスケーラブル復号化方法においては、伝送された符号化LSPのうち消失した一部の符号化LSPに対する補償処理が行われないため、例えばシステム環境に起因して発生し得る伝送誤りに対する耐性を向上させることができないという問題があった。
本発明の目的は、伝送誤りに対する耐性を向上させることができるスケーラブル復号化装置および信号消失補償方法を提供することである。
本発明のスケーラブル復号化装置は、第1の階層符号化信号のコアレイヤに対応する狭帯域スペクトルパラメータを復号化する復号化手段と、第1の階層符号化信号と異なる第2の階層符号化信号の拡張レイヤに対応する広帯域スペクトルパラメータを記憶する記憶手段と、第2の階層符号化信号の広帯域スペクトルパラメータが消失した場合、復号化された狭帯域スペクトルパラメータの帯域変換信号と記憶された広帯域スペクトルパラメータとの重み付け加算によって消失補償信号を生成し、消失した広帯域スペクトルパラメー
タの復号信号を消失補償信号で補償する補償手段と、を有する構成を採る。
本発明の信号消失補償方法は、現在の階層符号化信号の拡張レイヤに対応する広帯域スペクトルパラメータが消失した場合に、現在の階層符号化信号のコアレイヤに対応し且つ復号化された狭帯域スペクトルパラメータの帯域変換信号と過去の階層符号化信号の拡張レイヤに対応する広帯域スペクトルパラメータとの重み付け加算によって消失補償信号を生成し、消失した広帯域スペクトルパラメータの復号信号を消失補償信号で補償するようにした。
本発明によれば、伝送誤りに対する耐性を向上させることができる。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係るスケーラブル復号化装置の構成の要部を示すブロック図である。図1のスケーラブル復号化装置100は、多重分離部102、音源復号化部104、106、狭帯域LSP復号化部108、広帯域LSP復号化部110、音声合成部112、114、アップサンプル部116および加算部118を有する。図2は、広帯域LSP復号化部110の内部構成を示すブロック図であり、広帯域LSP復号化部110は、変換部120、復号実行部122、フレーム消失補償部124、記憶部126および切替部128を有する。記憶部126は、バッファ129を有する。図3は、フレーム消失補償部124の内部構成を示すブロック図であり、フレーム消失補償部124は、重み付け部130、132および加算部134を有する。
多重分離部102は、符号化情報を受け取る。ここで、多重分離部102で受け取られる符号化情報は、図示されないスケーラブル符号化装置で音声信号を階層的に符号化することによって生成された信号である。スケーラブル符号化装置での音声符号化においては、狭帯域音源符号化情報、広帯域音源符号化情報、狭帯域LSP符号化情報および広帯域LSP符号化情報から成る符号化情報が生成される。狭帯域音源符号化情報および狭帯域LSP符号化情報は、コアレイヤに対応付けて生成された信号であり、広帯域音源符号化情報および広帯域LSP符号化情報は、拡張レイヤに対応付けて生成された信号である。
多重分離部102は、受け取った符号化情報を、各パラメータの符号化情報に分離する。分離後の狭帯域音源符号化情報は音源復号化部106に、分離後の狭帯域LSP符号化
情報は狭帯域LSP復号化部108に、分離後の広帯域音源符号化情報は音源復号化部104に、分離後の広帯域LSP符号化情報は広帯域LSP復号化部110に、それぞれ出力される。
音源復号化部106は、多重分離部102から入力された狭帯域音源符号化情報を復号して、狭帯域量子化音源信号を得る。狭帯域量子化音源信号は、音声合成部112へ出力される。
狭帯域LSP復号化部108は、多重分離部102から入力された狭帯域LSP符号化情報を復号して、狭帯域量子化LSPを得る。狭帯域量子化LSPは、音声合成部112および広帯域LSP復号化部110へ出力される。
音声合成部112は、狭帯域LSP復号化部108から入力された狭帯域量子化LSPを線形予測係数に変換し、得られた線形予測係数を用いて線形予測合成フィルタを構築する。また、この線形予測合成フィルタを、音源復号化部106から入力された狭帯域量子化音源信号で駆動して復号音声信号を合成する。この復号音声信号は、狭帯域復号音声信号として出力される。また、狭帯域復号音声信号は、広帯域復号音声信号を得るためにアップサンプル部116へ出力される。なお、この狭帯域復号音声信号は、そのまま最終出力として用いられても良い。狭帯域復号音声信号をそのまま最終出力とする場合は、ポストフィルタなど主観的な品質を改善するための後処理を行なってから出力するのが一般的である。
アップサンプル部116は、音声合成部112から入力された狭帯域復号音声信号のアップサンプル処理を行う。アップサンプル処理を受けた狭帯域復号音声信号は、加算部118へ出力される。
音源復号化部104は、多重分離部102から入力された広帯域音源符号化情報を復号し、広帯域量子化音源信号を得る。得られた広帯域量子化音源信号は、音声合成部114へ出力される。
広帯域LSP復号化部110は、図示されないフレーム消失情報生成部から入力された後述のフレーム消失情報に基づいて、狭帯域LSP復号化部108から入力された狭帯域量子化LSPと多重分離部102から入力された広帯域LSP符号化情報とから、広帯域量子化LSPを得る。得られた広帯域量子化LSPは、音声合成部114へ出力される。
ここで、図2を参照しながら、広帯域LSP復号化部110の内部構成についてより具体的に説明する。
変換部120は、狭帯域LSP復号化部108から入力された狭帯域量子化LSPに可変または固定の変換係数を乗じる。この乗算により、狭帯域量子化LSPは狭帯域の周波数領域から広帯域の周波数領域に変換され、帯域変換LSPが得られる。得られた帯域変換LSPは、復号実行部122およびフレーム消失補償部124へ出力される。
なお、変換部120は、変換係数を乗じる処理以外の処理によって変換処理を行っても良い。例えば、マッピングテーブルを用いた非線形変換を行っても良いし、LSPを自己相関係数に変換し自己相関係数の領域でアップサンプル処理することを含んでも良い。
復号実行部122は、多重分離部102から入力された広帯域LSP符号化情報から、広帯域LSP残差ベクトルを復号する。そして、変換部120から入力された帯域変換LSPに、広帯域LSP残差ベクトルを加算する。このようにして、広帯域量子化LSPを
復号する。得られた広帯域量子化LSPは、切替部128へ出力される。
なお、復号実行部122の構成は、前述のものだけに限定されない。例えば、復号実行部122は、その内部に符号帳を有しても良い。この場合、復号実行部122は、多重分離部102から入力された広帯域LSP符号化情報からインデックス情報を復号し、そのインデックス情報で特定されるLSPベクトルを用いて広帯域LSPを得る。また、過去に復号した広帯域量子化LSP、過去に入力した広帯域LSP符号化情報、過去に変換部120から入力した帯域変換LSP、などを用いて広帯域量子化LSPを復号する構成であっても良い。
フレーム消失補償部124は、変換部120から入力された帯域変換LSPとバッファ129に記憶されている記憶広帯域LSPとを重み付け加算する。これにより、補償広帯域LSPを生成する。重み付け加算については後述する。補償広帯域LSPは、入力された帯域変換LSPに対応する符号化情報のうち広帯域LSP符号化情報の一部のフレームが伝送路上で消失した場合に、その広帯域LSP符号化情報の復号信号である広帯域量子化LSPを補償するために用いられる。生成された補償広帯域LSPは切替部128へ出力される。
記憶部126は、その内部に設けられたバッファ129に、フレーム消失補償部124による補償広帯域LSPの生成に用いられる記憶広帯域LSPを予め記憶し、その記憶広帯域LSPをフレーム消失補償部124および切替部128へ出力する。また、バッファ129に記憶されている記憶広帯域LSPを、切替部128から入力された広帯域量子化LSPで、更新する。
これにより、切替部128から入力された広帯域量子化LSPで記憶広帯域LSPが更新される。したがって、後続の符号化情報、特に、現在の符号化情報の直後の符号化情報の広帯域LSP符号化情報が消失した場合に、現在の符号化情報の広帯域LSP符号化情報に対して生成された広帯域量子化LSPを記憶広帯域LSPとして用いて、後続の符号化情報の広帯域LSP符号化情報に対する補償広帯域LSPを生成することができる。
切替部128は、入力されたフレーム消失情報に従って、広帯域量子化LSPとして音声合成部114へ出力される情報を切り替える。
より具体的には、入力されたフレーム消失情報が「符号化情報に含まれる狭帯域LSP符号化情報および広帯域LSP符号化情報の全てが正常に受信された」ことを示す場合、切替部128は、復号実行部122から入力された広帯域量子化LSPをそのまま音声合成部114および記憶部126へ出力する。また、入力されたフレーム消失情報が「符号化情報に含まれる狭帯域LSP符号化情報および広帯域LSP符号化情報のうち、狭帯域LSP符号化情報は正常に受信され、広帯域LSP符号化情報の少なくとも一部が消失した」ことを示す場合、切替部128は、フレーム消失補償部124から入力された補償広帯域LSPを広帯域量子化LSPとして音声合成部114および記憶部126へ出力する。また、入力されたフレーム消失情報が「符号化情報に含まれる狭帯域LSP符号化情報および広帯域LSP符号化情報の双方の少なくとも一部が消失した」ことを示す場合、切替部128は、記憶部126から入力された記憶広帯域LSPを広帯域量子化LSPとして音声合成部114および記憶部126へ出力する。
すなわち、フレーム消失補償部124および切替部128の組み合わせは、多重分離部102に入力された符号化情報の広帯域LSP符号化情報が消失した場合、復号化された狭帯域量子化LSPから得られた帯域変換LSPとバッファ129に予め記憶された記憶広帯域LSPとの重み付け加算によって消失補償信号を生成し、消失した広帯域信号の広
帯域量子化LSPを消失補償信号で補償する補償部を構成する。
ここで、図3を参照しながら、フレーム消失補償部124の内部構成についてより具体的に説明する。重み付け部130は、変換部120から入力された帯域変換LSPに重み係数w1を乗算する。この乗算によって得られたLSPベクトルは加算部134へ出力される。重み付け部132は、記憶部126から入力された記憶広帯域LSPに重み係数w2を乗算する。この乗算によって得られたLSPベクトルは、加算部134へ出力される。加算部134は、重み付け部130、132からそれぞれ入力されたLSPベクトルを加算する。この加算により補償広帯域LSPが生成される。
再び図1を参照する。音声合成部114は、広帯域LSP復号化部110から入力された量子化広帯域LSPを線形予測係数に変換し、得られた線形予測係数を用いて線形予測合成フィルタを構築する。また、この線形予測合成フィルタを、音源復号化部104から入力された広帯域量子化音源信号で駆動して復号音声信号を合成する。この復号音声信号は、加算部118へ出力される。
加算部118は、アップサンプル部116から入力されたアップサンプル後の狭帯域復号音声信号と音声合成部114から入力された復号音声信号とを加算する。そして、この加算によって得られた広帯域復号音声信号を出力する。
次いで、上記構成を有するスケーラブル復号化装置100における動作、特に重み付け加算処理について説明する。
ここでは、コアレイヤに対応する狭帯域の周波数領域を0〜4kHzとし、拡張レイヤに対応する広帯域の周波数領域を0〜8kHzとし、変換部120で用いられる変換係数を「0.5」とした場合を例にとり、図4A〜図4Dを用いて説明する。図4Aにおいては、サンプリング周波数は8kHz、ナイキスト周波数は4kHzであり、図4B〜図4Dにおいては、サンプリング周波数は16kHzであり、ナイキスト周波数は8kHzである。
変換部120では、入力された現在の狭帯域量子化LSPの各次LSPを0.5倍することで例えば図4Aに示される4kHz帯域の量子化LSPを8kHz帯域の量子化LSPに変換して、例えば図4Bに示される帯域変換LSPを生成する。なお、変換部120では、前述の手法と異なる手法を用いて帯域幅(サンプリング周波数)を変換するようにしても良い。また、ここでは、広帯域量子化LSPの次数を16次とし、1〜8次を低域、9〜16次を高域とそれぞれ定義する。
重み付け部130には、帯域変換LSPが入力される。重み付け部130では、次の式(1)および(2)により設定された重み係数w1(i)を、変換部120から入力された帯域変換LSPに乗算する。なお、入力された帯域変換LSPは、多重分離部102で取得された現在の符号化情報から導出されたものである。また、iは次数を表す。
w1(i)=(9−i)/8 (i=1〜8) …(1)
w1(i)=0 (i=9〜16) …(2)
一方、重み付け部132には、例えば図4Cに示される記憶広帯域LSPが入力される。重み付け部132では、次の式(3)および(4)により設定された重み係数w2(i)を、記憶部126から入力された記憶広帯域LSPに乗算する。なお、入力された記憶広帯域LSPは、多重分離部102で現在の符号化情報よりも過去に(例えば現在の符号化情報の直前のフレームで)取得された符号化情報から、導出されたものである。
w2(i)=(i−1)/8 (i=1〜8) …(3)
w2(i)=1 (i=9〜16) …(4)
すなわち、重み係数w1(i)および重み係数w2(i)は、w1(i)+w2(i)=1.0となるように設定されている。また、重み係数w1(i)は、0〜1の間で、高域に近づくほど小さくなるような値に設定されており、高域では0に設定されている。また、重み係数w2(i)は、0〜1の間で、高域に近づくほど大きくなるような値に設定されており、高域では1に設定されている。
そして、加算部134では、重み付け部130での乗算によって得られたLSPベクトルと重み付け部132での乗算によって得られたLSPベクトルとの和ベクトルを求める。このように前述のLSPベクトルの和ベクトルを求めることにより、例えば図4Dに示される補償広帯域LSPが得られる。
重み係数w1(i)、w2(i)は、狭帯域量子化LSPを変換して得られる帯域変換LSPと、過去に復号した広帯域量子化LSPである記憶広帯域LSPと、のどちらがエラーフリー時に復号される広帯域量子化LSPに近いかによって適応的に設定するのが理想的である。すなわち、帯域変換LSPの方がエラーフリー時の広帯域量子化LSPに近い場合は重み係数w1(i)の方が大きく、記憶広帯域LSPの方がエラーフリー時の広帯域量子化LSPに近い場合は重み係数w2(i)の方が大きくなるように設定するのが良い。ただし実際には、フレーム消失が発生したときはエラーフリー時の広帯域量子化LSPは知り得ないので、理想的な重み係数の設定は困難である。しかしながら、前述のような4kHz帯域信号と8kHz帯域信号とのスケーラブル符号化を行った場合、4kHz以上の帯域では記憶広帯域LSPの方がエラーフリー時の広帯域量子化LSPに近い(エラーフリー時の広帯域量子化LSPとの誤差が小さい)ことが多く、4kHz以下の帯域では0Hzに近づくほど帯域変換LSPの方がエラーフリー時の広帯域LSPに近い(エラーフリー時の広帯域量子化LSPとの誤差が小さい)ことが多い、という傾向がある。したがって、前述の式(1)〜(4)は、前述の誤差傾向を含む特性を近似する関数である。よって、式(1)〜(4)で定義された重み係数w1(i)、w2(i)を用いることにより、狭帯域の周波数帯域と広帯域の周波数帯域との組み合わせによって特定される誤差特性、すなわち、帯域変換LSPとエラーフリーの広帯域量子化LSPとの間での誤差傾向を考慮に入れた重み付け加算を行うことができる。しかも、式(1)〜(4)のような簡単な式で重み係数w1(i)、w2(i)が決定されるので、重み係数w1(i)、w2(i)をROM(Read Only Memory)などに記憶しておく必要がなく、効果的な重み付け加算を簡単な構成で実現することができる。
なお、本実施の形態では、周波数または次数が高くなるほど誤差が大きくなる誤差変動傾向が存在する場合を例にとって説明したが、誤差変動傾向は各レイヤの周波数領域の設定条件などによって異なる。例えば、狭帯域の周波数領域が300Hz〜3.4kHzで、広帯域の周波数領域が50Hz〜7kHzであるような場合は、下限周波数が異なるため、300Hz以下の領域で発生する誤差よりも300Hz以上の領域で発生する誤差の方が小さくなるか同程度になることもあり得る。このような場合は、例えば、重み係数w2(1)を重み係数w2(2)と同じ値または重み係数w2(2)よりも大きな値にしても良い。
すなわち、重み係数w1(i)、w2(i)の設定に要求される条件は次の通りである。狭帯域の周波数領域と広帯域の周波数領域とが互いに重複する領域である重複帯域に対応する係数を第1の係数と定義する。また、狭帯域の周波数領域と広帯域の周波数領域とが互いに重複しない領域である非重複帯域に対応する係数を第2の係数と定義する。第1の係数は、重複帯域内の周波数またはその周波数に対応する次数と、重複帯域および非重複帯域の境界周波数またはその境界周波数に対応する次数と、の差に応じて決まる変数で
あり、第2の係数は、非重複帯域内で定数である。
さらに、第1の係数については、前述の差が小さくなるほど小さくなる値を帯域変換LSPに個別に対応付けて設定し、前述の差が小さくなるほど大きくなる値を記憶広帯域LSPに個別に対応付けて設定する。具体的には、式(1)および(3)に示したような線形的な式で第1の係数を表しても良いし、音声データベースなどを用いて学習的に得た値を第1の係数として用いても良い。第1の係数を学習的に得る場合は、重み付け加算の結果得られる補償広帯域LSPとエラーフリー時の広帯域量子化LSPとの誤差をデータベースの全ての音声データに対して計算し、その総和が最も小さくなるように重み付け係数を決定する。
このように、本実施の形態によれば、現在の符号化情報の広帯域LSP符号化情報が消失した場合、その符号化信号の狭帯域量子化LSPの帯域変換LSPと過去の符号化情報の広帯域量子化LSPとの重み付け加算によって補償広帯域LSPを生成し、消失した広帯域符号化情報の広帯域量子化LSPを補償広帯域LSPで補償する、すなわち、消失した広帯域符号化情報の広帯域量子化LSPの補償に用いる補償広帯域LSPを、現在の符号化情報の帯域変換LSPと過去の符号化情報の広帯域量子化LSPとの重み付け加算によって生成する。このため、消失した広帯域LSP符号化情報の広帯域量子化LSPの補償に過去の符号化情報の広帯域量子化LSPのみを用いる場合や現在の符号化情報の狭帯域量子化LSPのみを用いる場合に比べて、補償された広帯域LSP符号化情報の広帯域量子化LSPをエラーフリーの状態に近づけることができ、ひいては、伝送誤りに対する耐性を向上させることができる。また、現在の符号化情報の帯域変換LSPと過去の符号化情報の広帯域量子化LSPとを滑らかに接続することができ、生成される補償広帯域LSPのフレーム間の連続性を保つことができる。
(実施の形態2)
図5は、本発明の実施の形態2に係るスケーラブル復号化装置の構成の要部を示すブロック図である。なお、図5のスケーラブル復号化装置200は、実施の形態1で説明したスケーラブル復号化装置100と同様の基本的構成を有する。よって、実施の形態1で説明したものと同一の構成要素には同一の参照符号を付し、その詳細な説明を省略する。
スケーラブル復号化装置200は、実施の形態1で説明した広帯域LSP復号化部110の代わりに広帯域LSP復号化部202を有する。図6は、広帯域LSP復号化部202の内部構成を示すブロック図である。広帯域LSP復号化部202は、実施の形態1で説明したフレーム消失補償部124の代わりにフレーム消失補償部204を有する。さらに、広帯域LSP復号化部202には変動量算出部206が設けられている。図7は、フレーム消失補償部204の内部構成を示すブロック図である。フレーム消失補償部204は、フレーム消失補償部124の内部構成に重み係数制御部208を加えた構成を有する。
広帯域LSP復号化部202は、広帯域LSP復号化部110と同様に、フレーム消失情報に基づいて、狭帯域LSP復号化部108から入力された狭帯域量子化LSPと多重分離部102から入力された広帯域LSP符号化情報とから、広帯域量子化LSPを得る。
広帯域LSP復号化部202において、変動量算出部206は、変換部120によって得られた帯域変換LSPを受け取る。そして、帯域変換LSPのフレーム間変動量を算出する。変動量算出部206は、算出されたフレーム間変動量に応じた制御信号をフレーム消失補償部204の重み係数制御部208に出力する。
フレーム消失補償部204は、フレーム消失補償部124と同様の手法により、変換部120から入力された帯域変換LSPとバッファ129に記憶されている記憶広帯域LSPとを重み付け加算する。これにより、補償広帯域LSPを生成する。
なお、実施の形態1の重み付け加算では、次数iまたは対応する周波数によって一意に決まる重み係数w1、w2をそのまま用いたのに対し、本実施の形態の重み付け加算では、重み係数w1、w2を適応的に制御して用いる。
フレーム消失補償部204において、重み係数制御部208は、変動量算出部206から入力された制御信号に従って、全帯域の重み係数w1(i)、w2(i)のうち重複帯域に対応する(つまり、実施の形態1で「第1の係数」として定義されている)重み係数w1(i)、w2(i)を適応的に変化させる。
より具体的には、算出されたフレーム間変動量が大きいほど重み係数w1(i)を大きくし且つこれに伴って重み係数w2(i)を小さくする設定を行う。また、算出されたフレーム間変動量が小さいほど重み係数w2(i)を大きくし且つこれに伴って重み係数w1(i)を小さくする設定を行う。
前述の制御方法の一例としては、算出されたフレーム間変動量と特定の閾値とを比較しその比較結果に応じて、重み係数w1(i)および重み係数w2(i)を含む重み係数セットを切り替える制御方法が挙げられる。この制御方法を採用する場合、重み係数制御部208は、閾値以上のフレーム間変動量に対応する重み係数セットWS1と、閾値未満のフレーム間変動量に対応する重み係数セットWS2と、を予め記憶しておく。重み係数セットWS1に含まれる重み係数w1(i)は、重み係数セットWS2に含まれる重み係数w1(i)よりも大きい値に設定されており、重み係数セットWS1に含まれる重み係数w2(i)は、重み係数セットWS2に含まれる重み係数w2(i)よりも小さい値に設定されている。
そして、比較の結果、算出されたフレーム間変動量が閾値以上であった場合、重み係数制御部208は、重み付け部130が重み係数セットWS1の重み係数w1(i)を使用するように重み付け部130を制御するとともに、重み付け部132が重み係数セットWS1の重み係数w2(i)を使用するように重み付け部132を制御する。一方、比較の結果、算出されたフレーム間変動量が閾値未満であった場合、重み係数制御部208は、重み付け部130が重み係数セットWS2の重み係数w1(i)を使用するように重み付け部130を制御するとともに、重み付け部132が重み係数セットWS2の重み係数w2(i)を使用するように重み付け部132を制御する。
このように、本実施の形態によれば、フレーム間変動量が大きいほど重み係数w1(i)を大きくするとともにこれに伴って重み係数w2(i)を小さくする設定を行う一方、算出されたフレーム間変動量が小さいほど重み係数w2(i)を大きくするとともにこれに伴って重み係数w1(i)を小さくする設定を行う、すなわち、重み付け加算に用いる重み係数w1(i)、w2(i)をフレーム間変動量に基づいて適応的に変化させるため、重み付け係数w1(i)、w2(i)を、正常に受信された情報の経時的な変動に応じて適応的に制御することができ、広帯域量子化LSPの補償の精度をさらに向上させることができる。
なお、本実施の形態に係る変動量算出部206は、変換部120の後段に設けられ、帯域変換LSPのフレーム間変動量を算出する。ただし、変動量算出部206の配置および構成は前述のものに限定されない。例えば、変動量算出部206を変換部120の前段に設けても良い。この場合、変動量算出部206は、狭帯域LSP復号化部108によって
得られた狭帯域量子化LSPのフレーム間変動量を算出する。この場合においても上記と同様の作用効果を実現することができる。
また、変動量算出部206では、フレーム間変動量の算出を帯域変換LSP(または狭帯域量子化LSP)の各次数に対して個別に行っても良い。この場合、重み係数制御部208では、重み係数w1(i)、w2(i)の制御を次数毎に行う。これにより、広帯域量子化LSPの補償の精度を一層向上させることができる。
なお、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。
本明細書は、2004年9月6日出願の特願2004−258925に基づく。この内容はすべてここに含めておく。
本発明のスケーラブル復号化装置および信号消失補償方法は、移動体通信システムやインターネットプロトコルを用いたパケット通信システムなどにおける通信装置の用途に適用できる。
本発明の実施の形態1に係るスケーラブル復号化装置の構成を示すブロック図 本発明の実施の形態1に係る広帯域LSP復号化部の構成を示すブロック図 本発明の実施の形態1に係るフレーム消失補償部の構成を示すブロック図 本発明の実施の形態1に係る量子化LSPを示す図 本発明の実施の形態1に係る帯域変換LSPを示す図 本発明の実施の形態1に係る広帯域LSPを示す図 本発明の実施の形態1に係る補償広帯域LSPを示す図 本発明の実施の形態2に係るスケーラブル復号化装置の構成を示すブロック図 本発明の実施の形態2に係る広帯域LSP復号化部の構成を示すブロック図 本発明の実施の形態2に係るフレーム消失補償部の構成を示すブロック図

Claims (7)

  1. 第1の階層符号化信号のコアレイヤに対応する狭帯域スペクトルパラメータを復号化する復号化手段と、
    第1の階層符号化信号と異なる第2の階層符号化信号の拡張レイヤに対応する広帯域スペクトルパラメータを記憶する記憶手段と、
    第2の階層符号化信号の拡張レイヤに対応する広帯域スペクトルパラメータが消失した場合、復号化された狭帯域スペクトルパラメータの帯域変換信号と記憶された広帯域スペクトルパラメータとの重み付け加算によって消失補償信号を生成し、消失した広帯域スペクトルパラメータの復号信号を消失補償信号で補償する補償手段と、
    を有するスケーラブル復号化装置。
  2. 第1の階層符号化信号の狭帯域スペクトルパラメータは第1の周波数帯域を有し、第2の階層符号化信号の広帯域スペクトルパラメータは、第1の周波数帯域よりも広帯域である第2の周波数帯域を有し、
    復号化された狭帯域スペクトルパラメータを第1の周波数帯域から第2の周波数帯域に変換して、帯域変換信号を生成する変換手段をさらに有し、
    前記補償手段は、
    第1の周波数帯域および第2の周波数帯域に基づいて設定された重み係数を用いて、重み付け加算を行う、
    請求項1記載のスケーラブル復号化装置。
  3. 前記補償手段は、
    周波数の関数であって、帯域変換信号とエラーフリーの広帯域スペクトルパラメータとの誤差を近似する関数で与えられる重み係数を用いて、重み付け加算を行う、
    請求項2記載のスケーラブル復号化装置。
  4. 前記補償手段は、
    第1の周波数帯域と第2の周波数帯域との重複帯域に対応する第1の重み係数および第1の周波数帯域と第2の周波数帯域との非重複帯域に対応する第2の重み係数を用いて、重み付け加算を行い、
    第1の重み係数は、重複帯域内の周波数と重複帯域および非重複帯域の境界周波数との差に応じて決まる変数であり、第2の重み係数は、非重複帯域内で定数である、
    請求項2記載のスケーラブル復号化装置。
  5. 前記補償手段は、
    帯域変換信号および広帯域スペクトルパラメータについて個別に設定された重み係数であって、第1の周波数帯域と第2の周波数帯域とが重複する重複帯域の中の周波数と、重複帯域の境界周波数と、の差に応じて決まる重み係数を用いて、重み付け加算を行い、
    帯域変換信号について設定された重み係数は、前記差が小さくなるほど小さくなる値を有し、広帯域スペクトルパラメータについて設定された重み係数は、前記差が小さくなるほど大きくなる値を有する、
    請求項2記載のスケーラブル復号化装置。
  6. 前記補償手段は、
    帯域変換信号および広帯域スペクトルパラメータについて個別に設定された重み係数を、復号化された狭帯域スペクトルパラメータのフレーム間変動量に応じて変化させる、
    請求項2記載のスケーラブル復号化装置。
  7. 現在の階層符号化信号の拡張レイヤに対応する広帯域スペクトルパラメータが消失した場合に、現在の階層符号化信号のコアレイヤに対応し且つ復号化された狭帯域スペクトルパラメータの帯域変換信号と過去の階層符号化信号の拡張レイヤに対応する広帯域スペクトルパラメータとの重み付け加算によって消失補償信号を生成し、消失した広帯域スペクトルパラメータの復号信号を消失補償信号で補償する、
    信号消失補償方法。
JP2006535718A 2004-09-06 2005-09-02 スケーラブル復号化装置および信号消失補償方法 Expired - Fee Related JP4989971B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006535718A JP4989971B2 (ja) 2004-09-06 2005-09-02 スケーラブル復号化装置および信号消失補償方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004258925 2004-09-06
JP2004258925 2004-09-06
JP2006535718A JP4989971B2 (ja) 2004-09-06 2005-09-02 スケーラブル復号化装置および信号消失補償方法
PCT/JP2005/016098 WO2006028009A1 (ja) 2004-09-06 2005-09-02 スケーラブル復号化装置および信号消失補償方法

Publications (2)

Publication Number Publication Date
JPWO2006028009A1 true JPWO2006028009A1 (ja) 2008-05-08
JP4989971B2 JP4989971B2 (ja) 2012-08-01

Family

ID=36036294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006535718A Expired - Fee Related JP4989971B2 (ja) 2004-09-06 2005-09-02 スケーラブル復号化装置および信号消失補償方法

Country Status (5)

Country Link
US (1) US7895035B2 (ja)
EP (1) EP1788556B1 (ja)
JP (1) JP4989971B2 (ja)
CN (1) CN101010730B (ja)
WO (1) WO2006028009A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101138174B (zh) * 2005-03-14 2013-04-24 松下电器产业株式会社 可扩展解码装置和可扩展解码方法
JP5142723B2 (ja) * 2005-10-14 2013-02-13 パナソニック株式会社 スケーラブル符号化装置、スケーラブル復号装置、およびこれらの方法
US8532984B2 (en) * 2006-07-31 2013-09-10 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of active frames
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
KR100862662B1 (ko) 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
JP5255575B2 (ja) * 2007-03-02 2013-08-07 テレフオンアクチーボラゲット エル エム エリクソン(パブル) レイヤード・コーデックのためのポストフィルタ
CN101308660B (zh) * 2008-07-07 2011-07-20 浙江大学 一种音频压缩流的解码端错误恢复方法
CN101964189B (zh) * 2010-04-28 2012-08-08 华为技术有限公司 语音频信号切换方法及装置
JP2012032713A (ja) * 2010-08-02 2012-02-16 Sony Corp 復号装置、復号方法、およびプログラム
CN105469805B (zh) 2012-03-01 2018-01-12 华为技术有限公司 一种语音频信号处理方法和装置
CN104321815B (zh) 2012-03-21 2018-10-16 三星电子株式会社 用于带宽扩展的高频编码/高频解码方法和设备
CN103117062B (zh) * 2013-01-22 2014-09-17 武汉大学 语音解码器中帧差错隐藏的谱参数代替方法及系统
EP2922055A1 (en) 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and corresponding computer program for generating an error concealment signal using individual replacement LPC representations for individual codebook information
EP2922054A1 (en) 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and corresponding computer program for generating an error concealment signal using an adaptive noise estimation
EP2922056A1 (en) 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation
CN111200485B (zh) * 2018-11-16 2022-08-02 中兴通讯股份有限公司 宽带误差校准参数提取方法、装置及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101798A (ja) * 1995-10-05 1997-04-15 Matsushita Electric Ind Co Ltd 音声帯域拡大方法および音声帯域拡大装置
JPH10233692A (ja) * 1997-01-16 1998-09-02 Sony Corp オーディオ信号符号化装置および符号化方法並びにオーディオ信号復号装置および復号方法
JP2003241799A (ja) * 2002-02-15 2003-08-29 Nippon Telegr & Teleph Corp <Ntt> 音響符号化方法、復号化方法、符号化装置、復号化装置及び符号化プログラム、復号化プログラム
JP2003323199A (ja) * 2002-04-26 2003-11-14 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置及び符号化方法、復号化方法
JP2004101720A (ja) * 2002-09-06 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法
JP2004102186A (ja) * 2002-09-12 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3071388B2 (ja) 1995-12-19 2000-07-31 国際電気株式会社 可変レート音声符号化方式
JP3134817B2 (ja) 1997-07-11 2001-02-13 日本電気株式会社 音声符号化復号装置
US7315815B1 (en) * 1999-09-22 2008-01-01 Microsoft Corporation LPC-harmonic vocoder with superframe structure
US6445696B1 (en) * 2000-02-25 2002-09-03 Network Equipment Technologies, Inc. Efficient variable rate coding of voice over asynchronous transfer mode
EP1199709A1 (en) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Error Concealment in relation to decoding of encoded acoustic signals
US7031926B2 (en) 2000-10-23 2006-04-18 Nokia Corporation Spectral parameter substitution for the frame error concealment in a speech decoder
JP3467469B2 (ja) 2000-10-31 2003-11-17 Necエレクトロニクス株式会社 音声復号装置および音声復号プログラムを記録した記録媒体
EP1356454B1 (en) 2001-01-19 2006-03-01 Koninklijke Philips Electronics N.V. Wideband signal transmission system
EP1356640B1 (en) * 2001-01-31 2005-05-18 TELDIX GmbH Modular and scalable switch and method for the distribution of fast ethernet data frames
US7610198B2 (en) * 2001-08-16 2009-10-27 Broadcom Corporation Robust quantization with efficient WMSE search of a sign-shape codebook using illegal space
US7647223B2 (en) * 2001-08-16 2010-01-12 Broadcom Corporation Robust composite quantization with sub-quantizers and inverse sub-quantizers using illegal space
US7617096B2 (en) * 2001-08-16 2009-11-10 Broadcom Corporation Robust quantization and inverse quantization using illegal space
CN1248194C (zh) 2001-11-14 2006-03-29 松下电器产业株式会社 编码装置、解码装置及其系统和方法
US7668712B2 (en) * 2004-03-31 2010-02-23 Microsoft Corporation Audio encoding and decoding with intra frames and adaptive forward error correction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101798A (ja) * 1995-10-05 1997-04-15 Matsushita Electric Ind Co Ltd 音声帯域拡大方法および音声帯域拡大装置
JPH10233692A (ja) * 1997-01-16 1998-09-02 Sony Corp オーディオ信号符号化装置および符号化方法並びにオーディオ信号復号装置および復号方法
JP2003241799A (ja) * 2002-02-15 2003-08-29 Nippon Telegr & Teleph Corp <Ntt> 音響符号化方法、復号化方法、符号化装置、復号化装置及び符号化プログラム、復号化プログラム
JP2003323199A (ja) * 2002-04-26 2003-11-14 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置及び符号化方法、復号化方法
JP2004101720A (ja) * 2002-09-06 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法
JP2004102186A (ja) * 2002-09-12 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法

Also Published As

Publication number Publication date
EP1788556B1 (en) 2014-06-04
CN101010730B (zh) 2011-07-27
US7895035B2 (en) 2011-02-22
US20070265837A1 (en) 2007-11-15
JP4989971B2 (ja) 2012-08-01
WO2006028009A1 (ja) 2006-03-16
CN101010730A (zh) 2007-08-01
EP1788556A1 (en) 2007-05-23
EP1788556A4 (en) 2008-09-17

Similar Documents

Publication Publication Date Title
JP4989971B2 (ja) スケーラブル復号化装置および信号消失補償方法
JP4963963B2 (ja) スケーラブル符号化装置、スケーラブル復号装置、スケーラブル符号化方法およびスケーラブル復号方法
JP5270025B2 (ja) パラメータ復号装置およびパラメータ復号方法
JP4546464B2 (ja) スケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法
WO2008072670A1 (ja) 符号化装置、復号装置、およびこれらの方法
WO2008072737A1 (ja) 符号化装置、復号装置およびこれらの方法
JPWO2005106848A1 (ja) スケーラブル復号化装置および拡張レイヤ消失隠蔽方法
JPWO2007132750A1 (ja) Lspベクトル量子化装置、lspベクトル逆量子化装置、およびこれらの方法
JP4937746B2 (ja) 音声符号化装置および音声符号化方法
WO2013051210A1 (ja) 符号化装置及び符号化方法
JP6644848B2 (ja) ベクトル量子化装置、音声符号化装置、ベクトル量子化方法、及び音声符号化方法
US20130268268A1 (en) Encoding of an improvement stage in a hierarchical encoder
WO2011058752A1 (ja) 符号化装置、復号装置およびこれらの方法
KR20060064694A (ko) 디지털 음성 코더들에서의 고조파 잡음 가중

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120410

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120501

R150 Certificate of patent or registration of utility model

Ref document number: 4989971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees