JP4977472B2 - スケーラブル復号化装置 - Google Patents

スケーラブル復号化装置 Download PDF

Info

Publication number
JP4977472B2
JP4977472B2 JP2006542422A JP2006542422A JP4977472B2 JP 4977472 B2 JP4977472 B2 JP 4977472B2 JP 2006542422 A JP2006542422 A JP 2006542422A JP 2006542422 A JP2006542422 A JP 2006542422A JP 4977472 B2 JP4977472 B2 JP 4977472B2
Authority
JP
Japan
Prior art keywords
spectrum
decoding
frequency band
unit
high frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006542422A
Other languages
English (en)
Other versions
JPWO2006049205A1 (ja
Inventor
宏幸 江原
正浩 押切
幸司 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2006542422A priority Critical patent/JP4977472B2/ja
Publication of JPWO2006049205A1 publication Critical patent/JPWO2006049205A1/ja
Application granted granted Critical
Publication of JP4977472B2 publication Critical patent/JP4977472B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/02—Amplitude-modulated carrier systems, e.g. using on-off keying; Single sideband or vestigial sideband modulation
    • H04L27/06—Demodulator circuits; Receiver circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、移動体通信システムやインターネットプロトコルを用いたパケット通信システム等において、音声信号や音響信号の通信を行う際に用いられるスケーラブル復号化装置に関する。
移動体通信システムにおける電波資源等の有効利用のために、音声信号を低ビットレートで圧縮することが要求されている。その一方で、ユーザからは通話音声の品質向上や臨場感の高い通話サービスの実現が望まれている。この実現には、音声信号の高品質化のみならず、より帯域の広いオーディオ信号等の音声以外の信号をも高品質に符号化できることが望ましい。
さらに、多種多様なネットワークが混在する環境においては、異なるネットワーク間での通信、異なるサービスを利用する端末間での通信、異なる処理性能の端末間での通信、さらには、２者間の通信のみならずマルチポイントでの相互通信などに柔軟に対応できる音声符号化方式が求められている。
さらに、伝送路誤り（特にＩＰ網に代表されるパケット交換網においてはパケットロス）にも耐性のある音声符号化方式が求められている。
このような要求を満たす音声符号化方式の一つに帯域スケーラブル音声符号化方式がある。帯域スケーラブル音声符号化方式とは、音声信号を階層的に符号化する方式で、符号化の階層の数を増やすにしたがって符号化品質が上がる符号化方式である。符号化の階層の数の増減によりビットレートを可変にすることもできるので、伝送路容量を有効に使用することができる。
また、帯域スケーラブル音声符号化方式では、復号器側は最低基本となる階層の符号化データを受信できればよく、追加階層の符号化情報が伝送路上で失われることをある程度まで許容できるので、伝送路誤りに対しても耐性が高い。また、符号化の階層を増やすにしたがって符号化する音声信号の周波数帯域が広がってゆく。例えば、基本となる階層（コアレイヤ）には、従来の電話帯域音声の符号化方式が用いられる。また、追加の階層（拡張レイヤ）では、７ｋＨｚ帯域のような広帯域音声を符号化できるように階層が構成される。
このように、帯域スケーラブル音声符号化方式では、コアレイヤで電話帯域音声信号を符号化し、拡張レイヤで高品質な広帯域信号を符号化するので、帯域スケーラブル音声符号化方式は、電話帯域音声サービス端末にも高品質広帯域音声サービス端末にも利用でき、また、双方の端末を含む多地点間通信にも対応可能である。また、符号化情報が階層的になっているため、伝送の仕方の工夫次第で誤り耐性も高くすることができ、さらには符号化側や伝送路上でビットレートを制御することも容易である。このようなことから、帯域スケーラブル音声符号化方式は、今後の通信用音声符号化方式として注目されている。
上記のような帯域スケーラブル音声符号化方式の一例として、非特許文献１記載の方式が挙げられる。
非特許文献１記載の帯域スケーラブル音声符号化方式では、ＭＤＣＴ係数を帯域毎のスケールファクタと微細構造情報とで符号化する。スケールファクタはハフマン符号化され、微細構造はベクトル量子化される。スケールファクタの復号結果を用いて各帯域の聴覚的重要度が算出されるとともに各帯域へのビット配分が決定される。各帯域の帯域幅は不均等で、高域ほど広くなるように予め設定されている。
また、伝送情報は以下のような４つのグループに分類される。
Ａ：コアコーデック符号化情報
Ｂ：高域のスケールファクタ符号化情報
Ｃ：低域のスケールファクタ符号化情報
Ｄ：スペクトル微細構造の符号化情報
また、復号側では以下のような処理を行う。
＜ケース１＞Ａの情報が完全に受信できない場合、フレーム消失補償処理を行って復号音声を生成する。
＜ケース２＞Ａの情報のみを受信した場合、コアコーデックの復号信号を出力する。
＜ケース３＞Ａの情報に加えてＢの情報を受信した場合、コアコーデックの復号信号をミラーリングすることによって高域を生成し、コアコーデックの復号信号より広い帯域を有する復号信号を生成する。高域のスペクトル形状の生成には復号したＢの情報を用いる。ミラーリングは、有声フレームにおいて行われ、ハーモニック構造（調波構造）が崩れないようなやり方で行われる。無声フレームではランダム雑音を用いて高域を生成する。
＜ケース４＞ＡとＢの情報に加えてＣの情報を受信した場合、ＡとＢの情報だけでケース３と同様の復号処理を行う。
＜ケース５＞Ａ、Ｂ、Ｃの情報に加えてＤの情報を受信した場合、Ａ〜Ｄの情報を全て受信できた帯域では完全な復号処理を行い、Ｄの情報を受信できない帯域では低域側の復号信号スペクトルをミラーリングすることによって微細スペクトルを復号する。Ｄの情報が受信されていなくてもＢ、Ｃの情報は受信されているので、スペクトル包絡情報の復号にはこれらＢ、Ｃの情報を利用する。ミラーリングは、有声フレームにおいて行われ、ハーモニック構造（調波構造）が崩れないようなやり方で行われる。無声フレームではランダム雑音を用いて高域を生成する。
B. Kovesiet al, "A scalable speech and audio coding scheme with continuous bitrate flexibility," in proc. IEEE ICASSP 2004, pp.I-273--I-276
上記従来技術（非特許文献１）では、ミラーリングによって高域を生成する。この際、調波構造を崩さないようにミラーリングを行うので、調波構造は維持される。しかし、低域の調波構造が鏡像となって高域に現れることになる。一般に、有声信号では、高域に行くほど調波構造が崩れるため、高域では低域ほど顕著な調波構造を示さないことが多い。換言すると、低域ではハーモニクスの谷が深くても、高域では、ハーモニクスの谷が浅かったり、場合によっては調波構造自体がはっきりしなかったりすることがある。したがって、上記従来技術では、高域成分に過度の調波構造が現れやすく、このため、復号音声信号の品質が劣化してしまう。
本発明の目的は、低域スペクトルを用いて高域スペクトルを生成することで音声（音響）信号を復号化する場合においても、高域スペクトルの劣化が少ない高品質な復号音声（音響）信号を得ることができるスケーラブル復号化装置を提供することである。
本発明のスケーラブル復号化装置は、低周波帯域の符号化情報を復号して低周波帯域の復号信号を得る第１復号化手段と、前記低周波帯域の復号信号と高周波帯域の符号化情報とから高周波帯域の復号信号を得る第２復号化手段と、を具備するスケーラブル復号化装置であって、前記第１復号化手段は、前記低周波帯域の復号信号の取得に加えて、前記低周波帯域の符号化情報を復号して前記低周波帯域のスペクトル情報を取得し、前記第２復号化手段は、前記低周波帯域の復号信号を変換して低周波帯域のスペクトルを得る変換手段と、前記第１復号化手段により取得した前記低周波帯域のスペクトル情報に基づいて前記低周波帯域の復号信号のスペクトルハーモニクスの谷の深さを示す指標を決定し、予め用意された複数の振幅調整係数の中から、前記指標に応じて選ばれた振幅調整係数を用いて、前記変換手段により得られた前記低周波帯域のスペクトルに対して振幅調整を施す調整手段と、振幅調整された低周波帯域のスペクトルと前記高周波帯域の符号化情報とを用いて、高周波帯域のスペクトルを生成する生成手段と、を具備する構成を採る。
本発明によれば、低域スペクトルを用いて高域スペクトルを生成することで音声（音響）信号を復号化する場合においても、高域スペクトルの劣化が少ない高品質な復号音声（音響）信号を得ることができる。
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
（実施の形態１）
図１は、例えば帯域スケーラブル音声（音響）信号復号化装置等を形成するスケーラブル復号化装置１００の構成を表すブロック図である。
スケーラブル復号化装置１００は、分離部１０１、第１レイヤ復号化部１０２、および、第２レイヤ復号化部１０３を備える。
分離部１０１は、後述するスケーラブル符号化装置から送出されたビットストリームを受信し、第１レイヤ用の符号化パラメータと第２レイヤ用の符号化パラメータとに分離し、第１レイヤ復号化部１０２と第２レイヤ復号化部１０３にそれぞれ出力する。
第１レイヤ復号化部１０２は、分離部１０１より入力された第１レイヤ用の符号化パラメータを復号し、第１レイヤ復号信号を出力する。この第１レイヤ復号信号は第２レイヤ復号化部１０３へも出力される。
第２レイヤ復号化部１０３は、分離部１０１より入力された第２レイヤ用の符号化パラメータを、第１レイヤ復号化部１０２より入力された第１レイヤ復号信号を用いて復号し、第２レイヤ復号信号を出力する。
図１のスケーラブル復号化装置１００に対応するスケーラブル符号化装置２００の構成の一例を図２に示す。
図２において、第１レイヤ符号化部２０１は、入力される音声信号（原信号）を符号化し、得られる符号化パラメータを第１レイヤ復号化部２０２および多重化部２０３に出力する。第１レイヤ符号化部２０１は、符号化にあたり、ダウンサンプル処理や低域通過フィルタリング処理などを行うことで、第１レイヤと第２レイヤの帯域スケーラビリティを実現する。
第１レイヤ復号化部２０２は、第１レイヤ符号化部２０１から入力される符号化パラメータから第１レイヤの復号信号を生成して第２レイヤ符号化部２０４に出力する。
第２レイヤ符号化部２０４は、入力される音声信号（原信号）を、第１レイヤ復号化部２０２から入力される第１レイヤ復号信号を用いて符号化し、得られる符号化パラメータを多重化部２０３に出力する。第２レイヤ符号化部２０４は、符号化にあたり、第１レイヤ符号化部２０１で行われる処理（ダウンサンプル処理や低域通過フィルタリング処理）に応じて、第１レイヤ復号信号のアップサンプル処理や、第１レイヤ復号信号の位相と入力音声信号の位相を合わせるための位相調整処理などを行う。
多重化部２０３は、第１レイヤ符号化部２０１から入力される符号化パラメータと第２レイヤ符号化部２０４から入力される符号化パラメータとを多重化し、ビットストリームを出力する。
次いで、図１に示す第２レイヤ復号化部１０３についてより詳しく説明する。図３は第２レイヤ復号化部１０３の構成を表すブロック図である。第２レイヤ復号化部１０３は、分離部３０１、スケーリング係数復号化部３０２、微細スペクトル復号化部３０３、周波数領域変換部３０４、スペクトル復号化部３０５、および、時間領域変換部３０６を備える。
分離部３０１は、入力された第２レイヤ用符号化パラメータを、スケーリング係数を表す符号化パラメータ（スケーリング係数パラメータ）とスペクトル微細構造を表す符号化パラメータ（微細スペクトルパラメータ）とに分離し、スケーリング係数復号化部３０２と微細スペクトル復号化部３０３とにそれぞれ出力する。
スケーリング係数復号化部３０２は、入力されたスケーリング係数パラメータを復号して低域スケーリング係数と高域スケーリング係数を得て、それらの復号スケーリング係数をスペクトル復号化部３０５へ出力するとともに、微細スペクトル復号化部３０３にも出力する。
微細スペクトル復号化部３０３は、スケーリング係数復号化部３０２から入力された復号スケーリング係数を用いて各帯域の聴覚的重要度を算出し、各帯域の微細スペクトル情報に割り当てられたビット数を求める。そして、微細スペクトル復号化部３０３は、分離部３０１から入力された微細スペクトルパラメータを復号して各帯域の復号微細スペクトル情報を得て、スペクトル復号化部３０５へ出力する。なお、聴覚的重要度の算出に第１レイヤ復号信号の情報を用いても良く、その場合は、周波数領域変換部３０４の出力が微細スペクトル復号化部３０３にも入力される。
周波数領域変換部３０４は、入力された第１レイヤ復号信号を周波数領域のスペクトルパラメータ（例えばＭＤＣＴ係数）に変換し、スペクトル復号化部３０５へ出力する。
スペクトル復号化部３０５は、周波数領域変換部３０４から入力された周波数領域に変換された第１レイヤ復号信号と、スケーリング係数復号化部３０２から入力された復号スケーリング係数（低域および高域）と、微細スペクトル復号化部３０３から入力された復号微細スペクトル情報と、から第２レイヤ復号信号のスペクトルを復号し、時間領域変換部３０６へ出力する。
時間領域変換部３０６は、スペクトル復号化部３０５から入力された第２レイヤ復号信号のスペクトルを時間領域の信号に変換し、第２レイヤ復号信号として出力する。
図３の第２レイヤ復号化部１０３に対応する第２レイヤ符号化部２０４の構成の一例を図４に示す。
図４において、入力音声信号は、聴覚マスキング算出部４０１および周波数領域変換部４０２Ａへ入力される。
聴覚マスキング算出部４０１は、あらかじめ規定されている帯域幅を持つサブバンド毎の聴覚マスキングを算出し、この聴覚マスキングをスケーリング係数符号化部４０３および微細スペクトル符号化部４０４に出力する。
人間の聴覚特性には、ある信号が聞こえているときに、その信号と周波数の近い音が耳に入ってきても聞こえにくい、という聴覚マスキング特性がある。この聴覚マスキング特性に基づき、上記聴覚マスキングを用いて、量子化歪が聞こえにくい周波数のスペクトルには量子化ビット数を少なく配分し、量子化歪が聞こえやすい周波数のスペクトルには量子化ビット数を多く配分することで効率的なスペクトル符号化を実現することができる。
周波数領域変換部４０２Ａは、入力された音声信号を周波数領域のスペクトルパラメータ（例えばＭＤＣＴ係数）に変換し、スケーリング係数符号化部４０３および微細スペクトル符号化部４０４に出力する。周波数領域変換部４０２Ｂは、入力された第１レイヤ復号信号を周波数領域のスペクトルパラメータ（例えばＭＤＣＴ係数）に変換し、スケーリング係数符号化部４０３および微細スペクトル符号化部４０４に出力する。
スケーリング係数符号化部４０３は、聴覚マスキング算出部４０１から入力される聴覚マスキング情報を用いて、周波数領域変換部４０２Ａから入力されるスペクトルパラメータと周波数領域変換部４０２Ｂから入力される第１レイヤ復号スペクトルとの差分スペクトルの符号化を行ってスケーリング係数パラメータを得て、そのスケーリング係数パラメータを符号化パラメータ多重化部４０５および微細スペクトル符号化部４０４へ出力する。なお、ここでは高域スペクトルのスケーリング係数パラメータと低域スペクトルのスケーリング係数パラメータを別々に出力する例を図示している。
微細スペクトル符号化部４０４は、スケーリング係数符号化部４０３から入力されるスケーリング係数パラメータ（低域および高域）を復号して復号スケーリング係数（低域および高域）を得、周波数領域変換部４０２Ａから入力されるスペクトルパラメータと周波数領域変換部４０２Ｂから入力される第１レイヤ復号スペクトルとの差分スペクトルを復号スケーリング係数（低域および高域）を用いて正規化する。微細スペクトル符号化部４０４は、この正規化した差分スペクトルを符号化し、その符号化後の差分スペクトル（微細スペクトル符号化パラメータ）を符号化パラメータ多重化部４０５へ出力する。このとき、微細スペクトル符号化部４０４は、復号スケーリング係数（低域および高域）を用いて微細スペクトルの帯域毎の聴覚重要度を算出し、聴覚重要度に応じたビット配分を行う。この聴覚重要度の算出には第１レイヤ復号スペクトルを用いても良い。
符号化パラメータ多重化部４０５は、スケーリング係数符号化部４０３から入力される高域スペクトルスケーリング係数パラメータおよび低域スペクトルスケーリング係数パラメータと、微細スペクトル符号化部４０４から入力される微細スペクトル符号化パラメータと、を多重化し、第１のスペクトル符号化パラメータとして出力する。
次いで、図３に示すスペクトル復号化部３０５についてより詳しく説明する。図５〜図９はスペクトル復号化部３０５の構成を表すブロック図である。
図５は、第１レイヤ復号信号、全ての復号スケーリング係数（低域および高域）、全ての微細スペクトル復号情報、が全て正常に受信される場合の処理を実行するための構成を示す。
図６は、高域の微細スペクトル復号情報の一部が受信されない場合の処理を実行するための構成を示す。加算器Ａの出力結果が高域スペクトル復号化部６０２へ入力されている点が図５と異なる。受信されなかった高域微細スペクトル復号情報を用いて復号されるべき帯域のスペクトルは、後述する方法によって擬似的に生成される。
図７は、高域の微細スペクトル復号情報が全て受信されない場合（加えて低域の微細スペクトル復号情報の一部も受信されない場合を含む）の処理を実行するための構成を示す。微細スペクトル復号情報が高域スペクトル復号化部７０２へ入力されない点が図６と異なる。受信されなかった高域微細スペクトル復号情報を用いて復号されるべき帯域のスペクトルは、後述する方法によって擬似的に生成される。
図８は、全ての微細スペクトル復号情報が受信されず、さらに低域の復号スケーリング係数の一部が受信されない場合の処理を実行するための構成を示す。微細スペクトル復号情報が入力されない点と、低域スペクトル復号化部８０１からの出力がなく加算器Ａが存在しない点が図７と異なる。受信されなかった高域微細スペクトル復号情報を用いて復号されるべき帯域のスペクトルは、後述する方法によって擬似的に生成される。
図９は、高域の復号スケーリング係数のみが受信される場合（一部の高域復号スケーリング係数が受信されない場合も含む）の処理を実行するための構成を示す。低域の復号スケーリング係数の入力がなく、低域スペクトル復号化部がない点が図８と異なる。受信された高域復号スケーリング係数のみから高域のスペクトルを擬似的に生成する方法については後述する。
図５のスペクトル復号化部３０５は、低域スペクトル復号化部５０１、高域スペクトル復号化部５０２、加算器Ａ、および、加算器Ｂを備える。
低域スペクトル復号化部５０１は、スケーリング係数復号化部３０２から入力された低域の復号スケーリング係数と、微細スペクトル復号化部３０３から入力された微細スペクトル復号情報と、を用いて低域スペクトルを復号し、加算器Ａへ出力する。一般的には、微細スペクトル復号情報に復号スケーリング係数を乗算することによって復号スペクトルを算出する。
加算器Ａは、低域スペクトル復号化部５０１から入力された復号低域スペクトル（残差）と、周波数領域変換部３０４から入力された第１レイヤ復号信号（スペクトル）と、を加算して復号低域スペクトルを求めて加算器Ｂに出力する。
高域スペクトル復号化部５０２は、スケーリング係数復号化部３０２から入力された高域の復号スケーリング係数と、微細スペクトル復号化部３０３から入力された微細スペクトル復号情報と、を用いて高域スペクトルを復号し、加算器Ｂへ出力する。
加算器Ｂは、加算器Ａより入力される復号低域スペクトルと、高域スペクトル復号化部５０２より入力される復号高域スペクトルと、を合わせて全域（低域と高域を合わせた全周波数帯域）のスペクトルを生成し、復号スペクトルとして出力する。
図６では、図５と比べて高域スペクトル復号化部６０２の動作のみが異なる。
高域スペクトル復号化部６０２は、スケーリング係数復号化部３０２から入力された高域の復号スケーリング係数と、微細スペクトル復号化部３０３から入力された高域の微細スペクトル復号情報と、を用いて高域のスペクトルを復号する。このとき、一部の帯域の高域微細スペクトル復号情報は受信されていないため、該当する帯域の高域スペクトルは正確に復号できない。よって、高域スペクトル復号化部６０２は、復号スケーリング係数と、加算器Ａから入力される低域の復号スペクトルと、受信されて正確に復号できる高域のスペクトルとを用いて、擬似的に高域のスペクトルを生成する。具体的な生成方法については後述する。
図７では、図５および図６において、高域微細スペクトル復号情報が全て受信されない場合の動作となる。この場合、高域スペクトル復号化部７０２は、スケーリング係数復号化部３０２から入力された高域の復号スケーリング係数だけを用いて高域のスペクトルを復号する。
また、低域スペクトル復号化部７０１は、スケーリング係数復号化部３０２から入力された低域の復号スケーリング係数と、微細スペクトル復号化部３０３から入力された低域の微細スペクトル復号情報と、を用いて低域のスペクトルを復号する。このとき、一部の帯域の低域微細スペクトル復号情報は受信されていないため、その一部の帯域については復号処理を行なわず、零スペクトルとする。この場合、加算器ＡおよびＢを経て出力される該当帯域のスペクトルは第１レイヤ復号信号（スペクトル）そのものとなる。
図８では、図７において低域微細スペクトル復号情報が全て受信されない場合の動作となる。低域スペクトル復号化部８０１は、低域の復号スケーリング係数が入力されるが、微細スペクトル復号情報が全く入力されないので、復号処理を行なわない。
図９では、図８において低域の復号スケーリング係数が全く入力されない場合の動作となる。ただし、高域スペクトル復号化部９０２では、一部の復号スケーリング係数（高域）が入力されない場合、その帯域のスペクトルは零として出力する。
次いで、擬似的に高域スペクトルを生成する方法について図９を例にとって説明する。図９において、高域スペクトルを擬似的に生成するのは高域スペクトル復号化部９０２である。高域スペクトル復号化部９０２の構成をより詳細に示したのが図１０である。
図１０の高域スペクトル復号化部９０２は、振幅調整部１０１１と、擬似スペクトル生成部１０１２と、スケーリング部１０１３と、を備える。
振幅調整部１０１１は、周波数領域変換部３０４から入力される第１レイヤ復号信号スペクトルの振幅を調整し、擬似スペクトル生成部１０１２へ出力する。
擬似スペクトル生成部１０１２は、振幅調整部１０１１から入力された振幅調整後の第１レイヤ復号信号スペクトルを用いて擬似的に高域のスペクトルを生成し、スケーリング部１０１３へ出力する。
スケーリング部１０１３は、擬似スペクトル生成部１０１２から入力されたスペクトルをスケーリングして加算器Ｂへ出力する。
図１１は高域スペクトルを擬似的に生成する上記一連の処理の様子の一例を示した模式図である。
まず、第１レイヤの復号信号スペクトルの振幅調整を行う。振幅調整の方法は、例えば、対数領域で定数倍（γ×Ｓ、γは０≦γ≦１の範囲にある振幅調整係数（実数）、Ｓは対数スペクトル）したり、線形領域で定数乗（ｓγ、ｓは線形スペクトル）したりすれば良い。また、振幅調整のための調整係数として、有声音において低域におけるハーモニクスの谷の深さと高域におけるハーモニクスの谷の深さとを合わせるのに必要となる係数の代表的なものを用いると良い。また、調整係数は固定の定数としても良いが、低域スペクトルのハーモニクスの谷の深さを表す指標（例えば、直接的には低域におけるスペクトル振幅の分散値など、間接的には第１レイヤ符号化部２０１におけるピッチゲインの値など）に応じて適当な調整係数を複数用意し、上記指標に応じて対応する調整係数を選択的に用いるとなお良い。また、低域のスペクトル形状（包絡）情報やピッチ周期情報なども用いて、母音毎の特徴に応じて調整係数を選択的に用いるのも良い。また、最適な調整係数を別途伝送情報として符号器側で符号化して伝送するようにしても良い。
次に、振幅調整後のスペクトルを用いて擬似的に高域のスペクトルを生成する。生成方法として、高域スペクトルを低域スペクトルの鏡像として生成するミラーリングの例を図１１に示す。ミラーリングの他にも、振幅調整後のスペクトルを周波数軸の高域方向にシフトして高域スペクトルを生成する方法、低域スペクトルから求められるピッチラグを用いて振幅調整後のスペクトルに対し周波数軸方向にピッチフィルタリング処理を行なって高域スペクトルを生成する方法などがある。いずれの方法にしても、生成した高域のハーモニクス構造が崩れないようにするとともに、低域スペクトルのハーモニクス構造と生成した高域スペクトルのハーモニクス構造とが連続的につながるようにする。
最後に、符号化単位の帯域毎に振幅のスケーリングを行って高域スペクトルを生成する。
図１２は、振幅調整部１２１１に、第１レイヤのスペクトル情報（例えば復号ＬＳＰパラメータなど）が第１レイヤ復号化部１０２から入力される場合を示したものである。この場合、振幅調整部１２１１は、振幅調整に用いる調整係数を、入力された第１レイヤのスペクトル情報に基いて決定する。なお、調整係数の決定にあたり、第１レイヤのスペクトル情報以外に、第１レイヤのピッチ情報（ピッチ周期やピッチゲイン）を用いても良い。
図１３は、振幅調整部１３１１に、振幅調整係数が別途入力される場合を示したものである。この場合、符号器側において振幅調整係数が量子化・符号化されて伝送される。
（実施の形態２）
図１４は、本発明の実施の形態２に係る第２レイヤ復号化部１０３の構成を示すブロック図である。
図１４の第２レイヤ復号化部１０３は、分離部１４０１、スペクトル復号化部１４０２Ａ、拡張帯域復号化部１４０３、スペクトル復号化部１４０２Ｂ、周波数領域変換部１４０４、および、時間領域変換部１４０５を備える。
分離部１４０１は、第２レイヤ用符号化パラメータを、第１のスペクトル符号化パラメータ、拡張帯域符号化パラメータ、第２のスペクトル符号化パラメータ、に分離し、スペクトル復号化部１４０２Ａ、拡張帯域復号化部１４０３、スペクトル復号化部１４０２Ｂ、にそれぞれ出力する。
周波数領域変換部１４０４は、第１レイヤ復号化部１０２から入力された第１レイヤ復号信号を周波数領域のパラメータ（例えばＭＤＣＴ係数など）に変換し、第１レイヤ復号信号スペクトルとしてスペクトル復号化部１４０２Ａに出力する。
スペクトル復号化部１４０２Ａは、周波数領域変換部１４０４から入力された第１レイヤの復号信号スペクトルに、分離部１４０１から入力された第１のスペクトル符号化パラメータを復号して得られる第１レイヤの符号化誤差の量子化スペクトルを加えて、第１の復号スペクトルとして拡張帯域復号化部１４０３へ出力する。なお、スペクトル復号化部１４０２Ａでは主として低域成分に対する第１レイヤの符号化誤差が改善される。
拡張帯域復号化部１４０３は、分離部１４０１から入力された拡張帯域符号化パラメータから各種パラメータを復号し、スペクトル復号化部１４０２Ａから入力された第１の復号スペクトルを基にして、その復号した各種パラメータを用いて高域のスペクトルを復号・生成する。そして、拡張帯域復号化部１４０３は、全帯域のスペクトルを第２の復号スペクトルとしてスペクトル復号化部１４０２Ｂへ出力する。
スペクトル復号化部１４０２Ｂは、拡張帯域復号化部１４０３から入力された第２の復号スペクトルに、分離部１４０１から入力された第２のスペクトル符号化パラメータを復号して得られる第２の復号スペクトルの符号化誤差を量子化したスペクトルを加えて、第３の復号スペクトルとして時間領域変換部１４０５へ出力する。
時間領域変換部１４０５は、スペクトル復号化部１４０２Ｂから入力された第３の復号スペクトルを時間領域の信号に変換し、第２レイヤ復号信号として出力する。
なお、図１４において、スペクトル復号化部１４０２Ａおよびスペクトル復号化部１４０２Ｂの一方もしくは双方がない構成を採ることもできる。スペクトル復号化部１４０２Ａがない構成の場合は、周波数領域変換部１４０４から出力された第１レイヤ復号信号スペクトルは拡張帯域復号化部１４０３へ入力される。また、スペクトル復号化部１４０２Ｂがない構成の場合は、拡張帯域復号化部１４０３が出力する第２の復号スペクトルが時間領域変換部１４０５へ入力される。
図１４の第２レイヤ復号化部１０３に対応する第２レイヤ符号化部２０４の構成の一例を図１５に示す。
図１５において、音声信号（原信号）は、聴覚マスキング算出部１５０１および周波数領域変換部１５０２Ａへ入力される。
聴覚マスキング算出部１５０１は、入力される音声信号を用いて聴覚マスキングを算出して第１スペクトル符号化部１５０３、拡張帯域符号化部１５０４および第２スペクトル符号化部１５０５へ出力する。
周波数領域変換部１５０２Ａは、入力された音声信号を周波数領域のスペクトルパラメータ（例えばＭＤＣＴ係数）に変換し、第１スペクトル符号化部１５０３、拡張帯域符号化部１５０４および第２スペクトル符号化部１５０５へ出力する。
周波数領域変換部１５０２Ｂは、入力される第１レイヤ復号信号をＭＤＣＴ等のスペクトルパラメータに変換し、第１スペクトル符号化部１５０３へ出力する。
第１スペクトル符号化部１５０３は、聴覚マスキング算出部１５０１から入力される聴覚マスキングを用いて、周波数領域変換部１５０２Ａから入力される入力音声信号スペクトルと周波数領域変換部１５０２Ｂから入力される第１レイヤ復号スペクトルとの差分スペクトルの符号化を行い、第１のスペクトル符号化パラメータとして出力するとともに、第１のスペクトル符号化パラメータを復号して得られる第１の復号スペクトルを拡張帯域符号化部１５０４に出力する。
拡張帯域符号化部１５０４は、聴覚マスキング算出部１５０１から入力される聴覚マスキングを用いて、周波数領域変換部１５０２Ａから入力される入力音声信号スペクトルと第１スペクトル符号化部１５０３から入力される第１の復号スペクトルとの誤差スペクトルを符号化し、拡張帯域符号化パラメータとして出力するとともに、拡張帯域符号化パラメータを復号して得られる第２の復号スペクトルを第２スペクトル符号化部１５０５へ出力する。
第２スペクトル符号化部１５０５は、聴覚マスキング算出部１５０１から入力される聴覚マスキングを用いて、周波数領域変換部１５０２Ａから入力される入力音声信号スペクトルと拡張帯域符号化部１５０４から入力される第２の復号スペクトルとの誤差スペクトルを符号化し、第２のスペクトル符号化パラメータとして出力する。
次いで、図１４のスペクトル復号化部１４０２Ａ、１４０２Ｂの具体例を図１６および図１７に示す。
図１６において、分離部１６０１は、入力される符号化パラメータを、スケーリング係数を表す符号化パラメータ（スケーリング係数パラメータ）とスペクトル微細構造を表す符号化パラメータ（微細スペクトルパラメータ）とに分離し、スケーリング係数復号化部１６０２と微細スペクトル復号化部１６０３とにそれぞれ出力する。
スケーリング係数復号化部１６０２は、入力されたスケーリング係数パラメータを復号して低域スケーリング係数と高域スケーリング係数を得て、それらの復号スケーリング係数をスペクトル復号化部１６０４へ出力するとともに、微細スペクトル復号化部１６０３にも出力する。
微細スペクトル復号化部１６０３は、スケーリング係数復号化部１６０２から入力された復号スケーリング係数を用いて各帯域の聴覚的重要度を算出し、各帯域の微細スペクトル情報に割り当てられたビット数を求める。そして、微細スペクトル復号化部１６０３は、分離部１６０１から入力された微細スペクトルパラメータを復号して各帯域の復号微細スペクトル情報を得て、スペクトル復号化部１６０４へ出力する。なお、聴覚的重要度の算出に復号スペクトルＡの情報を用いても良い。その場合、復号スペクトルＡも微細スペクトル復号化部１６０３へ入力されるように構成する。
スペクトル復号化部１６０４は、入力された復号スペクトルＡと、スケーリング係数復号化部１６０２から入力された復号スケーリング係数（低域および高域）と、微細スペクトル復号化部１６０３から入力された復号微細スペクトル情報と、から復号スペクトルＢを復号して出力する。
図１６と図１４の対応関係について説明すると、図１６に示す構成がスペクトル復号化部１４０２Ａの構成である場合、図１６の符号化パラメータが図１４の第１のスペクトル符号化パラメータに、図１６の復号スペクトルＡが図１４の第１レイヤ復号信号スペクトルに、図１６の復号スペクトルＢが図１４の第１の復号スペクトルに、それぞれ相当する。また、図１６に示す構成がスペクトル復号化部１４０２Ｂの構成である場合、図１６の符号化パラメータが図１４の第２のスペクトル符号化パラメータに、図１６の復号スペクトルＡが図１４の第２の復号スペクトルに、図１６の復号スペクトルＢが図１４の第３の復号スペクトルに、それぞれ相当する。
図１６のスペクトル復号化部１４０２Ａ、１４０２Ｂに対応する第１スペクトル符号化部１５０３の構成の一例を図１８に示す。図１８では、図１５における第１スペクトル符号化部１５０３の構成を示している。図１８に示す第１スペクトル符号化部１５０３は、図４に示すスケーリング係数符号化部４０３、微細スペクトル符号化部４０４、符号化パラメータ多重化部４０５、および、図１６に示すスペクトル復号化部１６０４から構成されており、それらの動作は図４および図１６において説明したのと同一であるのでここでの説明を省略する。また、図１８の第１レイヤ復号スペクトルを第２の復号スペクトルに、第１のスペクトル符号化パラメータを第２のスペクトル符号化パラメータに、それぞれ置き換えれば、図１８に示す構成は図１５における第２スペクトル符号化部１５０５の構成となる。ただし、第２スペクトル符号化部１５０５の構成では、スペクトル復号化部１６０４は除かれる。
図１７は、スケーリング係数を用いない場合のスペクトル復号化部１４０２Ａ、１４０２Ｂの構成を示している。この場合、スペクトル復号化部１４０２Ａ、１４０２Ｂは、聴覚重要度およびビット配分算出部１７０１と、微細スペクトル復号化部１７０２と、スペクトル復号化部１７０３とを備える。
図１７において、聴覚重要度およびビット配分算出部１７０１は、入力される復号スペクトルＡから各帯域の聴覚重要度を求め、聴覚重要度に応じて決定される各帯域へのビット配分を求める。求められた聴覚重要度とビット配分の情報は、微細スペクトル復号化部１７０２へ出力される。
微細スペクトル復号化部１７０２は、入力される符号化パラメータを、聴覚重要度およびビット配分算出部１７０１から入力された聴覚重要度およびビット配分情報に基づいて復号して各帯域の復号微細スペクトル情報を得て、スペクトル復号化部１７０３に出力する。
スペクトル復号化部１７０３は、入力された復号スペクトルＡに、微細スペクトル復号化部１７０２から入力された微細スペクトル復号情報を加えて、復号スペクトルＢとして出力する。
図１７と図１４の対応関係について説明すると、図１７に示す構成がスペクトル復号化部１４０２Ａの構成である場合、図１７の符号化パラメータが図１４の第１のスペクトル符号化パラメータに、図１７の復号スペクトルＡが図１４の第１レイヤ復号信号スペクトルに、図１７の復号スペクトルＢが図１４の第１の復号スペクトルに、それぞれ相当する。また、図１７に示す構成がスペクトル復号化部１４０２Ｂの構成である場合、図１７の符号化パラメータが図１４の第２のスペクトル符号化パラメータに、図１７の復号スペクトルＡが図１４の第２の復号スペクトルに、図１７の復号スペクトルＢが図１４の第３の復号スペクトルに、それぞれ相当する。
なお、図１６と図１８の対応と同様にして、図１７のスペクトル復号化部１４０２Ａ、１４０２Ｂに対応する第１スペクトル符号化部を構成することができる。
次いで、図１４に示す拡張帯域復号化部１４０３の詳細について図１９〜図２３を用いて説明する。
図１９は、拡張帯域復号化部１４０３の構成を示すブロック図である。図１９に示す拡張帯域復号化部１４０３は、分離部１９０１、振幅調整部１９０２、フィルタ状態設定部１９０３、フィルタリング部１９０４、スペクトル残差形状符号帳１９０５、スペクトル残差ゲイン符号帳１９０６、乗算器１９０７、スケールファクタ復号化部１９０８、スケーリング部１９０９、および、スペクトル合成部１９１０を備える。
分離部１９０１は、図１４の分離部１４０１から入力される符号化パラメータを、振幅調整係数符号化パラメータ、ラグ符号化パラメータ、残差形状符号化パラメータ、残差ゲイン符号化パラメータ、スケールファクタ符号化パラメータ、に分離し、振幅調整部１９０２、フィルタリング部１９０４、スペクトル残差形状符号帳１９０５、スペクトル残差ゲイン符号帳１９０６、スケールファクタ復号化部１９０８、にそれぞれ出力する。
振幅調整部１９０２は、分離部１９０１から入力された振幅調整係数符号化パラメータを復号し、復号された振幅調整係数を用いて、図１４のスペクトル復号化部１４０２Ａから入力された第１の復号スペクトルの振幅を調整し、振幅調整後の第１の復号スペクトルをフィルタ状態設定部１９０３に出力する。振幅調整は、例えば第１の復号スペクトルをＳ（ｎ）、振幅調整係数をγとすると、{Ｓ（ｎ）}γで表されるような方法で行う。ここで、Ｓ（ｎ）は線形領域でのスペクトル振幅、ｎは周波数である。
フィルタ状態設定部１９０３は、伝達関数Ｐ（ｚ）＝（１−ｚ−Ｔ）−１で表されるようなピッチフィルタのフィルタ状態に、振幅調整後の第１の復号スペクトルを設定する。具体的には、フィルタ状態設定部１９０３は、振幅調整後の第１の復号スペクトルＳ１［０〜Ｎｎ］を生成スペクトルバッファＳ［０〜Ｎｎ］に代入し、代入後の生成スペクトルバッファをフィルタリング部１９０４へ出力する。ここで、ｚはｚ変換における変数である。ｚ−１は複素変数であり遅延演算子と呼ばれる。また、Ｔはピッチフィルタのラグ、Ｎｎは第１の復号スペクトルの有効スペクトル点数（フィルタ状態として用いるスペクトルの上限周波数に相当）であり、生成スペクトルバッファＳ［ｎ］は、ｎ＝０〜Ｎｗの範囲で定義される配列変数である。また、Ｎｗは帯域拡張後のスペクトル点数であり、本フィルタリング処理によって（Ｎｗ−Ｎｎ）点のスペクトルが生成される。
フィルタリング部１９０４は、分離部１９０１から入力されたラグ符号化パラメータＴを用いて、フィルタ状態設定部１９０３から入力された生成スペクトルバッファＳ[ｎ]に対してフィルタリング処理を行う。具体的には、フィルタリング部１９０４は、Ｓ[ｎ]＝Ｓ[ｎ−Ｔ]＋ｇＣ[ｎ]，ｎ＝Ｎｎ〜Ｎｗ、によってＳ[ｎ]を生成する。ここで、ｇはスペクトル残差ゲイン、Ｃ[ｎ]はスペクトル残差形状ベクトルをそれぞれ示しており、ｇＣ[ｎ]は乗算器１９０７から入力される。生成されたＳ[Ｎｎ〜Ｎｗ]はスケーリング部１９０９へ出力される。
スペクトル残差形状符号帳１９０５は、分離部１９０１から入力された残差形状符号化パラメータを復号し、復号結果に対応するスペクトル残差形状ベクトルを乗算器１９０７へ出力する。
スペクトル残差ゲイン符号帳１９０６は、分離部１９０１から入力された残差ゲイン符号化パラメータを復号し、復号結果に対応する残差ゲインを乗算器１９０７へ出力する。
乗算器１９０７は、スペクトル残差形状符号帳１９０５から入力された残差形状ベクトルＣ[ｎ]とスペクトル残差ゲイン符号帳１９０６から入力された残差ゲインｇとの乗算結果ｇＣ[ｎ]をフィルタリング部１９０４へ出力する。
スケールファクタ復号化部１９０８は、分離部１９０１から入力されたスケールファクタ符号化パラメータを復号し、復号スケールファクタをスケーリング部１９０９へ出力する。
スケーリング部１９０９は、フィルタリング部１９０４から入力されたスペクトルＳ[Ｎｎ〜Ｎｗ]に、スケールファクタ復号化部１９０８から入力されたスケールファクタを乗じてスペクトル合成部１９１０に出力する。
スペクトル合成部１９１０は、低域（Ｓ[０〜Ｎｎ]）に図１４のスペクトル復号化部１４０２Ａから入力される第１の復号スペクトルを、高域（Ｓ[Ｎｎ〜Ｎｗ]）にスケーリング部１９０９から入力されるスペクトルを、それぞれ代入して得られるスペクトルを第２の復号スペクトルとして図１４のスペクトル復号化部１４０２Ｂに出力する。
次いで、スペクトル残差形状符号化パラメータとスペクトル残差ゲイン符号化パラメータを完全には受信できない場合の拡張帯域復号化部１４０３の構成を図２０に示す。この場合、完全に受信できる情報は、振幅調整係数の符号化パラメータ、ラグ符号化パラメータ、スケールファクタ符号化パラメータである。
図２０において、分離部２００１およびフィルタリング部２００２以外の構成は図１９における各部と同じであるので説明を省略する。
図２０において、分離部２００１は、図１４の分離部１４０１から入力される符号化パラメータを、振幅調整係数符号化パラメータ、ラグ符号化パラメータ、スケールファクタ符号化パラメータ、に分離し、振幅調整部１９０２、フィルタリング部２００２、スケールファクタ復号化部１９０８、にそれぞれ出力する。
フィルタリング部２００２は、分離部２００１から入力されたラグ符号化パラメータＴを用いて、フィルタ状態設定部１９０３から入力された生成スペクトルバッファＳ[ｎ]に対してフィルタリング処理を行う。具体的には、フィルタリング部２００２は、Ｓ[ｎ]＝Ｓ[ｎ−Ｔ], ｎ＝Ｎｎ〜Ｎｗ、によってＳ[ｎ]を生成する。生成されたＳ[Ｎｎ〜Ｎｗ]はスケーリング部１９０９へ出力される。
次いで、さらにラグ符号化パラメータも受信できない場合の拡張帯域復号化部１４０３の構成を図２１に示す。この場合、完全に受信できる情報は、振幅調整係数の符号化パラメータ、スケールファクタ符号化パラメータである。
図２１では、図２０におけるフィルタ状態設定部１９０３およびフィルタリング部２００２が、擬似スペクトル生成部２１０２に置き換えられている。図２１において、分離部２１０１および擬似スペクトル生成部２１０２以外の構成は図１９における各部と同じであるので説明を省略する。
図２１において、分離部２１０１は、図１４の分離部１４０１から入力される符号化パラメータを、振幅調整係数符号化パラメータとスケールファクタ符号化パラメータとに分離し、振幅調整部１９０２、スケールファクタ復号化部１９０８にそれぞれ出力する。
擬似スペクトル生成部２１０２は、振幅調整部１９０２から入力される振幅調整後の第１の復号スペクトルを用いて高域スペクトルを擬似的に生成し、スケーリング部１９０９へ出力する。高域スペクトルの具体的な生成方法としては、高域スペクトルを低域スペクトルの鏡像として生成するミラーリングに基く方法、振幅調整後のスペクトルを周波数軸の高域方向にシフトする方法、低域スペクトルからピッチラグを求めてこのピッチラグを用いて振幅調整後のスペクトルに対し周波数軸方向にピッチフィルタリング処理を行う方法、などがある。なお、復号中のフレームが無声フレームと判断される場合は、ランダムに生成した雑音スペクトルを用いて擬似スペクトルを生成しても良い。
次いで、さらに振幅調整情報も受信できない場合の拡張帯域復号化部１４０３の構成を図２２に示す。この場合、完全に受信できる情報は、スケールファクタ符号化パラメータである。図２２において、分離部２２０１および擬似スペクトル生成部２２０２以外の構成は図１９における各部と同じであるので説明を省略する。
図２２において、分離部２２０１は、図１４の分離部１４０１から入力される符号化パラメータからスケールファクタ符号化パラメータを分離し、スケールファクタ復号化部１９０８に出力する。
擬似スペクトル生成部２２０２は、第１の復号スペクトルを用いて高域スペクトルを擬似的に生成し、スケーリング部１９０９へ出力する。高域スペクトルの具体的な生成方法としては、高域スペクトルを低域スペクトルの鏡像として生成するミラーリングに基く方法、振幅調整後のスペクトルを周波数軸の高域方向にシフトする方法、低域スペクトルからピッチラグを求めてこのピッチラグを用いて振幅調整後のスペクトルに対し周波数軸方向にピッチフィルタリング処理を行う方法、などがある。なお、復号中のフレームが無声フレームと判断される場合は、ランダムに生成した雑音スペクトルを用いて擬似スペクトルを生成しても良い。また、振幅調整の方法は、例えば、対数領域で定数倍（γ×Ｓ、Ｓは対数スペクトル）したり、線形領域で定数乗（ｓγ、ｓは線形スペクトル）したりすれば良い。また、振幅調整のための調整係数として、有声音において低域におけるハーモニクスの谷の深さと高域におけるハーモニクスの谷の深さとを合わせるのに必要となる係数の代表的なものを用いると良い。また、調整係数は固定の定数としても良いが、低域スペクトルのハーモニクスの谷の深さを表す指標（例えば、直接的には低域におけるスペクトル振幅の分散値、間接的には第１レイヤ符号化部２０１におけるピッチゲインの値）に応じて適当な調整係数を複数用意し、上記指標に応じて対応する調整係数を選択的に用いるとなお良い。また、低域のスペクトル形状（包絡）情報やピッチ周期情報なども用いて、母音毎の特徴に応じて調整係数を選択的に用いるのも良い。より具体的には、実施の形態１において説明した疑似スペクトルの生成と同一になるので、ここでの説明は省略する。
図２３は、図２０の構成において高域成分を生成する一連の動作を示した模式図である。図２３に示すように、まず第１の復号スペクトルの振幅調整を行う。次いで、振幅調整後の第１の復号スペクトルをピッチフィルタのフィルタ情報として、フィルタリング処理（ピッチフィルタリング）を周波数軸方向に行なって高域成分を生成する。次いで、生成された高域成分に対してスケーリング係数の帯域毎にスケーリングを行って最終的な高域スペクトルを生成する。そして、生成された高域スペクトルと第１の復号スペクトルとを合わせて第２の復号スペクトルを生成する。
図１９の拡張帯域復号化部１４０３に対応する拡張帯域符号化部１５０４の構成の一例を図２４に示す。
図２４において、振幅調整部２４０１は、周波数領域変換部１５０２Ａから入力される入力音声信号スペクトルを用いて、第１スペクトル符号化部１５０３から入力される第１の復号スペクトルの振幅調整を行い、振幅調整係数の符号化パラメータを出力するとともに、振幅調整後の第１の復号スペクトルをフィルタ状態設定部２４０２へ出力する。振幅調整部２４０１は、第１の復号スペクトルの最大振幅スペクトルと最小振幅スペクトルの比（ダイナミックレンジ）が入力音声信号スペクトルの高域のダイナミックレンジに近づくような振幅調整処理を行う。振幅調整の方法としては、例えば上記の方法が挙げられる。また、例えば式（１）のような変換式を用いて振幅調整を行うことも可能である。Ｓ１が変換前のスペクトル、Ｓ１’が変換後のスペクトルである。
Figure 0004977472
ここで、sign( )は正号／負号を返す関数、γは０≦γ≦１の範囲にある実数を表す。式（１）を用いる場合、振幅調整部２４０１は、振幅調整後の第１の復号スペクトルが入力音声信号スペクトルの高域部のダイナミックレンジに最も近づくときの振幅調整係数γを、あらかじめ用意してある複数の候補の中から選択し、その選択した振幅調整係数γの符号化パラメータを多重化部２０３に出力する。
フィルタ状態設定部２４０２は、振幅調整部２４０１から入力される振幅調整後の第１の復号スペクトルを、図１９のフィルタ状態設定部１９０３と同様にして、ピッチフィルタの内部状態に設定する。
ラグ設定部２４０３は、ラグＴを予め定められた探索範囲ＴＭＩＮ〜ＴＭＡＸの中で少しずつ変化させながら、フィルタリング部２４０４に順次出力する。
スペクトル残差形状符号帳２４０５は複数のスペクトル残差形状ベクトルの候補を格納しており、探索部２４０６からの指示に従い全てまたは予め限定された候補の中から順次スペクトル残差形状ベクトルを選択して出力する。同様に、スペクトル残差ゲイン符号帳２４０７は複数のスペクトル残差ゲインの候補を格納しており、探索部２４０６からの指示に従い全てまたは予め限定された候補の中から順次スペクトル残差ベクトルを選択して出力する。
乗算部２４０８では、スペクトル残差形状符号帳２４０５から出力されるスペクトル残差形状ベクトルの候補と、スペクトル残差ゲイン符号帳２４０７から出力されるスペクトル残差ゲインの候補を乗じ、乗じた結果をフィルタリング部２４０４に出力する。
フィルタリング部２４０４は、フィルタ状態設定部２４０２で設定されたピッチフィルタの内部状態と、ラグ設定部２４０３から出力されるラグＴと、ゲイン調整されたスペクトル残差形状ベクトルとを用いてフィルタリングを行い、入力音声信号スペクトルの推定値を算出する。この動作は、図１９のフィルタリング部１９０４の動作と同様である。
探索部２４０６は、ラグ、スペクトル残差形状ベクトル、および、スペクトル残差ゲインの複数の組み合わせのうち、入力音声信号スペクトル（原スペクトル）の高域部とフィルタリング部２４０４の出力信号との相互相関が最大になるときの組み合わせを、合成による分析手法（ＡｂＳ；Analysis by Synthesis）により決定する。このとき、聴覚マスキングを利用して聴感的に最も類似している組合せを決定する。また、後段で行われるスケールファクタによるスケーリングを考慮した探索を行う。探索部２４０６により決定されたラグの符号化パラメータ、スペクトル残差形状ベクトルの符号化パラメータおよびスペクトル残差ゲインの符号化パラメータは、多重化部２０３および拡張帯域復号化部２４０９に出力される。
なお、上記のＡｂＳによる符号化パラメータ決定法において、ピッチ係数、スペクトル残差形状ベクトルおよびスペクトル残差ゲインを同時に決定しても良い。または、演算量を削減するためにピッチ係数Ｔ、スペクトル残差形状ベクトル、スペクトル残差ゲインの順に決定しても良い。
拡張帯域復号化部２４０９は、振幅調整部２４０１より出力される振幅調整係数の符号化パラメータ、探索部２４０６より出力されるラグの符号化パラメータ、スペクトル残差形状ベクトルの符号化パラメータおよびスペクトル残差ゲインの符号化パラメータを用いて第１の復号スペクトルに対する復号処理を行い、入力音声信号スペクトルの推定スペクトル（すなわち、スケーリング前のスペクトル）を生成し、スケールファクタ符号化部２４１０に出力する。復号手順は図１９の拡張帯域復号化部１４０３と同様である（但し、図１９のスケーリング部１９０９およびスペクトル合成部１９１０の処理を除く）。
スケールファクタ符号化部２４１０は、周波数領域変換部１５０２Ａより出力される入力音声信号スペクトル（原スペクトル）の高域部と、拡張帯域復号化部２４０９より出力される推定スペクトルと、聴覚マスキングと、を用いて、聴感上最も適した推定スペクトルのスケールファクタ（スケーリング係数）を符号化し、その符号化パラメータを多重化部２０３に出力する。
図２５は、図１の分離部１０１が受信するビットストリームの内容を示す模式図である。この図に示すように、ビットストリームでは複数の符号化パラメータが時間多重されている。また、図２５の左側がＭＳＢ（Most Significant Bit、ビットストリーム中で重要度が最も高いビット）、右側がＬＳＢ（Least Significant Bit、ビットストリーム中で重要度が最も低いビット）を示している。このように符号化パラメータが並べられることによって、伝送路上でビットストリームを部分的に破棄する場合に、ＬＳＢ側から順に破棄することで、破棄による品質劣化を最小限に抑えることができる。ＬＳＢから（１）までが破棄される場合は図２０、ＬＳＢから（２）までが破棄される場合は図２１、ＬＳＢから（３）までが破棄される場合は図２２、を用いてそれぞれ説明した方法で復号処理を行なうことが可能である。また、ＬＳＢから（４）までが破棄される場合は、第１レイヤの復号信号を出力信号とする。
なお、符号化パラメータをＬＳＢ側から優先的に破棄するネットワークの実現方法については特に限定されない。例えば、図２５で区切られた各符号化パラメータに優先順位付けをして別々のパケットで伝送することで優先制御を行うパケット網を使うことも可能である。
また、本実施の形態では、図１９において、スペクトル残差形状符号帳１９０５、スペクトル残差ゲイン符号帳１９０６、乗算器１９０７を備える構成を示したが、これらを備えない構成を採ることもできる。この場合、符号化器側は、残差形状ベクトルの符号化パラメータと残差ゲインの符号化パラメータを伝送する必要がなく、低ビットレートで通信を行うことができる。また、この場合の復号処理手順は、スペクトル残差情報（形状・ゲイン）の復号処理がない点だけが図１９を用いた説明と相違する。つまり、復号処理手順は図２０を用いて説明した処理手順となり、ビットストリームは図２５において（１）の位置がＬＳＢとなる。
（実施の形態３）
本実施の形態は、実施の形態２において、図１４に示した第２レイヤ復号化部１０３の拡張帯域復号化部１４０３の別の構成を示すものである。本実施の形態では、当該フレームおよび前フレームの拡張帯域符号化パラメータから復号される復号パラメータと、当該フレームの受信ビットストリームに対するデータロス情報と、を用いて当該フレームの復号パラメータを決定し第２の復号スペクトルを復号する。
図２６は、本発明の実施の形態３に係る拡張帯域復号化部１４０３の構成を示すブロック図である。図２６の拡張帯域復号化部１４０３において、振幅調整係数復号化部２６０１は、振幅調整係数符号化パラメータから振幅調整係数を復号する。ラグ復号化部２６０２は、ラグ符号化パラメータからラグを復号する。復号パラメータ制御部２６０３は、拡張帯域符号化パラメータから復号される各復号パラメータ、受信データロス情報、および、各バッファ２６０４ａ〜２６０４ｅから出力される前フレームの各復号パラメータを用いて、当該フレームの第２の復号スペクトルの復号に用いる復号パラメータを決定する。バッファ２６０４ａ〜２６０４ｅは各々、当該フレームの復号パラメータである、振幅調整係数、ラグ、残差形状ベクトル、スペクトル残差ゲイン、スケールファクタを記憶するバッファである。なお、図２６におけるこれ以外の構成は、図１９の拡張帯域復号化部１４０３の構成と同一であるため説明を省略する。
次いで、このように構成された拡張帯域復号化部１４０３の動作を説明する。
まず、当該フレームの第２レイヤ符号化データの一部である拡張帯域符号化パラメータに含まれる各復号パラメータ、すなわち、スケールファクタ、ラグ、振幅調整係数、残差形状ベクトル、スペクトル残差ゲインの各々の符号化パラメータは、各々の復号化部１９０８、２６０２、２６０１、１９０５、１９０６により復号される。そして、復号パラメータ制御部２６０３において、復号された各復号パラメータおよびそれらの前フレームの復号パラメータを用いて、受信データロス情報に基づき、当該フレームの第２の復号スペクトルの復号に用いる復号パラメータを決定する。
ここで、受信データロス情報とは、ロス（パケットロスや、伝送誤りにより誤りが検出された場合などを含む）により、拡張帯域符号化パラメータのどの部分が拡張帯域復号化部１４０３で用いることができないかを示す情報である。
そして、復号パラメータ制御部２６０３で得られた当該フレームの復号パラメータおよび第１の復号スペクトルを用いて、第２の復号スペクトルが復号される。その具体的動作は実施の形態２における図１９の拡張帯域復号化部１４０３と同様なので説明は省略する。
次に、復号パラメータ制御部２６０３の第１の動作形態を以下に説明する。
第１の動作形態では、復号パラメータ制御部２６０３は、ロスにより得られなかった符号化パラメータに対応する周波数帯域の復号パラメータとして、前フレームの対応する周波数帯域の復号パラメータを代用する。
具体的には、
SF(ｎ，ｍ)：第ｎフレームの第ｍ周波数帯域のスケールファクタ、
Ｔ(ｎ，ｍ)：第ｎフレームの第ｍ周波数帯域のラグ、
γ(ｎ，ｍ)：第ｎフレームの第ｍ周波数帯域の振幅調整係数、
ｃ(ｎ，ｍ)：第ｎフレームの第ｍ周波数帯域の残差形状ベクトル、
ｇ(ｎ，ｍ)：第ｎフレームの第ｍ周波数帯域のスペクトル残差ゲイン、
ｍ＝ML〜MH、
ML：第２レイヤにおける高域周波数帯域の最低周波数帯域の番号、
MH：第２レイヤにおける高域周波数帯域の最高周波数帯域の番号、
とすると、当該フレームの第ｍ帯域の上記いずれかの符号化パラメータがロスして受信できないことが受信データロス情報により示される場合は、前記ロスした当該符号化パラメータに対応する復号パラメータとして前フレーム（第ｎ−１フレーム）の第ｍ帯域の復号パラメータが出力される。
すなわち、
スケールファクタがロスした場合：
SF(ｎ，ｍ) ← SF(ｎ−１，ｍ)
ラグがロスした場合：
Ｔ(ｎ，ｍ) ← Ｔ(ｎ−１，ｍ)
振幅調整係数がロスした場合：
γ(ｎ，ｍ) ← γ(ｎ−１，ｍ)
残差形状ベクトルがロスした場合：
ｃ(ｎ，ｍ) ← ｃ(ｎ−１，ｍ)
スペクトル残差ゲインがロスした場合：
ｇ(ｎ，ｍ) ← ｇ(ｎ−１，ｍ)
である。
なお、上記の代わりに、下記（ａ）または（ｂ）のいずれかとしても良い。
(ａ)上記５種類のパラメータのいずれか一つでもロスした周波数帯域では、５種全てまたは任意の組み合わせで関連付けた複数種の復号パラメータとして、前フレームの対応するパラメータを用いる。
(ｂ)上記５種類のパラメータのいずれか一つでもロスした周波数帯域では、残差形状ベクトルおよび（または）スペクトル残差ゲインを０とする。
一方、ロスが発生していない周波数帯域では、受信した当該フレームの符号化パラメータを用いて復号した復号パラメータをそのまま出力する。
そして、上記により得られた、当該フレームの高域周波数全ての帯域の復号パラメータ
SF(ｎ，ｍ)、Ｔ(ｎ，ｍ)、γ(ｎ，ｍ)、ｃ(ｎ，ｍ)、ｇ(ｎ，ｍ) ：ｍ＝ML〜MH、を当該フレームの復号パラメータとして出力する。
なお、第２レイヤの符号化パラメータ全てがロスした場合には、第２レイヤのフレーム補償では、当該フレームの高域周波数の全帯域の拡張帯域復号パラメータとして、前フレームの対応する復号パラメータを用いる。
また、上記の説明では、ロスが発生したフレームでは常に前フレームの復号パラメータを用いて復号を行う形態を説明したが、別の形態として、前フレームと当該フレームとの信号の相関性に基づき、相関性が閾値より高い場合にのみ上記で説明した方法により復号を行い、相関性が閾値より低い場合には、実施の形態２に従って、当該フレーム内に閉じた手法により復号を行うようにしても良い。この場合、前フレームの信号と当該フレームの信号との相関性を表す指標としては、例えば、第１レイヤの符号化パラメータから得られるＬＰＣパラメータなどのスペクトル包絡情報、ピッチ周期やピッチゲインパラメータ等の信号の有声定常性に関する情報、第１レイヤの低域復号信号、第１レイヤの低域復号スペクトルそのもの等を用いて算出された、前フレームと当該フレームとの間の相関係数やスペクトル距離などがある。
次に、復号パラメータ制御部２６０３の第２の動作形態を以下に説明する。
第２の動作形態では、復号パラメータ制御部２６０３は、当該フレームのデータロスが発生した周波数帯域に対して、前フレームの当該周波数帯域の復号パラメータ、および、前フレームと当該フレームの当該周波数帯域に隣接する周波数帯域の復号パラメータを用いて、当該周波数帯域の復号パラメータを求める。
具体的には、当該フレームの第ｍ帯域の符号化パラメータがロスして受信できないことが受信データロス情報により示される場合は、前記ロスした当該符号化パラメータに対応する復号パラメータとして前フレーム（第ｎ−１フレーム）の第ｍ帯域の復号パラメータ、および、前フレームおよび当該フレームの当該周波数帯域に隣接する帯域（前フレームと当該フレームで同一の帯域）の復号パラメータを用い、下記のように復号パラメータを得る。
すなわち、
スケールファクタがロスした場合：
SF(ｎ，ｍ) ← SF(ｎ−１，ｍ)*SF(ｎ，ｍ−１)／SF(ｎ−１，ｍ−１)
ラグがロスした場合：
Ｔ(ｎ，ｍ) ← Ｔ(ｎ−１，ｍ)*Ｔ(ｎ，ｍ−１)／Ｔ(ｎ−１，ｍ−１)
振幅調整係数がロスした場合：
γ(ｎ，ｍ) ← γ(ｎ−１，ｍ)*γ(ｎ，ｍ−１)／γ(ｎ−１，ｍ−１)
スペクトル残差ゲインがロスした場合：
ｇ(ｎ，ｍ) ← ｇ(ｎ−１，ｍ)*ｇ(ｎ，ｍ−１)／ｇ(ｎ−１，ｍ−１)
残差形状ベクトルがロスした場合：
ｃ(ｎ，ｍ) ← ｃ(ｎ−１，ｍ)または０
である。
上記の代わりに、下記（ａ）または（ｂ）のいずれかとしても良い。
(ａ)上記５種類のパラメータのいずれか一つでもロスした周波数帯域では、５種全てまたは任意の組み合わせで関連付けた複数種の復号パラメータとして、上記に従い求めたパラメータを用いる。
(ｂ)上記５種類のパラメータのいずれか一つでもロスした周波数帯域では、残差形状ベクトルおよび（または）スペクトル残差ゲインを０とする。
一方、ロスが発生していない周波数帯域では、受信した当該フレームの符号化パラメータを用いて復号した復号パラメータをそのまま出力する。
そして、上記により得られた、当該フレームの高域周波数全ての帯域の復号パラメータ
SF(ｎ，ｍ)、Ｔ(ｎ，ｍ)、γ(ｎ，ｍ)、ｃ(ｎ，ｍ)、ｇ(ｎ，ｍ) ：ｍ＝ML〜MH、を当該フレームの復号パラメータとして出力する。
なお、上記では、当該周波数帯域ｍの隣接周波数帯域をｍ−１とした例で説明したが、周波数帯域ｍ＋１のパラメータを用いても良い。ただし、隣接する周波数帯域も符号化パラメータがロスしている場合には、ロスが発生していない最も近い周波数帯域など別の周波数帯域の復号パラメータを用いるようにしても良い。
また、上記第１の動作形態と同様に、前フレームの信号と当該フレームの信号との相関性に基づき、相関性が閾値より高い場合にのみ上記で説明した方法により復号を行うようにしても良い。
さらに、上記５種類の復号パラメータのうち、一部のパラメータ（スケールファクタ、またはスケールファクタおよび振幅調整係数）のみ、上記で説明した処理により算出した復号パラメータを用い、それ以外の復号パラメータを前フレームの当該周波数帯域のパラメータを用いて復号を行うか、または、実施の形態２で説明した方法により復号を行うようにしても良い。
さらに、別の動作形態として、複数の符号化フレームをまとめて１つのパケットに多重化して伝送するようなシステムにおいて、時間的に未来の符号化パラメータを優先的に保護する（ロスさせない）ように制御する形態がある。この形態では、受信側では、複数フレームまとめて受信したビットストリームを復号する際に、ロスした当該フレームの符号化パラメータの復号を、当該フレームの前後のフレームの符号化パラメータを用いて、上記第１の動作形態または第２の動作形態と同様に行うようにしても良い。その際には、前フレームの復号パラメータと後続フレームの復号パラメータの中間的な値になるような補間値を求めて復号パラメータとして使用するようにする。
また、下記のような形態をとることも可能である。
(１) 拡張帯域符号化パラメータにロスが発生した周波数帯域に対しては、図１４に示す第２レイヤ復号化部１０３内のスペクトル復号化部１４０２Ｂでの復号スペクトルを加算しない。
(２) 拡張帯域復号化部１４０３では、スペクトル残差形状符号帳、スペクトル残差ゲイン符号帳、乗算器を備えない構成としても良い。
また、上記実施の形態１〜３においては、いずれも２レイヤの構成例を示したが、３レイヤ以上になっていても良い。
以上、本発明によるスケーラブル復号化装置およびスケーラブル符号化装置の実施の形態について説明した。
本発明に係るスケーラブル復号化装置およびスケーラブル符号化装置は、上記の実施の形態１〜３に限定されず、種々変更して実施することが可能である。
本発明に係るスケーラブル復号化装置およびスケーラブル符号化装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置および基地局装置を提供することができる。
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。
本発明のスケーラブル復号化装置の主な特徴を以下に示す。
第１に、本発明では、ミラーリングによって高域生成を行う際、ミラーリングする元の低域スペクトルの変動幅を調整した後にミラーリングを行うため、変動幅の調整に関する情報を伝送してもしなくても良い。これにより、実際の高域スペクトルに即した調波構造を近似でき、過度の調波構造を生成することを回避できる。
第２に、本発明では、伝送路誤り等によってラグ情報が受信されないときは、符号化された高域成分を復号する際、上記第１の特徴による要領でミラーリングを行って高域成分の復号処理を行うため、ラグ情報を用いずとも高域に調波構造を有するスペクトルを生成することができる。また、調波構造の強さも妥当なレベルに調整することができる。なお、ミラーリングの代わりに別の手法を用いて擬似スペクトルを生成しても良い。
第３に、本発明では、スケールファクタ、振幅調整係数、ラグ、スペクトル残差、の順に構成されたビットストリームが使用され、スペクトル残差情報が受信されない場合は、スケールファクタ、振幅調整係数、およびラグ情報のみで復号信号を生成し、ラグ情報とスペクトル残差情報が受信されない場合は、上記第２の特徴による復号化の要領で復号処理を行う。このため、伝送路誤りや符号化情報の消失・破棄の発生率が、スケールファクタ、振幅調整係数、ラグ、スペクトル残差、の順に高くなるように設計されている（すなわち、スケールファクタが最も誤り保護が強かったり、伝送路上で優先的に伝送されたりする）システムに本発明が適用される場合、伝送路誤りによる復号音声の品質劣化を最小限に抑えることができる。また、上記の各パラメータ単位で復号音声品質が徐々に変化するので、従来より細かいスケーラビリティを実現できる。
第４に、本発明では、拡張帯域復号化部において、前フレームの復号に用いた拡張帯域符号化パラメータから復号される復号パラメータを各々記憶しておくためのバッファと、当該フレームおよび前フレームの各復号パラメータ、当該フレームの受信ビットストリームに対するデータロス情報、を用いて当該フレームの復号パラメータを決定する復号パラメータ制御部と、を備え、当該フレームの第１の復号スペクトルと、復号パラメータ制御部から出力された復号パラメータを用いて、第２の復号スペクトルを生成する。このため、低域スペクトルを内部状態として持つフィルタを利用して高域スペクトルを符号化して得られる拡張帯域符号化データのうちの一部または全てがロスして復号に用いることができない場合に、類似性の高い前フレームの復号パラメータを代わりに用いてロス補償を行うことができ、データロス発生時にも高音質な信号を復号できる。
上記第４の特徴においては、復号パラメータ制御部が、当該フレームのデータロスが発生した周波数帯域に対して、前フレームの当該周波数帯域および、前フレームと当該フレームの当該周波数帯域に隣接する周波数帯域の復号パラメータを用いて、当該周波数帯域の復号パラメータを求めるようにしてもよい。これにより、類似性の高い前フレームの符号化パラメータを用いる際に、補償対象の周波数帯域に隣接する周波数帯域の時間的変化の関係を利用することができ、より精度の高い補償を行うことができる。
本明細書は、２００４年１１月５日出願の特願２００４−３２２９５４に基づくものである。この内容はすべてここに含めておく。
本発明のスケーラブル復号化装置は、移動体通信システムやインターネットプロトコルを用いたパケット通信システム等の用途に適用できる。
本発明の実施の形態１に係るスケーラブル復号化装置の構成を示すブロック図 本発明の実施の形態１に係るスケーラブル符号化装置の構成を示すブロック図 本発明の実施の形態１に係る第２レイヤ復号化部の構成を示すブロック図 本発明の実施の形態１に係る第２レイヤ符号化部の構成を示すブロック図 本発明の実施の形態１に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態１に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態１に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態１に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態１に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態１に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態１に係る高域スペクトル復号化部にて高域成分を生成する処理の様子を示す模式図 本発明の実施の形態１に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態１に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態２に係る第２レイヤ復号化部の構成を示すブロック図 本発明の実施の形態２に係る第２レイヤ符号化部の構成を示すブロック図 本発明の実施の形態２に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態２に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態２に係る第１スペクトル符号化部の構成を示すブロック図 本発明の実施の形態２に係る拡張帯域復号化部の構成を示すブロック図 本発明の実施の形態２に係る拡張帯域復号化部の構成を示すブロック図 本発明の実施の形態２に係る拡張帯域復号化部の構成を示すブロック図 本発明の実施の形態２に係る拡張帯域復号化部の構成を示すブロック図 本発明の実施の形態２に係る拡張帯域復号化部にて高域成分を生成する処理の様子を示す模式図 本発明の実施の形態２に係る拡張帯域符号化部の構成を示すブロック図 本発明の実施の形態２に係るスケーラブル復号化装置の分離部が受信するビットストリームの内容を示す模式図 本発明の実施の形態３に係る拡張帯域復号化部の構成を示すブロック図

Claims (8)

  1. 低周波帯域の符号化情報を復号して低周波帯域の復号信号を得る第１復号化手段と、
    前記低周波帯域の復号信号と高周波帯域の符号化情報とから高周波帯域の復号信号を得る第２復号化手段と、
    を具備するスケーラブル復号化装置であって、
    前記第１復号化手段は、前記低周波帯域の復号信号の取得に加えて、前記低周波帯域の符号化情報を復号して前記低周波帯域のスペクトル情報を取得し、
    前記第２復号化手段は、
    前記低周波帯域の復号信号を変換して低周波帯域のスペクトルを得る変換手段と、
    前記第１復号化手段により取得した前記低周波帯域のスペクトル情報に基づいて前記低周波帯域の復号信号のスペクトルハーモニクスの谷の深さを示す指標を決定し、予め用意された複数の振幅調整係数の中から、前記指標に応じて選ばれた振幅調整係数を用いて、前記変換手段により得られた前記低周波帯域のスペクトルに対して振幅調整を施す調整手段と、
    振幅調整された低周波帯域のスペクトルと前記高周波帯域の符号化情報とを用いて、高周波帯域のスペクトルを生成する生成手段と、
    を具備するスケーラブル復号化装置。
  2. 前記生成手段は、振幅調整された低周波帯域のスペクトルにミラーリングを適用して前記高周波帯域のスペクトルを生成する、
    請求項１記載のスケーラブル復号化装置。
  3. 前記生成手段は、前記高周波帯域の符号化情報の少なくとも一部が復号できない場合に、前記高周波帯域のスペクトルを生成する、
    請求項１記載のスケーラブル復号化装置。
  4. 前記生成手段は、振幅調整された低周波帯域のスペクトルにピッチフィルタリング処理を適用して前記高周波帯域のスペクトルを生成する、
    請求項１記載のスケーラブル復号化装置。
  5. 前記高周波帯域の符号化情報は、重要度の高い順に、スケールファクタ、振幅調整係数、ラグ、スペクトル残差、の順で構成され、
    前記生成手段は、前記高周波帯域の符号化情報において前記スペクトル残差が欠落する場合に、前記スケールファクタ、前記振幅調整係数、前記ラグを用いて、前記高周波帯域のスペクトルを生成する、
    請求項１記載のスケーラブル復号化装置。
  6. 前記高周波帯域の符号化情報は、重要度の高い順に、スケールファクタ、振幅調整係数、ラグ、スペクトル残差、の順で構成され、
    前記生成手段は、前記高周波帯域の符号化情報において前記ラグおよび前記スペクトル残差が欠落する場合に、振幅調整された低周波帯域のスペクトルにミラーリングを適用して前記高周波帯域のスペクトルを生成する、
    請求項１記載のスケーラブル復号化装置。
  7. 前記高周波帯域の符号化情報は、重要度の高い順に、スケールファクタ、振幅調整係数、ラグ、スペクトル残差、の順で構成され、
    前記生成手段は、前記スケールファクタ、前記振幅調整係数、前記ラグ、前記スペクトル残差の少なくとも一つが欠落する場合に、欠落した情報に対応する過去の情報を用いて前記高周波帯域のスペクトルを生成する、
    請求項１記載のスケーラブル復号化装置。
  8. 前記生成手段は、隣接フレームの信号間の相関に応じて、前記高周波帯域の符号化情報を用いて前記高周波帯域のスペクトルを生成する、
    請求項１記載のスケーラブル復号化装置。
JP2006542422A 2004-11-05 2005-11-02 スケーラブル復号化装置 Expired - Fee Related JP4977472B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006542422A JP4977472B2 (ja) 2004-11-05 2005-11-02 スケーラブル復号化装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004322954 2004-11-05
JP2004322954 2004-11-05
PCT/JP2005/020201 WO2006049205A1 (ja) 2004-11-05 2005-11-02 スケーラブル復号化装置およびスケーラブル符号化装置
JP2006542422A JP4977472B2 (ja) 2004-11-05 2005-11-02 スケーラブル復号化装置

Publications (2)

Publication Number Publication Date
JPWO2006049205A1 JPWO2006049205A1 (ja) 2008-05-29
JP4977472B2 true JP4977472B2 (ja) 2012-07-18

Family

ID=36319210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006542422A Expired - Fee Related JP4977472B2 (ja) 2004-11-05 2005-11-02 スケーラブル復号化装置

Country Status (8)

Country Link
US (1) US7983904B2 (ja)
EP (1) EP1808684B1 (ja)
JP (1) JP4977472B2 (ja)
KR (1) KR20070084002A (ja)
CN (1) CN101048649A (ja)
BR (1) BRPI0517780A2 (ja)
RU (2) RU2404506C2 (ja)
WO (1) WO2006049205A1 (ja)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4810422B2 (ja) * 2004-05-14 2011-11-09 パナソニック株式会社 符号化装置、復号化装置、およびこれらの方法
CN102201242B (zh) 2004-11-05 2013-02-27 松下电器产业株式会社 编码装置、解码装置、编码方法及解码方法
JP4899359B2 (ja) * 2005-07-11 2012-03-21 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
JP5142723B2 (ja) * 2005-10-14 2013-02-13 パナソニック株式会社 スケーラブル符号化装置、スケーラブル復号装置、およびこれらの方法
JP4969454B2 (ja) * 2005-11-30 2012-07-04 パナソニック株式会社 スケーラブル符号化装置およびスケーラブル符号化方法
KR20080070831A (ko) * 2005-11-30 2008-07-31 마츠시타 덴끼 산교 가부시키가이샤 서브밴드 부호화 장치 및 서브밴드 부호화 방법
WO2007066771A1 (ja) * 2005-12-09 2007-06-14 Matsushita Electric Industrial Co., Ltd. 固定符号帳探索装置および固定符号帳探索方法
CN101089951B (zh) * 2006-06-16 2011-08-31 北京天籁传音数字技术有限公司 频带扩展编码方法及装置和解码方法及装置
CN101115124B (zh) 2006-07-26 2012-04-18 日电（中国）有限公司 基于音频水印识别媒体节目的方法和装置
US8532984B2 (en) 2006-07-31 2013-09-10 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of active frames
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US9454974B2 (en) * 2006-07-31 2016-09-27 Qualcomm Incorporated Systems, methods, and apparatus for gain factor limiting
CN101548318B (zh) * 2006-12-15 2012-07-18 松下电器产业株式会社 编码装置、解码装置以及其方法
FR2911031B1 (fr) * 2006-12-28 2009-04-10 Actimagine Soc Par Actions Sim Procede et dispositif de codage audio
FR2911020B1 (fr) * 2006-12-28 2009-05-01 Actimagine Soc Par Actions Sim Procede et dispositif de codage audio
FR2912249A1 (fr) * 2007-02-02 2008-08-08 France Telecom Codage/decodage perfectionnes de signaux audionumeriques.
JP4708446B2 (ja) * 2007-03-02 2011-06-22 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
JP4871894B2 (ja) * 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
JP5294713B2 (ja) * 2007-03-02 2013-09-18 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
WO2008114078A1 (en) * 2007-03-16 2008-09-25 Nokia Corporation En encoder
US9466307B1 (en) * 2007-05-22 2016-10-11 Digimarc Corporation Robust spectral encoding and decoding methods
EP2162880B1 (en) * 2007-06-22 2014-12-24 VoiceAge Corporation Method and device for estimating the tonality of a sound signal
JP5098530B2 (ja) * 2007-09-12 2012-12-12 富士通株式会社 復号化装置、復号化方法および復号化プログラム
CN100524462C (zh) 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
US9872066B2 (en) * 2007-12-18 2018-01-16 Ibiquity Digital Corporation Method for streaming through a data service over a radio link subsystem
EP2224432B1 (en) * 2007-12-21 2017-03-15 Panasonic Intellectual Property Corporation of America Encoder, decoder, and encoding method
RU2439718C1 (ru) 2007-12-31 2012-01-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки звукового сигнала
RU2483367C2 (ru) * 2008-03-14 2013-05-27 Панасоник Корпорэйшн Устройство кодирования, устройство декодирования и способ для их работы
WO2009116815A2 (en) * 2008-03-20 2009-09-24 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding using bandwidth extension in portable terminal
JP2009300707A (ja) * 2008-06-13 2009-12-24 Sony Corp 情報処理装置および方法、並びにプログラム
EP4224474B1 (en) * 2008-12-15 2023-11-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio bandwidth extension decoder, corresponding method and computer program
JP5423684B2 (ja) * 2008-12-19 2014-02-19 富士通株式会社 音声帯域拡張装置及び音声帯域拡張方法
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
EP2490217A4 (en) * 2009-10-14 2016-08-24 Panasonic Ip Corp America ENCODING DEVICE, ENCODING METHOD AND CORRESPONDING METHODS
WO2011048798A1 (ja) 2009-10-20 2011-04-28 パナソニック株式会社 符号化装置、復号化装置およびこれらの方法
BR122020007866B1 (pt) 2009-10-21 2021-06-01 Dolby International Ab Sistema configurado para gerar um componente de alta frequência de um sinal de áudio, método para gerar um componente de alta frequência de um sinal de áudio e método para projetar um transpositor de harmônicos
WO2011121782A1 (ja) 2010-03-31 2011-10-06 富士通株式会社 帯域拡張装置および帯域拡張方法
JP5652658B2 (ja) 2010-04-13 2015-01-14 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
CA2801362A1 (en) * 2010-06-21 2011-12-29 Panasonic Corporation Decoding device, encoding device, and methods for same
US8762158B2 (en) * 2010-08-06 2014-06-24 Samsung Electronics Co., Ltd. Decoding method and decoding apparatus therefor
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2012052802A1 (en) * 2010-10-18 2012-04-26 Nokia Corporation An audio encoder/decoder apparatus
JP5648123B2 (ja) 2011-04-20 2015-01-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声音響符号化装置、音声音響復号装置、およびこれらの方法
US8620646B2 (en) * 2011-08-08 2013-12-31 The Intellisis Corporation System and method for tracking sound pitch across an audio signal using harmonic envelope
JP6037156B2 (ja) 2011-08-24 2016-11-30 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5975243B2 (ja) 2011-08-24 2016-08-23 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5942358B2 (ja) 2011-08-24 2016-06-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP5973582B2 (ja) * 2011-10-21 2016-08-23 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置
CN103366751B (zh) * 2012-03-28 2015-10-14 北京天籁传音数字技术有限公司 一种声音编解码装置及其方法
CN103366749B (zh) * 2012-03-28 2016-01-27 北京天籁传音数字技术有限公司 一种声音编解码装置及其方法
CN110706715B (zh) 2012-03-29 2022-05-24 华为技术有限公司 信号编码和解码的方法和设备
EP2842322A1 (en) * 2012-04-24 2015-03-04 Telefonaktiebolaget LM Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
US9711156B2 (en) * 2013-02-08 2017-07-18 Qualcomm Incorporated Systems and methods of performing filtering for gain determination
US9601125B2 (en) * 2013-02-08 2017-03-21 Qualcomm Incorporated Systems and methods of performing noise modulation and gain adjustment
CN108364657B (zh) 2013-07-16 2020-10-30 超清编解码有限公司 处理丢失帧的方法和解码器
EP2830065A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal using a cross-over filter around a transition frequency
PL3046104T3 (pl) * 2013-09-16 2020-02-28 Samsung Electronics Co., Ltd. Sposób kodowania sygnału oraz sposób dekodowania sygnału
WO2015041070A1 (ja) 2013-09-19 2015-03-26 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム
US8879858B1 (en) 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
CN105981386B (zh) * 2013-12-06 2019-02-26 华为技术有限公司 图像解码装置、图像编码装置及编码数据变换装置
KR20230042410A (ko) 2013-12-27 2023-03-28 소니그룹주식회사 복호화 장치 및 방법, 및 프로그램
RU2662693C2 (ru) * 2014-02-28 2018-07-26 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство декодирования, устройство кодирования, способ декодирования и способ кодирования
EP3786949B1 (en) * 2014-05-01 2022-02-16 Nippon Telegraph And Telephone Corporation Coding of a sound signal
KR101860143B1 (ko) * 2014-05-01 2018-05-23 니폰 덴신 덴와 가부시끼가이샤 주기성 통합 포락 계열 생성 장치, 주기성 통합 포락 계열 생성 방법, 주기성 통합 포락 계열 생성 프로그램, 기록매체
CN105225666B (zh) 2014-06-25 2016-12-28 华为技术有限公司 处理丢失帧的方法和装置
CN111968656B (zh) 2014-07-28 2023-11-10 三星电子株式会社 信号编码方法和装置以及信号解码方法和装置
JP2016038435A (ja) * 2014-08-06 2016-03-22 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP6611042B2 (ja) * 2015-12-02 2019-11-27 パナソニックＩｐマネジメント株式会社 音声信号復号装置及び音声信号復号方法
US10825467B2 (en) * 2017-04-21 2020-11-03 Qualcomm Incorporated Non-harmonic speech detection and bandwidth extension in a multi-source environment
US10431231B2 (en) * 2017-06-29 2019-10-01 Qualcomm Incorporated High-band residual prediction with time-domain inter-channel bandwidth extension
CN110556122B (zh) * 2019-09-18 2024-01-19 腾讯科技（深圳）有限公司 频带扩展方法、装置、电子设备及计算机可读存储介质
CN113113032A (zh) * 2020-01-10 2021-07-13 华为技术有限公司 一种音频编解码方法和音频编解码设备
CN112309408A (zh) * 2020-11-10 2021-02-02 北京百瑞互联技术有限公司 一种扩展lc3音频编解码带宽的方法、装置及存储介质
CN113724725B (zh) * 2021-11-04 2022-01-18 北京百瑞互联技术有限公司 一种蓝牙音频啸叫检测抑制方法、装置、介质及蓝牙设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216190A (ja) * 2001-11-14 2003-07-30 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2003323199A (ja) * 2002-04-26 2003-11-14 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置及び符号化方法、復号化方法
JP2004102186A (ja) * 2002-09-12 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法
JP2004521394A (ja) * 2001-06-28 2004-07-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 広帯域信号伝送システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2779886B2 (ja) * 1992-10-05 1998-07-23 日本電信電話株式会社 広帯域音声信号復元方法
JP2964879B2 (ja) * 1994-08-22 1999-10-18 日本電気株式会社 ポストフィルタ
JP3707153B2 (ja) * 1996-09-24 2005-10-19 ソニー株式会社 ベクトル量子化方法、音声符号化方法及び装置
EP0883107B9 (en) 1996-11-07 2005-01-26 Matsushita Electric Industrial Co., Ltd Sound source vector generator, voice encoder, and voice decoder
GB2351889B (en) 1999-07-06 2003-12-17 Ericsson Telefon Ab L M Speech band expansion
US7742927B2 (en) * 2000-04-18 2010-06-22 France Telecom Spectral enhancing method and device
DE60204038T2 (de) * 2001-11-02 2006-01-19 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zum codieren bzw. decodieren eines audiosignals
EP1527442B1 (en) * 2002-08-01 2006-04-05 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and audio decoding method based on spectral band replication
JP3861770B2 (ja) * 2002-08-21 2006-12-20 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
US7844451B2 (en) * 2003-09-16 2010-11-30 Panasonic Corporation Spectrum coding/decoding apparatus and method for reducing distortion of two band spectrums

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004521394A (ja) * 2001-06-28 2004-07-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 広帯域信号伝送システム
JP2003216190A (ja) * 2001-11-14 2003-07-30 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2003323199A (ja) * 2002-04-26 2003-11-14 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置及び符号化方法、復号化方法
JP2004102186A (ja) * 2002-09-12 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法

Also Published As

Publication number Publication date
RU2404506C2 (ru) 2010-11-20
US20080126082A1 (en) 2008-05-29
CN101048649A (zh) 2007-10-03
EP1808684B1 (en) 2014-07-30
EP1808684A1 (en) 2007-07-18
JPWO2006049205A1 (ja) 2008-05-29
EP1808684A4 (en) 2010-07-14
RU2434324C1 (ru) 2011-11-20
US7983904B2 (en) 2011-07-19
KR20070084002A (ko) 2007-08-24
WO2006049205A1 (ja) 2006-05-11
RU2007116937A (ru) 2008-11-20
BRPI0517780A2 (pt) 2011-04-19

Similar Documents

Publication Publication Date Title
JP4977472B2 (ja) スケーラブル復号化装置
JP4977471B2 (ja) 符号化装置及び符号化方法
JP4871894B2 (ja) 符号化装置、復号装置、符号化方法および復号方法
JP4859670B2 (ja) 音声符号化装置および音声符号化方法
RU2488897C1 (ru) Кодирующее устройство, декодирующее устройство и способ
JP5339919B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5383676B2 (ja) 符号化装置、復号装置およびこれらの方法
US8457319B2 (en) Stereo encoding device, stereo decoding device, and stereo encoding method
JP5036317B2 (ja) スケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法
WO2006041055A1 (ja) スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法
JPWO2007037361A1 (ja) 音声符号化装置および音声符号化方法
KR20070051910A (ko) 스케일러블 부호화 장치, 스케일러블 복호화 장치,스케일러블 부호화 방법, 스케일러블 복호화 방법, 통신단말 장치 및 기지국 장치
JP5236040B2 (ja) 符号化装置、復号装置、符号化方法および復号方法
JP4603485B2 (ja) 音声・楽音符号化装置及び音声・楽音符号化方法
WO2011045926A1 (ja) 符号化装置、復号装置およびこれらの方法
RU2459283C2 (ru) Кодирующее устройство, декодирующее устройство и способ
WO2011058752A1 (ja) 符号化装置、復号装置およびこれらの方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R150 Certificate of patent or registration of utility model

Ref document number: 4977472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees