JP4977472B2 - スケーラブル復号化装置 - Google Patents

スケーラブル復号化装置 Download PDF

Info

Publication number
JP4977472B2
JP4977472B2 JP2006542422A JP2006542422A JP4977472B2 JP 4977472 B2 JP4977472 B2 JP 4977472B2 JP 2006542422 A JP2006542422 A JP 2006542422A JP 2006542422 A JP2006542422 A JP 2006542422A JP 4977472 B2 JP4977472 B2 JP 4977472B2
Authority
JP
Japan
Prior art keywords
spectrum
decoding
frequency band
unit
high frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006542422A
Other languages
English (en)
Other versions
JPWO2006049205A1 (ja
Inventor
宏幸 江原
正浩 押切
幸司 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2006542422A priority Critical patent/JP4977472B2/ja
Publication of JPWO2006049205A1 publication Critical patent/JPWO2006049205A1/ja
Application granted granted Critical
Publication of JP4977472B2 publication Critical patent/JP4977472B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00Modulated-carrier systems
    • H04L27/02Amplitude-modulated carrier systems, e.g. using on-off keying; Single sideband or vestigial sideband modulation
    • H04L27/06Demodulator circuits; Receiver circuits
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Description

本発明は、移動体通信システムやインターネットプロトコルを用いたパケット通信システム等において、音声信号や音響信号の通信を行う際に用いられるスケーラブル復号化装置に関する。
移動体通信システムにおける電波資源等の有効利用のために、音声信号を低ビットレートで圧縮することが要求されている。その一方で、ユーザからは通話音声の品質向上や臨場感の高い通話サービスの実現が望まれている。この実現には、音声信号の高品質化のみならず、より帯域の広いオーディオ信号等の音声以外の信号をも高品質に符号化できることが望ましい。
さらに、多種多様なネットワークが混在する環境においては、異なるネットワーク間での通信、異なるサービスを利用する端末間での通信、異なる処理性能の端末間での通信、さらには、2者間の通信のみならずマルチポイントでの相互通信などに柔軟に対応できる音声符号化方式が求められている。
さらに、伝送路誤り(特にIP網に代表されるパケット交換網においてはパケットロス)にも耐性のある音声符号化方式が求められている。
このような要求を満たす音声符号化方式の一つに帯域スケーラブル音声符号化方式がある。帯域スケーラブル音声符号化方式とは、音声信号を階層的に符号化する方式で、符号化の階層の数を増やすにしたがって符号化品質が上がる符号化方式である。符号化の階層の数の増減によりビットレートを可変にすることもできるので、伝送路容量を有効に使用することができる。
また、帯域スケーラブル音声符号化方式では、復号器側は最低基本となる階層の符号化データを受信できればよく、追加階層の符号化情報が伝送路上で失われることをある程度まで許容できるので、伝送路誤りに対しても耐性が高い。また、符号化の階層を増やすにしたがって符号化する音声信号の周波数帯域が広がってゆく。例えば、基本となる階層(コアレイヤ)には、従来の電話帯域音声の符号化方式が用いられる。また、追加の階層(拡張レイヤ)では、7kHz帯域のような広帯域音声を符号化できるように階層が構成される。
このように、帯域スケーラブル音声符号化方式では、コアレイヤで電話帯域音声信号を符号化し、拡張レイヤで高品質な広帯域信号を符号化するので、帯域スケーラブル音声符号化方式は、電話帯域音声サービス端末にも高品質広帯域音声サービス端末にも利用でき、また、双方の端末を含む多地点間通信にも対応可能である。また、符号化情報が階層的になっているため、伝送の仕方の工夫次第で誤り耐性も高くすることができ、さらには符号化側や伝送路上でビットレートを制御することも容易である。このようなことから、帯域スケーラブル音声符号化方式は、今後の通信用音声符号化方式として注目されている。
上記のような帯域スケーラブル音声符号化方式の一例として、非特許文献1記載の方式が挙げられる。
非特許文献1記載の帯域スケーラブル音声符号化方式では、MDCT係数を帯域毎のスケールファクタと微細構造情報とで符号化する。スケールファクタはハフマン符号化され、微細構造はベクトル量子化される。スケールファクタの復号結果を用いて各帯域の聴覚的重要度が算出されるとともに各帯域へのビット配分が決定される。各帯域の帯域幅は不均等で、高域ほど広くなるように予め設定されている。
また、伝送情報は以下のような4つのグループに分類される。
A:コアコーデック符号化情報
B:高域のスケールファクタ符号化情報
C:低域のスケールファクタ符号化情報
D:スペクトル微細構造の符号化情報
また、復号側では以下のような処理を行う。
<ケース1>Aの情報が完全に受信できない場合、フレーム消失補償処理を行って復号音声を生成する。
<ケース2>Aの情報のみを受信した場合、コアコーデックの復号信号を出力する。
<ケース3>Aの情報に加えてBの情報を受信した場合、コアコーデックの復号信号をミラーリングすることによって高域を生成し、コアコーデックの復号信号より広い帯域を有する復号信号を生成する。高域のスペクトル形状の生成には復号したBの情報を用いる。ミラーリングは、有声フレームにおいて行われ、ハーモニック構造(調波構造)が崩れないようなやり方で行われる。無声フレームではランダム雑音を用いて高域を生成する。
<ケース4>AとBの情報に加えてCの情報を受信した場合、AとBの情報だけでケース3と同様の復号処理を行う。
<ケース5>A、B、Cの情報に加えてDの情報を受信した場合、A〜Dの情報を全て受信できた帯域では完全な復号処理を行い、Dの情報を受信できない帯域では低域側の復号信号スペクトルをミラーリングすることによって微細スペクトルを復号する。Dの情報が受信されていなくてもB、Cの情報は受信されているので、スペクトル包絡情報の復号にはこれらB、Cの情報を利用する。ミラーリングは、有声フレームにおいて行われ、ハーモニック構造(調波構造)が崩れないようなやり方で行われる。無声フレームではランダム雑音を用いて高域を生成する。
B. Kovesiet al, "A scalable speech and audio coding scheme with continuous bitrate flexibility," in proc. IEEE ICASSP 2004, pp.I-273--I-276
上記従来技術(非特許文献1)では、ミラーリングによって高域を生成する。この際、調波構造を崩さないようにミラーリングを行うので、調波構造は維持される。しかし、低域の調波構造が鏡像となって高域に現れることになる。一般に、有声信号では、高域に行くほど調波構造が崩れるため、高域では低域ほど顕著な調波構造を示さないことが多い。換言すると、低域ではハーモニクスの谷が深くても、高域では、ハーモニクスの谷が浅かったり、場合によっては調波構造自体がはっきりしなかったりすることがある。したがって、上記従来技術では、高域成分に過度の調波構造が現れやすく、このため、復号音声信号の品質が劣化してしまう。
本発明の目的は、低域スペクトルを用いて高域スペクトルを生成することで音声(音響)信号を復号化する場合においても、高域スペクトルの劣化が少ない高品質な復号音声(音響)信号を得ることができるスケーラブル復号化装置を提供することである。
本発明のスケーラブル復号化装置は、低周波帯域の符号化情報を復号して低周波帯域の復号信号を得る第1復号化手段と、前記低周波帯域の復号信号と高周波帯域の符号化情報とから高周波帯域の復号信号を得る第2復号化手段と、を具備するスケーラブル復号化装置であって、前記第1復号化手段は、前記低周波帯域の復号信号の取得に加えて、前記低周波帯域の符号化情報を復号して前記低周波帯域のスペクトル情報を取得し、前記第2復号化手段は、前記低周波帯域の復号信号を変換して低周波帯域のスペクトルを得る変換手段と、前記第1復号化手段により取得した前記低周波帯域のスペクトル情報に基づいて前記低周波帯域の復号信号のスペクトルハーモニクスの谷の深さを示す指標を決定し、予め用意された複数の振幅調整係数の中から、前記指標に応じて選ばれた振幅調整係数を用いて、前記変換手段により得られた前記低周波帯域のスペクトルに対して振幅調整を施す調整手段と、振幅調整された低周波帯域のスペクトルと前記高周波帯域の符号化情報とを用いて、高周波帯域のスペクトルを生成する生成手段と、を具備する構成を採る。
本発明によれば、低域スペクトルを用いて高域スペクトルを生成することで音声(音響)信号を復号化する場合においても、高域スペクトルの劣化が少ない高品質な復号音声(音響)信号を得ることができる。
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
(実施の形態1)
図1は、例えば帯域スケーラブル音声(音響)信号復号化装置等を形成するスケーラブル復号化装置100の構成を表すブロック図である。
スケーラブル復号化装置100は、分離部101、第1レイヤ復号化部102、および、第2レイヤ復号化部103を備える。
分離部101は、後述するスケーラブル符号化装置から送出されたビットストリームを受信し、第1レイヤ用の符号化パラメータと第2レイヤ用の符号化パラメータとに分離し、第1レイヤ復号化部102と第2レイヤ復号化部103にそれぞれ出力する。
第1レイヤ復号化部102は、分離部101より入力された第1レイヤ用の符号化パラメータを復号し、第1レイヤ復号信号を出力する。この第1レイヤ復号信号は第2レイヤ復号化部103へも出力される。
第2レイヤ復号化部103は、分離部101より入力された第2レイヤ用の符号化パラメータを、第1レイヤ復号化部102より入力された第1レイヤ復号信号を用いて復号し、第2レイヤ復号信号を出力する。
図1のスケーラブル復号化装置100に対応するスケーラブル符号化装置200の構成の一例を図2に示す。
図2において、第1レイヤ符号化部201は、入力される音声信号(原信号)を符号化し、得られる符号化パラメータを第1レイヤ復号化部202および多重化部203に出力する。第1レイヤ符号化部201は、符号化にあたり、ダウンサンプル処理や低域通過フィルタリング処理などを行うことで、第1レイヤと第2レイヤの帯域スケーラビリティを実現する。
第1レイヤ復号化部202は、第1レイヤ符号化部201から入力される符号化パラメータから第1レイヤの復号信号を生成して第2レイヤ符号化部204に出力する。
第2レイヤ符号化部204は、入力される音声信号(原信号)を、第1レイヤ復号化部202から入力される第1レイヤ復号信号を用いて符号化し、得られる符号化パラメータを多重化部203に出力する。第2レイヤ符号化部204は、符号化にあたり、第1レイヤ符号化部201で行われる処理(ダウンサンプル処理や低域通過フィルタリング処理)に応じて、第1レイヤ復号信号のアップサンプル処理や、第1レイヤ復号信号の位相と入力音声信号の位相を合わせるための位相調整処理などを行う。
多重化部203は、第1レイヤ符号化部201から入力される符号化パラメータと第2レイヤ符号化部204から入力される符号化パラメータとを多重化し、ビットストリームを出力する。
次いで、図1に示す第2レイヤ復号化部103についてより詳しく説明する。図3は第2レイヤ復号化部103の構成を表すブロック図である。第2レイヤ復号化部103は、分離部301、スケーリング係数復号化部302、微細スペクトル復号化部303、周波数領域変換部304、スペクトル復号化部305、および、時間領域変換部306を備える。
分離部301は、入力された第2レイヤ用符号化パラメータを、スケーリング係数を表す符号化パラメータ(スケーリング係数パラメータ)とスペクトル微細構造を表す符号化パラメータ(微細スペクトルパラメータ)とに分離し、スケーリング係数復号化部302と微細スペクトル復号化部303とにそれぞれ出力する。
スケーリング係数復号化部302は、入力されたスケーリング係数パラメータを復号して低域スケーリング係数と高域スケーリング係数を得て、それらの復号スケーリング係数をスペクトル復号化部305へ出力するとともに、微細スペクトル復号化部303にも出力する。
微細スペクトル復号化部303は、スケーリング係数復号化部302から入力された復号スケーリング係数を用いて各帯域の聴覚的重要度を算出し、各帯域の微細スペクトル情報に割り当てられたビット数を求める。そして、微細スペクトル復号化部303は、分離部301から入力された微細スペクトルパラメータを復号して各帯域の復号微細スペクトル情報を得て、スペクトル復号化部305へ出力する。なお、聴覚的重要度の算出に第1レイヤ復号信号の情報を用いても良く、その場合は、周波数領域変換部304の出力が微細スペクトル復号化部303にも入力される。
周波数領域変換部304は、入力された第1レイヤ復号信号を周波数領域のスペクトルパラメータ(例えばMDCT係数)に変換し、スペクトル復号化部305へ出力する。
スペクトル復号化部305は、周波数領域変換部304から入力された周波数領域に変換された第1レイヤ復号信号と、スケーリング係数復号化部302から入力された復号スケーリング係数(低域および高域)と、微細スペクトル復号化部303から入力された復号微細スペクトル情報と、から第2レイヤ復号信号のスペクトルを復号し、時間領域変換部306へ出力する。
時間領域変換部306は、スペクトル復号化部305から入力された第2レイヤ復号信号のスペクトルを時間領域の信号に変換し、第2レイヤ復号信号として出力する。
図3の第2レイヤ復号化部103に対応する第2レイヤ符号化部204の構成の一例を図4に示す。
図4において、入力音声信号は、聴覚マスキング算出部401および周波数領域変換部402Aへ入力される。
聴覚マスキング算出部401は、あらかじめ規定されている帯域幅を持つサブバンド毎の聴覚マスキングを算出し、この聴覚マスキングをスケーリング係数符号化部403および微細スペクトル符号化部404に出力する。
人間の聴覚特性には、ある信号が聞こえているときに、その信号と周波数の近い音が耳に入ってきても聞こえにくい、という聴覚マスキング特性がある。この聴覚マスキング特性に基づき、上記聴覚マスキングを用いて、量子化歪が聞こえにくい周波数のスペクトルには量子化ビット数を少なく配分し、量子化歪が聞こえやすい周波数のスペクトルには量子化ビット数を多く配分することで効率的なスペクトル符号化を実現することができる。
周波数領域変換部402Aは、入力された音声信号を周波数領域のスペクトルパラメータ(例えばMDCT係数)に変換し、スケーリング係数符号化部403および微細スペクトル符号化部404に出力する。周波数領域変換部402Bは、入力された第1レイヤ復号信号を周波数領域のスペクトルパラメータ(例えばMDCT係数)に変換し、スケーリング係数符号化部403および微細スペクトル符号化部404に出力する。
スケーリング係数符号化部403は、聴覚マスキング算出部401から入力される聴覚マスキング情報を用いて、周波数領域変換部402Aから入力されるスペクトルパラメータと周波数領域変換部402Bから入力される第1レイヤ復号スペクトルとの差分スペクトルの符号化を行ってスケーリング係数パラメータを得て、そのスケーリング係数パラメータを符号化パラメータ多重化部405および微細スペクトル符号化部404へ出力する。なお、ここでは高域スペクトルのスケーリング係数パラメータと低域スペクトルのスケーリング係数パラメータを別々に出力する例を図示している。
微細スペクトル符号化部404は、スケーリング係数符号化部403から入力されるスケーリング係数パラメータ(低域および高域)を復号して復号スケーリング係数(低域および高域)を得、周波数領域変換部402Aから入力されるスペクトルパラメータと周波数領域変換部402Bから入力される第1レイヤ復号スペクトルとの差分スペクトルを復号スケーリング係数(低域および高域)を用いて正規化する。微細スペクトル符号化部404は、この正規化した差分スペクトルを符号化し、その符号化後の差分スペクトル(微細スペクトル符号化パラメータ)を符号化パラメータ多重化部405へ出力する。このとき、微細スペクトル符号化部404は、復号スケーリング係数(低域および高域)を用いて微細スペクトルの帯域毎の聴覚重要度を算出し、聴覚重要度に応じたビット配分を行う。この聴覚重要度の算出には第1レイヤ復号スペクトルを用いても良い。
符号化パラメータ多重化部405は、スケーリング係数符号化部403から入力される高域スペクトルスケーリング係数パラメータおよび低域スペクトルスケーリング係数パラメータと、微細スペクトル符号化部404から入力される微細スペクトル符号化パラメータと、を多重化し、第1のスペクトル符号化パラメータとして出力する。
次いで、図3に示すスペクトル復号化部305についてより詳しく説明する。図5〜図9はスペクトル復号化部305の構成を表すブロック図である。
図5は、第1レイヤ復号信号、全ての復号スケーリング係数(低域および高域)、全ての微細スペクトル復号情報、が全て正常に受信される場合の処理を実行するための構成を示す。
図6は、高域の微細スペクトル復号情報の一部が受信されない場合の処理を実行するための構成を示す。加算器Aの出力結果が高域スペクトル復号化部602へ入力されている点が図5と異なる。受信されなかった高域微細スペクトル復号情報を用いて復号されるべき帯域のスペクトルは、後述する方法によって擬似的に生成される。
図7は、高域の微細スペクトル復号情報が全て受信されない場合(加えて低域の微細スペクトル復号情報の一部も受信されない場合を含む)の処理を実行するための構成を示す。微細スペクトル復号情報が高域スペクトル復号化部702へ入力されない点が図6と異なる。受信されなかった高域微細スペクトル復号情報を用いて復号されるべき帯域のスペクトルは、後述する方法によって擬似的に生成される。
図8は、全ての微細スペクトル復号情報が受信されず、さらに低域の復号スケーリング係数の一部が受信されない場合の処理を実行するための構成を示す。微細スペクトル復号情報が入力されない点と、低域スペクトル復号化部801からの出力がなく加算器Aが存在しない点が図7と異なる。受信されなかった高域微細スペクトル復号情報を用いて復号されるべき帯域のスペクトルは、後述する方法によって擬似的に生成される。
図9は、高域の復号スケーリング係数のみが受信される場合(一部の高域復号スケーリング係数が受信されない場合も含む)の処理を実行するための構成を示す。低域の復号スケーリング係数の入力がなく、低域スペクトル復号化部がない点が図8と異なる。受信された高域復号スケーリング係数のみから高域のスペクトルを擬似的に生成する方法については後述する。
図5のスペクトル復号化部305は、低域スペクトル復号化部501、高域スペクトル復号化部502、加算器A、および、加算器Bを備える。
低域スペクトル復号化部501は、スケーリング係数復号化部302から入力された低域の復号スケーリング係数と、微細スペクトル復号化部303から入力された微細スペクトル復号情報と、を用いて低域スペクトルを復号し、加算器Aへ出力する。一般的には、微細スペクトル復号情報に復号スケーリング係数を乗算することによって復号スペクトルを算出する。
加算器Aは、低域スペクトル復号化部501から入力された復号低域スペクトル(残差)と、周波数領域変換部304から入力された第1レイヤ復号信号(スペクトル)と、を加算して復号低域スペクトルを求めて加算器Bに出力する。
高域スペクトル復号化部502は、スケーリング係数復号化部302から入力された高域の復号スケーリング係数と、微細スペクトル復号化部303から入力された微細スペクトル復号情報と、を用いて高域スペクトルを復号し、加算器Bへ出力する。
加算器Bは、加算器Aより入力される復号低域スペクトルと、高域スペクトル復号化部502より入力される復号高域スペクトルと、を合わせて全域(低域と高域を合わせた全周波数帯域)のスペクトルを生成し、復号スペクトルとして出力する。
図6では、図5と比べて高域スペクトル復号化部602の動作のみが異なる。
高域スペクトル復号化部602は、スケーリング係数復号化部302から入力された高域の復号スケーリング係数と、微細スペクトル復号化部303から入力された高域の微細スペクトル復号情報と、を用いて高域のスペクトルを復号する。このとき、一部の帯域の高域微細スペクトル復号情報は受信されていないため、該当する帯域の高域スペクトルは正確に復号できない。よって、高域スペクトル復号化部602は、復号スケーリング係数と、加算器Aから入力される低域の復号スペクトルと、受信されて正確に復号できる高域のスペクトルとを用いて、擬似的に高域のスペクトルを生成する。具体的な生成方法については後述する。
図7では、図5および図6において、高域微細スペクトル復号情報が全て受信されない場合の動作となる。この場合、高域スペクトル復号化部702は、スケーリング係数復号化部302から入力された高域の復号スケーリング係数だけを用いて高域のスペクトルを復号する。
また、低域スペクトル復号化部701は、スケーリング係数復号化部302から入力された低域の復号スケーリング係数と、微細スペクトル復号化部303から入力された低域の微細スペクトル復号情報と、を用いて低域のスペクトルを復号する。このとき、一部の帯域の低域微細スペクトル復号情報は受信されていないため、その一部の帯域については復号処理を行なわず、零スペクトルとする。この場合、加算器AおよびBを経て出力される該当帯域のスペクトルは第1レイヤ復号信号(スペクトル)そのものとなる。
図8では、図7において低域微細スペクトル復号情報が全て受信されない場合の動作となる。低域スペクトル復号化部801は、低域の復号スケーリング係数が入力されるが、微細スペクトル復号情報が全く入力されないので、復号処理を行なわない。
図9では、図8において低域の復号スケーリング係数が全く入力されない場合の動作となる。ただし、高域スペクトル復号化部902では、一部の復号スケーリング係数(高域)が入力されない場合、その帯域のスペクトルは零として出力する。
次いで、擬似的に高域スペクトルを生成する方法について図9を例にとって説明する。図9において、高域スペクトルを擬似的に生成するのは高域スペクトル復号化部902である。高域スペクトル復号化部902の構成をより詳細に示したのが図10である。
図10の高域スペクトル復号化部902は、振幅調整部1011と、擬似スペクトル生成部1012と、スケーリング部1013と、を備える。
振幅調整部1011は、周波数領域変換部304から入力される第1レイヤ復号信号スペクトルの振幅を調整し、擬似スペクトル生成部1012へ出力する。
擬似スペクトル生成部1012は、振幅調整部1011から入力された振幅調整後の第1レイヤ復号信号スペクトルを用いて擬似的に高域のスペクトルを生成し、スケーリング部1013へ出力する。
スケーリング部1013は、擬似スペクトル生成部1012から入力されたスペクトルをスケーリングして加算器Bへ出力する。
図11は高域スペクトルを擬似的に生成する上記一連の処理の様子の一例を示した模式図である。
まず、第1レイヤの復号信号スペクトルの振幅調整を行う。振幅調整の方法は、例えば、対数領域で定数倍(γ×S、γは0≦γ≦1の範囲にある振幅調整係数(実数)、Sは対数スペクトル)したり、線形領域で定数乗(sγ、sは線形スペクトル)したりすれば良い。また、振幅調整のための調整係数として、有声音において低域におけるハーモニクスの谷の深さと高域におけるハーモニクスの谷の深さとを合わせるのに必要となる係数の代表的なものを用いると良い。また、調整係数は固定の定数としても良いが、低域スペクトルのハーモニクスの谷の深さを表す指標(例えば、直接的には低域におけるスペクトル振幅の分散値など、間接的には第1レイヤ符号化部201におけるピッチゲインの値など)に応じて適当な調整係数を複数用意し、上記指標に応じて対応する調整係数を選択的に用いるとなお良い。また、低域のスペクトル形状(包絡)情報やピッチ周期情報なども用いて、母音毎の特徴に応じて調整係数を選択的に用いるのも良い。また、最適な調整係数を別途伝送情報として符号器側で符号化して伝送するようにしても良い。
次に、振幅調整後のスペクトルを用いて擬似的に高域のスペクトルを生成する。生成方法として、高域スペクトルを低域スペクトルの鏡像として生成するミラーリングの例を図11に示す。ミラーリングの他にも、振幅調整後のスペクトルを周波数軸の高域方向にシフトして高域スペクトルを生成する方法、低域スペクトルから求められるピッチラグを用いて振幅調整後のスペクトルに対し周波数軸方向にピッチフィルタリング処理を行なって高域スペクトルを生成する方法などがある。いずれの方法にしても、生成した高域のハーモニクス構造が崩れないようにするとともに、低域スペクトルのハーモニクス構造と生成した高域スペクトルのハーモニクス構造とが連続的につながるようにする。
最後に、符号化単位の帯域毎に振幅のスケーリングを行って高域スペクトルを生成する。
図12は、振幅調整部1211に、第1レイヤのスペクトル情報(例えば復号LSPパラメータなど)が第1レイヤ復号化部102から入力される場合を示したものである。この場合、振幅調整部1211は、振幅調整に用いる調整係数を、入力された第1レイヤのスペクトル情報に基いて決定する。なお、調整係数の決定にあたり、第1レイヤのスペクトル情報以外に、第1レイヤのピッチ情報(ピッチ周期やピッチゲイン)を用いても良い。
図13は、振幅調整部1311に、振幅調整係数が別途入力される場合を示したものである。この場合、符号器側において振幅調整係数が量子化・符号化されて伝送される。
(実施の形態2)
図14は、本発明の実施の形態2に係る第2レイヤ復号化部103の構成を示すブロック図である。
図14の第2レイヤ復号化部103は、分離部1401、スペクトル復号化部1402A、拡張帯域復号化部1403、スペクトル復号化部1402B、周波数領域変換部1404、および、時間領域変換部1405を備える。
分離部1401は、第2レイヤ用符号化パラメータを、第1のスペクトル符号化パラメータ、拡張帯域符号化パラメータ、第2のスペクトル符号化パラメータ、に分離し、スペクトル復号化部1402A、拡張帯域復号化部1403、スペクトル復号化部1402B、にそれぞれ出力する。
周波数領域変換部1404は、第1レイヤ復号化部102から入力された第1レイヤ復号信号を周波数領域のパラメータ(例えばMDCT係数など)に変換し、第1レイヤ復号信号スペクトルとしてスペクトル復号化部1402Aに出力する。
スペクトル復号化部1402Aは、周波数領域変換部1404から入力された第1レイヤの復号信号スペクトルに、分離部1401から入力された第1のスペクトル符号化パラメータを復号して得られる第1レイヤの符号化誤差の量子化スペクトルを加えて、第1の復号スペクトルとして拡張帯域復号化部1403へ出力する。なお、スペクトル復号化部1402Aでは主として低域成分に対する第1レイヤの符号化誤差が改善される。
拡張帯域復号化部1403は、分離部1401から入力された拡張帯域符号化パラメータから各種パラメータを復号し、スペクトル復号化部1402Aから入力された第1の復号スペクトルを基にして、その復号した各種パラメータを用いて高域のスペクトルを復号・生成する。そして、拡張帯域復号化部1403は、全帯域のスペクトルを第2の復号スペクトルとしてスペクトル復号化部1402Bへ出力する。
スペクトル復号化部1402Bは、拡張帯域復号化部1403から入力された第2の復号スペクトルに、分離部1401から入力された第2のスペクトル符号化パラメータを復号して得られる第2の復号スペクトルの符号化誤差を量子化したスペクトルを加えて、第3の復号スペクトルとして時間領域変換部1405へ出力する。
時間領域変換部1405は、スペクトル復号化部1402Bから入力された第3の復号スペクトルを時間領域の信号に変換し、第2レイヤ復号信号として出力する。
なお、図14において、スペクトル復号化部1402Aおよびスペクトル復号化部1402Bの一方もしくは双方がない構成を採ることもできる。スペクトル復号化部1402Aがない構成の場合は、周波数領域変換部1404から出力された第1レイヤ復号信号スペクトルは拡張帯域復号化部1403へ入力される。また、スペクトル復号化部1402Bがない構成の場合は、拡張帯域復号化部1403が出力する第2の復号スペクトルが時間領域変換部1405へ入力される。
図14の第2レイヤ復号化部103に対応する第2レイヤ符号化部204の構成の一例を図15に示す。
図15において、音声信号(原信号)は、聴覚マスキング算出部1501および周波数領域変換部1502Aへ入力される。
聴覚マスキング算出部1501は、入力される音声信号を用いて聴覚マスキングを算出して第1スペクトル符号化部1503、拡張帯域符号化部1504および第2スペクトル符号化部1505へ出力する。
周波数領域変換部1502Aは、入力された音声信号を周波数領域のスペクトルパラメータ(例えばMDCT係数)に変換し、第1スペクトル符号化部1503、拡張帯域符号化部1504および第2スペクトル符号化部1505へ出力する。
周波数領域変換部1502Bは、入力される第1レイヤ復号信号をMDCT等のスペクトルパラメータに変換し、第1スペクトル符号化部1503へ出力する。
第1スペクトル符号化部1503は、聴覚マスキング算出部1501から入力される聴覚マスキングを用いて、周波数領域変換部1502Aから入力される入力音声信号スペクトルと周波数領域変換部1502Bから入力される第1レイヤ復号スペクトルとの差分スペクトルの符号化を行い、第1のスペクトル符号化パラメータとして出力するとともに、第1のスペクトル符号化パラメータを復号して得られる第1の復号スペクトルを拡張帯域符号化部1504に出力する。
拡張帯域符号化部1504は、聴覚マスキング算出部1501から入力される聴覚マスキングを用いて、周波数領域変換部1502Aから入力される入力音声信号スペクトルと第1スペクトル符号化部1503から入力される第1の復号スペクトルとの誤差スペクトルを符号化し、拡張帯域符号化パラメータとして出力するとともに、拡張帯域符号化パラメータを復号して得られる第2の復号スペクトルを第2スペクトル符号化部1505へ出力する。
第2スペクトル符号化部1505は、聴覚マスキング算出部1501から入力される聴覚マスキングを用いて、周波数領域変換部1502Aから入力される入力音声信号スペクトルと拡張帯域符号化部1504から入力される第2の復号スペクトルとの誤差スペクトルを符号化し、第2のスペクトル符号化パラメータとして出力する。
次いで、図14のスペクトル復号化部1402A、1402Bの具体例を図16および図17に示す。
図16において、分離部1601は、入力される符号化パラメータを、スケーリング係数を表す符号化パラメータ(スケーリング係数パラメータ)とスペクトル微細構造を表す符号化パラメータ(微細スペクトルパラメータ)とに分離し、スケーリング係数復号化部1602と微細スペクトル復号化部1603とにそれぞれ出力する。
スケーリング係数復号化部1602は、入力されたスケーリング係数パラメータを復号して低域スケーリング係数と高域スケーリング係数を得て、それらの復号スケーリング係数をスペクトル復号化部1604へ出力するとともに、微細スペクトル復号化部1603にも出力する。
微細スペクトル復号化部1603は、スケーリング係数復号化部1602から入力された復号スケーリング係数を用いて各帯域の聴覚的重要度を算出し、各帯域の微細スペクトル情報に割り当てられたビット数を求める。そして、微細スペクトル復号化部1603は、分離部1601から入力された微細スペクトルパラメータを復号して各帯域の復号微細スペクトル情報を得て、スペクトル復号化部1604へ出力する。なお、聴覚的重要度の算出に復号スペクトルAの情報を用いても良い。その場合、復号スペクトルAも微細スペクトル復号化部1603へ入力されるように構成する。
スペクトル復号化部1604は、入力された復号スペクトルAと、スケーリング係数復号化部1602から入力された復号スケーリング係数(低域および高域)と、微細スペクトル復号化部1603から入力された復号微細スペクトル情報と、から復号スペクトルBを復号して出力する。
図16と図14の対応関係について説明すると、図16に示す構成がスペクトル復号化部1402Aの構成である場合、図16の符号化パラメータが図14の第1のスペクトル符号化パラメータに、図16の復号スペクトルAが図14の第1レイヤ復号信号スペクトルに、図16の復号スペクトルBが図14の第1の復号スペクトルに、それぞれ相当する。また、図16に示す構成がスペクトル復号化部1402Bの構成である場合、図16の符号化パラメータが図14の第2のスペクトル符号化パラメータに、図16の復号スペクトルAが図14の第2の復号スペクトルに、図16の復号スペクトルBが図14の第3の復号スペクトルに、それぞれ相当する。
図16のスペクトル復号化部1402A、1402Bに対応する第1スペクトル符号化部1503の構成の一例を図18に示す。図18では、図15における第1スペクトル符号化部1503の構成を示している。図18に示す第1スペクトル符号化部1503は、図4に示すスケーリング係数符号化部403、微細スペクトル符号化部404、符号化パラメータ多重化部405、および、図16に示すスペクトル復号化部1604から構成されており、それらの動作は図4および図16において説明したのと同一であるのでここでの説明を省略する。また、図18の第1レイヤ復号スペクトルを第2の復号スペクトルに、第1のスペクトル符号化パラメータを第2のスペクトル符号化パラメータに、それぞれ置き換えれば、図18に示す構成は図15における第2スペクトル符号化部1505の構成となる。ただし、第2スペクトル符号化部1505の構成では、スペクトル復号化部1604は除かれる。
図17は、スケーリング係数を用いない場合のスペクトル復号化部1402A、1402Bの構成を示している。この場合、スペクトル復号化部1402A、1402Bは、聴覚重要度およびビット配分算出部1701と、微細スペクトル復号化部1702と、スペクトル復号化部1703とを備える。
図17において、聴覚重要度およびビット配分算出部1701は、入力される復号スペクトルAから各帯域の聴覚重要度を求め、聴覚重要度に応じて決定される各帯域へのビット配分を求める。求められた聴覚重要度とビット配分の情報は、微細スペクトル復号化部1702へ出力される。
微細スペクトル復号化部1702は、入力される符号化パラメータを、聴覚重要度およびビット配分算出部1701から入力された聴覚重要度およびビット配分情報に基づいて復号して各帯域の復号微細スペクトル情報を得て、スペクトル復号化部1703に出力する。
スペクトル復号化部1703は、入力された復号スペクトルAに、微細スペクトル復号化部1702から入力された微細スペクトル復号情報を加えて、復号スペクトルBとして出力する。
図17と図14の対応関係について説明すると、図17に示す構成がスペクトル復号化部1402Aの構成である場合、図17の符号化パラメータが図14の第1のスペクトル符号化パラメータに、図17の復号スペクトルAが図14の第1レイヤ復号信号スペクトルに、図17の復号スペクトルBが図14の第1の復号スペクトルに、それぞれ相当する。また、図17に示す構成がスペクトル復号化部1402Bの構成である場合、図17の符号化パラメータが図14の第2のスペクトル符号化パラメータに、図17の復号スペクトルAが図14の第2の復号スペクトルに、図17の復号スペクトルBが図14の第3の復号スペクトルに、それぞれ相当する。
なお、図16と図18の対応と同様にして、図17のスペクトル復号化部1402A、1402Bに対応する第1スペクトル符号化部を構成することができる。
次いで、図14に示す拡張帯域復号化部1403の詳細について図19〜図23を用いて説明する。
図19は、拡張帯域復号化部1403の構成を示すブロック図である。図19に示す拡張帯域復号化部1403は、分離部1901、振幅調整部1902、フィルタ状態設定部1903、フィルタリング部1904、スペクトル残差形状符号帳1905、スペクトル残差ゲイン符号帳1906、乗算器1907、スケールファクタ復号化部1908、スケーリング部1909、および、スペクトル合成部1910を備える。
分離部1901は、図14の分離部1401から入力される符号化パラメータを、振幅調整係数符号化パラメータ、ラグ符号化パラメータ、残差形状符号化パラメータ、残差ゲイン符号化パラメータ、スケールファクタ符号化パラメータ、に分離し、振幅調整部1902、フィルタリング部1904、スペクトル残差形状符号帳1905、スペクトル残差ゲイン符号帳1906、スケールファクタ復号化部1908、にそれぞれ出力する。
振幅調整部1902は、分離部1901から入力された振幅調整係数符号化パラメータを復号し、復号された振幅調整係数を用いて、図14のスペクトル復号化部1402Aから入力された第1の復号スペクトルの振幅を調整し、振幅調整後の第1の復号スペクトルをフィルタ状態設定部1903に出力する。振幅調整は、例えば第1の復号スペクトルをS(n)、振幅調整係数をγとすると、{S(n)}γで表されるような方法で行う。ここで、S(n)は線形領域でのスペクトル振幅、nは周波数である。
フィルタ状態設定部1903は、伝達関数P(z)=(1−z−T−1で表されるようなピッチフィルタのフィルタ状態に、振幅調整後の第1の復号スペクトルを設定する。具体的には、フィルタ状態設定部1903は、振幅調整後の第1の復号スペクトルS1[0〜Nn]を生成スペクトルバッファS[0〜Nn]に代入し、代入後の生成スペクトルバッファをフィルタリング部1904へ出力する。ここで、zはz変換における変数である。z−1は複素変数であり遅延演算子と呼ばれる。また、Tはピッチフィルタのラグ、Nnは第1の復号スペクトルの有効スペクトル点数(フィルタ状態として用いるスペクトルの上限周波数に相当)であり、生成スペクトルバッファS[n]は、n=0〜Nwの範囲で定義される配列変数である。また、Nwは帯域拡張後のスペクトル点数であり、本フィルタリング処理によって(Nw−Nn)点のスペクトルが生成される。
フィルタリング部1904は、分離部1901から入力されたラグ符号化パラメータTを用いて、フィルタ状態設定部1903から入力された生成スペクトルバッファS[n]に対してフィルタリング処理を行う。具体的には、フィルタリング部1904は、S[n]=S[n−T]+gC[n],n=Nn〜Nw、によってS[n]を生成する。ここで、gはスペクトル残差ゲイン、C[n]はスペクトル残差形状ベクトルをそれぞれ示しており、gC[n]は乗算器1907から入力される。生成されたS[Nn〜Nw]はスケーリング部1909へ出力される。
スペクトル残差形状符号帳1905は、分離部1901から入力された残差形状符号化パラメータを復号し、復号結果に対応するスペクトル残差形状ベクトルを乗算器1907へ出力する。
スペクトル残差ゲイン符号帳1906は、分離部1901から入力された残差ゲイン符号化パラメータを復号し、復号結果に対応する残差ゲインを乗算器1907へ出力する。
乗算器1907は、スペクトル残差形状符号帳1905から入力された残差形状ベクトルC[n]とスペクトル残差ゲイン符号帳1906から入力された残差ゲインgとの乗算結果gC[n]をフィルタリング部1904へ出力する。
スケールファクタ復号化部1908は、分離部1901から入力されたスケールファクタ符号化パラメータを復号し、復号スケールファクタをスケーリング部1909へ出力する。
スケーリング部1909は、フィルタリング部1904から入力されたスペクトルS[Nn〜Nw]に、スケールファクタ復号化部1908から入力されたスケールファクタを乗じてスペクトル合成部1910に出力する。
スペクトル合成部1910は、低域(S[0〜Nn])に図14のスペクトル復号化部1402Aから入力される第1の復号スペクトルを、高域(S[Nn〜Nw])にスケーリング部1909から入力されるスペクトルを、それぞれ代入して得られるスペクトルを第2の復号スペクトルとして図14のスペクトル復号化部1402Bに出力する。
次いで、スペクトル残差形状符号化パラメータとスペクトル残差ゲイン符号化パラメータを完全には受信できない場合の拡張帯域復号化部1403の構成を図20に示す。この場合、完全に受信できる情報は、振幅調整係数の符号化パラメータ、ラグ符号化パラメータ、スケールファクタ符号化パラメータである。
図20において、分離部2001およびフィルタリング部2002以外の構成は図19における各部と同じであるので説明を省略する。
図20において、分離部2001は、図14の分離部1401から入力される符号化パラメータを、振幅調整係数符号化パラメータ、ラグ符号化パラメータ、スケールファクタ符号化パラメータ、に分離し、振幅調整部1902、フィルタリング部2002、スケールファクタ復号化部1908、にそれぞれ出力する。
フィルタリング部2002は、分離部2001から入力されたラグ符号化パラメータTを用いて、フィルタ状態設定部1903から入力された生成スペクトルバッファS[n]に対してフィルタリング処理を行う。具体的には、フィルタリング部2002は、S[n]=S[n−T], n=Nn〜Nw、によってS[n]を生成する。生成されたS[Nn〜Nw]はスケーリング部1909へ出力される。
次いで、さらにラグ符号化パラメータも受信できない場合の拡張帯域復号化部1403の構成を図21に示す。この場合、完全に受信できる情報は、振幅調整係数の符号化パラメータ、スケールファクタ符号化パラメータである。
図21では、図20におけるフィルタ状態設定部1903およびフィルタリング部2002が、擬似スペクトル生成部2102に置き換えられている。図21において、分離部2101および擬似スペクトル生成部2102以外の構成は図19における各部と同じであるので説明を省略する。
図21において、分離部2101は、図14の分離部1401から入力される符号化パラメータを、振幅調整係数符号化パラメータとスケールファクタ符号化パラメータとに分離し、振幅調整部1902、スケールファクタ復号化部1908にそれぞれ出力する。
擬似スペクトル生成部2102は、振幅調整部1902から入力される振幅調整後の第1の復号スペクトルを用いて高域スペクトルを擬似的に生成し、スケーリング部1909へ出力する。高域スペクトルの具体的な生成方法としては、高域スペクトルを低域スペクトルの鏡像として生成するミラーリングに基く方法、振幅調整後のスペクトルを周波数軸の高域方向にシフトする方法、低域スペクトルからピッチラグを求めてこのピッチラグを用いて振幅調整後のスペクトルに対し周波数軸方向にピッチフィルタリング処理を行う方法、などがある。なお、復号中のフレームが無声フレームと判断される場合は、ランダムに生成した雑音スペクトルを用いて擬似スペクトルを生成しても良い。
次いで、さらに振幅調整情報も受信できない場合の拡張帯域復号化部1403の構成を図22に示す。この場合、完全に受信できる情報は、スケールファクタ符号化パラメータである。図22において、分離部2201および擬似スペクトル生成部2202以外の構成は図19における各部と同じであるので説明を省略する。
図22において、分離部2201は、図14の分離部1401から入力される符号化パラメータからスケールファクタ符号化パラメータを分離し、スケールファクタ復号化部1908に出力する。
擬似スペクトル生成部2202は、第1の復号スペクトルを用いて高域スペクトルを擬似的に生成し、スケーリング部1909へ出力する。高域スペクトルの具体的な生成方法としては、高域スペクトルを低域スペクトルの鏡像として生成するミラーリングに基く方法、振幅調整後のスペクトルを周波数軸の高域方向にシフトする方法、低域スペクトルからピッチラグを求めてこのピッチラグを用いて振幅調整後のスペクトルに対し周波数軸方向にピッチフィルタリング処理を行う方法、などがある。なお、復号中のフレームが無声フレームと判断される場合は、ランダムに生成した雑音スペクトルを用いて擬似スペクトルを生成しても良い。また、振幅調整の方法は、例えば、対数領域で定数倍(γ×S、Sは対数スペクトル)したり、線形領域で定数乗(sγ、sは線形スペクトル)したりすれば良い。また、振幅調整のための調整係数として、有声音において低域におけるハーモニクスの谷の深さと高域におけるハーモニクスの谷の深さとを合わせるのに必要となる係数の代表的なものを用いると良い。また、調整係数は固定の定数としても良いが、低域スペクトルのハーモニクスの谷の深さを表す指標(例えば、直接的には低域におけるスペクトル振幅の分散値、間接的には第1レイヤ符号化部201におけるピッチゲインの値)に応じて適当な調整係数を複数用意し、上記指標に応じて対応する調整係数を選択的に用いるとなお良い。また、低域のスペクトル形状(包絡)情報やピッチ周期情報なども用いて、母音毎の特徴に応じて調整係数を選択的に用いるのも良い。より具体的には、実施の形態1において説明した疑似スペクトルの生成と同一になるので、ここでの説明は省略する。
図23は、図20の構成において高域成分を生成する一連の動作を示した模式図である。図23に示すように、まず第1の復号スペクトルの振幅調整を行う。次いで、振幅調整後の第1の復号スペクトルをピッチフィルタのフィルタ情報として、フィルタリング処理(ピッチフィルタリング)を周波数軸方向に行なって高域成分を生成する。次いで、生成された高域成分に対してスケーリング係数の帯域毎にスケーリングを行って最終的な高域スペクトルを生成する。そして、生成された高域スペクトルと第1の復号スペクトルとを合わせて第2の復号スペクトルを生成する。
図19の拡張帯域復号化部1403に対応する拡張帯域符号化部1504の構成の一例を図24に示す。
図24において、振幅調整部2401は、周波数領域変換部1502Aから入力される入力音声信号スペクトルを用いて、第1スペクトル符号化部1503から入力される第1の復号スペクトルの振幅調整を行い、振幅調整係数の符号化パラメータを出力するとともに、振幅調整後の第1の復号スペクトルをフィルタ状態設定部2402へ出力する。振幅調整部2401は、第1の復号スペクトルの最大振幅スペクトルと最小振幅スペクトルの比(ダイナミックレンジ)が入力音声信号スペクトルの高域のダイナミックレンジに近づくような振幅調整処理を行う。振幅調整の方法としては、例えば上記の方法が挙げられる。また、例えば式(1)のような変換式を用いて振幅調整を行うことも可能である。S1が変換前のスペクトル、S1’が変換後のスペクトルである。
Figure 0004977472
ここで、sign( )は正号/負号を返す関数、γは0≦γ≦1の範囲にある実数を表す。式(1)を用いる場合、振幅調整部2401は、振幅調整後の第1の復号スペクトルが入力音声信号スペクトルの高域部のダイナミックレンジに最も近づくときの振幅調整係数γを、あらかじめ用意してある複数の候補の中から選択し、その選択した振幅調整係数γの符号化パラメータを多重化部203に出力する。
フィルタ状態設定部2402は、振幅調整部2401から入力される振幅調整後の第1の復号スペクトルを、図19のフィルタ状態設定部1903と同様にして、ピッチフィルタの内部状態に設定する。
ラグ設定部2403は、ラグTを予め定められた探索範囲TMIN〜TMAXの中で少しずつ変化させながら、フィルタリング部2404に順次出力する。
スペクトル残差形状符号帳2405は複数のスペクトル残差形状ベクトルの候補を格納しており、探索部2406からの指示に従い全てまたは予め限定された候補の中から順次スペクトル残差形状ベクトルを選択して出力する。同様に、スペクトル残差ゲイン符号帳2407は複数のスペクトル残差ゲインの候補を格納しており、探索部2406からの指示に従い全てまたは予め限定された候補の中から順次スペクトル残差ベクトルを選択して出力する。
乗算部2408では、スペクトル残差形状符号帳2405から出力されるスペクトル残差形状ベクトルの候補と、スペクトル残差ゲイン符号帳2407から出力されるスペクトル残差ゲインの候補を乗じ、乗じた結果をフィルタリング部2404に出力する。
フィルタリング部2404は、フィルタ状態設定部2402で設定されたピッチフィルタの内部状態と、ラグ設定部2403から出力されるラグTと、ゲイン調整されたスペクトル残差形状ベクトルとを用いてフィルタリングを行い、入力音声信号スペクトルの推定値を算出する。この動作は、図19のフィルタリング部1904の動作と同様である。
探索部2406は、ラグ、スペクトル残差形状ベクトル、および、スペクトル残差ゲインの複数の組み合わせのうち、入力音声信号スペクトル(原スペクトル)の高域部とフィルタリング部2404の出力信号との相互相関が最大になるときの組み合わせを、合成による分析手法(AbS;Analysis by Synthesis)により決定する。このとき、聴覚マスキングを利用して聴感的に最も類似している組合せを決定する。また、後段で行われるスケールファクタによるスケーリングを考慮した探索を行う。探索部2406により決定されたラグの符号化パラメータ、スペクトル残差形状ベクトルの符号化パラメータおよびスペクトル残差ゲインの符号化パラメータは、多重化部203および拡張帯域復号化部2409に出力される。
なお、上記のAbSによる符号化パラメータ決定法において、ピッチ係数、スペクトル残差形状ベクトルおよびスペクトル残差ゲインを同時に決定しても良い。または、演算量を削減するためにピッチ係数T、スペクトル残差形状ベクトル、スペクトル残差ゲインの順に決定しても良い。
拡張帯域復号化部2409は、振幅調整部2401より出力される振幅調整係数の符号化パラメータ、探索部2406より出力されるラグの符号化パラメータ、スペクトル残差形状ベクトルの符号化パラメータおよびスペクトル残差ゲインの符号化パラメータを用いて第1の復号スペクトルに対する復号処理を行い、入力音声信号スペクトルの推定スペクトル(すなわち、スケーリング前のスペクトル)を生成し、スケールファクタ符号化部2410に出力する。復号手順は図19の拡張帯域復号化部1403と同様である(但し、図19のスケーリング部1909およびスペクトル合成部1910の処理を除く)。
スケールファクタ符号化部2410は、周波数領域変換部1502Aより出力される入力音声信号スペクトル(原スペクトル)の高域部と、拡張帯域復号化部2409より出力される推定スペクトルと、聴覚マスキングと、を用いて、聴感上最も適した推定スペクトルのスケールファクタ(スケーリング係数)を符号化し、その符号化パラメータを多重化部203に出力する。
図25は、図1の分離部101が受信するビットストリームの内容を示す模式図である。この図に示すように、ビットストリームでは複数の符号化パラメータが時間多重されている。また、図25の左側がMSB(Most Significant Bit、ビットストリーム中で重要度が最も高いビット)、右側がLSB(Least Significant Bit、ビットストリーム中で重要度が最も低いビット)を示している。このように符号化パラメータが並べられることによって、伝送路上でビットストリームを部分的に破棄する場合に、LSB側から順に破棄することで、破棄による品質劣化を最小限に抑えることができる。LSBから(1)までが破棄される場合は図20、LSBから(2)までが破棄される場合は図21、LSBから(3)までが破棄される場合は図22、を用いてそれぞれ説明した方法で復号処理を行なうことが可能である。また、LSBから(4)までが破棄される場合は、第1レイヤの復号信号を出力信号とする。
なお、符号化パラメータをLSB側から優先的に破棄するネットワークの実現方法については特に限定されない。例えば、図25で区切られた各符号化パラメータに優先順位付けをして別々のパケットで伝送することで優先制御を行うパケット網を使うことも可能である。
また、本実施の形態では、図19において、スペクトル残差形状符号帳1905、スペクトル残差ゲイン符号帳1906、乗算器1907を備える構成を示したが、これらを備えない構成を採ることもできる。この場合、符号化器側は、残差形状ベクトルの符号化パラメータと残差ゲインの符号化パラメータを伝送する必要がなく、低ビットレートで通信を行うことができる。また、この場合の復号処理手順は、スペクトル残差情報(形状・ゲイン)の復号処理がない点だけが図19を用いた説明と相違する。つまり、復号処理手順は図20を用いて説明した処理手順となり、ビットストリームは図25において(1)の位置がLSBとなる。
(実施の形態3)
本実施の形態は、実施の形態2において、図14に示した第2レイヤ復号化部103の拡張帯域復号化部1403の別の構成を示すものである。本実施の形態では、当該フレームおよび前フレームの拡張帯域符号化パラメータから復号される復号パラメータと、当該フレームの受信ビットストリームに対するデータロス情報と、を用いて当該フレームの復号パラメータを決定し第2の復号スペクトルを復号する。
図26は、本発明の実施の形態3に係る拡張帯域復号化部1403の構成を示すブロック図である。図26の拡張帯域復号化部1403において、振幅調整係数復号化部2601は、振幅調整係数符号化パラメータから振幅調整係数を復号する。ラグ復号化部2602は、ラグ符号化パラメータからラグを復号する。復号パラメータ制御部2603は、拡張帯域符号化パラメータから復号される各復号パラメータ、受信データロス情報、および、各バッファ2604a〜2604eから出力される前フレームの各復号パラメータを用いて、当該フレームの第2の復号スペクトルの復号に用いる復号パラメータを決定する。バッファ2604a〜2604eは各々、当該フレームの復号パラメータである、振幅調整係数、ラグ、残差形状ベクトル、スペクトル残差ゲイン、スケールファクタを記憶するバッファである。なお、図26におけるこれ以外の構成は、図19の拡張帯域復号化部1403の構成と同一であるため説明を省略する。
次いで、このように構成された拡張帯域復号化部1403の動作を説明する。
まず、当該フレームの第2レイヤ符号化データの一部である拡張帯域符号化パラメータに含まれる各復号パラメータ、すなわち、スケールファクタ、ラグ、振幅調整係数、残差形状ベクトル、スペクトル残差ゲインの各々の符号化パラメータは、各々の復号化部1908、2602、2601、1905、1906により復号される。そして、復号パラメータ制御部2603において、復号された各復号パラメータおよびそれらの前フレームの復号パラメータを用いて、受信データロス情報に基づき、当該フレームの第2の復号スペクトルの復号に用いる復号パラメータを決定する。
ここで、受信データロス情報とは、ロス(パケットロスや、伝送誤りにより誤りが検出された場合などを含む)により、拡張帯域符号化パラメータのどの部分が拡張帯域復号化部1403で用いることができないかを示す情報である。
そして、復号パラメータ制御部2603で得られた当該フレームの復号パラメータおよび第1の復号スペクトルを用いて、第2の復号スペクトルが復号される。その具体的動作は実施の形態2における図19の拡張帯域復号化部1403と同様なので説明は省略する。
次に、復号パラメータ制御部2603の第1の動作形態を以下に説明する。
第1の動作形態では、復号パラメータ制御部2603は、ロスにより得られなかった符号化パラメータに対応する周波数帯域の復号パラメータとして、前フレームの対応する周波数帯域の復号パラメータを代用する。
具体的には、
SF(n,m):第nフレームの第m周波数帯域のスケールファクタ、
T(n,m):第nフレームの第m周波数帯域のラグ、
γ(n,m):第nフレームの第m周波数帯域の振幅調整係数、
c(n,m):第nフレームの第m周波数帯域の残差形状ベクトル、
g(n,m):第nフレームの第m周波数帯域のスペクトル残差ゲイン、
m=ML〜MH、
ML:第2レイヤにおける高域周波数帯域の最低周波数帯域の番号、
MH:第2レイヤにおける高域周波数帯域の最高周波数帯域の番号、
とすると、当該フレームの第m帯域の上記いずれかの符号化パラメータがロスして受信できないことが受信データロス情報により示される場合は、前記ロスした当該符号化パラメータに対応する復号パラメータとして前フレーム(第n−1フレーム)の第m帯域の復号パラメータが出力される。
すなわち、
スケールファクタがロスした場合:
SF(n,m) ← SF(n−1,m)
ラグがロスした場合:
T(n,m) ← T(n−1,m)
振幅調整係数がロスした場合:
γ(n,m) ← γ(n−1,m)
残差形状ベクトルがロスした場合:
c(n,m) ← c(n−1,m)
スペクトル残差ゲインがロスした場合:
g(n,m) ← g(n−1,m)
である。
なお、上記の代わりに、下記(a)または(b)のいずれかとしても良い。
(a)上記5種類のパラメータのいずれか一つでもロスした周波数帯域では、5種全てまたは任意の組み合わせで関連付けた複数種の復号パラメータとして、前フレームの対応するパラメータを用いる。
(b)上記5種類のパラメータのいずれか一つでもロスした周波数帯域では、残差形状ベクトルおよび(または)スペクトル残差ゲインを0とする。
一方、ロスが発生していない周波数帯域では、受信した当該フレームの符号化パラメータを用いて復号した復号パラメータをそのまま出力する。
そして、上記により得られた、当該フレームの高域周波数全ての帯域の復号パラメータ
SF(n,m)、T(n,m)、γ(n,m)、c(n,m)、g(n,m) :m=ML〜MH、を当該フレームの復号パラメータとして出力する。
なお、第2レイヤの符号化パラメータ全てがロスした場合には、第2レイヤのフレーム補償では、当該フレームの高域周波数の全帯域の拡張帯域復号パラメータとして、前フレームの対応する復号パラメータを用いる。
また、上記の説明では、ロスが発生したフレームでは常に前フレームの復号パラメータを用いて復号を行う形態を説明したが、別の形態として、前フレームと当該フレームとの信号の相関性に基づき、相関性が閾値より高い場合にのみ上記で説明した方法により復号を行い、相関性が閾値より低い場合には、実施の形態2に従って、当該フレーム内に閉じた手法により復号を行うようにしても良い。この場合、前フレームの信号と当該フレームの信号との相関性を表す指標としては、例えば、第1レイヤの符号化パラメータから得られるLPCパラメータなどのスペクトル包絡情報、ピッチ周期やピッチゲインパラメータ等の信号の有声定常性に関する情報、第1レイヤの低域復号信号、第1レイヤの低域復号スペクトルそのもの等を用いて算出された、前フレームと当該フレームとの間の相関係数やスペクトル距離などがある。
次に、復号パラメータ制御部2603の第2の動作形態を以下に説明する。
第2の動作形態では、復号パラメータ制御部2603は、当該フレームのデータロスが発生した周波数帯域に対して、前フレームの当該周波数帯域の復号パラメータ、および、前フレームと当該フレームの当該周波数帯域に隣接する周波数帯域の復号パラメータを用いて、当該周波数帯域の復号パラメータを求める。
具体的には、当該フレームの第m帯域の符号化パラメータがロスして受信できないことが受信データロス情報により示される場合は、前記ロスした当該符号化パラメータに対応する復号パラメータとして前フレーム(第n−1フレーム)の第m帯域の復号パラメータ、および、前フレームおよび当該フレームの当該周波数帯域に隣接する帯域(前フレームと当該フレームで同一の帯域)の復号パラメータを用い、下記のように復号パラメータを得る。
すなわち、
スケールファクタがロスした場合:
SF(n,m) ← SF(n−1,m)*SF(n,m−1)/SF(n−1,m−1)
ラグがロスした場合:
T(n,m) ← T(n−1,m)*T(n,m−1)/T(n−1,m−1)
振幅調整係数がロスした場合:
γ(n,m) ← γ(n−1,m)*γ(n,m−1)/γ(n−1,m−1)
スペクトル残差ゲインがロスした場合:
g(n,m) ← g(n−1,m)*g(n,m−1)/g(n−1,m−1)
残差形状ベクトルがロスした場合:
c(n,m) ← c(n−1,m)または0
である。
上記の代わりに、下記(a)または(b)のいずれかとしても良い。
(a)上記5種類のパラメータのいずれか一つでもロスした周波数帯域では、5種全てまたは任意の組み合わせで関連付けた複数種の復号パラメータとして、上記に従い求めたパラメータを用いる。
(b)上記5種類のパラメータのいずれか一つでもロスした周波数帯域では、残差形状ベクトルおよび(または)スペクトル残差ゲインを0とする。
一方、ロスが発生していない周波数帯域では、受信した当該フレームの符号化パラメータを用いて復号した復号パラメータをそのまま出力する。
そして、上記により得られた、当該フレームの高域周波数全ての帯域の復号パラメータ
SF(n,m)、T(n,m)、γ(n,m)、c(n,m)、g(n,m) :m=ML〜MH、を当該フレームの復号パラメータとして出力する。
なお、上記では、当該周波数帯域mの隣接周波数帯域をm−1とした例で説明したが、周波数帯域m+1のパラメータを用いても良い。ただし、隣接する周波数帯域も符号化パラメータがロスしている場合には、ロスが発生していない最も近い周波数帯域など別の周波数帯域の復号パラメータを用いるようにしても良い。
また、上記第1の動作形態と同様に、前フレームの信号と当該フレームの信号との相関性に基づき、相関性が閾値より高い場合にのみ上記で説明した方法により復号を行うようにしても良い。
さらに、上記5種類の復号パラメータのうち、一部のパラメータ(スケールファクタ、またはスケールファクタおよび振幅調整係数)のみ、上記で説明した処理により算出した復号パラメータを用い、それ以外の復号パラメータを前フレームの当該周波数帯域のパラメータを用いて復号を行うか、または、実施の形態2で説明した方法により復号を行うようにしても良い。
さらに、別の動作形態として、複数の符号化フレームをまとめて1つのパケットに多重化して伝送するようなシステムにおいて、時間的に未来の符号化パラメータを優先的に保護する(ロスさせない)ように制御する形態がある。この形態では、受信側では、複数フレームまとめて受信したビットストリームを復号する際に、ロスした当該フレームの符号化パラメータの復号を、当該フレームの前後のフレームの符号化パラメータを用いて、上記第1の動作形態または第2の動作形態と同様に行うようにしても良い。その際には、前フレームの復号パラメータと後続フレームの復号パラメータの中間的な値になるような補間値を求めて復号パラメータとして使用するようにする。
また、下記のような形態をとることも可能である。
(1) 拡張帯域符号化パラメータにロスが発生した周波数帯域に対しては、図14に示す第2レイヤ復号化部103内のスペクトル復号化部1402Bでの復号スペクトルを加算しない。
(2) 拡張帯域復号化部1403では、スペクトル残差形状符号帳、スペクトル残差ゲイン符号帳、乗算器を備えない構成としても良い。
また、上記実施の形態1〜3においては、いずれも2レイヤの構成例を示したが、3レイヤ以上になっていても良い。
以上、本発明によるスケーラブル復号化装置およびスケーラブル符号化装置の実施の形態について説明した。
本発明に係るスケーラブル復号化装置およびスケーラブル符号化装置は、上記の実施の形態1〜3に限定されず、種々変更して実施することが可能である。
本発明に係るスケーラブル復号化装置およびスケーラブル符号化装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置および基地局装置を提供することができる。
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部または全てを含むように1チップ化されても良い。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。
本発明のスケーラブル復号化装置の主な特徴を以下に示す。
第1に、本発明では、ミラーリングによって高域生成を行う際、ミラーリングする元の低域スペクトルの変動幅を調整した後にミラーリングを行うため、変動幅の調整に関する情報を伝送してもしなくても良い。これにより、実際の高域スペクトルに即した調波構造を近似でき、過度の調波構造を生成することを回避できる。
第2に、本発明では、伝送路誤り等によってラグ情報が受信されないときは、符号化された高域成分を復号する際、上記第1の特徴による要領でミラーリングを行って高域成分の復号処理を行うため、ラグ情報を用いずとも高域に調波構造を有するスペクトルを生成することができる。また、調波構造の強さも妥当なレベルに調整することができる。なお、ミラーリングの代わりに別の手法を用いて擬似スペクトルを生成しても良い。
第3に、本発明では、スケールファクタ、振幅調整係数、ラグ、スペクトル残差、の順に構成されたビットストリームが使用され、スペクトル残差情報が受信されない場合は、スケールファクタ、振幅調整係数、およびラグ情報のみで復号信号を生成し、ラグ情報とスペクトル残差情報が受信されない場合は、上記第2の特徴による復号化の要領で復号処理を行う。このため、伝送路誤りや符号化情報の消失・破棄の発生率が、スケールファクタ、振幅調整係数、ラグ、スペクトル残差、の順に高くなるように設計されている(すなわち、スケールファクタが最も誤り保護が強かったり、伝送路上で優先的に伝送されたりする)システムに本発明が適用される場合、伝送路誤りによる復号音声の品質劣化を最小限に抑えることができる。また、上記の各パラメータ単位で復号音声品質が徐々に変化するので、従来より細かいスケーラビリティを実現できる。
第4に、本発明では、拡張帯域復号化部において、前フレームの復号に用いた拡張帯域符号化パラメータから復号される復号パラメータを各々記憶しておくためのバッファと、当該フレームおよび前フレームの各復号パラメータ、当該フレームの受信ビットストリームに対するデータロス情報、を用いて当該フレームの復号パラメータを決定する復号パラメータ制御部と、を備え、当該フレームの第1の復号スペクトルと、復号パラメータ制御部から出力された復号パラメータを用いて、第2の復号スペクトルを生成する。このため、低域スペクトルを内部状態として持つフィルタを利用して高域スペクトルを符号化して得られる拡張帯域符号化データのうちの一部または全てがロスして復号に用いることができない場合に、類似性の高い前フレームの復号パラメータを代わりに用いてロス補償を行うことができ、データロス発生時にも高音質な信号を復号できる。
上記第4の特徴においては、復号パラメータ制御部が、当該フレームのデータロスが発生した周波数帯域に対して、前フレームの当該周波数帯域および、前フレームと当該フレームの当該周波数帯域に隣接する周波数帯域の復号パラメータを用いて、当該周波数帯域の復号パラメータを求めるようにしてもよい。これにより、類似性の高い前フレームの符号化パラメータを用いる際に、補償対象の周波数帯域に隣接する周波数帯域の時間的変化の関係を利用することができ、より精度の高い補償を行うことができる。
本明細書は、2004年11月5日出願の特願2004−322954に基づくものである。この内容はすべてここに含めておく。
本発明のスケーラブル復号化装置は、移動体通信システムやインターネットプロトコルを用いたパケット通信システム等の用途に適用できる。
本発明の実施の形態1に係るスケーラブル復号化装置の構成を示すブロック図 本発明の実施の形態1に係るスケーラブル符号化装置の構成を示すブロック図 本発明の実施の形態1に係る第2レイヤ復号化部の構成を示すブロック図 本発明の実施の形態1に係る第2レイヤ符号化部の構成を示すブロック図 本発明の実施の形態1に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態1に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態1に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態1に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態1に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態1に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態1に係る高域スペクトル復号化部にて高域成分を生成する処理の様子を示す模式図 本発明の実施の形態1に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態1に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態2に係る第2レイヤ復号化部の構成を示すブロック図 本発明の実施の形態2に係る第2レイヤ符号化部の構成を示すブロック図 本発明の実施の形態2に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態2に係るスペクトル復号化部の構成を示すブロック図 本発明の実施の形態2に係る第1スペクトル符号化部の構成を示すブロック図 本発明の実施の形態2に係る拡張帯域復号化部の構成を示すブロック図 本発明の実施の形態2に係る拡張帯域復号化部の構成を示すブロック図 本発明の実施の形態2に係る拡張帯域復号化部の構成を示すブロック図 本発明の実施の形態2に係る拡張帯域復号化部の構成を示すブロック図 本発明の実施の形態2に係る拡張帯域復号化部にて高域成分を生成する処理の様子を示す模式図 本発明の実施の形態2に係る拡張帯域符号化部の構成を示すブロック図 本発明の実施の形態2に係るスケーラブル復号化装置の分離部が受信するビットストリームの内容を示す模式図 本発明の実施の形態3に係る拡張帯域復号化部の構成を示すブロック図

Claims (8)

  1. 低周波帯域の符号化情報を復号して低周波帯域の復号信号を得る第1復号化手段と、
    前記低周波帯域の復号信号と高周波帯域の符号化情報とから高周波帯域の復号信号を得る第2復号化手段と、
    を具備するスケーラブル復号化装置であって、
    前記第1復号化手段は、前記低周波帯域の復号信号の取得に加えて、前記低周波帯域の符号化情報を復号して前記低周波帯域のスペクトル情報を取得し、
    前記第2復号化手段は、
    前記低周波帯域の復号信号を変換して低周波帯域のスペクトルを得る変換手段と、
    前記第1復号化手段により取得した前記低周波帯域のスペクトル情報に基づいて前記低周波帯域の復号信号のスペクトルハーモニクスの谷の深さを示す指標を決定し、予め用意された複数の振幅調整係数の中から、前記指標に応じて選ばれた振幅調整係数を用いて、前記変換手段により得られた前記低周波帯域のスペクトルに対して振幅調整を施す調整手段と、
    振幅調整された低周波帯域のスペクトルと前記高周波帯域の符号化情報とを用いて、高周波帯域のスペクトルを生成する生成手段と、
    を具備するスケーラブル復号化装置。
  2. 前記生成手段は、振幅調整された低周波帯域のスペクトルにミラーリングを適用して前記高周波帯域のスペクトルを生成する、
    請求項1記載のスケーラブル復号化装置。
  3. 前記生成手段は、前記高周波帯域の符号化情報の少なくとも一部が復号できない場合に、前記高周波帯域のスペクトルを生成する、
    請求項1記載のスケーラブル復号化装置。
  4. 前記生成手段は、振幅調整された低周波帯域のスペクトルにピッチフィルタリング処理を適用して前記高周波帯域のスペクトルを生成する、
    請求項1記載のスケーラブル復号化装置。
  5. 前記高周波帯域の符号化情報は、重要度の高い順に、スケールファクタ、振幅調整係数、ラグ、スペクトル残差、の順で構成され、
    前記生成手段は、前記高周波帯域の符号化情報において前記スペクトル残差が欠落する場合に、前記スケールファクタ、前記振幅調整係数、前記ラグを用いて、前記高周波帯域のスペクトルを生成する、
    請求項1記載のスケーラブル復号化装置。
  6. 前記高周波帯域の符号化情報は、重要度の高い順に、スケールファクタ、振幅調整係数、ラグ、スペクトル残差、の順で構成され、
    前記生成手段は、前記高周波帯域の符号化情報において前記ラグおよび前記スペクトル残差が欠落する場合に、振幅調整された低周波帯域のスペクトルにミラーリングを適用して前記高周波帯域のスペクトルを生成する、
    請求項1記載のスケーラブル復号化装置。
  7. 前記高周波帯域の符号化情報は、重要度の高い順に、スケールファクタ、振幅調整係数、ラグ、スペクトル残差、の順で構成され、
    前記生成手段は、前記スケールファクタ、前記振幅調整係数、前記ラグ、前記スペクトル残差の少なくとも一つが欠落する場合に、欠落した情報に対応する過去の情報を用いて前記高周波帯域のスペクトルを生成する、
    請求項1記載のスケーラブル復号化装置。
  8. 前記生成手段は、隣接フレームの信号間の相関に応じて、前記高周波帯域の符号化情報を用いて前記高周波帯域のスペクトルを生成する、
    請求項1記載のスケーラブル復号化装置。
JP2006542422A 2004-11-05 2005-11-02 スケーラブル復号化装置 Expired - Fee Related JP4977472B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006542422A JP4977472B2 (ja) 2004-11-05 2005-11-02 スケーラブル復号化装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004322954 2004-11-05
JP2004322954 2004-11-05
PCT/JP2005/020201 WO2006049205A1 (ja) 2004-11-05 2005-11-02 スケーラブル復号化装置およびスケーラブル符号化装置
JP2006542422A JP4977472B2 (ja) 2004-11-05 2005-11-02 スケーラブル復号化装置

Publications (2)

Publication Number Publication Date
JPWO2006049205A1 JPWO2006049205A1 (ja) 2008-05-29
JP4977472B2 true JP4977472B2 (ja) 2012-07-18

Family

ID=36319210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006542422A Expired - Fee Related JP4977472B2 (ja) 2004-11-05 2005-11-02 スケーラブル復号化装置

Country Status (8)

Country Link
US (1) US7983904B2 (ja)
EP (1) EP1808684B1 (ja)
JP (1) JP4977472B2 (ja)
KR (1) KR20070084002A (ja)
CN (1) CN101048649A (ja)
BR (1) BRPI0517780A2 (ja)
RU (2) RU2404506C2 (ja)
WO (1) WO2006049205A1 (ja)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3336843B1 (en) * 2004-05-14 2021-06-23 Panasonic Intellectual Property Corporation of America Speech coding method and speech coding apparatus
US7769584B2 (en) 2004-11-05 2010-08-03 Panasonic Corporation Encoder, decoder, encoding method, and decoding method
JP4899359B2 (ja) * 2005-07-11 2012-03-21 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
EP1933304A4 (en) * 2005-10-14 2011-03-16 Panasonic Corp DIMENSIONABLE CODING APPARATUS, DIMENSIONABLE DECODING APPARATUS AND METHODS OF USING SAME
JP5030789B2 (ja) * 2005-11-30 2012-09-19 パナソニック株式会社 サブバンド符号化装置およびサブバンド符号化方法
EP1959431B1 (en) * 2005-11-30 2010-06-23 Panasonic Corporation Scalable coding apparatus and scalable coding method
JP5159318B2 (ja) * 2005-12-09 2013-03-06 パナソニック株式会社 固定符号帳探索装置および固定符号帳探索方法
CN101089951B (zh) * 2006-06-16 2011-08-31 北京天籁传音数字技术有限公司 频带扩展编码方法及装置和解码方法及装置
CN101115124B (zh) * 2006-07-26 2012-04-18 日电(中国)有限公司 基于音频水印识别媒体节目的方法和装置
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US9454974B2 (en) 2006-07-31 2016-09-27 Qualcomm Incorporated Systems, methods, and apparatus for gain factor limiting
US8532984B2 (en) * 2006-07-31 2013-09-10 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of active frames
CN101548318B (zh) * 2006-12-15 2012-07-18 松下电器产业株式会社 编码装置、解码装置以及其方法
FR2911020B1 (fr) * 2006-12-28 2009-05-01 Actimagine Soc Par Actions Sim Procede et dispositif de codage audio
FR2911031B1 (fr) * 2006-12-28 2009-04-10 Actimagine Soc Par Actions Sim Procede et dispositif de codage audio
FR2912249A1 (fr) * 2007-02-02 2008-08-08 France Telecom Codage/decodage perfectionnes de signaux audionumeriques.
JP5294713B2 (ja) * 2007-03-02 2013-09-18 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
JP4708446B2 (ja) * 2007-03-02 2011-06-22 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
JP4871894B2 (ja) * 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
WO2008114078A1 (en) * 2007-03-16 2008-09-25 Nokia Corporation En encoder
US9466307B1 (en) * 2007-05-22 2016-10-11 Digimarc Corporation Robust spectral encoding and decoding methods
US8990073B2 (en) * 2007-06-22 2015-03-24 Voiceage Corporation Method and device for sound activity detection and sound signal classification
JP5098530B2 (ja) * 2007-09-12 2012-12-12 富士通株式会社 復号化装置、復号化方法および復号化プログラム
CN100524462C (zh) 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
US9872066B2 (en) * 2007-12-18 2018-01-16 Ibiquity Digital Corporation Method for streaming through a data service over a radio link subsystem
WO2009081568A1 (ja) * 2007-12-21 2009-07-02 Panasonic Corporation 符号化装置、復号装置および符号化方法
WO2009084918A1 (en) * 2007-12-31 2009-07-09 Lg Electronics Inc. A method and an apparatus for processing an audio signal
BRPI0908929A2 (pt) * 2008-03-14 2016-09-13 Panasonic Corp dispositivo de codificação, dispositivo de decodificação, e método dos mesmos
WO2009116815A2 (en) * 2008-03-20 2009-09-24 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding using bandwidth extension in portable terminal
JP2009300707A (ja) * 2008-06-13 2009-12-24 Sony Corp 情報処理装置および方法、並びにプログラム
PL4053838T3 (pl) * 2008-12-15 2023-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder powiększania szerokości pasma audio, powiązany sposób oraz program komputerowy
EP2360687A4 (en) * 2008-12-19 2012-07-11 Fujitsu Ltd VOICE BAND EXTENSION DEVICE AND VOICE BAND EXTENSION METHOD
WO2011047887A1 (en) * 2009-10-21 2011-04-28 Dolby International Ab Oversampling in a combined transposer filter bank
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
US8949117B2 (en) * 2009-10-14 2015-02-03 Panasonic Intellectual Property Corporation Of America Encoding device, decoding device and methods therefor
US8977546B2 (en) 2009-10-20 2015-03-10 Panasonic Intellectual Property Corporation Of America Encoding device, decoding device and method for both
EP2555188B1 (en) * 2010-03-31 2014-05-14 Fujitsu Limited Bandwidth extension apparatuses and methods
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5652658B2 (ja) 2010-04-13 2015-01-14 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
KR20130088756A (ko) * 2010-06-21 2013-08-08 파나소닉 주식회사 복호 장치, 부호화 장치 및 이러한 방법
US8762158B2 (en) * 2010-08-06 2014-06-24 Samsung Electronics Co., Ltd. Decoding method and decoding apparatus therefor
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2012052802A1 (en) * 2010-10-18 2012-04-26 Nokia Corporation An audio encoder/decoder apparatus
WO2012144128A1 (ja) * 2011-04-20 2012-10-26 パナソニック株式会社 音声音響符号化装置、音声音響復号装置、およびこれらの方法
US8620646B2 (en) * 2011-08-08 2013-12-31 The Intellisis Corporation System and method for tracking sound pitch across an audio signal using harmonic envelope
JP6037156B2 (ja) 2011-08-24 2016-11-30 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5942358B2 (ja) 2011-08-24 2016-06-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP5975243B2 (ja) 2011-08-24 2016-08-23 ソニー株式会社 符号化装置および方法、並びにプログラム
KR102070430B1 (ko) * 2011-10-21 2020-01-28 삼성전자주식회사 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
CN103366751B (zh) * 2012-03-28 2015-10-14 北京天籁传音数字技术有限公司 一种声音编解码装置及其方法
CN103366749B (zh) * 2012-03-28 2016-01-27 北京天籁传音数字技术有限公司 一种声音编解码装置及其方法
CN106409299B (zh) 2012-03-29 2019-11-05 华为技术有限公司 信号编码和解码的方法和设备
EP2842322A1 (en) * 2012-04-24 2015-03-04 Telefonaktiebolaget LM Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
US9601125B2 (en) * 2013-02-08 2017-03-21 Qualcomm Incorporated Systems and methods of performing noise modulation and gain adjustment
US9711156B2 (en) * 2013-02-08 2017-07-18 Qualcomm Incorporated Systems and methods of performing filtering for gain determination
CN108364657B (zh) 2013-07-16 2020-10-30 超清编解码有限公司 处理丢失帧的方法和解码器
EP2830063A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for decoding an encoded audio signal
EP3614381A1 (en) * 2013-09-16 2020-02-26 Samsung Electronics Co., Ltd. Signal encoding method and device and signal decoding method and device
JP6531649B2 (ja) 2013-09-19 2019-06-19 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム
US8879858B1 (en) 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
WO2015083575A1 (ja) * 2013-12-06 2015-06-11 シャープ株式会社 画像復号装置、画像符号化装置、および、符号化データ変換装置
RU2764260C2 (ru) 2013-12-27 2022-01-14 Сони Корпорейшн Устройство и способ декодирования
KR102185478B1 (ko) * 2014-02-28 2020-12-02 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 복호 장치, 부호화 장치, 복호 방법, 및 부호화 방법
CN106537500B (zh) * 2014-05-01 2019-09-13 日本电信电话株式会社 周期性综合包络序列生成装置、周期性综合包络序列生成方法、记录介质
PL3594946T3 (pl) * 2014-05-01 2021-03-08 Nippon Telegraph And Telephone Corporation Dekodowanie sygnału dźwiękowego
CN106683681B (zh) 2014-06-25 2020-09-25 华为技术有限公司 处理丢失帧的方法和装置
KR20230066137A (ko) 2014-07-28 2023-05-12 삼성전자주식회사 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
JP2016038435A (ja) * 2014-08-06 2016-03-22 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP6611042B2 (ja) * 2015-12-02 2019-11-27 パナソニックIpマネジメント株式会社 音声信号復号装置及び音声信号復号方法
US10825467B2 (en) * 2017-04-21 2020-11-03 Qualcomm Incorporated Non-harmonic speech detection and bandwidth extension in a multi-source environment
US10431231B2 (en) * 2017-06-29 2019-10-01 Qualcomm Incorporated High-band residual prediction with time-domain inter-channel bandwidth extension
CN110556122B (zh) * 2019-09-18 2024-01-19 腾讯科技(深圳)有限公司 频带扩展方法、装置、电子设备及计算机可读存储介质
CN113113032A (zh) * 2020-01-10 2021-07-13 华为技术有限公司 一种音频编解码方法和音频编解码设备
CN112309408A (zh) * 2020-11-10 2021-02-02 北京百瑞互联技术有限公司 一种扩展lc3音频编解码带宽的方法、装置及存储介质
CN113724725B (zh) * 2021-11-04 2022-01-18 北京百瑞互联技术有限公司 一种蓝牙音频啸叫检测抑制方法、装置、介质及蓝牙设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216190A (ja) * 2001-11-14 2003-07-30 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2003323199A (ja) * 2002-04-26 2003-11-14 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置及び符号化方法、復号化方法
JP2004102186A (ja) * 2002-09-12 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法
JP2004521394A (ja) * 2001-06-28 2004-07-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 広帯域信号伝送システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2779886B2 (ja) * 1992-10-05 1998-07-23 日本電信電話株式会社 広帯域音声信号復元方法
JP2964879B2 (ja) * 1994-08-22 1999-10-18 日本電気株式会社 ポストフィルタ
JP3707153B2 (ja) * 1996-09-24 2005-10-19 ソニー株式会社 ベクトル量子化方法、音声符号化方法及び装置
DE69721595T2 (de) * 1996-11-07 2003-11-27 Matsushita Electric Ind Co Ltd Verfahren zur Erzeugung eines Vektorquantisierungs-Codebuchs
GB2351889B (en) * 1999-07-06 2003-12-17 Ericsson Telefon Ab L M Speech band expansion
US7742927B2 (en) * 2000-04-18 2010-06-22 France Telecom Spectral enhancing method and device
DE60204038T2 (de) * 2001-11-02 2006-01-19 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zum codieren bzw. decodieren eines audiosignals
AU2003252727A1 (en) * 2002-08-01 2004-02-23 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and audio decoding method based on spectral band repliction
JP3861770B2 (ja) * 2002-08-21 2006-12-20 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
US7844451B2 (en) * 2003-09-16 2010-11-30 Panasonic Corporation Spectrum coding/decoding apparatus and method for reducing distortion of two band spectrums

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004521394A (ja) * 2001-06-28 2004-07-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 広帯域信号伝送システム
JP2003216190A (ja) * 2001-11-14 2003-07-30 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2003323199A (ja) * 2002-04-26 2003-11-14 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置及び符号化方法、復号化方法
JP2004102186A (ja) * 2002-09-12 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法

Also Published As

Publication number Publication date
RU2434324C1 (ru) 2011-11-20
BRPI0517780A2 (pt) 2011-04-19
WO2006049205A1 (ja) 2006-05-11
RU2007116937A (ru) 2008-11-20
JPWO2006049205A1 (ja) 2008-05-29
EP1808684A1 (en) 2007-07-18
US7983904B2 (en) 2011-07-19
CN101048649A (zh) 2007-10-03
RU2404506C2 (ru) 2010-11-20
EP1808684A4 (en) 2010-07-14
EP1808684B1 (en) 2014-07-30
US20080126082A1 (en) 2008-05-29
KR20070084002A (ko) 2007-08-24

Similar Documents

Publication Publication Date Title
JP4977472B2 (ja) スケーラブル復号化装置
JP4977471B2 (ja) 符号化装置及び符号化方法
JP4871894B2 (ja) 符号化装置、復号装置、符号化方法および復号方法
JP4859670B2 (ja) 音声符号化装置および音声符号化方法
RU2488897C1 (ru) Кодирующее устройство, декодирующее устройство и способ
JP5339919B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5383676B2 (ja) 符号化装置、復号装置およびこれらの方法
US8457319B2 (en) Stereo encoding device, stereo decoding device, and stereo encoding method
JP5036317B2 (ja) スケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法
WO2006041055A1 (ja) スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法
JPWO2007037361A1 (ja) 音声符号化装置および音声符号化方法
KR20070051910A (ko) 스케일러블 부호화 장치, 스케일러블 복호화 장치,스케일러블 부호화 방법, 스케일러블 복호화 방법, 통신단말 장치 및 기지국 장치
JP5236040B2 (ja) 符号化装置、復号装置、符号化方法および復号方法
JP4603485B2 (ja) 音声・楽音符号化装置及び音声・楽音符号化方法
WO2011045926A1 (ja) 符号化装置、復号装置およびこれらの方法
RU2459283C2 (ru) Кодирующее устройство, декодирующее устройство и способ
WO2011058752A1 (ja) 符号化装置、復号装置およびこれらの方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R150 Certificate of patent or registration of utility model

Ref document number: 4977472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees