JPWO2012046685A1 - 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体 - Google Patents

符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体 Download PDF

Info

Publication number
JPWO2012046685A1
JPWO2012046685A1 JP2012537696A JP2012537696A JPWO2012046685A1 JP WO2012046685 A1 JPWO2012046685 A1 JP WO2012046685A1 JP 2012537696 A JP2012537696 A JP 2012537696A JP 2012537696 A JP2012537696 A JP 2012537696A JP WO2012046685 A1 JPWO2012046685 A1 JP WO2012046685A1
Authority
JP
Japan
Prior art keywords
sample
samples
decoding
sample sequence
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012537696A
Other languages
English (en)
Other versions
JP5612698B2 (ja
Inventor
守谷 健弘
健弘 守谷
登 原田
登 原田
優 鎌本
優 鎌本
祐介 日和▲崎▼
祐介 日和▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012537696A priority Critical patent/JP5612698B2/ja
Publication of JPWO2012046685A1 publication Critical patent/JPWO2012046685A1/ja
Application granted granted Critical
Publication of JP5612698B2 publication Critical patent/JP5612698B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

音響信号の低ビットでの符号化による品質を低演算量で改善する技術を提供する。符号化処理にて、音響信号に由来する周波数領域のサンプル列に含まれるサンプルの並べ替えを行う。例えば、基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプルが集まるように、サンプル列に含まれる少なくとも一部のサンプルを並べ替える。この並べ替えを特定する情報(補助情報)も出力する。そして、並べ替えで得られたサンプル列に対して符号化を行う。復号処理では、入力された符号列を復号して周波数領域のサンプル列を得て、さらに、この得られたサンプル列から補助情報に基づいて元のサンプル列を得る。

Description

本発明は、音響信号の符号化技術並びにこの符号化技術によって得られた符号列の復号技術に関する。より詳しくは、音響信号を周波数領域に変換して得られた周波数領域のサンプル列の符号化とその復号に関する。
低ビット(例えば10kbit/s〜20kbit/s程度)の音声信号や音響信号の符号化方法として、DFT(離散フーリエ変換)やMDCT(変形離散コサイン変換)などの直交変換係数に対する適応符号化が知られている。例えば標準規格技術であるAMR-WB+(Extended Adaptive Multi-Rate Wideband)は、TCX(transform coded excitation:変換符号化励振)符号化モードを持ち、この中ではDFT係数を8サンプルごとに正規化してベクトル量子化している。
また、TwinVQ(Transform domain Weighted Interleave Vector Quantization)では、MDCT係数全体を固定の規則で並べ替えた後のサンプルの集まりがベクトルとして符号化される。この際、例えば、MDCT係数からピッチ周期ごとの大きな成分を抽出し、ピッチ周期に対応する情報を符号化し、さらにピッチ周期ごとの大きな成分を取り除いた残りのMDCT係数列を並べ替えて、並べ替え後のMDCT係数列を所定サンプル数ごとにベクトル量子化することにより符号化する方法などが採用される場合もある。TwinVQに関する文献として非特許文献1,2を例示できる。
また、等間隔にサンプルを抽出して符号化する技術として例えば特許文献1を例示できる。
特開2009−156971号公報
T. Moriya, N. Iwakami, A. Jin, K. Ikeda, and S. Miki, "A Design of Transform Coder for Both Speech and Audio Signals at 1 bit/sample," Proc. ICASSP'97, pp. 1371-1374, 1997. J.Herre, E. Allamanche, K. Brandenburg, M. Dietz, B.Teichmann, B. Grill, A. Jin, T. Moriya, N. Iwakami, T. Norimatsu, M. Tsushima, T. Ishikawa, "The integrated Filterbank Based Scalable MPEG-4 Audio Coder," 105th Convention Audio Engineering Society, 4810, 1998.
AMR-WB+をはじめ、TCXに基づく符号化では周期性に基づく周波数領域の係数の振幅のばらつきは考慮されていないため、ばらつきの大きい振幅をまとめて符号化すると符号化効率は低下してしまう。TCXでの量子化や符号化には各種変形例があるが、例えば、量子化により離散値となったMDCT係数を周波数の低いほうから並べた系列を適応型算術符号化によって圧縮を行う場合を考える。この場合、複数のサンプルを1シンボル(符号化単位)とし、そのシンボルの直前のシンボルに依存して割り当て符号を適応的に制御する。一般に、振幅が小さければ短い符号が割り当てられ、振幅が大きい場合には長い符号が割り当てられる。シンボルの直前のシンボルに依存して割り当て符号を適応的に制御するため、振幅の小さい値が連続すると、ますます短い符号が割り当てられる一方、小さい振幅のサンプルのあとに急に大きな振幅が出現すると非常に長い符号が割り当てられてしまう。つまり、系列内における隣接するサンプル間での振幅の絶対値の変動が大きいと、系列に対する適応型算術符号化によって得られる符号の総符号量が大きくなってしまう。
また、従来のTwinVQは、所定サンプルにより構成されるベクトルの全てに同じ符号帳の符号を割り当てる固定長符号のベクトル量子化を用いることを前提として設計されており、可変長符号化を使ってMDCT係数を符号化することは一切想定されていなかった。
本発明は、このような技術的背景に鑑みて、離散信号、特に音声音響ディジタル信号の低ビットでの符号化による品質を低演算量で改善する符号化・復号技術を提供することを目的とする。
本発明の符号化技術によると、所定の時間区間の音響信号に由来する周波数領域のサンプル列について、(1)サンプル列の全てのサンプルが含まれ、かつ、(2)サンプル列のうちの音響信号の周期性または基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、サンプル列のうちの音響信号の周期性または基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプル、の全部または一部のサンプルが集まるようにサンプル列に含まれる少なくとも一部のサンプルを並べ替えたもの、を並べ替え後のサンプル列として出力する[並べ替え処理]。そして、並べ替えによって得られたサンプル列を符号化する[符号化手続]。
なお、復号を考慮して、音響信号の周期性を表す情報、音響信号の基本周波数を表す情報、並べ替え処理における音響信号の周期性または基本周波数に対応するサンプルと音響信号の周期性または基本周波数の整数倍に対応するサンプルとの間隔を表す情報、のいずれかを補助情報として出力する。
並べ替え処理では、最低の周波数から第1の所定の周波数までの各周波数に対応するサンプルの並べ替えを行うようにしてもよく、この場合、最低の周波数から第1の所定の周波数より小さい第2の所定の周波数までの各周波数に対応するサンプルの並べ替えを行わないようにしてもよい。あるいは、並べ替え処理では、最低の周波数から所定の周波数までの各周波数に対応するサンプルの並べ替えを行わないようにしてもよい。
並べ替え処理では、所定の時間区間の音響信号に対応する予測利得またはその推定値が予め定めた閾値以下である場合は、サンプル列を並べ替え後のサンプル列として出力するようにしてもよい。
あるいは、本発明の符号化技術によると、所定の時間区間の音響信号に由来する周波数領域のサンプル列について、(1)サンプル列の全てのサンプルが含まれ、かつ、(2)サンプルの大きさを反映する指標が同等か同程度のサンプルが集まるようにサンプル列に含まれる少なくとも一部のサンプルを並べ替えたもの、を並べ替え後のサンプル列として出力する[並べ替え処理]。そして、並べ替えによって得られたサンプル列を符号化する[符号化手続]。この場合、指標は、例えばサンプルの振幅の絶対値またはパワーであり、並べ替え処理では、並べ替え後のサンプル列の指標の包絡線が周波数の増大に伴って増大傾向または下降傾向を示すように、サンプル列に含まれる少なくとも一部のサンプルを並べ替えるようにしてもよい。
このような本発明の符号化技術の符号化手続では、例えば、並べ替え処理で得られたサンプル列のうち、(1)サンプルの大きさを反映する指標に関する予め定められた条件を満たす範囲に含まれるサンプルの集まりについて一つのサンプルごとに第1の可変長符号化を行い、(2)それ以外のサンプルの集まりの少なくとも一部について複数のサンプルごとに第2の可変長符号化を行う。あるいは、符号化処理では、例えば、並べ替え処理で得られたサンプル列のうち、(1)サンプルの大きさを反映する指標に関する予め定められた条件を満たす範囲に含まれるサンプルの集まりについて一つのサンプルごとに第1の可変長符号化を行い、(2)ゼロの大きさに対応する指標を有するサンプルの連続数を表す符号を出力する符号化を行い、(3)それ以外のサンプルの集まりの少なくとも一部について複数のサンプルごとに第2の可変長符号化を行う。
本発明の復号技術によると、所定の時間区間ごとに、入力された符号列を復号して、周波数領域のサンプル列を得て[復号手続]、このサンプル列に含まれる少なくとも一部のサンプルを、当該サンプル列への並べ替えを特定する情報(補助情報)に基づいて並べ替えて音響信号に由来するサンプル列を得る[回復処理]。復号手続で得られたサンプル列は、(1)音響信号に由来するサンプル列を構成する全てのサンプルを含み、かつ、(2)音響信号の周期性または基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、音響信号の周期性または基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプル、の全部または一部のサンプルが集まるように、周波数領域のサンプルが並べられたものである。
回復処理で用いられる補助情報は、例えば、音響信号の周期性を表す情報、音響信号の基本周波数を表す情報、音響信号の周期性または基本周波数に対応するサンプルと音響信号の周期性または基本周波数の整数倍に対応するサンプルとの間隔を表す情報、のいずれかである。
復号手続で得られたサンプル列は、例えば、最低の周波数から第1の所定の周波数までの各周波数に対応するサンプルの並べ替えが行われたサンプル列であり、この場合、最低の周波数から第1の所定の周波数より小さい第2の所定の周波数までの各周波数に対応するサンプルの並べ替えが行われていないサンプル列である場合もある。あるいは、復号手続で得られたサンプル列は、例えば、最低の周波数から所定の周波数までの各周波数に対応するサンプルの並べ替えが行われていないサンプル列である。
回復処理では、入力された量子化済PARCOR係数から計算される予測利得の推定値が予め定めた閾値以下である場合は、復号手続で得られたサンプル列をそのまま音響信号に由来するサンプル列としてもよい。
あるいは、本発明の復号技術によると、所定の時間区間ごとに、入力された符号列を復号して、周波数領域のサンプル列を得て[復号手続]、このサンプル列に含まれる少なくとも一部のサンプルを、当該サンプル列への並べ替えを特定する情報(補助情報)に基づいて並べ替えて音響信号に由来するサンプル列に戻す[回復処理]。復号手続で得られたサンプル列は、(1)音響信号に由来するサンプル列を構成する全てのサンプルを含み、かつ、(2)サンプルの大きさを反映する指標が同等か同程度のサンプルが集まるように、周波数領域のサンプルが並べられたものである。この場合、指標は、例えば、サンプルの振幅の絶対値またはパワーであり、復号手続で得られたサンプル列は、並べ替えた後のサンプル列の指標の包絡線が周波数の増大に伴って増大傾向または下降傾向を示すように周波数領域のサンプルが並べられたものである。
このような本発明の復号技術の復号手続では、例えば、入力された符号列のうち、(1)サンプルの大きさを反映する指標に関する予め定められた条件を満たす範囲に含まれるサンプルの集まりについて一つのサンプルごとに第1の可変長符号化で得られた符号を復号し、(2)それ以外のサンプルの集まりの少なくとも一部について複数のサンプルごとに第2の可変長符号化で得られた符号を復号する。あるいは、復号手続では、例えば、入力された符号列のうち、(1)サンプルの大きさを反映する指標に関する予め定められた条件を満たす範囲に含まれるサンプルの集まりについて一つのサンプルごとに第1の可変長符号化で得られた符号を復号し、(2)ゼロの大きさに対応する指標を有するサンプルの連続数を表す符号を復号し、(3)それ以外のサンプルの集まりの少なくとも一部について複数のサンプルごとに第2の可変長符号化で得られた符号を復号する。
本発明によると、音響信号に由来する周波数領域のサンプル列に含まれる少なくとも一部のサンプルを、音響信号の周期性または基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、音響信号の周期性または基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプルが集まるように並べ替える。このように、サンプルの大きさを反映する指標(例えば振幅の絶対値)が同等か同程度のサンプルが集まっていることから、サンプル列内での隣接するサンプル間でのサンプルの大きさを反映する指標の変動が小さくなり、サンプル列に対する適応型算術符号化によって得られる符号の総符号量を抑制できる。また、並べ替えという少ない演算量で実行可能な処理を行うから、符号化効率の向上や量子化歪の軽減などが実現される。
符号化装置の実施形態の機能構成例を示す図。 符号化方法の実施形態の処理手順を示す図。 サンプル列に含まれるサンプルの並べ替えの一例を説明するための概念図。 サンプル列に含まれるサンプルの並べ替えの一例を説明するための概念図。 復号装置の実施形態の機能構成例を示す図。 復号方法の実施形態の処理手順を示す図。
図面を参照しながら本発明の実施形態を説明する。なお、重複する構成要素には同じ参照符号を当てて重複説明を省略する。
本発明は、所定の時間区間の音響信号に由来する周波数領域のサンプル列を量子化する枠組みの中で、周波数領域のサンプルの特徴量に基づくサンプルの並べ替えによって量子化歪を小さくしつつ、可変長符号化を利用することで符号量を少なくするという符号化の改善を特徴の一つとする。以下、所定の時間区間をフレームと呼称する。例えば基本周期が比較的明瞭なフレームでは周期性に合わせたサンプルの並べ替えによって大きな振幅のサンプルを集中させることにより符号化の改善が実現する。ここで、音響信号に由来する周波数領域のサンプル列として、例えば、フレーム単位の音声音響ディジタル信号が時間領域から周波数領域に変換して得られるDFT係数列やMDCT係数列、このような係数列に対して正規化や重み付けや量子化などの処理が適用された係数列などを例示することができる。以下、MDCT係数列を例にとって本発明の実施形態を説明する。
[実施形態]
「符号化処理」
最初に図1〜図4を参照して符号化装置100が行う符号化処理を説明する。
「周波数領域変換部1」
まず、周波数領域変換部1がフレーム単位で音声音響ディジタル信号を周波数領域のN点のMDCT係数列に変換する(ステップS1)。
一般論として、符号化側ではMDCT係数列を量子化して、量子化されたMDCT係数列を符号化して、得られた符号列を復号側へ伝送し、復号側では当該符号列から量子化されたMDCT係数列を再構成し、さらに逆MDCT変換によって時間領域の音声音響ディジタル信号を再構成することができる。ところで、MDCT係数の振幅は近似的に通常のDFTのパワースペクトルと同じ振幅包絡(パワースペクトル包絡)を持つ。このため、振幅包絡の対数値に比例する情報割り当てを行うことによって、全帯域のMDCT係数の量子化歪(量子化誤差)を均一に分散させることができ、全体の量子化歪を小さくすることができ、加えて情報圧縮も実現される。なお、パワースペクトル包絡は線形予測分析によって求められた線形予測係数を使って効率よく推定することができる。このような量子化誤差を制御する方法としては、各MDCT係数の量子化ビットを適応的に割り当てる(振幅を平坦にした後で量子化のステップ幅を調整する)方法や、重み付けベクトル量子化により適応的に重みをつけて符号を決定する方法がある。ここでは、本発明の実施形態において実行される量子化方法の一例を説明するが、説明する量子化方法に限定されるものではないことに留意されたい。
「重み付け包絡正規化部2」
重み付け包絡正規化部2が、フレーム単位の音声音響ディジタル信号に対する線形予測分析によって求められた線形予測係数を用いて推定された音声音響ディジタル信号のパワースペクトル包絡係数列によって、入力されたMDCT係数列の各係数を正規化し、重み付け正規化MDCT係数列を出力する(ステップS2)。ここでは聴覚的に歪が小さくなるような量子化の実現のために、重み付け包絡正規化部2は、パワースペクトル包絡を鈍らせた重み付けパワースペクトル包絡係数列を用いて、フレーム単位でMDCT係数列の各係数を正規化する。この結果、重み付け正規化MDCT係数列は、入力されたMDCT係数列ほどの大きな振幅の傾きや振幅の凹凸を持たないが、音声音響ディジタル信号のパワースペクトル包絡係数列と類似の大小関係を有するもの、すなわち、低い周波数に対応する係数側の領域にやや大きな振幅を持ち、ピッチ周期に起因する微細構造をもつもの、となる。
[重み付け包絡正規化処理の具体例]
N点のMDCT係数列の各係数X(1),・・・,X(N)に対応するパワースペクトル包絡係数列の各係数W(1),・・・,W(N)は、線形予測係数を周波数領域に変換して得ることができる。例えば、全極型モデルであるp次自己回帰過程により、時刻tの時間信号x(t)は、p時点まで遡った過去の自分自身の値x(t-1),・・・,x(t-p)と予測残差e(t)と線形予測係数α1,・・・,αpによって式(1)で表される。このとき、パワースペクトル包絡係数列の各係数W(n)[1≦n≦N]は式(2)で表される。exp(・)はネイピア数を底とする指数関数、jは虚数単位、σ2は予測残差エネルギーである。
Figure 2012046685
線形予測係数は、周波数領域変換部1に入力された音声音響ディジタル信号を重み付け包絡正規化部2によって線形予測分析して得られたものでもよいし、符号化装置100内に在る図示しない他の手段によって音声音響ディジタル信号を線形予測分析して得られたものであってもよい。このような場合には、重み付け包絡正規化部2が線形予測係数を用いてパワースペクトル包絡係数列の各係数W(1),・・・,W(N)を求める。また、符号化装置100内に在る他の手段(パワースペクトル包絡係数列計算部7)によってパワースペクトル包絡係数列の各係数W(1),・・・,W(N)が既に得られている場合には、重み付け包絡正規化部2は、このパワースペクトル包絡係数列の各係数W(1),・・・,W(N)を用いることができる。なお、後述する復号装置200でも符号化装置100で得られた値と同じ値を得る必要があるため、量子化された線形予測係数および/またはパワースペクトル包絡係数列が利用される。以後の説明において、特に断りが無い限り、「線形予測係数」ないし「パワースペクトル包絡係数列」は量子化された線形予測係数ないしパワースペクトル包絡係数列を意味する。また、線形予測係数は例えば従来的な符号化技術によって符号化されて予測係数符号が復号側へ伝送される。従来的な符号化技術とは、例えば、線形予測係数そのものに対応する符号を予測係数符号とする符号化技術、線形予測係数をLSPパラメータに変換してLSPパラメータに対応する符号を予測係数符号とする符号化技術、線形予測係数をPARCOR係数に変換してPARCOR係数に対応する符号を予測係数符号とする符号化技術、などである。符号化装置100内に在る他の手段によってパワースペクトル包絡係数列が得られる構成である場合は、符号化装置100内に在る他の手段において線形予測係数が従来的な符号化技術によって符号化されて予測係数符号が復号側へ伝送される。
ここでは、重み付け包絡正規化処理の具体例として二つの例を示すが、本発明ではこれらの例に限定されるものではない。
<例1>
重み付け包絡正規化部2は、MDCT係数列の各係数X(1),・・・,X(N)を当該各係数に対応するパワースペクトル包絡係数列の各係数の補正値Wγ(1),・・・,Wγ(N)で除算することによって、重み付け正規化MDCT係数列の各係数X(1)/Wγ(1),・・・,X(N)/Wγ(N)を得る処理を行う。補正値Wγ(n)[1≦n≦N]は式(3)で与えられる。但し、γは1以下の正の定数であり、パワースペクトル係数を鈍らせる定数である。
Figure 2012046685
<例2>
重み付け包絡正規化部2は、MDCT係数列の各係数X(1),・・・,X(N)を当該各係数に対応するパワースペクトル包絡係数列の各係数のβ乗(0<β<1)の値W(1)β,・・・,W(N)βで除算することによって、重み付け正規化MDCT係数列の各係数X(1)/W(1)β,・・・,X(N)/W(N)βを得る処理を行う。
この結果、フレーム単位の重み付け正規化MDCT係数列が得られるが、重み付け正規化MDCT係数列は入力されたMDCT係数列ほどの大きな振幅の傾きや振幅の凹凸を持たないが、入力されたMDCT係数列のパワースペクトル包絡と類似の大小関係を有するもの、すなわち、低い周波数に対応する係数側の領域にやや大きな振幅を持ち、ピッチ周期に起因する微細構造をもつもの、となる。
なお、重み付け包絡正規化処理に対応する逆処理、つまり、重み付け正規化MDCT係数列からMDCT係数列を復元する処理が復号側にて行われるため、パワースペクトル包絡係数列から重み付けパワースペクトル包絡係数列を算出する方法を符号化側と復号側で共通の設定にしておくことが必要である。
「正規化利得計算部3」
次に、正規化利得計算部3が、フレームごとに、重み付け正規化MDCT係数列の各係数を与えられた総ビット数で量子化できるように、全周波数に亘る振幅値の和またはエネルギー値を用いて量子化ステップ幅を決定し、この量子化ステップ幅になるように重み付け正規化MDCT係数列の各係数を割り算する係数(以下、利得という。)を求める(ステップS3)。この利得を表す情報は、利得情報として復号側へ伝送される。正規化利得計算部3は、フレームごとに、重み付け正規化MDCT係数列の各係数をこの利得で正規化(除算)する。
「量子化部4」
次に、量子化部4が、フレームごとに、利得で正規化された重み付け正規化MDCT係数列の各係数をステップS3の処理で決定された量子化ステップ幅で量子化する(ステップS4)。
「並べ替え部5」
ステップS4の処理で得られたフレーム単位の量子化MDCT係数列は、本実施形態の要部である並べ替え部5の入力となるが、並べ替え部5の入力は、ステップS1〜ステップS4の各処理で得られた係数列に限定されない。このことを明示的に理解するため、以下、並べ替え部5の入力を音響信号に由来する「周波数領域のサンプル列」あるいは単に「サンプル列」と呼称することにする。この実施形態では、ステップS4の処理で得られた量子化MDCT係数列が「周波数領域のサンプル列」に相当し、この場合、周波数領域のサンプル列を構成するサンプルは量子化MDCT係数列に含まれる係数に相当する。
並べ替え部5は、フレームごとに、(1)周波数領域のサンプル列の全てのサンプルを含み、かつ、(2)サンプルの大きさを反映する指標が同等か同程度のサンプルが集まるように周波数領域のサンプル列に含まれる少なくとも一部のサンプルを並べ替えたもの、を並べ替え後のサンプル列として出力する(ステップS5)。ここで「サンプルの大きさを反映する指標」とは、例えばサンプルの振幅の絶対値やパワー(自乗値)であるが、これらに限定されない。
[並べ替え処理の詳細]
この並べ替え処理の具体例を説明する。例えば、並べ替え部5は、(1)サンプル列の全てのサンプルを含み、かつ、(2)サンプル列のうちの音響信号の周期性または基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、サンプル列のうちの音響信号の周期性または基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプル、の全部または一部のサンプルが集まるようにサンプル列に含まれる少なくとも一部のサンプルを並べ替えたもの、を並べ替え後のサンプル列として出力する。つまり、音響信号の周期性または基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、当該音響信号の周期性または基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプルが集まるように、入力されたサンプル列に含まれる少なくとも一部のサンプルが並べ替えられる。
この理由は、基本周波数や高調波(基本周波数の整数倍波)に対応するサンプルとそれらの近傍のサンプルの振幅の絶対値やパワーは、基本周波数と高調波を除く周波数領域に対応するサンプルの振幅の絶対値やパワーよりも大きいという音響信号、特に音声や楽音などに顕著な特徴に基づく。ここで、音声や楽音などの音響信号から抽出される音響信号の周期性の特徴量(例えばピッチ周期)は、基本周波数と等価なものであるから、音響信号の周期性の特徴量(例えばピッチ周期)やその整数倍に対応するサンプルとそれらの近傍のサンプルの振幅の絶対値やパワーは、周期性特徴量やその整数倍を除く周波数領域に対応するサンプルの振幅の絶対値やパワーよりも大きいという特徴も認められる。
そして、音響信号の周期性または基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、当該音響信号の周期性または基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプルは、低周波側に一まとまりになるように集められる。以下、音響信号の周期性または基本周波数に対応するサンプルと当該音響信号の周期性または基本周波数の整数倍に対応するサンプルとの間隔(以下、単に間隔という)を表す記号をTとする。
具体例として、並べ替え部5は、入力されたサンプル列から、間隔Tの整数倍に対応するサンプルF(nT)の前後のサンプルF(nT-1),F(nT+1)を含めた3個のサンプルF(nT-1),F(nT),F(nT+1)を選択する。F(j)は、周波数に対応するサンプルインデックスを表す番号jに対応するサンプルである。nは、1からnT+1が予め設定した対象サンプルの上限Nを超えない範囲の各整数とする。n=1は基本周波数に対応し、n>1は高調波に対応する。周波数に対応するサンプルインデックスを表す番号jの最大値をjmaxとする。nに応じて選択されたサンプルの集まりをサンプル群と呼称する。上限Nは、jmaxと一致させてもよいが、音声や楽音などの音響信号では高域におけるサンプルの指標は一般的に十分に小さいことが多いので、後述する符号化効率の向上のために大きい指標を有するサンプルを低周波側に集めるという観点から、Nはjmaxよりも小さい値であってもよい。例えば、Nはjmaxの半分程度の値であってもよい。上限Nに基づいて定まるnの最大値をnmaxとすると、入力されたサンプル列に含まれるサンプルのうち、最低の周波数から第1の所定の周波数nmax*T+1までの各周波数に対応するサンプルが並べ替えの対象となる。なお、記号*は乗算を表す。
並べ替え部5は、選択されたサンプルF(j)を、元の番号jの大小関係を保ったままサンプル列の先頭から順に配置してサンプル列Aを生成する。例えば、nが1から5までの各整数を表す場合、並べ替え部5は、第1のサンプル群F(T-1),F(T),F(T+1)、第2のサンプル群F(2T-1),F(2T),F(2T+1)、第3のサンプル群F(3T-1),F(3T),F(3T+1)、第4のサンプル群F(4T-1),F(4T),F(4T+1)、第5のサンプル群F(5T-1),F(5T),F(5T+1)をサンプル列の先頭から並べる。つまり、15個のサンプルF(T-1),F(T),F(T+1),F(2T-1),F(2T),F(2T+1),F(3T-1),F(3T),F(3T+1),F(4T-1),F(4T),F(4T+1),F(5T-1),F(5T),F(5T+1)がこの順番でサンプル列の先頭から並べられ、これら15個のサンプルがサンプル列Aを構成する。
さらに、並べ替え部5は、選択されなかったサンプルF(j)を、元の番号の大小関係を保ったままサンプル列Aの最後から順に配置する。選択されなかったサンプルF(j)は、サンプル列Aを構成するサンプル群の間に位置するサンプルであり、このような連続した一まとまりのサンプルをサンプルセットと呼称する。つまり、上述の例であれば、第1のサンプルセットF(1),…,F(T-2)、第2のサンプルセットF(T+2),…,F(2T-2)、第3のサンプルセットF(2T+2),…,F(3T-2)、第4のサンプルセットF(3T+2),…,F(4T-2)、第5のサンプルセットF(4T+2),…,F(5T-2)、第6のサンプルセットF(5T+2),…F(jmax)がサンプル列Aの最後から順に並べられ、これらのサンプルがサンプル列Bを構成する。
要するに、この例であれば、入力されたサンプル列F(j)(1≦j≦jmax)は、F(T-1),F(T),F(T+1),F(2T-1),F(2T),F(2T+1),F(3T-1),F(3T),F(3T+1),F(4T-1),F(4T),F(4T+1),F(5T-1),F(5T),F(5T+1),F(1),…,F(T-2),F(T+2),…,F(2T-2),F(2T+2),…,F(3T-2),F(3T+2),…,F(4T-2),F(4T+2),…,F(5T-2),F(5T+2),…F(jmax)に並べ替えられることになる(図3参照)。
なお、低周波数帯域では、音響信号の周期性や基本周波数に対応するサンプルやその整数倍のサンプル以外のサンプルでも、各サンプルは振幅やパワーが大きな値を持つことが多い。そこで、最低の周波数から所定の周波数fまでの各周波数に対応するサンプルの並べ替えを行わないようにしてもよい。例えば、所定の周波数fをnT+αとすれば、並べ替え前のサンプルF(1),…,F(nT+α)を並べ替えず、並べ替え前のF(nT+α+1)以降のサンプルを並べ替えの対象とする。αは0以上かつTよりもある程度小さい整数(例えばT/2を超えない整数)に予め設定されている。ここでnは2以上の整数であってもよい。あるいは、並べ替え前の最低周波数に対応するサンプルから連続するP個のサンプルF(1),…,F(P)を並べ替えないようにして、並べ替え前のF(P+1)以降のサンプルを並べ替えの対象としてもよい。この場合、所定の周波数fはPである。並べ替えの対象となるサンプルの集まりに対する並べ替えの基準は上述のとおりである。なお、第1の所定の周波数が設定されている場合、所定の周波数f(第2の所定の周波数)は第1の所定の周波数よりも小さい。
例えば、並べ替え前のサンプルF(1),…,F(T+1)を並べ替えず、並べ替え前のF(T+2)以降のサンプルを並べ替えの対象とする場合、上述の並べ替えの基準に従うと、入力されたサンプル列F(j)(1≦j≦jmax)は、F(1),…,F(T+1),F(2T-1),F(2T),F(2T+1),F(3T-1),F(3T),F(3T+1),F(4T-1),F(4T),F(4T+1),F(5T-1),F(5T),F(5T+1),F(T+2),…,F(2T-2),F(2T+2),…,F(3T-2),F(3T+2),…,F(4T-2),F(4T+2),…,F(5T-2),F(5T+2),…F(jmax)に並べ替えられることになる(図4参照)。
並べ替えの対象となる番号jの最大値を決定付ける上限Nあるいは第1の所定の周波数を全てのフレームに共通の値とせずに、フレーム毎に異なる上限Nあるいは第1の所定の周波数を設定してもよい。この場合、フレームごとに上限Nあるいは第1の所定の周波数を指定する情報を復号側へ送ればよい。また、並べ替えの対象となる番号jの最大値を指定するのではなく、並べ替えるサンプル群の個数を指定してもよく、この場合、サンプル群の個数をフレーム毎に設定して、サンプル群の個数を指定する情報を復号側へ送ってもよい。もちろん、並べ替えるサンプル群の個数を全てのフレームに共通としてもよい。また、第2の所定の周波数fについても、全てのフレームに共通の値とせずに、フレーム毎に異なる第2の所定の周波数fを設定してもよい。この場合、フレームごとに第2の所定の周波数を指定する情報を復号側へ送ればよい。
このように並べ替えられた後のサンプル列は、周波数を横軸とし、サンプルの指標を縦軸とした場合に、サンプルの指標の包絡線が周波数の増大に伴って下降傾向を示すことになる。この理由として、周波数領域のサンプル列は音響信号、特に音声信号や楽音信号の特徴として、一般的に高周波成分が少ないという事実が挙げられる。換言すれば、並べ替え部5は、サンプルの指標の包絡線が周波数の増大に伴って下降傾向を示すように入力されたサンプル列に含まれる少なくとも一部のサンプルを並べ替えると言ってもよい。なお、図3および図4では、サンプルの並べ替えによって低域側に、より大きな振幅を持つサンプルが偏ることを分かりやすく図示するため、周波数領域のサンプル列に含まれる全てのサンプルが正の値である場合の例を図示してある。実際には、周波数領域のサンプル列に含まれる各サンプルは正または負またはゼロの値である場合も多いが、このような場合であっても、上述の並べ替え処理あるいは後述の並べ替え処理を実行すればよい。
さらに、この実施形態では低域側に、周期性または基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、周期性または基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプルを集める並べ替えを行ったが、逆に高域側に、周期性または基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、周期性または基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプルを集める並べ替えを行ってもよい。この場合、サンプル列Aではサンプル群が逆順で並べられ、サンプル列Bではサンプルセットが逆順で並べられ、低域側にサンプル列Bが配置されサンプルBの後ろにサンプル列Aが配置される。つまり、上述の例であれば、低域側から、第6のサンプルセットF(5T+2),…F(jmax)、第5のサンプルセットF(4T+2),…,F(5T-2)、第4のサンプルセットF(3T+2),…,F(4T-2)、第3のサンプルセットF(2T+2),…,F(3T-2)、第2のサンプルセットF(T+2),…,F(2T-2)、第1のサンプルセットF(1),…,F(T-2)、第5のサンプル群F(5T-1),F(5T),F(5T+1)、第4のサンプル群F(4T-1),F(4T),F(4T+1)、第3のサンプル群F(3T-1),F(3T),F(3T+1)、第2のサンプル群F(2T-1),F(2T),F(2T+1)、第1のサンプル群F(T-1),F(T),F(T+1)の順番でサンプルが並べられる。
このように並べ替えられた後のサンプル列は、周波数を横軸とし、サンプルの指標を縦軸とした場合に、サンプルの指標の包絡線が周波数の増大に伴って増大傾向を示すことになる。換言すれば、並べ替え部5は、サンプルの指標の包絡線が周波数の増大に伴って増大傾向を示すように入力されたサンプル列に含まれる少なくとも一部のサンプルを並べ替えると言ってもよい。
間隔Tは整数ではなく小数(たとえば5.0、5.25、5.5、5.75)であってもよい。この場合、例えば、R(nT)をnTを四捨五入した値として、F(R(nT-1)),F(R(nT)),F(R(nT+1))が選択されることになる。
[間隔Tの決定方法]
間隔Tは、入力されたサンプル列に応じて、つまりフレームごとに、値を設定することが好ましい。フレームごとに間隔Tを決定する方法として、例えば、サンプルの指標(絶対値や二乗値)の周期性を探索し、平均絶対値や平均二乗値の偏りが大きくなるように間隔Tを設定する方法を採用してもよい。
間隔Tの決定方法として種々考えられるが、ここでは間隔Tを決定する具体的手順の一例を説明する。Tを周波数領域の周期(間隔)の候補パラメータとし、Tに対応して選択されるサンプル群に含まれる全てのサンプルの指標を加算してE(T)を求める。ここではサンプルの指標を|F(j)|と表す。Tに対応して選択されるサンプル群に含まれる全てのサンプルの番号jの集合をMとすると、E(T)=Σj∈M|F(j)|である。上述の具体例であれば、E(T)=Σj∈M|F(j)|=F(T-1)+F(T)+F(T+1)+F(2T-1)+F(2T)+F(2T+1)+F(3T-1)+F(3T)+F(3T+1)+F(4T-1)+F(4T)+F(4T+1)+F(5T-1)+F(5T)+F(5T+1)である。他方、全てのサンプルの指標の和Dを求める。つまり、D=Σj=1 jmax|F(j)|である。そして、間隔Tの決定基準として、サンプルの平均絶対値振幅AVE_E=E(T)/card(M)と、サンプル列全体の平均絶対値振幅AVE_D=D/jmaxを求める。ここでcard(M)は集合Mの要素数(濃度)を表す。そして、AVE_Eが最大となるようなT_MAXを探し、さらにAVE_Eの最大値AVE_E_MAXがAVE_E_MAX>AVE_D*2を満足する場合に、周期性成分への集中が明確であると判断して、このときのT_MAXを間隔Tとする。
このような方法に限定されず、例えば、周波数領域の周期(間隔)Tを、符号化装置100内の図示しない別の手段によって求めた基本周波数や時間領域のピッチ周期を変換して求めてもよい。また、上述のような周期性を利用する間隔Tの決定に限らず、サンプル群を低域側に集める場合にはサンプル列Bの後半に、サンプル群を高域側に集める場合にはサンプル列Bの前半に、0の振幅を持つサンプルが長く続くように間隔Tを決定する方法を採用してもよい。
また、並べ替え部5では予め設定された複数のTの値のそれぞれに基づいてサンプル列の並べ替えを実施し、後述する符号化部6では各Tの値に対応する符号列の符号量を得て、最も符号量が小さい間隔Tを選択するという方法を採用してもよい。この場合は、後述するサンプル列の並べ替えを特定する補助情報は並べ替え部5からではなく符号化部6から出力される。さらには、全てのフレームについて間隔Tを予め定めた1つの値とすることも可能である。
[サンプル列の並べ替えを特定する補助情報]
並べ替え部5または符号化部6は、サンプル列の並べ替えを特定する補助情報(第1補助情報)、すなわち、音響信号の周期性を表す情報、または基本周波数を表す情報、または音響信号の周期性または基本周波数に対応するサンプルと音響信号の周期性または基本周波数の整数倍に対応するサンプルとの間隔Tを表す情報を出力する。例えば間隔Tをフレーム毎に決定する場合は、サンプル列の並べ替えを特定する補助情報もフレーム毎に出力されることになる。サンプル列の並べ替えを特定する補助情報は、周期性、基本周波数または間隔Tをフレーム毎に符号化して得られる。この符号化は固定長符号化であってもよいし、可変長符号化して平均符号量を削減してもよい。可変長符号化する場合は、前フレームの間隔Tと現フレームの間隔Tの差分を可変長符号化した情報を間隔Tを表す情報としてもよい。同様に、前フレームの基本周波数と現フレームの基本周波数の差分を可変長符号化した情報を基本周波数を表す情報としてもよい。なお、符号化装置100内の図示しない別の手段によって基本周波数を表す情報が得られている場合は、並べ替え部5ではなく、当該別の手段によって得られた基本周波数を表す情報をサンプル列の並べ替えを特定する補助情報として用いてもよい。また、nを複数の選択肢から選択可能な場合には、nの上限値あるいは上述の上限Nをサンプル列の並べ替えを特定する補助情報に含めてもよい。
[集めるサンプルの個数]
また、この実施形態では、各サンプル群に含まれるサンプルの個数が、周期性や基本周波数ないしその整数倍に対応するサンプル(以下、中心サンプルという)とその前後1サンプルの計3サンプルであるという固定された個数の例を示したが、サンプル群に含まれるサンプルの個数やサンプルインデックスを可変とする場合には、サンプル群に含まれるサンプルの個数とサンプルインデックスの組み合わせが異なる複数の選択肢の中から選択された一つを表す情報もサンプル列の並べ替えを特定する補助情報に含める。
例えば、選択肢として、
(1)中心サンプルのみ、F(nT)
(2)中心サンプルとその前後1サンプルの計3サンプル、F(nT-1),F(nT),F(nT+1)
(3)中心サンプルとその前2サンプルの計3サンプル、F(nT-2),F(nT-1),F(nT)
(4)中心サンプルとその前3サンプルの計4サンプル、F(nT-3),F(nT-2),F(nT-1),F(nT)
(5)中心サンプルとその後2サンプルの計3サンプル、F(nT),F(nT+1),F(nT+2)
(6)中心サンプルとその後3サンプルの計4サンプル、F(nT),F(nT+1),F(nT+2),F(nT+3)
が設定されている場合に、(4)が選択されたならば、この(4)が選択されたことを表す情報がサンプル列の並べ替えを特定する補助情報に含められる。この例であれば、選択された選択肢を表す情報として3ビットあれば十分である。
なお、このような選択肢の中からどれを選択すればよいか決める方法として、並べ替え部5では各選択肢に対応する並べ替えを実施し、後述する符号化部6で各選択肢に対応する符号列の符号量を得て、最も符号量が小さい選択肢を選択するという方法を採用すればよい。この場合は、サンプル列の並べ替えを特定する補助情報は並べ替え部5からではなく符号化部6から出力される。この方法は、nを選択可能な場合にも妥当する。
ただし、選択肢としては、例えば、間隔Tに関する選択肢、サンプル群に含まれるサンプルの個数とサンプルインデックスの組み合わせに関する選択肢、nに関する選択肢があり、これらの選択肢の全ての組み合わせは相当の数になることが予想される。これらの選択肢の全ての組み合わせについて最終的な符号量を計算するには処理量がかかり、効率の観点から問題となる場合があるかもしれない。このような観点から処理量を削減するために、下記のような近似処理を用いることが好ましい。つまり、符号化部6では、選択肢の全ての組み合わせについて簡易で近似的な方法で符号量を推定し、例えば推定符号量が最小のものから所定の複数の候補を選択する等にて好ましいと推定される複数の候補を絞り込み、絞り込まれた候補(選択された候補)中で最小の符号量を与えた選択肢を選択すれば、少ない処理量で最終的な符号量をほぼ最適に小さくできる。
一つの例として、まず、サンプル群に含まれるサンプル数を“3サンプル”に固定した上で間隔Tの候補を少数に絞り込み、各候補に対して、サンプル群に含まれるサンプル数を組み合わせて、最も好ましい選択肢を選択するようにしてもよい。
あるいは、近似的にサンプルの指標の和を測定し、サンプルの指標の低域への集中度や、周波数軸で最高周波数から低域側に向かってゼロの振幅を持つサンプルの連続数で選択肢を決定してもよい。具体的には、並べ替え後のサンプル列の振幅の絶対値の和を全体のサンプル列の低域側から1/4の領域について求め、その総和が予め定められた閾値と比較して大きければ、好ましい並べ替えであることが想定される。また、並べ替え後のサンプル列の最高周波数から低域側に向かってゼロの振幅を持つサンプルの連続数が最長となる選択肢を選択する方法に拠ると、低域に指標の大きいサンプルが集中していることを意味しており、これも好ましい並べ替えであることが想定される。
上述のような近似処理で選択肢を決定すると、処理量は少ないが、必ずしも最終的な符号量を最小とするサンプル列の並べ替えが選択できない場合が生じる。このため、上述のような近似処理で複数の候補を選択し、これら少数の候補だけについて最終的に符号量を正確に計算して最も好ましい(符号量が小さくなる)ものを選択すればよい。
「符号化部6」
次に、符号化部6が、並べ替え部5が出力したサンプル列を符号化し、得られた符号列を出力する(ステップS6)。例えば、符号化部6は、並べ替え部5が出力したサンプル列に含まれるサンプルの振幅の偏りに応じて可変長符号化の方法を切り替えて符号化する。つまり、並べ替え部5によってフレーム内で、低域側(あるいは高域側)に振幅の大きなサンプルが集められているので、符号化部6はその偏りに適した方法による可変長符号化を行う。並べ替え部5が出力したサンプル列のように、局所的な領域ごとに同等か同程度の振幅を持つサンプルが集まっていると、例えば領域ごとに異なるライスパラメータでライス符号化することによって平均符号量を削減できる。以下、フレーム内で低域側(フレームの先頭に近い側)に振幅の大きなサンプルが集められている場合を例に採って説明する。
[符号化の具体例]
具体例として、符号化部6は、大きな振幅を持つサンプルが集まっている領域ではサンプルごとにライス符号化(ゴロム-ライス符号化ともいう)を適用する。この領域以外の領域では、符号化部6は、複数のサンプルをまとめたサンプルの集合に対する符号化にも適するエントロピー符号化(ハフマン符号化や算術符号化など)を適用する。ライス符号化の適用に関して、ライス符号化の適用領域とライスパラメータが固定されていてもよいし、あるいは、ライス符号化の適用領域とライスパラメータの組み合わせが異なる複数の選択肢の中から一つ選択できる構成であってもよい。このような複数の選択肢から一つを選択する際、ライス符号化の選択情報として、例えば下記のような可変長符号(記号""で囲まれたバイナリ値)を使うことができ、符号化部6は選択情報も出力する。
"1":ライス符号化を適用しない
"01":ライス符号化を先頭から1/32の領域にライスパラメータを1として適用する。
"001":ライス符号化を先頭から1/32の領域にライスパラメータを2として適用する。
"0001":ライス符号化を先頭から1/16の領域にライスパラメータを1として適用する。
"00001":ライス符号化を先頭から1/16の領域にライスパラメータを2として適用する。
"00000":ライス符号化を先頭から1/32の領域にライスパラメータを3として適用する。
なお、このような選択肢の中からどれを選択すればよいかを決める方法として、符号化処理で得られる各ライス符号化に対応する符号列の符号量を比較し、最も符号量が小さい選択肢を選択するという方法を採用すればよい。
また、並べ替え後のサンプル列に0の振幅を持つサンプルが長く続く領域が現れると、0の振幅を持つサンプルの連続数を例えばランレングス符号化することにより平均符号量を削減できる。このような場合、符号化部6は、(1)大きな振幅を持つサンプルが集まっている領域ではサンプルごとにライス符号化を適用し、(2)この領域以外の領域では、(a)0の振幅を持つサンプルが連続する領域では、0の振幅を持つサンプルの連続数を表す符号を出力する符号化を行い、(b)残りの領域では、複数のサンプルをまとめたサンプルの集合に対する符号化にも適するエントロピー符号化(ハフマン符号化や算術符号化など)を適用する。このような場合であっても、上述のようなライス符号化の選択を行ってもよい。また、このような場合、どの領域にランレングス符号化が適用されたかを表す情報も復号側へ伝送される必要があり、例えばこの情報は上記選択情報に含められる。さらに、エントロピー符号化に属する複数の符号化方法を選択肢として用意してある場合には、いずれの符号化を選択したかを特定するための情報も復号側へ伝送される必要があり、例えばこの情報は上記選択情報に含められる。
なお、サンプル列に含まれるサンプルの並べ替えによる利点が無い場合も考えられる。このような場合には並べ替え前のサンプル列を符号化すべきである。そこで、並べ替え部5からは並べ替え前のサンプル列(並べ替えを行っていないサンプル列)も出力し、符号化部6は、並べ替え前のサンプル列と並べ替え後のサンプル列をそれぞれ可変長符号化し、並べ替え前のサンプル列を可変長符号化して得られる符号列の符号量と、並べ替え後のサンプル列を領域ごとに可変長符号化を切り替えて符号化して得られる符号列の符号量とを比較し、並べ替え前のサンプル列の符号量が最小である場合には、並べ替え前のサンプル列を可変長符号化して得られた符号列を出力する。この場合は、符号列に対応するサンプル列がサンプルの並べ替えを行ったサンプル列であるか否かを表す補助情報(第2補助情報)も出力する。この第2補助情報として1ビットを使えば十分である。なお、第2補助情報が符号列に対応するサンプル列がサンプルの並べ替えを行なっていないサンプル列を特定するものである場合は、第1補助情報は出力しなくてもよい。
また、予め予測利得またはその推定値がある定められた閾値より大きい場合のみサンプル列の並べ替えを適用することに決めておくこともできる。これは予測利得が大きいときには声帯振動や楽器の振動が強く、周期性も高い場合が多いという音声や楽音の性質を利用するものである。予測利得は原音のエネルギーを予測残差のエネルギーで割ったものである。線形予測係数やPARCOR係数をパラメータとして使う符号化においては、量子化済みのパラメータを符号化装置と復号装置で共通に使うことができる。そこで、例えば、符号化部6は、符号化装置100内の図示しない別の手段によって求めたi次の量子化済PARCOR係数k(i)を用いて、(1-k(i)*k(i))を次数ごとに乗算したものの逆数で表わされる予測利得の推定値を計算し、計算された推定値がある定められた閾値より大きい場合は並べ替え後のサンプル列を可変長符号化して得られた符号列を出力し、そうでない場合は並べ替え前のサンプル列を可変長符号化して得られた符号列を出力する。この場合は、符号列に対応するサンプル列が並べ替えを行ったサンプル列であるか否かを表す第2補助情報を出力する必要は無い。すなわち、予測がきかない雑音的音声や無音時には効果が小さい可能性が高いので並べ替えをしないと決めておくほうが第2補助情報や計算の無駄が少ない。
なお、並べ替え部5において、予測利得または予測利得の推定値の計算を行い、予測利得または予測利得の推定値がある定められた閾値より大きい場合はサンプル列に対する並べ替えを行って並べ替え後のサンプル列を符号化部6に出力し、そうでない場合はサンプル列に対する並べ替えを行なわずに並べ替え部5に入力されたサンプル列そのものを符号化部6に出力し、符号化部6では並べ替え部5から出力されたサンプル列を可変長符号化する構成としてもよい。
なお、この構成の場合には、閾値を符号化側と復号側とで共通の値として予め設定しておくこととする。
なお、ここで例示したライス符号化、算術符号化、ランレングス符号化はいずれも周知であるからその詳細な説明を省略する(例えば参考文献1参照)。
(参考文献1)David Salomon, "Data Compression : The Complete Reference," 3rd edition, Springer-Verlag, ISBN-10: 0-387-40697-2, 2004.
上述の符号化処理では、並べ替え部5が出力したサンプル列に含まれるサンプルの振幅の偏りに応じて可変長符号化方法を切り替えて符号化する例を説明したが、このような符号化処理に限定されるものではない。例えば、一つまたは複数のサンプルを1シンボル(符号化単位)とし、その1つまたは複数のシンボルによる系列(以下、シンボル系列、と呼ぶ)の直前のシンボル系列に依存して割り当て符号を適応的に制御する符号化処理を採用することもできる。このような符号化処理として、例えばJPEG2000にも採用されている適応型算術符号を例示できる。適応型算術符号化ではモデリング処理と算術符号化が行われる。モデリング処理では直前のシンボル系列から算術符号化のためのシンボル系列の頻度表が選択される。そして、選択されたシンボル系列の出現確率に応じて閉区間半直線[0,1]を区分し、区分された区間内の位置を示す2進小数値にそのシンボル系列に対する符号を割り当てる算術符号化が行われる。本発明の実施形態においては、モデリング処理として、並べ替え後の周波数領域のサンプル列(上述の例では量子化MDCT係数列)を低域から順次シンボルに分け、算術符号化のための頻度表を選択し、さらに算術符号化として、選択されたシンボル系列の出現確率に応じて閉区間半直線[0,1]を区分し、区分された区間内の位置を示す2進小数値にそのシンボル系列に対する符号を割り当てる。上述のように、並べ替え処理によって、既にサンプル列がサンプルの大きさを反映する指標(例えば振幅の絶対値)が同等か同程度のサンプルが集まるように並べ替えられていることから、サンプル列内での隣接するサンプル間でのサンプルの大きさを反映する指標の変動が小さくなり、シンボルの頻度表の精度が高まり、シンボルに対する算術符号化によって得られる符号の総符号量を抑制できる。
「復号処理」
続いて図5〜図6を参照して復号処理を説明する。
復号装置200では、符号化装置100による符号化処理と逆順の処理でMDCT係数が再構成される。復号装置200には、少なくとも、上記利得情報と、上記補助情報と、上記符号列と、上記予測係数符号が入力される。なお、符号化装置100から選択情報が出力された場合にはこの選択情報も復号装置200に入力される。
「線形予測係数復号部10」
線形予測係数復号部10は、フレームごとに、入力された予測係数符号を従来的な復号技術によって復号してパワースペクトル包絡係数列の各係数W(1),・・・,W(N)を求める(ステップS10)。後記の回復部12でPARCOR係数を用いる場合は、線形予測係数復号部10は、線形予測係数に対応するPARCOR係数も得る。従来的な復号技術とは、例えば、予測係数符号が線形予測係数に対応する符号である場合に予測係数符号を復号して線形予測係数を得る技術、予測係数符号がLSPパラメータに対応する符号である場合に予測係数符号を復号してLSPパラメータを得る技術、予測係数符号がPARCOR係数に対応する符号である場合に予測係数符号を復号してPARCOR係数を得る技術、などである。また、線形予測係数、LSPパラメータ、PARCOR係数、パワースペクトル包絡係数列は互いに変換可能なものであり、入力された予測係数符号と後段での処理において必要な情報に応じて、変換処理を行なえばよいのは周知である。以上から、上記の予測係数符号の復号処理と必要に応じて行なう上記の変換処理とを包含したものが「従来的な復号技術による復号」ということになる。
「復号部11」
復号部11が、フレームごとに、入力された符号列を復号して周波数領域のサンプル列を出力する(ステップS11)。復号装置200に符号化装置100から選択情報が入力された場合には、復号部11は入力された符号列に対して選択情報に応じた復号方法で復号処理を実行する。当然であるが、符号列を得るために実行された符号化方法に対応する復号方法が実行される。復号部11による復号処理の詳細は符号化装置100の符号化部6による符号化処理の詳細に対応するので、当該符号化処理の説明をここに援用し、実行された符号化に対応する復号が復号部11の行う復号処理であることを明記し、これをもって復号処理の詳細な説明とする。なお、選択情報が入力された場合には、どのような符号化方法が実行されたかは当該選択情報によって特定される。選択情報に、例えば、ライス符号化の適用領域とライスパラメータを特定する情報と、ランレングス符号化の適用領域を表す情報と、エントロピー符号化の種類を特定する情報が含まれている場合には、これらの符号化方法に応じた復号方法が入力された符号列の対応する領域に適用される。ライス符号化に対応する復号処理、エントロピー符号化に対応する復号処理、ランレングス符号化に対応する復号処理はいずれも周知であるから説明を省略する(例えば上記参考文献1参照)。
「回復部12」
次に、回復部12が、フレームごとに、入力された補助情報に含まれるサンプル列の並べ替えを特定する補助情報(第1補助情報)に従って、復号部11が出力した周波数領域のサンプル列から元のサンプルの並びを得る(ステップS12)。ここで「元のサンプルの並び」とは、符号化装置100の並べ替え部5に入力された「周波数領域のサンプル列」に相当する。上述のとおり、符号化装置100の並べ替え部5による並べ替え方法や並べ替え方法に対応する並べ替えの選択肢は種々あるが、並べ替えが実行された場合には実行された並べ替えは一つであり、その並べ替えを特定する情報は第1補助情報として補助情報に含まれている。よって、回復部12は第1補助情報に基づいて復号部11が出力した周波数領域のサンプル列を元のサンプルの並びに戻すことができる。
なお、補助情報に並べ替えを行ったか否かを表す補助情報(第2補助情報)が含まれる構成も有り得る。この構成では、回復部12は、並べ替えを行ったか否かを表す補助情報が並べ替えを行ったことを示すものである場合は復号部11が出力した周波数領域のサンプル列を元のサンプルの並びに戻して出力し、並べ替えを行っていないことを示すものである場合は復号部11が出力した周波数領域のサンプル列をそのまま出力する。
また、予測利得または予測利得の推定値の大小により並べ替えを行ったか否かを判断する構成も有り得る。この構成では、回復部12は、例えば、復号装置200内の線形予測係数復号部10から入力されたi次の量子化済PARCOR係数k(i)を用いて、(1-k(i)*k(i))を次数ごとに乗算したものの逆数で表わされる予測利得の推定値を計算し、計算された推定値がある定められた閾値より大きい場合は復号部11が出力した周波数領域のサンプル列を元のサンプルの並びに戻して出力し、そうでない場合は復号部11が出力した周波数領域のサンプル列をそのまま出力する。
回復部12による回復処理の詳細は符号化装置100の並べ替え部5による並べ替え処理の詳細に対応するので、当該並べ替え処理の説明をここに援用し、その並べ替え処理の逆順の処理(逆の並べ替え)が回復部12の行う回復処理であることを明記し、これをもって回復処理の詳細な説明とする。なお、理解の一助のため、上述の並べ替え処理の具体例に対応する回復処理の一例を説明する。
例えば、並べ替え部5がサンプル群を低域側に集めてF(T-1),F(T),F(T+1),F(2T-1),F(2T),F(2T+1),F(3T-1),F(3T),F(3T+1),F(4T-1),F(4T),F(4T+1),F(5T-1),F(5T),F(5T+1),F(1),…,F(T-2),F(T+2),…,F(2T-2),F(2T+2),…,F(3T-2),F(3T+2),…,F(4T-2),F(4T+2),…,F(5T-2),F(5T+2),…F(jmax)を出力した上述の例であると、回復部12には復号部11が出力した周波数領域のサンプル列F(T-1),F(T),F(T+1),F(2T-1),F(2T),F(2T+1),F(3T-1),F(3T),F(3T+1),F(4T-1),F(4T),F(4T+1),F(5T-1),F(5T),F(5T+1),F(1),…,F(T-2),F(T+2),…,F(2T-2),F(2T+2),…,F(3T-2),F(3T+2),…,F(4T-2),F(4T+2),…,F(5T-2),F(5T+2),…F(jmax)が入力される。そして、補助情報には、例えば、間隔Tに関する情報や、nが1以上5以下の各整数であることを表す情報や、サンプル群には3サンプルが含まれることを特定する情報などが含められている。従って、回復部12は、この補助情報に基づいて、入力されたサンプル列F(T-1),F(T),F(T+1),F(2T-1),F(2T),F(2T+1),F(3T-1),F(3T),F(3T+1),F(4T-1),F(4T),F(4T+1),F(5T-1),F(5T),F(5T+1),F(1),…,F(T-2),F(T+2),…,F(2T-2),F(2T+2),…,F(3T-2),F(3T+2),…,F(4T-2),F(4T+2),…,F(5T-2),F(5T+2),…F(jmax)を元のサンプルの並びF(j)(1≦j≦jmax)に戻すことができる。
「逆量子化部13」
次に、逆量子化部13が、フレームごとに、回復部12が出力した元のサンプルの並びを逆量子化する(ステップS13)。上述の例に対応させて述べれば、逆量子化によって、符号化装置100の量子化部4に入力された「利得で正規化された重み付け正規化MDCT係数列」が得られる。
「利得乗算部14」
次に、利得乗算部14が、フレームごとに、逆量子化部13が出力した「利得で正規化された重み付け正規化MDCT係数列」の各係数に、上記利得情報で特定される利得を乗じて、「正規化された重み付け正規化MDCT係数列」を得る(ステップS14)。
「重み付け包絡逆正規化部15」
次に、重み付け包絡逆正規化部15が、フレームごとに、利得乗算部14が出力した「正規化された重み付け正規化MDCT係数列」の各係数に、線形予測係数復号部10で得られたパワースペクトル包絡係数列から得られる補正係数を適用することで「MDCT係数列」を得る(ステップS15)。符号化装置100で実行された重み付け包絡正規化処理の例に対応させて具体例を説明すると、重み付け包絡逆正規化部15は、利得乗算部14が出力した「正規化された重み付け正規化MDCT係数列」の各係数に、当該各係数に対応するパワースペクトル包絡係数列の各係数のβ乗(0<β<1)の値W(1)β,・・・,W(N)βを乗算することによって、MDCT係数列の各係数X(1),・・・,X(N)を得る。
「時間領域変換部16」
次に、時間領域変換部16が、フレームごとに、重み付け包絡逆正規化部15が出力した「MDCT係数列」を時間領域に変換してフレーム単位の音声音響ディジタル信号を得る(ステップS16)。
ステップS13からS16の各処理は従来的処理であるから詳細な説明を省略したが、例えば、上記各非特許文献や参考文献1,2などに詳しい。
(参考文献2)守谷健弘著、「音声符号化」第9章、社団法人電子情報通信学会、1998.
実施形態から明らかなように、例えば基本周波数が明瞭である場合には、基本周波数に応じてサンプル列を並べ替えたものを符号化することによって、効率の高い符号化ができる(すなわち平均符号長を小さくできる)。また、サンプル列の並べ替えによって局所領域ごとに同等か同程度の指標を有するサンプルが集中するので、可変長符号化の効率化だけでなく、量子化歪の軽減や符号量の削減が可能となっている。
<符号化装置/復号装置のハードウェア構成例>
上述の実施形態に関わる符号化装置/復号装置は、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、CPU(Central Processing Unit)〔キャッシュメモリなどを備えていてもよい。〕、メモリであるRAM(Random Access Memory)やROM(Read Only Memory)と、ハードディスクである外部記憶装置、並びにこれらの入力部、出力部、CPU、RAM、ROM、外部記憶装置間のデータのやり取りが可能なように接続するバスなどを備えている。また必要に応じて、符号化装置/復号装置に、CD−ROMなどの記憶媒体を読み書きできる装置(ドライブ)などを設けるとしてもよい。
符号化装置/復号装置の外部記憶装置には、符号化/復号を実行するためのプログラム並びにこのプログラムの処理において必要となるデータなどが記憶されている〔外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるROMに記憶させておくなどでもよい。〕。また、これらのプログラムの処理によって得られるデータなどは、RAMや外部記憶装置などに適宜に記憶される。以下、データやその格納領域のアドレスなどを記憶する記憶装置を単に「記憶部」と呼ぶことにする。
符号化装置の記憶部には、音声音響信号に由来する周波数領域のサンプル列の並べ替えを行うためのプログラム、並べ替えで得られたサンプル列の符号化のためのプログラムなどが記憶されている。
復号装置の記憶部には、入力された符号列を復号するためのプログラム、復号で得られたサンプル列を符号化装置で並べ替えが行われる前のサンプル列に回復するためのプログラムなどが記憶されている。
符号化装置では、記憶部に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてRAMに読み込まれて、CPUで解釈実行・処理される。この結果、CPUが所定の機能(並べ替え部、符号化部)を実現することで符号化が実現される。
復号装置では、記憶部に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてRAMに読み込まれて、CPUで解釈実行・処理される。この結果、CPUが所定の機能(復号部、回復部)を実現することで復号が実現される。
<補記>
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。例えば、上述の復号処理において、線形予測係数復号部10による処理と復号部11による処理とは、並列に実行することができる。
また、上記実施形態において説明したハードウェアエンティティ(符号化装置/復号装置)における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD(Digital Versatile Disc)、DVD−RAM(Random Access Memory)、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto-Optical disc)等を、半導体メモリとしてEEP−ROM(Electronically Erasable and Programmable-Read Only Memory)等を用いることができる。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (26)

  1. 所定の時間区間の音響信号に由来する周波数領域のサンプル列の符号化方法であって、
    (1)上記サンプル列の全てのサンプルが含まれ、かつ、
    (2)上記サンプル列のうちの上記音響信号の周期性または基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、上記サンプル列のうちの上記音響信号の周期性または基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプル、の全部または一部のサンプルが集まるように上記サンプル列に含まれる少なくとも一部のサンプルを並べ替えたもの、
    を並べ替え後のサンプル列として出力する並べ替えステップと、
    上記並べ替えステップで得られたサンプル列を符号化する符号化ステップと
    を有する符号化方法。
  2. 請求項1に記載の符号化方法であって、
    上記音響信号の周期性を表す情報、上記音響信号の基本周波数を表す情報、上記並べ替えステップにおける上記音響信号の周期性または基本周波数に対応するサンプルと上記音響信号の周期性または基本周波数の整数倍に対応するサンプルとの間隔を表す情報、のいずれかを補助情報として出力するステップを有する
    ことを特徴とする符号化方法。
  3. 請求項1または請求項2に記載の符号化方法であって、
    上記並べ替えステップでは、
    最低の周波数から第1の所定の周波数までの各周波数に対応するサンプルの並べ替えを行う
    ことを特徴とする符号化方法。
  4. 請求項1または請求項2に記載の符号化方法であって、
    上記並べ替えステップでは、
    最低の周波数から所定の周波数までの各周波数に対応するサンプルの並べ替えを行わない
    ことを特徴とする符号化方法。
  5. 請求項3に記載の符号化方法であって、
    上記並べ替えステップでは、
    最低の周波数から上記第1の所定の周波数より小さい第2の所定の周波数までの各周波数に対応するサンプルの並べ替えを行わない
    ことを特徴とする符号化方法。
  6. 請求項1から請求項5のいずれかに記載の符号化方法であって、
    上記並べ替えステップでは、
    上記所定の時間区間の音響信号に対応する予測利得またはその推定値が予め定めた閾値以下である場合は、上記サンプル列を並べ替え後のサンプル列として出力する
    ことを特徴とする符号化方法。
  7. 所定の時間区間の音響信号に由来する周波数領域のサンプル列の符号化方法であって、
    (1)上記サンプル列の全てのサンプルが含まれ、かつ、
    (2)サンプルの大きさを反映する指標が同等か同程度のサンプルが集まるように上記サンプル列に含まれる少なくとも一部のサンプルを並べ替えたもの、
    を並べ替え後のサンプル列として出力する並べ替えステップと、
    上記並べ替えステップで得られたサンプル列を符号化する符号化ステップと
    を有する符号化方法。
  8. 請求項7に記載の符号化方法であって、
    上記並べ替えステップでは、
    上記指標は、サンプルの振幅の絶対値またはパワーであり、
    並べ替え後のサンプル列の上記指標の包絡線が周波数の増大に伴って増大傾向または下降傾向を示すように、上記サンプル列に含まれる少なくとも一部のサンプルを並べ替える
    ことを特徴とする符号化方法。
  9. 請求項1から請求項8のいずれかに記載の符号化方法であって、
    上記符号化ステップでは、
    上記並べ替えステップで得られたサンプル列のうち、(1)サンプルの大きさを反映する指標に関する予め定められた条件を満たす範囲に含まれるサンプルの集まりについて一つのサンプルごとに第1の可変長符号化を行い、(2)それ以外のサンプルの集まりの少なくとも一部について複数のサンプルごとに第2の可変長符号化を行う
    ことを特徴とする符号化方法。
  10. 請求項1から請求項8のいずれかに記載の符号化方法であって、
    上記符号化ステップでは、
    上記並べ替えステップで得られたサンプル列のうち、(1)サンプルの大きさを反映する指標に関する予め定められた条件を満たす範囲に含まれるサンプルの集まりについて一つのサンプルごとに第1の可変長符号化を行い、(2)ゼロの大きさに対応する上記指標を有するサンプルの連続数を表す符号を出力する符号化を行い、(3)それ以外のサンプルの集まりの少なくとも一部について複数のサンプルごとに第2の可変長符号化を行う
    ことを特徴とする符号化方法。
  11. 入力された符号列を復号する復号方法であって、
    所定の時間区間ごとに、
    入力された符号列を復号して、周波数領域のサンプル列を得る復号ステップと、
    上記復号ステップで得られたサンプル列に含まれる少なくとも一部のサンプルを、当該サンプル列への並べ替えを特定する情報(以下、補助情報という)に基づいて並べ替えて音響信号に由来するサンプル列を得る回復ステップと
    を有し、
    上記復号ステップで得られたサンプル列は、(1)上記音響信号に由来するサンプル列を構成する全てのサンプルを含み、かつ、(2)上記音響信号の周期性または基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、上記音響信号の周期性または基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプル、の全部または一部のサンプルが集まるように、周波数領域のサンプルが並べられたものである
    ことを特徴とする復号方法。
  12. 請求項11に記載の復号方法であって、
    上記補助情報は、上記音響信号の周期性を表す情報、上記音響信号の基本周波数を表す情報、上記音響信号の周期性または基本周波数に対応するサンプルと上記音響信号の周期性または基本周波数の整数倍に対応するサンプルとの間隔を表す情報、のいずれかである
    ことを特徴とする復号方法。
  13. 請求項11または請求項12に記載の復号方法であって、
    上記復号ステップで得られたサンプル列は、最低の周波数から第1の所定の周波数までの各周波数に対応するサンプルの並べ替えが行われたサンプル列である
    ことを特徴とする復号方法。
  14. 請求項11または請求項12に記載の復号方法であって、
    上記復号ステップで得られたサンプル列は、最低の周波数から所定の周波数までの各周波数に対応するサンプルの並べ替えが行われていないサンプル列である
    ことを特徴とする復号方法。
  15. 請求項13に記載の復号方法であって、
    上記復号ステップで得られたサンプル列は、最低の周波数から上記第1の所定の周波数より小さい第2の所定の周波数までの各周波数に対応するサンプルの並べ替えが行われていないサンプル列である
    ことを特徴とする復号方法。
  16. 請求項11から請求項15のいずれかに記載の復号方法であって、
    上記回復ステップでは、
    入力された量子化済PARCOR係数から計算される予測利得の推定値が予め定めた閾値以下である場合は、上記復号ステップで得られたサンプル列をそのまま音響信号に由来するサンプル列とする
    ことを特徴とする復号方法。
  17. 入力された符号列を復号する復号方法であって、
    所定の時間区間ごとに、
    入力された符号列を復号して、周波数領域のサンプル列を得る復号ステップと、
    上記復号ステップで得られたサンプル列に含まれる少なくとも一部のサンプルを、当該サンプル列への並べ替えを特定する情報(以下、補助情報という)に基づいて並べ替えて音響信号に由来するサンプル列を得る回復ステップと
    を有し、
    上記復号ステップで得られたサンプル列は、(1)上記音響信号に由来するサンプル列を構成する全てのサンプルを含み、かつ、(2)サンプルの大きさを反映する指標が同等か同程度のサンプルが集まるように、周波数領域のサンプルが並べられたものである
    ことを特徴とする復号方法。
  18. 請求項17に記載の復号方法であって、
    上記指標は、サンプルの振幅の絶対値またはパワーであり、
    上記復号ステップで得られたサンプル列は、並べ替えた後のサンプル列の上記指標の包絡線が周波数の増大に伴って増大傾向または下降傾向を示すように周波数領域のサンプルが並べられたものである
    ことを特徴とする復号方法。
  19. 請求項11から請求項18のいずれかに記載の復号方法であって、
    上記復号ステップでは、
    入力された符号列のうち、(1)サンプルの大きさを反映する指標に関する予め定められた条件を満たす範囲に含まれるサンプルの集まりについて一つのサンプルごとに第1の可変長符号化で得られた符号を復号し、(2)それ以外のサンプルの集まりの少なくとも一部について複数のサンプルごとに第2の可変長符号化で得られた符号を復号する
    ことを特徴とする復号方法。
  20. 請求項11から請求項18のいずれかに記載の復号方法であって、
    上記復号ステップでは、
    入力された符号列のうち、(1)サンプルの大きさを反映する指標に関する予め定められた条件を満たす範囲に含まれるサンプルの集まりについて一つのサンプルごとに第1の可変長符号化で得られた符号を復号し、(2)ゼロの大きさに対応する上記指標を有するサンプルの連続数を表す符号を復号し、(3)それ以外のサンプルの集まりの少なくとも一部について複数のサンプルごとに第2の可変長符号化で得られた符号を復号する
    ことを特徴とする復号方法。
  21. 所定の時間区間の音響信号に由来する周波数領域のサンプル列の符号化装置であって、
    (1)上記サンプル列の全てのサンプルが含まれ、かつ、
    (2)上記サンプル列のうちの上記音響信号の周期性または基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、上記サンプル列のうちの上記音響信号の周期性または基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプル、の全部または一部のサンプルが集まるように上記サンプル列に含まれる少なくとも一部のサンプルを並べ替えたもの、
    を並べ替え後のサンプル列として出力する並べ替え部と、
    上記並べ替え部によって得られたサンプル列を符号化する符号化部と
    を有する符号化装置。
  22. 所定の時間区間の音響信号に由来する周波数領域のサンプル列の符号化装置であって、
    (1)上記サンプル列の全てのサンプルが含まれ、かつ、
    (2)サンプルの大きさを反映する指標が同等か同程度のサンプルが集まるように上記サンプル列に含まれる少なくとも一部のサンプルを並べ替えたもの、
    を並べ替え後のサンプル列として出力する並べ替え部と、
    上記並べ替え部によって得られたサンプル列を符号化する符号化部と
    を有する符号化装置。
  23. 入力された符号列を復号する復号装置であって、
    所定の時間区間ごとに、
    入力された符号列を復号して、周波数領域のサンプル列を得る復号部と、
    上記復号部によって得られたサンプル列に含まれる少なくとも一部のサンプルを、当該サンプル列への並べ替えを特定する情報に基づいて並べ替えて音響信号に由来するサンプル列に戻す回復部と
    を有し、
    上記復号部によって得られたサンプル列は、(1)上記音響信号に由来するサンプル列を構成する全てのサンプルを含み、かつ、(2)上記音響信号の周期性または基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、上記音響信号の周期性または基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプル、の全部または一部のサンプルが集まるように、周波数領域のサンプルが並べられたものである
    ことを特徴とする復号装置。
  24. 入力された符号列を復号する復号装置であって、
    所定の時間区間ごとに、
    入力された符号列を復号して、周波数領域のサンプル列を得る復号部と、
    上記復号部によって得られたサンプル列に含まれる少なくとも一部のサンプルを、当該サンプル列への並べ替えを特定する情報に基づいて並べ替えて音響信号に由来するサンプル列に戻す回復部と
    を有し、
    上記復号部によって得られたサンプル列は、(1)上記音響信号に由来するサンプル列を構成する全てのサンプルを含み、かつ、(2)サンプルの大きさを反映する指標が同等か同程度のサンプルが集まるように、周波数領域のサンプルが並べられたものである
    ことを特徴とする復号装置。
  25. 請求項1から請求項10のいずれかに記載された符号化方法または請求項11から請求項20のいずれかに記載された復号方法の各ステップをコンピュータに実行させるためのプログラム。
  26. 請求項1から請求項10のいずれかに記載された符号化方法または請求項11から請求項20のいずれかに記載された復号方法の各ステップをコンピュータに実行させるためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
JP2012537696A 2010-10-05 2011-10-03 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体 Active JP5612698B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012537696A JP5612698B2 (ja) 2010-10-05 2011-10-03 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010225949 2010-10-05
JP2010225949 2010-10-05
PCT/JP2011/072752 WO2012046685A1 (ja) 2010-10-05 2011-10-03 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体
JP2012537696A JP5612698B2 (ja) 2010-10-05 2011-10-03 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体

Publications (2)

Publication Number Publication Date
JPWO2012046685A1 true JPWO2012046685A1 (ja) 2014-02-24
JP5612698B2 JP5612698B2 (ja) 2014-10-22

Family

ID=45927681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012537696A Active JP5612698B2 (ja) 2010-10-05 2011-10-03 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体

Country Status (2)

Country Link
JP (1) JP5612698B2 (ja)
WO (1) WO2012046685A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5694751B2 (ja) * 2010-12-13 2015-04-01 日本電信電話株式会社 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体
WO2012137617A1 (ja) 2011-04-05 2012-10-11 日本電信電話株式会社 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体
CN104321814B (zh) 2012-05-23 2018-10-09 日本电信电话株式会社 频域基音周期分析方法和频域基音周期分析装置
WO2014054556A1 (ja) 2012-10-01 2014-04-10 日本電信電話株式会社 符号化方法、符号化装置、プログラム、および記録媒体
DK2922053T3 (da) 2012-11-15 2019-09-23 Ntt Docomo Inc Lydkodningsindretning, lydkodningsfremgangsmåde, lydkodningsprogram, lydafkodningsindretning, lydafkodningsfremgangsmåde og lydafkodningsprogram
PT3451334T (pt) 2013-01-29 2020-06-29 Fraunhofer Ges Forschung Conceito de preenchimento de ruído
EP3399522B1 (en) * 2013-07-18 2019-09-11 Nippon Telegraph and Telephone Corporation Linear prediction analysis device, method, program, and storage medium
KR102268836B1 (ko) * 2013-10-09 2021-06-25 소니그룹주식회사 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램
PL3385948T3 (pl) 2014-03-24 2020-01-31 Nippon Telegraph And Telephone Corporation Sposób kodowania, koder, program i nośnik zapisu
JP6259378B2 (ja) * 2014-08-26 2018-01-10 日本電信電話株式会社 周波数領域パラメータ列生成方法、周波数領域パラメータ列生成装置及びプログラム
KR101996307B1 (ko) * 2015-01-30 2019-07-04 니폰 덴신 덴와 가부시끼가이샤 부호화 장치, 복호 장치, 이들의 방법, 프로그램 및 기록 매체

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3353868B2 (ja) * 1995-10-09 2002-12-03 日本電信電話株式会社 音響信号変換符号化方法および復号化方法
US7599840B2 (en) * 2005-07-15 2009-10-06 Microsoft Corporation Selectively using multiple entropy models in adaptive coding and decoding

Also Published As

Publication number Publication date
WO2012046685A1 (ja) 2012-04-12
JP5612698B2 (ja) 2014-10-22

Similar Documents

Publication Publication Date Title
JP5612698B2 (ja) 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体
US11074919B2 (en) Encoding method, decoding method, encoder, decoder, program, and recording medium
JP5596800B2 (ja) 符号化方法、周期性特徴量決定方法、周期性特徴量決定装置、プログラム
JP6053196B2 (ja) 符号化方法、復号方法、符号化装置、復号装置、プログラム、および記録媒体
JP5893153B2 (ja) 符号化方法、符号化装置、プログラム、および記録媒体
JP5694751B2 (ja) 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体
JP5579932B2 (ja) 符号化方法、装置、プログラム及び記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140904

R150 Certificate of patent or registration of utility model

Ref document number: 5612698

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150