JP6712643B2 - サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム - Google Patents

サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム Download PDF

Info

Publication number
JP6712643B2
JP6712643B2 JP2018539738A JP2018539738A JP6712643B2 JP 6712643 B2 JP6712643 B2 JP 6712643B2 JP 2018539738 A JP2018539738 A JP 2018539738A JP 2018539738 A JP2018539738 A JP 2018539738A JP 6712643 B2 JP6712643 B2 JP 6712643B2
Authority
JP
Japan
Prior art keywords
signal
weighted
frequency domain
acoustic signal
sample sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018539738A
Other languages
English (en)
Other versions
JPWO2018052004A1 (ja
Inventor
亮介 杉浦
亮介 杉浦
守谷 健弘
健弘 守谷
登 原田
登 原田
川西 隆仁
隆仁 川西
優 鎌本
優 鎌本
康一 古角
康一 古角
淳一 中嶋
淳一 中嶋
丈二 中山
丈二 中山
賢一 野口
賢一 野口
馨亮 長谷川
馨亮 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2018052004A1 publication Critical patent/JPWO2018052004A1/ja
Application granted granted Critical
Publication of JP6712643B2 publication Critical patent/JP6712643B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • G10L19/035Scalar quantisation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

この発明は、音信号の符号化技術などの信号処理技術において、音信号に由来するサンプル列を、その近傍のサンプル値を基に圧縮または伸長したサンプル列に変形する技術に関する。
一般的に、不可逆圧縮符号化においては、図1に示すように、量子化部17が入力信号を量子化した後、可逆符号化部18が量子化信号に基づいてエントロピー符号化等の可逆符号化により符号を与え、多重化部19が量子化信号に対応する符号と量子化幅に対応する符号とを合わせて出力する。復号時には、図2に示すように、多重分離部21が信号符号と量子化幅に対応する符号とを取り出し、可逆復号部22が信号符号を可逆復号した後、逆量子化部23が復号された量子化信号を逆量子化して元の信号を得る。
特に、音声や音楽などの音信号の不可逆圧縮符号化においては、図3に示すように、図1の量子化処理の前に分析部15による信号の分析とフィルタ部16によるフィルタリング処理とを加え、信号に合わせて聴覚特性に適った重みを付与することにより、量子化で生じる誤差を聴覚的に小さくする手法が知られている(非特許文献1参照)。この従来手法では、量子化信号に対応する符号と量子化に用いた量子化幅に対応する符号とに加え、フィルタリングに用いたフィルタ係数に対応する符号も補助情報として復号装置に送り、復号装置は、図4に示すように、図2の逆量子化処理の後処理として、逆フィルタ部24が復号された重み付信号を逆フィルタにかけることで元の信号を得る。
Gerald D. T. Schuller, Bin Yu, Dawei Huang, and Bernd Edler, "Perceptual Audio Coding Using Adaptive Pre-and Post-Filters and Lossless Compression," IEEE TRANSACTIONS ON SPEECH AND AUDIO PROCESSING, VOL. 10, NO. 6, SEPTEMBER 2002.
非特許文献1に記載された従来技術では、図1〜2に示すような単純な不可逆圧縮符号化に比べてフィルタ係数の分だけ必要な情報量が増加してしまう。しかしながら、聴覚的な重み付けは大きく以下の2つの性質を満たしてさえいればよく、厳密な情報が不要なことが多い。1.フレーム内において、信号の値または信号の周波数スペクトルの値が、大きいものには相対的に小さな重みをかけ、小さなものには相対的に大きな重みをかける。2.フレーム内において、信号または信号の周波数スペクトルのピーク近傍には、ピークと同じように相対的に小さな重みをかける。
この発明は、上記2つの性質を併せ持ち、かつ、後処理のための補助情報が不要な前処理および後処理でサンプル列を変形することにより、音信号の符号化処理および復号処理の聴覚品質を高めることを目的とする。
上記の課題を解決するために、この発明の第一の態様のサンプル列変形装置は、入力音響信号に対応する周波数領域信号を変形して得た重み付周波数領域信号を符号化する符号化装置に入力するための重み付周波数領域信号、または、入力音響信号に対応する周波数領域信号を変形して得た重み付周波数領域信号に対応する重み付時間領域信号を符号化する符号化装置に入力するための重み付時間領域信号に対応する重み付周波数領域信号、を得るサンプル列変形装置であって、所定時間区間ごとに、入力音響信号に対応する周波数領域信号のサンプル列から、当該周波数領域信号のサンプル列の周波数サンプル数より少ない複数サンプルによる周波数区間ごとに、当該周波数区間に含まれるサンプルのサンプル値から当該周波数区間の代表値を算出する代表値算出部と、所定時間区間ごとに、逆関数を定義できる圧伸関数による代表値の関数値に応じた重みと、周波数領域信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した周波数領域サンプル列を、重み付周波数領域信号のサンプル列として得る信号圧伸部と、を含む。
この発明の第二の態様のサンプル列変形装置は、復号装置が得た重み付周波数領域信号、または、復号装置が得た重み付時間領域信号に対応する重み付周波数領域信号、から復号音響信号に対応する周波数領域信号を得るサンプル列変形装置であって、所定時間区間ごとに、重み付周波数領域信号のサンプル列から、当該重み付周波数領域信号のサンプル列の周波数サンプル数より少ない複数サンプルによる周波数区間ごとに当該周波数区間に含まれるサンプルのサンプル値から当該周波数区間の代表値を算出する圧伸代表値算出部と、所定時間区間ごとに、逆関数を定義できる圧伸関数による代表値の関数値に応じた重みと、重み付周波数領域信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した周波数領域サンプル列を、復号音響信号に対応する周波数領域信号のサンプル列として得る信号逆圧伸部と、を含む。
この発明の第三の態様のサンプル列変形装置は、入力音響信号を変形して得た重み付音響信号を符号化する符号化装置に入力するための重み付音響信号、または、入力音響信号を変形して得た重み付音響信号に対応する重み付周波数領域信号を符号化する符号化装置に入力するための重み付周波数領域信号に対応する重み付音響信号、を得るサンプル列変形装置であって、所定時間区間ごとに、時間領域の入力音響信号のサンプル列から、当該入力音響信号のサンプル列のサンプル数より少ない複数サンプルによる時間区間ごとに、当該時間区間に含まれるサンプルのサンプル値から当該時間区間の代表値を算出する代表値算出部と、所定時間区間ごとに、逆関数を定義できる圧伸関数による代表値の関数値に応じた重みと、入力音響信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した時間領域サンプル列を、重み付音響信号のサンプル列として得る信号圧伸部と、を含む。
この発明の第四の態様のサンプル列変形装置は、復号装置が得た時間領域の重み付音響信号、または、復号装置が得た周波数領域の重み付音響信号に対応する時間領域の重み付音響信号、から復号音響信号を得るサンプル列変形装置であって、所定時間区間ごとに、時間領域の重み付音響信号のサンプル列から、当該重み付音響信号のサンプル列のサンプル数より少ない複数サンプルによる時間区間ごとに、当該時間区間に含まれるサンプルのサンプル値から当該時間区間の代表値を算出する圧伸代表値算出部と、所定時間区間ごとに、逆関数を定義できる圧伸関数による代表値の関数値に応じた重みと、重み付音響信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した時間領域サンプル列を、復号音響信号のサンプル列として得る信号逆圧伸部と、を含む。
この発明によれば、聴覚的な重み付けに必要とされる2つの性質を併せ持ち、かつ、後処理のための補助情報が不要な前処理および後処理でサンプル列を変形することにより、音信号の符号化処理および復号処理の聴覚品質を高めることが可能である。
図1は、従来の符号化装置の機能構成を例示する図である。 図2は、従来の復号装置の機能構成を例示する図である。 図3は、従来の符号化装置の機能構成を例示する図である。 図4は、従来の復号装置の機能構成を例示する図である。 図5は、第一実施形態および第二実施形態の符号化装置の機能構成を例示する図である。 図6は、第一実施形態および第二実施形態の復号装置の機能構成を例示する図である。 図7は、第一実施形態の信号前処理部の機能構成を例示する図である。 図8は、第一実施形態の信号後処理部の機能構成を例示する図である。 図9は、第一実施形態の準瞬時圧伸部の機能構成を例示する図である。 図10は、第一実施形態の準瞬時逆圧伸部の機能構成を例示する図である。 図11は、実施形態の符号化方法の処理手続きを例示する図である。 図12は、準瞬時圧伸前の音響信号を例示する図である。 図13は、準瞬時圧伸前のサンプル区間を例示する図である。 図14は、準瞬時圧伸後のサンプル区間を例示する図である。 図15は、準瞬時圧伸後の重み付信号を例示する図である。 図16は、実施形態の復号方法の処理手続きを例示する図である。 図17は、準瞬時逆圧伸前の復号重み付信号を例示する図である。 図18は、準瞬時逆圧伸前のサンプル区間を例示する図である。 図19は、準瞬時逆圧伸後のサンプル区間を例示する図である。 図20は、準瞬時逆圧伸後の出力信号を例示する図である。 図21は、第二実施形態の信号前処理部の機能構成を例示する図である。 図22は、第二実施形態の信号後処理部の機能構成を例示する図である。 図23は、第二実施形態の準瞬時圧伸部の機能構成を例示する図である。 図24は、第二実施形態の準瞬時逆圧伸部の機能構成を例示する図である。 図25は、第三実施形態および第四実施形態の符号化装置の機能構成を例示する図である。 図26は、第三実施形態および第四実施形態の復号装置の機能構成を例示する図である。 図27は、第三実施形態の信号前処理部の機能構成を例示する図である。 図28は、第三実施形態の信号後処理部の機能構成を例示する図である。 図29は、第四実施形態の信号前処理部の機能構成を例示する図である。 図30は、第四実施形態の信号後処理部の機能構成を例示する図である。 図31は、第五実施形態による準瞬時圧伸前後の周波数スペクトルを例示する図である。 図32は、第六実施形態の準瞬時圧伸部の機能構成を例示する図である。 図33は、第六実施形態の準瞬時逆圧伸部の機能構成を例示する図である。 図34は、第六実施形態による準瞬時圧伸前後の周波数スペクトルを例示する図である。 図35は、第七実施形態のサンプル列変形装置の機能構成を例示する図である。 図36は、第七実施形態のサンプル列変形装置の機能構成を例示する図である。 図37は、第八実施形態の符号化装置の機能構成を例示する図である。 図38は、第八実施形態の復号装置の機能構成を例示する図である。 図39は、第八実施形態の符号化方法の処理手続きを例示する図である。 図40は、第八実施形態の復号方法の処理手続きを例示する図である。 図41は、第九実施形態の符号化装置の機能構成を例示する図である。 図42は、第九実施形態の符号化方法の処理手続きを例示する図である。 図43は、第九実施形態の変形例の符号化装置の機能構成を例示する図である。 図44は、第九実施形態の変形例の符号化方法の処理手続きを例示する図である。 図45は、第九実施形態の復号装置の機能構成を例示する図である。 図46は、第九実施形態の復号方法の処理手続きを例示する図である。 図47は、第十実施形態の信号符号化装置の機能構成を例示する図である。 図48は、第十実施形態の信号復号装置の機能構成を例示する図である。 図49は、聴覚品質が向上する仕組みを説明するための図である。
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
文中で使用する記号「~」「^」「」等は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。数式中においてはこれらの記号は本来の位置、すなわち文字の真上に記述している。
<第一実施形態>
この発明の第一実施形態は、符号化装置1および復号装置2からなる。符号化装置1は、フレーム単位で入力された音声や音楽などの音信号(音響信号)を符号化して符号を得て、出力する。符号化装置が出力する符号は復号装置へ入力される。復号装置は入力された符号を復号してフレーム単位の音響信号を出力する。
第一実施形態の符号化装置1は、図5に示すように、信号前処理部10、量子化部17、可逆符号化部18、および多重化部19を含む。つまり、図1に示した従来の符号化装置91に対して信号前処理部10を追加したものである。第一実施形態の復号装置2は、図6に示すように、多重分離部21、可逆復号部22、逆量子化部23、および信号後処理部25を含む。つまり、図2に示した従来の復号装置92に対して信号後処理部25を追加したものである。
符号化装置1および復号装置2は、例えば、中央演算処理装置(Central Processing Unit、CPU)、主記憶装置(Random Access Memory、RAM)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。符号化装置1および復号装置2は、例えば、中央演算処理装置の制御のもとで各処理を実行する。符号化装置1および復号装置2に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、符号化装置1および復号装置2の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
符号化装置1の信号前処理部10および復号装置2の信号後処理部25は、「準瞬時圧伸」の処理を行う。準瞬時圧伸とは、所定区間内のサンプル値をひとまとめにし、その代表値に応じてそれらのサンプル値を圧縮あるいは伸長する変換のことを言う。信号前処理部10は、図7に示すように、準瞬時圧伸部100を含む。信号後処理部25は、図8に示すように、準瞬時逆圧伸部250を含む。準瞬時圧伸部100は、図9に示すように、代表値算出部110および信号圧伸部120を含む。準瞬時逆圧伸部250は、図10に示すように、圧伸代表値算出部260および信号逆圧伸部270を含む。
符号化装置1は、前処理として補助情報が不要な準瞬時圧伸を用いて入力信号を適応的に重み付けして重み付信号を得て、その重み付信号に対して従来技術と同様の量子化および可逆符号化を行う。復号装置2は、符号を入力として従来技術と同様の可逆復号および逆量子化を行い、後処理として補助情報の不要な準瞬時圧伸を用いて符号化装置1の準瞬時圧伸とは逆の重み付けを重み付信号に施す。第一実施形態の符号化装置1および復号装置2は、これらの処理により、量子化歪みを聴覚的に低減することが可能となる。
≪符号化装置1≫
図11を参照して、第一実施形態の符号化装置1が実行する符号化方法の処理手続きを説明する。
ステップS11において、音声や音楽などの時間領域の音響信号Xk(k=0, …, N-1、N(>0)は所定のフレーム内のサンプル数、kはフレーム内でのサンプル番号)がフレーム単位で符号化装置1へ入力される。符号化装置1へ入力された音響信号Xkは信号前処理部10へ入力される。
[信号前処理部10]
信号前処理部10は、フレーム毎に、符号化装置1へ入力された音響信号Xk(k=0, …, N-1)を受け取り、準瞬時圧伸部100での処理を行い、重み付信号Yk(k=0, …, N-1)を量子化部17へ出力する。
[準瞬時圧伸部100]
準瞬時圧伸部100は、フレーム毎に、符号化装置1へ入力された音響信号Xk(k=0, …, N-1)を受け取り、代表値算出部110および信号圧伸部120での処理を行い、重み付信号Yk(k=0, …, N-1)を量子化部17へ出力する。
[代表値算出部110]
ステップS12において、代表値算出部110は、フレーム毎に、準瞬時圧伸部100入力された音響信号Xk(k=0, …, N-1)を受け取り、所定のM(≦N)サンプルによる区間毎に代表値Xm(m=1, …, N/M)を算出し、信号圧伸部120へ出力する。代表値Xmとしては、復号装置2でも推定可能な特徴量を用いる。
例えば、絶対値平均
Figure 0006712643
または、二乗平均の平方根
Figure 0006712643
または、p乗平均のp乗根(p>0)
Figure 0006712643
または、絶対値の最大値
Figure 0006712643
または、絶対値の最小値
Figure 0006712643
などのうちの予め定めた1つの特徴量を、代表値として算出し、出力する。
演算量を削減するために、代表値の算出は、Mサンプルによる区間内の一部のM'(<M)サンプルを用いて、例えば以下のように行ってもよい。
Figure 0006712643
ただし、M'は代表値算出に用いるサンプル数、Gmは予め決めた代表値算出に用いるサンプルの番号である。
[信号圧伸部120]
ステップS13において、信号圧伸部120は、フレーム毎に、代表値算出部110が出力した代表値Xm(m=1, …, N/M)と、準瞬時圧伸部100から入力されたフレーム毎の音響信号Xk(k=0, …, N-1)とを受け取り、以下のように重み付信号Yk(k=0, …, N-1)を生成し、量子化部17へ出力する。
まず、予め定めた圧伸関数f(x)を用いて代表値Xmを変換する。圧伸関数f(x)は逆関数f-1(y)を定義することが可能な任意の関数である。圧伸関数f(x)としては、例えば、次に示すような一般化対数関数などを使用することができる。
Figure 0006712643
ただし、γおよびμは所定の正数とする。
次に、圧伸関数f(x)による変換後の代表値f(Xm)および元の代表値Xmを用い、Mサンプルによる区間毎に音響信号のサンプル値Xkを、以下のように重み付信号Ykに変形する。
Figure 0006712643
ここでは、最初に圧伸関数f(x)を用いて代表値Xmを変換し、その関数値に応じた重みf(Xm)/Xmとサンプル値Xkとを乗算することで重み付信号Ykに変形するといった、二段階の演算を行う例を示した。しかしながら、この発明はこのような計算方法に限定されるものではなく、重み付信号Ykを得られる演算であればどのような計算方法を行ってもよい。例えば式(9)の演算を一段階で行うような計算を行ってもよい。
逆関数を定義することが可能な圧伸関数は、式(7)のように単独のサンプル値に対する演算には限定されず、例えば、複数サンプルを引数として各サンプルに対する演算結果を出力する関数であってもよいし、逆関数を定義できる関数に対して逆演算が可能な演算をさらに行う演算を含んで圧伸関数として定義してもよい。例えば、式(9)における
Figure 0006712643
を圧伸関数と捉えてもよいし、また例えば、式(9)における
Figure 0006712643
を圧伸関数と捉えてもよい。
準瞬時圧伸は、区間ごとにみると代表値のみに依存する単純な定数倍で表現されている。これにより、代表値算出部110の説明で挙げたような特徴量を用いている限り、復号装置2でも重み付信号Ykから代表値Xmを推定することができ、補助情報無しで逆圧伸を行うことが可能である。
[量子化部17]
ステップS14において、量子化部17は、信号前処理部10が出力したフレーム毎の重み付信号Yk(k=0, …, N-1)を受け取り、目標の符号長に適うように重み付信号Ykをスカラー量子化し、量子化信号を出力する。量子化部17は、例えば、従来技術と同様に、重み付信号Ykを量子化幅に対応する値で除算して整数値を量子化信号として得る。量子化部17は、量子化信号を可逆符号化部18へ、量子化に使用した量子化幅を多重化部19へそれぞれ出力する。量子化幅は、例えば所定のものを使用してもよいし、可逆符号化部18による圧縮結果の符号長を基にして、符号長が目標の符号長に対して長過ぎる場合には量子化幅を大きくし、符号長が目標の符号長に対して短過ぎる場合には量子化幅を小さくするというようにして探索してもよい。量子化部17は、信号前処理部10と同じサンプル数Nのフレーム毎に動作させてもよいし、信号前処理部10と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
[可逆符号化部18]
ステップS15において、可逆符号化部18は、量子化部17が出力した量子化信号を受け取り、可逆符号化により量子化信号に対応する符号を割り当て、信号符号を出力する。可逆符号化部18は、信号符号を多重化部19へ出力する。可逆符号化は、例えば一般的なエントロピー符号化を用いてもよいし、MPEG-ALS(参考文献1参照)やG.711.0(参考文献2参照)のような既存の可逆符号化方式を用いてもよい。可逆符号化部18は、信号前処理部10と同じサンプル数Nのフレーム毎に動作させてもよいし、信号前処理部10と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
〔参考文献1〕T. Liebechen, T. Moriya, N. Harada, Y. Kamamoto, and Y. A. Reznik, “The MPEG-4 Audio Lossless Coding (ALS) standard - technology and applications,” in Proc. AES 119th Convention, Paper #6589, Oct., 2005.
〔参考文献2〕ITU-T G.711.0, “Lossless compression of G.711 pulse code modulation,” 2009.
[多重化部19]
ステップS16において、多重化部19は、量子化部17が出力した量子化幅と、可逆符号化部18が出力した信号符号とを受け取り、量子化幅に対応する符号である量子化幅符号と信号符号とを合わせて出力符号として出力する。量子化幅符号は、量子化幅の値を符号化することにより得る。量子化幅の値を符号化する方法としては、周知の符号化方法を用いればよい。多重化部19は、信号前処理部10と同じサンプル数Nのフレーム毎に動作させてもよいし、信号前処理部10と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
図12〜15に、第一実施形態の符号化方法の前処理により、入力された音響信号が変形される過程の具体例を示す。図12は時間領域の音響信号Xkの信号波形である。横軸は時間を表し、縦軸は振幅を表す。図12の例では、0秒から2秒までの音響信号Xkを示している。図13は代表値を算出するために図12中の点線で区切られた位置で切り出したMサンプルによる区間の音響信号の信号波形である。図13に示した1.28秒〜1.36秒の区間に含まれるMサンプルから代表値を算出する。図14は圧伸関数による代表値の関数値に応じて重み付けした後のMサンプルによる区間の重み付信号の信号波形である。図13と比較して、波形の形状は変わらずに振幅の値が変換されていることがわかる。図15は最終的に信号前処理部から出力される重み付信号Ykの信号波形である。図12と比較して、全体として圧伸されていることがわかる。
≪復号装置2≫
図16を参照して、第一実施形態の復号装置2が実行する復号方法の処理手続きを説明する。
[多重分離部21]
ステップS21において、多重分離部21は、復号装置2へ入力された符号を受け取り、信号符号を可逆復号部22へ、量子化幅符号に対応する量子化幅を逆量子化部23へそれぞれ出力する。量子化幅符号に対応する量子化幅は、量子化幅符号を復号することにより得る。量子化幅符号を復号する方法としては、量子化幅を符号化した周知の符号化方法に対応する復号方法を用いればよい。信号後処理部25は以下で説明する通りサンプル数Nのフレーム毎に動作するが、多重分離部21は、信号後処理部25と同じサンプル数Nのフレーム毎に動作させてもよいし、信号後処理部25と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
[可逆復号部22]
ステップS22において、可逆復号部22は、多重分離部21が出力した信号符号を受け取り、可逆符号化部18の処理に対応する可逆復号を行い、信号符号に対応する信号を復号量子化信号として逆量子化部23へ出力する。可逆復号部22は、信号後処理部25と同じサンプル数Nのフレーム毎に動作させてもよいし、信号後処理部25と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
[逆量子化部23]
ステップS23において、逆量子化部23は、可逆復号部22が出力した復号量子化信号と、多重分離部21が出力した量子化幅とを受け取り、例えば従来技術と同様に、量子化幅に対応する値と復号量子化信号の各サンプル値とをサンプル毎に乗算し、逆量子化された信号を得る。逆量子化部23は、逆量子化された信号をサンプル数Nのフレーム毎の復号重み付信号^Yk(k=0, …, N-1)として信号後処理部25へ出力する。逆量子化部23は、信号後処理部25と同じサンプル数Nのフレーム毎に動作させてもよいし、信号後処理部25と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
[信号後処理部25]
信号後処理部25は、フレーム毎に、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)を受け取り、準瞬時逆圧伸部250での処理を行い、出力信号^Xk(k=0, …, N-1)を出力する。
[準瞬時逆圧伸部250]
準瞬時逆圧伸部250は、フレーム毎に、逆量子化部23から入力された復号重み付信号^Yk(k=0, …, N-1)を受け取り、圧伸代表値算出部260および信号逆圧伸部270での処理を行い、出力信号^Xk(k=0, …, N-1)を出力する。
[圧伸代表値算出部260]
ステップS24において、圧伸代表値算出部260は、フレーム毎に、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)を受け取り、復号装置2に対応する符号化装置1の代表値算出部110と同様にして、Mサンプルによる区間毎に代表値Ym(m=1, …, N/M)を算出し、圧伸代表値Ymとして信号逆圧伸部270へ出力する。圧伸代表値Ymの算出方法は、復号装置2に対応する符号化装置1の代表値算出部110と同じものを用いる。
例えば、絶対値平均であれば、
Figure 0006712643
とする。
上述の代表値算出部110で挙げたような特徴量で代表値を算出した場合、ここ(圧伸代表値算出部260)で算出される圧伸代表値は、符号化装置1での量子化による歪みが無い場合には符号化装置1の代表値算出部110で算出された代表値を圧伸関数により変換して得た値に等しくなり、符号化装置1での量子化歪みがあったとしても符号化装置1の代表値算出部110で算出された代表値を圧伸関数により変換して得た値とほぼ同じ値になる。したがって、後段の信号逆圧伸部270で圧伸関数の逆関数を用いて圧伸代表値を逆変換することにより、元の代表値を推定することができ、補助情報無しで逆圧伸を行うことができる。
[信号逆圧伸部270]
ステップS25において、信号逆圧伸部270は、フレーム毎に、圧伸代表値算出部260が出力した圧伸代表値Ym(m=1, …, N/M)と、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)とを受け取り、以下のように出力信号^Xk(k=0, …, N-1)を生成し、出力する。
まず、予め定めた圧伸関数f(x)の逆関数f-1(y)を用いて圧伸代表値Ymを変換する。例えば、対応する符号化装置1の信号圧伸部120で圧伸関数f(x)として一般化対数関数を用いたならば、逆関数f-1(y)は以下のものを用いる。
Figure 0006712643
次に、逆関数f-1(y)による変換後の圧伸代表値f-1(Ym)および元の圧伸代表値Ymを用い、Mサンプルによる区間毎に復号重み付信号のサンプル値^Ykを、以下のように出力信号^Xkに変形する。
Figure 0006712643
ここでは、最初に逆関数f-1(y)を用いて圧伸代表値Ymを変換し、その関数値に応じた重みf-1(Ym)/Ymとサンプル値^Ykとを乗算することで出力信号^Xkに変形するといった、二段階の演算を行う例を示した。しかしながら、この発明はこのような計算方法に限定されるものではなく、信号圧伸部120と同様に、どのような計算方法を行ってもよい。例えば式(15)の演算を一段階で行うような計算を行ってもよい。
図17〜20に、第一実施形態の復号方法の後処理により、復号重み付信号が変形される過程の具体例を示す。図17は復号重み付信号^Ykの信号波形である。横軸は時間を表し、縦軸は振幅を表す。図17の例では、0秒から2秒までの復号重み付信号^Ykを示している。図18は圧伸代表値を算出するために図17中の点線で区切られた位置で切り出したMサンプルによる区間の復号重み付信号の信号波形である。図18に示した1.28秒〜1.36秒の区間に含まれるMサンプルから圧伸代表値を算出する。図19は圧伸関数の逆関数による圧伸代表値の関数値に応じて重み付けした後のMサンプルによる区間の出力信号の信号波形である。図18と比較して、波形の形状は変わらずに振幅の値が変換されていることがわかる。図20は最終的に信号後処理部から出力される出力信号^Xkの信号波形である。図17と比較して、全体として逆圧伸されていることがわかる。
<第二実施形態>
第一実施形態の信号前処理部10および信号後処理部25は、時間領域の信号で準瞬時圧伸の処理を行ったが、準瞬時圧伸による信号の重み付けは周波数領域で行っても聴覚的に量子化歪みを低減することができる。第二実施形態の符号化装置3および復号装置4では、信号前処理部および信号後処理部の処理を周波数領域で行う。
第二実施形態の符号化装置3は、図5に示すように、信号前処理部11、量子化部17、可逆符号化部18、および多重化部19を含む。つまり、第一実施形態の符号化装置1と比較して、信号前処理部の処理が異なる。第二実施形態の復号装置4は、多重分離部21、可逆復号部22、逆量子化部23、および信号後処理部26を含む。つまり、第一実施形態の復号装置2と比較して、信号後処理部の処理が異なる。
信号前処理部11は、図21に示すように、周波数変換部130、準瞬時圧伸部101、および周波数逆変換部140を含む。信号後処理部26は、図22に示すように、周波数変換部280、準瞬時逆圧伸部251、および周波数逆変換部290を含む。準瞬時圧伸部101は、図23に示すように、代表値算出部111および信号圧伸部121を含む。準瞬時逆圧伸部251は、図24に示すように、圧伸代表値算出部261および信号逆圧伸部271を含む。準瞬時圧伸部101および準瞬時逆圧伸部251は、入出力が周波数スペクトルである点が、第一実施形態の準瞬時圧伸部100および準瞬時逆圧伸部250と異なる点である。
≪符号化装置3≫
音声や音楽などの時間領域の音響信号xn(n=0, …, N-1、N(>0)は所定のフレーム内のサンプル数、nはフレーム内でのサンプル番号)がフレーム単位で符号化装置3へ入力される。符号化装置3へ入力された音響信号xnは信号前処理部11へ入力される。
[信号前処理部11]
信号前処理部11は、フレーム毎に、符号化装置3へ入力された音響信号xn(n=0, …, N-1)を受け取り、周波数変換部130、準瞬時圧伸部101、および周波数逆変換部140での処理を行い、重み付信号yn(n=0, …, N-1)を量子化部17へ出力する。
[周波数変換部130]
周波数変換部130は、フレーム毎に、信号前処理部11入力された音響信号xn(n=0, …, N-1)を受け取り、例えば以下のような離散コサイン変換を施して周波数スペクトルXk(k=0, …, N-1)に変換し、その周波数スペクトルXkを準瞬時圧伸部101へ出力する。
Figure 0006712643
ただし、xn(n=0, …, N-1)は音響信号のサンプル値を、Xk(k=0, …, N-1)は周波数スペクトルのサンプル値をそれぞれ表す。
[準瞬時圧伸部101]
準瞬時圧伸部101は、フレーム毎に、周波数変換部130が出力した周波数スペクトルXk(k=0, …, N-1)を受け取り、代表値算出部111および信号圧伸部121での処理を行い、重み付周波数スペクトルYk(k=0, …, N-1)を周波数逆変換部140へ出力する。代表値算出部111および信号圧伸部121の処理は、第一実施形態の音響信号Xk(k=0, …, N-1)に代えて周波数スペクトルXk(k=0, …, N-1)を用い、第一実施形態の重み付信号Yk(k=0, …, N-1)に代えて重み付周波数スペクトルYk(k=0, …, N-1)を得ること以外は、第一実施形態の代表値算出部110および信号圧伸部120と同様である。
[周波数逆変換部140]
周波数逆変換部140は、フレーム毎に、準瞬時圧伸部101が出力した重み付周波数スペクトルYk(k=0, …, N-1)を受け取り、例えば以下のような逆離散コサイン変換を施して重み付信号yn(n=0, …, N-1)に変換し、その重み付信号ynを量子化部17へ出力する。
Figure 0006712643
ただし、yn(n=0, …, N-1)は重み付信号のサンプル値を表す。
第二実施形態の重み付信号yn(n=0, …, N-1)は、表記は第一実施形態の重み付信号Yk(k=0, …, N-1)とは異なるが、第一実施形態と同様に時間領域の重み付信号である。したがって、第二実施形態の量子化部17以降は第一実施形態と同じ動作をするので、説明を省略する。
≪復号装置4≫
[信号後処理部26]
信号後処理部26は、フレーム毎に、逆量子化部23が出力した復号重み付信号^yn(n=0, …, N-1)を受け取り、周波数変換部280、準瞬時逆圧伸部251、および周波数逆変換部290での処理を行い、出力信号^xn(n=0, …, N-1)を出力する。第二実施形態の復号重み付信号^yn(n=0, …, N-1)は、表記は異なるが、第一実施形態の復号重み付信号^Yk(k=0, …, N-1)と同様に、逆量子化部23が出力した時間領域の復号重み付信号である。
[周波数変換部280]
周波数変換部280は、フレーム毎に、逆量子化部23から入力された復号重み付信号^yn(n=0, …, N-1)を受け取り、周波数変換部130と同様にして、復号重み付周波数スペクトル^Yk(k=0, …, N-1)に変換し、その復号重み付周波数スペクトル^Ykを準瞬時逆圧伸部251へ出力する。
[準瞬時逆圧伸部251]
準瞬時逆圧伸部251は、フレーム毎に、周波数変換部280が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)を受け取り、圧伸代表値算出部261および信号逆圧伸部271での処理を行い、復号周波数スペクトル^Xk(k=0, …, N-1)を周波数逆変換部290へ出力する。圧伸代表値算出部261および信号逆圧伸部271の処理は、第一実施形態の復号重み付信号^Yk(k=0, …, N-1)に代えて復号重み付周波数スペクトル^Yk(k=0, …, N-1)を用い、第一実施形態の出力信号^Xk(k=0, …, N-1)に代えて復号周波数スペクトル^Xk(k=0, …, N-1)を得ること以外は、第一実施形態の圧伸代表値算出部260および信号逆圧伸部270と同様である。
[周波数逆変換部290]
周波数逆変換部290は、フレーム毎に、準瞬時逆圧伸部251が出力した復号周波数スペクトル^Xk(k=0, …, N-1)を受け取り、周波数逆変換部140と同様にして、出力信号^xn(n=0, …, N-1)に変換し、その出力信号^xnを出力する。
<第三実施形態>
第二実施形態の信号前処理部11および信号後処理部26は、周波数領域にて準瞬時圧伸を行った後、時間領域に戻して符号化および復号の処理を行った。第三実施形態では、時間領域に戻さず周波数領域のまま符号化および復号の処理を行う。
第三実施形態の符号化装置5は、図25に示すように、信号前処理部12、量子化部17、可逆符号化部18、および多重化部19を含む。つまり、第二実施形態の符号化装置3と比較して、信号前処理部の処理が異なる。第三実施形態の復号装置6は、図26に示すように、多重分離部21、可逆復号部22、逆量子化部23、および信号後処理部27を含む。つまり、第二実施形態の復号装置4と比較して、信号後処理部の処理が異なる。
信号前処理部12は、図27に示すように、周波数変換部130および準瞬時圧伸部101を含む。つまり、第二実施形態の信号前処理部11と比較して、周波数逆変換部140を含まず、重み付周波数スペクトルを出力する点が異なる。信号後処理部27は、図28に示すように、準瞬時逆圧伸部251および周波数逆変換部290を含む。つまり、第二実施形態の信号後処理部26と比較して、周波数変換部280を含まず、復号重み付周波数スペクトルが入力される点が異なる。量子化部17、可逆符号化部18、可逆復号部22および逆量子化部23は、第二実施形態の量子化部17、可逆符号化部18、可逆復号部22および逆量子化部23と同様の処理を行うが、時間領域の信号に代えて周波数スペクトルを扱う点が第二実施形態とは異なる。
≪符号化装置5≫
[信号前処理部12]
信号前処理部12は、フレーム毎に、符号化装置5へ入力された音響信号xn(n=0, …, N-1)を受け取り、周波数変換部130および準瞬時圧伸部101での処理を行い、重み付周波数スペクトルYk(k=0, …, N-1)を量子化部17へ出力する。周波数変換部130および準瞬時圧伸部101の処理は、上述の第二実施形態と同様である。
第三実施形態の重み付周波数スペクトルYk(k=0, …, N-1)は周波数領域の信号であり、第二実施形態の重み付信号Yk(k=0, …, N-1)は時間領域の信号であるが、量子化部17以降は、信号が時間領域であっても周波数領域であっても同様の動作をするので、説明を省略する。
≪復号装置6≫
[可逆復号部22]
可逆復号部22は、多重分離部21が出力した信号符号を受け取り、可逆符号化部18の処理に対応する可逆復号を行い、信号符号に対応する周波数スペクトルを復号量子化周波数スペクトルとして逆量子化部23へ出力する。
[逆量子化部23]
逆量子化部23は、可逆復号部22が出力した復号量子化周波数スペクトルと、多重分離部21が出力した量子化幅とを受け取り、例えば従来技術と同様に、量子化幅に対応する値と復号量子化周波数スペクトルの各サンプル値とをサンプル毎に乗算し、逆量子化された信号を得る。逆量子化部23は、逆量子化された信号をサンプル数Nのフレーム毎の復号重み付周波数スペクトル^Yk(k=0, …, N-1)として信号後処理部27へ出力する。
[信号後処理部27]
信号後処理部27は、フレーム毎に、逆量子化部23が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)を受け取り、準瞬時逆圧伸部251および周波数逆変換部290での処理を行い、出力信号^xn(n=0, …, N-1)を出力する。準瞬時逆圧伸部251および周波数逆変換部290の処理は、上述の第二実施形態と同様である。
<第四実施形態>
第一実施形態の信号前処理部10および信号後処理部25は、時間領域の信号で準瞬時圧伸の処理を行った後、時間領域のまま符号化および復号の処理を行った。第四実施形態では、時間領域の信号で準瞬時圧伸の処理を行った後、周波数領域に変換して符号化および復号の処理を行う。
第四実施形態の符号化装置7は、図25に示すように、信号前処理部13、量子化部17、可逆符号化部18、および多重化部19を含む。つまり、第一実施形態の符号化装置1と比較して、信号前処理部の処理が異なる。第四実施形態の復号装置8は、図26に示すように、多重分離部21、可逆復号部22、逆量子化部23、および信号後処理部28を含む。つまり、第一実施形態の復号装置2と比較して、信号後処理部の処理が異なる。
信号前処理部13は、図29に示すように、準瞬時圧伸部100および周波数変換部130を含む。つまり、第一実施形態の信号前処理部10と比較して、準瞬時圧伸部100の後段に周波数変換部130を接続し、重み付周波数スペクトルを出力する点が異なる。信号後処理部28は、図30に示すように、周波数逆変換部290および準瞬時逆圧伸部250を含む。つまり、第一実施形態の信号後処理部25と比較して、準瞬時逆圧伸部250の前段に周波数逆変換部290を接続し、復号重み付周波数スペクトルが入力される点が異なる。量子化部17、可逆符号化部18、可逆復号部22および逆量子化部23は、第一実施形態の量子化部17、可逆符号化部18、可逆復号部22および逆量子化部23と同様の処理を行うが、時間領域の信号に代えて周波数スペクトルを扱う点が第一実施形態とは異なる。
≪符号化装置7≫
音声や音楽などの時間領域の音響信号xn(n=0, …, N-1、N(>0)は所定のフレーム内のサンプル数、nはフレーム内でのサンプル番号)がフレーム単位で符号化装置7へ入力される。符号化装置7へ入力された音響信号xnは信号前処理部13へ入力される。
[信号前処理部13]
信号前処理部13は、フレーム毎に、符号化装置7へ入力された音響信号xn(n=0, …, N-1)を受け取り、準瞬時圧伸部100および周波数変換部130での処理を行い、重み付周波数スペクトルYk(k=0, …, N-1)を量子化部17へ出力する。
[準瞬時圧伸部100]
準瞬時圧伸部100は、フレーム毎に、符号化装置7へ入力された音響信号xn(n=0, …, N-1)を受け取り、代表値算出部110および信号圧伸部120での処理を行い、重み付信号yn(n=0, …, N-1)を周波数変換部130へ出力する。準瞬時圧伸部100の処理は、音響信号xn(n=0, …, N-1)が上述の第一実施形態では音響信号Xk(k=0, …, N-1)と表記され、重み付信号yn(n=0, …, N-1)が上述の第一実施形態では重み付信号Yk(k=0, …, N-1)と表記されていること以外は、上述の第一実施形態と同様である。
[周波数変換部130]
周波数変換部130は、フレーム毎に、準瞬時圧伸部100から入力された重み付信号yn(n=0, …, N-1)を受け取り、周波数領域のスペクトルに変換して、重み付周波数スペクトルYk(k=0, …, N-1)を得て、量子化部17へ出力する。周波数変換部130の処理は、上述の第二実施形態と同様である。
第四実施形態の重み付周波数スペクトルYk(k=0, …, N-1)は周波数領域の信号であり、第一実施形態の重み付信号Yk(k=0, …, N-1)は時間領域の信号であるが、量子化部17以降は、信号が時間領域であっても周波数領域であっても同様の動作をするので、説明を省略する。
≪復号装置8≫
[可逆復号部22]
可逆復号部22は、多重分離部21が出力した信号符号を受け取り、可逆符号化部18の処理に対応する可逆復号を行い、信号符号に対応する周波数スペクトルを復号量子化周波数スペクトルとして逆量子化部23へ出力する。
[逆量子化部23]
逆量子化部23は、可逆復号部22が出力した復号量子化周波数スペクトルと、多重分離部21が出力した量子化幅とを受け取り、例えば従来技術と同様に、量子化幅に対応する値と復号量子化周波数スペクトルの各サンプル値とをサンプル毎に乗算し、逆量子化された信号を得る。逆量子化部23は、逆量子化された信号を復号重み付周波数スペクトル^Yk(k=0, …, N-1)として信号後処理部28へ出力する。
[信号後処理部28]
信号後処理部28は、フレーム毎に、逆量子化部23が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)を受け取り、周波数逆変換部290および準瞬時逆圧伸部250での処理を行い、出力信号^xn(n=0, …, N-1)を出力する。
[周波数逆変換部290]
周波数逆変換部290は、フレーム毎に、逆量子化部23が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)を受け取り、時間領域の信号に変換して、復号重み付信号^yn(n=0, …, N-1)を得て、準瞬時逆圧伸部250へ出力する。周波数逆変換部290の処理は、上述の第二実施形態と同様である。
[準瞬時逆圧伸部250]
準瞬時逆圧伸部250は、フレーム毎に、入力された復号重み付信号^yn(n=0, …, N-1)を受け取り、圧伸代表値算出部260および信号逆圧伸部270での処理を行い、出力信号^xn(n=0, …, N-1)を出力する。準瞬時逆圧伸部250の処理は、復号重み付信号^yn(n=0, …, N-1)が上述の第一実施形態では復号重み付信号^Yk(k=0, …, N-1)と表記され、出力信号^xn(n=0, …, N-1)が上述の第一実施形態では出力信号^Xk(k=0, …, N-1)と表記されていること以外は、上述の第一実施形態と同様である。
<第一実施形態から第四実施形態のポイント>
第一実施形態では時間領域で前処理および後処理を行い、時間領域で符号化処理および復号処理を行う構成を説明した。第二実施形態では周波数領域で前処理および後処理を行い、時間領域で符号化処理および復号処理を行う構成を説明した。第三実施形態では周波数領域で前処理および後処理を行い、周波数領域で符号化処理および復号処理を行う構成を説明した。第四実施形態では時間領域で前処理および後処理を行い、周波数領域で符号化処理および復号処理を行う構成を説明した。すなわち、この発明では、前処理および後処理と、符号化処理および復号処理は、周波数領域と時間領域の任意の組み合わせで実施することができる。言い替えると、この発明の前処理および後処理は、周波数領域の符号化処理および復号処理と時間領域の符号化処理および復号処理とのどちらに対しても適用可能なものである。
<第五実施形態>
準瞬時圧伸の処理を行う複数サンプルの区間は予め決めた長さであればどのように定めても補助情報を用いずに逆変換を行うことができる。しかしながら、聴覚品質を考慮すると、準瞬時圧伸の処理を行う複数サンプルの区間をより適切に定めることができる。
人間の聴覚は各周波数の振幅を対数的に感じ取っているため、その観点ではサンプル毎に個々に重み付けした方がよい。しかしながら、ピーク周辺の周波数はピークの値に引きずられて重みが小さくなるべきであるため、その観点では複数サンプルをまとめて重み付けした方がよい。一方、人間の聴覚の周波数解像度は低周波数において高く、高周波数において低いことが知られている。そこで、第五実施形態では低周波数での処理区間を細かく、高周波数での処理区間を粗く設定することで、聴覚品質を考慮しながらより効率的な重み付けを実現する。
≪符号化装置≫
第五実施形態の符号化装置は、第二実施形態の符号化装置3もしくは第三実施形態の符号化装置5において、代表値算出部111および信号圧伸部121の処理を以下のように変更したものである。
[代表値算出部111]
代表値算出部111は、フレーム毎に、周波数変換部130が出力した周波数スペクトルXk(k=0, …, N-1)を受け取り、各フレームの周波数スペクトルXk(k=0, …, N-1)を予め定めた個数のサンプルを含むL個の区間(周波数区間)に分割し、その区間毎に代表値Xm(m=1, …, L)を算出し、信号圧伸部121へ出力する。このとき、各区間に含まれるサンプル数は任意に定めることができる。例えば、K0, …, KL(0=K0<…<KL=N-1)をフレーム内のサンプルの番号を表すものとし、L個の区間を[K0 K1], [K1 K2], …, [KL-1 KL]のように定義する。[Km-1 Km]は、フレーム内の(Km-1+1)番目のサンプルからKm番目のサンプルまでをm番目の区間として定義することを表している。このとき、代表値Xm(m=1, …, L)は、例えば絶対値平均を用いて、
Figure 0006712643
として算出する。
L個の区間それぞれに含まれるサンプル数をMm(m=1, …, L、ただしM1≦M2≦…≦ML)としたとき、例えばM1<…<MLとなるように[Km-1 Km]を定義することで、低周波数ほど細かく処理区間を設定し、高周波数ほど粗い処理区間を設定することができる。なお、M1=M2=…=MLの場合は、上記第一〜第四実施形態と等しい構成となる。
[信号圧伸部121]
信号圧伸部121は、フレーム毎に、代表値算出部111が出力した代表値Xm(m=1, …, L)と、周波数変換部130が出力した周波数スペクトルXk(k=0, …, N-1)とを受け取り、以下のように重み付周波数スペクトルYk(k=0, …, N-1)を生成し、周波数逆変換部140へ出力する。
圧伸関数f(x)による変換後の代表値f(Xm)および元の代表値Xmを用い、予め定めた個数のサンプルを含むL個の区間毎に周波数スペクトルのサンプル値Xkを、以下のように重み付周波数スペクトルYkに変形する。
Figure 0006712643
≪復号装置≫
第五実施形態の復号装置は、第二実施形態の復号装置4において、圧伸代表値算出部261および信号逆圧伸部271の処理を以下のように変更したものである。
[圧伸代表値算出部261]
圧伸代表値算出部261は、フレーム毎に、周波数変換部280が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)を受け取り、代表値算出部111と同様にして、各フレームの復号重み付周波数スペクトル^Yk(k=0, …, N-1)を予め定めた個数のサンプルを含むL個の区間(周波数区間)に分割し、その区間毎に代表値Ym(m=1, …, L)を算出し、圧伸代表値Ymとして信号逆圧伸部271へ出力する。圧伸代表値Ymの算出方法は代表値算出部111と同じものを用いる。
圧伸代表値Ym(m=1, …, L)は、例えば、絶対値平均であれば、
Figure 0006712643
として算出する。
[信号逆圧伸部271]
信号逆圧伸部271は、フレーム毎に、圧伸代表値算出部261が出力した圧伸代表値Ym(m=1,…,M')と、周波数変換部280が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)とを受け取り、以下のように復号周波数スペクトル^Xk(k=0, …, N-1)を生成し、周波数逆変換部290へ出力する。
圧伸関数f(x)の逆関数f-1(y)による変換後の圧伸代表値f-1(Ym)および元の圧伸代表値Ymを用い、所定のMサンプルの区間毎に復号重み付周波数スペクトルのサンプル値^Ykを、以下のように復号周波数スペクトル^Xkのサンプル値に変形する。
Figure 0006712643
図31に、第五実施形態の符号化方法の前処理により低周波数ほど細かく、高周波数ほど粗く区間分けして信号圧伸したときの周波数スペクトルの具体例を示す。図31の例では、例えば0〜2000Hzの周波数帯は5個の区間に分けられ、例えば5000Hz〜8000Hzの周波数帯ではすべて1個の区間に含まれており、低周波数ほど細かく、高周波数ほど粗くなるように処理区間が設定されていることがわかる。
<第六実施形態>
フレーム内でスペクトルに起伏がなく、一様に大きな値を示すような信号に対して、細かく区間を区切って準瞬時圧伸を行った場合、フレーム内のスペクトルの値を一様に小さくしてしまい、量子化の性能に悪影響を与える場合がある。第六実施形態では、その対策として、準瞬時圧伸の処理を階層的に用いる。例えば、まずフレーム内の粗い区間で準瞬時圧伸を行い、エネルギーの高い区間については例えば圧伸関数の逆関数を用いて値を高めておく。その後、より細かい区間で準瞬時圧伸を行う。逆変換では、まず細かい区間で準瞬時逆圧伸を行い、その後、粗い区間で準瞬時逆圧伸を行うことで元の周波数スペクトルを求める。
≪符号化装置≫
第六実施形態の符号化装置は、第二実施形態の符号化装置3において、準瞬時圧伸部101の処理を以下のように変更したものである。ただし、第六実施形態の構成を適用できるのは第二実施形態に限定されず、第一実施形態から第五実施形態のすべての実施形態について適用することができる。第六実施形態の準瞬時圧伸部102は、図32に示すように、代表値算出部112および信号圧伸部122を含み、信号圧伸部122の出力が代表値算出部112へ入力されるように構成される。
[準瞬時圧伸部102]
準瞬時圧伸部102は、フレーム毎に、周波数変換部130が出力した周波数スペクトルXk(k=0, …, N-1)を受け取り、代表値算出部112および信号圧伸部122での処理を所定の回数繰り返し行った後、重み付周波数スペクトルYk(k=0, …, N-1)を周波数逆変換部140へ出力する。
[代表値算出部112]
代表値算出部112は、フレーム毎に、処理対象とする周波数スペクトル~Xk(k=0, …, N-1)を受け取り、Mサンプルの区間毎に代表値Xm(m=1, …, N/M)を算出し、信号圧伸部122へ出力する。代表値算出部112は、1回目の実行時には、準瞬時圧伸部102入力された周波数スペクトルXk(k=0, …, N-1)を処理対象の周波数スペクトル~Xk(k=0, …, N-1)として受け取り、2回目以降の実行時には、信号圧伸部122が出力した重み付周波数スペクトルYk(k=0, …, N-1)を処理対象の周波数スペクトル~Xk(k=0, …, N-1)として受け取る。
代表値Xm(m=1,…,M)は、例えば、絶対値平均であれば、
Figure 0006712643
として算出する。
代表値算出部112が代表値を求める区間のサンプル数Mは、繰り返しの度に毎回異なるものを用いるように構成してもよい。例えば、1回目にはM=N/2のように処理区間が粗くなるようにし、2回目にはM=N/8のように処理区間が細かくなるようにする。
[信号圧伸部122]
信号圧伸部122は、フレーム毎に、代表値算出部112が出力した代表値Xm(m=1, …, N/M)と、処理対象とする周波数スペクトル~Xk(k=0, …, N-1)とを受け取り、以下のように重み付周波数スペクトルYk(k=0, …, N-1)を生成し、周波数逆変換部140へ出力する。信号圧伸部122は、1回目の実行時には、準瞬時圧伸部102入力された周波数スペクトルXk(k=0, …, N-1)を処理対象の周波数スペクトル~Xk(k=0, …, N-1)として受け取り、2回目以降の実行時には、前回の実行時に出力した重み付周波数スペクトルYk(k=0, …, N-1)を保存しておき、処理対象の周波数スペクトル~Xk(k=0, …, N-1)として利用する。
圧伸関数f(x)による変換後の代表値f(Xm)および元の代表値Xmを用い、Mサンプルの区間毎に周波数スペクトルのサンプル値~Xkを、以下のように重み付周波数スペクトルYkに変形する。
Figure 0006712643
信号圧伸部122が用いる圧伸関数f(x)は、繰り返しの度に毎回異なるものを用いるように構成してもよい。例えば、1回目には圧伸関数f(x)の逆関数f-1(x)を用い、2回目には圧伸関数f(x)を用いるようにする。
≪復号装置≫
第六実施形態の復号装置は、第二実施形態の復号装置4において、準瞬時逆圧伸部251の処理を以下のように変更したものである。ただし、第六実施形態の構成を適用できるのは第二実施形態に限定されず、第一実施形態から第五実施形態のすべての実施形態について適用することができる。第六実施形態の準瞬時逆圧伸部252は、図33に示すように、圧伸代表値算出部262および信号逆圧伸部272を含み、信号逆圧伸部272の出力が圧伸代表値算出部262へ入力されるように構成される。
[準瞬時逆圧伸部252]
準瞬時逆圧伸部252は、フレーム毎に、周波数変換部280が出力した復号重み付周波数スペクトル^Yk(k=0, …, N-1)を受け取り、圧伸代表値算出部262および信号逆圧伸部272での処理を所定の回数繰り返し行い、復号周波数スペクトル^Xk(k=0, …, N-1)を周波数逆変換部290へ出力する。
[圧伸代表値算出部262]
圧伸代表値算出部262は、フレーム毎に、処理対象とする周波数スペクトル~Yk(k=0, …, N-1)を受け取り、復号装置に対応する符号化装置の代表値算出部112と同様にして、Mサンプルの区間毎に代表値Ym(m=1, …, N/M)を算出し、圧伸代表値Ymとして信号逆圧伸部272へ出力する。圧伸代表値Ymの算出方法は復号装置に対応する符号化装置の代表値算出部112と同じものを用いる。圧伸代表値算出部262は、1回目の実行時には、準瞬時逆圧伸部252入力された復号重み付周波数スペクトル^Yk(k=0, …, N-1)を処理対象の周波数スペクトル~Yk(k=0, …, N-1)として受け取り、2回目以降の実行時には、信号逆圧伸部272が出力した復号周波数スペクトル^Xk(k=0, …, N-1)を処理対象の周波数スペクトル~Yk(k=0, …, N-1)として受け取る。
圧伸代表値Ym(m=1, …, N/M)は、例えば、絶対値平均であれば、
Figure 0006712643
として算出する。
圧伸代表値算出部262が圧伸代表値を求める区間のサンプル数Mは、繰り返しの度に復号装置に対応する符号化装置の代表値算出部112が用いたサンプル数Mに対応するものを用いるように構成する。例えば、1回目にはM=N/8のように処理区間が細かくなるようにし、2回目にはM=N/2のように処理区間が粗くなるようにする。
[信号逆圧伸部272]
信号逆圧伸部272は、フレーム毎に、圧伸代表値算出部262が出力した圧伸代表値Ym(m=1, …, N/M)と、処理対象とする周波数スペクトル~Yk(k=0, …, N-1)とを受け取り、以下のように復号周波数スペクトル^Xk(k=0, …, N-1)を生成し、周波数逆変換部290へ出力する。信号逆圧伸部272は、1回目の実行時には、準瞬時逆圧伸部252入力された復号重み付周波数スペクトル^Yk(k=0, …, N-1)を処理対象の周波数スペクトル~Yk(k=0, …, N-1)として受け取り、2回目以降の実行時には、前回の実行時に出力した復号周波数スペクトル^Xk(k=0, …, N-1)を保存しておき、処理対象の周波数スペクトル~Yk(k=0, …, N-1)として利用する。
圧伸関数f(x)の逆関数f-1(y)により変換した圧伸代表値f-1(Ym)および元の圧伸代表値Ymを用い、所定のMサンプルの区間毎に復号重み付周波数スペクトルのサンプル値^Ykを、以下のように復号周波数スペクトル^Xkのサンプル値に変形する。
Figure 0006712643
信号逆圧伸部272が用いる圧伸関数f(x)の逆関数f-1(y)は、繰り返しの度に信号圧伸部122が用いた圧伸関数f(x)に対応する逆関数を用いるように構成する。例えば、1回目には圧伸関数f(x)の逆関数f-1(x)に対する逆関数として圧伸関数f(x)を用い、2回目には圧伸関数f(x) に対する逆関数として圧伸関数f(x)の逆関数f-1(x)を用いるようにする。
図34に、第六実施形態の符号化方法の前処理により、代表値算出と信号圧伸の処理を複数回繰り返したときの周波数スペクトルの具体例を示す。図34の例では、繰り返しのたびに各区間に含まれるサンプル数Mを異なるように構成している。具体的には、1回目の処理では1フレームが2個の区間に分かれるようにM=N/2に設定し、2回目の処理では1フレームが8個の区間に分かれるようにM=N/8に設定している。
<第七実施形態>
上述の各実施形態で説明した符号化装置1、7が備える準瞬時圧伸部100、符号化装置3、5が備える準瞬時圧伸部101、復号装置2、8が備える準瞬時逆圧伸部250、および復号装置4、6が備える準瞬時逆圧伸部251は、独立したサンプル列変形装置として構成することも可能である。
準瞬時圧伸部101を独立したサンプル列変形装置とする場合、以下のように構成する。このサンプル列変形装置33は、入力音響信号に対応する周波数領域信号を変形して得た重み付周波数領域信号を符号化する符号化装置に入力するための重み付周波数領域信号、または、入力音響信号に対応する周波数領域信号を変形して得た重み付周波数領域信号に対応する重み付時間領域信号を符号化する符号化装置に入力するための重み付時間領域信号に対応する重み付周波数領域信号、を得るサンプル列変形装置であって、例えば、図35に示すように、代表値算出部111と信号圧伸部121とを含む。代表値算出部111は、所定時間区間ごとに、入力音響信号に対応する周波数領域信号のサンプル列から、当該周波数領域サンプル列の周波数サンプル数より少ない複数サンプルによる周波数区間ごとに、当該周波数区間に含まれるサンプルのサンプル値から当該周波数区間の代表値を算出する。信号圧伸部121は、所定時間区間ごとに、逆関数を定義できる圧伸関数による代表値の関数値に応じた重みと、周波数領域サンプル列中の当該代表値に対応する各サンプルと、を乗算した周波数領域サンプル列を、重み付周波数領域信号のサンプル列として得る。
準瞬時逆圧伸部251を独立したサンプル列変形装置とする場合、以下のように構成する。このサンプル列変形装置34は、復号音響信号に対応する周波数領域信号に対応する重み付周波数領域信号を復号により得る復号装置が得た重み付周波数領域信号、または、復号音響信号に対応する周波数領域信号に対応する重み付時間領域信号を復号により得る復号装置が得た重み付時間領域信号に対応する重み付周波数領域信号、から復号音響信号に対応する周波数領域信号を得るサンプル列変形装置であって、例えば、図36に示すように、圧伸代表値算出部261と信号逆圧伸部271とを含む。圧伸代表値算出部261は、所定時間区間ごとに、重み付周波数領域信号のサンプル列から、当該重み付周波数領域信号のサンプル列の周波数サンプル数より少ない複数サンプルによる周波数区間ごとに当該周波数区間に含まれるサンプルのサンプル値から当該周波数区間の代表値を算出する。信号逆圧伸部271は、所定時間区間ごとに、逆関数を定義できる圧伸関数による代表値の関数値に応じた重みと、重み付周波数領域信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した周波数領域サンプル列を、復号音響信号に対応する周波数領域信号のサンプル列として得る。
準瞬時圧伸部100を独立したサンプル列変形装置とする場合、以下のように構成する。このサンプル列変形装置31は、入力音響信号を変形して得た重み付音響信号を符号化する符号化装置に入力するための重み付音響信号、または、入力音響信号を変形して得た重み付音響信号に対応する重み付周波数領域信号を符号化する符号化装置に入力するための重み付周波数領域信号に対応する重み付音響信号、を得るサンプル列変形装置であって、例えば、図35に示すように、代表値算出部110と信号圧伸部120とを含む。代表値算出部110は、所定時間区間ごとに、時間領域の入力音響信号のサンプル列から、当該入力音響信号のサンプル列のサンプル数より少ない複数サンプルによる時間区間ごとに、当該時間区間に含まれるサンプルのサンプル値から当該時間区間の代表値を算出する。信号圧伸部120は、所定時間区間ごとに、逆関数を定義できる圧伸関数による代表値の関数値に応じた重みと、入力音響信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した時間領域サンプル列を、重み付音響信号のサンプル列として得る。
準瞬時逆圧伸部250を独立したサンプル列変形装置とする場合、以下のように構成する。このサンプル列変形装置32は、復号音響信号に対応する時間領域の重み付音響信号を復号により得る復号装置が得た時間領域の重み付音響信号、または、復号音響信号に対応する周波数領域の重み付音響信号を復号により得る復号装置が得た周波数領域の重み付音響信号に対応する時間領域の重み付音響信号、から復号音響信号を得るサンプル列変形装置であって、例えば、図36に示すように、圧伸代表値算出部260と信号逆圧伸部270とを含む。圧伸代表値算出部260は、所定時間区間ごとに、時間領域の重み付音響信号のサンプル列から、当該重み付音響信号のサンプル列のサンプル数より少ない複数サンプルによる時間区間ごとに、当該時間区間に含まれるサンプルのサンプル値から当該時間区間の代表値を算出する。信号逆圧伸部270は、所定時間区間ごとに、逆関数を定義できる圧伸関数による代表値の関数値に応じた重みと、重み付周波数領域信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した周波数領域サンプル列を、復号音響信号に対応する周波数領域信号のサンプル列として得る。
サンプル列変形装置33、34は、複数サンプルによる区間が、低周波数に対応する区間であるほど含まれるサンプル数が少なく、高周波数に対応する区間であるほど含まれるサンプル数が多くなるように設定されたサンプル列変形装置35として構成することができる。
サンプル列変形装置31〜35は、入力音響信号の複数サンプルによる区間ごとに代表値を算出することと、算出した代表値の関数値に応じた重みとサンプル列の各サンプルとを乗算することを、所定の回数繰り返し実行するサンプル列変形装置36として構成することができる。
<第八実施形態>
フレーム毎の符号長の上限が一定であると、入力される信号のフレーム毎の統計的性質等に依存して圧縮効率が変動し、量子化幅が小さくできるフレームや、大きな量子化幅を用いざるを得ないフレームが現れる。中でも圧縮効率が高く、量子化幅が小さくできるようなフレームにおいては、前処理及び後処理を行わずとも量子化誤差が聴覚的に十分に小さいことが多い。準瞬時圧伸による前処理及び準瞬時逆圧伸による後処理は、復号信号の波形の二乗誤差のような数値的誤差を大きくする代わりに聴覚的な歪を低減するような性質をもっている。従って、入力音響信号や入力音響信号に対応する周波数領域信号の量子化幅の小さいフレームについては、信号の前処理及び後処理を用いて聴覚的な歪を低減しようとするよりも、前処理及び後処理を用いず単純な復号信号の波形の数値的誤差を下げることを目指したほうが、復号信号を再び圧縮したり加工したりする際には都合がよい。
そこで、第八実施形態では、準瞬時圧伸及び準瞬時逆圧伸による信号の前処理及び後処理を行うか否かを、入力音響信号や入力音響信号に対応する周波数領域信号の量子化幅の値に基づいてフレーム毎に選択する。
なお、第八実施形態は、第一実施形態、第二実施形態、第五実施形態、これらの実施形態に適用した第六実施形態、に適用することができる。
第八実施形態の符号化装置および復号装置によれば、符号化装置においては入力音響信号や入力音響信号に対応する周波数領域信号の量子化幅の値に基づき信号の前処理の有無を選択し、復号装置においては復号により得た量子化幅に基づき後処理の有無を選択することにより、符号化装置で前処理のなされたフレームのみに対して、符号化装置が行った前処理に対応する後処理を施すことができる。すなわち、符号化装置が行った符号化処理に対応する復号処理を復号装置が行うことが可能となる。
≪符号化装置41≫
第八実施形態の符号化装置の一例として、第一実施形態の符号化装置1を変更したものについて説明する。第八実施形態の符号化装置41は、図37に示すように、信号前処理部51、量子化部52、可逆符号化部18、および多重化部19を含む。第八実施形態の符号化装置41は、量子化部52が行う処理が複雑であるため、図39を参照して、第八実施形態の符号化装置41が実行する符号化方法の処理手続きを説明する。
ステップS11において、音声や音楽などの時間領域の音響信号Xk(k=0, …, N-1)がフレーム単位で符号化装置41へ入力される。符号化装置41へ入力された音響信号Xkは、まず、量子化部52へ入力される。
[量子化部52:ステップS51とS52]
ステップS51において、量子化部52は、フレーム毎の音響信号Xk(k=0, …, N-1)を受け取り、目標の符号長に適うように音響信号Xkをスカラー量子化し、量子化信号を得る。ステップS51においては、量子化部52は、例えば、従来技術と同様に、音響信号Xkを量子化幅に対応する値で除算して整数値を量子化信号として得る。量子化幅は、例えば、可逆符号化部18による圧縮結果の符号長を基にして、符号長が目標の符号長に対して長過ぎる場合には量子化幅を大きくし、符号長が目標の符号長に対して短過ぎる場合には量子化幅を小さくするというように探索する。すなわち、量子化幅は、探索により得た値であり、最適であると推測される値である。
ステップS52において、量子化部52は、ステップS51で量子化に使用した量子化幅が所定の閾値よりも小さかった、または所定の閾値以下であったフレームについては、量子化信号を可逆符号化部18へ、量子化に使用した量子化幅を多重化部19へ、それぞれ出力し、それ以外のフレームについては、当該フレームの信号前処理部を動作させるための情報を信号前処理部51へ出力する。
[信号前処理部51]
信号前処理部51は、量子化部52から当該フレームの信号前処理部を動作させるための情報が入力された場合、すなわち、当該フレームの音響信号の量子化幅が所定の閾値以上であるか所定の閾値を超えている場合に限り、符号化装置41へ入力された音響信号Xkを受け取り、第一実施形態の信号前処理部11と同様の処理を行い、フレーム毎の重み付信号Yk(k=0, …, N-1)を量子化部52へ出力する。(ステップS12、S13)
[量子化部52:ステップS14]
ステップS14において、量子化部52は、信号前処理部51が重み付信号Yk(k=0, …, N-1)を出力したフレーム、すなわち、当該フレームの音響信号の量子化幅が所定の閾値以上であるか所定の閾値を超えているフレームについて、信号前処理部51が出力した当該フレームの重み付信号Yk(k=0, …, N-1)を受け取り、目標の符号長に適うように重み付信号Ykをスカラー量子化し、量子化信号を出力する。ステップS14においては、量子化部52は、例えば、従来技術と同様に、重み付信号Ykを量子化幅に対応する値で除算して整数値を量子化信号として得る。量子化幅は、例えば、可逆符号化部18による圧縮結果の符号長を基にして、符号長が目標の符号長に対して長過ぎる場合には量子化幅を大きくし、符号長が目標の符号長に対して短過ぎる場合には量子化幅を小さくするというように探索する。すなわち、量子化幅は、探索により得た値であり、最適であると推測される値である。
ステップS14の探索により求まる量子化幅は、ほとんどの場合は、ステップS51の探索により求まる量子化幅より大きな値となり、ステップS52における閾値よりも大きな値となる。なお、ステップS14の探索により求まる量子化幅が、ステップS52における閾値よりも小さな値または閾値以下の値とならないようにするためには、ステップS14の探索により求める量子化幅の下限値をステップS52における閾値以上の値または閾値より大きな値とすればよい。
量子化部52は、量子化信号を可逆符号化部18へ、量子化に使用した量子化幅を多重化部19へ、それぞれ出力する。
[可逆符号化部18、多重化部19]
可逆符号化部18が行うステップS15、多重化部19が行うステップS16は第一実施形態と同様である。
≪復号装置42≫
第八実施形態の復号装置の一例として、第一実施形態の復号装置2を変更したものについて説明する。第八実施形態の復号装置42は、図38に示すように、多重分離部61、可逆復号部22、逆量子化部23、判定部62、および信号後処理部63を含む。以下では、図40を参照して、第八実施形態の復号装置42が実行する復号方法の処理手続きを説明する。
[多重分離部61]
ステップS21において、多重分離部61は、復号装置42へ入力された符号を受け取り、信号符号を可逆復号部22へ、量子化幅符号に対応する量子化幅を逆量子化部23及び判定部62へ、それぞれ出力する。量子化幅を復号により得る処理は多重分離部21と同様である。
[可逆復号部22、逆量子化部23]
可逆復号部22が行うステップS22及び逆量子化部23が行うステップS23は第一実施形態と同様である。
[判定部62]
ステップS61において、判定部62は、フレーム毎に、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)及び多重分離部61が出力した量子化幅を受け取り、量子化幅が所定の閾値より小さいまたは所定の閾値以下であるフレームについては、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)をそのまま出力信号^Xk(k=0, …, N-1)として出力し、それ以外のフレームについては、当該フレームの信号後処理部を動作させるための情報と逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)を信号後処理部63へ出力する。
[信号後処理部63]
信号後処理部63は、判定部62から当該フレームの信号後処理部を動作させるための情報が入力された場合、すなわち、量子化幅が所定の閾値を超えているまたは所定の閾値以上であるフレームについて、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)を受け取り、第一実施形態の信号後処理部25と同様の処理を行い、出力信号^Xk(k=0, …, N-1)を得て出力する。(ステップS24、S25)
<第九実施形態>
第一実施形態の符号化装置で用いた式(7)において、準瞬時圧伸の程度を指定するパラメータγは、対数的な準瞬時圧伸を指定するγ=0から準瞬時圧伸無しを指定するγ=1へと、連続的に調節することができる。信号の前処理及び後処理は、入力音響信号や入力音響信号に対応する周波数領域信号の量子化の精度が粗いところほど必要となり、量子化の精度が細かいところほど不要となる傾向にあることから、フレーム毎に準瞬時圧伸の程度を適応的に変化させることで、より信号に即した重み付けを施すことが可能となる。
そこで、第九実施形態の符号化装置は、信号の前処理における準瞬時圧伸の程度を、入力音響信号や入力音響信号に対応する周波数領域信号の量子化幅の値に基づいてフレーム毎に選択し、選択した準瞬時圧伸の程度を指定する係数を復号装置に送る。第九実施形態の復号装置は、符号化装置から送られた準瞬時圧伸の程度を指定する係数を基に、信号の後処理における準瞬時逆圧伸の程度をフレーム毎に選択する。これらの処理により、復号装置においても、準瞬時圧伸の程度を指定する係数を基に、符号化装置で信号の前処理に用いた準瞬時圧伸の程度を判断し、符号化装置が行った前処理に対応する後処理を施すことができる。すなわち、符号化装置が行った符号化処理に対応する復号処理を復号装置が行うことが可能となる。以下では、一例として、式(7)におけるγを準瞬時圧伸の程度を指定する係数とする例を説明する。以下では、準瞬時圧伸の程度を指定する係数であるγを圧伸係数とも呼ぶ。
なお、第九実施形態は、第一実施形態から第六実施形態のすべての実施形態に適用することができる。
≪符号化装置43≫
第九実施形態の符号化装置の一例として、第一実施形態の符号化装置1を変更したものについて説明する。第九実施形態の符号化装置43は、図41に示すように、量子化幅算出部53、圧伸係数選択部54、信号前処理部55、量子化部17、可逆符号化部18、および多重化部56を含む。以下、図42を参照して、第九実施形態の符号化装置43が実行する符号化方法の処理手続きを説明する。
ステップS11において、音声や音楽などの時間領域の音響信号Xk(k=0, …, N-1)がフレーム単位で符号化装置43へ入力される。符号化装置43へ入力された音響信号Xkは、まず、量子化幅算出部53へ入力される。
[量子化幅算出部53]
ステップS53において、量子化幅算出部53は、フレーム毎の音響信号Xk(k=0, …, N-1)を受け取り、目標の符号長に適うように音響信号Xkをスカラー量子化するための量子化幅を得る。量子化幅算出部53は、得た量子化幅を圧伸係数選択部54へ出力する。
ステップS53においては、量子化幅算出部53は、量子化幅を、例えば、可逆符号化による圧縮結果の符号長を基にして、符号長が目標の符号長に対して長過ぎる場合には量子化幅を大きくし、符号長が目標の符号長に対して短過ぎる場合には量子化幅を小さくするというように探索する。すなわち、量子化幅は、探索により得た値であり、最適であると推測される値である。
また、例えば、ステップS53においては、量子化幅算出部53は、フレーム毎の音響信号Xk(k=0, …, N-1)のエントロピーと目標符号長とから量子化幅の推定値を算出し、算出した量子化幅の推定値を量子化幅として圧伸係数選択部54へ出力してもよい。
[圧伸係数選択部54]
ステップS54において、圧伸係数選択部54は、フレーム毎に、量子化幅算出部53が出力した量子化幅を受け取り、圧伸係数選択部54に予め記憶された複数個の圧伸係数γの候補値の中から量子化幅の値に対応する1つの候補値を圧伸係数γとして選択する。γの選択は、例えば、0≦γ≦1の範囲で量子化幅の値に反比例する値をγとして選ぶなどにより、量子化幅が大きなフレームではγ=0に近い値を、量子化幅が小さなフレームではγ=1に近い値を選択する。つまり、音響信号の量子化精度が低いフレームでは、より圧伸後の重み付音響信号、または入力音響信号に対応する重み付周波数領域信号のサンプル列のパワーが平坦になるような圧伸関数を、音響信号の量子化精度が高いフレームでは、圧伸の前後における入力音響信号と重み付音響信号、または入力音響信号に対応する周波数領域信号のサンプル列と重み付周波数領域信号のサンプル列間の違いがより小さくなるような圧伸関数を、それぞれ指定するような圧伸係数を選択する。圧伸係数選択部54は、選択により得た圧伸係数γを信号前処理部55及び多重化部56へ出力する。
[信号前処理部55]
信号前処理部55は、フレーム毎に、符号化装置43へ入力された音響信号Xk(k=0, …, N-1)と圧伸係数選択部54が出力した圧伸係数γを受け取り、音響信号Xkに対して入力された圧伸係数γを用いて第一実施形態の信号前処理部11と同様の処理を行い、フレーム毎の重み付信号Yk(k=0, …, N-1)を量子化部17へ出力する。(ステップS12、S13)
[量子化部17、可逆符号化部18]
量子化部17が行うステップS14、可逆符号化部18が行うステップS15は第一実施形態と同様である。
[多重化部56]
ステップS55において、多重化部56は、量子化部17が出力した量子化幅と、可逆符号化部18が出力した信号符号と、圧伸係数選択部54が出力した圧伸係数と、を受け取り、量子化幅に対応する符号である量子化幅符号と、圧伸係数に対応する符号である圧伸係数符号と、信号符号と、を合わせて出力符号として出力する。量子化幅符号は、量子化幅の値を符号化することにより得る。量子化幅の値を符号化する方法としては、周知の符号化方法を用いればよい。圧伸係数符号は、圧伸係数の値を符号化することにより得る。圧伸係数の値を符号化する方法としては、周知の符号化方法を用いればよい。多重化部56は、信号前処理部55と同じサンプル数Nのフレーム毎に動作させてもよいし、信号前処理部55と異なるサンプル数毎、例えばサンプル数2N毎、に動作させてもよい。
≪符号化装置43の変形例≫
第九実施形態の符号化装置43の変形例として、量子化幅算出部53に代えて入力信号量子化部57を備える例を説明する。第九実施形態の変形例の符号化装置45は、図43に示すように、入力信号量子化部57、圧伸係数選択部54、信号前処理部55、量子化部17、可逆符号化部18、および多重化部56を含む。以下、図44を参照して、第九実施形態の変形例の符号化装置45が実行する符号化方法の処理手続きを説明する。
ステップS11において、音声や音楽などの時間領域の音響信号Xk(k=0, …, N-1)がフレーム単位で符号化装置45へ入力される。符号化装置45へ入力された音響信号Xkは、まず、入力信号量子化部57へ入力される。
[入力信号量子化部57]
ステップS57において、入力信号量子化部57は、フレーム毎の音響信号Xk(k=0, …, N-1)を受け取り、目標の符号長に適うように音響信号Xkをスカラー量子化するための量子化幅と、音響信号Xkを量子化幅でスカラー量子化した量子化信号と、を得る。ステップS57においては、入力信号量子化部57は、例えば、従来技術と同様に、音響信号Xkを量子化幅に対応する値で除算して整数値を量子化信号として得る。量子化幅を得る方法は第九実施形態の符号化装置43の量子化幅算出部53と同じである。入力信号量子化部57は、得た量子化幅を圧伸係数選択部54および多重化部56へ、量子化信号を可逆符号化部18へ、それぞれ出力する。ただし、このうち量子化幅の多重化部56への出力と量子化信号の可逆符号化部18への出力は、圧伸係数選択部54による制御に従う。
[圧伸係数選択部54]
圧伸係数選択部54が行うステップS54は第九実施形態の符号化装置43と同様である。
圧伸係数選択部54は、ステップS56において、圧伸係数γが1でない場合には、選択により得た圧伸係数γを信号前処理部55へ出力し、圧伸係数γが1である場合には、入力信号量子化部57が得た量子化信号を可逆符号化部18に入力し、入力信号量子化部57が得た量子化幅を多重化部56に入力するように制御する。また、圧伸係数選択部54は、圧伸係数γを多重化部5へ出力する。
[信号前処理部55]
信号前処理部55には、圧伸係数選択部54が出力した圧伸係数γが入力される。信号前処理部55は、圧伸係数γが1でない場合、つまり準瞬時圧伸無し以外が指定されている場合のみ、フレーム毎に、符号化装置45へ入力された音響信号Xk(k=0, …, N-1)を受け取り、音響信号xnに対して入力された圧伸係数γを用いて第一実施形態の信号前処理部11と同様の処理を行い、フレーム毎の重み付信号Yk(k=0, …, N-1)を量子化部17へ出力する。(ステップS12、S13)
[量子化部17]
量子化部17が行うステップS14は第九実施形態の符号化装置43と同じである。ただし、ステップS14は、圧伸係数γが1でない場合、つまり準瞬時圧伸無し以外が指定されている場合にのみ行われる。
[可逆符号化部18、多重化部56]
可逆符号化部18が行うステップS15、多重化部56が行うステップS55は第九実施形態の符号化装置43と同様である。
≪復号装置44≫
第九実施形態の復号装置の一例として、第一実施形態の復号装置2を変更したものについて説明する。第九実施形態の復号装置44は、図45に示すように、多重分離部64、可逆復号部22、逆量子化部23、および信号後処理部65を含む。以下では、図46を参照して、第九実施形態の復号装置44が実行する復号方法の処理手続きを説明する。
[多重分離部64]
ステップS62において、多重分離部64は、復号装置44へ入力された符号を受け取り、信号符号を可逆復号部22へ、圧伸係数符号に対応する圧伸係数γを信号後処理部65へ、量子化幅符号に対応する量子化幅を逆量子化部23へ、それぞれ出力する。
[可逆復号部22、逆量子化部23]
可逆復号部22が行うステップS22及び逆量子化部23が行うステップS23は第一実施形態と同様である。
[信号後処理部65]
信号後処理部65は、フレーム毎に、逆量子化部23が出力した復号重み付信号^Yk(k=0, …, N-1)及び、多重分離部64が出力した圧伸係数γを受け取り、復号重み付信号^Ykに対して圧伸係数γを用いて第一実施形態の信号後処理部65と同様の処理を行い、出力信号^Xk(k=0, …, N-1)を得て出力する。(ステップS24、S25)
なお、圧伸係数γが1である場合には、復号重み付信号^Ykと出力信号^Xkは同じである。そこで、圧伸係数γが1ではない場合、つまり準瞬時圧伸無し以外が指定されている場合にのみ、復号重み付信号^Ykに対して、圧伸係数γを用いて第一実施形態の信号後処理部25と同様の処理を行い、出力信号^Xk(k=0, …, N-1)を得て出力し、それ以外の場合、すなわち、圧伸係数γが1ある場合には、復号重み付信号^Yk(k=0, …, N-1)をそのまま出力信号^Xk(k=0, …, N-1)として出力してもよい。
<第十実施形態>
第八実施形態の符号化装置および復号装置を、第七実施形態で説明したサンプル列変形装置を用いて、信号符号化装置および信号復号装置として構成することも可能である。
第七実施形態のサンプル列変形装置を用いた信号符号化装置は、以下のように構成する。この信号符号化装置71は、例えば、図47に示すように、第七実施形態のサンプル列変形装置31または33と、符号化対象信号を符号化して信号符号を得る符号化装置50と、を含む。符号化装置50は、例えば、第八実施形態の符号化装置41の信号前処理部51以外に対応する処理を行い、サンプル列変形装置31または33は、例えば、第八実施形態の符号化装置41の信号前処理部51に対応する処理を行う。信号符号化装置71は、所定時間区間ごとに、入力音響信号または入力音響信号に対応する周波数領域信号を目標符号長で符号化するための量子化幅を符号化装置50で得て、得られた量子化幅が所定の閾値より小さいまたは所定の閾値以下である時間区間については、入力音響信号または入力音響信号に対応する周波数領域信号を符号化対象信号として符号化装置50で符号化し、それ以外の時間区間については、入力音響信号または入力音響信号に対応する周波数領域信号をサンプル列変形装置31または33に入力し、サンプル列変形装置31または33が得た重み付音響信号または重み付周波数領域信号のサンプル列を符号化対象信号として符号化装置50で符号化する。
第七実施形態のサンプル列変形装置を用いた信号復号装置は、以下のように構成する。この信号復号装置72は、例えば、図48に示すように、第七実施形態のサンプル列変形装置32または34と、信号符号を復号して復号信号を得る復号装置60と、を含む。復号装置60は、例えば、第八実施形態の復号装置42の信号後処理部63以外に対応する処理を行い、サンプル列変形装置32または34は、例えば、第八実施形態の復号装置42の信号後処理部63に対応する処理を行う。信号復号装置72は、所定時間区間ごとに、量子化幅符号を復号して量子化幅を復号装置60で得て、得られた量子化幅が所定の閾値より小さい、または所定の閾値以下である時間区間については、信号符号を復号装置60で復号して得た信号を復号音響信号、または復号音響信号に対応する周波数領域信号として得、それ以外の時間区間については、復号装置60が得た信号をサンプル列変形装置32または34に入力して復号音響信号、または復号音響信号に対応する周波数領域信号を得る。
<第十一実施形態>
第九実施形態の考え方を、第七実施形態で説明したサンプル列変形装置31または33に適用させて、サンプル列変形装置37として構成することができる。このサンプル列変形装置37は、サンプル列変形装置31または33において、第九実施形態で説明した量子化幅算出部と、圧伸係数選択部54が選択する圧伸係数に対応する圧伸関数を選択する処理を行う圧伸関数選択部とをさらに含むように構成する。量子化幅算出部は、所定時間区間ごとに、入力音響信号または入力音響信号に対応する周波数領域信号を目標符号長で符号化するための量子化幅を得る。圧伸関数選択部は、所定時間区間ごとに、圧伸関数として、量子化幅が小さいほど、入力音響信号と重み付音響信号、または、入力音響信号に対応する周波数領域信号のサンプル列と重み付周波数領域信号のサンプル列、が近くなる、または/および、量子化幅が大きいほど、重み付音響信号または重み付周波数領域信号のサンプル列のパワーが平坦になる、圧伸関数を選択する。
<発明のポイント>
準瞬時圧伸は、補助的な情報を追加せずに、次の2つの性質を持つ変換を行うことができる。1.フレーム内において、信号の値または信号の周波数スペクトルの値が、大きいものには相対的に小さな重みをかけ、小さなものには相対的に大きな重みをかける。2.フレーム内において、信号または信号の周波数スペクトルのピーク近傍には、ピークと同じように相対的に小さな重みをかける。以下、上記の構成により、これらが実現される理由を説明する。
まず、図49を用いて、原信号と量子化誤差の関係から、準瞬時圧伸を行うことで聴覚品質が向上することを説明する。図49(A)は原信号をそのまま時間領域で等間隔量子化した場合の量子化誤差の周波数スペクトルである。この場合、平坦なスペクトルの量子化誤差が生じ耳障りであるため聴覚品質が低下する。図49(B)は原信号を圧伸した圧伸原信号を時間領域で等間隔量子化した場合の量子化誤差の周波数スペクトルである。圧伸原信号と量子化誤差とが同様の平坦なスペクトルとなっていることがわかる。図49(C)は図49(B)を逆圧伸した場合の量子化誤差の周波数スペクトルである。この場合、原信号のスペクトルの傾きに沿った量子化誤差となるため、ノイズが聞こえにくくなり、聴覚品質が向上する。
準瞬時圧伸では所定区間内のサンプル毎に代表値を求め、その代表値を基に
Figure 0006712643
のように、区間内において音響信号もしくは周波数スペクトルXkに対して定数倍を行う。ここで、圧伸関数f(x)を例えば対数関数とし、代表値の決め方を二乗平均の平方根とすると、この変換はエネルギーの高い区間では小さい値による定数倍、エネルギーの低い区間では大きな値による定数倍に相当する。したがって、大きなサンプル値が多いほどその区間は変換により圧縮され、小さいサンプル値が多いほどその区間は変換により伸長される。また、同様の理由より、大きなサンプル値の近傍のサンプル値は小さいサンプル値の近傍のサンプル値よりも変換により圧縮される。
復号装置には上記変換で生成された重み付信号もしくは重み付周波数スペクトルYkの値のみが伝わるため、一般的な決め方では代表値-Xmの値が求まらず、逆変換を行うことはできない。しかし、代表値を決める関数
Figure 0006712643
が絶対値平均のように1次の正斉次性を満たすのであれば、(つまり、
Figure 0006712643
である関数gが任意のα(>0)について
Figure 0006712643
を満たすのであれば、)Ykの値から同じように代表値を求めると、
Figure 0006712643
のように圧伸された代表値が得られる。この圧伸代表値を逆関数で変形することにより、
Figure 0006712643
のように復号装置でも元の代表値が求まる。この値を基に逆変換を
Figure 0006712643
のように行うことで、補助情報を使用せずに元のサンプル値を得ることができる。
もちろん圧伸の行われたYkが途中で量子化され、誤差が生じると元の代表値は正しく求まらないが、量子化されたYkに対して上記と同様な処理を行うことにより、代表値-Xmの推定値は算出でき、その値を基に逆変換を行うことができる。
<発明の効果>
上記のように構成することにより、この発明によれば、補助的な情報を追加することなく、音声音響信号に合わせて聴覚特性に適った重み付けを施し、不可逆圧縮符号化の効率を上げることができる。また、第五実施形態の構成によれば、準瞬時圧伸に用いる区間を低周波数では細かく、高周波数では粗く設定することにより、さらに聴覚特性に適った重み付けが実現できる。また、第六実施形態の構成によれば、異なる準瞬時圧伸を複数回用いることにより、より複雑な圧伸を実現し、重み付けの効率を上げることができる。
以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。
[プログラム、記録媒体]
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (19)

  1. 入力音響信号に対応する周波数領域信号を変形して得た重み付周波数領域信号を符号化する符号化装置に入力するための上記重み付周波数領域信号、または、入力音響信号に対応する周波数領域信号を変形して得た重み付周波数領域信号に対応する重み付時間領域信号を符号化する符号化装置に入力するための上記重み付時間領域信号に対応する重み付周波数領域信号、を得るサンプル列変形装置であって、
    所定時間区間ごとに、入力音響信号に対応する周波数領域信号のサンプル列から、当該周波数領域信号のサンプル列の周波数サンプル数より少ない複数サンプルによる周波数区間ごとに、当該周波数区間に含まれるサンプルのサンプル値から当該周波数区間の代表値を算出する代表値算出部と、
    上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記周波数領域信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した周波数領域サンプル列を、上記重み付周波数領域信号のサンプル列として得る信号圧伸部と、
    を含むサンプル列変形装置。
  2. 復号装置が得た重み付周波数領域信号、または、復号装置が得た重み付時間領域信号に対応する重み付周波数領域信号、から復号音響信号に対応する周波数領域信号を得るサンプル列変形装置であって、
    所定時間区間ごとに、上記重み付周波数領域信号のサンプル列から、当該重み付周波数領域信号のサンプル列の周波数サンプル数より少ない複数サンプルによる周波数区間ごとに当該周波数区間に含まれるサンプルのサンプル値から当該周波数区間の代表値を算出する圧伸代表値算出部と、
    上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記重み付周波数領域信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した周波数領域サンプル列を、上記復号音響信号に対応する周波数領域信号のサンプル列として得る信号逆圧伸部と、
    を含むサンプル列変形装置。
  3. 入力音響信号を変形して得た重み付音響信号を符号化する符号化装置に入力するための上記重み付音響信号、または、入力音響信号を変形して得た重み付音響信号に対応する重み付周波数領域信号を符号化する符号化装置に入力するための上記重み付周波数領域信号に対応する重み付音響信号、を得るサンプル列変形装置であって、
    所定時間区間ごとに、時間領域の入力音響信号のサンプル列から、当該入力音響信号のサンプル列のサンプル数より少ない複数サンプルによる時間区間ごとに、当該時間区間に含まれるサンプルのサンプル値から当該時間区間の代表値を算出する代表値算出部と、
    上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記入力音響信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した時間領域サンプル列を、上記重み付音響信号のサンプル列として得る信号圧伸部と、
    を含むサンプル列変形装置。
  4. 復号装置が得た時間領域の重み付音響信号、または、復号装置が得た周波数領域の重み付音響信号に対応する時間領域の重み付音響信号、から復号音響信号を得るサンプル列変形装置であって、
    所定時間区間ごとに、上記時間領域の重み付音響信号のサンプル列から、当該重み付音響信号のサンプル列のサンプル数より少ない複数サンプルによる時間区間ごとに、当該時間区間に含まれるサンプルのサンプル値から当該時間区間の代表値を算出する圧伸代表値算出部と、
    上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記重み付音響信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した時間領域サンプル列を、上記復号音響信号のサンプル列として得る信号逆圧伸部と、
    を含むサンプル列変形装置。
  5. 請求項1または2に記載のサンプル列変形装置であって、
    上記複数サンプルによる周波数区間は、低周波数に対応する周波数区間であるほど含まれるサンプル数が少なく、高周波数に対応する周波数区間であるほど含まれるサンプル数が多くなるように設定される、
    サンプル列変形装置。
  6. 請求項1から5のいずれかに記載のサンプル列変形装置であって、
    上記複数サンプルによる区間ごとに上記代表値を算出することと、上記算出した代表値の関数値に応じた重みと上記サンプル列の各サンプルとを乗算することを、所定の回数繰り返し実行するものである、
    サンプル列変形装置。
  7. 請求項1または3に記載のサンプル列変形装置であって、
    上記所定時間区間ごとに、入力音響信号または入力音響信号に対応する周波数領域信号を目標符号長で符号化するための量子化幅を得る量子化幅算出部と、
    上記所定時間区間ごとに、上記圧伸関数として、
    上記量子化幅が小さいほど、上記入力音響信号と上記重み付音響信号、または、上記入力音響信号に対応する周波数領域信号のサンプル列と上記重み付周波数領域信号のサンプル列、が近くなる、
    または/および、
    上記量子化幅が大きいほど、上記重み付音響信号または上記重み付周波数領域信号のサンプル列のパワーが平坦になる、
    圧伸関数を選択する圧伸関数選択部と、
    を更に含むサンプル列変形装置。
  8. 請求項1または3に記載のサンプル列変形装置と、符号化対象信号を符号化して信号符号を得る符号化装置と、を含む信号符号化装置であって、
    上記所定時間区間ごとに、入力音響信号または入力音響信号に対応する周波数領域信号を目標符号長で符号化するための量子化幅を得て、
    得られた量子化幅が所定の閾値より小さいまたは所定の閾値以下である時間区間については、上記入力音響信号または上記入力音響信号に対応する周波数領域信号を上記符号化対象信号として上記符号化装置で符号化し、
    それ以外の時間区間については、上記入力音響信号または上記入力音響信号に対応する周波数領域信号を上記サンプル列変形装置に入力し、上記サンプル列変形装置が得た上記重み付音響信号または上記重み付周波数領域信号のサンプル列を上記符号化対象信号として上記符号化装置で符号化する
    信号符号化装置。
  9. 請求項2または4に記載のサンプル列変形装置と、信号符号を復号して復号信号を得る復号装置と、を含む信号復号装置であって、
    上記所定時間区間ごとに、量子化幅符号を復号して量子化幅を得て、
    得られた量子化幅が所定の閾値より小さいまたは所定の閾値以下である時間区間については、上記信号符号を上記復号装置で復号して得た信号を上記復号音響信号または上記復号音響信号に対応する周波数領域信号として得、
    それ以外の時間区間については、上記復号装置が得た信号を上記サンプル列変形装置に入力して上記復号音響信号または上記復号音響信号に対応する周波数領域信号を得る
    信号復号装置。
  10. 入力音響信号に対応する周波数領域信号を変形して得た重み付周波数領域信号を符号化する符号化方法に入力するための上記重み付周波数領域信号、または、入力音響信号に対応する周波数領域信号を変形して得た重み付周波数領域信号に対応する重み付時間領域信号を符号化する符号化方法に入力するための上記重み付時間領域信号に対応する重み付周波数領域信号、を得るサンプル列変形方法であって、
    所定時間区間ごとに、入力音響信号に対応する周波数領域信号のサンプル列から、当該周波数領域信号のサンプル列の周波数サンプル数より少ない複数サンプルによる周波数区間ごとに、当該周波数区間に含まれるサンプルのサンプル値から当該周波数区間の代表値を算出する代表値算出ステップと、
    上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記周波数領域信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した周波数領域サンプル列を、上記重み付周波数領域信号のサンプル列として得る信号圧伸ステップと、
    を含むサンプル列変形方法。
  11. 復号により得た重み付周波数領域信号、または、復号により得た重み付時間領域信号に対応する重み付周波数領域信号、から復号音響信号に対応する周波数領域信号を得るサンプル列変形方法であって、
    所定時間区間ごとに、上記重み付周波数領域信号のサンプル列から、当該重み付周波数領域信号のサンプル列の周波数サンプル数より少ない複数サンプルによる周波数区間ごとに当該周波数区間に含まれるサンプルのサンプル値から当該周波数区間の代表値を算出する圧伸代表値算出ステップと、
    上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記重み付周波数領域信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した周波数領域サンプル列を、上記復号音響信号に対応する周波数領域信号のサンプル列として得る信号逆圧伸ステップと、
    を含むサンプル列変形方法。
  12. 入力音響信号を変形して得た重み付音響信号を符号化する符号化方法に入力するための上記重み付音響信号、または、入力音響信号を変形して得た重み付音響信号に対応する重み付周波数領域信号を符号化する符号化方法に入力するための上記重み付周波数領域信号に対応する重み付音響信号、を得るサンプル列変形方法であって、
    所定時間区間ごとに、時間領域の入力音響信号のサンプル列から、当該入力音響信号のサンプル列のサンプル数より少ない複数サンプルによる時間区間ごとに、当該時間区間に含まれるサンプルのサンプル値から当該時間区間の代表値を算出する代表値算出ステップと、
    上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記入力音響信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した時間領域サンプル列を、上記重み付音響信号のサンプル列として得る信号圧伸ステップと、
    を含むサンプル列変形方法。
  13. 復号により得た時間領域の重み付音響信号、または、復号により得た周波数領域の重み付音響信号に対応する時間領域の重み付音響信号、から復号音響信号を得るサンプル列変形方法であって、
    所定時間区間ごとに、上記時間領域の重み付音響信号のサンプル列から、当該重み付音響信号のサンプル列のサンプル数より少ない複数サンプルによる時間区間ごとに、当該時間区間に含まれるサンプルのサンプル値から当該時間区間の代表値を算出する圧伸代表値算出ステップと、
    上記所定時間区間ごとに、逆関数を定義できる圧伸関数による上記代表値の関数値に応じた重みと、上記重み付音響信号のサンプル列中の当該代表値に対応する各サンプルと、を乗算した時間領域サンプル列を、上記復号音響信号のサンプル列として得る信号逆圧伸ステップと、
    を含むサンプル列変形方法。
  14. 請求項10または12に記載のサンプル列変形方法であって、
    上記所定時間区間ごとに、入力音響信号または入力音響信号に対応する周波数領域信号を目標符号長で符号化するための量子化幅を得る量子化幅算出ステップと、
    上記所定時間区間ごとに、上記圧伸関数として、
    上記量子化幅が小さいほど、上記入力音響信号と上記重み付音響信号、または、上記入力音響信号に対応する周波数領域信号のサンプル列と上記重み付周波数領域信号のサンプル列、が近くなる、
    または/および、
    上記量子化幅が大きいほど、上記重み付音響信号または上記重み付周波数領域信号のサンプル列のパワーが平坦になる、
    圧伸関数を選択する圧伸関数選択ステップと、
    を更に含むサンプル列変形方法。
  15. 請求項10または12に記載のサンプル列変形方法と、符号化対象信号を符号化して信号符号を得る符号化方法と、を含む信号符号化方法であって、
    上記所定時間区間ごとに、入力音響信号または入力音響信号に対応する周波数領域信号を目標符号長で符号化するための量子化幅を得て、
    得られた量子化幅が所定の閾値より小さいまたは所定の閾値以下である時間区間については、上記入力音響信号または上記入力音響信号に対応する周波数領域信号を上記符号化対象信号として上記符号化方法で符号化し、
    それ以外の時間区間については、上記入力音響信号または上記入力音響信号に対応する周波数領域信号を上記サンプル列変形方法に入力し、上記サンプル列変形方法得た上記重み付音響信号または上記重み付周波数領域信号のサンプル列を上記符号化対象信号として上記符号化方法で符号化する
    信号符号化方法。
  16. 請求項11または13に記載のサンプル列変形方法と、信号符号を復号して復号信号を得る復号方法と、を含む信号復号方法であって、
    上記所定時間区間ごとに、量子化幅符号を復号して量子化幅を得て、
    得られた量子化幅が所定の閾値より小さいまたは所定の閾値以下である時間区間については、上記信号符号を上記復号方法で復号して得た信号を上記復号音響信号または上記復号音響信号に対応する周波数領域信号として得、
    それ以外の時間区間については、上記復号方法で得た信号を上記サンプル列変形方法に入力して上記復号音響信号または上記復号音響信号に対応する周波数領域信号を得る
    信号復号方法。
  17. 請求項1から7のいずれかに記載のサンプル列変形装置としてコンピュータを機能させるためのプログラム。
  18. 請求項8に記載の信号符号化装置としてコンピュータを機能させるためのプログラム。
  19. 請求項9に記載の信号復号装置としてコンピュータを機能させるためのプログラム。
JP2018539738A 2016-09-15 2017-09-13 サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム Active JP6712643B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016180196 2016-09-15
JP2016180196 2016-09-15
JP2017001966 2017-01-10
JP2017001966 2017-01-10
PCT/JP2017/032991 WO2018052004A1 (ja) 2016-09-15 2017-09-13 サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018052004A1 JPWO2018052004A1 (ja) 2019-07-04
JP6712643B2 true JP6712643B2 (ja) 2020-06-24

Family

ID=61618807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018539738A Active JP6712643B2 (ja) 2016-09-15 2017-09-13 サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム

Country Status (5)

Country Link
US (1) US11468905B2 (ja)
EP (1) EP3514791B1 (ja)
JP (1) JP6712643B2 (ja)
CN (1) CN109716431B (ja)
WO (1) WO2018052004A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05158495A (ja) * 1991-05-07 1993-06-25 Fujitsu Ltd 音声符号化伝送装置
WO1999030315A1 (fr) * 1997-12-08 1999-06-17 Mitsubishi Denki Kabushiki Kaisha Procede et dispositif de traitement du signal sonore
JP3590342B2 (ja) * 2000-10-18 2004-11-17 日本電信電話株式会社 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体
JP3624855B2 (ja) * 2001-05-22 2005-03-02 ソニー株式会社 正規化装置、方法、プログラムおよび該プログラムを記録した記録媒体ならびに通信端末装置
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
JP5694751B2 (ja) * 2010-12-13 2015-04-01 日本電信電話株式会社 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体
ES2704742T3 (es) * 2011-04-05 2019-03-19 Nippon Telegraph & Telephone Descodificación de una señal acústica
WO2013176177A1 (ja) * 2012-05-23 2013-11-28 日本電信電話株式会社 符号化方法、復号方法、符号化装置、復号装置、プログラム、および記録媒体

Also Published As

Publication number Publication date
CN109716431B (zh) 2022-11-01
JPWO2018052004A1 (ja) 2019-07-04
EP3514791A1 (en) 2019-07-24
EP3514791B1 (en) 2021-07-28
US11468905B2 (en) 2022-10-11
WO2018052004A1 (ja) 2018-03-22
CN109716431A (zh) 2019-05-03
US20210335372A1 (en) 2021-10-28
EP3514791A4 (en) 2020-04-29

Similar Documents

Publication Publication Date Title
KR102248252B1 (ko) 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
CN101622662B (zh) 编码装置和编码方法
RU2752127C2 (ru) Усовершенствованный квантователь
JP3636094B2 (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
MX2014000161A (es) Aparato y metodo para generar señal extendida de ancho de banda.
EP3826011A1 (en) Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals
JP4359949B2 (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
JP4734859B2 (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
JP6712643B2 (ja) サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム
JP2003233397A (ja) オーディオ符号化装置、オーディオ符号化プログラム及びオーディオ符号化データ伝送装置
JP3353266B2 (ja) 音響信号変換符号化方法
JP4191503B2 (ja) 音声楽音信号符号化方法、復号化方法、符号化装置、復号化装置、符号化プログラム、および復号化プログラム
JP4618823B2 (ja) 信号符号化装置及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200601

R150 Certificate of patent or registration of utility model

Ref document number: 6712643

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150