JP5892395B2 - Encoding apparatus, encoding method, and program - Google Patents
Encoding apparatus, encoding method, and program Download PDFInfo
- Publication number
- JP5892395B2 JP5892395B2 JP2014160283A JP2014160283A JP5892395B2 JP 5892395 B2 JP5892395 B2 JP 5892395B2 JP 2014160283 A JP2014160283 A JP 2014160283A JP 2014160283 A JP2014160283 A JP 2014160283A JP 5892395 B2 JP5892395 B2 JP 5892395B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency spectrum
- unit
- spectrum
- low
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、符号化装置、符号化方法、およびプログラムに関し、特に、復号時の帯域拡張による遅延時間を削減するとともに、復号側のリソースの増加を抑制することができるようにした符号化装置、符号化方法、およびプログラムに関する。 The present invention relates to an encoding apparatus, an encoding method, and a program, and in particular, an encoding apparatus capable of reducing delay time due to band expansion during decoding and suppressing an increase in resources on the decoding side, The present invention relates to an encoding method and a program.
音声信号の符号化方法としては、一般的に、MP3(Moving Picture Experts Group Audio Layer-3),AAC(Advanced Audio Coding),ATRAC(Adaptive Transform Acoustic Coding)といった変換符号化方法がよく知られている。 In general, transform coding methods such as MP3 (Moving Picture Experts Group Audio Layer-3), AAC (Advanced Audio Coding), ATRAC (Adaptive Transform Acoustic Coding) are well known as coding methods for audio signals. .
このような符号化方法においては、符号化結果に情報量の多い高域のスペクトルを含めずに、高域のスペクトルのエンベロープのみを含めることで符号化効率を向上させることが考えられている。この場合、復号の際には、低域のスペクトルが平行移動や折り返し等により複製されることにより、高域のスペクトルが生成される。そして、生成された高域のスペクトルのエンベロープのみが符号化結果に含まれる本来の高域のスペクトルのエンベロープに近づけられることで、聴覚的な音質の向上が計られる。このような復号の技術は帯域拡張技術と呼ばれ、既に一般的に認知されている。 In such an encoding method, it is considered to improve the encoding efficiency by including only the envelope of the high-frequency spectrum without including the high-frequency spectrum with a large amount of information in the encoding result. In this case, at the time of decoding, a high-frequency spectrum is generated by duplicating the low-frequency spectrum by translation, folding, or the like. Then, only the generated high-frequency spectrum envelope is brought close to the original high-frequency spectrum envelope included in the encoding result, thereby improving the auditory sound quality. Such a decoding technique is called a band extension technique and is already generally recognized.
図1は、高域のスペクトルについてはエンベロープのみを符号化結果に含める符号化装置の構成の一例を示すブロック図である。 FIG. 1 is a block diagram illustrating an example of a configuration of an encoding device that includes only an envelope in an encoding result for a high-frequency spectrum.
図1の符号化装置10は、MDCT(Modified Discrete Cosine Transform)部11、量子化部12、および多重化部13により構成される。なお、符号化装置10は、高域スペクトルSP-Hを符号化結果に含めない点を除いて、既に一般的によく知られている変換符号化装置と同様である。なお、図の説明の簡単化のため、量子化部12は、量子化のみならず量子化対象の抽出や正規化も行うものとする。
1 includes an MDCT (Modified Discrete Cosine Transform)
具体的には、符号化装置10のMDCT部11は、符号化装置10に入力された音声の時間領域信号であるPCM(Pulse Code Modulation)信号に対してMDCTを行い、周波数領域信号であるスペクトルSPを生成する。MDCT部11は、生成されたスペクトルSPを量子化部12に供給する。
Specifically, the
量子化部12は、MDCT部11から供給されるスペクトルSPの高域成分である高域スペクトルSP-Hおよび低域成分である低域スペクトルSP-Lから、それぞれエンベロープを抽出する。量子化部12は、抽出された高域スペクトルSP-Hのエンベロープである高域エンベロープENV-Hと、低域スペクトルSP-Lのエンベロープである低域エンベロープENV-Lを量子化する。量子化部12は、量子化された高域エンベロープENV-Hと低域エンベロープENV-Lを、多重化部13に供給する。なお、本明細書では、説明の簡単化のため、量子化や符号化の前後の信号の名称(SP-L,SP-Hなど)を同一のものにしてある。
The
また、量子化部12は、低域エンベロープENV-Lを用いて、低域スペクトルSP-Lを正規化し、正規化された低域スペクトルSP-Lに対して量子化を行い、その結果得られる低域スペクトルSP-Lを多重化部13に供給する。
Further, the
このように、量子化部12は、スペクトルSPの低域成分については、エンベロープと正規化されたスペクトルを符号化結果に含めるが、高域成分についてはエンベロープのみを符号化結果に含める。これにより、符号化効率が向上する。
As described above, the
多重化部13は、量子化部12から供給される低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hを多重化し、その結果得られるビットストリームを出力する。このビットストリームは、図示せぬ記録媒体に記録されたり、復号装置に伝送されたりする。
The
図2は、図1の符号化装置10による符号化処理を説明するフローチャートである。この符号化処理は、例えば、符号化装置10に音声のPCM信号が入力されたとき開始される。
FIG. 2 is a flowchart illustrating an encoding process performed by the
図2のステップS11において、MDCT部11は、符号化装置10に入力された音声の時間領域信号であるPCM信号に対してMDCTを行い、周波数領域信号であるスペクトルSPを生成する。MDCT部11は、生成されたスペクトルSPを量子化部12に供給する。
In step S11 of FIG. 2, the
ステップS12において、量子化部12は、MDCT部11から供給されるスペクトルSPの高域成分である高域スペクトルSP-Hおよび低域成分である低域スペクトルSP-Lから、それぞれエンベロープを抽出する。
In step S12, the
ステップS13において、量子化部12は、低域エンベロープENV-Lを用いて、低域スペクトルSP-Lを正規化する。
In step S13, the
ステップS14において、量子化部12は、抽出された高域エンベロープENV-H、低域エンベロープENV-L、および正規化された低域スペクトルSP-Lに対して量子化を行う。そして、量子化部12は、量子化された高域エンベロープENV-H、低域エンベロープENV-L、および正規化された低域スペクトルSP-Lを多重化部13に供給する。
In step S14, the
ステップS15において、多重化部13は、量子化部12から供給される低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hを多重化し、その結果得られるビットストリームを出力する。そして、処理は終了する。
In step S15, the
図3は、図1の符号化装置10により符号化されたビットストリームを復号する復号装置の構成の一例を示すブロック図である。
FIG. 3 is a block diagram illustrating an example of a configuration of a decoding device that decodes the bitstream encoded by the
図3の復号装置30は、分解化部31、逆量子化部32、逆MDCT部33、および帯域拡張部34により構成される。
The
復号装置30の分解化部31、逆量子化部32、および逆MDCT部33は、通常の変換復号装置と同様に、PCM信号の低域成分のみを復元する。
The
具体的には、分解化部31は、符号化装置10により符号化されたビットストリームを取得し、低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hに分解して、逆量子化部32に供給する。
Specifically, the
逆量子化部32は、分解化部31により供給される低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hそれぞれに対して逆量子化を行う。そして、逆量子化部32は、逆量子化された低域エンベロープENV-Lと低域スペクトルSP-Lを逆MDCT部33に供給し、高域エンベロープENV-Hを帯域拡張部34に供給する。
The
逆MDCT部33は、逆量子化部32から供給される低域エンベロープENV-Lを用いて、低域スペクトルSP-Lに対して逆正規化を行う。また、逆MDCT部33は、逆正規化された周波数領域信号である低域スペクトルSP-Lに対して逆MDCTを行い、時間領域信号であるPCM信号を得る。なお、このPCM信号は、高域成分がないPCM信号であり、聴覚的に篭った音質の音声のPCM信号である。逆MDCT部33は、このPCM信号を帯域拡張部34に供給する。
The
帯域拡張部34は、帯域分割フィルタ41、高域成分生成部42、および帯域合成フィルタ43により構成される。帯域拡張部34は、逆MDCT部33で得られる高域成分がないPCM信号の周波数帯域を拡張することにより、そのPCM信号の音質を向上させる帯域拡張処理を行う。
The
具体的には、帯域拡張部34の帯域分割フィルタ41は、逆MDCT部33から供給されるPCM信号を高域成分と低域成分に分割する。そして、このPCM信号には高域成分がないので、帯域分割フィルタ41は、分割されたPCM信号の高域成分を破棄する。また、帯域分割フィルタ41は、分割されたPCM信号の低域成分である低域PCM信号BS-Lを高域成分生成部42と帯域合成フィルタ43に供給する。
Specifically, the
高域成分生成部42は、帯域分割フィルタ41から供給される低域PCM信号BS-Lと、逆量子化部32から供給される高域エンベロープENV-Hとを用いて、高域のPCM信号を生成し、擬似高域PCM信号BS-Hとする。擬似高域PCM信号BS-Hの生成方法については、例えば、本出願人が先に出願した特許文献1に記載されている。高域成分生成部42は、擬似高域PCM信号BS-Hを帯域合成フィルタ43に供給する。
The high frequency
帯域合成フィルタ43は、帯域分割フィルタ41から供給される低域PCM信号BS-Lと、高域成分生成部42から供給される擬似高域PCM信号BS-Hを合成し、全帯域のPCM信号を復号結果として出力する。
The
以上のようにして出力される全帯域のPCM信号に対応する音声は、高域成分がないPCM信号に対応する音声に比べて、篭り感が低減され、きらびやかで聞き心地の良い音声となる。 The sound corresponding to the PCM signal of the entire band output as described above has a reduced feeling of squeeze, and is brilliant and comfortable to hear, compared to the sound corresponding to the PCM signal having no high frequency component.
図4は、逆MDCT部33および帯域合成フィルタ43から出力される信号を説明する図である。なお、図4において、横軸は周波数を表し、縦軸は信号のレベルを表している。このことは、後述する図7、図10、および図12乃至図16においても同様である。
FIG. 4 is a diagram illustrating signals output from the
逆MDCT部33から出力される信号は、図4Aに示すような低域エンベロープENV-Lを用いて逆正規化された低域スペクトルSP-LのPCM信号である。また、帯域合成フィルタ43から出力される信号は、図4Bに示すような低域エンベロープENV-Lを用いて逆正規化された低域スペクトルSP-LのPCM信号を低域成分として有し、高域エンベロープENV-Hと低域PCM信号BS-Lから生成された擬似高域PCM信号BS-Hを高域成分として有するPCM信号である。
The signal output from the
図5は、図3の復号装置30による復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置10により符号化されたビットストリームが復号装置30に入力されたとき開始される。
FIG. 5 is a flowchart for explaining a decoding process by the
図5のステップS31において、分解化部31は、復号装置30に入力されたビットストリームを低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hに分解し、逆量子化部32に供給する。
In step S31 of FIG. 5, the
ステップS32において、逆量子化部32は、分解化部31から供給される低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hそれぞれに対して逆量子化を行う。逆量子化部32は、逆量子化された低域エンベロープENV-Lと低域スペクトルSP-Lを逆MDCT部33に供給し、高域エンベロープENV-Hを帯域拡張部34に供給する。
In step S32, the
ステップS33において、逆MDCT部33は、逆量子化部32から供給される低域エンベロープENV-Lを用いて、低域スペクトルSP-Lに対して逆正規化を行う。
In step S33, the
ステップS34において、逆MDCT部33は、逆正規化された周波数領域信号である低域スペクトルSP-Lに対して逆MDCTを行い、時間領域信号であるPCM信号を得る。逆MDCT部33は、このPCM信号を帯域拡張部34に供給する
In step S34, the
ステップS35において、帯域拡張部34の帯域分割フィルタ41は、逆MDCT部33から供給されるPCM信号を高域成分と低域成分に分割する。そして、帯域分割フィルタ41は、分割されたPCM信号の高域成分を破棄し、分割されたPCM信号の低域成分である低域PCM信号BS-Lを高域成分生成部42と帯域合成フィルタ43に供給する。
In step S35, the
ステップS36において、高域成分生成部42は、帯域分割フィルタ41から供給される低域PCM信号BS-Lと、逆量子化部32から供給される高域エンベロープENV-Hとを用いて、擬似高域PCM信号BS-Hを生成する。高域成分生成部42は、擬似高域PCM信号BS-Hを帯域合成フィルタ43に供給する。
In step S36, the high frequency
ステップS37において、帯域合成フィルタ43は、帯域分割フィルタ41から供給される低域PCM信号BS-Lと、高域成分生成部42から供給される擬似高域PCM信号BS-Hを合成し、全帯域のPCM信号を得る。帯域合成フィルタ43は、その全帯域のPCM信号を出力し、処理を終了する。
In step S37, the
以上のような帯域拡張技術は、国際規格であるHE-AAC (High-Efficiency Advanced Audio Coding)やLPEC(商標)のステレオハイクオリティモードで既に利用されている。 The band expansion technology as described above is already used in the high-efficiency advanced audio coding (HE-AAC) and LPEC (trademark) stereo high quality modes.
上述したように、従来の帯域拡張技術では、帯域拡張処理は、低域スペクトルSP-Lの復号処理の後処理(ポストプロセス)として行われる。これにより、擬似高域PCM信号BS-Hの自由度を高めることができる。即ち、擬似高域PCM信号BS-Hを周波数領域信号である低域スペクトルSP-Lではなく、時間領域信号である低域PCM信号BS-Lから生成することができる。 As described above, in the conventional band extension technique, the band extension process is performed as a post process (post process) of the decoding process of the low band spectrum SP-L. Thereby, the degree of freedom of the pseudo high frequency PCM signal BS-H can be increased. That is, the pseudo high frequency PCM signal BS-H can be generated from the low frequency PCM signal BS-L, which is a time domain signal, instead of the low frequency spectrum SP-L, which is a frequency domain signal.
なお、符号化処理や復号処理の処理ブロックサイズと、帯域拡張処理の処理ブロックサイズをそれぞれ自由に設定することで、周波数分析精度および時間分解精度をそれぞれ最適にすることができる。 Note that the frequency analysis accuracy and the time resolution accuracy can be optimized by freely setting the processing block size of the encoding process and decoding process and the processing block size of the band extension process, respectively.
また、特許文献1に記載されている方法で擬似高域PCM信号を生成する場合、高域エンベロープENV-Hからノイズ性スペクトルを生成するとともに、高域エンベロープENV-Hおよび低域PCM信号BS-Lからトーン性スペクトルを生成し、両方のスペクトルを比較するといった複雑な処理が必要となる。
Further, when generating a pseudo high frequency PCM signal by the method described in
このようなノイズ性スペクトルとトーン性スペクトルを生成する処理は、聴覚的に高い品質の音声を生成するために必要な、低域スペクトルと高域スペクトルのマッチング精度の向上に必須の処理であり、特許文献2および3に記載されている復号装置においても行われている。 Such a process of generating a noise spectrum and a tone spectrum is an essential process for improving the matching accuracy of the low-frequency spectrum and the high-frequency spectrum, which is necessary for generating audio of high quality auditoryly. This is also performed in the decoding devices described in Patent Documents 2 and 3.
以上のように、従来の帯域拡張技術では、帯域拡張処理が、低域スペクトルSP-Lの復号処理の後処理として行われるように研究、開発、および実用化が行われている。従って、全帯域のPCM信号は、分解化部31、逆量子化部32、および逆MDCT部33による通常の復号処理が終了してから(図3の例では、時刻T0)、帯域拡張部34による処理時間後(図3の例では、時刻T1)に出力される。
As described above, in the conventional bandwidth extension technology, research, development, and practical use have been performed so that the bandwidth extension processing is performed as post-processing of the decoding processing of the low-band spectrum SP-L. Therefore, the PCM signal of all bands is subjected to normal decoding processing by the
このことは、復号装置30が単に音声のみを再生する再生装置に設けられる場合には、それほど大きな問題とはならない。しかしながら、復号装置30が、例えば音声と同期して映像も再生する再生装置に設けられる場合、通常の復号のみを行う場合と帯域拡張も行う場合とで全帯域のPCM信号の出力時間が異なるため、映像と音声を同期して出力することが困難になる。
This is not a significant problem when the
これを解決するためには映像の再生タイミングを遅らせる必要があるが、音声に比べ映像のバッファリングには大量のメモリが必要となるため、リソースの増大を招く。また、映像と音声の同期タイミングを予めずらしておくことも考えられるが、通常の復号のみを行うか、帯域拡張も行うかは、再生装置によるため、常に最適な同期タイミングを指定することは困難である。 In order to solve this, it is necessary to delay the playback timing of the video. However, a larger amount of memory is required for buffering the video than audio, which increases resources. Although it may be possible to shift the synchronization timing of video and audio in advance, it is difficult to always specify the optimal synchronization timing because only the normal decoding or the bandwidth expansion is performed by the playback device. It is.
また、復号装置30は、帯域拡張のために帯域拡張部34を新たに設ける必要があり、帯域拡張を行わない復号装置に比べてリソースが増加する。
In addition, the
以上により、帯域拡張を行う復号装置において、帯域拡張による遅延時間を削減するとともに、リソースの増加を抑制することが求められている。 As described above, in a decoding device that performs bandwidth expansion, it is required to reduce delay time due to bandwidth expansion and to suppress an increase in resources.
本発明は、このような状況に鑑みてなされたものであり、復号時の帯域拡張による遅延時間を削減するとともに、復号側のリソースの増加を抑制することができるようにするものである。 The present invention has been made in view of such circumstances, and is intended to reduce the delay time due to band expansion during decoding and to suppress an increase in resources on the decoding side.
本発明の一側面の符号化装置は、音声信号の高域のスペクトルに基づいて、前記高域のスペクトルの分布の偏りを表す集中度の情報を決定する決定手段と、前記音声信号のスペクトルから、前記高域のスペクトルのエンベロープを抽出する抽出手段と、前記決定手段により決定された前記集中度の情報、前記抽出手段により抽出された前記高域のスペクトルのエンベロープ、および低域のスペクトルを多重化して、符号化結果とする多重化手段とを備える符号化装置である。 An encoding apparatus according to an aspect of the present invention includes: a determination unit that determines concentration information indicating a bias of a distribution of a high-frequency spectrum based on a high-frequency spectrum of the audio signal; and a spectrum of the audio signal. Extraction means for extracting an envelope of the high-frequency spectrum; information on the degree of concentration determined by the determination means; an envelope of the high-frequency spectrum extracted by the extraction means; and a low-frequency spectrum. And an encoding device including multiplexing means for generating an encoding result.
本発明の一側面の符号化方法およびプログラムは、本発明の一側面の符号化装置に対応する。 The encoding method and program according to one aspect of the present invention correspond to the encoding apparatus according to one aspect of the present invention.
本発明の一側面においては、音声信号の高域のスペクトルに基づいて、前記高域のスペクトルの分布の偏りを表す集中度の情報が決定され、前記音声信号のスペクトルから、前記高域のスペクトルのエンベロープが抽出され、決定された前記集中度の情報、抽出された前記高域のスペクトルのエンベロープ、および低域のスペクトルが多重化されて、符号化結果とされる。 In one aspect of the present invention, based on the high frequency spectrum of the audio signal, information on the degree of concentration indicating a bias in the distribution of the high frequency spectrum is determined, and the high frequency spectrum is determined from the spectrum of the audio signal. Are extracted, and the information on the determined degree of concentration, the extracted high-frequency spectrum envelope, and the low-frequency spectrum are multiplexed to obtain an encoding result.
本発明によれば、復号時の帯域拡張による遅延時間が削減され、復号側のリソースの増加が抑制されるように、符号化を行うことができる。 According to the present invention, encoding can be performed so that a delay time due to band expansion during decoding is reduced and an increase in resources on the decoding side is suppressed.
<第1実施の形態>
[符号化装置の第1実施の形態の構成例]
図6は、本発明を適用した符号化装置の第1実施の形態の構成例を示すブロック図である。
<First embodiment>
[Configuration Example of First Embodiment of Encoding Device]
FIG. 6 is a block diagram showing a configuration example of the first embodiment of the encoding apparatus to which the present invention is applied.
図6に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。 Of the configurations shown in FIG. 6, the same configurations as those in FIG. The overlapping description will be omitted as appropriate.
図6の符号化装置50の構成は、主に、量子化部12、多重化部13の代わりに量子化部51、多重化部52が設けられている点が図1の構成と異なる。符号化装置10は、低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hの他に、ランダムフラグRND(詳細は後述する)を多重化してビットストリームを生成する。
The configuration of the
具体的には、符号化装置50の量子化部51は、決定部61、抽出部62、正規化部63、および部分量子化部64により構成される。
Specifically, the
決定部61は、MDCT部11から供給されるスペクトルSPのうちの高域スペクトルSP-Hに基づいて、例えば以下の式(1)により、高域スペクトルSP-Hの集中度Dを決定する。
The
D=max(SP-H)/ave(SP-H) ・・・(1) D = max (SP-H) / ave (SP-H) (1)
なお、式(1)において、max(SP-H)は、高域スペクトルSP-Hの最大値を表し、ave(SP-H)は、高域スペクトルSP-Hの平均値を表す。 In Equation (1), max (SP-H) represents the maximum value of the high-frequency spectrum SP-H, and ave (SP-H) represents the average value of the high-frequency spectrum SP-H.
式(1)によれば、符号化対象の音声の高域成分のトーン性が高く、高域スペクトルSP-Hの分布に大きな偏りがある場合、集中度Dは大きくなり、符号化対象の音声の高域成分のノイズ性が高く、高域スペクトルSP-Hの分布が平坦である場合、集中度Dは小さくなる。 According to equation (1), when the tonal characteristic of the high frequency component of the speech to be encoded is high and the distribution of the high frequency spectrum SP-H has a large bias, the degree of concentration D increases and the speech to be encoded When the high-frequency component noise characteristic is high and the distribution of the high-frequency spectrum SP-H is flat, the concentration degree D is small.
決定部61は、集中度Dに基づいてランダムフラグRNDを決定する。このランダムフラグRNDは、後述する復号装置における帯域拡張処理時に、低域スペクトルSP-Lと高域エンベロープENV-Hから生成される高域スペクトルSP-Hに擬似するスペクトルの位相をランダム化するかどうかを表すフラグである。
The
例えば、集中度Dが、符号化装置50に予め設定されている閾値より大きい場合、即ち高域スペクトルSP-Hのトーン性が高い場合、ランダムフラグRNDは、ランダム化しないことを表す0に決定される。一方、集中度Dが予め設定されている閾値以下である場合、即ち高域スペクトルSP-Hのノイズ性が高い場合、ランダムフラグRNDは、ランダム化することを表す1に決定される。決定部61は、決定されたランダムフラグRNDを多重化部52に供給する。
For example, when the degree of concentration D is larger than a threshold value set in advance in the
抽出部62は、図1の量子化部12と同様に、MDCT部11から供給されるスペクトルSPのうちの高域スペクトルSP-Hおよび低域スペクトルSP-Lから、それぞれエンベロープを抽出する。
Similar to the
正規化部63は、量子化部12と同様に、低域エンベロープENV-Lを用いて、低域スペクトルSP-Lを正規化する。
Similar to the
部分量子化部64は、正規化された低域スペクトルSP-Lに対して量子化を行い、その結果得られる低域スペクトルSP-Lを多重化部52に供給する。また、部分量子化部64は、量子化部12と同様に、抽出された高域エンベロープENV-Hと低域エンベロープENV-Lを量子化する。部分量子化部64は、量子化部12と同様に、量子化された高域エンベロープENV-Hと低域エンベロープENV-Lを、多重化部52に供給する。
The
多重化部52は、量子化部51の決定部61から供給されるランダムフラグRND、並びに、部分量子化部64から供給される低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hを多重化する。多重化部52は、その結果得られるビットストリームを出力する。このビットストリームは、図示せぬ記録媒体に記録されたり、復号装置に伝送されたりする。
The multiplexing
[符号化装置における信号の説明]
図7は、図6の符号化装置50のMDCT部11および量子化部51から出力される信号を説明する図である。
[Description of signal in encoding apparatus]
FIG. 7 is a diagram illustrating signals output from the
図7Aに示すように、MDCT部11から出力されるスペクトルSPは、全帯域のスペクトルである。これに対して、量子化部51から出力されるランダムフラグRND以外の信号は、図7Bに示すように、低域スペクトルSP-L、低域エンベロープENV-L、および高域エンベロープENV-Hである。
As shown in FIG. 7A, the spectrum SP output from the
[符号化装置の処理の説明]
図8は、図6の符号化装置50による符号化処理を説明するフローチャートである。この符号化処理は、例えば、符号化装置50に音声のPCM信号が入力されたとき開始される。
[Description of Processing of Encoding Device]
FIG. 8 is a flowchart for explaining the encoding process by the
図8のステップS51において、MDCT部11は、図2のステップS11の処理と同様に、符号化装置50に入力された音声の時間領域信号であるPCM信号に対してMDCTを行い、周波数領域信号であるスペクトルSPを生成する。MDCT部11は、生成されたスペクトルSPを量子化部51に供給する。
In step S51 of FIG. 8, the
ステップS52において、量子化部51の決定部61は、MDCT部11から供給されるスペクトルSPのうちの高域スペクトルSP-Hに基づいて、上述した式(1)により、高域スペクトルSP-Hの集中度Dを決定する。
In step S52, the
ステップS53において、決定部61は、集中度Dに基づいてランダムフラグRNDを決定する。決定部61は、決定されたランダムフラグRNDを多重化部52に供給し、処理をステップS54に進める。
In step S53, the
ステップS54乃至S56の処理は、図2のステップS12乃至S14の処理と同様であるので、説明は省略する。 The processing in steps S54 to S56 is the same as the processing in steps S12 to S14 in FIG.
ステップS56の処理後、ステップS57において、多重化部52は、量子化部51から供給されるランダムフラグRND、低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hを多重化し、その結果得られるビットストリームを出力する。そして処理は終了する。
After the process of step S56, in step S57, the multiplexing
[復号装置の構成例]
図9は、図6の符号化装置50により符号化されたビットストリームを復号する復号装置の構成例を示すブロック図である。
[Configuration Example of Decoding Device]
FIG. 9 is a block diagram illustrating a configuration example of a decoding device that decodes the bitstream encoded by the
図9の復号装置70は、分解化部71、逆量子化部72、高域成分生成部73、位相ランダム部74、および逆MDCT部75により構成される。復号装置70は、帯域拡張処理を低域スペクトルSPLの復号処理と同時に行う。
The
具体的には、分解化部71(取得手段)は、図6の符号化装置50により符号化されたビットストリームを取得する。分解化部71は、そのビットストリームをランダムフラグRND、低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hに分解し、逆量子化部72に供給する。
Specifically, the decomposition unit 71 (acquisition means) acquires the bitstream encoded by the
逆量子化部72は、図3の逆量子化部32と同様に、分解化部71から供給される低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hそれぞれに対して逆量子化を行う。
Similarly to the
逆量子化部72は、逆量子化された低域エンベロープENV-Lを逆MDCT部75に供給し、低域スペクトルSP-Lを逆MDCT部75と高域成分生成部73に供給する。また、逆量子化部72は、高域エンベロープENV-Hを高域成分生成部73に供給し、逆量子化部72は、ランダムフラグRNDを位相ランダム部74に供給する。
The
高域成分生成部73は、逆量子化部72から供給される低域スペクトルSP-Lと高域エンベロープENV-Hを用いて高域のスペクトルを生成し、擬似高域スペクトルとする。具体的には、例えば、高域成分生成部73は、低域スペクトルSP-Lを複製し、複製されたスペクトルを高域エンベロープENV-Hを用いて変形し、擬似高域スペクトルとする。
The high frequency
この擬似高域スペクトルの生成方法としては、例えば、本出願人が先に出願した特許文献1に記載された方法を用いることもできるし、それ以外の方法を用いることもできる。高域成分生成部73は、生成された擬似高域スペクトルを位相ランダム部74に供給する。
As a method for generating the pseudo high frequency spectrum, for example, the method described in
位相ランダム部74は、逆量子化部72から供給されるランダムフラグRNDに基づいて、高域成分生成部73から供給される擬似高域スペクトルの位相をランダム化する。
The phase
具体的には、位相ランダム部74は、ランダムフラグRNDがランダム化することを表す1である場合、以下の式(2)により、擬似高域スペクトルの符号(sign,+/-)をランダム化する。
Specifically, when the random flag RND is 1 indicating that the random flag RND is randomized, the phase
SP-H(i)=-1^(rand()&0x1)×SP-H(i) ・・・(2) SP-H (i) =-1 ^ (rand () & 0x1) × SP-H (i) (2)
なお、式(2)において、SP-Hは高域スペクトルを表し、iはスペクトル番号を表す。 In Formula (2), SP-H represents a high frequency spectrum, and i represents a spectrum number.
式(2)によれば、「-1」をランダム関数rand()の返り値の下位1ビットの回数だけ掛け合わせることで、高域スペクトルSP-Hの符号が-1か1のどちらかにランダムに割り当てられる。 According to Equation (2), the sign of the high frequency spectrum SP-H is either -1 or 1 by multiplying "-1" by the number of times of the lower 1 bit of the return value of the random function rand (). Randomly assigned.
一方、ランダムフラグRNDがランダム化しないことを表す0である場合、位相ランダム部74は、擬似高域スペクトルの位相をランダム化しない。
On the other hand, when the random flag RND is 0 indicating that randomization is not performed, the phase
位相ランダム部74は、位相がランダム化された擬似高域スペクトル、または、位相がランダム化されなかった擬似高域スペクトルを、逆MDCT部75に供給する。
The phase
逆MDCT部75(合成手段)は、逆量子化部72から供給される低域エンベロープENV-Lを用いて、低域スペクトルSP-Lを逆正規化する。そして、逆MDCT部75は、逆正規化された低域スペクトルSP-Lと位相ランダム部74から供給される擬似高域スペクトルを合成する。逆MDCT部75は、合成の結果得られる周波数領域信号である全帯域のスペクトルに対して逆MDCTを行い、時間領域信号である全帯域のPCM信号を得る。逆MDCT部75は、その全帯域のPCM信号を復号結果として出力する。
The inverse MDCT unit 75 (combining means) denormalizes the low frequency spectrum SP-L using the low frequency envelope ENV-L supplied from the
以上のように、復号装置70は、低域スペクトルSP-Lの復号と同時に、擬似高域スペクトルの生成を行う。従って、復号装置70において復号に要する時間は、復号のみを行う通常の復号装置において復号に要する時間と略同一である。即ち、図9の復号装置70では、ビットストリームが入力されてから、時刻T0後に復号結果を出力することができる。つまり、復号装置70では、帯域拡張による遅延が発生しない。
As described above, the
[復号装置における信号の説明]
図10は、図9の復号装置70の逆MDCT部75から出力される信号を説明する図である。
[Description of Signal in Decoding Device]
FIG. 10 is a diagram illustrating a signal output from the
逆MDCT部75から出力される信号は、図10に示すような低域エンベロープENV-Lを用いて正規化された低域スペクトルSP-Lと、図10に示すような高域エンベロープENV-Hと低域スペクトルSP-Lから生成された擬似高域スペクトルの合成結果の周波数変換後のPCM信号である。
The signal output from the
[位相のランダム化による効果の説明]
図11乃至図16は、図9の位相ランダム部74による位相のランダム化の効果を説明する図である。
[Explanation of the effects of phase randomization]
11 to 16 are diagrams for explaining the effect of phase randomization by the phase
図11は、位相のランダム化の有無による復号結果の差を説明する図である。 FIG. 11 is a diagram for explaining a difference in decoding results depending on the presence / absence of phase randomization.
図11に示すように、図6の符号化装置50では、フレームと呼ばれる一定の長さを有する区間毎にPCM信号が符号化されるが、そのフレームは、通常、50%ずつオーバーラップされて設定される。具体的には、図11に示すように、J-1番目のフレームと、その次のJ番目のフレームは、0.5フレーム分だけオーバーラップして設定される。
As shown in FIG. 11, in the
図11では、図11の左側に示すように、トーン性が高いスペクトルが符号化されている場合について説明する。 In FIG. 11, as shown on the left side of FIG. 11, a case where a spectrum having high tone characteristics is encoded will be described.
この場合、図11の右側の上段に示すように、J-1番目とJ番目のフレームのスペクトルの復号時にスペクトルの位相がランダム化されないと、J-1番目とJ番目のフレームのオーバーラップ期間のスペクトルの位相は、J-1番目とJ番目のフレームのスペクトルと符号の合成により、正確に復元される。従って、復元されたオーバーラップ期間のスペクトルは、トーン性が高いスペクトルとなる。 In this case, as shown in the upper part on the right side of FIG. 11, if the spectrum phase is not randomized when the spectra of the J-1th and Jth frames are decoded, the overlap period of the J-1th and Jth frames Is accurately restored by synthesizing the spectrum and code of the (J-1) th and Jth frames. Therefore, the restored spectrum of the overlap period is a spectrum with high tone characteristics.
一方、右側の下段に示すように、J-1番目とJ番目のフレームのスペクトルの復号時にスペクトルの位相がランダム化されると、J-1番目とJ番目のフレームのスペクトルの符号は必ずしも一致しなくなる。従って、オーバーラップ期間のスペクトルの位相は、正確に復元されない。よって、復号装置70において復元されたオーバーラップ期間の信号は、符号化前のスペクトルが有していたトーン性が崩れたスペクトルとなる。
On the other hand, as shown in the lower part on the right side, when the spectrum phase is randomized during the decoding of the spectrum of the J-1th and Jth frames, the sign of the spectrum of the J-1th and Jth frames is not necessarily identical. I will not do it. Therefore, the phase of the spectrum in the overlap period is not accurately restored. Therefore, the overlap period signal restored by the
スペクトルのトーン性が崩されると、本来特定のスペクトルに集中しているはずのエネルギーが周囲のスペクトルに漏れ出してしまう。これにより、本来のスペクトルに比べてスペクトルのピーク(山)が抑制され、周囲に漏れだしたエネルギーがスペクトルの谷のエネルギーを押し上げる。その結果、スペクトルがノイズ性を有するようになる。 When the tone of the spectrum is destroyed, energy that should have been concentrated on a specific spectrum leaks to the surrounding spectrum. As a result, the peak (crest) of the spectrum is suppressed compared to the original spectrum, and the energy leaked to the surroundings pushes up the energy of the valley of the spectrum. As a result, the spectrum becomes noisy.
以上のように、復号時に位相のランダム化が行われると、符号化前にトーン性を有していたスペクトルが、ノイズ性を有するスペクトルに変換される。 As described above, when phase randomization is performed at the time of decoding, a spectrum having tone characteristics before encoding is converted into a spectrum having noise characteristics.
図12乃至図16は、高域スペクトルSP-Hの特性について説明する図である。 12 to 16 are diagrams for describing the characteristics of the high-frequency spectrum SP-H.
図12Aに示すように、低域スペクトルSP-Lのトーン性が高い場合、高域スペクトルSP-Hのトーン性も高いことが多い。これは、管楽器、弦楽器といった楽器類が、基本周波数とその整数倍の高調波成分を組み合わせた音波を発していることから推測することができる。 As shown in FIG. 12A, when the tone characteristics of the low frequency spectrum SP-L are high, the tone characteristics of the high frequency spectrum SP-H are often high. This can be inferred from the fact that musical instruments such as wind instruments and stringed instruments emit sound waves that combine a fundamental frequency and a harmonic component that is an integral multiple of the fundamental frequency.
このようにトーン性の高い低域スペクトルSP-Lと高域スペクトルSP-Hからなるスペクトルが帯域拡張符号化された場合、帯域拡張復号時に、擬似高域スペクトルが低域スペクトルSP-Lを単純に折り返すことにより生成されると、図12Bに示すように、擬似高域スペクトルは、トーン性の高いスペクトルとなる。従って、復号結果に対応する音声は、聴覚的に違和感が少ない音声となる。 When a spectrum consisting of a low-frequency spectrum SP-L and a high-frequency spectrum SP-H with high tone characteristics is band-encoded as described above, the pseudo high-frequency spectrum is simply converted from the low-frequency spectrum SP-L during band expansion decoding. When generated by folding back to, the pseudo high frequency spectrum becomes a spectrum with high tone characteristics as shown in FIG. 12B. Therefore, the sound corresponding to the decoding result is a sound that is less audibly strange.
よって、図6の符号化装置50は、集中度Dが予め設定されている閾値よりも大きい場合、即ち符号化対象の音声の高域成分にトーン性がある場合、ランダムフラグRNDを0にする。これにより、復号装置70では、擬似高域スペクトルの位相がランダム化されないので、復号結果に対応する音声は、聴覚的に違和感が少ない音声となる。
Therefore, the
一方、図13Aおよび図14Aに示すように、低域スペクトルSP-Lのノイズ性が高い場合、高域になるほどよりノイズ性が高くなる。これは、ノイズ性の高い、即ち非トーン性を有する打撃音や衝撃音などの音を発するシンバルやマラカスなどの楽器において、高域の振動ほど楽器内で伝播されるため、高域の音ほど各振動要素の振幅や位相が複雑に絡み合い、ノイズ性が高くなることから推測できる。 On the other hand, as shown in FIGS. 13A and 14A, when the noise characteristic of the low-frequency spectrum SP-L is high, the noise characteristic becomes higher as the frequency becomes higher. This is because, in a musical instrument such as a cymbal or maraca that emits a sound such as a hitting sound or an impact sound having a high noise characteristic, that is, a non-tone characteristic, the higher frequency vibration is propagated in the musical instrument. It can be inferred from the fact that the amplitude and phase of each vibration element are intertwined in a complicated manner and the noise property is increased.
このようにノイズ性の高い低域スペクトルSP-Lと高域スペクトルSP-Hからなるスペクトルが帯域拡張符号化された場合、図13Bに示すように、帯域拡張復号時に低域スペクトルSP-Lを用いて生成される擬似高域スペクトルは、ノイズ性の高いスペクトルとなる。従って、図13Bに示すように擬似高域スペクトルの位相のランダム化が行われなくても、図14Bに示すようにランダム化が行われても、擬似高域スペクトルのノイズ性は高くなり、復号結果に対応する音声は、聴覚的に違和感が少ない音声となる。 When a spectrum composed of the low-frequency spectrum SP-L and the high-frequency spectrum SP-H having high noise characteristics is band-encoded as shown in FIG. 13B, the low-frequency spectrum SP-L is obtained at the time of band expansion decoding as shown in FIG. The pseudo high-frequency spectrum generated by using the spectrum becomes a spectrum with high noise characteristics. Therefore, even if the phase of the pseudo high frequency spectrum is not randomized as shown in FIG. 13B, or the randomization is performed as shown in FIG. The sound corresponding to the result is a sound that is less audibly strange.
しかしながら、シンバルやマラカスなどの楽器のノイズ性の高い音であっても、低域成分には、トーン的な振動成分が含まれている場合がある。また、シンバルやマラカスなどの楽器の音の周波数は主に高域であり、低域成分には別のトーン性の高い音声が含まれている可能性もある。従って、図15Aや図16Aに示すように、高域スペクトルSP-Hのノイズ性が高い場合であっても、低域スペクトルSP-Lのトーン性が高い場合がある。 However, there are cases where a low-frequency component includes a tone-like vibration component even for a noisy sound of a musical instrument such as a cymbal or maraca. Moreover, the frequency of the sound of musical instruments such as cymbals and maracas is mainly in the high range, and there is a possibility that another high tone characteristic sound is included in the low range component. Accordingly, as shown in FIG. 15A and FIG. 16A, even if the noise characteristics of the high frequency spectrum SP-H are high, the tone characteristics of the low frequency spectrum SP-L may be high.
このようなトーン性の高い低域スペクトルSP-Lとノイズ性の高い高域スペクトルSP-Hからなるスペクトルが帯域拡張符号化された場合、図15Bに示すように、帯域拡張復号時に低域スペクトルSP-Lを用いて生成される擬似高域スペクトルには、トーン性成分が含まれている可能性がある。従って、図15Bに示すように擬似高域スペクトルの位相がランダム化されないと、復号結果に対応する高域の音声が、本来のノイズ性を有さず、低域の音声と同様にトーン性を有することになり、聴覚的に違和感が多い音声となる。 When a spectrum composed of such a low-frequency spectrum SP-L having a high tone characteristic and a high-frequency spectrum SP-H having a high noise characteristic is subjected to band extension coding, as shown in FIG. The pseudo high frequency spectrum generated using SP-L may include a tone component. Therefore, as shown in FIG. 15B, if the phase of the pseudo high frequency spectrum is not randomized, the high frequency sound corresponding to the decoding result does not have the original noise characteristic, and the tone characteristic is the same as the low frequency sound. As a result, the sound is audibly uncomfortable.
これに対して、擬似高域スペクトルの位相がランダム化されると、元の擬似高域スペクトルにトーン性成分が含まれている場合であっても、図16Bに示すように、ランダム化後の擬似高域スペクトルはノイズ性を有する。従って、復号結果に対応する音声は、聴覚的に違和感が少ない音声となる。 On the other hand, when the phase of the pseudo high frequency spectrum is randomized, even after the original pseudo high frequency spectrum includes a tone component, as shown in FIG. The pseudo high frequency spectrum has noise characteristics. Therefore, the sound corresponding to the decoding result is a sound that is less audibly strange.
以上のように、高域スペクトルSP-Hがノイズ性を有する場合、低域スペクトルSP-Lもノイズ性を有する場合には、ランダム化は行われても行われなくてもよいが、低域スペクトルSP-Lがトーン性を有する場合には、ランダム化を行う必要がある。従って、高域スペクトルSP-Hがノイズ性を有する場合、常にランダム化が行われるようにすることで、集中度Dに基づいて聴覚的に違和感の少ない復号結果が得られるようにすることができる。 As described above, when the high frequency spectrum SP-H has noise characteristics, when the low frequency spectrum SP-L also has noise characteristics, randomization may or may not be performed. When the spectrum SP-L has tone characteristics, it is necessary to perform randomization. Therefore, when the high-frequency spectrum SP-H has noise characteristics, it is possible to obtain a decoding result with a little uncomfortable feeling based on the degree of concentration D by always performing randomization. .
よって、図6の符号化装置50は、集中度Dが予め設定されている閾値以下である場合、即ち符号化対象の音声の高域成分にノイズ性がある場合、ランダムフラグRNDを1にする。これにより、復号装置70では、擬似高域スペクトルの位相がランダム化されるので、復号結果に対応する音声は、聴覚的に違和感が少ない音声となる。
Therefore, the
なお、低域でノイズ性が高く、高域でトーン性が高い音声は自然界にほとんど存在しないため、ノイズ性の高い低域スペクトルSP-Lとトーン性の高い高域スペクトルSP-Hからなるスペクトルについては考慮しない。 Note that since there is almost no sound in the natural world with high noise characteristics at low frequencies and high tone characteristics, there is a spectrum consisting of a low frequency spectrum SP-L with high noise characteristics and a high frequency spectrum SP-H with high tone characteristics. Is not considered.
[復号装置の処理の説明]
図17は、図9の復号装置70による復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置50により符号化されたビットストリームが復号装置70に入力されたとき開始される。
[Description of Decoding Device Processing]
FIG. 17 is a flowchart for explaining the decoding process by the
図17のステップS71において、分解化部71は、符号化装置50により符号化されたビットストリームを取得し、そのビットストリームをランダムフラグRND、低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hに分解する。分解化部71は、ランダムフラグRND、低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hを逆量子化部72に供給する。
In step S71 of FIG. 17, the decomposing
ステップS72において、逆量子化部72は、分解化部71から供給される低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hそれぞれに対して逆量子化を行う。逆量子化部72は、逆量子化された低域エンベロープENV-Lを逆MDCT部75に供給し、低域スペクトルSP-Lを逆MDCT部75と高域成分生成部73に供給する。また、逆量子化部72は、高域エンベロープENV-Hを高域成分生成部73に供給し、逆量子化部72は、ランダムフラグRNDを位相ランダム部74に供給する。
In step S72, the
ステップS73において、高域成分生成部73は、逆量子化部72から供給される低域スペクトルSP-Lと高域エンベロープENV-Hを用いて擬似高域スペクトルを生成する。高域成分生成部73は、生成された擬似高域スペクトルを位相ランダム部74に供給する。
In step S73, the high frequency
ステップS74において、位相ランダム部74は、逆量子化部72から供給されるランダムフラグRNDが1であるかどうかを判定する。ステップS74でランダムフラグRNDが1であると判定された場合、ステップS75において、位相ランダム部74は、上述した式(2)により、高域成分生成部73から供給される擬似高域スペクトルの位相をランダム化する。そして、位相ランダム部74は、位相がランダム化された擬似高域スペクトルを逆MDCT部75に供給し、処理をステップS76に進める。
In
一方、ステップS74でランダムフラグRNDが1ではない、即ちランダムフラグRNDが0であると判定された場合、位相ランダム部74は、擬似高域スペクトルの位相をランダム化せず、そのまま逆MDCT部75に供給する。そして、処理はステップS76に進む。
On the other hand, when it is determined in step S74 that the random flag RND is not 1, that is, the random flag RND is 0, the phase
ステップS76において、逆MDCT部75は、逆量子化部32から供給される低域エンベロープENV-Lを用いて、低域スペクトルSP-Lを逆正規化する。
In step S76, the
ステップS77において、逆MDCT部75は、逆正規化された低域スペクトルSP-Lと位相ランダム部74から供給される擬似高域スペクトルを合成し、その結果得られる全帯域のスペクトルに対して逆MDCTを行い、全帯域のPCM信号を得る。そして、逆MDCT部75は、その全帯域のPCM信号を復号結果として出力し、処理を終了する。
In step S77, the
以上のように、復号装置70は、逆MDCT前の低域スペクトルSP-Lを用いて擬似高域スペクトルを生成し、高域スペクトルSP-Hの集中度に基づいて決定されたランダムフラグRNDにしたがって擬似高域スペクトルをランダム化することにより、符号化対象の音声のスペクトルの高域成分を復元する。
As described above, the
これにより、低域スペクトルSP-Lを用いて、高域スペクトルSP-Hに比較的合致するスペクトルを、符号化対象の音声のスペクトルの高域成分として復元することができる。従って、低域スペクトルSP-Lを用いて符号化対象の音声のスペクトルの高域成分を復元することにより、低域スペクトルSP-Lの復号処理と帯域拡張処理を同時に行うことができ、帯域拡張による遅延時間を削減することができる。その結果、篭らず、きらびやかで聞き心地の良い全帯域の音声のPCM信号が、復号結果として、帯域拡張処理を行わない復号装置の場合と略同一の時間経過後に出力される。 Thereby, using the low-frequency spectrum SP-L, a spectrum that relatively matches the high-frequency spectrum SP-H can be restored as a high-frequency component of the spectrum of the speech to be encoded. Therefore, by restoring the high-frequency component of the speech spectrum to be encoded using the low-frequency spectrum SP-L, the low-frequency spectrum SP-L can be decoded and expanded at the same time. The delay time due to can be reduced. As a result, the PCM signal of the full-band voice that is not harsh, brilliant, and comfortable to listen to is output as a decoding result after almost the same time as in the case of the decoding device that does not perform the band expansion process.
また、復号装置70は、低域スペクトルSP-Lを用いて生成された擬似高域スペクトルの位相をランダム化することにより、ノイズ性を有する擬似高域スペクトルを生成するので、ただ単にランダムなスペクトルを擬似高域スペクトルとして生成する場合に比べて、より高域スペクトルSP-Hに合致した擬似高域スペクトルを生成することができる。
Also, the
さらに、復号装置70は、逆MDCT前にスペクトルの低域成分と高域成分を生成するので、帯域拡張処理のために、図3の復号装置30のように帯域分割フィルタ41および帯域合成フィルタ43を備える必要がない。従って、図3の復号装置30に比べて、帯域拡張処理のための処理量、回路規模、コードサイズなどのリソースを削減することができる。
Furthermore, since the
<第2実施の形態>
[復号装置の第2実施の形態の構成例]
図18は、本発明を適用した復号装置の第2実施の形態の構成例を示すブロック図である。
<Second Embodiment>
[Configuration Example of Decoding Device in Second Embodiment]
FIG. 18 is a block diagram illustrating a configuration example of the second embodiment of the decoding device to which the present invention has been applied.
図18に示す構成のうち、図3や図9の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。 Among the configurations shown in FIG. 18, the same reference numerals are given to the same configurations as the configurations in FIG. 3 and FIG. 9. The overlapping description will be omitted as appropriate.
図18の復号装置100の構成は、主に、分解化部71、逆量子化部72の代わりに、分解化部31、逆量子化部32が設けられている点、および、新たに決定部101が設けられている点が、図9の復号装置70の構成と異なる。復号装置100は、図1の符号化装置10により符号化されたビットストリームに含まれる低域スペクトルSP-Lに基づいてランダムフラグRNDを決定する。
The configuration of the
具体的には、決定部101は、逆量子化部32により逆量子化された低域スペクトルSP-Lに基づいて、例えば、以下の式(3)により、低域スペクトルSP-Lの集中度D´を決定する。
Specifically, the
D´=max(SP-L)/ave(SP-L) ・・・(3) D '= max (SP-L) / ave (SP-L) (3)
なお、式(3)において、max(SP-L)は、低域スペクトルSP-Lの最大値を表し、ave(SP-L)は、低域スペクトルSP-Lの平均値を表す。 In Expression (3), max (SP-L) represents the maximum value of the low-frequency spectrum SP-L, and ave (SP-L) represents the average value of the low-frequency spectrum SP-L.
式(3)によれば、符号化対象の音声の低域成分のトーン性が高く、低域スペクトルSP-Lの分布に大きな偏りがある場合、集中度D´は大きくなり、符号化対象の音声の低域成分のノイズ性が高く、低域スペクトルSP-Lの分布が平坦である場合、集中度D´は小さくなる。 According to the equation (3), when the tone characteristic of the low frequency component of the speech to be encoded is high and the distribution of the low frequency spectrum SP-L is greatly biased, the degree of concentration D ′ becomes large and the encoding target When the noise property of the low frequency component of the voice is high and the distribution of the low frequency spectrum SP-L is flat, the concentration degree D ′ is small.
決定部101は、集中度D´に基づいてランダムフラグRNDを決定する。具体的には、集中度Dが、復号装置100に予め設定されている閾値よりも大きい場合、即ち低域スペクトルSP-Lのトーン性が高い場合、決定部101は、ランダムフラグRNDを0に決定する。一方、集中度D´が予め設定されている閾値以下である場合、即ち低域スペクトルSP-Lのノイズ性が高い場合、決定部101は、ランダムフラグRNDを1に決定する。そして、決定部101は、決定されたランダムフラグRNDを位相ランダム部74に供給する。これにより、低域スペクトルSP-Lのトーン性が高い場合、擬似高域スペクトルの位相がランダム化されず、低域スペクトルSP-Lのノイズ性が高い場合、擬似高域スペクトルの位相がランダム化される。その結果、復号結果に対応する音声は、聴覚的に充分な音質の音声となる。
The
[復号装置の処理の説明]
図19は、図18の復号装置100による復号処理を説明するフローチャートである。この復号処理は、例えば、図1の符号化装置10により符号化されたビットストリームが復号装置100に入力されたとき開始される。
[Description of Decoding Device Processing]
FIG. 19 is a flowchart illustrating a decoding process performed by the
図19のステップS91において、分解化部31は、符号化装置10により符号化されたビットストリームを低域エンベロープENV-L、低域スペクトルSP-L、および高域エンベロープENV-Hに分解し、逆量子化部32に供給する。
In step S91 of FIG. 19, the decomposing
ステップS92およびS93の処理は、図17のステップS72およびS73の処理と同様であるので、説明は省略する。 The processing in steps S92 and S93 is the same as the processing in steps S72 and S73 in FIG.
ステップS93の処理後、ステップS94において、決定部101は、逆量子化部32により逆量子化された低域スペクトルSP-Lに基づいて、上述した式(3)により、低域スペクトルSP-Lの集中度D´を決定する。
After the process of step S93, in step S94, the
ステップS95において、決定部101は、集中度D´に基づいて、ランダムフラグRNDを決定する。そして、決定部101は、そのランダムフラグRNDを位相ランダム部74に供給し、処理をステップS96に進める。
In step S95, the
ステップS96乃至S99の処理は、図17のステップS74乃至S77の処理と同様であるので、説明は省略する。 The processing in steps S96 to S99 is the same as the processing in steps S74 to S77 in FIG.
<第3実施の形態>
[本発明を適用したコンピュータの説明]
次に、上述した一連の符号化処理および復号処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の符号化処理および復号処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
<Third Embodiment>
[Description of Computer to which the Present Invention is Applied]
Next, the above-described series of encoding processing and decoding processing can be performed by hardware or can be performed by software. When a series of encoding processing and decoding processing is performed by software, a program constituting the software is installed in a general-purpose computer or the like.
そこで、図20は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。 Therefore, FIG. 20 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部208やROM(Read Only Memory)202に予め記録しておくことができる。
The program can be recorded in advance in a
あるいはまた、プログラムは、リムーバブルメディア211に格納(記録)しておくことができる。このようなリムーバブルメディア211は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア211としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
Alternatively, the program can be stored (recorded) in the
なお、プログラムは、上述したようなリムーバブルメディア211からドライブ210を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部208にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
The program can be installed on the computer from the
コンピュータは、CPU(Central Processing Unit)201を内蔵しており、CPU201には、バス204を介して、入出力インタフェース205が接続されている。
The computer includes a CPU (Central Processing Unit) 201, and an input /
CPU201は、入出力インタフェース205を介して、ユーザによって、入力部206が操作等されることにより指令が入力されると、それに従って、ROM202に格納されているプログラムを実行する。あるいは、CPU201は、記憶部208に格納されたプログラムを、RAM(Random Access Memory)203にロードして実行する。
When a command is input by the user operating the
これにより、CPU201は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU201は、その処理結果を、必要に応じて、例えば、入出力インタフェース205を介して、出力部207から出力、あるいは、通信部209から送信、さらには、記憶部208に記録等させる。
Thereby, the
なお、入力部206は、キーボードや、マウス、マイク等で構成される。また、出力部207は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
The
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。 Here, in the present specification, the processing performed by the computer according to the program does not necessarily have to be performed in time series in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。 Further, the program may be processed by one computer (processor) or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
50 符号化装置, 52 多重化部, 61 決定部, 62 抽出部, 63 正規化部, 70 復号装置, 71 分解化部, 73 高域成分生成部, 74 位相ランダム部, 75 逆MDCT部, 100 復号装置, 101 分解化部, 101 決定部 50 encoding device, 52 multiplexing unit, 61 determining unit, 62 extracting unit, 63 normalizing unit, 70 decoding device, 71 decomposing unit, 73 high frequency component generating unit, 74 phase random unit, 75 inverse MDCT unit, 100 Decoding device, 101 decomposing unit, 101 determining unit
Claims (5)
前記音声信号のスペクトルから、前記高域のスペクトルのエンベロープを抽出する抽出手段と、
前記決定手段により決定された前記集中度の情報、前記抽出手段により抽出された前記高域のスペクトルのエンベロープ、および低域のスペクトルを多重化して、符号化結果とする多重化手段と
を備える符号化装置。 Determining means for determining concentration information representing a bias in the distribution of the high-frequency spectrum based on the high-frequency spectrum of the audio signal;
Extraction means for extracting an envelope of the high-frequency spectrum from the spectrum of the audio signal;
A multiplexing unit that multiplexes the information on the degree of concentration determined by the determination unit, the envelope of the high-frequency spectrum extracted by the extraction unit, and the low-frequency spectrum to obtain a coding result. Device.
前記多重化手段は、前記ランダムフラグ、前記高域のスペクトルのエンベロープ、および前記低域のスペクトルを多重化して、前記符号化結果とする
請求項1に記載の符号化装置。 When the degree of concentration is greater than a predetermined threshold, the determining means generates a predetermined spectrum as the high-frequency spectrum when a decoding device that decodes the encoding result generates the spectrum based on the concentration level. A random flag that is information on the degree of concentration indicating whether or not to randomize is determined as information indicating that the concentration is not randomized, and if the degree of concentration is equal to or less than the predetermined threshold, the random flag is randomized To the information that represents
The encoding apparatus according to claim 1, wherein the multiplexing unit multiplexes the random flag, the envelope of the high frequency spectrum, and the low frequency spectrum to obtain the encoding result.
をさらに備え、
前記抽出手段は、前記音声信号のスペクトルから、前記低域のスペクトルのエンベロープを抽出し、
前記多重化手段は、前記集中度の情報、前記高域のスペクトルのエンベロープ、前記低域のスペクトルのエンベロープ、および前記正規化手段により正規化された前記低域のスペクトルを多重化して、前記符号化結果とする
請求項1に記載の符号化装置。 Normalization means for normalizing the low-frequency spectrum using an envelope of the low-frequency spectrum;
The extraction means extracts an envelope of the low-frequency spectrum from the spectrum of the audio signal,
The multiplexing means multiplexes the information on the degree of concentration, the envelope of the high-frequency spectrum, the envelope of the low-frequency spectrum, and the low-frequency spectrum normalized by the normalizing means , and The encoding device according to claim 1, wherein the encoding result is obtained.
音声信号の高域のスペクトルに基づいて、前記高域のスペクトルの分布の偏りを表す集中度の情報を決定する決定ステップと、
前記音声信号のスペクトルから、前記高域のスペクトルのエンベロープを抽出する抽出ステップと、
前記決定ステップの処理により決定された前記集中度の情報、前記抽出ステップの処理により抽出された前記高域のスペクトルのエンベロープ、および低域のスペクトルを多重化して、符号化結果とする多重化ステップと
含む符号化方法。 The encoding device
A determination step for determining concentration information representing a bias of distribution of the high-frequency spectrum based on a high-frequency spectrum of the audio signal;
An extraction step of extracting an envelope of the high-frequency spectrum from the spectrum of the audio signal;
Multiplexing step of multiplexing the information on the degree of concentration determined by the processing of the determining step, the envelope of the high frequency spectrum extracted by the processing of the extracting step, and the low frequency spectrum to obtain an encoding result And an encoding method.
音声信号の高域のスペクトルに基づいて、前記高域のスペクトルの分布の偏りを表す集中度の情報を決定する決定ステップと、
前記音声信号のスペクトルから、前記高域のスペクトルのエンベロープを抽出する抽出ステップと、
前記決定ステップの処理により決定された前記集中度の情報、前記抽出ステップの処理により抽出された前記高域のスペクトルのエンベロープ、および低域のスペクトルを多重化して、符号化結果とする多重化ステップと
を含む処理を実行させるためのプログラム。 On the computer,
A determination step for determining concentration information representing a bias of distribution of the high-frequency spectrum based on a high-frequency spectrum of the audio signal;
An extraction step of extracting an envelope of the high-frequency spectrum from the spectrum of the audio signal;
Multiplexing step of multiplexing the information on the degree of concentration determined by the processing of the determining step, the envelope of the high frequency spectrum extracted by the processing of the extracting step, and the low frequency spectrum to obtain an encoding result A program for executing processing including and.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014160283A JP5892395B2 (en) | 2014-08-06 | 2014-08-06 | Encoding apparatus, encoding method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014160283A JP5892395B2 (en) | 2014-08-06 | 2014-08-06 | Encoding apparatus, encoding method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010080515A Division JP5651980B2 (en) | 2010-03-31 | 2010-03-31 | Decoding device, decoding method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014240974A JP2014240974A (en) | 2014-12-25 |
JP5892395B2 true JP5892395B2 (en) | 2016-03-23 |
Family
ID=52140225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014160283A Active JP5892395B2 (en) | 2014-08-06 | 2014-08-06 | Encoding apparatus, encoding method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5892395B2 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3861770B2 (en) * | 2002-08-21 | 2006-12-20 | ソニー株式会社 | Signal encoding apparatus and method, signal decoding apparatus and method, program, and recording medium |
WO2005104094A1 (en) * | 2004-04-23 | 2005-11-03 | Matsushita Electric Industrial Co., Ltd. | Coding equipment |
US8135047B2 (en) * | 2006-07-31 | 2012-03-13 | Qualcomm Incorporated | Systems and methods for including an identifier with a packet associated with a speech signal |
JP2008058727A (en) * | 2006-08-31 | 2008-03-13 | Toshiba Corp | Speech coding device |
JP2008096567A (en) * | 2006-10-10 | 2008-04-24 | Matsushita Electric Ind Co Ltd | Audio encoding device and audio encoding method, and program |
US8639500B2 (en) * | 2006-11-17 | 2014-01-28 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus with bandwidth extension encoding and/or decoding |
-
2014
- 2014-08-06 JP JP2014160283A patent/JP5892395B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014240974A (en) | 2014-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5651980B2 (en) | Decoding device, decoding method, and program | |
JP6363683B2 (en) | Method and apparatus for high frequency domain encoding and decoding | |
RU2679254C1 (en) | Device and method for audio signal processing to obtain a processed audio signal using a target envelope in a temporal area | |
RU2487426C2 (en) | Apparatus and method for converting audio signal into parametric representation, apparatus and method for modifying parametric representation, apparatus and method for synthensising parametrick representation of audio signal | |
JP6386634B2 (en) | Method and apparatus for encoding and decoding audio signal | |
CN102789784B (en) | Handle method and the equipment of the sound signal with transient event | |
JP4899359B2 (en) | Signal encoding apparatus and method, signal decoding apparatus and method, program, and recording medium | |
AU2002318813B2 (en) | Audio signal decoding device and audio signal encoding device | |
JP5244971B2 (en) | Audio signal synthesizer and audio signal encoder | |
JP5873936B2 (en) | Phase coherence control for harmonic signals in perceptual audio codecs | |
JP2011059714A (en) | Signal encoding device and method, signal decoding device and method, and program and recording medium | |
JP2008530607A (en) | Speech synthesis method | |
JP4736812B2 (en) | Signal encoding apparatus and method, signal decoding apparatus and method, program, and recording medium | |
WO2016021412A1 (en) | Coding device and method, decoding device and method, and program | |
JP2003108197A (en) | Audio signal decoding device and audio signal encoding device | |
JP5892395B2 (en) | Encoding apparatus, encoding method, and program | |
JP5569476B2 (en) | Signal encoding apparatus and method, signal decoding apparatus and method, program, and recording medium | |
Herre | Bandwidth Extension |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150721 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160210 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5892395 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |