JP5266341B2 - オーディオ信号処理方法及び装置 - Google Patents

Description

本発明は、様々な種類のオーディオ信号を効果的に符号化及び復号化することができるオーディオ信号処理方法及び装置に関するものである。

従来のオーディオコーディング技術は、知覚的オーディオコーダ（Perceptual audio coder）と線形予測ベースコーダ（Linear Prediction based coder）の２種類に分類することができる。例えば、音楽（music）に最適化された知覚的オーディオコーダ（Perceptual audio coder）は、周波数軸において、人間聴覚の心理音響理論（human aural psychoacoustic theory）であるマスキング（masking）原理を用いて符号化過程において情報量を減らす方式である。一方、例えば、音声（speech）に最適化された線形予測ベースコーダ（Linear Prediction based coder）は、時間軸において音声発声をモデリングして情報量を減らす方式である。

しかしながら、これらの技術は、それぞれ最適化されたオーディオ信号（例えば、音声または音楽信号）については良い性能を示すが、異なる種類のオーディオ信号、あるいは音声と音楽信号とが複雑に混合されたオーディオ信号については一貫した性能を示さないという問題点があった。

従って、本発明は、関連技術の制限および不利点に伴う１つ以上の問題を実質的に取り除くためのオーディオ信号を処理する装置とその方法に関する。

本発明の目的は、オーディオ信号を処理するための装置とその方法を提供することであり、これにより、様々な種類のオーディオ信号を、より高い効率で、圧縮及び／又は復元することができる。

本発明のその他の目的は、オーディオ信号の特性に好適なオーディオコーディング方法を提供することである。

当然のことであるが、前記の一般的な記載と以下の詳細な説明の両方は、典型例、及び説明であり、請求項に記載される本発明の更なる説明を提供することを目的としている。

本発明の更なる理解を提供するために添付され、組み込まれ、及び本明細書の一部を構成する図面は、本発明の実施例を説明し、明細書と共に、本発明の原理を説明する。

本発明の好ましい一実施例によるオーディオ符号化装置を示すブロック図である。 本発明の一実施例によるオーディオタイプ情報を用いたオーディオ信号の符号化方法を示すフローチャートである。 本発明によって符号化されたオーディオビットストリーム構造の一例を示す図である。 本発明の一実施例による心理音響モデル（psychoacoustic model）を用いたオーディオ符号化装置を示すブロック図である。 本発明の他の実施例による心理音響モデル（psychoacoustic model）を用いたオーディオ符号化装置を示すブロック図である。 本発明の他の実施例による心理音響モデル部を用いたノイズシェーピング基準の変化を示すグラフである。 本発明の他の実施例による心理音響モデルを用いたノイズシェーピング基準生成方法を示すフローチャートである。 本発明の一実施例によるオーディオ復号化装置を示すブロック図である。 本発明の実施例によるオーディオ復号化装置が具現された製品の構成例を示す図である。 本発明の実施例によるオーディオ復号化装置が具現された製品間の関係を示す図である。 本発明の一実施例によるオーディオ復号化方法を示すフローチャートである。

以下、添付の図面を参照しつつ、本発明の好適な実施例について詳細に説明する。

本発明における用語は、以下の参照のように解釈することができる。例えば、「コーディング（coding）」は、場合によって、エンコーディングまたはデコーディングと解釈することができ、情報（information）は、値（values）、パラメータ（parameter）、係数（coefficients）、成分（elements）などのいずれをも含む用語とする。

なお、本発明において、「オーディオ信号（audio signal）」とは、ビデオ信号（video signal）と区別される概念であり、再生時に聴覚で識別しうる全ての信号を指す。したがって、オーディオ信号は、例えば、人間の発音を中心とする音声（speech）信号またはこれに類似する信号（以下、「音声（speech）信号」と称する。）と、機械音及び音を中心とする音楽（music）信号またはこれに類似する信号（以下、「音楽（music）信号」と称する。）、及び音声信号及び音楽信号が混合された「混合（mixed）信号」と、に分類することができる。本発明は、例えば、３種類に分類されるオーディオ信号を、各信号の特性に合わせて符号化及び復号化する方法及び装置を提供する。ただし、このオーディオ信号の分類は、本発明の説明のために分類した基準に過ぎず、オーディオ信号を他の方法により分類する場合にも、本発明の技術的思想を同一に適用できることは明らかである。

図１は、本発明の好ましい一実施例によるオーディオ符号化装置を示すブロック図である。詳しくは、図１は、入力されるオーディオ信号を既に設定された基準によって分類し、この分類された各オーディオ信号に好適なオーディオ符号化方式を選択して符号化する過程を示す図である。

図１を参照すると、入力されるオーディオ信号の特性を分析して、音声信号、音楽信号、または音声と音楽との混合信号のいずれか一類型に分類する信号分類部（signal classifying unit）（または、サウンドアクティビティ検出器（Sound Activity Detector））１００と、信号分類部１００で決定された信号類型のうち、音声信号を符号化する線形予測モデリング部１１０と、音楽信号を符号化する心理音響モデル部１２０と、音声と音楽との混合信号を符号化する混合信号モデリング部１３０と、を含む。また、信号分類部１００によってオーディオ信号が分類されると、それに好適な符号化方式を選択するためのスイッチング部１０１をさらに含むことができる。スイッチング部１０１は、信号分類部１００により生成されるオーディオ信号コーディングタイプ情報（例えば、第１タイプ情報及び第２タイプ情報、これについては図２及び図３に基づいて詳細に後述する。）を制御信号として動作される。また、混合信号モデリング部１３０は、線形予測部１３１、残余信号抽出部１３２、周波数変換部１３３を含むことができる。以下、図１の各部分について詳細に説明する。

まず、信号分類部１００は、入力オーディオ信号のタイプを分類し、それに好適なオーディオ符号化方式を選択するための制御信号を生成する。例えば、信号分類部１００は、入力オーディオ信号が、音楽信号なのか、音声信号なのか、または音声及び音楽の両信号が混合された混合信号（mixed）なのか、を分類する。すなわち、このように、入力されるオーディオ信号のタイプを分類する理由は、オーディオ信号タイプ別後述するオーディオ符号化方式から、最適のコーディング方式を選択することにある。結局として、信号分類部１００は、入力オーディオ信号を分析してそれに好適な最適のオーディオコーディング方式を選択する過程に用いられる。例えば、信号分類部１００は、入力オーディオ信号を分析してオーディオコーディングタイプ情報を生成し、この生成されたオーディオコーディングタイプ情報は、符号化方式を選択する基準として用いられる他、最終符号化されるオーディオ信号中にビットストリームの形態で含まれて復号化装置または受信装置に転送される。このオーディオコーディングタイプ情報を用いた復号化方法及び装置は、図８及び図１１で詳細に後述される。また、信号分類部１００により生成されるオーディオコーディングタイプ情報は、例えば、第１タイプ情報及び第２タイプ情報を含むことができる。これについては、図２及び図３で後述する。

信号分類部１００は、入力オーディオ信号の特性によってオーディオ信号タイプを決定する。例えば、入力オーディオ信号が特定係数と残余（residual）信号でよくモデリングされる信号である場合は、それを音声信号と判断し、一方、信号が特定係数と残余信号でよくモデリングされない信号である場合は、それを音楽信号と判断する。また、音声信号及び音楽信号のいずれか一つと判断し難い場合には、混合信号と判断することができる。具体的な判断基準は、例えば、信号を特定係数及び残余信号でモデリングした時、この信号のエネルギーレベルに対する残余信号のエネルギーレベル比が、既に設定された基準値よりも小さい場合、この信号を、よくモデリングされる信号と判断することができ、よって、音声信号と判断することができる。または、信号が時間軸上で高い冗長性を持つ場合、この信号は、過去信号から現在信号を予測する線形予測によりよくモデリングされる信号と判断でき、よって、音楽信号と判断することができる。

このような基準により、入力される信号が音声信号と分類された場合、音声信号に最適化されている音声符号化器を用いて入力信号を符号化することができ、本実施例では、音声信号に好適な符号化方式として線形予測モデリング部１１０を使用する。線形予測モデリング部１１０は、様々な方式が存在し、例えば、ＡＣＥＬＰ（Algebraic Code Excited Linear Prediction）コーディング方式またはＡＭＲ（Adaptive Multi-Rate）コーディング及びＡＭＲ−ＷＢ（Adaptive Multi-Rate Wideband）コーディング方式を適用することができる。

なお、線形予測モデリング部１１０は、入力オーディオ信号をフレーム単位で線形予測符号化することができ、一つのフレームごとに予測（prediction）係数をそれぞれ抽出して量子化することができる。例えば、一般に、「レビンソン−ダービン（Levinson-Durbin）アルゴリズム」を用いて予測係数を抽出する方式が広く用いられている。

すなわち、例えば、入力オーディオ信号が、複数のフレーム（frame）で構成されているか、または、複数のフレームを一つの単位とするスーパーフレーム（super frame）が複数存在する場合、それぞれのフレーム別に線形予測モデリング方式を適用するか否かを決定することができる。また、一つのスーパーフレーム内に存在する単位フレームごとにまたは単位フレームのサブフレームごとに、それぞれ異なる線形予測モデリング方式を適用することも可能であり、これにより、オーディオ信号のコーディング効率を高めることができる。

一方、信号分類部１００により入力オーディオ信号が音楽信号に分類される場合には、音楽信号に最適化されている音楽符号化器を用いて入力信号を符号化することができ、本実施例では、音楽信号に好適な符号化方式として心理音響モデル部１２０を使用する。本発明に適用される心理音響モデル部１２０の一例については、図４〜図７を参照して詳細に後述する。

一方、信号分類部１００により入力オーディオ信号が音声と音楽との混合信号に分類される場合には、混合信号に最適化されている符号化器を用いて入力信号を符号化することができ、本実施例では、混合信号に好適な符号化方式として混合信号モデリング部１３０を使用する。

混合信号モデリング部１３０は、前述の線形予測モデリング方式及び心理音響モデリング方式を変形した混合方式でコーディングすることが可能である。すなわち、混合信号モデリング部１３０は、入力信号を線形予測コーディングし、線形予測結果の信号と原始信号との差である残余信号を取得し、そして、この残余信号を周波数変換コーディング方式によってコーディングする。

例えば、図１は、混合信号モデリング部１３０が、線形予測部１３１、残余信号抽出部１３２及び周波数変換部１３３を含んでなる一例を示す図である。

ここで、線形予測部１３１は、入力される信号を線形予測分析して、当該信号の特性を表す線形予測係数を抽出し、この抽出された線形予測係数を用いて、残余信号抽出部１３２で入力信号から冗長成分の除去された残余信号を抽出する。この残余信号は冗長性が除去されたため、白色雑音のような形態を有することができる。また、線形予測部１３１は、入力オーディオ信号をフレーム単位で線形予測符号化することができ、一つのフレームごとに予測（prediction）係数をそれぞれ抽出して量子化することができる。すなわち、例えば、入力オーディオ信号が、複数のフレーム（frame）で構成されているか、または、複数のフレームを一つの単位とするスーパーフレーム（super frame）が複数存在する場合、それぞれのフレーム別に線形予測モデリング方式を適用するか否かを決定することができる。また、一つのスーパーフレーム内に存在する単位フレームごとにまたは単位フレームのサブフレームごとに、それぞれ異なる線形予測モデリング方式を適用することも可能であり、これにより、オーディオ信号のコーディング効率を高めることができる。

残余信号抽出部１３２は、線形予測部１３１でコーディングされた残りの信号の入力と、信号分類部１００を通過した原始オーディオ信号の入力とを受信して、両信号の差分信号である残余（Residual）信号を抽出する。

周波数変換部１３３は、入力される残余信号をＭＤＣＴのような方法で周波数ドメイン変換して、残余信号のマスキングしきい値または信号対マスク比（SMR: Signal-to-Mask Ratio）を計算することで、残余信号をコーディングする。周波数変換部１３３は、心理音響モデリング方法の他に、ＴＣＸを用いて残余オーディオ性質の信号をコーディングすることも可能である。

ここで、線形予測モデリング部１１０及び線形予測部１３１で入力オーディオ信号を線形予測分析して、オーディオ特性の反映された線形予測係数（LPC：Linear prediction coefficient）を抽出し、よって、ＬＰＣデータを転送する方法において可変的なビットを利用する方式を考慮することができる。

例えば、各フレーム別コーディング方式を考慮してＬＰＣデータモードを決定し、決定されたＬＰＣデータモード別に可変的なビット数を持つ線形予測係数を割り当てることが可能である。こうすると、全体的なオーディオビット数を減らすことができ、より効率的なオーディオ符号化及び復号化が可能になる。

一方、信号分類部１００は、上述のように、オーディオ信号のコーディングタイプ情報を２つのタイプ情報に分類して生成し、これをビットストリーム内に含めて復号化装置に転送する。以下、本発明によるオーディオコーディングタイプ情報について、図２及び図３を参照して詳細に説明する。

図２は、本発明の好ましい一実施例によるオーディオ信号のコーディングタイプ情報を用いたオーディオ信号の符号化方法を示すフローチャートである。

本発明は、オーディオ信号のタイプを表現する方法として、第１タイプ情報と第２タイプ情報とに区別する方法を提案する。すなわち、例えば、信号分類部１００は、入力オーディオ信号が音楽信号と判断されると（Ｓ１００）、それに好適な符号化方式（例えば、図２の心理音響モデリング方式）を選択するようにスイッチング部１０１を制御して、選択された符号化方式によって符号化が行われるようにする（Ｓ１１０）。以降、該当の制御情報を第１タイプ情報として構成して、符号化されたオーディオビットストリーム内に含めて転送する。従って、この第１タイプ情報は、オーディオ信号のコーディングタイプが音楽信号コーディングタイプである旨を表すコーディング識別情報の役目を兼ねることとなり、これは、復号化方法及び装置でオーディオ信号を復号化する時に用いられる。

また、信号分類部１００は、もし、入力オーディオ信号が音声信号と判断されると（Ｓ１２０）、それに好適な符号化方式（例えば、図２の線形予測モデリング方式）を選択するようにスイッチング部１０１を制御して、選択された符号化方式によって符号化が行われるようにする（Ｓ１３０）。また、信号分類部１００は、もし、入力オーディオ信号が混合信号と判断されると（Ｓ１２０）、それに好適な符号化方式（例えば、図２の混合信号モデリング方式）を選択するようにスイッチング部１０１を制御して、選択された符号化方式によって符号化が行われるようにする（Ｓ１４０）。以降、音声信号コーディングタイプまたは混合信号コーディングタイプのいずれかを表す制御情報を第２タイプ情報として構成して、第１タイプ情報と一緒に符号化されたオーディオビットストリーム中に含めて転送する。従って、第２タイプ情報は、オーディオ信号のコーディングタイプが音声信号コーディングタイプまたは混合信号コーディングタイプのいずれかを表すコーディング識別情報の役目を兼ねることとなり、これは、復号化方法及び装置で前述の第１タイプ情報と一緒に、オーディオ信号を復号化する時に用いられる。

なお、第１タイプ情報と第２タイプ情報は、入力オーディオ信号の特性によって、第１タイプ情報のみ転送される場合、第１タイプ情報と第２タイプ情報の両方が転送される場合の２種類に区別される。すなわち、例えば、入力オーディオ信号コーディングタイプが音楽信号コーディングタイプであれば、第１タイプ情報のみをビットストリームに含めて転送し、第２タイプ情報はビットストリームに含めなくて済む（図３の（ａ））。すなわち、第２タイプ情報は、入力オーディオ信号コーディングタイプが音声信号コーディングタイプであるか、または、混合信号コーディングタイプに該当する場合にのみビットストリームに含まれ、結果として、オーディオ信号のコーディングタイプを表現するのに余分のビット数が使われることを防止することができる。

ここでは、一例として、第１タイプ情報が、音楽信号コーディングタイプか否かを指示するとして説明したが、これに限定されず、第１タイプ情報を、音声信号コーディングタイプまたは混合信号コーディングタイプを指示する情報とすることもできることは明らかである。すなわち、本発明の適用されるコーディング環境によって、確率的に発生頻度の高いオーディオコーディングタイプを第１タイプ情報とすることによって、全体的なビットストリームのビット数を減らす効果を得ることができる。

図３は、本発明によって符号化されたオーディオビットストリーム構造の一例を示す図である。

例えば、図３の（ａ）は、入力オーディオ信号が音楽信号に該当する場合を示すもので、ビットストリーム内には、第１タイプ情報３０１のみを含み、第２タイプ情報は含まれない。また、ビットストリーム内には、第１タイプ情報３０１に該当するコーディングタイプでコーディングされたオーディオデータを含む（例えば、ＡＡＣビットストリーム３０２）。

また、図３の（ｂ）は、入力オーディオ信号が音声信号に該当する場合を示すもので、ビットストリーム内には、第１タイプ情報３１１及び第２タイプ情報３１２を含む。また、ビットストリーム内には、第２タイプ情報３１２に該当するコーディングタイプでコーディングされたオーディオデータを含む（例えば、ＡＭＲビットストリーム３１３）。

また、図３の（ｃ）は、入力オーディオ信号が混合信号に該当する場合を示すもので、ビットストリーム内には、第１タイプ情報３２１及び第２タイプ情報３２２を含む。また、ビットストリーム内には、第２タイプ情報３２２に該当するコーディングタイプでコーディングされたオーディオデータを含む（例えば、ＴＸＣの適用されたＡＡＣビットストリーム３１３）。

図３の（ａ）〜（ｃ）は、本発明により符号化されるオーディオビットストリーム内に含まれる情報の一例を表示したものに過ぎず、本発明の範囲内で様々な応用が可能であるということは自明である。例えば、本発明では、ＡＭＲ及びＡＡＣをコーディング方式の例とし、これらを識別する情報を追加したが、これに限定されず、様々なコーディング方式を適用可能であることは勿論、それらを識別する様々なコーディング識別情報を用いることもできる。また、図３の（ａ）〜（ｃ）は、一つのスーパーフレーム、単位フレームまたはサブフレームの何れにも適用可能な方式である。すなわち、既に設定されたフレーム単位別にオーディオ信号コーディングタイプ情報を提供することが可能である。

一方、図１に示す、線形予測モデリング部１１０、心理音響モデル部１２０、混合信号モデリング部１３０を用いた入力信号符号化処理の前処理過程として、周波数帯域拡張処理を行うこともできる（図示せず）。周波数帯域拡張処理の一実施例として、帯域幅拡張デコーディング部で低周波成分を用いて高周波成分を生成するスペクトル帯域複製（Spectral Band Replication：ＳＢＲ）と高帯域拡張（High Band Extension：ＨＢＥ）を用いることができる。

一方、線形予測モデリング部１１０、心理音響モデル部１２０、混合信号モデリング部１３０を用いた入力信号の符号化処理の前処理過程として、チャネル拡張処理を行うこともできる（図示せず）。このチャネル拡張処理は、オーディオ信号のチャネル情報を付加情報で符号化して、ビット割当量を減少させる。このチャネル拡張処理の一実施例として、パラメトリックステレオ（Parametric Stereo：ＰＳ）のようなチャネル拡張エンコーディング部を挙げることができる。ＰＳは、ステレオ信号をコーディングする技術で、ステレオ信号をモノ信号にダウンミックスさせる。

一実施例として、４８ｋＨｚステレオ信号をＳＢＲとＰＳを用いて転送すると、ＳＢＲ／ＰＳを通過した後、２４ｋＨｚ、モノ信号が残り、これは再び符号化器を通じてエンコーディングされることができる。この符号化器の入力信号が２４ｋＨｚになる理由は、ＳＢＲを通過しながら高周波成分はＳＢＲを通じてコーディングされ、既存周波数の半分にダウンサンプリングされるためであり、モノ信号となる理由は、ＰＳ（Parametric Stereo）を通じてステレオオーディオがパラメータで抽出されて、モノ信号と付加オーディオとの和の形態に変わるためである。

以下、図面を参照して、心理音響モデル部を用いた音楽信号の符号化過程について説明する。

図４は、本発明の好ましい一実施例による心理音響モデル（psychoacoustic model）を用いたオーディオ符号化過程を示すブロック図である。

図４を参照すると、本発明の一実施例による心理音響モデルを用いたオーディオ符号器は、フィルタバンク（または、解析フィルタバンク（Analysis filter bank））４０１、心理音響モデル部（psychoacoustic model unit）４０２、量子化及びビット割当て部（quantization and bit allocation unit）４０３、エントロピーコーディング部（entropy coding unit）４０４、及びマルチプレクサ４０５を含む。

フィルタバンク４０１は、時間軸信号である入力オーディオ信号を符号化するために修正離散コサイン変換（Modified Discrete Cosine Transform：ＭＤＣＴ）を行うことで、オーディオ信号を周波数軸信号に変換させる。

心理音響モデル部４０２は、入力されたオーディオ信号の知覚的特性を分析して、ビット割当過程に必要な各周波数別最大許容量子化雑音の量を決定することとなる。このような周波数別最大許容量子化雑音の量を図式化したものが、ノイズシェーピング基準（Noise Shaping Reference）である。さらに言うと、心理音響モデル部４０２は、周波数軸で入力信号の知覚的特性を分析するから、入力信号の周波数変換過程を必要とする。オーディオ信号の符号化過程においてフィルタバンク４０１を通じて周波数変換を行っているが、心理音響理論の実験結果の大部分は離散フーリエ変換（Discrete Fourier Transform：ＤＦＴ）軸上で行われるため、高速フーリエ変換（Fast Fourier Transform：ＦＦＴ）を行うことが好ましい。このような方法で周波数軸信号の変換過程を経た後、心理音響モデルにおけるノイズシェーピング基準は、周波数スペクトルと各周波数成分に対応する広がり（spreading）関数との畳み込み（convolution）により得られる。心理音響モデルにより得られたノイズシェーピング基準と入力信号スペクトルとの差を、知覚的エントロピー（perceptual entropy）で計算し、それに好適なビットを割り当てることによってオーディオ信号のスペクトルを量子化する。

量子化及びビット割当て部４０３は、フィルタバンク４０１で周波数軸信号に変換されたオーディオ信号において、心理音響モデル部４０２で決定されたノイズシェーピング基準の下に位置する量子化雑音の量を除去するロスコーディング（Loss Coding）により生成された成果対象（result object）を量子化する。また、量子化されたオーディオ信号にビットを割り当てる。ビット割当過程は、与えられたビット率において、量子化過程で発生する量子化雑音が心理音響モデルから得た最大許容雑音の量よりも可能な限り少なくなるように最適化する。

エントロピーコーディング部４０４は、量子化及びビット割当て部４０３で量子化及びビット割当されたオーディオ信号に、使用頻度によって符号を割り当てることで、オーディオ信号の圧縮率を最大化する。すなわち、平均符号長がエントロピーに最も近接するように符号を割り当てることで、圧縮効率を向上させる。基本原理は、データシンボルの統計的発生頻度によって、それぞれのシンボルや連続したシンボルを適切な長さの符号で表現することで、全体データ量を減らすことである。データシンボルの発生確率によって、「エントロピー」と呼ばれるシンボル当たりの平均情報量が決定され、エントロピー符号化の目標は、シンボル当たりの平均符号長をエントロピーに近接させることである。

マルチプレクサ４０５は、高効率で圧縮されたオーディオデータとサイド情報（Side Information）をエントロピーコーディング部４０４から受信して、受信側復号器（Decoder）にオーディオデータビットストリームとして転送する。

図５は、本発明の好ましい他の実施例による心理音響モデル（psychoacoustic model）を用いたオーディオ符号化過程を示すブロック図である。

図５を参照すると、本発明の他の実施例によるオーディオ信号符号器は、フィルタバンク（解析フィルタバンク）５０１、心理音響モデル部５０２、量子化及びビット割当て部５０３、エントロピーコーディング部５０４、及びマルチプレクサ５０５を含む。特に、心理音響モデル部５０２は、係数生成部５０２ａと、ノイズシェーピング基準決定部５０２ｂと、を含む。

フィルタバンク５０１は、オーディオ信号の統計的な冗長性を除去するためにサブバンドサンプルに変換し、時間軸信号である入力オーディオ信号を符号化するためにＭＤＣＴ（Modified Discrete Cosine Transform）を行うことで、オーディオ信号を周波数軸信号に変換させる。

心理音響モデル部５０２は、入力信号の知覚的特性を分析して、ビット割当過程に必要な各周波数別最大許容量子化雑音の量を決定する。一般に、オーディオ信号を符号化する過程において、アナログ信号をデジタル信号に変換するための量子化過程を経ることとなる。このような量子化過程において連続する値を四捨五入することから発生する誤差の値を、量子化雑音という。このような量子化雑音は、ビット割当（bit allocation）の度合によって変化し、このような量子化雑音を数値化するために、信号対量子化雑音比（SQNR：Signal to Quantization Noise Ratio）値を使用する。信号対量子化雑音比は、２０×Ｎ×ｌｏｇ２＝６.０２×Ｎ(ｄＢ)で表現され、ここで、Ｎは、サンプルにつき割り当てられたビット数を意味する。このような周波数別最大許容量子化雑音の量を図式化したものが、ノイズシェーピング基準（Noise Shaping Reference）である。結果的に、ビット割当値を増加させると、量子化雑音が減少し、量子化雑音がノイズシェーピング基準未満となる確率を増加させる。

心理音響モデル部５０２は、線形予測分析を行って線形予測係数を生成し、この線形予測係数に重み値を適用してシェーピング予測係数（shaping predictive coefficient）を生成する係数生成部５０２ａと、生成されたシェーピング予測係数を用いてノイズシェーピング基準を決定するノイズシェーピング基準決定部５０２ｂと、を含む。ノイズシェーピング基準は、線形予測（Linear Prediction）コーディングによって導き出された線形予測係数（Linear Prediction Coefficient）に重み値を付与する知覚的重み付け（Perceptual Weighting）コーディングによって生成されるシェーピング予測係数を用いて生成される。

量子化及びビット割当て部５０３は、フィルタバンク５０１で周波数軸信号に変換されたオーディオ信号において、心理音響モデル部５０２で決定されたノイズシェーピング基準未満の量子化雑音の量を除去するロスコーディング（Loss Coding）により生成された成果対象を量子化し、量子化されたオーディオ信号にビットを割り当てる。ビット割当過程は、与えられたビット率において、量子化過程で発生する量子化雑音が、新しく設定されたノイズシェーピング基準の最大許容雑音の量よりも可能な限り少なくなるように最適化する。すなわち、各フレームにおけるノイズシェーピング基準に基づいて量子化雑音が信号によってマスキングされるようにＭＤＣＴスペクトルの量子化ビットを割り当てる。一実施例として、周波数変換されたオーディオ信号は、複数個のサブバンド信号に区分され、各サブバンド信号に対応するシェーピング予測係数ベースのノイズシェーピング基準を用いて各サブバンド信号を量子化することができる。

エントロピーコーディング部５０４は、量子化及びビット割当て部５０３で量子化及びビット割当されたオーディオ信号に使用頻度によって符号を割り当てることで、オーディオ信号の圧縮率を最大化する。すなわち、平均符号長がエントロピーに最も近接するように符号を割り当てることによって圧縮効率を向上させる。すなわち、データシンボルの統計的発生頻度によって、それぞれのシンボルや連続したシンボルを適切な長さの符号で表現することでデータ量を最適化させる。データシンボルの発生確率によって「エントロピー」と呼ばれるシンボル当たりの平均情報量が決定され、エントロピー符号化の目標は、シンボル当たりの平均符号長をエントロピーに近接させることにある。エントロピーコーディング部５０４は特定の方法に限定されず、ハフマンコーディング、算術コーディング、ＬＺＷコーディングなどを用いることもでき、これは当業者が選択することができる。

マルチプレクサ５０５は、高効率で圧縮されたオーディオデータ及びサイド情報（Side information）をエントロピーコーディング部５０４から受信して、受信側復号器（Decoder）に符号化されたオーディオデータビットストリームとして転送する。

一方、本発明のオーディオ符号化方法によって符号化されたオーディオデータは、復号化器で下記のように復号化することができる。

まず、量子化されたオーディオ信号を復号化器のデマルチプレクサで受信し、この量子化されたオーディオ信号からオーディオ信号を復元する。ここで、量子化されたオーディオ信号は、周波数変換されたオーディオ信号にノイズシェーピング基準を適用して生成されたものであり、このノイズシェーピング基準は、当該オーディオ信号の線形予測係数に重み値を適用して生成されたシェーピング予測係数を用いて決定したものとすることができる。

図６は、本発明の好ましい他の実施例による心理音響モデル部を用いたノイズシェーピング基準の変化を示すグラフである。

グラフ上のオーディオ入力信号の波形を考慮するとき、波形の高点をそれぞれフォルマント（formant）と呼び、波形の底点をバレー（valley）と呼ぶ。例えば、図６のＡ部分がフォルマントとなり、Ｂ部分がバレー領域となる。音声符号化の場合、人の聴覚的特性が、周波数スペクトルのバレー（valley）領域における量子化雑音に敏感であるという点に着目して、バレー領域に対する量子化雑音を相殺させるためにオーディオ信号符号化時におけるよりも多いビット数をバレー領域に割り当て、また、相対的にエネルギーの大きいフォルマント（formant）領域のノイズシェーピング基準を増加させ相対的に少ないビット数をフォルマント領域に割り当てることによって圧縮率を維持すると同時に、より向上した音質を具現することができる。すなわち、Ａ部分のノイズシェーピング基準を従来に比べて高く調整し、Ｂ部分のマスキングカーブ値を従来に比べて低く調整することによって、音声信号に対するコーディング効率を上げることができる。すなわち、重み値は、周波数変換されたオーディオ信号を量子化する段階において、線形予測係数に対する周波数スペクトルのフォルマント領域に対応するオーディオ信号の量子化雑音を増加させ、バレー領域に対応するオーディオ信号の量子化雑音を減少させるように適用することができる。

このために、図５に示す係数生成部５０２ａで、線形予測解析（Linear Predictive analysis）を用いて線形予測（Linear Predictive）係数で構成された伝達関数を求めることができる。この伝達関数の周波数スペクトルは、入力信号に対する周波数スペクトルの包絡線（envelope）で示される。このような伝達関数を線形予測係数（Linear Predictive Coefficient）といい、これは、従来オーディオ符号化過程で用いられる心理音響モデル（ＰＡＭ）のノイズシェーピング基準と類似の形態を示す。このような特徴を用いて、係数生成部５０２ａで伝達関数、すなわち、線形予測係数を導き出し、これに基づいて従来の実験的に求められたノイズシェーピング基準を調整することによって、ビットレートの減少による量子化雑音をより効率的に減殺させることができ、演算量を減少させることができる。また、係数生成部５０２ａで線形予測係数に適切な重み付け係数（weighting coefficient）を適用して重み付けフィルタ（weighting filter）を具現することによって、シェーピング予測係数を生成し、このシェーピング予測係数を用いて簡単にスペクトルのフォルマント（formant）領域とバレー（valley）領域に対する比重を調節することが可能になる。

この方式をオーディオ符号化過程に適用すると、量子化雑音の影響が聴覚的側面で敏感なスペクトルのバレー（valley）領域についてはノイズシェーピング基準を下げることによってより多くのビットを割り当てるようにし、相対的にエラーの影響が小さいフォルマント（formant）領域についてはノイズシェーピング基準を高めることによって、割り当てられるビット数を減少させ、聴覚的側面における符号化性能を向上させる。この過程で、知覚的重み値（perceptual weighting）の度合を調節する重み付け係数（weighting coefficient）は、一様に適用せずに、スペクトルの平坦度（flatness）のような入力信号特性によって適応的（adaptive）に調節することによって、符号化性能をより改善させることができる。このように、線形予測及び重み値を用いてノイズシェーピング基準を改善するにあたり、スペクトルに対する包絡線分析無しにも、心理音響モデルに知覚的重み値（perceptual weighting）のみを適用してノイズシェーピング基準を導き出すことができる。

図７は、本発明の好ましい他の実施例による心理音響モデル（psychoacoustic model）を用いたノイズシェーピング基準生成方法を示すフローチャートである。

図７を参照すると、心理音響モデル部５０２にオーディオ信号が入力されると、係数生成部５０２ａで、線形予測コーディングを用いて線形予測係数で構成された伝達関数を生成する（Ｓ２００）。この伝達関数の周波数スペクトルは、入力信号に対する周波数スペクトルの包絡線（envelope）で示される。このような伝達関数を線形予測係数（Linear Predictive Coefficient）といい、これは、従来オーディオ符号化過程で使われる心理音響モデル（ＰＡＭ）のノイズシェーピング基準と類似の形態を示す。また、係数生成部５０２ａでオーディオ信号を受信して、線形予測係数に適切な重み付け係数を決定する（Ｓ２１０）。その後、ノイズシェーピング基準決定部５０２ｂで、Ｓ２００段階で求められた線形予測係数からなる伝達関数の包絡線に、Ｓ２１０段階で決定された重み付け係数を適用して、補正された包絡線を生成する（Ｓ２２０）。続いて、ノイズシェーピング基準決定部５０２ｂで、Ｓ２２０段階で生成された包絡線のインパルス応答を計算する（Ｓ２３０）。この時、インパルス応答は、一種のフィルタリングの役割を担当する。続いて、ノイズシェーピング基準決定部５０２ｂで、Ｓ２３０段階でフィルタリングされた包絡線をＦＦＴして、時間軸信号を周波数軸信号に変換する（Ｓ２４０）。ノイズシェーピング基準決定部５０２ｂでは、このように周波数軸信号に変換された包絡線をノイズシェーピング基準に設定するためにマスキングレベルを決定する（Ｓ２５０）。その後、ノイズシェーピング基準決定部５０２ｂで、サブバンド別に信号対マスク比（ＳＭＲ）を分割する（Ｓ２６０）。

このような過程によって心理音響係数に重み付け係数を適用して重み付けフィルタ（weighting filter）を具現することによって、従来のノイズシェーピング基準に比べて、周波数スペクトル上でノイズシェーピング基準のフォルマント領域の値を高めるとともにバレー領域の値を下げ、バレー領域に相対的に多くのビット数を割り当てることができる。

一方、Ｓ２００段階の線形予測コーディング（Linear Predictive Analysis）の代わりにワープ線形予測コーディング（Warped LP analysis）を用いて符号化効率を向上させることもできる。さらに言うと、ワープ線形予測コーディングは、高効率オーディオ符号化器において転送率減少のために、特定低周波（low frequency）帯域までは、本発明の心理音響モデルを適用したコアオーディオ符号化方法で信号を圧縮し、残り高周波（high frequency）成分は、低周波（low frequency）情報を用いた帯域幅拡張（bandwidth extension）またはスペクトル帯域複製（SBR：spectral band replication）方法を用いて符号化する。このような高効率符号化器の場合、特定低周波帯域のみまで心理音響モデルベースのノイズシェーピング基準を必要とする。ワープ線形予測コーディングを用いる場合、特定周波数帯域に対する周波数解像度を増加させることで、包絡線モデリング効率を増加させることができる。

図４または図５に示すオーディオ信号エンコーダは、音楽信号エンコーダ、音声信号エンコーダ両方が搭載されたデバイスで動作することができる。このオーディオ信号エンコーダは、ダウンミックス信号の特定フレームまたは特定セグメントが、主として音楽特性とされている場合、音楽コーディング方式（Music coding scheme）によってダウンミックス信号をエンコーディングする。この音楽信号エンコーダは、ＭＤＣＴエンコーダに該当することができる。

この音声信号エンコーダは、ダウンミックス信号の特定フレームまたは特定セグメントが、主として音声特性とされている場合、音声コーディング方式（speech coding scheme）によってダウンミックス信号をエンコーディングする。一方、音声信号エンコーダに用いられる線形予測符号化（Linear Prediction Coding）方法を、本発明で提案する方式において改善することができる。ハーモニック信号が時間軸上で高い冗長性を持つ場合、過去信号から現在信号を予測する線形予測によってモデリングすることができるが、この場合、線形予測符号化方式を適用すると符号化効率を上げることができる。一方、音声信号エンコーダは、タイムドメインエンコーダに該当することができる。

図８は、本発明の一実施例による復号化装置を示す図である。

図８を参照すると、復号化装置は、図１を参照して説明した符号化装置で行われる符号化過程の逆過程を行うことによって、入力されるビットストリームから信号を復元することができる。さらに言うと、この復号化装置は、デマルチプレクサ２１０、復号化器決定部２２０、デコーディング部２３０、合成部２４０を含むことができる。デコーディング部２３０は、それぞれ異なる方法で復号化を行う複数のデコーディング部２３１，２３２，２３３を含むことができ、これらは復号化器決定部２２０の制御によって動作する。詳しくは、デコーディング部２３０は、線形予測デコーディング部２３１、心理音響デコーディング部２３２、混合信号デコーディング部２３３を含むことができる。混合信号デコーディング部２３３は、情報抽出部２３４、周波数変換部２３５、線形予測部２３６を含むことができる。

デマルチプレクサ２１０は、入力されるビットストリームから、符号化された複数の信号及びこれら信号を復号化するための付加情報を抽出する。ビットストリーム内に含まれた付加情報、例えば、第１タイプ情報及び第２タイプ情報（必要時にのみ含まれる）を抽出してそれを復号化器決定部２２０に転送する。

復号化器決定部２２０は、受信した第１タイプ情報及び第２タイプ情報（必要時にのみ含まれる）から、デコーディング部２３１，２３２，２３３における復号化方式のうちいずれか一つを決定する。ただし、復号化器決定部２２０は、ビットストリームから抽出された付加情報を用いて復号化方式を決定することもできるが、ビットストリーム中に付加情報が存在しない場合には、独立した判断方法によって復号化方式を決定することもできる。この判断方法は、前述の信号分類部（図１の１００）の特徴を活用することができる。

デコーディング部２３０において、線形予測デコーディング部２３１は、音声信号タイプのオーディオ信号を復号化でき、心理音響デコーディング部２３２は、音楽信号タイプのオーディオ信号を復号化することができる。また、混合信号デコーディング部２３３は、音声と音楽との混合タイプのオーディオ信号を復号化することができる。詳しくは、混合信号デコーディング部２３３は、オーディオ信号からスペクトルデータ及び線形予測係数を抽出する情報抽出部２３４と、スペクトルデータを逆周波数変換して、線形予測に対する残余信号を生成する周波数変換部２３５、及びこの線形予測係数及び残余信号を線形予測コーディングして出力信号を生成する線形予測部２３６と、を含んで構成される。

これら復号化された信号は、合成部２４０で合成されて、元のオーディオ信号に復元される。

以下、本発明の復号化方法を、図１１のフローチャートを参照して詳細に説明する。

デマルチプレクサ２１０は、入力されるビットストリームから第１タイプ情報及び第２タイプ情報（必要時に）を抽出する。復号化器決定部２２０は、抽出された情報のうち、まず、第１タイプ情報を用いて、受信したオーディオ信号のコーディングタイプを判別する（Ｓ１０００）。もし、音楽信号を受信した場合には、デコーディング部２３０中の心理音響デコーディング部２３２を利用し、第１タイプ情報により決定される、各フレーム別またはサブフレーム別に適用されるコーディング方式を決定し、それに好適なコーディング方式を適用して復号化を行う（Ｓ１１００）。

また、復号化器決定部２２０は、抽出された情報のうち第１タイプ情報をまず用いて、受信したオーディオ信号のコーディングタイプが音楽信号コーディングタイプでないと判別されると、続いて、第２タイプ情報を用いて、受信したオーディオ信号のコーディングタイプが音声信号コーディングタイプなのかまたは混合信号コーディングタイプなのかを判別する（Ｓ１２００）。

もし、第２タイプ情報が音声信号コーディングタイプを意味する場合、デコーディング部２３０中の線形予測デコーディング部２３１を利用し、ビットストリームから抽出されたコーディング識別情報を用いて各フレーム別またはサブフレーム別に適用されるコーディング方式を決定し、それに好適なコーディング方式を適用して復号化を行う（Ｓ１３００）。

また、もし、第２タイプ情報が混合信号を意味する場合、デコーディング部２３０中の混合信号デコーディング部２３３を利用し、第２タイプ情報により決定される、各フレーム別またはサブフレーム別に適用されるコーディング方式を決定し、それに好適なコーディング方式を適用して復号化を行う（Ｓ１４００）。

一方、図示してはいないが、線形予測デコーディング部２３１、心理音響デコーディング部２３２、混合信号デコーディング部２３３を用いたオーディオ信号の復号化過程の後処理過程として、帯域幅拡張デコーディング部で周波数帯域拡張過程を行うことができる。周波数帯域拡張過程は、帯域幅拡張デコーディング部で、オーディオ信号ビットストリームに含まれた帯域拡張情報をデコーディングして、スペクトルデータの一部または全部から別の帯域（例えば、高周波帯域）のスペクトルデータを生成することをいう。ここで、周波数帯域を拡張する際に、類似の特性を有するユニットを１つのブロックにグループ化することができる。これは、共通のエンベロープ（または、エンベロープ特性）を持つタイムスロット（または、サンプル）をグループ化することによりエンベロープ領域を生成することと同一の方法である。

図９は、本発明の実施例による復号化装置が具現された製品の構成例を示す図である。また、図１０は、本発明の実施例による復号化装置が具現された製品間の関係を示す図である。

図９を参照すると、有線／無線通信部９１０は、有線／無線通信方式によってビットストリームを受信する。具体的に、有線／無線通信部９１０は、有線通信部９１０Ａ、赤外線通信部９１０Ｂ、ブルートゥース部９１０Ｃ、無線ＬＡＮ部９１０Ｄのうち一つ以上を含むことができる。

ユーザ認証部９２０は、ユーザ情報を受信してユーザ認証を行うもので、指紋認識部９２０Ａ、虹彩認識部９２０Ｂ、顔認識部９２０Ｃ、及び音声認識部９２０Ｄのうち一つ以上を含むことができ、それぞれ、指紋、虹彩情報、顔の輪郭情報、音声情報を受信してユーザ情報に変換し、このユーザ情報と既存登録されているユーザデータとが一致するか否かを判断して、ユーザ認証を行うことができる。

入力部９３０は、ユーザが様々な命令を入力するための入力装置で、キーパッド部９３０Ａ、タッチパッド部９３０Ｂ、遠隔操作部９３０Ｃのうち一つ以上を含むことができるが、本発明は、これに限定されない。信号デコーディング部９４０は、受信したビットストリーム及びフレームタイプ情報を用いて信号特性を分析し、該当の信号特性に対応するデコーディング部を用いて信号をデコーディングして出力信号を生成する。

制御部９５０は、入力装置から入力信号を受信し、信号デコーディング部９４０と出力部９６０のプロセス全般を制御する。出力部９６０は、信号デコーディング部９４０で生成された出力信号などを出力する構成要素で、スピーカー部９６０Ａ及びディスプレイ部９６０Ｂを含むことができる。出力信号がオーディオ信号であるとスピーカー部から出力信号が出力され、ビデオ信号であると、出力信号はディスプレイ部から出力される。

図１０は、図９に示す製品に該当する端末及びサーバーとの関係を示す図である。図１０の（Ａ）を参照すると、第１端末１００１及び第２端末１００２が、有線／無線通信部を通じてデータまたはビットストリームを両方向に通信することができる。図１０の（Ｂ）を参照すると、サーバー１００３及び第１端末１００１も、互いに有線／無線通信を行うことができる。

本発明によるオーディオ信号処理方法は、コンピュータで実行可能なプログラムとして製作されて、コンピュータ読み取り可能な記録媒体に記憶されることができる。また、本発明によるデータ構造を有するマルチメディアデータも、コンピュータ読み取り可能な記録媒体に記憶されることができる。コンピュータ読み取り可能な記録媒体は、コンピュータシステムに読み込み可能なデータを記憶しうるいずれの保存装置をも含むことができる。コンピュータ読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、さらに、キャリアウェーブ（例えば、インターネットを介した転送）の形態で具現されるものも含む。また、上記エンコーディング方法によって生成されたビットストリームは、コンピュータ読み取り可能な記録媒体に記憶されたり、有線／無線通信網を介して転送されることができる。

従って、本発明は、以下の効果と利点を提供する。

本発明は、様々な種類のオーディオ信号を分類し、各オーディオ信号特性別にそれに好適なオーディオコーディング方式を提供することによって、より効率的なオーディオ信号の圧縮及び復元を可能にする。

以上では限定された実施例及び図面に挙げて本発明を説明してきたが、本発明は、それらに限定されず、本発明の属する技術分野における通常の知識を有する者には、本発明の技術思想及び添付の特許請求の範囲とその均等範囲内で様々な修正及び変形が可能であるということが理解できる。

Claims (15)

1. オーディオ復号化器を含むオーディオ信号処理装置において、
   第１タイプ情報を用いて、オーディオ信号のコーディングタイプが音楽信号コーディングタイプなのか否かを識別する段階と、
   前記オーディオ信号の前記コーディングタイプが前記音楽信号コーディングタイプでない場合、第２タイプ情報を用いて、前記オーディオ信号の前記コーディングタイプが音声信号コーディングタイプなのか、混合信号コーディングタイプなのかを識別する段階と、
   前記オーディオ信号の前記コーディングタイプが前記混合信号コーディングタイプである場合、前記オーディオ信号からスペクトルデータ及び線形予測係数を抽出する段階と、
   前記スペクトルデータを逆周波数変換して、線形予測に対する残余信号を生成する段階と、
   前記線形予測係数及び前記残余信号を線形予測デコーディングして、前記オーディオ信号を復元する段階と、
   を含み、
   前記オーディオ信号の前記コーディングタイプが前記音楽信号コーディングタイプである場合、前記第１タイプ情報のみが用いられ、
   前記オーディオ信号の前記コーディングタイプが前記音声信号コーディングタイプまたは前記混合信号コーディングタイプである場合、前記第１タイプ情報と前記第２タイプ情報の両方が用いられ、
   前記オーディオ信号の前記コーディングタイプが前記混合信号コーディングタイプである場合、前記オーディオ信号は、ＭＤＣＴを実行することにより変換された周波数領域の信号を有することを特徴とするオーディオ信号処理方法。
2. 前記オーディオ信号の前記コーディングタイプが前記混合信号コーディングタイプである場合、前記復元されたオーディオ信号の低周波帯域信号を用いて高周波帯域信号を復元する段階と、
   前記復元されたオーディオ信号をアップミキシングして複数個のチャネルを生成する段階と、
   をさらに含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
3. 前記オーディオ信号は、複数のサブフレームを有し、前記第２タイプ情報は、該サブフレーム単位で存在することを特徴とする、請求項１に記載のオーディオ信号処理方法。
4. 前記オーディオ信号の前記コーディングタイプが前記音楽信号コーディングタイプである場合、前記オーディオ信号は周波数ドメイン信号から成り、前記オーディオ信号の前記コーディングタイプが前記音声信号コーディングタイプである場合、前記オーディオ信号はタイムドメイン信号から成ることを特徴とする、請求項１に記載のオーディオ信号処理方法。
5. 前記線形予測係数を抽出する段階は、
   線形予測係数モードを抽出する段階と、
   前記抽出された線形予測係数モードに該当する可変ビット大きさを有する前記線形予測係数を抽出する段階と、
   を含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
6. ビットストリームから第１タイプ情報、及び第２タイプ情報を抽出するデマルチプレクサと、
   前記第１タイプ情報を用いてオーディオ信号のコーディングタイプが音楽信号コーディングタイプなのか否かを識別し、前記オーディオ信号の前記コーディングタイプが前記音楽信号コーディングタイプでない場合、第２タイプ情報を用いて前記オーディオ信号の前記コーディングタイプが音声信号コーディングタイプか、混合信号コーディングタイプなのかを識別し、そして復号化方式を決定する復号化器決定部と、
   前記オーディオ信号の前記コーディングタイプが前記混合信号コーディングタイプである場合、前記オーディオ信号からスペクトルデータ及び線形予測係数を抽出する情報抽出部と、
   前記スペクトルデータを逆周波数変換して、線形予測に対する残余信号を生成する周波数変換部と、
   前記線形予測係数及び前記残余信号を線形予測デコーディングして、前記オーディオ信号を復元する線形予測部と、
   を含み、
   前記オーディオ信号の前記コーディングタイプが前記音楽信号コーディングタイプである場合、前記第１タイプ情報のみが用いられ、
   前記オーディオ信号の前記コーディングタイプが前記音声信号コーディングタイプまたは前記混合信号コーディングタイプである場合、前記第１タイプ情報と前記第２タイプ情報の両方が用いられ、
   前記オーディオ信号の前記コーディングタイプが前記混合信号コーディングタイプである場合、前記オーディオ信号は、ＭＤＣＴを実行することにより変換された周波数領域の信号を有することを特徴とするオーディオ信号処理装置。
7. 前記オーディオ信号の前記コーディングタイプが前記混合信号コーディングタイプである場合、前記復元されたオーディオ信号の低周波帯域信号を用いて高周波帯域信号を復元する帯域幅拡張デコーディング部と、
   前記復元されたオーディオ信号をアップミキシングして複数個のチャネルを生成するチャネル拡張デコーディング部と、
   をさらに含むことを特徴とする、請求項６に記載のオーディオ信号処理装置。
8. 前記オーディオ信号は、複数のサブフレームを有し、前記第２タイプ情報は、該サブフレーム単位で存在することを特徴とする、請求項６に記載のオーディオ信号処理装置。
9. 前記オーディオ信号の前記コーディングタイプが前記音楽信号コーディングタイプである場合、前記オーディオ信号は周波数ドメイン信号から成り、前記オーディオ信号の前記コーディングタイプが前記音声信号コーディングタイプである場合、前記オーディオ信号はタイムドメイン信号から成ることを特徴とする、請求項６に記載のオーディオ信号処理装置。
10. 前記線形予測係数を抽出する前記情報抽出部は、線形予測係数モードを確認し、抽出された線形予測係数モードに該当する可変ビット大きさを有する前記線形予測係数を抽出することを特徴とする、請求項６に記載のオーディオ信号処理装置。
11. オーディオ信号を処理するオーディオ符号化器を含むオーディオ信号処理装置において、
    前記オーディオ信号のコーディングタイプを決定する段階と、
    前記オーディオ信号が音楽信号である場合、前記オーディオ信号が音楽信号コーディングタイプでコーディングされるということを表す第１タイプ情報を生成する段階と、
    前記オーディオ信号が音楽信号でない場合、前記オーディオ信号が音声信号コーディングタイプまたは混合信号コーディングタイプのどちらか一方でコーディングされるということを表す第２タイプ情報を生成する段階と、
    前記オーディオ信号の前記コーディングタイプが前記混合信号コーディングタイプである場合、前記オーディオ信号を線形予測コーディングして線形予測係数を生成する段階と、
    前記線形予測コーディングに対する残余信号を生成する段階と、
    前記残余信号を周波数変換してスペクトル係数を生成する段階と、
    前記第１タイプ情報、前記第２タイプ情報、前記線形予測係数及び前記残余信号を含むオーディオビットストリームを生成する段階と、
    を含み、
    前記オーディオ信号の前記コーディングタイプが前記音楽信号コーディングタイプである場合、前記第１タイプ情報のみが生成され、
    前記オーディオ信号の前記コーディングタイプが前記音声信号コーディングタイプまたは前記混合信号コーディングタイプのどちらか一方である場合、前記第１タイプ情報と前記第２タイプ情報の両方が生成されることを特徴とするオーディオ信号処理方法。
12. 前記オーディオ信号は、複数のサブフレームを有し、前記第２タイプ情報は、該サブフレーム別に生成されることを特徴とする、請求項１１に記載のオーディオ信号処理方法。
13. オーディオ信号のコーディングタイプを決定し、前記オーディオ信号が音楽信号である場合、前記オーディオ信号が音楽信号コーディングタイプでコーディングされるということを表す第１タイプ情報を生成し、前記オーディオ信号が音楽信号でない場合、前記オーディオ信号が音声信号コーディングタイプまたは混合信号コーディングタイプのどちらか一方でコーディングされるということを表す第２タイプ情報を生成する信号分類部と、
    前記オーディオ信号の前記コーディングタイプが前記混合信号コーディングタイプである場合、前記オーディオ信号を線形予測コーディングして、線形予測係数を生成する線形予測モデリング部と、
    前記線形予測コーディングにおける残余信号を生成する残余信号抽出部と、
    前記残余信号を周波数変換してスペクトル係数を生成する周波数変換部と、
    を含み、
    前記オーディオ信号の前記コーディングタイプが前記音楽信号コーディングタイプである場合、前記第１タイプ情報のみが生成され、
    前記オーディオ信号の前記コーディングタイプが前記音声信号コーディングタイプまたは前記混合信号コーディングタイプのどちらか一方である場合、前記第１タイプ情報と前記第２タイプ情報の両方が生成されることを特徴とするオーディオ信号処理装置。
14. 前記オーディオ信号は、複数のサブフレームを有し、前記第２タイプ情報は、該サブフレーム別に生成されることを特徴とする、請求項１３に記載のオーディオ信号処理装置。
15. 前記オーディオ信号の前記コーディングタイプが前記音楽信号コーディングタイプである場合、前記線形予測コーディングを用いて前記線形予測係数を生成し、前記線形予測係数に重み値を与える係数生成部と、
    前記重み値が与えられた線形予測係数を用いてノイズシェーピング基準を生成する基準値決定部と、
    を含むことを特徴とする、請求項１３に記載のオーディオ信号処理装置。

Images