JP6162900B2 - オーディオ信号分類方法及び装置 - Google Patents

Description

この出願は、参照することによりその全体が本願に組み入れられる2013年8月6日に中国特許庁に出願されて「オーディオ信号分類方法及び装置」と題される中国特許出願公開第201310339218．5号明細書の優先権を主張する。

本発明は、デジタル信号処理技術の分野に関し、特に、オーディオ信号分類方法及び装置に関する。

記憶又は送信中にビデオ信号により占められるリソースを減らすために、オーディオ信号は、送信端で圧縮された後、受信端へ送信され、また、受信端は、解凍によってオーディオ信号を復元する。

オーディオ処理用途において、オーディオ信号分類は、幅広く適用される重要な技術である。例えば、オーディオエンコーディング／デコーディング用途において、比較的よく知られているコーデックは、現在、エンコーディングとデコーディングとのハイブリッドタイプである。このコーデックは、一般に、スピーチ生成モデルに基づくエンコーダ（CELPなど）、及び、変換に基づくエンコーダ（MDCTに基づくエンコーダなど）を含む。中間のビットレート又は低いビットレートにおいて、スピーチ生成モデルに基づくエンコーダは、比較的良好なスピーチエンコーディング品質を得ることができるが、比較的低いミュージックエンコーディング品質を有し、一方、変換に基づくエンコーダは、比較的良好なミュージックエンコーディング品質を得ることができるが、比較的低いスピーチエンコーディング品質を有する。したがって、ハイブリッドコーデックは、スピーチ生成モデルに基づくエンコーダを使用することによりスピーチ信号をエンコードするとともに、変換に基づくエンコーダを使用することによりミュージック信号をエンコードし、それにより、全体として最適なエンコーディング効果を得る。本明細書において、中核技術は、この用途が特に関係する限りにおいて、オーディオ信号分類又はエンコーディングモード選択である。

ハイブリッドコーデックは、該ハイブリッドコーデックが最適なエンコーディングモード選択を得ることができる前に正確な信号タイプ情報を得る必要がある。オーディオ信号分類器は、概してスピーチ／ミュージック分類器と見なされる場合がある。スピーチ認識率及びミュージック認識率は、スピーチ／ミュージック分類器の性能を測定するための重要な指標である。特にミュージック信号に関しては、その信号特性の多様性／複雑さに起因して、ミュージック信号の認識が一般にスピーチ信号の認識よりも困難である。また、認識遅延も非常に重要な指標のうちの1つである。短い時間におけるスピーチ／ミュージックの特性の不明瞭さに起因して、スピーチ／ミュージックが比較的正確に認識され得る前に比較的長い時間を要する必要がある。一般に、同じタイプの信号の中間セクションでは、より長い認識遅延がより正確な認識を示す。しかしながら、2つのタイプの信号の移行セクションでは、より長い認識遅延がより低い認識精度を示し、これは、ハイブリッド信号（バックグラウンドミュージックを有するスピーチなど）が入力される状況で特に深刻である。したがって、高い認識率及び低い認識遅延の両方を有することが高性能スピーチ／ミュージック認識器の必要な属性である。また、分類安定性も、ハイブリッドエンコーダのエンコーディング品質に影響を及ぼす重要な属性である。一般に、ハイブリッドエンコーダがエンコーダの異なるタイプ間で切り換わると、品質低下が生じる場合がある。同じタイプの信号において頻繁なタイプ切り換えが分類器で行われる場合には、エンコーディング品質が比較的大きく影響され、したがって、分類器の出力される分類結果を正確で且つ平滑にすべきことが必要とされる。また、通信システムにおける分類アルゴリズムなどの幾つかの用途では、商業的な要件を満たすために、分類アルゴリズムの計算の複雑さ及び記憶オーバーヘッドを可能な限り低くすべきことも必要とされる。

ITU−T標準規格G．720．1は、スピーチ／ミュージック分類器を含む。この分類器は、主要なパラメータ、すなわち、周波数スペクトル変動分散var＿fluxを信号分類のための主な基準として使用するとともに、2つの異なる周波数スペクトルピーキネスパラメータp1及びp2を補助的な基準として使用する。var＿fluxにしたがった入力信号の分類は、var＿fluxの局所統計値にしたがってFIFO var＿flux bufferにおいて完了される。以下、特定のプロセスについて簡単に説明する。すなわち、最初に、周波数スペクトル変動fluxが、各入力オーディオフレームから抽出されて、第1のbufferにバッファリングされ、また、ここで、fluxは、現在の入力フレームを含む4つの最新のフレームにおいて計算され、或いは、他の方法を使用することにより計算されてもよい。その後、現在の入力フレームのvar＿fluxを得るために、現在の入力フレームを含むN個の最新のフレームのfluxの分散が計算され、また、var＿fluxは第2のbufferにバッファリングされる。その後、第2のbuffer内の現在の入力フレームを含むM個の最新のフレームのうちそのvar＿fluxが第1の閾値よりも大きいフレームの量Kが計数される。Mに対するKの比率が第2の閾値よりも大きい場合には、現在の入力フレームがスピーチフレームであると決定され、そうでない場合には、現在の入力フレームがミュージックフレームである。補助パラメータp1及びp2は、分類を変更するために主に使用されるとともに、各入力オーディオフレームに計算される。p1及び／又はp2が第3の閾値及び／又は第4の閾値よりも大きいときには、現在の入力オーディオフレームがミュージックフレームであると直接に決定される。

このスピーチ／ミュージック分類器の不都合は以下の通りである。すなわち、一方では、ミュージックのための絶対認識率が依然として向上される必要があり、他方では、分類器の標的用途がハイブリッド信号の適用シナリオに固有のものではないため、ハイブリッド信号のための認識性能においても依然として向上の余地がある。

多くの既存のスピーチ／ミュージック分類器は、モード認識原理に基づいて設計される。このタイプの分類器は、一般に、複数（1ダースから数ダース）の特性パラメータを入力オーディオフレームから抽出して、これらのパラメータをガウスハイブリッドモデルに基づく分類器へ、又は、ニューラルネットワークへ又は、分類を行うための他の伝統的な分類方法へ供給する。

このタイプの分類器は、比較的確かな論理的基準を有するが、一般に比較的高い計算複雑さ又は記憶複雑さを有し、したがって、実施コストが比較的高い。

本発明の実施形態の目的は、ハイブリッドオーディオ信号の分類認識率を確保しつつ信号分類の複雑さを減らすためのオーディオ信号分類方法及び装置を提供することである。

第1の態様によれば、オーディオ信号分類方法が提供され、該方法は、
現在オーディオフレームのボイス活性にしたがって、現在オーディオフレームの周波数スペクトル変動を得て該周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するべきかどうかを決定するステップであって、周波数スペクトル変動がオーディオ信号の周波数スペクトルのエネルギー変動を示す、ステップと、
オーディオフレームがパーカッションミュージックであるかどうかにしたがって又は履歴オーディオフレームの活性にしたがって周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動を更新するステップと、
周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動の有効データの一部又は全部の統計値にしたがって現在オーディオフレームをスピーチフレーム又はミュージックフレームとして分類するステップとを含む。

第1の想定し得る実施態様において、現在オーディオフレームのボイス活性にしたがって、現在オーディオフレームの周波数スペクトル変動を得て該周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するべきかどうかを決定する前記ステップは、
現在オーディオフレームが活性フレームである場合に、現在オーディオフレームの周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するステップを含む。

第2の想定し得る実施態様において、現在オーディオフレームのボイス活性にしたがって、現在オーディオフレームの周波数スペクトル変動を得て該周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するべきかどうかを決定する前記ステップは、現在オーディオフレームが活性フレームであるとともに現在オーディオフレームがエネルギー攻撃に属さない場合に、現在オーディオフレームの周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するステップを含む。

第3の想定し得る実施態様において、現在オーディオフレームのボイス活性にしたがって、現在オーディオフレームの周波数スペクトル変動を得て該周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するべきかどうかを決定する前記ステップは、
現在オーディオフレームが活性フレームであるとともに現在オーディオフレームと該現在オーディオフレームの履歴フレームとを備える複数の連続するフレームのいずれもがエネルギー攻撃に属さない場合に、オーディオフレームの周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するステップを含む。

第1の態様又は第1の態様の第1の想定し得る実施態様又は第1の態様の第2の想定し得る実施態様又は第1の態様の第3の想定し得る実施態様と関連して、第4の想定し得る実施態様において、現在オーディオフレームがパーカッションミュージックであるかどうかにしたがって周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動を更新する前記ステップは、
現在オーディオフレームがパーカッションミュージックに属する場合に、周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動の値を変更するステップを含む。

第1の態様又は第1の態様の第1の想定し得る実施態様又は第1の態様の第2の想定し得る実施態様又は第1の態様の第3の想定し得る実施態様と関連して、第5の想定し得る実施態様において、履歴オーディオフレームの活性にしたがって周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動を更新する前記ステップは、
現在オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶されること、及び、前のオーディオフレームが不活性フレームであることが決定されれば、現在オーディオフレームの周波数スペクトル変動を除く周波数スペクトル変動メモリ内に記憶される他の周波数スペクトル変動のデータを無効データに変更するステップ、又は、
現在オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶されること、及び、現在オーディオフレームの前の3つの連続する履歴フレームが全て活性フレームではないことが決定されれば、現在オーディオフレームの周波数スペクトル変動を第1の値に変更するステップ、又は、
現在オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶されること、及び、履歴分類結果がミュージック信号であり且つ現在オーディオフレームの周波数スペクトル変動が第2の値よりも大きいことが決定されれば、現在オーディオフレームの周波数スペクトル変動を第2の値に変更するステップを含み、第2の値は第1の値よりも大きい。

第1の態様又は第1の態様の第1の想定し得る実施態様又は第1の態様の第2の想定し得る実施態様又は第1の態様の第3の想定し得る実施態様又は第1の態様の第4の想定し得る実施態様又は第1の態様の第5の想定し得る実施態様と関連して、第6の想定し得る実施態様において、周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動の有効データの一部又は全部の統計値にしたがって現在オーディオフレームをスピーチフレーム又はミュージックフレームとして分類する前記ステップは、
周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動の有効データの一部又は全部の平均値を得るステップと、
周波数スペクトル変動の有効データの得られた平均値がミュージック分類条件を満たすときに、現在オーディオフレームをミュージックフレームとして分類し、そうでなければ、現在オーディオフレームをスピーチフレームとして分類するステップとを含む。

第1の態様又は第1の態様の第1の想定し得る実施態様又は第1の態様の第2の想定し得る実施態様又は第1の態様の第3の想定し得る実施態様又は第1の態様の第4の想定し得る実施態様又は第1の態様の第5の想定し得る実施態様と関連して、第7の想定し得る実施態様において、オーディオ信号分類方法は、
現在オーディオフレームの周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を得るステップであって、周波数スペクトル高周波帯域ピーキネスは、現在オーディオフレームの周波数スペクトルの高周波帯域におけるピーキネス又はエネルギー尖鋭度を示し、周波数スペクトル相関度は、現在オーディオフレームの信号調和構造の隣接するフレーム間の安定性を示し、線形予測残留エネルギー勾配は、線形予測次数が増大するにつれてオーディオ信号の線形予測残留エネルギーが変化する度合いを示す、ステップと、
現在オーディオフレームのボイス活性にしたがって、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配をメモリに記憶するべきかどうかを決定するステップとを更に含み、
周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動のデータの一部又は全部の統計値にしたがってオーディオフレームを分類する前記ステップは、
記憶された周波数スペクトル変動の有効データの平均値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの平均値、記憶された周波数スペクトル相関度の有効データの平均値、及び、記憶された線形予測残留エネルギー勾配の有効データの分散を別々に得るステップと、
以下の条件、すなわち、周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、そうでなければ、現在オーディオフレームをスピーチフレームとして分類するステップとを含む。

第2の態様によれば、オーディオ信号分類装置が提供され、該装置は入力オーディオ信号を分類するように構成され、装置は、
現在オーディオフレームのボイス活性にしたがって現在オーディオフレームの周波数スペクトル変動を得て記憶するべきかどうかを決定する記憶決定ユニットであって、周波数スペクトル変動がオーディオ信号の周波数スペクトルのエネルギー変動を示す、記憶決定ユニットと、
周波数スペクトル変動が記憶される必要があるという結果を記憶決定ユニットが出力するときに周波数スペクトル変動を記憶するメモリと、
スピーチフレームがパーカッションミュージックであるかどうかにしたがって又は履歴オーディオフレームの活性にしたがってメモリに記憶される周波数スペクトル変動を更新する更新ユニットと、
メモリ内に記憶される周波数スペクトル変動の有効データの一部又は全部の統計値にしたがって現在オーディオフレームをスピーチフレーム又はミュージックフレームとして分類する分類ユニットとを含む。

第1の想定し得る実施態様において、記憶決定ユニットは、具体的には、現在オーディオフレームが活性フレームであると決定されるときに、現在オーディオフレームの周波数スペクトル変動が記憶される必要があるという結果を出力するように構成される。

第2の想定し得る実施態様において、記憶決定ユニットは、具体的には、現在オーディオフレームが活性フレームであるととともに現在オーディオフレームがエネルギー攻撃に属さないと決定されるときに、現在オーディオフレームの周波数スペクトル変動が記憶される必要があるという結果を出力するように構成される。

第3の想定し得る実施態様において、記憶決定ユニットは、具体的には、現在オーディオフレームが活性フレームであるととともに現在オーディオフレームと現在オーディオフレームの履歴フレームとを含む複数の連続するフレームのいずれもがエネルギー攻撃に属さないと決定されるときに、現在オーディオフレームの周波数スペクトル変動が記憶される必要があるという結果を出力するように構成される。

第2の態様又は第2の態様の第1の想定し得る実施態様又は第2の態様の第2の想定し得る実施態様又は第2の態様の第3の想定し得る実施態様と関連して、第4の想定し得る実施態様において、更新ユニットは、具体的には、現在オーディオフレームがパーカッションミュージックに属する場合に、周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動の値を変更するように構成される。

第2の態様又は第2の態様の第1の想定し得る実施態様又は第2の態様の第2の想定し得る実施態様又は第2の態様の第3の想定し得る実施態様と関連して、第5の想定し得る実施態様において、更新ユニットは、具体的には、現在オーディオフレームが活性フレームであるとともに前のオーディオフレームが不活性フレームである場合に、現在オーディオフレームの周波数スペクトル変動を除くメモリ内に記憶される他の周波数スペクトル変動のデータを無効データに変更する、或いは、
現在オーディオフレームが活性フレームであるとともに現在オーディオフレームの前の3つの連続するフレームが全て活性フレームではない場合に、現在オーディオフレームの周波数スペクトル変動を第1の値に変更する、或いは、
現在オーディオフレームが活性フレームであるとともに履歴分類結果がミュージック信号であり且つ現在オーディオフレームの周波数スペクトル変動が第2の値よりも大きい場合に、現在オーディオフレームの周波数スペクトル変動を第2の値に変更するように構成され、この場合、第2の値は第1の値よりも大きい。

第2の態様又は第2の態様の第1の想定し得る実施態様又は第2の態様の第2の想定し得る実施態様又は第2の態様の第3の想定し得る実施態様又は第2の態様の第4の想定し得る実施態様又は第2の態様の第5の想定し得る実施態様と関連して、第6の想定し得る実施態様において、分類ユニットは、
メモリ内に記憶される周波数スペクトル変動の有効データの一部又は全部の平均値を得る計算ユニットと、
周波数スペクトル変動の有効データの平均値とミュージック分類条件とを比較して、周波数スペクトル変動の有効データの平均値がミュージック分類条件を満たすときに現在オーディオフレームをミュージックフレームとして分類し、そうでなければ、現在オーディオフレームをスピーチフレームとして分類する決定ユニットとを含む。

第2の態様又は第2の態様の第1の想定し得る実施態様又は第2の態様の第2の想定し得る実施態様又は第2の態様の第3の想定し得る実施態様又は第2の態様の第4の想定し得る実施態様又は第2の態様の第5の想定し得る実施態様と関連して、第7の想定し得る実施態様において、オーディオ信号分類装置は、
現在オーディオフレームの周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、有声化パラメータ、及び、線形予測残留エネルギー勾配を取得するパラメータ取得ユニットを更に含み、周波数スペクトル高周波帯域ピーキネスは、現在オーディオフレームの周波数スペクトルの高周波帯域におけるピーキネス又はエネルギー尖鋭度を示し、周波数スペクトル相関度は、現在オーディオフレームの信号調和構造の隣接するフレーム間の安定性を示し、有声化パラメータは、現在オーディオフレームとピッチ期間の前の信号との間の時間領域相関度を示し、線形予測残留エネルギー勾配は、線形予測次数が増大するにつれてオーディオ信号の線形予測残留エネルギーが変化する度合いを示し、
記憶決定ユニットは、現在オーディオフレームのボイス活性にしたがって、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配をメモリに記憶するべきかどうかを決定するように更に構成され、
記憶ユニットは、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配が記憶される必要があるという結果を記憶決定ユニットが出力するときに周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を記憶するように更に構成され、
分類ユニットは、具体的には、記憶された周波数スペクトル変動の有効データの統計値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの統計値、記憶された周波数スペクトル相関度の有効データの統計値、及び、記憶された線形予測残留エネルギー勾配の有効データの統計値を得て、有効データの統計値にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類するように構成される。

第2の態様の第7の想定し得る実施態様に関連して、第8の想定し得る実施態様において、分類ユニットは、
記憶された周波数スペクトル変動の有効データの平均値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの平均値、記憶された周波数スペクトル相関度の有効データの平均値、及び、記憶された線形予測残留エネルギー勾配の有効データの分散を別々に得る計算ユニットと、
以下の条件、すなわち、周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、そうでなければ、現在オーディオフレームをスピーチフレームとして分類する決定ユニットとを含む。

第3の態様によれば、オーディオ信号分類方法が提供され、該方法は、
入力オーディオ信号に関してフレーム分割処理を行うステップと、
現在オーディオフレームの線形予測残留エネルギー勾配を得るステップであって、線形予測残留エネルギー勾配は、線形予測次数が増大するにつれてオーディオ信号の線形予測残留エネルギーが変化する度合いを示す、ステップと、
線形予測残留エネルギー勾配をメモリに記憶するステップと、
メモリ内の予測残留エネルギー勾配のデータの一部の統計値にしたがってオーディオフレームを分類するステップとを含む。

第1の想定し得る実施態様において、線形予測残留エネルギー勾配をメモリに記憶する前に、方法は、
現在オーディオフレームのボイス活性にしたがって、線形予測残留エネルギー勾配をメモリ内に記憶するべきかどうかを決定するとともに、線形予測残留エネルギー勾配が記憶される必要があると決定されるときに線形予測残留エネルギー勾配をメモリに記憶するステップを更に含む。

第3の態様又は第3の態様の第1の想定し得る実施態様と関連して、第2の想定し得る実施態様において、予測残留エネルギー勾配のデータの一部の統計値は、予測残留エネルギー勾配のデータの一部の分散であり、メモリ内の予測残留エネルギー勾配のデータの一部の統計値にしたがってオーディオフレームを分類する前記ステップは、
予測残留エネルギー勾配のデータの一部の分散とミュージック分類閾値とを比較するとともに、予測残留エネルギー勾配のデータの一部の分散がミュージック分類閾値を下回るときに現在オーディオフレームをミュージックフレームとして分類し、そうでなければ現在オーディオフレームをスピーチフレームとして分類するステップを含む。

第3の態様又は第3の態様の第1の想定し得る実施態様と関連して、第3の想定し得る実施態様において、オーディオ信号分類方法は、
現在オーディオフレームの周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、及び、周波数スペクトル相関度を得て、周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、及び、周波数スペクトル相関度を対応するメモリに記憶するステップを更に含み、
メモリ内の予測残留エネルギー勾配のデータの一部の統計値にしたがってオーディオフレームを分類する前記ステップは、
記憶された周波数スペクトル変動の有効データの統計値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの統計値、記憶された周波数スペクトル相関度の有効データの統計値、及び、記憶された線形予測残留エネルギー勾配の有効データの統計値を得て、有効データの統計値にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類するステップを含み、有効データの統計値とは、メモリに記憶される有効データに関して計算作業が行われた後に得られるデータ値のことである。

第3の態様の第3の想定し得る実施態様と関連して、第4の想定し得る実施態様において、記憶された周波数スペクトル変動の有効データの統計値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの統計値、記憶された周波数スペクトル相関度の有効データの統計値、及び、記憶された線形予測残留エネルギー勾配の有効データの統計値を得て、有効データの統計値にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類する前記ステップは、
記憶された周波数スペクトル変動の有効データの平均値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの平均値、記憶された周波数スペクトル相関度の有効データの平均値、及び、記憶された線形予測残留エネルギー勾配の有効データの分散を別々に得るステップと、
以下の条件、すなわち、周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、そうでなければ、現在オーディオフレームがスピーチフレームとして分類するステップとを含む。

第3の態様又は第3の態様の第1の想定し得る実施態様と関連して、第5の想定し得る実施態様において、オーディオ信号分類方法は、
現在オーディオフレームの周波数スペクトル音量と低周波帯域における周波数スペクトル音量の比率とを得るとともに、周波数スペクトル音量と低周波帯域における周波数スペクトル音量の比率とを対応するメモリ内に記憶するステップを更に含み、
メモリ内の予測残留エネルギー勾配のデータの一部の統計値にしたがってオーディオフレームを分類する前記ステップは、記憶された線形予測残留エネルギー勾配の統計値と記憶された周波数スペクトル音量の統計値とを別々に得るステップと、
線形予測残留エネルギー勾配の統計値、周波数スペクトル音量の統計値、及び、低周波帯域における周波数スペクトル音量の比率にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類するステップとを含み、統計値とは、メモリ内に記憶されるデータに関して計算作業が行われた後に得られるデータ値のことである。

第3の態様の第5の想定し得る実施態様と関連して、第6の想定し得る実施態様において、記憶された線形予測残留エネルギー勾配の統計値と記憶された周波数スペクトル音量の統計値とを別々に得る前記ステップは、
記憶された線形予測残留エネルギー勾配の分散を得るステップと、
記憶された周波数スペクトル音量の平均値を得るステップと
を含み、線形予測残留エネルギー勾配の統計値、周波数スペクトル音量の統計値、及び、低周波帯域における周波数スペクトル音量の比率にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類する前記ステップは、現在オーディオフレームが活性フレームであるとともに以下の条件、すなわち、
線形予測残留エネルギー勾配の分散が第5の閾値未満であり、或いは、
周波数スペクトル音量の平均値が第6の閾値よりも大きく、或いは、
低周波帯域における周波数スペクトル音量の比率が第7の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、
さもなければ、現在オーディオフレームをスピーチフレームとして分類するステップを含む。

第3の態様又は第3の態様の第1の想定し得る実施態様又は第3の態様の第2の想定し得る実施態様又は第3の態様の第3の想定し得る実施態様又は第3の態様の第4の想定し得る実施態様又は第3の態様の第5の想定し得る実施態様又は第3の態様の第6の想定し得る実施態様と関連して、第7の想定し得る実施態様において、現在オーディオフレームの線形予測残留エネルギー勾配を得る前記ステップは、
以下の式にしたがって現在オーディオフレームの線形予測残留エネルギー勾配を取得するステップを含み

、ここで、epsP（i）は、現在オーディオフレームのi番目の次数の線形予測の予測残留エネルギーを示し、nは、正の整数であって、線形予測次数を示すとともに、最大線形予測次数以下である。

第3の態様の第5の想定し得る実施態様又は第3の態様の第6の想定し得る実施態様と関連して、第8の想定し得る実施態様において、現在オーディオフレームの周波数スペクトル音量と低周波帯域における周波数スペクトル音量の比率とを得る前記ステップは、
0〜8kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量を計数して、その量を周波数スペクトル音量として使用するステップと、
0〜8kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量に対する0〜4kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量の比率を計算して、その比率を低周波帯域における周波数スペクトル音量の比率として使用するステップとを含む。

第4の態様によれば、信号分類装置が提供され、該装置は、入力オーディオ信号を分類するように構成され、装置は、
入力オーディオ信号に関してフレーム分割処理を行うフレーム分割ユニットと、
現在オーディオフレームの線形予測残留エネルギー勾配を取得するパラメータ取得ユニットであって、線形予測残留エネルギー勾配は、線形予測次数が増大するにつれてオーディオ信号の線形予測残留エネルギーが変化する度合いを示す、パラメータ取得ユニットと、
線形予測残留エネルギー勾配を記憶する記憶ユニットと、
メモリ内の予測残留エネルギー勾配のデータの一部の統計値にしたがってオーディオフレームを分類する分類ユニットとを含む。

第1の想定し得る実施態様において、信号分類装置は、
現在オーディオフレームのボイス活性にしたがって線形予測残留エネルギー勾配をメモリに記憶するべきかどうかを決定する記憶決定ユニットを更に含み、
記憶ユニットは、具体的には、線形予測残留エネルギー勾配が記憶される必要があることを記憶決定ユニットが決定するときに線形予測残留エネルギー勾配をメモリに記憶するように構成される。

第4の態様又は第4の態様の第1の想定し得る実施態様と関連して、第2の想定し得る実施態様において、予測残留エネルギー勾配のデータの一部の統計値は、予測残留エネルギー勾配のデータの一部の分散であり、
分類ユニットは、具体的には、予測残留エネルギー勾配のデータの一部の分散とミュージック分類閾値とを比較するとともに、予測残留エネルギー勾配のデータの一部の分散がミュージック分類閾値を下回るときに現在オーディオフレームをミュージックフレームとして分類し、そうでなければ現在オーディオフレームをスピーチフレームとして分類するように構成される。

第4の態様又は第4の態様の第1の想定し得る実施態様と関連して、第3の想定し得る実施態様において、パラメータ取得ユニットは、現在オーディオフレームの周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、及び、周波数スペクトル相関度を得て、周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、及び、周波数スペクトル相関度を対応するメモリに記憶するように更に構成され、
分類ユニットは、具体的には、記憶された周波数スペクトル変動の有効データの統計値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの統計値、記憶された周波数スペクトル相関度の有効データの統計値、及び、記憶された線形予測残留エネルギー勾配の有効データの統計値を得て、有効データの統計値にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類するように構成され、有効データの統計値とは、メモリに記憶される有効データに関して計算作業が行われた後に得られるデータ値のことである。

第4の態様の第3の想定し得る実施態様と関連して、第4の想定し得る実施態様において、分類ユニットは、
記憶された周波数スペクトル変動の有効データの平均値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの平均値、記憶された周波数スペクトル相関度の有効データの平均値、及び、記憶された線形予測残留エネルギー勾配の有効データの分散を別々に得る計算ユニットと、
以下の条件、すなわち、周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、そうでなければ、現在オーディオフレームをスピーチフレームとして分類する決定ユニットとを含む。

第4の態様又は第4の態様の第1の想定し得る実施態様と関連して、第5の想定し得る実施態様において、パラメータ取得ユニットは、現在オーディオフレームの周波数スペクトル音量と低周波帯域における周波数スペクトル音量の比率とを得るとともに、周波数スペクトル音量と低周波帯域における周波数スペクトル音量の比率とをメモリ内に記憶するように更に構成され、
分類ユニットは、具体的に、記憶された線形予測残留エネルギー勾配の統計値と記憶された周波数スペクトル音量の統計値とを別々に得て、線形予測残留エネルギー勾配の統計値、周波数スペクトル音量の統計値、及び、低周波帯域における周波数スペクトル音量の比率にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類するように構成され、有効データの統計値とは、メモリ内に記憶されるデータに関して計算作業が行われた後に得られるデータ値のことである。

第4の態様の第5の想定し得る実施態様と関連して、第6の想定し得る実施態様において、分類ユニットは、
記憶された線形予測残留エネルギー勾配の有効データの分散と記憶された周波数スペクトル音量の平均値とを得る計算ユニットと、
現在オーディオフレームが活性フレームであるとともに以下の条件、すなわち、線形予測残留エネルギー勾配の分散が第5の閾値未満であり、或いは、周波数スペクトル音量の平均値が第6の閾値よりも大きく、或いは、低周波帯域における周波数スペクトル音量の比率が第7の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、さもなければ、現在オーディオフレームをスピーチフレームとして分類する決定ユニットとを含む。

第4の態様又は第4の態様の第1の想定し得る実施態様又は第4の態様の第2の想定し得る実施態様又は第4の態様の第3の想定し得る実施態様又は第4の態様の第4の想定し得る実施態様又は第4の態様の第5の想定し得る実施態様又は第4の態様の第6の想定し得る実施態様と関連して、第7の想定し得る実施態様において、パラメータ取得ユニットは、以下の式にしたがって現在オーディオフレームの線形予測残留エネルギー勾配を取得し、

ここで、epsP（i）は、現在オーディオフレームのi番目の次数の線形予測の予測残留エネルギーを示し、nは、正の整数であって、線形予測次数を示すとともに、最大線形予測次数以下である。

第4の態様の第5の想定し得る実施態様又は第4の態様の第6の想定し得る実施態様と関連して、第8の想定し得る実施態様において、パラメータ取得ユニットは、0〜8kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量を計数して、その量を周波数スペクトル音量として使用するように構成され、パラメータ取得ユニットは、0〜8kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量に対する0〜4kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量の比率を計算して、その比率を低周波帯域における周波数スペクトル音量の比率として使用するように構成される。

本発明の実施形態では、周波数スペクトル変動の長期統計値にしたがってオーディオ信号が分類され、したがって、パラメータが比較的少なく、認識率が比較的高いとともに、複雑さが比較的低い。また、周波数スペクトル変動は、ボイス活性及びパーカッションミュージックなどの因子を考慮して調整され、したがって、本発明は、ミュージック信号に関してより高い認識率を有するとともに、ハイブリッドオーディオ信号分類に適している。

本発明の実施形態又は従来技術における技術的な解決策をより明確に説明するために、以下は、実施形態又は従来技術を説明するために必要な添付図面を簡単に導入する。明らかに、以下の説明における添付図面は、本発明の幾つかの実施形態を単に示すにすぎず、また、当業者は、創造的労力を伴わずにこれらの添付図面から他の図面を依然として導き出すことができる。

オーディオ信号をフレームに分割する概略図である。 本発明に係るオーディオ信号分類方法の一実施形態の概略的なフローチャートである。 本発明に係る周波数スペクトル変動を得る一実施形態の概略的なフローチャートである。 本発明に係るオーディオ信号分類方法の他の実施形態の概略的なフローチャートである。 本発明に係るオーディオ信号分類方法の他の実施形態の概略的なフローチャートである。 本発明に係るオーディオ信号分類方法の他の実施形態の概略的なフローチャートである。 本発明に係るオーディオ信号分類方法の具体的な分類フローチャートである。 本発明に係るオーディオ信号分類方法の具体的な分類フローチャートである。 本発明に係るオーディオ信号分類方法の具体的な分類フローチャートである。 本発明に係るオーディオ信号分類方法の具体的な分類フローチャートである。 本発明に係るオーディオ信号分類方法の他の実施形態の概略的なフローチャートである。 本発明に係るオーディオ信号分類方法の具体的な分類フローチャートである。 本発明に係るオーディオ信号分類装置の一実施形態の概略的な構造図である。 本発明に係る分類ユニットの一実施形態の概略的な構造図である。 本発明に係るオーディオ信号分類装置の他の実施形態の概略的な構造図である。 本発明に係るオーディオ信号分類装置の他の実施形態の概略的な構造図である。 本発明に係る分類ユニットの一実施形態の概略的な構造図である。 本発明に係るオーディオ信号分類装置の他の実施形態の概略的な構造図である。 本発明に係るオーディオ信号分類装置の他の実施形態の概略的な構造図である。

以下、本発明の実施形態における添付図面を参照して、本発明の実施形態における技術的解決策を明確に且つ完全に説明する。明らかに、説明される実施形態は、本発明の実施形態の単なる一部にすぎず、全てではない。創造的労力を伴うことなく本発明の実施形態に基づいて当業者により得られる他の全ての実施形態は、本発明の保護範囲内に入るものとする。

デジタル信号処理の分野において、オーディオコーデック及びビデオコーデックは、様々な電子デバイスにおいて、例えば、携帯電話、無線装置、パーソナル・デジタル・アシスタント（PDA）、ハンドヘルドコンピュータ又はポータブルコンピュータ、GPS受信器／ナビゲータ、カメラ、オーディオ／ビデオプレーヤ、ビデオカメラ、ビデオレコーダ、及び、監視デバイスにおいて幅広く適用される。一般に、このタイプの電子デバイスはオーディオエンコーダ又はオーディオデコーダを含み、オーディオエンコーダ又はデコーダは、デジタル回路又はチップ、例えばDSP（digital signal processor）によって直接的に実施されてもよく、或いは、ソフトウェアコードでプロセスを実行するためにプロセッサを駆動させるソフトウェアコードによって実施されてもよい。オーディオエンコーダでは、オーディオ信号が最初に分類されて、異なるタイプのオーディオ信号が異なるエンコーディングモードでエンコードされ、その後、エンコーディング後に得られるビットストリームがデコーダ側に送信される。

一般に、オーディオ信号がフレーム分割態様で処理され、また、信号の各フレームが特定の継続時間のオーディオ信号を表す。図1を参照すると、現在入力されて分類される必要があるオーディオフレームは、現在オーディオフレームと称されてもよく、また、現在オーディオフレームの前の任意のオーディオフレームは、履歴オーディオフレームと称されてもよい。現在オーディオフレームから履歴オーディオフレームへの時間系列にしたがって、履歴オーディオフレームは、順次に、前のオーディオフレーム、2番目前のオーディオフレーム、3番目前のオーディオフレーム、及び、N番目前のオーディオフレームになってもよく、ここで、Nは4以上である。

この実施形態において、入力オーディオ信号は16kHzでサンプリングされる広帯域オーディオ信号であり、また、入力オーディオ信号は、1フレームとして20msを使用することにより複数のフレームに分割される。すなわち、各フレームは、320個の時間領域サンプリングポイントを有する。特性パラメータが抽出される前に、入力オーディオ信号フレームが最初に12．8kHzのサンプリングレートでダウンサンプリングされる。すなわち、それぞれのフレームに256個のサンプリングポイントが存在する。以下の各入力オーディオ信号フレームは、ダウンサンプリング後に得られるオーディオ信号フレームを示す。

図2を参照すると、オーディオ信号分類方法の一実施形態は以下を含む。

S101：入力オーディオ信号に関してフレーム分割処理を行うとともに、現在オーディオフレームのボイス活性にしたがって、現在オーディオフレームの周波数スペクトル変動を得て、周波数スペクトル変動がオーディオ信号の周波数スペクトルのエネルギー変動を示す場合に、周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するべきかどうかを決定する。

オーディオ信号分類は一般にフレームごとに行われ、また、分類を行って、オーディオ信号フレームがスピーチフレームに属するのか或いはミュージックフレームに属するのかどうかを決定するとともに、対応するエンコーディングモードでエンコーディングを行うために、各オーディオ信号フレームからパラメータが抽出される。一実施形態では、フレーム分割処理がオーディオ信号に関して行われた後に、現在オーディオフレームの周波数スペクトル変動が得られてもよく、また、その後、現在オーディオフレームのボイス活性にしたがって、周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するべきかどうかが決定される。他の実施形態では、フレーム分割処理がオーディオ信号に関して行われた後に、現在オーディオフレームのボイス活性にしたがって、周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するべきかどうかが決定されてもよく、また、周波数スペクトル変動が記憶される必要があるときには、周波数スペクトル変動が得られて記憶される。

周波数スペクトル変動fluxは、信号の周波数スペクトルの短期又は長期エネルギー変動を示すとともに、低帯域スペクトル及び中帯域スペクトルにおける現在オーディオフレーム及び履歴フレームの対応する周波数間の対数エネルギー差の絶対値の平均値であり、この場合、履歴フレームとは、現在オーディオフレームの前の任意のフレームのことである。一実施形態において、周波数スペクトル変動は、低帯域スペクトル及び中帯域スペクトルにおける現在オーディオフレーム及び該現在オーディオフレームの履歴フレームの対応する周波数間の対数エネルギー差の絶対値の平均値である。他の実施形態において、周波数スペクトル変動は、低帯域スペクトル及び中帯域スペクトルにおける現在オーディオフレーム及び履歴フレームの対応する周波数スペクトルピーク値間の対数エネルギー差の絶対値の平均値である。

図3を参照すると、周波数スペクトル変動を得る一実施形態は、以下のステップを含む。

S1011：現在オーディオフレームの周波数スペクトルを得る。

一実施形態では、オーディオフレームの周波数スペクトルが直接に得られてもよく、他の実施形態では、現在オーディオフレームの任意の2つのサブフレームの周波数スペクトル、すなわち、エネルギースペクトルが得られてもよく、また、現在オーディオフレームの周波数スペクトルは、2つのサブフレームの周波数スペクトルの平均値を使用することによって得られる。

S1012：現在オーディオフレームの履歴フレームの周波数スペクトルを得る。

履歴フレームは、現在オーディオフレームの前の任意のオーディオフレームを示し、一実施形態では現在オーディオフレームの3番目前のオーディオフレームであってもよい。

S1013：低帯域スペクトル及び中帯域スペクトルにおける現在オーディオフレーム及び履歴フレームの対応する周波数間の対数エネルギー差の絶対値の平均値を計算して、該平均値を現在オーディオフレームの周波数スペクトル変動として使用する。

一実施形態では、低帯域スペクトル及び中帯域スペクトルにおける現在オーディオフレームの全ての周波数ビンの対数エネルギーと低帯域スペクトル及び中帯域スペクトルにおける履歴フレームの対応する周波数ビンの対数エネルギーとの間の差の絶対値の平均値が計算されてもよい。

他の実施形態では、低帯域スペクトル及び中帯域スペクトルにおける現在オーディオフレームの周波数スペクトルピーク値の対数エネルギーと低帯域スペクトル及び中帯域スペクトルにおける履歴フレームの対応する周波数スペクトルピーク値の対数エネルギーとの間の差の絶対値の平均値が計算されてもよい。

低帯域スペクトル及び中帯域スペクトルは、例えば、0〜fs／4又は0〜fs／3の範囲の周波数スペクトルである。

入力オーディオ信号が16kHzでサンプリングされる広帯域オーディオ信号であって、1フレームが使用される際に入力オーディオ信号が20msを使用する例では、20msごとに現在オーディオフレームに関して256ポイントの前のFFT及び256ポイントの後のFFTが行われて、2つのFFT窓が50％だけ重ね合わされるとともに、現在オーディオフレームの2つのサブフレームの周波数スペクトル（エネルギースペクトル）が得られてそれぞれC⁰（i）及びC¹（i）、i＝0，1，…，127としてマークされる。ここで、C^x（i）はx番目のサブフレームの周波数スペクトルを示す。前のフレームの2番目のサブフレームのデータは、現在オーディオフレームの1番目のサブフレームのFFTのために使用される必要があり、ここで、
C^x（i）＝rel²（i）＋img²（i）
であり、また、rel（i）及びimg（i）は、i番目の周波数ビンのFFT係数の実数部分及び虚数部分をそれぞれ示す。現在オーディオフレームの周波数スペクトルC（i）は、2つのサブフレームの周波数スペクトルを平均化することによって得られる。ここで、

である。

現在オーディオフレームの周波数スペクトル変動fluxは、一実施形態では、低帯域スペクトル及び中帯域スペクトルにおける現在オーディオフレーム及び現在オーディオフレームより60ms前のフレームの対応する周波数間の対数エネルギー差の絶対値の平均値であり、また、他の実施形態では、間隔が60msでなくてもよく、この場合、

である。ここで、C₋₃（i）は、現在オーディオフレームの3番目前の履歴フレーム、すなわち、この実施形態でフレーム長が20msであるときには現在オーディオフレームより60ms前の履歴フレームの周波数スペクトルを示す。この明細書中のX_−n（）と同様の各形式は、現在オーディオフレームのn番目の履歴フレームのパラメータXを示し、また、添字0は、現在オーディオフレームに関して省かれてもよい。log（．）は、底として10を伴う対数を示す。

他の実施形態において、現在オーディオフレームの周波数スペクトル変動fluxは、以下の方法を使用することによって得られてもよい。すなわち、周波数スペクトル変動flux、低帯域スペクトル及び中帯域スペクトルにおける現在オーディオフレーム及び現在オーディオフレームより60ms前のフレームの対応する周波数スペクトルピーク値間の対数エネルギー差の絶対値の平均値であり、この場合、

である。ここで、P（i）は、現在オーディオフレームの周波数スペクトルのi番目の局所ピーク値のエネルギーを示し、局所ピーク値が位置される周波数ビンは、そのエネルギーが隣接する高い方の周波数ビンのエネルギー及び隣接する低い方の周波数ビンのエネルギーよりも大きい周波数スペクトルにおける周波数ビンであり、また、Kは、低帯域スペクトル及び中帯域スペクトルにおける局所ピーク値の大きさを示す。

現在オーディオフレームのボイス活性にしたがって、周波数スペクトル変動を周波数スペクトル変動メモリ内に光学的要素億するべきかどうかを決定することは、以下の複数の態様で実施されてもよい。

一実施形態では、オーディオフレームが活性フレームであることをオーディオフレームのボイス活性パラメータが示す場合には、オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶され、さもなければ、周波数スペクトル変動が記憶されない。

他の実施形態では、オーディオフレームのボイス活性とオーディオフレームがエネルギー攻撃であるかどうかとにしたがって、周波数スペクトル変動をメモリ内に記憶するべきかどうかが決定される。オーディオフレームが活性フレームであることをオーディオフレームのボイス活性パラメータが示すとともに、オーディオフレームがエネルギー攻撃に属さないことをオーディオフレームがエネルギー攻撃であるかどうかを示すパラメータが示す場合には、オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶され、さもなければ、周波数スペクトル変動が記憶されない。他の実施形態では、現在オーディオフレームが活性フレームであるとともに、現在オーディオフレームと現在オーディオフレームの履歴フレームとを含む複数の連続フレームのいずれもがエネルギー攻撃に属さない場合には、オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶され、さもなければ、周波数スペクトル変動が記憶されない。例えば、現在オーディオフレームが活性フレームであるとともに、現在オーディオフレーム、前のオーディオフレーム、及び、2番目前のオーディオフレームのいずれもがエネルギー攻撃に属さない場合には、オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶され、さもなければ、周波数スペクトル変動が記憶されない。

ボイス活性フラグvad＿flagは、現在の入力信号が活性フォアグラウンド信号（スピーチ、ミュージック等）又はフォアグラウンド信号のサイレントバックグラウンド信号（背景雑音又は消音など）であるかどうかを示すとともに、ボイス活性検出器VADによって得られる。vad＿flag＝1は、入力信号フレームが活性フレーム、すなわち、フォアグラウンド信号フレームであることを示し、さもなければ、vad＿flag＝0はバックグラウンド信号フレームを示す。VADは本発明の発明内容に属さないため、ここではVADの特定のアルゴリズムについて詳しく説明しない。

ボイス攻撃フラグattack＿flagは、ミュージックにおいて現在オーディオフレームがエネルギー攻撃に属するかどうかを示す。現在オーディオフレームの前の幾つかの履歴フレームが主にミュージックフレームであるときに、現在オーディオフレームのフレームエネルギーが、現在オーディオフレームの1番目前の履歴フレームのフレームエネルギーに対して相対的に大きく増大するとともに、現在オーディオフレームより前の期間内にあるオーディオフレームの平均エネルギーに対して相対的に大きく増大し、また、現在オーディオフレームの時間領域エンベロープも現在オーディオフレームより前の期間内にあるオーディオフレームの平均エンベロープに対して相対的に大きく増大する場合には、ミュージックにおいて現在オーディオフレームがエネルギー攻撃に属すると見なされる

現在オーディオフレームのボイス活性にしたがって、現在オーディオフレームの周波数スペクトル変動は、現在オーディオフレームが活性フレームであるときにのみ記憶され、これにより、不活性フレームの誤判断比率を減少させることができるとともに、オーディオ分類の認識率を向上させることができる。

以下の条件が満たされると、attack＿flagが1に設定され、すなわち、attack＿flagは、ミュージックの断片において現在オーディオフレームがエネルギー攻撃であることを示す：

。ここで、etotは、現在オーディオフレームの対数フレームエネルギーを示し、etot₋₁は、前のオーディオフレームの対数フレームエネルギーを示し、lp＿speechは、対数フレームエネルギーetotの長期移動平均を示し、log＿max＿spl及びmov＿log＿max＿splは、現在オーディオフレーム最大対数サンプリングポイント振幅の時間領域及び最大対数サンプリングポイント振幅の長期移動平均をそれぞれ示し、及び、mode＿movは、信号分類における履歴的な最終分類結果の長期移動平均を示す。

先の式の意味は、現在オーディオフレームの前の幾つかの履歴フレームが主にミュージックフレームであるときに、現在オーディオフレームのフレームエネルギーが、現在オーディオフレームの1番目前の履歴フレームのフレームエネルギーに対して相対的に大きく増大するとともに、現在オーディオフレームより前の期間内にあるオーディオフレームの平均エネルギーに対して相対的に大きく増大し、また、現在オーディオフレームの時間領域エンベロープも現在オーディオフレームより前の期間内にあるオーディオフレームの平均エンベロープに対して相対的に大きく増大する場合に、ミュージックにおいて現在オーディオフレームがエネルギー攻撃に属すると見なされるということである。

対数フレームエネルギーetotは、入力オーディオフレームの対数総サブバンドエネルギーによって示される：

。ここで、hb（j）及びlb（j）は、入力オーディオフレームの周波数スペクトルにおけるj番目のサブバンドの高周波数境界及び低周波数境界をそれぞれ示し、また、C（i）は、入力オーディオフレームの周波数スペクトルを示す。

現在オーディオフレームの時間領域最大対数サンプリングポイント振幅の長期移動平均mov＿log＿max＿splは、活性ボイスフレームにおいてのみ更新される：

。

一実施形態において、現在オーディオフレームの周波数スペクトル変動fluxは、FIFO flux履歴buffer内にバッファリングされる。この実施形態では、flux履歴bufferの長さが60（60フレーム）である。現在オーディオフレームのボイス活性と、オーディオフレームがエネルギー攻撃であるかどうかとが決定され、また、現在オーディオフレームがフォアグラウンド信号フレームであり且つ現在オーディオフレーム及び現在オーディオフレームの前の2つのフレームのいずれもがミュージックのエネルギー攻撃に属さないときには、現在オーディオフレームの周波数スペクトル変動fluxがメモリに記憶される。

現在オーディオフレームのfluxがバッファリングされる前に、以下の条件が満たされるかどうかがチェックされる：

。条件が満たされれば、fluxがバッファリングされ、そうでなければfluxがバッファリングされない。

vad＿flagは、現在の入力信号が活性フォアグラウンド信号又はフォアグラウンド信号のサイレントバックグラウンド信号であるかどうかを示し、また、vad＿flag＝0はバックグラウンド信号フレームを示し、また、attack＿flagは、現在オーディオフレームがミュージックにおいてエネルギー攻撃に属するかどうかを示し、attack＿flag＝1は、ミュージックの断片において現在オーディオフレームがエネルギー攻撃であることを示す。

先の式の意味は、現在オーディオフレームが活性フレームであり、現在オーディオフレーム、前のオーディオフレーム、及び、2番目前のオーディオフレームのいずれもがエネルギー攻撃に属さないということである。

S102：オーディオフレームがパーカッションミュージックであるかどうかにしたがって或いは履歴オーディオフレームの活性にしたがって、周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動を更新する。

一実施形態では、現在オーディオフレームがパーカッションミュージックに属することをオーディオフレームがパーカッションミュージックに属するかどうかを示すパラメータが示す場合には、周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動の値が変更されるとともに、周波数スペクトル変動メモリ内の有効周波数スペクトル変動値がミュージック閾値以下の値に変更され、この場合、オーディオフレームの周波数スペクトル変動がミュージック閾値を下回るときには、オーディオがミュージックフレームとして分類される。一実施形態では、有効周波数スペクトル変動値が5にリセットされる。すなわち、パーカッションサウンドフラグpercus＿flagが1に設定されると、flux履歴buffer内の有効bufferデータの全てが5にリセットされる。本明細書中では、有効bufferデータが有効周波数スペクトル変動値に等しい。一般に、ミュージックフレームの周波数スペクトル変動値は相対的に小さく、一方、スピーチフレームの周波数スペクトル変動値は相対的に大きい。オーディオフレームがパーカッションミュージックに属するときには、有効周波数スペクトル変動値がミュージック閾値以下の値に変更され、それにより、オーディオフレームがミュージックフレームとして分類される可能性を高めることができ、その結果、オーディオ信号分類の精度を向上させることができる。

他の実施形態において、メモリ内の周波数スペクトル変動は、現在オーディオフレームの履歴フレームの活性にしたがって更新される。具体的には、一実施形態では、現在オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶されること、及び、前のオーディオフレームが不活性フレームであることが決定されれば、現在オーディオフレームの周波数スペクトル変動を除く周波数スペクトル変動メモリ内に記憶される他の周波数スペクトル変動のデータが無効データへと変更される。前のオーディオフレームが不活性フレームである一方で現在オーディオフレームが活性フレームであるときには、現在オーディオフレームのボイス活性が履歴フレームのボイス活性とは異なり、履歴フレームの周波数スペクトル変動が無効にされ、それにより、オーディオ分類に対する履歴フレームの影響を減らすことができ、その結果、オーディオ信号分類の精度を向上させることができる。

他の実施形態では、現在オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶されること、及び、現在オーディオフレームの前の3つの連続するフレームが全て活性フレームでないことが決定されれば、現在オーディオフレームの周波数スペクトル変動が第1の値に変更される。第1の値がスピーチ閾値であってもよく、この場合、オーディオフレームの周波数スペクトル変動がスピーチ閾値よりも大きいときには、オーディオがスピーチフレームとして分類される。他の実施形態では、現在オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶されること、及び、履歴フレームの分類結果がミュージックフレームであり、現在オーディオフレームの周波数スペクトル変動が第2の値よりも大きいことが決定されれば、現在オーディオフレームの周波数スペクトル変動が第2の値に変更され、この場合、第2の値は第1の値よりも大きい。

現在オーディオフレームのfluxがバッファリングされるとともに、flux履歴buffer内に新たにバッファリングされる現在オーディオフレームfluxを除き、前のオーディオフレームが不活性フレーム（vad＿flag＝0）である場合には、flux履歴buffer内の残りのデータが全て−1（データが無効にされることに相当する）にリセットされる。

fluxがflux履歴buffer内にバッファリングされるとともに、現在オーディオフレームの前の3つの連続するフレームが全て活性フレーム（vad＿flag＝1）でない場合には、flux履歴buffer内に今しがたバッファリングされた現在オーディオフレームfluxが16に変更される。すなわち、以下の条件が満たされるかどうかがチェックされる：

。条件が満たされない場合には、flux履歴buffer内に今しがたバッファリングされた現在オーディオフレームfluxが16に変更され、また、
現在オーディオフレームの前の3つの連続するフレームが全て活性フレーム（vad＿flag＝1）である場合には、以下の条件が満たされるかどうかがチェックされる：

。条件が満たされれば、flux履歴buffer内に今しがたバッファリングされた現在オーディオフレームfluxが20に変更され、さもなければ、作業が行われない。
ここで、mode＿movは、信号分類における履歴的な最終分類結果の長期移動平均を示し、mode＿mov＞0．9は、信号がミュージック信号であることを示し、また、スピーチ特性がflux内で生じる可能性を減らして分類を決定する安定性を高めるために、fluxは、オーディオ信号の履歴分類結果にしたがって制限される。

現在オーディオフレームの前の3つの連続する履歴フレームが全て不活性フレームであるとともに、現在オーディオフレームが活性フレームであるとき、或いは、現在オーディオフレームの前の3つの連続するフレームが全て活性フレームではないとともに、現在オーディオフレームが活性フレームであるときには、分類が初期化段階にある。一実施形態において、分類結果をスピーチ（ミュージック）になりやすくするために、現在オーディオフレームの周波数スペクトル変動がスピーチ（ミュージック）閾値に又はスピーチ（ミュージック）閾値に近い値に変更されてもよい。他の実施形態では、現在の信号の前の信号がスピーチ（ミュージック）信号である場合には、分類を決定する安定性を向上させるために、現在オーディオフレームの周波数スペクトル変動がスピーチ（ミュージック）閾値に又はスピーチ（ミュージック）閾値に近い値に変更されてもよい。他の実施形態にでは、分類結果をミュージックになりやすくするために、周波数スペクトル変動が制限されてもよい。すなわち、周波数スペクトル変動がスピーチ特性であると決定する確率を減らすために、現在オーディオフレームの周波数スペクトル変動は、周波数スペクトル変動が閾値よりも大きくならないように変更されてもよい。

パーカッションサウンドフラグpercus＿flagは、パーカッションサウンドがオーディオフレームに存在するかどうかを示す。percus＿flagが1に設定されることは、パーカッションサウンドが検出されることを示し、また、percus＿flagが0に設定されることは、パーカッションサウンドが検出されないことを示す。

短期及び長期の両方において比較的鋭いエネルギー突出が現在の信号（すなわち、現在オーディオフレームと現在オーディオフレームの幾つかの履歴フレームとを含む幾つかの最新の信号フレーム）で生じるとともに、現在の信号が明らかな有声音特性を有さないときに、現在オーディオフレームの前の幾つかの履歴フレームが主にミュージックフレームである場合には、現在の信号がパーカッションミュージックの断片であると見なされ、そうでない場合には、更に、現在の信号のサブフレームのいずれもが明らかな有声音特性を有さず且つ現在の信号の時間領域エンベロープにおいても時間領域エンベロープの長期平均に対して相対的に明らかな増大が生じれば、現在の信号がパーカッションミュージックの断片であると同様に見なされる。

パーカッションサウンドフラグpercus＿flagは、以下のステップを行うことによって得られる。

入力オーディオフレームの対数フレームエネルギーetotが最初に得られ、この場合、対数フレームエネルギーetotは入力オーディオフレームの対数総サブバンドエネルギーによって示される：

。ここで、hb（j）及びlb（j）は、入力フレームの周波数スペクトルにおけるj番目のサブバンドの高周波数境界及び低周波数境界をそれぞれ示し、また、C（i）は、入力オーディオフレームの周波数スペクトルを示す。

以下の条件が満たされると、percus＿flagが1に設定され、そうでなければ、percus＿flagが0に設定される：

又は

。ここで、etotは、現在オーディオフレームの対数フレームエネルギーを示し、lp＿speechは、対数フレームエネルギーetotの長期移動平均を示し、voicing（0）、voicing₋₁（0）、及びvoicing₋₁（1）は、現在入力オーディオフレームの第1のサブフレーム及び第1の履歴フレームの第1及び第2のサブフレームの正規化開ループピッチ相関度をそれぞれ示し、また、有声化パラメータvoicingは、線形予測及び解析を用いて得られ、現在オーディオフレームとピッチ期間前の信号との間の時間領域相関度を表すとともに、0〜1の値を有し、mode＿movは、信号分類における履歴的な最終分類結果の長期移動平均を示し、log＿max＿spl₋₂及びmov＿log＿max＿spl₋₂は、第2の履歴フレームの時間領域最大対数サンプリングポイント振幅及び時間領域最大対数サンプリングポイント振幅の長期移動平均をそれぞれ示す。lp＿speechは、それぞれの活性ボイスフレーム（すなわち、そのvad＿flagが1であるフレーム）において更新され、また、lp＿speechを更新するための方法は以下の通りである。
lp＿speech＝0．99・lp＿speech₋₁＋0．01・etot。

先の2つの式の意味は、短期及び長期の両方において比較的鋭いエネルギー突出が現在の信号（すなわち、現在オーディオフレームと現在オーディオフレームの幾つかの履歴フレームとを含む幾つかの最新の信号フレーム）で生じるとともに、現在の信号が明らかな有声音特性を有さないときに、現在オーディオフレームの前の幾つかの履歴フレームが主にミュージックフレームである場合には、現在の信号がパーカッションミュージックの断片であると見なされ、そうでない場合には、更に、現在の信号のサブフレームのいずれもが明らかな有声音特性を有さず且つ現在の信号の時間領域エンベロープにおいても時間領域エンベロープの長期平均に対して相対的に明らかな増大が生じれば、現在の信号がパーカッションミュージックの断片であると同様に見なされるということである。

有声化パラメータvoicing、すなわち、正規化開ループピッチ相関度は、現在オーディオフレームとピッチ期間前の信号との間の時間領域相関度を示し、ACELP開ループピッチ検索を用いて得られてもよく、また、0〜1の値を有する。これは、従来技術に属し、したがって、本発明で詳しく説明されない。この実施形態において、voicingは、現在オーディオフレームの2つの各サブフレームごとに計算され、また、voicingは、現在オーディオフレームの有声化パラメータを得るために平均化される。また、現在オーディオフレームの有声化パラメータも有声化履歴buffer内にバッファリングされ、また、この実施形態では、有声化履歴bufferの長さが10である。

mode＿movは、各活性ボイスフレームにおいて更新され、また、該フレームの前に30を超える連続する活性ボイスフレームが生じたときに更新され、また、更新方法は以下の通りである。

。ここで、modeは、現在入力オーディオフレームの分類結果であり、2進値を有し、この場合、「0」はスピーチカテゴリーを示し、また、「1」はミュージックカテゴリーを示す。

S103：周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動のデータの一部又は全部の統計値にしたがって現在オーディオフレームをスピーチフレームとして或いはミュージックフレームとして分類する。周波数スペクトル変動の有効データの統計値がスピーチ分類条件を満たすときには、現在オーディオフレームがスピーチフレームとして分類され、周波数スペクトル変動の有効データの統計値がミュージック分類条件を満たすときには、現在オーディオフレームがミュージックフレームとして分類される。

ここでの統計値は、周波数スペクトル変動メモリ内に記憶される有効周波数スペクトル変動（すなわち、有効データ）に関して統計演算を行うことによって得られる値である。例えば、統計演算は、平均値又は分散を得るための演算であってもよい。以下の実施形態における統計値は、同様の意味を有する。

一実施形態において、ステップS103は、
周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動の有効データの一部又は全部の平均値を得ることを含み、また、
周波数スペクトル変動の有効データの得られた平均値がミュージック分類条件を満たすときには、現在オーディオフレームをミュージックフレームとして分類し、そうでなければ、現在オーディオフレームをスピーチフレームとして分類する。

例えば、周波数スペクトル変動の有効データの得られた平均値がミュージック分類閾値を下回るときには、現在オーディオフレームがミュージックフレームとして分類され、そうでなければ、現在オーディオフレームがスピーチフレームとして分類される。

一般に、ミュージックフレームの周波数スペクトル変動値は相対的に小さく、一方、スピーチフレームの周波数スペクトル変動値は相対的に大きい。したがって、現在オーディオフレームは、周波数スペクトル変動にしたがって分類されてもよい。確かに、信号分類は、他の分類方法を使用することにより現在オーディオフレームに関して行われてもよい。例えば、周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動の有効データの断片の量が計数され、有効データの断片の量にしたがって、近端から遠端までの長さが異なる少なくとも2つの区間に周波数スペクトル変動メモリが分割され、各区間に対応する周波数スペクトル変動の有効データの平均値が得られ、この場合、区間の開始点が現在のフレームの周波数スペクトル変動の記憶場所であり、近端は、現在のフレームの周波数スペクトル変動が記憶される端部であり、遠端は、履歴フレームの周波数スペクトル変動が記憶される端部であり、オーディオフレームは、相対的に短い区間内の周波数スペクトル変動の統計値にしたがって分類され、この区間内のパラメータの統計値がオーディオフレームのタイプを区別するのに十分であれば、分類プロセスが終了し、そうでなければ、残りの相対的に長い区間の最も短い区間内で分類プロセスが続けられ、残りの部分を類推によって推定できる。各区間の分類プロセスでは、各区間に対応する分類閾値にしたがって現在オーディオフレームが分類されて、現在オーディオフレームがスピーチフレーム又はミュージックフレームとして分類され、周波数スペクトル変動の有効データの統計値がスピーチ分類条件を満たすときには、現在オーディオフレームがスピーチフレームとして分類され、周波数スペクトル変動の有効データの統計値がミュージック分類条件を満たすときには、現在オーディオフレームがミュージックフレームとして分類される。

信号分類後、異なる信号が異なるエンコーディングモードでエンコードされてもよい。例えば、スピーチ生成モデル（例えばCELPなど）に基づくエンコーダを使用することによりスピーチ信号がエンコードされ、また、変換に基づくエンコーダ（例えばMDCTに基づくエンコーダなど）を使用することによりミュージック信号がエンコードされる。

前述の実施形態では、周波数スペクトル変動の長期統計値にしたがってオーディオ信号が分類されるため、パラメータが比較的少なく、認識率が比較的高いとともに、複雑さが比較的低い。また、周波数スペクトル変動は、ボイス活性及びパーカッションミュージックなどの因子を考慮して調整され、したがって、本発明は、ミュージック信号に関してより高い認識率を有するとともに、ハイブリッドオーディオ信号分類に適している。

図4を参照すると、他の実施形態では、ステップS102の後、方法が以下を更に含む。

S104：現在オーディオフレームの周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を得て、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配をメモリに記憶し、この場合、周波数スペクトル高周波帯域ピーキネスは、現在オーディオフレームの周波数スペクトルの高周波帯域におけるピーキネス又はエネルギー尖鋭度を示し、周波数スペクトル相関度は、信号調和構造の隣接するフレーム間の安定性を示し、また、線形予測残留エネルギー勾配は、線形予測次数が増大するにつれて入力オーディオ信号の線形予測残留エネルギーが変化する度合いを示す。

随意的に、これらのパラメータが記憶される前に、方法は、現在オーディオフレームのボイス活性にしたがって、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配をメモリ内に記憶するべきかどうかを決定し、また、現在オーディオフレームが活性フレームである場合には、パラメータを記憶し、そうでない場合には、パラメータの記憶を省くことを更に含む。

周波数スペクトル高周波帯域ピーキネスは、現在オーディオフレームの周波数スペクトルの高周波帯域におけるピーキネス又はエネルギー尖鋭度を示す。一実施形態において、周波数スペクトル高周波帯域ピーキネスphは、以下の式を使用することによって計算される。

ここで、p2v＿map（i）は、周波数スペクトルのi番目の周波数ビンのピーキネスを示し、また、ピーキネスp2v＿map（i）は、以下の式を使用することにより得られる。

ここで、i番目の周波数ビンが周波数スペクトルの局所ピーク値であれば、peak（i）＝C（i）であり、さもなければpeak（i）＝0であり、また、vl（i）及びvr（i）は、i番目の周波数ビンの高周波側及び低周波側のそれぞれにおけるi番目の周波数ビンに最も隣接する局所周波数スペクトルバレー値v（n）を示し、この場合、

、及び

である。

現在オーディオフレームの周波数スペクトル高周波帯域ピーキネスphもph履歴buffer内にバッファリングされ、また、この実施形態では、ph履歴bufferの長さが60である。

周波数スペクトル相関度cor＿map＿sumは、信号調和構造の隣接するフレーム間の安定性を示すとともに、以下のステップを行うことによって得られる。

最初に、入力オーディオフレームC（i）のフロア除去周波数スペクトルC’（i）が得られ、この場合、
C’（i）＝C（i）−floor（i）
であり、ここで、floor（i）は、入力オーディオフレームの周波数スペクトルのスペクトルフロアを示し、ここで、i＝0，1，…，127であり、また、

である。ここで、idx［x］は、周波数スペクトルにおけるxの位置を示し、その場合、idx［x］＝0，1，…，127である。

その後、全ての2つの隣接する周波数スペクトルバレー値間で、入力オーディオフレームのフロア除去周波数スペクトルと前のフレームのフロア除去周波数スペクトルとの間の相関cor（n）が得られる。この場合、

であり、ここで、lb（n）及びhb（n）はそれぞれ、n番目の周波数スペクトルバレー値区間（すなわち、2つの隣り合うバレー値間に位置される領域）の終点位置、すなわち、バレー値区間の2つの周波数スペクトルバレー値を限定する位置を示す。

最後に、入力オーディオフレームの周波数スペクトル相関度cor＿map＿sumが以下の式を使用することにより計算される。

ここで、inv［f］は、関数fの逆関数を示す。

線形予測残留エネルギー勾配epsP＿tiltは、線形予測次数が増大するにつれて入力オーディオ信号の線形予測残留エネルギーが変化する度合いを示し、以下の式を使用することにより計算されて得られてもよい。

ここで、epsP（i）は、i番目の次数の線形予測の予測残留エネルギーを示し、また、nは、正の整数であって、線形予測次数を示すとともに、最大線形予測次数以下である。例えば、一実施形態では、n＝15である。

したがって、ステップS103が以下のステップと置き換えられてもよい。

S105：記憶された周波数スペクトル変動の有効データの統計値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの統計値、記憶された周波数スペクトル相関度の有効データの統計値、及び、記憶された線形予測残留エネルギー勾配の有効データの統計値を得て、有効データの統計値にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類し、この場合、有効データの統計値とは、メモリ内に記憶される有効データに関して計算作業が行われた後に得られるデータ値のことであり、計算作業は、平均値を得るための演算、分散を得るための演算等を含んでもよい。

一実施形態において、このステップは、記憶された周波数スペクトル変動の有効データの平均値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの平均値、記憶された周波数スペクトル相関度の有効データの平均値、及び、記憶された線形予測残留エネルギー勾配の有効データの分散を別々に得ることを含み、また、
以下の条件、すなわち、周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、さもなければ、現在オーディオフレームをスピーチフレームとして分類することを含む。

一般に、ミュージックフレームの周波数スペクトル変動値は相対的に小さく、一方、スピーチフレームの周波数スペクトル変動値は相対的に大きく、ミュージックフレームの周波数スペクトル高周波帯域ピーキネス値は相対的に大きく、スピーチフレームの周波数スペクトル高周波帯域ピーキネスは相対的に小さく、ミュージックフレームの周波数スペクトル相関度値は相対的に大きく、スピーチフレームの周波数スペクトル相関度値は相対的に小さく、ミュージックフレームの線形予測残留エネルギー勾配の変化は相対的に小さく、及び、スピーチフレームの線形予測残留エネルギー勾配の変化は相対的に大きい。したがって、現在オーディオフレームは、前述のパラメータの統計値にしたがって分類されてもよい。確かに、信号分類は、他の分類方法を使用することにより現在オーディオフレームに関して行われてもよい。例えば、周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動の有効データの断片の量が計数され、有効データの断片の量にしたがって、近端から遠端までの長さが異なる少なくとも2つの区間にメモリが分割され、各区間に対応する周波数スペクトル変動の有効データの平均値、周波数スペクトル高周波帯域ピーキネスの有効データの平均値、周波数スペクトル相関度の有効データの平均値、及び、線形予測残留エネルギー勾配の有効データの分散が得られ、この場合、区間の開始点が現在のフレームの周波数スペクトル変動の記憶場所であり、近端は、現在のフレームの周波数スペクトル変動が記憶される端部であり、遠端は、履歴フレームの周波数スペクトル変動が記憶される端部であり、オーディオフレームは、相対的に短い区間内の前述のパラメータの有効データの統計値にしたがって分類され、この区間内のパラメータの統計値がオーディオフレームのタイプを区別するのに十分であれば、分類プロセスが終了し、そうでなければ、残りの相対的に長い区間の最も短い区間内で分類プロセスが続けられ、残りの部分を類推によって推定できる。各区間の分類プロセスにおいて、現在オーディオフレームは、各区間に対応する分類閾値にしたがって分類され、また、以下の条件、すなわち、周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つが満たされるときには、現在オーディオフレームがミュージックフレームとして分類され、そうでなければ、現在オーディオフレームがスピーチフレームとして分類される。

信号分類後、異なる信号が異なるエンコーディングモードでエンコードされてもよい。例えば、スピーチ生成モデル（例えばCELPなど）に基づくエンコーダを使用することによりスピーチ信号がエンコードされ、また、変換に基づくエンコーダ（例えばMDCTに基づくエンコーダなど）を使用することによりミュージック信号がエンコードされる。

前述の実施形態では、周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配の長期統計値にしたがってオーディオ信号が分類され、したがって、パラメータが比較的少なく、認識率が比較的高いとともに、複雑さが比較的低い。また、周波数スペクトル変動は、ボイス活性及びパーカッションミュージックなどの因子を考慮して調整され、また、周波数スペクトル変動は、現在オーディオフレームが位置される信号環境にしたがって変更され、したがって、本発明は、分類認識率を向上させるとともに、ハイブリッドオーディオ信号分類に適している。

図5を参照すると、オーディオ信号分類方法の他の実施形態は以下を含む。

S501：入力オーディオ信号に関してフレーム分割処理を行う。

オーディオ信号分類は一般にフレームごとに行われ、また、分類を行って、オーディオ信号フレームがスピーチフレームに属するのか或いはミュージックフレームに属するのかどうかを決定するとともに、対応するエンコーディングモードでエンコーディングを行うために、各オーディオ信号フレームからパラメータが抽出される。

S502：現在オーディオフレームの線形予測残留エネルギー勾配を取得し、この場合、線形予測残留エネルギー勾配は、線形予測次数が増大するにつれてオーディオ信号の線形予測残留エネルギーが変化する度合いを示す。

一実施形態において、線形予測残留エネルギー勾配epsP＿tiltは、以下の式を使用することにより計算されて得られてもよい。

ここで、epsP（i）は、i番目の次数の線形予測の予測残留エネルギーを示し、また、nは、正の整数であって、線形予測次数を示すとともに、最大線形予測次数以下である。例えば、一実施形態では、n＝15である。

S503：線形予測残留エネルギー勾配をメモリ内に記憶する。

線形予測残留エネルギー勾配がメモリ内に記憶されてもよい。一実施形態では、メモリがFIFO bufferであってもよく、また、bufferの長さは60記憶ユニット（すなわち、60個の線形予測残留エネルギー勾配を記憶できる）である。

随意的に、線形予測残留エネルギー勾配を記憶する前に、方法は、現在オーディオフレームのボイス活性にしたがって、線形予測残留エネルギー勾配をメモリ内に記憶するべきかどうかを決定し、また、現在オーディオフレームが活性フレームである場合には、線形予測残留エネルギー勾配を記憶し、そうでない場合には、線形予測残留エネルギー勾配の記憶を省くことを更に含む。

S504：メモリに記憶された予測残留エネルギー勾配のデータの一部の統計値にしたがってオーディオフレームを分類する。

一実施形態において、予測残留エネルギー勾配のデータの一部の統計値は、予測残留エネルギー勾配のデータの一部の分散であり、したがって、ステップS504は、
予測残留エネルギー勾配のデータの一部の分散とミュージック分類閾値とを比較するとともに、予測残留エネルギー勾配のデータの一部の分散がミュージック分類閾値を下回るときに現在オーディオフレームをミュージックフレームとして分類し、そうでなければ現在オーディオフレームをスピーチフレームとして分類することを含む。

一般に、ミュージックフレームの線形予測残留エネルギー勾配の変化は相対的に小さく、また、スピーチフレームの線形予測残留エネルギー勾配の変化は相対的に大きい。したがって、現在オーディオフレームは、線形予測残留エネルギー勾配の統計値にしたがって分類されてもよい。確かに、信号分類は、他の分類方法を使用することにより他のパラメータに関して現在オーディオフレームで行われてもよい。

他の実施形態では、ステップS504の前に、方法は、現在オーディオフレームの周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、及び、周波数スペクトル相関度を得るとともに、周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、及び、周波数スペクトル相関度を対応するメモリに記憶することを更に含む。したがって、ステップS504は、具体的に、記憶された周波数スペクトル変動の有効データの統計値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの統計値、記憶された周波数スペクトル相関度の有効データの統計値、及び、記憶された線形予測残留エネルギー勾配の有効データの統計値を得て、有効データの統計値にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類することであり、この場合、有効データの統計値とは、メモリ内に記憶される有効データに関して計算作業が行われた後に得られるデータ値のことである。

更に、記憶された周波数スペクトル変動の有効データの統計値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの統計値、記憶された周波数スペクトル相関度の有効データの統計値、及び、記憶された線形予測残留エネルギー勾配の有効データの統計値を得て、有効データの統計値にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類することは、
記憶された周波数スペクトル変動の有効データの平均値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの平均値、記憶された周波数スペクトル相関度の有効データの平均値、及び、記憶された線形予測残留エネルギー勾配の有効データの分散を得るとともに、
以下の条件、すなわち、周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、さもなければ、現在オーディオフレームをスピーチフレームとして分類することを含む。

一般に、ミュージックフレームの周波数スペクトル変動値は相対的に小さく、一方、スピーチフレームの周波数スペクトル変動値は相対的に大きく、ミュージックフレームの周波数スペクトル高周波帯域ピーキネス値は相対的に大きく、スピーチフレームの周波数スペクトル高周波帯域ピーキネスは相対的に小さく、ミュージックフレームの周波数スペクトル相関度値は相対的に大きく、スピーチフレームの周波数スペクトル相関度値は相対的に小さく、ミュージックフレームの線形予測残留エネルギー勾配の変化は相対的に小さく、及び、スピーチフレームの線形予測残留エネルギー勾配の変化は相対的に大きい。したがって、現在オーディオフレームは、前述のパラメータの統計値にしたがって分類されてもよい。

他の実施形態では、ステップS504の前に、方法は、現在オーディオフレームの周波数スペクトル音量と低周波帯域における周波数スペクトル音量の比率とを得るとともに、周波数スペクトル音量と低周波帯域における周波数スペクトル音量の比率とを対応するメモリ内に記憶することを更に含む。したがって、ステップS504は、具体的に、
記憶された線形予測残留エネルギー勾配の統計値と記憶された周波数スペクトル音量の統計値とを別々に得て、
線形予測残留エネルギー勾配の統計値、周波数スペクトル音量の統計値、及び、低周波帯域における周波数スペクトル音量の比率にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類することであり、この場合、統計値とは、メモリ内に記憶されるデータに関して計算作業が行われた後に得られるデータ値のことである。

更に、記憶された線形予測残留エネルギー勾配の統計値と記憶された周波数スペクトル音量の統計値とを別々に得ることは、記憶された線形予測残留エネルギー勾配の分散を得ること、及び、記憶された周波数スペクトル音量の平均値を得ることを含む。線形予測残留エネルギー勾配の統計値、周波数スペクトル音量の統計値、及び、低周波帯域における周波数スペクトル音量の比率にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類することは、
現在オーディオフレームが活性フレームであるとともに以下の条件、すなわち、
線形予測残留エネルギー勾配の分散が第5の閾値未満であり、或いは、
周波数スペクトル音量の平均値が第6の閾値よりも大きく、或いは、
低周波帯域における周波数スペクトル音量の比率が第7の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、
さもなければ、現在オーディオフレームをスピーチフレームとして分類することを含む。

現在オーディオフレームの周波数スペクトル音量と低周波帯域における周波数スペクトル音量の比率とを得ることは、
0〜8kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量を計数して、その量を周波数スペクトル音量として使用すること、
及び、0〜8kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量に対する0〜4kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量の比率を計算して、その比率を低周波帯域における周波数スペクトル音量の比率として使用することを含む。一実施形態では、所定値が50である。

周波数スペクトル音量Ntonalは、0〜8kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量を示す。一実施形態において、量は、以下の方法で、すなわち、0〜8kHzの周波数帯域にあって50よりも大きいピーク値p2v＿map（i）を有する現在オーディオフレームの周波数ビンの量、すなわち、Ntonalを計数して得られてもよく、この場合、p2v＿map（i）は、周波数スペクトルのi番目の周波数ビンのピーキネスを示し、また、p2v＿map（i）の計算方法に関しては、前述の実施形態の説明を参照されたい。

低周波帯域における周波数スペクトル音量の比率ratio＿Ntonal＿lfは、周波数スペクトル音量に対する低周波帯域音量の比率を示す。一実施形態において、比率は、以下の方法で、すなわち、0〜4kHzの周波数帯域にあって50よりも大きいp2v＿map（i）を有する現在オーディオフレームの量Ntonalを計数して得られてもよい。ratio＿Ntonal＿lfはNtonalに対するNtonal＿lfの比率、すなわち、Ntonal＿lf／Ntonalである。p2v＿map（i）は、周波数スペクトルのi番目の周波数ビンのピーキネスを示し、また、p2v＿map（i）の計算方法に関しては、前述の実施形態の説明を参照されたい。他の実施形態では、複数の記憶されたNtonal値の平均と複数の記憶されたNtonal＿lf値の平均とが別々に得られ、また、Ntonal値の平均に対するNtonal＿lf値の平均の比率は、低周波帯域における周波数スペクトル音量の比率として使用されるべく計算される。

この実施形態において、オーディオ信号は、線形予測残留エネルギー勾配の長期統計値にしたがって分類される。また、分類ロバスト性及び分類認識速度の両方が考慮に入れられ、したがって、分類パラメータが比較的少ないが、結果は比較的正確であり、複雑さが低いとともに、メモリオーバーヘッドが低い。

図6を参照すると、オーディオ信号分類方法の他の実施形態は以下を含む。

S601：入力オーディオ信号に関してフレーム分割処理を行う。

S602：現在オーディオフレームの周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を得る。

周波数スペクトル変動fluxは、信号の周波数スペクトルの短期又は長期エネルギー変動を示すとともに、低帯域スペクトル及び中帯域スペクトルにおける現在オーディオフレーム及び履歴フレームの対応する周波数間の対数エネルギー差の絶対値の平均値であり、この場合、履歴フレームとは、現在オーディオフレームの前の任意のフレームのことである。周波数スペクトル高周波帯域ピーキネスphは、現在オーディオフレームの周波数スペクトルの高周波帯域におけるピーキネス又はエネルギー尖鋭度を示す。周波数スペクトル相関度cor＿map＿sumは、信号調和構造の隣接するフレーム間の安定性を示す。線形予測残留エネルギー勾配epsP＿tiltは、線形予測次数が増大するにつれて入力オーディオ信号の線形予測残留エネルギーが変化する度合いを示す。これらのパラメータを計算するための特定の方法に関しては、前述の実施形態を参照されたい。

また、有声化パラメータが得られ、有声化パラメータvoicingは、現在オーディオ信号とピッチ期間前の信号との間の時間領域相関度を示す。有声化パラメータvoicingは、線形予測及び解析を用いて得られ、現在オーディオフレームとピッチ期間前の信号との間の時間領域相関度を表すとともに、0〜1の値を有する。これは、従来技術に属し、したがって、本発明で詳しく説明されない。この実施形態において、voicingは、現在オーディオフレームの2つの各サブフレームごとに計算され、また、voicingは、現在オーディオフレームの有声化パラメータを得るために平均化される。また、現在オーディオフレームの有声化パラメータも有声化履歴buffer内にバッファリングされ、また、この実施形態では、有声化履歴bufferの長さが10である。

S603：周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を対応するメモリに記憶する。

随意的に、これらのパラメータが記憶される前に、方法は以下を更に含む。

一実施形態では、現在オーディオフレームのボイス活性にしたがって、周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するべきかどうかが決定される。現在オーディオフレームが活性フレームであれば、現在オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリに記憶される。

他の実施形態では、オーディオフレームのボイス活性とオーディオフレームがエネルギー攻撃かどうかとにしたがって、周波数スペクトル変動をメモリ内に記憶するべきかどうかが決定される。現在オーディオフレームが活性フレームであるとともに、現在オーディオフレームがエネルギー攻撃に属さなければ、現在オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリに記憶される。他の実施形態では、現在オーディオフレームが活性フレームであるとともに、現在オーディオフレームと現在オーディオフレームの履歴フレームとを含む複数の連続フレームのいずれもがエネルギー攻撃に属さない場合には、オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶され、さもなければ、周波数スペクトル変動が記憶されない。例えば、現在オーディオフレームが活性フレームであるとともに、現在オーディオフレームの前のフレーム及び現在オーディオフレームの2番目の履歴フレームのいずれもがエネルギー攻撃に属さない場合には、オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶され、さもなければ、周波数スペクトル変動が記憶されない。

ボイス活性フラグvad＿flag及びボイス攻撃フラグattack＿flagの定義及び取得方法に関しては、前述の実施形態の説明を参照されたい。

随意的に、これらのパラメータが記憶される前に、方法は、
現在オーディオフレームのボイス活性にしたがって、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配をメモリ内に記憶するべきかどうかを決定し、また、現在オーディオフレームが活性フレームである場合には、パラメータを記憶し、そうでない場合には、パラメータの記憶を省くことを更に含む。

S604：記憶された周波数スペクトル変動の有効データの統計値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの統計値、記憶された周波数スペクトル相関度の有効データの統計値、及び、記憶された線形予測残留エネルギー勾配の有効データの統計値を得て、有効データの統計値にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類し、この場合、有効データの統計値とは、メモリ内に記憶される有効データに関して計算作業が行われた後に得られるデータ値のことであり、計算作業は、平均値を得るための演算、分散を得るための演算等を含んでもよい。

随意的に、ステップS604の前に、方法は、
現在オーディオフレームがパーカッションミュージックであるかどうかにしたがって、周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動を更新することを更に含んでもよい。一実施形態では、現在オーディオフレームがパーカッションミュージックであれば、周波数スペクトル変動メモリ内の有効周波数スペクトル変動値がミュージック閾値以下の値に変更され、この場合、オーディオフレームの周波数スペクトル変動がミュージッ閾値を下回るときには、オーディオがミュージックフレームとして分類される。一実施形態では、現在オーディオフレームがパーカッションミュージックであれば、周波数スペクトル変動メモリ内の有効周波数スペクトル変動値が5にリセットされる。

随意的に、ステップS604の前に、方法は、
現在オーディオフレームの履歴フレームの活性にしたがってメモリ内の周波数スペクトル変動を更新することを更に含んでもよい。一実施形態では、現在オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶されること、及び、前のオーディオフレームが不活性フレームであることが決定されれば、現在オーディオフレームの周波数スペクトル変動を除く周波数スペクトル変動メモリ内に記憶される他の周波数スペクトル変動のデータが無効データへと変更される。他の実施形態では、現在オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶されること、及び、現在オーディオフレームの前の3つの連続するフレームが全て活性フレームでないことが決定されれば、現在オーディオフレームの周波数スペクトル変動が第1の値に変更される。第1の値がスピーチ閾値であってもよく、この場合、オーディオフレームの周波数スペクトル変動がスピーチ閾値よりも大きいときには、オーディオがスピーチフレームとして分類される。他の実施形態では、現在オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶されること、及び、履歴フレームの分類結果がミュージックフレームであり、現在オーディオフレームの周波数スペクトル変動が第2の値よりも大きいことが決定されれば、現在オーディオフレームの周波数スペクトル変動が第2の値に変更され、この場合、第2の値は第1の値よりも大きい。

例えば、flux履歴buffer内に新たにバッファリングされる現在オーディオフレームfluxを除き、現在オーディオフレームの前のフレームが不活性フレーム（vad＿flag＝0）である場合には、flux履歴buffer内の残りのデータが全て−1（データが無効にされることに相当する）にリセットされる。現在オーディオフレームの前の3つの連続するフレームが全て活性フレーム（vad＿flag＝1）でなければ、flux履歴bufferに今しがたバッファリングされた現在オーディオフレームfluxが16に変更される。現在オーディオフレームの前の3つの連続するフレームが全て活性フレーム（vad＿flag＝1）であれば、履歴信号分類結果の長期平滑結果がミュージック信号であり、現在オーディオフレームfluxが20よりも大きく、バッファリングされた現在オーディオフレームの周波数スペクトル変動が20に変更される。履歴信号分類結果の長期平滑結果及び活性フレームの計算に関しては、前述の実施形態を参照されたい。

一実施形態において、ステップS604は、
記憶された周波数スペクトル変動の有効データの平均値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの平均値、記憶された周波数スペクトル相関度の有効データの平均値、及び、記憶された線形予測残留エネルギー勾配の有効データの分散を別々に得ることを含み、また、
以下の条件、すなわち、周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、さもなければ、現在オーディオフレームをスピーチフレームとして分類することを含む。

一般に、ミュージックフレームの周波数スペクトル変動値は相対的に小さく、一方、スピーチフレームの周波数スペクトル変動値は相対的に大きく、ミュージックフレームの周波数スペクトル高周波帯域ピーキネス値は相対的に大きく、スピーチフレームの周波数スペクトル高周波帯域ピーキネスは相対的に小さく、ミュージックフレームの周波数スペクトル相関度値は相対的に大きく、スピーチフレームの周波数スペクトル相関度値は相対的に小さく、ミュージックフレームの線形予測残留エネルギー勾配値は相対的に小さく、及び、スピーチフレームの線形予測残留エネルギー勾配値は相対的に大きい。したがって、現在オーディオフレームは、前述のパラメータの統計値にしたがって分類されてもよい。確かに、信号分類は、他の分類方法を使用することにより現在オーディオフレームに関して行われてもよい。例えば、周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動の有効データの断片の量が計数され、有効データの断片の量にしたがって、近端から遠端までの長さが異なる少なくとも2つの区間にメモリが分割され、各区間に対応する周波数スペクトル変動の有効データの平均値、周波数スペクトル高周波帯域ピーキネスの有効データの平均値、周波数スペクトル相関度の有効データの平均値、及び、線形予測残留エネルギー勾配の有効データの分散が得られ、この場合、区間の開始点が現在のフレームの周波数スペクトル変動の記憶場所であり、近端は、現在のフレームの周波数スペクトル変動が記憶される端部であり、遠端は、履歴フレームの周波数スペクトル変動が記憶される端部であり、オーディオフレームは、相対的に短い区間内の前述のパラメータの有効データの統計値にしたがって分類され、この区間内のパラメータ統計値がオーディオフレームのタイプを区別するのに十分であれば、分類プロセスが終了し、そうでなければ、残りの相対的に長い区間の最も短い区間内で分類プロセスが続けられ、残りの部分を類推によって推定できる。各区間の分類プロセスにおいて、現在オーディオフレームは、各区間に対応する分類閾値にしたがって分類され、また、以下の条件、すなわち、周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つが満たされるときには、現在オーディオフレームがミュージックフレームとして分類され、そうでなければ、現在オーディオフレームがスピーチフレームとして分類される。

信号分類後、異なる信号が異なるエンコーディングモードでエンコードされてもよい。例えば、スピーチ生成モデル（例えばCELPなど）に基づくエンコーダを使用することによりスピーチ信号がエンコードされ、また、変換に基づくエンコーダ（例えばMDCTに基づくエンコーダなど）を使用することによりミュージック信号がエンコードされる。

この実施形態において、分類は、周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配の長期統計値にしたがって行われる。また、分類ロバスト性及び分類認識速度の両方が考慮に入れられ、したがって、分類パラメータが比較的少ないが、結果は比較的正確であり、認識率が比較的高いとともに、複雑さが比較的低い。

一実施形態では、周波数スペクトル変動flux、周波数スペクトル高周波帯域ピーキネスph、周波数スペクトル相関度cor＿map＿sum、及び、線形予測残留エネルギー勾配epsP＿tiltが対応するメモリに記憶された後、異なる決定プロセスを使用することにより記憶された周波数スペクトル変動の有効データの断片の量にしたがって分類が行われてもよい。ボイス活性フラグが1に設定されれば、すなわち、現在オーディオフレームが活性ボイスフレームであれば、記憶された周波数スペクトル変動の有効データの断片の量Nがチェックされる。

メモリに記憶される周波数スペクトル変動の有効データの断片の量Nの値が変化する場合には、決定プロセスも変化する。

（1）図7を参照すると、N＝60であれば、flux履歴buffer内の全てのデータの平均値が得られてflux60としてマーキングされ、近端にあるデータの30個の断片の平均値が得られてflux30としてマーキングされ、及び、近端にあるデータの10個の断片の平均値が得られてflux10としてマーキングされる。ph履歴buffer内の全てのデータの平均値が得られてph60としてマーキングされ、近端にあるデータの30個の断片の平均値が得られてph30としてマーキングされ、及び、近端にあるデータの10個の断片の平均値が得られてph10としてマーキングされる。cor＿map＿sum履歴buffer内の全てのデータの平均値が得られてcor＿map＿sum60としてマーキングされ、近端にあるデータの30個の断片の平均値が得られてcor＿map＿sum30としてマーキングされ、及び、近端にあるデータの10個の断片の平均値が得られてcor＿map＿sum10としてマーキングされる。また、epsP＿tilt履歴buffer内の全てのデータの分類が得られてepsP＿tilt60としてマーキングされ、近端にあるデータの30個の断片の分散が得られてepsP＿tilt30としてマーキングされ、及び、近端にあるデータの10個の断片の分散が得られてepsP＿tilt10としてマーキングされる。その値が0．9よりも大きい有声化履歴buffer内のデータの断片の量voicing＿cntが得られる。近端は、現在オーディオフレームに対応する前述のパラメータが記憶される端部である。

最初に、flux10、ph10、epsP＿tilt10、cor＿map＿sum10、及び、voicing＿cntが以下の条件、すなわち、flux10＜10又はepsPtilt10＜0．0001又はph10＞1050又はcor＿map＿sum10＞95、及び、voicing＿cnt＜6を満たすかどうかがチェックされる。条件が満たされれば、現在オーディオフレームがミュージックタイプ（すなわち、Mode＝1）として分類される。さもなければ、flux10が15よりも大きいかどうか、voicing＿cntが2よりも大きいかどうか、又は、flux10が16よりも大きいかどうかがチェックされる。条件が満たされれば、現在オーディオフレームがスピーチタイプ（すなわち、Mode＝0）として分類される。さもなければ、flux30、flux10、ph30、epsP＿tilt30、cor＿map＿sum30、及び、voicing＿cntが以下の条件、すなわち、flux30＜13及びflux10＜15、又はepsPtilt30＜0．001又はph30＞800又はcor＿map＿sum30＞75を満たすかどうかがチェックされる。条件が満たされれば、現在オーディオフレームがミュージックタイプとして分類される。さもなければ、flux60、flux30、ph60、epsP＿tilt60、及び、cor＿map＿sum60が以下の条件、すなわち、flux60＜14．5又はcor＿map＿sum30＞75又はph60＞770又はepsP＿tilt10＜0．002、及びflux30＜14を満たすかどうかがチェックされる。条件が満たされれば、現在オーディオフレームがミュージックタイプとして分類され、そうでなければ、現在オーディオフレームがスピーチタイプとして分類される。

（2）図8を参照すると、N＜60及びN≧30であれば、flux履歴buffer内の近端にあるデータのN個の断片の平均値、ph履歴buffer内の近端にあるデータのN個の断片の平均値、及び、cor＿map＿sum履歴buffer内の近端にあるデータのN個の断片の平均値が別々に得られてfluxN、phN、及びcor＿map＿sumNとしてマーキングされる。また、epsP＿tilt履歴buffer内の近端にあるデータのN個の断片の分散が得られてepsP＿tiltNとしてマーキングされる。fluxN、phN、epsP＿tiltN、及びcor＿map＿sumNが以下の条件、すなわち、fluxN＜13＋（N−30）／20又はcor＿map＿sumN＞75＋（N−30）／6又はphN＞800又はepsP＿tiltN＜0．001を満たすかどうかがチェックされる。条件が満たされれば、現在オーディオフレームがミュージックタイプとして分類され、そうでなければ、現在オーディオフレームがスピーチタイプとして分類される。

（3）図9を参照すると、N＜30及びN≧10であれば、flux履歴buffer内の近端にあるデータのN個の断片の平均値、ph履歴buffer内の近端にあるデータのN個の断片の平均値、及び、cor＿map＿sum履歴buffer内の近端にあるデータのN個の断片の平均値が別々に得られてfluxN、phN、及びcor＿map＿sumNとしてマーキングされる。また、epsP＿tilt履歴buffer内の近端にあるデータのN個の断片の分散が得られてepsP＿tiltNとしてマーキングされる。

最初に、履歴分類結果の長期移動平均mode＿movが0．8よりも大きいかどうかがチェックされる。yesであれば、fluxN、phN、epsP＿tiltN、及びcor＿map＿sumNが以下の条件、すなわち、fluxN＜16＋（N−10）／20又はphN＞1000−12．5×（N−10）又はepsP＿tiltN＜0．0005＋0．000045×（N−10）又はcor＿map＿sumN＞90−（N−10）を満たすかどうかがチェックされる。さもなければ、その値が0．9よりも大きい有声化履歴buffer内のデータの断片の量voicing＿cntが得られ、以下の条件、すなわち、fluxN＜12＋（N−10）／20又はphN＞1050−12．5×（N−10）又はepsP＿tiltN＜0．0001＋0．000045×（N−10）又はcor＿map＿sumN＞95−（N−10）、及びvoicing＿cnt＜6が満たされるかどうかがチェックされる。条件の前述の2つのグループのいずれかのグループが満たされれば、現在オーディオフレームがミュージックタイプとして分類され、そうでなければ、現在オーディオフレームがスピーチタイプとして分類される。

（4）図10を参照すると、N＜10及びN＞5であれば、ph履歴buffer内の近端にあるデータのN個の断片の平均値、及び、cor＿map＿sum履歴buffer内の近端にあるデータのN個の断片の平均値が得られてphN及びcor＿map＿sumNとしてマーキングされ、また、epsP＿tilt履歴buffer内の近端にあるデータのN個の断片の分散が得られてepsP＿tiltNとしてマーキングされる。また、有声化履歴buffer内の近端にあるデータの6個の断片のうちその値が0．9よりも大きいデータの断片の量voicing＿cnt6が得られる。

以下の条件、すなわち、epsP＿tiltN＜0．00008又はphN＞1100又はcor＿map＿sumN＞100、及びvoicing＿cnt＜4が満たされるかどうかがチェックされる。条件が満たされれば、現在オーディオフレームがミュージックタイプとして分類され、そうでなければ、現在オーディオフレームがスピーチタイプとして分類される。

（5）N≦5であれば、前のオーディオフレームの分類結果が現在オーディオフレームの分類タイプとして使用される。

前述の実施形態は、周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配の長期統計値にしたがって分類が行われる特定の分類プロセスであり、また、当業者であれば分かるように、他のプロセスを使用することにより分類が行われてもよい。この実施形態における分類プロセスは、例えば図2におけるステップ103、図4におけるステップ105、又は、図6におけるステップ604の特定の分類方法として役立つべく、前述の実施形態における対応するステップに適用されてもよい。

図11を参照すると、オーディオ信号分類方法の他の実施形態は以下を含む。

S1101：入力オーディオ信号に関してフレーム分割処理を行う。

S1102：現在オーディオフレームの線形予測残留エネルギー勾配及び周波数スペクトル音量と低周波帯域における周波数スペクトル音量の比率とを得る。

線形予測残留エネルギー勾配epsP＿tiltは、線形予測次数が増大するにつれて入力オーディオ信号の線形予測残留エネルギーが変化する度合いを示し、周波数スペクトル音量Ntonalは、0〜8kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量を示し、低周波帯域における周波数スペクトル音量の比率ratio＿Ntonal＿lfは、周波数スペクトル音量に対する低周波帯域音量の比率を示す。特定の計算に関しては、前述の実施形態の説明を参照されたい。

S1103：線形予測残留エネルギー勾配epsP＿tilt、周波数スペクトル音量、及び、低周波帯域における周波数スペクトル音量の比率を対応するメモリに記憶する。

現在オーディオフレームの線形予測残留エネルギー勾配epsP＿tilt及び周波数スペクトル音量がそれぞれの履歴bufferにバッファリングされ、また、この実施形態では、2つのbufferの長さがいずれも60である。

随意的に、これらのパラメータの両方が記憶される前に、方法は、現在オーディオフレームのボイス活性にしたがって、線形予測残留エネルギー勾配、周波数スペクトル音量、及び、低周波帯域における周波数スペクトル音量の比率をメモリに記憶するべきかどうかを決定するとともに、線形予測残留エネルギー勾配が記憶される必要があると決定されるときに線形予測残留エネルギー勾配をメモリに記憶することを更に含む。現在オーディオフレームが活性フレームであれば、パラメータが記憶され、そうでなければ、パラメータが記憶されない。

S1104：記憶された線形予測残留エネルギー勾配の統計値と記憶された周波数スペクトル音量の統計値とを別々に取得し、この場合、統計値とは、メモリ内に記憶されるデータに関して計算作業が行われた後に得られるデータ値のことであり、その場合、計算作業は、平均値を得るための演算、分散を得るための演算等を含んでもよい。

一実施形態において、記憶された線形予測残留エネルギー勾配の統計値と記憶された周波数スペクトル音量の統計値とを別々に得ることは、記憶された線形予測残留エネルギー勾配の分散を得ること、及び、記憶された周波数スペクトル音量の平均値を得ることを含む。

S1105：線形予測残留エネルギー勾配の統計値、周波数スペクトル音量の統計値、及び、低周波帯域における周波数スペクトル音量の比率にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類する。

一実施形態において、このステップは、
現在オーディオフレームが活性フレームであるとともに以下の条件、すなわち、
線形予測残留エネルギー勾配の分散が第5の閾値未満であり、或いは、
周波数スペクトル音量の平均値が第6の閾値よりも大きく、或いは、
低周波帯域における周波数スペクトル音量の比率が第7の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、
さもなければ、現在オーディオフレームをスピーチフレームとして分類することを含む。

一般に、ミュージックフレームの線形予測残留エネルギー勾配値は相対的に小さく、及び、スピーチフレームの線形予測残留エネルギー勾配値は相対的に大きく、ミュージックフレームの周波数スペクトル音量は相対的に大きく、及び、スピーチフレームの周波数スペクトル音量は相対的に小さく、低周波帯域におけるミュージックフレームの周波数スペクトル音量の比率は相対的に低く、及び、低周波帯域におけるスピーチフレームの周波数スペクトル音量の比率は相対的に高い（スピーチフレームのエネルギーは主に低周波帯域に集中される）。したがって、現在オーディオフレームは、前述のパラメータの統計値にしたがって分類されてもよい。確かに、信号分類は、他の分類方法を使用することにより現在オーディオフレームに関して行われてもよい。

信号分類後、異なる信号が異なるエンコーディングモードでエンコードされてもよい。例えば、スピーチ生成モデル（例えばCELPなど）に基づくエンコーダを使用することによりスピーチ信号がエンコードされ、また、変換に基づくエンコーダ（例えばMDCTに基づくエンコーダなど）を使用することによりミュージック信号がエンコードされる。

前述の実施形態では、線形予測残留エネルギー勾配及び周波数スペクトル音量の長期統計値と低周波帯域における周波数スペクトル音量の比率とにしたがってオーディオ信号が分類され、したがって、パラメータが比較的少なく、認識率が比較的高いとともに、複雑さが比較的低い。

一実施形態では、線形予測残留エネルギー勾配epsP＿tilt、周波数スペクトル音量Ntonal、及び、低周波帯域における周波数スペクトル音量の比率ratio＿Ntonal＿lfが対応するbufferに記憶された後、epsP＿tilt履歴buffer内の全てのデータの分散が得られてepsP＿tilt60としてマーキングされる。Ntonal履歴buffer内の全てのデータの平均値が得られてNtonal 60としてマーキングされる。Ntonal＿lf履歴buffer内の全てのデータの平均値が得られるとともに、Ntonal60に対する平均値の比率が計算されてratio＿Ntonal＿lf60としてマーキングされる。図12を参照すると、以下の規則にしたがって現在オーディオフレームが分類される。

ボイス活性フラグが1（すなわち、vad＿flag＝1）であれば、すなわち、現在オーディオフレームが活性ボイスフラグであれば、以下の条件、すなわち、epsP＿tilt60＜0．002又はNtonal60＞18又はratio＿Ntonal＿lf60＜0．42が満たされるかどうかがチェックされ、条件が満たされれば、現在オーディオフレームがミュージックタイプ（すなわち、Mode＝1）として分類され、そうでなければ、現在オーディオフレームがスピーチタイプ（すなわち、Mode＝0）として分類される。

前述の実施形態は、線形予測残留エネルギー勾配の統計値、周波数スペクトル音量の統計値、及び、低周波帯域における周波数スペクトル音量の比率にしたがって分類が行われる特定の分類プロセスであり、また、当業者であれば分かるように、他のプロセスを使用することにより分類が行われてもよい。この実施形態における分類プロセスは、例えば図5におけるステップ504又は図11におけるステップ1105の特定の分類方法として役立つべく、前述の実施形態における対応するステップに適用されてもよい。

本発明は、複雑さが低く且つメモリオーバーヘッドが低いオーディオエンコーディングモード選択方法を提供する。また、分類ロバスト性及び分類認識速度の両方が考慮に入れられる。

前述の方法実施形態と関連して、本発明は、オーディオ信号分類装置を更に提供し、また、該装置は、端末デバイス内又はネットワークデバイス内に位置されてもよい。オーディオ信号分類装置は、前述の方法実施形態のステップを行ってもよい。

図13を参照すると、本発明はオーディオ信号分類装置の一実施形態を提供し、この場合、装置は、
入力オーディオ信号を分類するように構成され、また、装置は、現在オーディオフレームのボイス活性にしたがって現在オーディオフレームの周波数スペクトル変動を得て記憶するべきかどうかを決定する記憶決定ユニット1301であって、周波数スペクトル変動がオーディオ信号の周波数スペクトルのエネルギー変動を示す、記憶決定ユニット1301と、
周波数スペクトル変動が記憶される必要があるという結果を記憶決定ユニットが出力するときに周波数スペクトル変動を記憶するメモリ1302と、
スピーチフレームがパーカッションミュージックであるかどうかにしたがって又は履歴オーディオフレームの活性にしたがってメモリに記憶される周波数スペクトル変動を更新する更新ユニット1304と、
メモリ内に記憶される周波数スペクトル変動の有効データの一部又は全部の統計値にしたがって現在オーディオフレームをスピーチフレーム又はミュージックフレームとして分類するとともに、周波数スペクトル変動の有効データの統計値がスピーチ分類条件を満たすときに現在オーディオフレームをスピーチフレームとして分類する、或いは、周波数スペクトル変動の有効データの統計値がミュージック分類条件を満たすときに現在オーディオフレームをミュージックフレームとして分類する分類ユニット1303とを含む。

一実施形態において、記憶決定ユニット1301は、具体的には、現在オーディオフレームが活性フレームであると決定されるときに、現在オーディオフレームの周波数スペクトル変動が記憶される必要があるという結果を出力するように構成される。

他の実施形態において、記憶決定ユニットは、具体的には、現在オーディオフレームが活性フレームであるととともに現在オーディオフレームがエネルギー攻撃に属さないと決定されるときに、現在オーディオフレームの周波数スペクトル変動が記憶される必要があるという結果を出力するように構成される。

他の実施形態において、記憶決定ユニットは、具体的には、現在オーディオフレームが活性フレームであるととともに現在オーディオフレームと現在オーディオフレームの履歴フレームとを含む複数の連続するフレームのいずれもがエネルギー攻撃に属さないと決定されるときに、現在オーディオフレームの周波数スペクトル変動が記憶される必要があるという結果を出力するように構成される。

一実施形態において、更新ユニットは、具体的には、現在オーディオフレームがパーカッションミュージックに属する場合に、周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動の値を変更するように構成される。

他の実施形態において、更新ユニットは、具体的には、現在オーディオフレームが活性フレームであるとともに前のオーディオフレームが不活性フレームである場合に、現在オーディオフレームの周波数スペクトル変動を除くメモリ内に記憶される他の周波数スペクトル変動のデータを無効データに変更する、或いは、現在オーディオフレームが活性フレームであるとともに現在オーディオフレームの前の3つの連続するフレームが全て活性フレームではない場合に、現在オーディオフレームの周波数スペクトル変動を第1の値に変更する、或いは、現在オーディオフレームが活性フレームであるとともに履歴分類結果がミュージック信号であり且つ現在オーディオフレームの周波数スペクトル変動が第2の値よりも大きい場合に、現在オーディオフレームの周波数スペクトル変動を第2の値に変更するように構成され、この場合、第2の値は第1の値よりも大きい。

図14を参照すると、一実施形態において、分類ユニット1303は、
メモリ内に記憶される周波数スペクトル変動の有効データの一部又は全部の平均値を得る計算ユニット1401と、
周波数スペクトル変動の有効データの平均値とミュージック分類条件とを比較して、周波数スペクトル変動の有効データの平均値がミュージック分類条件を満たすときに現在オーディオフレームをミュージックフレームとして分類し、そうでなければ、現在オーディオフレームをスピーチフレームとして分類する決定ユニット1402とを含む。

例えば、周波数スペクトル変動の有効データの得られた平均値がミュージック分類閾値を下回るときには、現在オーディオフレームがミュージックフレームとして分類され、そうでなければ、現在オーディオフレームがスピーチフレームとして分類される。

前述の実施形態では、周波数スペクトル変動の長期統計値にしたがってオーディオ信号が分類されるため、パラメータが比較的少なく、認識率が比較的高いとともに、複雑さが比較的低い。また、周波数スペクトル変動は、ボイス活性及びパーカッションミュージックなどの因子を考慮して調整され、したがって、本発明は、ミュージック信号に関してより高い認識率を有するとともに、ハイブリッドオーディオ信号分類に適している。

他の実施形態において、オーディオ信号分類装置は、
現在オーディオフレームの周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を取得するパラメータ取得ユニットを更に含み、ここで、周波数スペクトル高周波帯域ピーキネスは、現在オーディオフレームの周波数スペクトルの高周波帯域におけるピーキネス又はエネルギー尖鋭度を示し、周波数スペクトル相関度は、現在オーディオフレームの信号調和構造の隣接するフレーム間の安定性を示し、また、線形予測残留エネルギー勾配は、線形予測次数が増大するにつれてオーディオ信号の線形予測残留エネルギーが変化する度合いを示し、この場合、
記憶決定ユニットは、現在オーディオフレームのボイス活性にしたがって、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を記憶するべきかどうかを決定するように更に構成され、
記憶ユニットは、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配が記憶される必要があるという結果を記憶決定ユニットが出力するときに、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を記憶するように更に構成され、
分類ユニットは、具体的には、記憶された周波数スペクトル変動の有効データの統計値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの統計値、記憶された周波数スペクトル相関度の有効データの統計値、及び、記憶された線形予測残留エネルギー勾配の有効データの統計値を得て、有効データの統計値にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類するとともに、周波数スペクトル変動の有効データの統計値がスピーチ分類条件を満たすときに現在オーディオフレームをスピーチフレームとして分類し、或いは、周波数スペクトル変動の有効データの統計値がミュージック分類条件を満たすときに現在オーディオフレームをミュージックフレームとして分類するように構成される。

一実施形態において、分類ユニットは、具体的には、
記憶された周波数スペクトル変動の有効データの平均値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの平均値、記憶された周波数スペクトル相関度の有効データの平均値、及び、記憶された線形予測残留エネルギー勾配の有効データの分散を別々に得る計算ユニットと、
以下の条件、すなわち、周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、そうでなければ、現在オーディオフレームをスピーチフレームとして分類する決定ユニットとを含む。

前述の実施形態では、周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配の長期統計値にしたがってオーディオ信号が分類され、したがって、パラメータが比較的少なく、認識率が比較的高いとともに、複雑さが比較的低い。また、周波数スペクトル変動は、ボイス活性及びパーカッションミュージックなどの因子を考慮して調整され、また、周波数スペクトル変動は、現在オーディオフレームが位置される信号環境にしたがって変更され、したがって、本発明は、分類認識率を向上させるとともに、ハイブリッドオーディオ信号分類に適している。

図15を参照すると、本発明は、オーディオ信号分類装置の他の実施形態を提供し、この場合、装置は、入力オーディオ信号を分類するように構成され、また、装置は、
入力オーディオ信号に関してフレーム分割処理を行うフレーム分割ユニット1501と、
現在オーディオフレームの線形予測残留エネルギー勾配を取得するパラメータ取得ユニット1502であって、線形予測残留エネルギー勾配は、線形予測次数が増大するにつれてオーディオ信号の線形予測残留エネルギーが変化する度合いを示す、パラメータ取得ユニット1502と、
線形予測残留エネルギー勾配を記憶する記憶ユニット1503と、
メモリ内の予測残留エネルギー勾配のデータの一部の統計値にしたがってオーディオフレームを分類する分類ユニット1504とを含む。

図16を参照すると、オーディオ信号分類装置は、
現在オーディオフレームのボイス活性にしたがって線形予測残留エネルギー勾配をメモリに記憶するべきかどうかを決定する記憶決定ユニット1505を更に含み、
この場合、記憶ユニット1503は、具体的には、線形予測残留エネルギー勾配が記憶される必要があることを記憶決定ユニットが決定するときに線形予測残留エネルギー勾配をメモリに記憶するように構成される。

一実施形態において、予測残留エネルギー勾配のデータの一部の統計値は、予測残留エネルギー勾配のデータの一部の分散であり、また、
分類ユニットは、具体的には、予測残留エネルギー勾配のデータの一部の分散とミュージック分類閾値とを比較するとともに、予測残留エネルギー勾配のデータの一部の分散がミュージック分類閾値を下回るときに現在オーディオフレームをミュージックフレームとして分類し、そうでなければ現在オーディオフレームをスピーチフレームとして分類するように構成される。

他の実施形態において、パラメータ取得ユニットは、現在オーディオフレームの周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、及び、周波数スペクトル相関度を得て、周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、及び、周波数スペクトル相関度を対応するメモリに記憶するように更に構成され、また、
分類ユニットは、具体的には、記憶された周波数スペクトル変動の有効データの統計値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの統計値、記憶された周波数スペクトル相関度の有効データの統計値、及び、記憶された線形予測残留エネルギー勾配の有効データの統計値を得て、有効データの統計値にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類するように構成され、この場合、有効データの統計値とは、メモリに記憶される有効データに関して計算作業が行われた後に得られるデータ値のことである。

図17を参照すると、具体的に、一実施形態において、分類ユニット1504は、
記憶された周波数スペクトル変動の有効データの平均値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの平均値、記憶された周波数スペクトル相関度の有効データの平均値、及び、記憶された線形予測残留エネルギー勾配の有効データの分散を別々に得る計算ユニット1701と、
以下の条件、すなわち、周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、そうでなければ、現在オーディオフレームをスピーチフレームとして分類する決定ユニット1702とを含む。

他の実施形態では、パラメータ取得ユニットは、現在オーディオフレームの周波数スペクトル音量と低周波帯域における周波数スペクトル音量の比率とを得るとともに、周波数スペクトル音量と低周波帯域における周波数スペクトル音量の比率とをメモリ内に記憶するように更に構成され、また、
分類ユニットは、具体的に、記憶された線形予測残留エネルギー勾配の統計値と記憶された周波数スペクトル音量の統計値とを別々に得て、線形予測残留エネルギー勾配の統計値、周波数スペクトル音量の統計値、及び、低周波帯域における周波数スペクトル音量の比率にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類するように構成され、この場合、有効データの統計値とは、メモリ内に記憶されるデータに関して計算作業が行われた後に得られるデータ値のことである。

具体的には、分類ユニットは、
記憶された線形予測残留エネルギー勾配の有効データの分散と記憶された周波数スペクトル音量の平均値とを得る計算ユニットと、
現在オーディオフレームが活性フレームであるとともに以下の条件、すなわち、線形予測残留エネルギー勾配の分散が第5の閾値未満であり、或いは、周波数スペクトル音量の平均値が第6の閾値よりも大きく、或いは、低周波帯域における周波数スペクトル音量の比率が第7の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、さもなければ、現在オーディオフレームをスピーチフレームとして分類する決定ユニットとを含む。

具体的には、パラメータ取得ユニットは、以下の式にしたがって現在オーディオフレームの線形予測残留エネルギー勾配を取得する。

ここで、epsP（i）は、現在オーディオフレームのi番目の次数の線形予測の予測残留エネルギーを示し、また、nは、正の整数であって、線形予測次数を示すとともに、最大線形予測次数以下である。

具体的には、パラメータ取得ユニットは、0〜8kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量を計数して、その量を周波数スペクトル音量として使用するように構成され、また、パラメータ取得ユニットは、0〜8kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量に対する0〜4kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量の比率を計算して、その比率を低周波帯域における周波数スペクトル音量の比率として使用するように構成される。

この実施形態において、オーディオ信号は、線形予測残留エネルギー勾配の長期統計値にしたがって分類される。また、分類ロバスト性及び分類認識速度の両方が考慮に入れられ、したがって、分類パラメータが比較的少ないが、結果は比較的正確であり、複雑さが低いとともに、メモリオーバーヘッドが低い。

本発明は、オーディオ信号分類装置の他の実施形態を提供し、この場合、装置は、入力オーディオ信号を分類するように構成され、また、装置は、
入力オーディオ信号に関してフレーム分割処理を行うフレーム分割ユニットと、
現在オーディオフレームの周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を取得するパラメータ取得ユニットであって、周波数スペクトル変動がオーディオ信号の周波数スペクトルのエネルギー変動を示し、周波数スペクトル高周波帯域ピーキネスが、現在オーディオフレームの周波数スペクトルの高周波帯域におけるピーキネス又はエネルギー尖鋭度を示し、周波数スペクトル相関度が、現在オーディオフレームの信号調和構造の隣接するフレーム間の安定性を示し、線形予測残留エネルギー勾配は、線形予測次数が増大するにつれてオーディオ信号の線形予測残留エネルギーが変化する度合いを示す、パラメータ取得ユニットと、
周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を記憶する記憶ユニットと、
記憶された周波数スペクトル変動の有効データの統計値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの統計値、記憶された周波数スペクトル相関度の有効データの統計値、及び、記憶された線形予測残留エネルギー勾配の有効データの統計値を得て、有効データの統計値にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類する分類ユニットであって、有効データの統計値とは、メモリ内に記憶される有効データに関して計算作業が行われた後に得られるデータ値のことであり、計算作業が、平均値を得るための演算、分散を得るための演算等を含んでもよい、分類ユニットとを含む。

一実施形態において、オーディオ信号分類装置は、
現在オーディオフレームのボイス活性にしたがって、現在オーディオフレームの周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を記憶するべきかどうかを決定する記憶決定ユニットを更に含んでもよく、また、
記憶ユニットは、具体的には、周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配が記憶される必要があるという結果を記憶決定ユニットが出力するときに、周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を記憶するように更に構成される。

具体的には、一実施形態では、記憶決定ユニットは、現在オーディオフレームのボイス活性にしたがって、周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するべきかどうかを決定する。現在オーディオフレームが活性フレームであれば、記憶決定ユニットは、パラメータが記憶される必要があるという結果を出力し、そうでなければ、記憶決定ユニットは、パラメータが記憶される必要がないという結果を出力する。他の実施形態において、記憶決定ユニットは、オーディオフレームのボイス活性とオーディオフレームがエネルギー攻撃かどうかとにしたがって、周波数スペクトル変動をメモリ内に記憶するべきかどうかを決定する。現在オーディオフレームが活性フレームであるとともに、現在オーディオフレームがエネルギー攻撃に属さなければ、現在オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリに記憶される。他の実施形態では、現在オーディオフレームが活性フレームであるとともに、現在オーディオフレームと現在オーディオフレームの履歴フレームとを含む複数の連続フレームのいずれもがエネルギー攻撃に属さない場合には、オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶され、さもなければ、周波数スペクトル変動が記憶されない。例えば、現在オーディオフレームが活性フレームであるとともに、現在オーディオフレームの前のフレーム及び現在オーディオフレームの2番目の履歴フレームのいずれもがエネルギー攻撃に属さない場合には、オーディオフレームの周波数スペクトル変動が周波数スペクトル変動メモリ内に記憶され、さもなければ、周波数スペクトル変動が記憶されない。

一実施形態において、分類ユニットは、
記憶された周波数スペクトル変動の有効データの平均値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの平均値、記憶された周波数スペクトル相関度の有効データの平均値、及び、記憶された線形予測残留エネルギー勾配の有効データの分散を別々に得る計算ユニットと、
以下の条件、すなわち、周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、そうでなければ、現在オーディオフレームをスピーチフレームとして分類する決定ユニットとを含む。

現在オーディオフレームの周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を計算する特定の方法に関しては、前述の方法実施形態を参照されたい。

また、オーディオ信号分類装置は、
スピーチフレームがパーカッションミュージックであるかどうかにしたがって又は履歴オーディオフレームの活性にしたがってメモリに記憶される周波数スペクトル変動を更新する更新ユニットを更に含んでもよい。一実施形態において、更新ユニットは、具体的には、現在オーディオフレームがパーカッションミュージックに属する場合に、周波数スペクトル変動メモリ内に記憶される周波数スペクトル変動の値を変更するように構成される。他の実施形態において、更新ユニットは、具体的には、現在オーディオフレームが活性フレームであるとともに前のオーディオフレームが不活性フレームである場合に、現在オーディオフレームの周波数スペクトル変動を除くメモリ内に記憶される他の周波数スペクトル変動のデータを無効データに変更する、或いは、現在オーディオフレームが活性フレームであるとともに現在オーディオフレームの前の3つの連続するフレームが全て活性フレームではない場合に、現在オーディオフレームの周波数スペクトル変動を第1の値に変更する、或いは、現在オーディオフレームが活性フレームであるとともに履歴分類結果がミュージック信号であり且つ現在オーディオフレームの周波数スペクトル変動が第2の値よりも大きい場合に、現在オーディオフレームの周波数スペクトル変動を第2の値に変更するように構成され、この場合、第2の値は第1の値よりも大きい。

この実施形態において、分類は、周波数スペクトル変動、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配の長期統計値にしたがって行われる。また、分類ロバスト性及び分類認識速度の両方が考慮に入れられ、したがって、分類パラメータが比較的少ないが、結果は比較的正確であり、認識率が比較的高いとともに、複雑さが比較的低い。

本発明は、オーディオ信号分類装置の他の実施形態を提供し、この場合、装置は、入力オーディオ信号を分類するように構成され、また、装置は、
入力オーディオ信号に関してフレーム分割処理を行うフレーム分割ユニットと、
現在オーディオフレームの線形予測残留エネルギー勾配及び周波数スペクトル音量と低周波帯域における周波数スペクトル音量の比率とを取得するパラメータ取得ユニットであって、線形予測残留エネルギー勾配epsP＿tiltは、線形予測次数が増大するにつれて入力オーディオ信号の線形予測残留エネルギーが変化する度合いを示し、周波数スペクトル音量Ntonalは、0〜8kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量を示し、低周波帯域における周波数スペクトル音量の比率ratio＿Ntonal＿lfは周波数スペクトル音量に対する低周波帯域音量の比率を示し、特定の計算に関しては前述の実施形態の説明を参照されたい、パラメータ取得ユニットと、
線形予測残留エネルギー勾配、周波数スペクトル音量、及び、低周波帯域における周波数スペクトル音量の比率を記憶する記憶ユニットと、
記憶された線形予測残留エネルギー勾配の統計値と記憶された周波数スペクトル音量の統計値とを別々に得て、線形予測残留エネルギー勾配の統計値、周波数スペクトル音量の統計値、及び、低周波帯域における周波数スペクトル音量の比率にしたがってオーディオフレームをスピーチフレーム又はミュージックフレームとして分類する分類ユニットであって、有効データの統計値とは、メモリ内に記憶されるデータに関して計算作業が行われた後に得られるデータ値のことである、分類ユニットとを含む。

具体的には、分類ユニットは、
記憶された線形予測残留エネルギー勾配の有効データの分散と記憶された周波数スペクトル音量の平均値とを得る計算ユニットと、
現在オーディオフレームが活性フレームであるとともに以下の条件、すなわち、線形予測残留エネルギー勾配の分散が第5の閾値未満であり、或いは、周波数スペクトル音量の平均値が第6の閾値よりも大きく、或いは、低周波帯域における周波数スペクトル音量の比率が第7の閾値未満であるという条件のうちの1つが満たされるときに、現在オーディオフレームをミュージックフレームとして分類し、さもなければ、現在オーディオフレームをスピーチフレームとして分類する決定ユニットとを含む。

具体的には、パラメータ取得ユニットは、以下の式にしたがって現在オーディオフレームの線形予測残留エネルギー勾配を取得する。

ここで、epsP（i）は、現在オーディオフレームのi番目の次数の線形予測の予測残留エネルギーを示し、また、nは、正の整数であって、線形予測次数を示すとともに、最大線形予測次数以下である。

具体的には、パラメータ取得ユニットは、0〜8kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量を計数して、その量を周波数スペクトル音量として使用するように構成され、また、パラメータ取得ユニットは、0〜8kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量に対する0〜4kHzの周波数帯域にあって所定値よりも大きい周波数ビンピーク値を有する現在オーディオフレームの周波数ビンの量の比率を計算して、その比率を低周波帯域における周波数スペクトル音量の比率として使用するように構成される。

前述の実施形態では、線形予測残留エネルギー勾配及び周波数スペクトル音量の長期統計値と低周波帯域における周波数スペクトル音量の比率とにしたがってオーディオ信号が分類され、したがって、パラメータが比較的少なく、認識率が比較的高いとともに、複雑さが比較的低い。

前述のオーディオ信号分類装置は、異なるエンコーダに接続されてもよく、また、異なる信号を異なるエンコーダを使用することによりエンコードしてもよい。例えば、オーディオ信号分類装置は、2つのエンコーダに接続されて、スピーチ生成モデル（例えばCELPなど）に基づくエンコーダを使用することによりスピーチ信号がエンコードするとともに、変換に基づくエンコーダ（例えばMDCTに基づくエンコーダなど）を使用することによりミュージック信号をエンコードする。前述の装置実施形態におけるそれぞれの特定のパラメータの定義及び取得方法に関しては、前述の実施形態の関連する説明を参照されたい。

前述の方法実施形態と関連して、本発明は、オーディオ信号分類装置を更に提供し、また、該装置は、端末デバイス内又はネットワークデバイス内に位置されてもよい。オーディオ信号分類装置は、ハードウェア回路により実施されてもよく、或いは、ハードウェアと協働するソフトウェアによって実施されてもよい。例えば、図18を参照すると、オーディオ信号に関して分類を実施するためにプロセッサがオーディオ信号分類装置を呼び出す。オーディオ信号分類装置は、前述の方法実施形態における様々な方法及びプロセスを行ってもよい。オーディオ信号分類装置の特定のモジュール及び機能に関しては、前述の装置実施形態の関連する説明を参照されたい。

図19における装置1900の一例はエンコーダである。装置1900は、プロセッサ1910及びメモリ1920を含む。

メモリ1920は、ランダムメモリ、フラッシュメモリ、リードオンリーメモリ、プログラマブルリードオンリーメモリ、不揮発性メモリ、レジスタ等を含んでもよい。プロセッサ1910が中央処理ユニット（Central Processing Unit、CPU）であってもよい。

メモリ1920は、実行可能命令を記憶するように構成される。プロセッサ1910は、メモリ1920に記憶される実行可能命令を実行するとともに、以下のように構成されてもよい。

装置1900の他の機能及び動作に関しては、繰り返しを避けるためにここで再び説明されない図3〜図12における方法実施形態のプロセスを参照されたい。

当業者であれば分かるように、実施形態における方法のプロセスの全部又は一部は、関連するハードウェアに指示するコンピュータプログラムにより実施されてもよい。プログラムはコンピュータ可読記憶媒体に記憶されてもよい。プログラムが起動する際に、実施形態における方法のプロセスが行われる。前述の機能部億媒体は、磁気ディスク、光ディスク、リードオンリーメモリ（Read−Only Memory、ROM）、又は、ランダムアクセスメモリ（Random Access Memory、RAM）を含んでもよい。

この出願において与えられる幾つかの実施形態では、開示されたシステム、装置、及び、方法が他の態様で実施されてもよいことが理解されるべきである。例えば、記載された装置実施形態は単なる典型例にすぎない。例えば、ユニット分割は、単に論理的な機能分割にすぎず、実際の実施では他の分割であってもよい。例えば、複数のユニット又は構成要素が組み合わされ或いは他のシステムに組み込まれてもよく、或いは、幾つかの特徴が無視され又は実行されなくてもよい。また、示された或いは論じられた相互の結合又は直接的な結合又は通信接続は、幾つかのインタフェースを使用することにより実施されてもよい。装置間又はユニット間の間接的な結合又は通信接続は、電子的形態、機械的形態、又は、他の形態で実施されてもよい。

別個の部品として説明されるユニットは、物理的に別個であってもよく或いは物理的に別個でなくてもよく、また、ユニットとして示される部品は、物理的なユニットであってもなくてもよく、1つの位置に位置されてもよく、或いは、複数のネットワークユニットに分布されてもよい。ユニットの一部又は全部は、実施形態の解決策の目的を達成するように実際のニーズにしたがって選択されてもよい。

また、本発明の実施形態における機能ユニットが1つの処理ユニットに組み込まれてもよく、或いは、ユニットのそれぞれが物理的に単独で存在してもよく、或いは、2つ以上のユニットが1つのユニットに組み込まれてもよい。

以上は本発明の単なる典型的な実施形態にすぎない。当業者は、本発明の思想及び範囲から逸脱することなく、本発明に対して様々な変更及び変形を成してもよい。

1301 記憶決定ユニット
1302 メモリ
1303 分類ユニット
1304 更新ユニット
1401 計算ユニット
1402 決定ユニット
1501 フレーム分割ユニット
1502 パラメータ取得ユニット
1503 記憶ユニット
1504 分類ユニット
1505 記憶決定ユニット
1701 計算ユニット
1702 決定ユニット
1900 装置
1910 プロセッサ
1920 メモリ

Claims (17)

1. 現在オーディオフレームのボイス活性にしたがって、前記現在オーディオフレームの周波数スペクトル変動を得て該周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するべきかどうかを決定するステップであって、前記周波数スペクトル変動がオーディオ信号の周波数スペクトルのエネルギー変動を示す、ステップと、
   オーディオフレームがパーカッションミュージックであるかどうかにしたがって又は履歴オーディオフレームの活性にしたがって前記周波数スペクトル変動メモリ内に記憶される前記周波数スペクトル変動を更新するステップと、
   前記周波数スペクトル変動メモリ内に記憶される前記周波数スペクトル変動の有効データの一部又は全部の統計値にしたがって前記現在オーディオフレームをスピーチフレーム又はミュージックフレームとして分類するステップと
   を備える、オーディオ信号分類方法。
2. 現在オーディオフレームのボイス活性にしたがって、前記現在オーディオフレームの周波数スペクトル変動を得て該周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するべきかどうかを決定する前記ステップは、
   前記現在オーディオフレームが活性フレームである場合に、前記現在オーディオフレームの前記周波数スペクトル変動を前記周波数スペクトル変動メモリ内に記憶するステップを備える請求項1に記載の方法。
3. 現在オーディオフレームのボイス活性にしたがって、前記現在オーディオフレームの周波数スペクトル変動を得て該周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するべきかどうかを決定する前記ステップは、
   前記現在オーディオフレームが活性フレームであるとともに前記現在オーディオフレームがエネルギー攻撃に属さない場合に、前記現在オーディオフレームの前記周波数スペクトル変動を前記周波数スペクトル変動メモリ内に記憶するステップを備える請求項1に記載の方法。
4. 現在オーディオフレームのボイス活性にしたがって、前記現在オーディオフレームの周波数スペクトル変動を得て該周波数スペクトル変動を周波数スペクトル変動メモリ内に記憶するべきかどうかを決定する前記ステップは、
   前記現在オーディオフレームが活性フレームであるとともに前記現在オーディオフレームと該現在オーディオフレームの履歴フレームとを備える複数の連続するフレームのいずれもがエネルギー攻撃に属さない場合に、前記現在オーディオフレームの前記周波数スペクトル変動を前記周波数スペクトル変動メモリ内に記憶するステップを備える請求項1に記載の方法。
5. 履歴オーディオフレームの活性にしたがって前記周波数スペクトル変動メモリ内に記憶される前記周波数スペクトル変動を更新する前記ステップは、
   前記現在オーディオフレームの前記周波数スペクトル変動が前記周波数スペクトル変動メモリ内に記憶されること、及び、前のオーディオフレームが不活性フレームであることが決定されれば、前記現在オーディオフレームの前記周波数スペクトル変動を除く前記周波数スペクトル変動メモリ内に記憶される他の周波数スペクトル変動のデータを無効データに変更するステップ、或いは、
   前記現在オーディオフレームの前記周波数スペクトル変動が前記周波数スペクトル変動メモリ内に記憶されること、及び、前記現在オーディオフレームの前の3つの連続する履歴フレームが全て活性フレームではないことが決定されれば、前記現在オーディオフレームの前記周波数スペクトル変動を第1の値に変更するステップ、或いは、
   前記現在オーディオフレームの前記周波数スペクトル変動が前記周波数スペクトル変動メモリ内に記憶されること、及び、履歴分類結果がミュージック信号であり且つ前記現在オーディオフレームの前記周波数スペクトル変動が第2の値よりも大きいことが決定されれば、前記現在オーディオフレームの前記周波数スペクトル変動を第2の値に変更するステップを備える、請求項1から4のいずれか一項に記載の方法。
6. 前記現在オーディオフレームがパーカッションミュージックであるかどうかにしたがって前記周波数スペクトル変動メモリ内に記憶される前記周波数スペクトル変動を更新する前記ステップは、
   前記現在オーディオフレームがパーカッションミュージックに属する場合に、前記周波数スペクトル変動メモリ内に記憶される前記周波数スペクトル変動の値を変更するステップを備える請求項1から4のいずれか一項に記載の方法。
7. 前記周波数スペクトル変動メモリ内に記憶される前記周波数スペクトル変動の有効データの一部又は全部の統計値にしたがって前記現在オーディオフレームをスピーチフレーム又はミュージックフレームとして分類する前記ステップは、
   前記周波数スペクトル変動メモリ内に記憶される前記周波数スペクトル変動の有効データの一部又は全部の平均値を得るステップと、
   前記周波数スペクトル変動の有効データの得られた平均値がミュージック分類条件を満たすときに、前記現在オーディオフレームをミュージックフレームとして分類するステップと
   を備える請求項1から6のいずれか一項に記載の方法。
8. 前記現在オーディオフレームの周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を得るステップであって、前記周波数スペクトル高周波帯域ピーキネスは、前記現在オーディオフレームの周波数スペクトルの高周波帯域におけるピーキネス又はエネルギー尖鋭度を示し、前記周波数スペクトル相関度は、前記現在オーディオフレームの信号調和構造の隣接するフレーム間の安定性を示し、前記線形予測残留エネルギー勾配は、線形予測次数が増大するにつれて前記オーディオ信号の線形予測残留エネルギーが変化する度合いを示す、ステップと、
   前記現在オーディオフレームのボイス活性にしたがって、前記周波数スペクトル高周波帯域ピーキネス、前記周波数スペクトル相関度、及び、前記線形予測残留エネルギー勾配をメモリに記憶するべきかどうかを決定するステップとを更に備え、
   前記周波数スペクトル変動メモリ内に記憶される前記周波数スペクトル変動の有効データの一部又は全部の統計値にしたがって前記オーディオフレームを分類する前記ステップは、
   記憶された周波数スペクトル変動の有効データの平均値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの平均値、記憶された周波数スペクトル相関度の有効データの平均値、及び、記憶された線形予測残留エネルギー勾配の有効データの分散を別々に得るステップと、
   以下の条件、すなわち、前記周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、前記周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、前記周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、前記線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つを含む分類条件が満たされるときに、前記現在オーディオフレームをミュージックフレームとして分類し、そうでなければ、前記現在オーディオフレームをスピーチフレームとして分類するステップと
   を備える、請求項1から6のいずれか一項に記載の方法。
9. オーディオ信号分類装置であって、該装置は入力オーディオ信号を分類するように構成され、前記装置は、
   現在オーディオフレームのボイス活性にしたがって前記現在オーディオフレームの周波数スペクトル変動を得て記憶するべきかどうかを決定する記憶決定ユニットであって、前記周波数スペクトル変動がオーディオ信号の周波数スペクトルのエネルギー変動を示す、記憶決定ユニットと、
   前記周波数スペクトル変動が記憶される必要があるという結果を前記記憶決定ユニットが出力するときに前記周波数スペクトル変動を記憶するメモリと、
   オーディオフレームがパーカッションミュージックであるかどうかにしたがって又は履歴オーディオフレームの活性にしたがって前記メモリに記憶される前記周波数スペクトル変動を更新する更新ユニットと、
   前記メモリ内に記憶される前記周波数スペクトル変動の有効データの一部又は全部の統計値にしたがって前記現在オーディオフレームをスピーチフレーム又はミュージックフレームとして分類する分類ユニットと
   を備える、オーディオ信号分類装置。
10. 前記記憶決定ユニットは、具体的には、前記現在オーディオフレームが活性フレームであると決定されるときに、前記現在オーディオフレームの前記周波数スペクトル変動が記憶される必要があるという結果を出力するように構成される請求項9に記載の装置。
11. 前記記憶決定ユニットは、具体的には、前記現在オーディオフレームが活性フレームであるととともに前記現在オーディオフレームがエネルギー攻撃に属さないと決定されるときに、前記現在オーディオフレームの前記周波数スペクトル変動が記憶される必要があるという結果を出力するように構成される請求項9に記載の装置。
12. 前記記憶決定ユニットは、具体的には、前記現在オーディオフレームが活性フレームであるととともに前記現在オーディオフレームと該現在オーディオフレームの履歴フレームとを備える複数の連続するフレームのいずれもがエネルギー攻撃に属さないと決定されるときに、前記現在オーディオフレームの前記周波数スペクトル変動が記憶される必要があるという結果を出力するように構成される請求項9に記載の装置。
13. 前記更新ユニットは、具体的には、前記現在オーディオフレームが活性フレームであるとともに前のオーディオフレームが不活性フレームである場合に、前記現在オーディオフレームの前記周波数スペクトル変動を除く前記メモリ内に記憶される他の周波数スペクトル変動のデータを無効データに変更する、或いは、
    前記現在オーディオフレームが活性フレームであるとともに前記現在オーディオフレームの前の3つの連続するフレームが全て活性フレームではない場合に、前記現在オーディオフレームの前記周波数スペクトル変動を第1の値に変更する、或いは、
    前記現在オーディオフレームが活性フレームであるとともに履歴分類結果がミュージック信号であり且つ前記現在オーディオフレームの前記周波数スペクトル変動が第2の値よりも大きい場合に、前記現在オーディオフレームの前記周波数スペクトル変動を第2の値に変更するように構成され、前記第2の値が前記第1の値よりも大きい、請求項9から12のいずれか一項に記載の装置。
14. 前記更新ユニットは、具体的には、前記現在オーディオフレームがパーカッションミュージックに属する場合に、周波数スペクトル変動メモリ内に記憶される前記周波数スペクトル変動の値を変更するように構成される請求項9から12のいずれか一項に記載の装置。
15. 前記分類ユニットは、
    前記メモリ内に記憶される前記周波数スペクトル変動の有効データの一部又は全部の平均値を得る計算ユニットと、
    前記周波数スペクトル変動の有効データの平均値とミュージック分類条件とを比較して、前記周波数スペクトル変動の有効データの平均値が前記ミュージック分類条件を満たすときに前記現在オーディオフレームをミュージックフレームとして分類する決定ユニットと
    を備える請求項9から14のいずれか一項に記載の装置。
16. 前記現在オーディオフレームの周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、有声化パラメータ、及び、線形予測残留エネルギー勾配を取得するパラメータ取得ユニットを更に含み、前記周波数スペクトル高周波帯域ピーキネスは、前記現在オーディオフレームの周波数スペクトルの高周波帯域におけるピーキネス又はエネルギー尖鋭度を示し、前記周波数スペクトル相関度は、前記現在オーディオフレームの信号調和構造の隣接するフレーム間の安定性を示し、前記有声化パラメータは、前記現在オーディオフレームとピッチ期間の前の信号との間の時間領域相関度を示し、前記線形予測残留エネルギー勾配は、線形予測次数が増大するにつれて前記オーディオ信号の線形予測残留エネルギーが変化する度合いを示し、
    前記記憶決定ユニットは、前記現在オーディオフレームのボイス活性にしたがって、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配をメモリに記憶するべきかどうかを決定するように更に構成され、
    前記メモリは、周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配が記憶される必要があるという結果を前記記憶決定ユニットが出力するときに周波数スペクトル高周波帯域ピーキネス、周波数スペクトル相関度、及び、線形予測残留エネルギー勾配を記憶するように更に構成され、
    前記分類ユニットは、具体的には、記憶された周波数スペクトル変動の有効データの統計値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの統計値、記憶された周波数スペクトル相関度の有効データの統計値、及び、記憶された線形予測残留エネルギー勾配の有効データの統計値を得て、前記有効データの統計値にしたがって前記オーディオフレームをスピーチフレーム又はミュージックフレームとして分類するように構成される請求項9から14のいずれか一項に記載の装置。
17. 前記分類ユニットは、
    記憶された周波数スペクトル変動の有効データの平均値、記憶された周波数スペクトル高周波帯域ピーキネスの有効データの平均値、記憶された周波数スペクトル相関度の有効データの平均値、及び、記憶された線形予測残留エネルギー勾配の有効データの分散を別々に得る計算ユニットと、
    以下の条件、すなわち、周波数スペクトル変動の有効データの平均値が第1の閾値未満であり、或いは、周波数スペクトル高周波帯域ピーキネスの有効データの平均値が第2の閾値よりも大きく、或いは、周波数スペクトル相関度の有効データの平均値が第3の閾値よりも大きく、或いは、線形予測残留エネルギー勾配の有効データの分散が第4の閾値未満であるという条件のうちの1つを含む分類条件が満たされるときに、前記現在オーディオフレームをミュージックフレームとして分類し、そうでなければ、前記現在オーディオフレームをスピーチフレームとして分類する決定ユニットと
    を備える、請求項16に記載の装置。

Images