JP3660599B2

JP3660599B2 - 音響信号の立ち上がり・立ち下がり検出方法及び装置並びにプログラム及び記録媒体

Info

Publication number: JP3660599B2
Application number: JP2001066712A
Authority: JP
Inventors: 和明千喜良; 健弘守谷; 明夫神; 岳至森
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2001-03-09
Filing date: 2001-03-09
Publication date: 2005-06-15
Anticipated expiration: 2021-03-09
Also published as: JP2002268657A

Description

【０００１】
【発明の属する技術分野】
この発明は、音響信号（楽音、音声信号）の立ち上がり・立ち下がりの検出方法に関し、音響信号の符号化、音声認識、音声通信等に用いられる。
【０００２】
【従来の技術】
アタック検出技術は、例えば音響信号の符号化技術において変換長を決定する際に利用されている。
楽音符号化技術の代表的な例としてはTwinVQ(Transform domain Weighted INterleave Vector Quantization)、AAC(Advanced Audio Coding)、ATRAC3(Adaptive TRansform Acoustic Coding)等があげられる。これらの符号化技術は主に量子化によって表現ビット数を削減するが、量子化効率を上げるために、音響信号を時間領域から周波数領域へ変換してから量子化を行う。この変換は一般的に直交変換を用いて行うが変換長の選択が重要である。より長い変換フレームを採用し、フレームを一度に変換すれば周波数領域でパワーが集中しやすく後に行う量子化効率が高くなるが、同一フレーム内で信号の特性が著しく変化する場合には、量子化によって特性の異なる信号同士が干渉しあうため、聴感上のひずみが目立つようになる（これをプリエコーといい、高圧縮率時に顕著となる）。逆に変換長を短くすれば音響信号の特性が変化した場合でもその影響（干渉）が及ぶ範囲は時間的に短い。したがって音響信号の特性が激しく変化する（アタックが存在する）場合には短い変換長で時間領域／周波数領域変換を行い、通常はそれよりも長い変換長で変換を行うことが対策として考えられる。
【０００３】
前述のTwinVQ方式では変換フレーム内の各区間ごとの信号エネルギーのばらつき度（相加平均と相乗平均の比）を主な尺度としてアタックの検出を行っている。また、AAC方式では聴覚的エントロピーを用いた検出方法が提案されている。聴覚的エントロピーは複数の周波数帯域部分ごとに聴覚モデルを用いて計算した最小可聴ノイズから計算され、このエントロピーの大小によってアタックの存在を判定し、アタックの検出を行っている。
【０００４】
【発明が解決しようとする課題】
従来技術のようにエネルギーのばらつきを選択基準とすると、一定の割合でエネルギーが増加している場合（エネルギーの変動の例：1,2,3,4,5）でも、急激にエネルギーが変動している場合（エネルギー変動の例：1,5,4,3,2）でも同じ基準値を生成することになる。後者は明らかにアタックであり、前者の場合はアタックとはいえないためエネルギーのばらつきは尺度として的確ではない場合がある。また、聴覚エントロピーは計算するために高次のFFT(Fast Fourier Transform)を行う必要があるなど演算量の面で不利である。
この発明の課題は音響信号の立ち上がり及び立ち下がりを的確に、少ない演算量、処理量で検出することである。
【０００５】
【課題を解決するための手段】
音響信号の立ち上がり及び立ち下がりの検出判定として、解析フレーム内のエネルギーの変動を直線あるいは曲線により近似し、（１）この近似した値と実際の値の誤差の和をとり閾値と比較して行う、（２）近似した直線あるいは曲線の傾きを閾値と比較して行う。また、高域信号部分（例えば、４kHz以上）のエネルギーだけを対象としてエネルギー変動を直線あるいは曲線により近似し、同様に検出判定を行う。
【０００６】
【発明の実施の形態】
図１を参照してこの発明の概要を説明する。
（１）入力された音響信号を解析フレーム単位に分割し、解析フレーム内をさらに複数の解析区間(1,2,・・・,j)に分割し、各区間内の音響信号のエネルギーを算出し(E₁,E₂,・・・,E_j)、
【０００７】
【数１】

【０００８】
（２）（１）でエネルギーの変動を直線で近似した傾きa₁と予め設定された閾値A_thと比較することにより解析フレーム内の音響信号の立ち上がり・立ち下がりを検出する。
【０００９】
図２，３を参照してこの発明を詳細に説明する。
図２に概要（１）で説明した音響信号の立ち上がり・立ち下がり検出装置の構成、図３に入力された音響信号を解析フレーム単位に分割し、解析フレーム内をさらに複数の区間に分割するための説明図を示す。
〈フレーム解析区間抽出部〉
(1)入力された音響信号列を解析フレーム単位に分割し、解析フレーム内をさらに複数の解析区間に分割する。解析フレームは標本化点を2048点とすると、解析フレーム内を図３に示すように1,2,・・・,8個の解析区間jを重ね合わせて抽出する場合、第j区間は((j＋2)×2048)÷16＋１点目から((j＋4)×2048÷16)点目となる。
【００１０】
図３からわかるように第j区間と第j+1区間は2048／16=128点重複する。通常楽音符号化方式における時間領域／周波数領域変換部では重ね合わせ直交変換(LOT:Lapped Orthogonal Transform)が利用されているため、第i変換フレームと第i+1変換フレームとは1024点重複している。したがって、この変換フレームをそのままこの発明の解析フレームとした場合には、第i解析フレーム内の第8区間は第i＋1解析フレーム内の第1区間と128点重複している。
(2)解析区間内の音響信号（サンプル値）を[x_k],(k=0,1,2,・・・,255)とするとき、各解析区間内のサンプル値にハミング窓をかけるとw_k=x_k×(0.54−0.46×cos(2πk／256))となる。
(3)各区間の[w_k]を周波数領域に変換する。これは256点のFFTを用いて行うことができる。周波数成分は[f_k],(k=0,1,2,・・・,127)となる。また、高域成分は例えば[f_k],(k=64,65,66,・・・,127)とすることができる（この高域成分の設定は実験等により行う）。
〈解析区間内エネルギー生成部〉
(4)FFT前（時間領域）とFFT後（周波数領域）のそれぞれについて解析区間内サンプル値の二乗和(エネルギー)G,Eを計算する。
【００１１】
【数２】

〈直線によるエネルギー近似値計算部〉
(4)次にE_j,G_jの変動を直線あるいは曲線により近似する。
【００１２】
【数３】

を最小にするa_n,b_nは最小二乗法により求める。
【００１３】
【数４】

例えば、N=2で、解析区間数が8の場合、これはエネルギーの変動を直線近似することになり、以下のようになる。
【００１４】
【数５】

となる。
〈二乗演算器・加算器〉
誤差の二乗和は、以下に示すようになる。
【００１５】
【数６】

【００１６】
なお、上記の例では誤差の二乗和を求めているが、誤差の絶対値を用いることもできる。
〈立ち上がり・立ち下がり検出部〉
(5)音響信号の立ち上がり・立ち下がりの有無はe,g,a₁,b₁の大小で判断する。
eあるいはgが大きいときは直線による近似がうまくいかなかったときであるから（すなわち、誤差の和が大きい場合）、解析フレーム内に音響信号の立ち上がり・立ち下がりが存在すると判定する目安となる。また、a₁,b₁が大きいとき（すなわち、傾きが大きい場合）、解析フレーム内でエネルギーの変動が激しいときであるから音響信号の立ち上がり・立ち下がりが存在すると判定する目安となる。したがって、実験結果等により求めた閾値A_th,B_th,E_th,G_thと比較し、a₁＞A_th,b₁＞B_th,e＞E_th,g＞G_th のときに音響信号の立ち上がり・立ち下がりが存在すると判定する。また、判定を例えば、e＞E_thかつa₁＞A_thかつb₁＞B_th とすれば検出精度を上げることができる。
【００１７】
なお、a₁＞A_thあるいはb₁＞B_thの判定は直線によるエネルギー近似値計算部において計算された傾きa₁あるいはb₁を閾値A_th,B_thと比較することにより音響信号の立ち上がり・立ち下がりを検出することができる。
この発明は、例えば符号化技術において変換フレーム内の変換長の決定に利用することができる。
変換フレームを解析フレームとしてこの発明による音響信号の立ち上がり・立ち下がり検出を行い、音響信号の立ち上がり・立ち下がりが存在するフレームでは変換長を短く、また、音響信号の立ち上がり・立ち下がりが存在しないならばフレーム全体を変換長とすればよい。
【００１８】
図４に示すように、音響信号の立ち上がり（アタック）が存在する音を、長い変換領域を用いて符号化するとアタックのエネルギーが変換領域全体にわたって拡散されてしまい、復号後にプリエコーと呼ばれる音質の劣化を引き起こす。このような場合に精度の高いアタック検出法を用いて変換長を短くすればプリエコーを抑えることができ、復号時に音質が向上する。
本方式を実際に符号化・復号化装置に組み込み品質評価試験を行った結果を図５に示す。
【００１９】
コーデックはMPEG-4/Audioのリファレンスソフトウェアを利用している。
試験はリファレンスソフトによる復号音と、本方式による変換長切換えを実装したリファレンスソフトによる復号音を比較するものである。この試験では判定の条件をE_th＞0.2かつG_th＞0.2とした。表の数値は、従来方式に比べて本方式の音を採点したものである。採点の範囲は、悪い(−3)から良い(＋3)までである。上限と下限は評価の分布を正規分布で近似し、分布を95％で切り捨てたときの上限と下限である。
【００２０】
音声のように急激に音が変化する場合にはアタックによって変換長を切り換える方法が有効であるが、本方式では音声（歌唱：女性、独語：男性、英語等）において音質が平均値０より上回り向上する傾向がある。
また、この発明の音響信号の立ち上がり・立ち下がり検出装置をCPUやメモリ等を有するコンピュータと、アクセス主体となるユーザが利用する利用者端末と記録媒体から構成することができる。
記録媒体は、CD-ROM、磁気ディスク、半導体メモリ等の機械読み取り可能な
記録媒体であり、ここに記録された、あるいは通信回線等で配信された音響信号の立ち上がり・立ち下がり検出プログラムはコンピュータに読み取られ、コンピュータの動作を制御し、コンピュータ上に実施の形態における各構成要素、すなわち、フレーム解析区間抽出部、解析区間内エネルギー生成部、直線あるいは曲線によるエネルギー近似値計算部等を実現する。
【００２１】
【発明の効果】
本発明によれば、なめらかなエネルギー変動（エネルギー変動の例：1,2,3,4,5）は直線で近似できるためアタック無しと判定される。また、アタックが存在する例（エネルギー変動の例：1,5,4,3,2）は近似が困難なため、誤差が大きくなりアタックが存在すると判定される。
また、エネルギーの変動が大きい場合でも、高域信号にエネルギーが少ない場合は、短い変換長を用いたときの量子化雑音がマスキングされないため、聴覚上のひずみが目立ってしまう。したがってこの場合には長い変換長を選択することが必要である。本発明では高域信号のエネルギーの変動にも着目しているため高域信号のエネルギー変動が無い場合には長い変換長が選択される。
【００２２】
以上から本発明に音響信号の立ち上がり・立ち下がり検出法を用いれば少ない演算量で音響信号の特性に適した変換長を選択することが可能となり、符号化技術変換長の選択に応用すればプリエコーが軽減され、復号後の音質が向上する。
【図面の簡単な説明】
【図１】本発明の概要を説明するための図。
【図２】本発明の音響信号の立ち上がり・立ち下がり検出装置の構成を示すブロック図。
【図３】音響信号と解析フレーム、解析区間の関係を示す図。
【図４】アタック音に対する長・短変換長における復号後の出力信号を示す図。
【図５】本発明の音響信号の立ち上がり・立ち下がり検出法を適用した符号化・復号化による品質評価試験の結果を示す図。

Claims

入力された音響信号を解析フレーム単位に分割し、前記解析フレーム内をさらに複数の解析区間に分割し、
各解析区間内の音響信号のエネルギーを算出し、各解析区間のエネルギーの前記解析フレーム内の変動を近似した直線あるいは曲線を計算して求め、
近似した直線あるいは曲線の傾きと予め設定された閾値と比較することにより前記解析フレーム内に音響信号の立ち上がり・立ち下がりのあることを検出することを特徴とする音響信号の立ち上がり・立ち下がり検出方法。
請求項１に記載の音響信号の立ち上がり・立ち下がり検出方法において、
複数区間のエネルギーの変動を近似する直線あるいは曲線は最小二乗法により求めることを特徴とする音響信号の立ち上がり・立ち下がり検出方法。
入力された音響信号を解析フレーム単位に分割し、前記解析フレーム内をさらに複数の解析区間に分割するフレーム解析区間抽出部と、
各解析区間内の音響信号のエネルギーを算出するエネルギー生成部と、
各解析区間のエネルギーの前記解析フレーム内の変動を近似した直線あるいは曲線を計算して求めるエネルギー近似値計算部と、
近似した直線あるいは曲線の傾きと予め設定された閾値と比較することにより解析フレーム内に音響信号の立ち上がり・立ち下がりのあることを検出する検出部とを備えたことを特徴とする音響信号の立ち上がり・立ち下がり検出装置。
請求項３に記載の音響信号の立ち上がり・立ち下がり検出装置において、
エネルギー近似値計算部における複数区間のエネルギーの変動を近似する直線あるいは曲線を最小二乗法により求めることを特徴とする音響信号の立ち上がり・立ち下がり検出装置。
入力された音響信号を解析フレーム単位に分割し、前記解析フレーム内をさらに複数の解析区間に分割する処理と、
各解析区間内の音響信号のエネルギーを算出し、前記解析フレーム内のエネルギーの変動を近似した直線あるいは曲線を計算して求める処理と、
近似した直線あるいは曲線の傾きと予め設定された閾値と比較することにより解析フレーム内に音響信号の立ち上がり・立ち下がりのあることを検出する処理をコンピュータに実行させる音響信号の立ち上がり・立ち下がり検出プログラム。
請求項５に記載の音響信号の立ち上がり・立ち下がり検出プログラムにおいて、
複数区間のエネルギーの変動を近似する直線あるいは曲線を計算して求める処理は最小二乗法を用いて求める処理を有する音響信号の立ち上がり・立ち下がり検出プログラム。
入力された音響信号を解析フレーム単位に分割し、前記解析フレーム内をさらに複数の解析区間に分割する処理と、
各解析区間内の音響信号のエネルギーを算出し、前記解析フレーム内のエネルギーの変動を近似する直線あるいは曲線を計算して求める処理と
近似した直線あるいは曲線の傾きと予め設定された閾値と比較することにより解析フレーム内に音響信号の立ち上がり・立ち下がりのあることを検出する処理をコンピュータに実行させる音響信号の立ち上がり・立ち下がり検出プログラムを記録した記録媒体。
請求項７に記載の音響信号の立ち上がり・立ち下がり検出プログラムを記録した記録媒体において、
複数区間のエネルギーの変動を近似する直線あるいは曲線を計算して求める処理は最小二乗法を用いて求める処理を有する音響信号の立ち上がり・立ち下がり検出プログラムを記録した記録媒体。