JP3423233B2 - オーディオ信号処理方法および装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、オーディオ信号
に対する処理に関するものであり、聴感的な不連続点を
検出する手段を提供する。

【０００２】

【従来の技術】オーディオ信号を符号化する手法の一つ
に、ＰＣＭ方式で記録されているオーディオ信号を、あ
る一定の時間ごとに区切り、各区間の信号サンプルを変
換して得られた周波数領域での信号を手がかりに符号化
する変換符号化法がある。変換符号化法は定常的な音に
対しては能率良く信号圧縮できるが、過渡状態、特に立
ち上がりを含む音に対しては圧縮の能率が低下するた
め、信号を復元した際の音質が低下してしまう。このよ
うな問題を避けるために、変換符号化では、立ち上がり
を含む音に対しては、圧縮の能率を向上させる処理が特
別に用意されているのが一般的である。

【０００３】

【発明が解決しようとする課題】ところで、オーディオ
信号の立ち上がりを検出する従来の手法としては、短区
間のパワーを計算して、その変化を検知するものや、信
号のスペクトルを分析し、形状が平坦であるものは立ち
上がりとみなすなどの手法がある。しかし、前者では、
例えば持続音のパワーが一定のまま高さが変わった場合
などには検出できず、後者では、持続ノイズのようなも
ともと平坦な形状をしている信号を誤認識してしまうこ
とがある。これらの誤認識は、人間の聴覚系の処理を信
号処理方式がうまく近似していないために起こる。

【０００４】この発明は、上記事情に鑑みてなされたも
ので、オーディオ信号の聴感的な区切りを能率良く検出
することができ、また、変換符号化において立ち上がり
音の能率を向上させる処理を呼び出す手がかりとして利
用することができ、さらに、オーディオ信号を編集加工
する過程において、聴感的に区切りのある点でオーディ
オ信号を切り出す作業を支援することができるオーディ
オ信号処理方法を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記課題を解決するた
め、この発明は以下の構成を有する。すなわち、この発
明にかかるオーディオ信号処理方法は、標本化された入
力オーディオ信号上での音の区切りを検出するためのオ
ーディオ信号処理方法であって、（ａ）標本化された入
カオーディオ信号から一定時間ごとに過去の一定数の標
本列を取り出す第１の段階（例えばフレーム分割部１で
の処理に相当）と、（ｂ）前記標本列に対するパワース
ペクトルを計算する第２の段階（例えばパワースペクト
ル計算部２での処理に相当）と、（ｃ）前記パワースペ
クトルのうち極大点であって前記標本列が属する帯域の
閾値よりも大きいスペクトルを特徴点として抽出する第
３の段階（例えば特徴点抽出部３での処理に相当）と、
（ｄ）前記第３の段階で今回抽出された特徴点と前回抽
出された特徴点とを比較して周波数が一致する特徴点を
検索し、この周波数が一致する特徴点から聴覚上の変化
を模擬する特徴量として前記パワースペクトルの変化を
計算する第４の段階（スペクトル変化度計算部４での処
理に相当）と、（ｅ）前記特徴量に基づいて不連続性の
有無を判断する第５の段階（例えばスペクトル変化度計
算部４が備える不連続性判断部５での処理に相当）と、
を含むことを特徴とする。

【０００６】この発明によれば、入力オーディオ信号の
パワースペクトルを一定時間ごとに分析し、その連続性
を評価することで区切りを検出する。すなわち、一定時
間ごとに入力オーディオ信号の標本列を取り出し、この
標本列に対するパワースペクトルの特徴点を抽出する。
そして、今回取り出された標本列から得られた特徴点と
前回取り出された標本列から得られた特徴点とを比較し
て、この特徴点の変化からパワースペクトルの変化を把
握し、その連続性を評価する。このパワースペクトルの
連続性の評価は、前回得られたパワースペクトルと今回
得られたパワースペクトルの変化を計算し、変化が大き
いときに不連続だと判断することによって行う。

【０００７】つまり、特徴点の変化からパワースペクト
ルの変化が把握され、このパワースペクトルの変化から
音の変化が把握される。例えば音の立ち上がりでは特徴
点が大きく変化し、パワースペクトルが不連続となる。
したがって、パワースペクトルの連続性から音の区切り
が把握される。ここで、特徴点の変化から、聴覚上の変
化を模擬する特徴量を求め、この特徴量からパワースペ
クトルの不連続性が判断される。これにより、人間の聴
覚に即して音の区切りを判断することが可能となる。

【０００８】また、この発明に係るオーディオ信号処理
方法は、前記第３の段階で抽出された特徴点を記憶する
第６の段階（例えば特徴点記憶部４Ａでの処理に相当）
をさらに含み、前記第４の段階が、前記第３の段階で今
回抽出された特徴点と前記第６の段階で記憶された前回
の特徴点から聴覚上の変化を模擬する前記特徴量として
前記パワースペクトルの変化を計算することを特徴とす
る。

【０００９】この発明によれば、一定時間ごとに入力オ
ーディオ信号の標本列を取り出し、この標本列に対する
パワースペクトルの特徴点を抽出して記憶する。そし
て、今回取り出された標本列から得られた特徴点と前回
取り出されて記憶された標本列から得られた特徴点とを
比較して、この特徴点の変化からパワースペクトルの変
化を把握し、その連続性を評価する。

【００１０】また、この発明に係るオーディオ信号処理
方法は、前記第３の段階が、前記パワースペクトルに基
づき各周波数帯域ごとにパワーを算出する段階と、前記
パワースペクトルの極大点を求める段階と、前記各極大
点が属する前記周波数帯域に対するパワーに基づいて閾
値を設定し、前記各極大点が前記各閾値を上回る場合に
該極大値を特徴点として抽出する段階と、を含むことを
特徴とする。

【００１１】この発明によれば、聴覚系ではオーディオ
信号のスペクトルの際だって大きい部分がより注意され
ることに着目し、スペクトルの際だって大きい部分（信
号成分）についてのみパワースペクトルの変化を計算す
る。すなわち、スペクトルの際だって大きい部分である
パワースペクトルの極大点を少なくとも１点以上求め、
閾値を上回る極大点を特徴点として抽出してパワースペ
クトルの変化が計算される。これにより、人間の聴覚に
即してパワースペクトルの連続性を判断することが可能
となる。

【００１２】また、この発明に係るオーディオ信号処理
方法は、前記第４の段階が、前記第３の段階で抽出され
た特徴点と前記第６の段階で記憶された特徴点のうち周
波数の一致する組み合わせからパワースペクトルの差を
計算し、前記パワースペクトルの差の総和をもって前記
特徴量を定める、ことを特徴とする。

【００１３】この発明によれば、特徴量は、今回得られ
た特徴点と前回得られた特徴点のうち周波数の一致する
組み合わせ同士のパワースペクトルの差の総和として求
められる。ここで、聴覚系ではオーディオ信号の立ち上
がりは不連続点として認識しやすいが、立ち下がりは認
識しにくい傾向にあることに着目し、特徴量を計算する
際、立ち下がりの変化と立ち下がりの変化は区別して計
算する。例えば、パワースペクトルの差の総和から求め
られる特徴量は、立ち上がりの変化については正の値、
立ち下がりの変化については負の値になるようにする。

【００１４】また、この発明に係るオーディオ信号処理
方法は、前記第５の段階が、前記特徴量が所定の閾値を
超えた場合に不連続性を判断することを特徴とする。こ
れにより、所定の閾値に応じて特徴量の連続性を判断す
ることが可能となり、この所定の閾値を適切に選べば、
人間の聴覚に即してパワースペクトルの連続性を判断す
ることが可能となる。

【００１５】さらに、この発明に係るオーディオ信号処
理方法は、前記第５の段階が、前記特徴量が所定の定数
と前記標本列によるパワーとの積を超えた場合に不連続
性を判断することを特徴とする。これにより、入力オー
ディオ信号の標本列のパワーを反映させてパワースペク
トルの連続性を判断することが可能となり、より聴覚に
即した判断が可能となる。

【００１６】次に、この発明に係るオーディオ信号処理
装置は、標本化された入力オーディオ信号上での音の区
切りを検出するためのオーディオ信号処理装置であっ
て、標本化された入カオーディオ信号から一定時間ごと
に過去の一定数の標本列を取り出す標本列取得手段（例
えばフレーム分割部１に相当）と、前記標本列に対する
パワースペクトルを計算するパワースペクトル計算手段
（例えばパワースペクトル計算部２に相当）と、前記パ
ワースペクトルのうち極大点であって前記標本列が属す
る帯域の閾値よりも大きいスペクトルを特徴点として抽
出する特徴点抽出手段（スペクトル変化度計算部４に相
当）と、前記特徴点抽出手段により今回抽出された特徴
点と前回抽出された特徴点とを比較して周波数が一致す
る特徴点を検索し、この周波数が一致する特徴点から聴
覚上の変化を模擬する特徴量として前記パワースペクト
ルの変化を計算する特徴量抽出手段と、前記特徴量に基
づいて不連続性の有無を判断する不連続性判断手段（例
えば不連続性判断部５に相当）と、を備えたことを特徴
とする。

【００１７】また、この発明に係るオーディオ信号処理
装置は、前記特徴点抽出手段で抽出された特徴点を記憶
する特徴点記憶手段（例えば特徴点記憶部４Ａに相当）
をさらに備え、前記特徴量抽出手段が、前記特徴点抽出
手段により今回抽出された特徴点と前記特徴点記憶手段
に記憶された前回の特徴点から聴覚上の変化を模擬する
前記特徴量として前記パワースペクトルの変化を計算す
ることを特徴とする。

【００１８】また、この発明に係るオーディオ信号処理
装置は、前記特徴点抽出手段が、前記パワースペクトル
に基づき各周波数帯域ごとにパワーを算出する手段と、
前記パワースペクトルの極大点を求める手段と、前記各
極大点が属する前記周波数帯域に対するパワーに基づい
て閾値を設定し、前記各極大点が前記各閾値を上回る場
合に該極大値を特徴点として抽出する手段と、を備えた
ことを特徴とする。

【００１９】また、この発明に係るオーディオ信号処理
装置は、前記特徴量抽出手段が、前記特徴点抽出手段で
抽出された特徴点と前記特徴点記憶手段に記憶された特
徴点のうち周波数の一致する組み合わせからパワースペ
クトルの差を計算し、前記パワースペクトルの差の総和
をもって前記特徴量を定めることを特徴とする。

【００２０】また、この発明に係るオーディオ信号処理
装置は、前記不連続性判断手段が、前記特徴量が所定の
閾値を超えた場合に不連続性を判断することを特徴とす
る。また、この発明にかかるオーディオ信号処理装置
は、前記不連続性判断手段が、前記特徴量が所定の定数
と前記標本列によるパワーとの積を超えた場合に不連続
性を判断することを特徴とする。

【００２１】上述のように、この発明によれば、スペク
トルが際立って大きい部分のみ処理することにより、入
カオーディオ信号が特徴的な時間構造を持つ信号と、特
徴的な時間構造をもたない背景雑音との和であった場合
でも誤動作なく不連続点を検出できる。また、スペクト
ルの変化を計算をする際、立ち上がりと立ち下がりを区
別することにより、不連続点の検出を正確に行うために
感度を高くしてもオーディオ信号の立ち下がりで誤って
不連続性を判断してしまうことがなくなる。

【００２２】

【発明の実施の形態】以下、図面を参照して、この発明
にかかる形態の形態を説明する。図１に、本発明の実施
の形態にかかるオーディオ信号処理装置の構成を示す。
同図に示すように、このオーディオ信号処理装置は、標
本化手段としてのフレーム分割部１と、パワースペクト
ル計算手段としてのパワースペクトル計算部２と、特徴
点抽出手段としての特徴点抽出部３と、特徴量抽出手段
としてのスペクトル変化度計算部４と、連続性判断手段
としての不連続性判断部５とを備えて構成される。この
実施の形態では、一定の時間間隔でサンプリングされた
離散オーディオ信号を入力オーディオ信号とする。

【００２３】フレーム分割部１は、入力オーディオ信号
（離散オーディオ信号）の標本をフレーム長Ｎの個数か
らなる標本列に分割して切り出すものであり、この入力
オーディオ信号の標本をフレーム長Ｎだけの個数（例え
ば１０２４個）を記憶するバッファ用のメモリ（図示な
し）を持つ。

【００２４】図２に、パワースペクトル計算部２の詳細
構成を示す。同図に示すように、パワースペクトル計算
部２は、入力オーディオ信号の標本列に対して窓掛け処
理を行う窓掛け部２Ａと、離散フーリエ変換処理を行う
離散フーリエ変換部２Ｂと、二乗振幅処理を行う二乗振
幅計算部２Ｃとからなる。

【００２５】図３に、特徴点抽出部３の詳細な構成を示
す。この特徴点抽出部３は、パワースペクトルのうち音
の区切りを判断する上で重要性の高い要素を抽出するも
のであり、パワースペクトルを帯域分割するための帯域
分割部３Ａと、各帯域毎にパワーの平均値を計算するた
めのパワー平均値計算部３Ｂと、後述するスペクトルの
極大点が特徴点か否かを判断する上で用いられる閾値を
設定するための閾値設定部３Ｃと、スペクトルの極大点
を検出するための極大点検出部３Ｄと、スペクトルの極
大点が特徴点か否かを判断するための特徴点判断部３Ｅ
と、入力オーディオ信号の標本のうち特徴点と判断され
た標本を出力するための特徴点出力部３Ｆとからなる。

【００２６】図４に、スペクトル変化度計算部４の詳細
な構成を示す。このスペクトル変化度計算部４は、抽出
された特徴点を記憶するための特徴点記憶部４Ａと、今
回抽出された特徴点と前回抽出されて記憶された特徴点
とを比較してフレーム間で周波数が一致する特徴点を検
出するための一致特徴点検索部４Ｂと、周波数が一致す
る特徴点からフレーム間での特徴点の変化を計算するた
めの変化度計算部４Ｃとからなる。

【００２７】以下、この実施の形態にかかるオーディオ
信号処理装置の動作について、図６に示すフローチャー
トに沿って説明する。 ステップＳ１：フレーム分割部１により、入力オーディ
オ信号から標本列を取り出す。すなわち、フレーム分割
部１は、過去に入力された離散オーディオ信号（入力オ
ーディオ信号）の標本をバッファ用のメモリに順次入力
し、フレーム長Ｎだけの個数を保持する。そして、ある
更新周期Ｍ、例えば１２８個の標本が入力されるたび
に、フレーム長Ｎ分の記憶されている標本列を出力す
る。

【００２８】この標本列は、次式（１）のように表すこ
とができる。ただし、式（１）において、ｘは標本の
値、ｉはフレーム中の標本のインデックス番号、Ｎはフ
レーム長である。 ｘ[i]， for i=0 to N-1 ・・・（１）

【００２９】ステップＳ２：次に、パワースペクトル計
算部２により、フレーム分割部１から受け取った１フレ
ーム分の標本列のパワースペクトルを計算する。すなわ
ち、標本列ｘ[i]のパワースペクトルは、窓掛け部２Ａ
により入力オーディオ信号の標本列ｘ[i]に窓掛け処理
を行った後、離散フーリエ変換部２Ｂにより離散フーリ
エ変換し、二乗振幅計算部２Ｃにより各周波数成分の二
乗振幅を計算して得られる。

【００３０】パワースペクトル計算部２から出力される
パワースペクトルＸ[k]は、次式（２）のように表すこ
とができる。 Ｘ[k]， for k=0 to N/2-1 ・・・（２） ただし、ｋはパワースペクトルの各周波数要素を表す番
号である。

【００３１】ステップＳ３：次に、特徴点抽出部３によ
り、以下のように、パワースペクトルＸ[k]の中からピ
ーク成分を抽出する。すなわち、特徴点抽出部３に入力
されたパワースペクトルＸ[k]は、帯域分割部３Ａによ
り複数の標本ごとにまとめられて帯域分割される。

【００３２】パワースペクトルの帯域分割は、次式
（３）のように表される。ただし、式（３）において、
Ｘｂは帯域分割されたパワースペクトル、ｂは帯域の番
号をあらわすインデックス、ｉは各帯域の中での周波数
標本番号、ｉｂは、各帯域の最低周波数をあらわすイン
デックス、ｂｍａｘは帯域数、ｂｗｉｄは各帯域のバン
ド幅である。 Ｘｂ[ｂ][ｉ]＝Ｘ［ｉｂ[ｂ]＋ｉ]， for b=0 to bmax‐1，i=0 to bwid[b]-1 ・・・（３）

【００３３】帯域分割する場合、各帯域に含まれる標本
数は一定数でも良いし、各帯域が含む周波数幅がバーク
尺度上で等幅になるように非均一な標本数にしても良
い。パーク尺度分割する場合には、上式（３）におい
て、帯域数ｂｍａｘを６４程度に設定すると良好な結果
が得られる。

【００３４】続いて、パワー平均値計算部３Ｂにより、
帯域分割されたパワースペクトルについて、帯域ごとに
パワーの平均値が計算される。このパワーの平均値の計
算処理は次式（４）のように表される。 Ｐ[ｂ]＝｛ΣＸｂ[ｂ][i]｝／bwid[b] ・・・（４） ただし、Ｐは各帯域ごとのパワーの平均値であり、演算
子Σはｉ（ｉ：０〜bwid[b]-1）をパラメータとする。

【００３５】続いて、閾値設定部３Ｃにより、パワース
ペクトルのパワーの平均値を用いて、後述する別の処理
系統で検出された標本の極大点が特徴点かどうか判断す
るための閾値を設定する。この閾値は次式（５）のよう
に設定される。ただし、式（５）において、Ｔｈｒは閾
値、Ｒは定数である。定数Ｒの値を０．１５程度に設定
すると良好な結果が得られる。 Ｔｈｒ[b]＝Ｐ[b]×Ｒ ・・・（５）

【００３６】一方、極大点検出部３Ｄによる別系統の処
理で、各スペクトルについて極大点か否かを判断し、パ
ワースペクトルの極大点が検出される。極大点か否かの
判断においては、判断対象の標本のパワースペクトル
が、両隣に隣接する標本のパワースペクトルよりある一
定の割合だけ大きい場合に極大点と判断される。一定の
割合として、例えば４割（両隣に隣接する標本のパワー
スペクトルの１．４倍）程度に設定すると良好な結果が
得られる。

【００３７】続いて、特徴点判断部３Ｅにより、極大点
検出部３Ｄで極大点として検出されたスペクトルが特徴
点か否かが判断される。即ち、特徴点判断部３Ｅは、極
大点と判断されたスペクトルと、その標本が属する帯域
の閾値Ｔｈｒ[b]とを比較し、極大点と判断されたスペ
クトルが閾値Ｔｈｒ[b]よりも大きな場合に特徴点と判
断する。

【００３８】続いて、特徴点出力部３Ｆにより、パワー
スペクトル計算部２から入力するスペクトルのうち、特
徴点判断部３Ｅにより特徴点と判断されたスペクトルの
周波数位置の標本を抽出し、この標本とその標本番号と
を組にして、これを特徴点の情報として出力する。

【００３９】この特徴点の情報は、次式（６）のように
表される。ただし、式（６）において、Ｃｔは一つの特
徴点を表し、ｉは特徴点と判断された周波数標本番号
（周波数インデックス）を表す。 Ｃｔ＝（Ｘ[ｉ]，ｉ） ・・・（６）

【００４０】続いて、スペクトル変化度計算部４Ｃによ
り、特徴点抽出部３で得られた特徴点からスペクトルの
変化が分析される。スペクトル変化度計算部４Ｃは、ま
ず、特徴点抽出部３から入力された今回のフレームの特
徴点Ｃｔｃと特徴点記憶部４Ａから得られる前回のフレ
ームの特徴点Ｃｔｐとを比較し、周波数標本番号（周波
数インデックス）が一致している特徴点（以下、「一致
特徴点」と記す）を検索する。

【００４１】この一致特徴点の検索を実現するため、一
致特徴点検索部４Ｂは、図５に示すように、現在の（今
回の）フレームの特徴点を格納しておくバッファ４１０
Ｂと、その中に格納されている特徴点のうちの一つを指
し示すポインタ４１１Ｂと、前回のフレームの特徴点を
格納しておくパッファ４２０Ｂと、その中に格納されて
いる特徴点のうちの一つを指し示すポインタ４２１Ｂ
と、―致特徴点を指し示すポインタ４１１Ｂおよびポイ
ンタ４２１Ｂの値を格納しておく出カバッファ４３０Ｂ
を備える。

【００４２】バッファ４１０Ｂ、４２０Ｂにそれぞれ周
波数標本番号が昇順に並ぶように現在フレームの特徴点
と前フレームの特徴点を格納しておき、ポインタ４１１
Ｂとポインタ４２１Ｂは、各々の最初の特徴点を指し示
しておく。一致特徴点の検索は次の２つの手順に従っ
て、ポインタが指し示すべき特徴点がなくなるまで行わ
れる。

【００４３】手順１：ポインタ４１１Ｂが指し示す特徴
点の周波数標本番号と、ポインタ４２１Ｂが指し示す特
徴点の周波数標本番号が等しい場合、一致特徴点とし
て、出力バッファ４３０Ｂにポインタ４１１Ｂとポイン
タ４２１Ｂの値を付け加え、ポインタ４２１Ｂおよびポ
インタ４２１Ｂを共に一つ進める。

【００４４】手順２：ポインタ４１１Ｂが指し示す特徴
点の周波数標本番号よりも、ポインタ４２１Ｂが指し示
す特徴点の周波数標本番号の方が大きい場合、ポインタ
４１１Ｂを一つ進め、逆に、ポインタ４２１Ｂが指し示
す特徴点の周波数標本番号よりも、ポインタ４１１Ｂが
指し示す特徴点の周波数標本番号の方が大きい場合、ポ
インタ４２１Ｂを一つ進める。これらの手順を実行する
ことにより、出力バッファ４３０Ｂには、各一致特徴点
でのポインタ４１１Ｂおよびポインタ４２１Ｂの値（周
波数標本番号）の組が蓄積される。

【００４５】変化度計算部４Ｃでは、一致特徴点検索部
４Ｂの出力バッファ４３０Ｂに格納されているポインタ
４１１Ｂ１とポインタ４２１Ｂの値の組を取り出し、ポ
インタ４１１Ｂが指し示す現在（今回）のフレームの特
徴点の値とポインタ４２１Ｂが指し示す前回のフレーム
の特徴点の値の差を足しあわせ、これを聴覚上の変化を
模擬する「特徴量」としてスペクトル変化ｄを得る。

【００４６】この処理は次式（７）のように表される。
ただし、式（７）において、ｄはスペクトル変化、pnt
1，pnt2はそれぞれポインタ４１１Ｂ、ポインタ４２１
Ｂの値、Ｎは一致特徴点検索部４Ｂの出カバッファ４３
０Ｂに格納されているポインタの値の組数である。ま
た、演算子Σはｎ（ｎ：０〜Ｎ−１）をパラメータとす
る。 ｄ＝｛ΣＣtc(pnt1(n))．Ｘ[i]−Ｃtp(pnt2(n))．Ｘ[i]｝／Ｎ ・・・（７）

【００４７】ステップＳ５：次に、図１に示す不連続性
判断部５により、上述のスペクトル変化度計算部４で求
めたスペクトル変化ｄ（特徴量）をもとに、入カオーデ
ィオ信号のパワースペクトルの不連続性を判断し、不連
続性が検出された場合、不連続性フラグＦを出力し、こ
れを本実施形態の装置の出力とする。

【００４８】また、不連続性判断部５では、スペクトル
変化度計算部４から受け取ったスペクトル変化ｄを所定
の閾値（後述の閾値Ｔｈｒ１，Ｔｈｒ２）と比較して、
パワースペクトルの不連続性を判断する。具体的には、
不連続性判断部５は、内部状態を格納するメモリ（図示
せず）を持ち、このメモリの初期状態ではオフにセット
されている。

【００４９】このメモリの内部状態がオフにセットされ
ている場合、スペクトル変化度計算部４から受け取った
スペクトル変化ｄが立ち上がり閾値Ｔｈｒ１よりも大き
ければ、不連続性フラグＦを出力し、その後さらに内部
状態をオンにセットする。また、メモリの内部状態がオ
ンにセットされている場合、スペクトル変化度計算部４
から受け取ったスペクトル変化ｄが立ち下がり閾値Ｔｈ
ｒ２よりも小さければ、内部状態をオフにセットする。
所定の閾値Ｔｈｒ１およびＴｈｒ２はそれぞれ１０お
よび５程度に設定すると良好な結果が得られる。

【００５０】また、閾値Ｔｈｒ１およびＴｈｒ２は定数
とせずに、入力信号の平均パワーに所定の定数をかけて
設定しても良い。入力信号の平均パワーは、入力信号を
使って次式（８）のように求められる。 Ｉpow＝｛Σ（ｘ[i]）²｝／Ｎ ・・・（８） ただし、Ｉpowは入力信号の平均パワーを表し、演算子
Σはｉ（ｉ：０〜Ｎ−１）をパラメータｉとする。

【００５１】この所定の定数をもとに上述の閾値Ｔｈｒ
１とＴｈｒ２を設定する例を次式（９ａ）および（９
ｂ）に示す。 Ｔｈｒ１＝0.5×Ｉpow ・・・（９ａ） Ｔｈｒ２＝0.2×Ｉpow ・・・（９ｂ） 以上により、パワースペクトルの不連続性を分析するこ
とにより、入力オーディオ信号の標本から音の立ち上が
りや立ち下がりの区切りが検出される。

【００５２】以上、この発明の実施の形態を説明した
が、この発明は、この実施の形態に限られるものではな
く、発明の要旨を逸脱しない範囲の設計変更等があって
も本発明に含まれる。例えば、上述の各実施の形態で
は、特徴点記憶部４Ａに格納された特徴点から前回の特
徴点を取得し、特徴点抽出部３から現在の特徴点を取得
して比較するものとしたが、全ての特徴点を特徴点記憶
部４Ａに格納し、この特徴点記憶部４Ａから現在の特徴
点と前回の特徴点を取り出すものとしてもよい。

【００５３】また、パワースペクトルのうち重要性の高
い要素を特徴点として抽出するものとしたが、人間の聴
覚に即した音の区切りを表現するように特徴量を定める
ことができればよく、この限度において特徴点をどのよ
うに定義してもよい。

【００５４】

【発明の効果】以上、説明したように本発明のオーディ
オ信号処理方法は、主なスペクトル成分の変化を不連続
性の判断に対する手がかりとしている。また、立ち上が
りと立ち下がりとを区別して前記変化を計算している。
したがって、本発明を利用すると、打楽器やピアノ音と
いった、立ち上がりの明確な波形に伴う聴感的不連続性
を的確に検出するだけでなく、バイオリンや管楽器など
の従来立ち上がりの検出が難しかったような音源につい
ても聴感的不連続性を検出できる。

【００５５】すなわち、標本化された入カオーディオ信
号から一定時間ごとに過去の一定数の標本列を取り出
し、前記標本列に対するパワースペクトルを計算し、前
記パワースペクトルのうち重要性の高い要素を特徴点と
して抽出し、今回抽出された特徴点と前回抽出された特
徴点とを比較して聴覚上の変化を模擬する特徴量を計算
し、前記特徴量に基づいて不連続性の有無を判断するよ
うにしたので、オーディオ信号の聴感的な区切りを能率
良く検出することができ、また、変換符号化において立
ち上がり音の能率を向上させる処理を呼び出す手がかり
として利用することができ、さらに、オーディオ信号を
編集加工する過程において、聴感的に区切りのある点で
オーディオ信号を切り出す作業を支援することが可能と
なる。

【００５６】また、パワースペクトルに基づいて各周波
数帯域ごとにパワーを算出し、前記パワースペクトルの
極大点を少なくとも１点以上求め、前記各極大点が属す
る前記周波数帯域に対するパワーに基づいて閾値を設定
し、前記各極大点が前記各閾値を上回る場合に該極大値
を特徴点として抽出するようにしたので、人間の聴覚に
即してパワースペクトルの連続性を判断することが可能
となる。

【００５７】また、今回抽出された特徴点と記憶された
前回の特徴点のうち周波数の一致する組み合わせ同士で
パワースペクトルの差を計算し、前記パワースペクトル
の差の総和をもって前記特徴量を定めるようにしたの
で、音の立ち上がりの変化と立ち下がりの変化を区別し
て人間の聴覚に即して特徴量を設定し、パワースペクト
ルの連続性を判断することが可能となる。

【００５８】また、特徴量が所定の閾値を超えた場合に
不連続性を判断するようにしたので、所定の閾値に応じ
て特徴量の連続性を判断することが可能となり、この所
定の閾値を適切に選ぶことにより、人間の聴覚に即して
パワースペクトルの連続性を判断することが可能とな
る。

【００５９】さらに、特徴量が所定の定数と前記標本列
によるパワーとの積を超えた場合に不連続性を判断する
ようにしたので、入力オーディオ信号の標本列のパワー
を反映させてパワースペクトルの連続性を判断すること
が可能となり、一層聴覚に即した判断が可能となる。

【図面の簡単な説明】

【図１】 この発明の実施の形態にかかるオーディオ信
号処理装置の構成を示すブロック図である。

【図２】 この発明の実施の形態にかかるパワースペク
トル計算部の構成を示すブロック図である。

【図３】 この発明の実施の形態にかかる特徴点抽出部
の構成を示すブロック図である。

【図４】 この発明の実施の形態にかかるスペクトル変
化計算部の構成を示すブロック図である。

【図５】 この発明の実施の形態にかかるスペクトル変
化計算部が備える一致特徴点検索部での処理を説明する
ための図である。

【図６】 この発明の実施の形態にかかるオーディオ信
号処理装置の動作の流れを示すフローチャートである。

【符号の説明】 １…フレーム分割部、２…パワースペクトル計算部、２
Ａ…窓掛け部、２Ｂ…離散フーリエ変換部、２Ｃ…二乗
振幅計算部、３…特徴点抽出部、３Ａ…帯域分割部、３
Ｂ…パワー平均値計算部、３Ｃ…閾値設定部、３Ｄ…極
大点検出部、３Ｅ…特徴点判断部、３Ｆ…特徴点出力
部、４…スペクトル変化度計算部、４Ａ…特徴点記憶
部、４Ｂ…一致特徴点検索部、４Ｃ…変化度計算部、５
…不連続性判断部、４１０Ｂ，４２０Ｂ…バッファ、４
１１Ｂ，４２１Ｂ…ポインタ、４３０Ｂ…出力バッフ
ァ。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平７−336231（ＪＰ，Ａ) 特開 昭60−88326（ＪＰ，Ａ) 特開 昭64−28700（ＪＰ，Ａ) 特開 平４−177300（ＪＰ，Ａ) 特開 平５−265499（ＪＰ，Ａ) 特開 平６−51800（ＪＰ，Ａ) 特開 平６−242798（ＪＰ，Ａ) 特開 平７−253794（ＪＰ，Ａ) 特開 平８−234797（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 11/00 G10L 19/00 G10L 19/02

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 標本化された入力オーディオ信号上での
   音の区切りを検出するためのオーディオ信号処理方法で
   あって、 （ａ）標本化された入カオーディオ信号から一定時間ご
   とに過去の一定数の標本列を取り出す第１の段階と、 （ｂ）前記標本列に対するパワースペクトルを計算する
   第２の段階と、 （ｃ）前記パワースペクトルのうち極大点であって前記
   標本列が属する帯域の閾値よりも大きいスペクトルを特
   徴点として抽出する第３の段階と、 （ｄ）前記第３の段階で今回抽出された特徴点と前回抽
   出された特徴点とを比較して周波数が一致する特徴点を
   検索し、この周波数が一致する特徴点から聴覚上の変化
   を模擬する特徴量として前記パワースペクトルの変化を
   計算する第４の段階と、 （ｅ）前記特徴量に基づいて不連続性の有無を判断する
   第５の段階と、 を含むことを特徴とするオーディオ信号処理方法。
2. 【請求項２】 前記第３の段階で抽出された特徴点を記
   憶する第６の段階をさらに含み、 前記第４の段階が、前記第３の段階で今回抽出された特
   徴点と前記第６の段階で記憶された前回の特徴点から聴
   覚上の変化を模擬する前記特徴量として前記パワースペ
   クトルの変化を計算することを特徴とする請求項１に記
   載されたオーディオ信号処理方法。
3. 【請求項３】 前記第３の段階が、 前記パワースペクトルに基づき各周波数帯域ごとにパワ
   ーを算出する段階と、 前記パワースペクトルの極大点を求める段階と、 前記各極大点が属する前記周波数帯域に対するパワーに
   基づいて閾値を設定し、前記各極大点が前記各閾値を上
   回る場合に該極大値を特徴点として抽出する段階と、 を含むことを特徴とする請求項１記載のオーディオ信号
   処理方法。
4. 【請求項４】 前記第４の段階が、 前記第３の段階で抽出された特徴点と前記第６の段階で
   記憶された特徴点のうち周波数の一致する組み合わせか
   らパワースペクトルの差を計算し、 前記パワースペクトルの差の総和をもって前記特徴量を
   定める、 ことを特徴とする請求項２に記載のオーディオ信号処理
   方法。
5. 【請求項５】 前記第５の段階が、 前記特徴量が所定の閾値を超えた場合に不連続性を判断
   することを特徴とする請求項１乃至４の何れかに記載の
   オーディオ信号処理方法。
6. 【請求項６】 前記第５の段階が、 前記特徴量が所定の定数と前記標本列によるパワーとの
   積を超えた場合に不連続性を判断することを特徴とする
   請求項１乃至４の何れかに記載のオーディオ信号処理方
   法。
7. 【請求項７】 標本化された入力オーディオ信号上での
   音の区切りを検出するためのオーディオ信号処理装置で
   あって、 （ａ）標本化された入カオーディオ信号から一定時間ご
   とに過去の一定数の標本列を取り出す標本列取得手段
   と、 （ｂ）前記標本列に対するパワースペクトルを計算する
   パワースペクトル計算手段と、 （ｃ）前記パワースペクトルのうち極大点であって前記
   標本列が属する帯域の閾値よりも大きいスペクトルを特
   徴点として抽出する特徴点抽出手段と、 （ｄ）前記特徴点抽出手段により今回抽出された特徴点
   と前回抽出された特徴点とを比較して周波数が一致する
   特徴点を検索し、この周波数が一致する特徴点から聴覚
   上の変化を模擬する特徴量として前記パワースペクトル
   の変化を計算する特徴量抽出手段と、 （ｅ）前記特徴量に基づいて不連続性の有無を判断する
   不連続性判断手段と、 を備えたことを特徴とするオーディオ信号処理装置。
8. 【請求項８】 前記特徴点抽出手段で抽出された特徴点
   を記憶する特徴点記憶手段をさらに備え、 前記特徴量抽出手段が、前記特徴点抽出手段により今回
   抽出された特徴点と前記特徴点記憶手段に記憶された前
   回の特徴点から聴覚上の変化を模擬する前記特徴量とし
   て前記パワースペクトルの変化を計算することを特徴と
   する請求項７に記載されたオーディオ信号処理装置。
9. 【請求項９】 前記特徴点抽出手段が、 前記パワースペクトルに基づき各周波数帯域ごとにパワ
   ーを算出する手段と、 前記パワースペクトルの極大点を求める手段と、 前記各極大点が属する前記周波数帯域に対するパワーに
   基づいて閾値を設定し、前記各極大点が前記各閾値を上
   回る場合に該極大値を特徴点として抽出する手段と、 を備えたことを特徴とする請求項７記載のオーディオ信
   号処理装置。
10. 【請求項１０】 前記特徴量抽出手段が、 前記特徴点抽出手段で抽出された特徴点と前記特徴点記
    憶手段に記憶された特徴点のうち周波数の一致する組み
    合わせからパワースペクトルの差を計算し、前記パワー
    スペクトルの差の総和をもって前記特徴量を定めること
    を特徴とする請求項８記載のオーディオ信号処理装置。
11. 【請求項１１】 前記不連続性判断手段が、 前記特徴量が所定の閾値を超えた場合に不連続性を判断
    することを特徴とする請求項７乃至１０の何れかに記載
    のオーディオ信号処理装置。
12. 【請求項１２】 前記不連続性判断手段が、 前記特徴量が所定の定数と前記標本列によるパワーとの
    積を超えた場合に不連続性を判断することを特徴とする
    請求項７乃至１０の何れかに記載のオーディオ信号処理
    装置。