JPH10247093A - オーディオ情報分類装置 - Google Patents
オーディオ情報分類装置Info
- Publication number
- JPH10247093A JPH10247093A JP6559597A JP6559597A JPH10247093A JP H10247093 A JPH10247093 A JP H10247093A JP 6559597 A JP6559597 A JP 6559597A JP 6559597 A JP6559597 A JP 6559597A JP H10247093 A JPH10247093 A JP H10247093A
- Authority
- JP
- Japan
- Prior art keywords
- audio information
- section
- data
- unit time
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 音楽区間のみならず音声区間の検出もできる
オーディオ情報分類装置を提供することにある。 【解決手段】 第１に、入力されたオーディオ情報から
１秒毎の周波数データを抽出する。第２に、平均エネル
ギ演算部５は１秒間の平均エネルギを求め、１秒単位で
無音区間と有音区間の判定を行う。第３に有音区間であ
ると判定された区間に対して、エネルギ変化率演算部８
にて１秒毎のエネルギ変化率を求め、音声区間を抽出
し、音声区間保持部１０にそのタイムコードを入力す
る。第４に、音声区間と判定されなかった区間に対し
て、平均バンドエネルギ比演算部１１にて１秒毎の平均
バンドエネルギ比を求め、音楽区間を抽出し、音楽区間
保持部１３にそのタイムコードを入力する。
オーディオ情報分類装置を提供することにある。 【解決手段】 第１に、入力されたオーディオ情報から
１秒毎の周波数データを抽出する。第２に、平均エネル
ギ演算部５は１秒間の平均エネルギを求め、１秒単位で
無音区間と有音区間の判定を行う。第３に有音区間であ
ると判定された区間に対して、エネルギ変化率演算部８
にて１秒毎のエネルギ変化率を求め、音声区間を抽出
し、音声区間保持部１０にそのタイムコードを入力す
る。第４に、音声区間と判定されなかった区間に対し
て、平均バンドエネルギ比演算部１１にて１秒毎の平均
バンドエネルギ比を求め、音楽区間を抽出し、音楽区間
保持部１３にそのタイムコードを入力する。
Description
【０００１】
【発明の属する技術分野】本発明はオーディオ情報の分
類装置に関し、特に、符号化されていない元のままのオ
ーディオ情報あるいは符号化されたオーディオ情報から
音声区間と音楽区間を分類できるオーディオ情報の分類
装置に関する。
類装置に関し、特に、符号化されていない元のままのオ
ーディオ情報あるいは符号化されたオーディオ情報から
音声区間と音楽区間を分類できるオーディオ情報の分類
装置に関する。
【０００２】
【従来の技術】オーディオに関する研究は、今までは、
周波数解析等を用いて計算機上に取り込まれた音声が何
であるかを認識する音声認識や、調音パラメータ等によ
って機械的に音声を合成する音声合成の分野に関する研
究が主流であり、オーディオをタイトルや内容によって
分類するインデクシングに関する研究はまだ少ない。イ
ンデクシングに関する研究報告としては、例えば、南、
阿久津らの“大量映像に対する効率的アクセスインター
フェース”、ITE Technical Report Vol.19,No.7,pp.1
ー６のように音楽区間を検出し、その情報を用いて音楽
が流れている動画像をインデクシングするものがある。
周波数解析等を用いて計算機上に取り込まれた音声が何
であるかを認識する音声認識や、調音パラメータ等によ
って機械的に音声を合成する音声合成の分野に関する研
究が主流であり、オーディオをタイトルや内容によって
分類するインデクシングに関する研究はまだ少ない。イ
ンデクシングに関する研究報告としては、例えば、南、
阿久津らの“大量映像に対する効率的アクセスインター
フェース”、ITE Technical Report Vol.19,No.7,pp.1
ー６のように音楽区間を検出し、その情報を用いて音楽
が流れている動画像をインデクシングするものがある。
【０００３】
【発明が解決しようとする課題】しかしながら、この研
究報告は、音声区間の検出に関しては何ら触れておら
ず、音声区間を検出することができないという問題があ
る。また、該研究報告は、音楽区間の検出に関しても、
周波数スペクトルのピークをＬＰＣケプストラムによっ
て検出し、その平均持続時間を用いて音楽区間を検出し
ているため、圧縮符号化されたオーディオ情報からの検
出は不可能であるという問題がある。
究報告は、音声区間の検出に関しては何ら触れておら
ず、音声区間を検出することができないという問題があ
る。また、該研究報告は、音楽区間の検出に関しても、
周波数スペクトルのピークをＬＰＣケプストラムによっ
て検出し、その平均持続時間を用いて音楽区間を検出し
ているため、圧縮符号化されたオーディオ情報からの検
出は不可能であるという問題がある。
【０００４】本発明の目的は、前記した従来技術の問題
点に鑑み、音楽区間のみならず音声区間の検出もできる
オーディオ情報分類装置を提供することにある。他の目
的は、符号化されていないオーディオ情報および圧縮符
号化されたオーディオ符号化データの両方でオーディオ
情報を音楽区間と音声区間に分類することを可能にする
オーディオ情報分類装置を提供することを目的とする。
点に鑑み、音楽区間のみならず音声区間の検出もできる
オーディオ情報分類装置を提供することにある。他の目
的は、符号化されていないオーディオ情報および圧縮符
号化されたオーディオ符号化データの両方でオーディオ
情報を音楽区間と音声区間に分類することを可能にする
オーディオ情報分類装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】前記目的を達成するため
に、本発明は、オーディオ情報から音声区間と音楽区間
を分類するオーディオ情報分類装置において、入力され
たオーディオ情報から単位時間ごとの周波数データを抽
出するオーディオ周波数データ抽出手段と、抽出した単
位時間ごとの周波数データを用いて、その区間が無音区
間か有音区間かを判定し有音区間のみを抽出する無音／
有音判定手段と、有音区間と判定された区間が音声であ
るか否かを判定する音声区間抽出手段と、有音と判定さ
れた区間が音楽であるか否かを判定する音楽区間抽出手
段とを具備した点に第１の特徴がある。また、本発明
は、入力されたオーディオ情報がＭＰＥＧ符号化データ
であっても、符号化データ上でオーディオ情報を音声区
間と音楽区間に分類できるようにした点に第２の特徴が
ある。
に、本発明は、オーディオ情報から音声区間と音楽区間
を分類するオーディオ情報分類装置において、入力され
たオーディオ情報から単位時間ごとの周波数データを抽
出するオーディオ周波数データ抽出手段と、抽出した単
位時間ごとの周波数データを用いて、その区間が無音区
間か有音区間かを判定し有音区間のみを抽出する無音／
有音判定手段と、有音区間と判定された区間が音声であ
るか否かを判定する音声区間抽出手段と、有音と判定さ
れた区間が音楽であるか否かを判定する音楽区間抽出手
段とを具備した点に第１の特徴がある。また、本発明
は、入力されたオーディオ情報がＭＰＥＧ符号化データ
であっても、符号化データ上でオーディオ情報を音声区
間と音楽区間に分類できるようにした点に第２の特徴が
ある。
【０００６】本発明によれば、符号化されていない元の
ままのオーディオ情報、あるいは符号化されたオーディ
オ情報のいずれからも、簡単かつ高速で、音声区間と音
楽区間を分類することができるようになる。
ままのオーディオ情報、あるいは符号化されたオーディ
オ情報のいずれからも、簡単かつ高速で、音声区間と音
楽区間を分類することができるようになる。
【０００７】
【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図１は本発明の一実施形態の構成を
示すブロック図、図２、図３は、図１のシステムの動
作、特に制御部２０の動作の概要を表わすフローチャー
トである。この実施形態は、動画像および音声符号化の
国際標準方式であるＭＰＥＧ１（ＩＳＯ／ＩＥＣ １１
１７２）により圧縮された音声符号化データを用いて音
声、音楽を分類するものであるが、本発明はこれに限定
されるものではない。
を詳細に説明する。図１は本発明の一実施形態の構成を
示すブロック図、図２、図３は、図１のシステムの動
作、特に制御部２０の動作の概要を表わすフローチャー
トである。この実施形態は、動画像および音声符号化の
国際標準方式であるＭＰＥＧ１（ＩＳＯ／ＩＥＣ １１
１７２）により圧縮された音声符号化データを用いて音
声、音楽を分類するものであるが、本発明はこれに限定
されるものではない。
【０００８】以下に、図１および図２、図３を参照し
て、本実施形態の構成と動作を説明する。図１に示され
ているように、圧縮符号化されたオーディオの符号化デ
ータａは、可変長復号部１に入力される。ここで、該圧
縮符号化されたオーディオの符号化データの構造につい
て、ＭＰＥＧ１を例にして図４を参照して説明する。Ｍ
ＰＥＧ１では、図示されているように、元のオーディオ
信号ｐからサンプリングした５１２個のＰＣＭサンプル
Ｐをサブバンド符号化して３２個のサブバンドデータＰ
i(n)（ｎ＝０，１，…，３１）を作り、それを時間的に
サンプルをずらしながら３６回繰り返して、合計１１５
２個のサブバンドデータを１フレームの符号化データＱ
としている。
て、本実施形態の構成と動作を説明する。図１に示され
ているように、圧縮符号化されたオーディオの符号化デ
ータａは、可変長復号部１に入力される。ここで、該圧
縮符号化されたオーディオの符号化データの構造につい
て、ＭＰＥＧ１を例にして図４を参照して説明する。Ｍ
ＰＥＧ１では、図示されているように、元のオーディオ
信号ｐからサンプリングした５１２個のＰＣＭサンプル
Ｐをサブバンド符号化して３２個のサブバンドデータＰ
i(n)（ｎ＝０，１，…，３１）を作り、それを時間的に
サンプルをずらしながら３６回繰り返して、合計１１５
２個のサブバンドデータを１フレームの符号化データＱ
としている。
【０００９】前記した構造の符号化データＱが前記可変
長復号部１に連続して入力してくると、該可変長復号部
１はこれを各フレームのサブバンドデータに復号し、サ
ブバンドデータサブサンプリング部２に出力する。い
ま、ある単位時間を１秒とすると、該１秒は図５のａの
ように３８フレームから構成されているので、可変長復
号部１は１秒分の符号化データに対し、同図のｂのよう
に、３８個の３２×３６サンプルを出力する。
長復号部１に連続して入力してくると、該可変長復号部
１はこれを各フレームのサブバンドデータに復号し、サ
ブバンドデータサブサンプリング部２に出力する。い
ま、ある単位時間を１秒とすると、該１秒は図５のａの
ように３８フレームから構成されているので、可変長復
号部１は１秒分の符号化データに対し、同図のｂのよう
に、３８個の３２×３６サンプルを出力する。
【００１０】サブバンドデータサブサンプリング部２で
は、図５のｃに示されているように、単位時間（例え
ば、１秒）分のサブバンドデータのうち各フレームｉの
先頭にあるサブバンドデータＳi (n) ( ｉ＝０，１，
…，j-1)を抽出し、図１の各フレームのエネルギ演算部
３および第１のメモリ４に入力する。
は、図５のｃに示されているように、単位時間（例え
ば、１秒）分のサブバンドデータのうち各フレームｉの
先頭にあるサブバンドデータＳi (n) ( ｉ＝０，１，
…，j-1)を抽出し、図１の各フレームのエネルギ演算部
３および第１のメモリ４に入力する。
【００１１】以上の動作は、図２では、ステップＳ１〜
Ｓ９で行われる。ステップＳ１では、フレーム番号を表
すｉが０と置かれ、ステップＳ２ではサブバンド番号を
表すｎが０と置かれる。ステップＳ３では、可変長復号
部１にて符号化データが可変長復号され、ステップＳ４
ではｉフレーム目の先頭のサブバンドデータＳi (n)が
抽出される。次に、ステップＳ５にて、ｎ＝３２が成立
するか否かの判断がなされ、この判断が否定の時にはス
テップＳ６に進んでｎに１が加算される。そして、ステ
ップＳ３に戻って前記と同様の処理が行われる。以上の
ステップＳ３〜Ｓ６の処理が繰り返し行われて、ステッ
プＳ５の判断が肯定になると、ｉフレーム目の先頭のサ
ブバンドデータＳi (n) が抽出されたことになる。
Ｓ９で行われる。ステップＳ１では、フレーム番号を表
すｉが０と置かれ、ステップＳ２ではサブバンド番号を
表すｎが０と置かれる。ステップＳ３では、可変長復号
部１にて符号化データが可変長復号され、ステップＳ４
ではｉフレーム目の先頭のサブバンドデータＳi (n)が
抽出される。次に、ステップＳ５にて、ｎ＝３２が成立
するか否かの判断がなされ、この判断が否定の時にはス
テップＳ６に進んでｎに１が加算される。そして、ステ
ップＳ３に戻って前記と同様の処理が行われる。以上の
ステップＳ３〜Ｓ６の処理が繰り返し行われて、ステッ
プＳ５の判断が肯定になると、ｉフレーム目の先頭のサ
ブバンドデータＳi (n) が抽出されたことになる。
【００１２】ステップＳ５の判断が肯定になると、ステ
ップＳ７に進み、ｉに１が加算される。次にステップＳ
８に進み、ｉ＝ｊが成立するか否かの判断がなされる。
この判断が否定の時にはステップＳ２に戻り、再びｎ＝
０とされて、再度前記した処理が続行される。以上の処
理が繰り返し行われ、ステップＳ８の判断が肯定になる
と、ｉ＝０〜（ｊ−１）フレームの先頭のサブバンドデ
ータＳi (n) が抽出されたことになり、ステップＳ９に
て、これらのサブバンドデータＳi (n) は図１の各フレ
ームのエネルギ演算部３および第１のメモリ４に転送さ
れることになる。
ップＳ７に進み、ｉに１が加算される。次にステップＳ
８に進み、ｉ＝ｊが成立するか否かの判断がなされる。
この判断が否定の時にはステップＳ２に戻り、再びｎ＝
０とされて、再度前記した処理が続行される。以上の処
理が繰り返し行われ、ステップＳ８の判断が肯定になる
と、ｉ＝０〜（ｊ−１）フレームの先頭のサブバンドデ
ータＳi (n) が抽出されたことになり、ステップＳ９に
て、これらのサブバンドデータＳi (n) は図１の各フレ
ームのエネルギ演算部３および第１のメモリ４に転送さ
れることになる。
【００１３】各フレームのエネルギ演算部３では、下記
の(1) 式に従って各フレームのエネルギＥi を計算し、
平均エネルギ演算部５および第２のメモリ６に入力す
る。
の(1) 式に従って各フレームのエネルギＥi を計算し、
平均エネルギ演算部５および第２のメモリ６に入力す
る。
【００１４】
【数１】 各フレームのエネルギＥi が計算されると、該エネルギ
Ｅi はステップＳ１０にて平均エネルギ演算部５および
第２のメモリ６に転送される。平均エネルギ演算部５で
は、下記の(2) 式に従って入力された各フレームのエネ
ルギから単位時間間の平均エネルギＡＥを計算し第１の
判定部７に入力する（ステップＳ１１）。
Ｅi はステップＳ１０にて平均エネルギ演算部５および
第２のメモリ６に転送される。平均エネルギ演算部５で
は、下記の(2) 式に従って入力された各フレームのエネ
ルギから単位時間間の平均エネルギＡＥを計算し第１の
判定部７に入力する（ステップＳ１１）。
【００１５】
【数２】 第１の判定部７では、入力された単位時間間の音声情報
が無音であるのか有音であるのかを、下記の(3) 式に従
って判定し条件に合う場合には有音であると判定する
（ステップＳ１２）。有音である場合には無音である場
合に比べて単位時間間の平均エネルギＡＥは大きいか
ら、下記の(3) 式が成立することになる。
が無音であるのか有音であるのかを、下記の(3) 式に従
って判定し条件に合う場合には有音であると判定する
（ステップＳ１２）。有音である場合には無音である場
合に比べて単位時間間の平均エネルギＡＥは大きいか
ら、下記の(3) 式が成立することになる。
【００１６】ＡＥ＞α …(3) ここに、αは予め定められた第１の閾値である。
【００１７】該第１の判定部７において、入力された単
位時間間の音声情報が有音であると判断された場合に
は、第２のメモリ６より各フレームのエネルギ単位時間
分を読み出してエネルギ変化率演算部８に入力し（図３
のステップＳ１３）、下記の(4) 式に従ってエネルギ変
化率Ｃを計算し、第２の判定部９に入力する。一方、無
音であると判定された時には、以降の音声、音楽判定処
理を終了し、ステップＳ１に戻る。下式のＣは、ＭＰＥ
Ｇ符号化データのサブバンドデータから求めた隣り合う
フレームの２つのエネルギの比の単位時間における総和
を表している。
位時間間の音声情報が有音であると判断された場合に
は、第２のメモリ６より各フレームのエネルギ単位時間
分を読み出してエネルギ変化率演算部８に入力し（図３
のステップＳ１３）、下記の(4) 式に従ってエネルギ変
化率Ｃを計算し、第２の判定部９に入力する。一方、無
音であると判定された時には、以降の音声、音楽判定処
理を終了し、ステップＳ１に戻る。下式のＣは、ＭＰＥ
Ｇ符号化データのサブバンドデータから求めた隣り合う
フレームの２つのエネルギの比の単位時間における総和
を表している。
【００１８】
【数３】 音声の時間波形を見ると、単語や音節ごとに波形も変化
し、その間は数１０ｍ秒にわたって無音となるため、そ
のスペクトル変化率は、連続波形となる音楽に比べて非
常に大きくなる。そこで、第２の判定部９では入力され
た単位時間の音声情報が音声区間であるか否かを下記の
(5) 式に従って判定し、条件に合う場合には音声区間と
判定し、その区間のタイムコードｄを音声区間保持部１
０に出力する（ステップＳ１４の判断が肯定、ステップ
Ｓ１５）。
し、その間は数１０ｍ秒にわたって無音となるため、そ
のスペクトル変化率は、連続波形となる音楽に比べて非
常に大きくなる。そこで、第２の判定部９では入力され
た単位時間の音声情報が音声区間であるか否かを下記の
(5) 式に従って判定し、条件に合う場合には音声区間と
判定し、その区間のタイムコードｄを音声区間保持部１
０に出力する（ステップＳ１４の判断が肯定、ステップ
Ｓ１５）。
【００１９】Ｃ＞β …(5) ここに、βは第２の閾値である。
【００２０】一方、音声区間でないと判断された場合に
は（ステップＳ１４の判断が否定）、第１のメモリ４よ
り各フレームの先頭のサブバンドデータを読み出して平
均エネルギ比演算部１１に入力する（ステップＳ１
６）。
は（ステップＳ１４の判断が否定）、第１のメモリ４よ
り各フレームの先頭のサブバンドデータを読み出して平
均エネルギ比演算部１１に入力する（ステップＳ１
６）。
【００２１】平均バンドエネルギ比演算部１１では、下
記の(6) 式に従って平均バンドエネルギ比Ｂmiを計算し
て第３の判定部１２に入力する。
記の(6) 式に従って平均バンドエネルギ比Ｂmiを計算し
て第３の判定部１２に入力する。
【００２２】
【数４】 音声の周波数は、図７(a) に示されているように、一般
的に低周波帯域に集中し、一方音楽の周波数は、同図
(b) に示されているように、全帯域に分散する傾向があ
る。換言すれば、音声のサブバンドデータが低周波帯域
に集中するのに対して、音楽のサブバンドデータは全帯
域にわたって分散する傾向がある。そこで、第３の判定
部１２では、入力された単位時間間の音声情報が音楽区
間であるか否かを下記の(7) 式に従って判定し（ステッ
プＳ１７）、条件に合う場合には音楽区間と判定し、そ
の区間のタイムコードｅを音楽区間保持部１３に出力す
る（ステップＳ１８）。 Ｂmi＜γ …(7) ここに、γは第３の閾値である。
的に低周波帯域に集中し、一方音楽の周波数は、同図
(b) に示されているように、全帯域に分散する傾向があ
る。換言すれば、音声のサブバンドデータが低周波帯域
に集中するのに対して、音楽のサブバンドデータは全帯
域にわたって分散する傾向がある。そこで、第３の判定
部１２では、入力された単位時間間の音声情報が音楽区
間であるか否かを下記の(7) 式に従って判定し（ステッ
プＳ１７）、条件に合う場合には音楽区間と判定し、そ
の区間のタイムコードｅを音楽区間保持部１３に出力す
る（ステップＳ１８）。 Ｂmi＜γ …(7) ここに、γは第３の閾値である。
【００２３】以上のように、本実施形態によれば、圧縮
符号化されたオーディオの符号化データから、音声区間
と音楽区間を区別し、それぞれの区間のタイムコードを
音声区間保持部１０および音楽区間保持部１３のそれぞ
れに記憶させることができるようになる。
符号化されたオーディオの符号化データから、音声区間
と音楽区間を区別し、それぞれの区間のタイムコードを
音声区間保持部１０および音楽区間保持部１３のそれぞ
れに記憶させることができるようになる。
【００２４】本発明は、さらに圧縮符号化されていない
オーディオ情報の分類に関しても適応できる。その場合
の実施形態を以下に示す。
オーディオ情報の分類に関しても適応できる。その場合
の実施形態を以下に示す。
【００２５】圧縮符号化されていないオーディオ情報を
扱う場合は、図１の可変長復号部１およびサブバンドデ
ータサブサンプリング部２は高速フーリェ変換部（以
下、ＦＦＴ変換部と呼ぶ）に置き換えられる。元のオー
ディオ情報からこのＦＦＴ変換部において、図６にある
ようにＦＦＴ変換を行い、単位時間分の周波数データを
抽出する。今、該単位時間を１秒とすると、元のオーデ
ィオ信号ｐからサンプリングした２０４８個のサンプル
をＦＦＴ変換し、それを時間的にサンプルをずらしなが
ら３８回繰り返して、合計２０４８×３８個のＦＦＴデ
ータを単位時間分の周波数データとしている。
扱う場合は、図１の可変長復号部１およびサブバンドデ
ータサブサンプリング部２は高速フーリェ変換部（以
下、ＦＦＴ変換部と呼ぶ）に置き換えられる。元のオー
ディオ情報からこのＦＦＴ変換部において、図６にある
ようにＦＦＴ変換を行い、単位時間分の周波数データを
抽出する。今、該単位時間を１秒とすると、元のオーデ
ィオ信号ｐからサンプリングした２０４８個のサンプル
をＦＦＴ変換し、それを時間的にサンプルをずらしなが
ら３８回繰り返して、合計２０４８×３８個のＦＦＴデ
ータを単位時間分の周波数データとしている。
【００２６】その後、各フレームのエネルギ演算部、平
均エネルギ演算部、エネルギ変化率演算部、および平均
バンドエネルギ比演算部で、それぞれ下記の(8) 式、前
記(2) 式、(4) 式、および下記の(9) 式に従ってそれぞ
れ各フレームのエネルギＥi、平均エネルギＡＥ、エネ
ルギ変化率Ｃ、平均バンドエネルギ比Ｂmiを計算し、第
１の判定部７、第２の判定部９、第３の判定部１２にて
それぞれ無音／有音の判定、音声の判定、音楽の判定を
行う。
均エネルギ演算部、エネルギ変化率演算部、および平均
バンドエネルギ比演算部で、それぞれ下記の(8) 式、前
記(2) 式、(4) 式、および下記の(9) 式に従ってそれぞ
れ各フレームのエネルギＥi、平均エネルギＡＥ、エネ
ルギ変化率Ｃ、平均バンドエネルギ比Ｂmiを計算し、第
１の判定部７、第２の判定部９、第３の判定部１２にて
それぞれ無音／有音の判定、音声の判定、音楽の判定を
行う。
【００２７】
【数５】
【００２８】
【発明の効果】以上説明したように、本発明によれば、
圧縮符号化された音声データから符号化データ上でオー
ディオ情報を音声区間と音楽区間に分類することが可能
になるという効果がある。
圧縮符号化された音声データから符号化データ上でオー
ディオ情報を音声区間と音楽区間に分類することが可能
になるという効果がある。
【００２９】なお、本発明を実際に動作させたところ、
次のような結果が得られた。すなわち、ＭＰＥＧ１レイ
ヤ２で符号化された合計９０分のニュース番組と音楽番
組のオーディオビットストリームを用いて、１秒毎の音
声区間と音楽区間の分類を行った。音声区間は背景に音
楽などがなく音声のみが含まれる区間を対象とし、音楽
区間は音声の有無にかかわらず楽器演奏がある区間を対
象とした。音声区間の検出に関しては、８９．４％、音
楽区間に関しては７９．３％の検出率を得ることがで
き、音声区間の検出に関しては実用レベルの検出率を得
ることができた。また、本発明によれば、圧縮符号化さ
れていないオーディオ情報の分類に関しても、簡単に、
音声区間と音楽区間に分類することが可能になるという
効果がある。
次のような結果が得られた。すなわち、ＭＰＥＧ１レイ
ヤ２で符号化された合計９０分のニュース番組と音楽番
組のオーディオビットストリームを用いて、１秒毎の音
声区間と音楽区間の分類を行った。音声区間は背景に音
楽などがなく音声のみが含まれる区間を対象とし、音楽
区間は音声の有無にかかわらず楽器演奏がある区間を対
象とした。音声区間の検出に関しては、８９．４％、音
楽区間に関しては７９．３％の検出率を得ることがで
き、音声区間の検出に関しては実用レベルの検出率を得
ることができた。また、本発明によれば、圧縮符号化さ
れていないオーディオ情報の分類に関しても、簡単に、
音声区間と音楽区間に分類することが可能になるという
効果がある。
【図１】 本発明の一実施形態のオーディオ情報分類装
置の構成を示すブロック図である。
置の構成を示すブロック図である。
【図２】 図１の制御装置の動作を説明するためのフロ
ーチャートである。
ーチャートである。
【図３】 図２の続きの動作を説明するためのフローチ
ャートである。
ャートである。
【図４】 ＭＰＥＧオーディオ符号化データの構造を説
明するための図である。
明するための図である。
【図５】 図１のサブバンドデータサブサンプリング部
の動作を説明するための図である。
の動作を説明するための図である。
【図６】 符号化されていないオーディオ情報の周波数
データの抽出方法を説明するための図である。
データの抽出方法を説明するための図である。
【図７】 音声と音楽の周波数分布の傾向を示す図であ
る。
る。
１…可変長復号部、２…サブバンドデータサブサンプリ
ング部、３…各フレームのエネルギ演算部、４…第１の
メモリ、５…平均エネルギ演算部、６…第２のメモリ、
７…第１の判定部、８…エネルギ変化率演算部、９…第
２の判定部、１０…音声区間保持部、１１…平均バンド
エネルギ比演算部、１２…第３の判定部、１３…音楽区
間保持部。
ング部、３…各フレームのエネルギ演算部、４…第１の
メモリ、５…平均エネルギ演算部、６…第２のメモリ、
７…第１の判定部、８…エネルギ変化率演算部、９…第
２の判定部、１０…音声区間保持部、１１…平均バンド
エネルギ比演算部、１２…第３の判定部、１３…音楽区
間保持部。
Claims (8)
- 【請求項１】 オーディオ情報から音声区間と音楽区間
を分類するオーディオ情報分類装置において、 入力されたオーディオ情報から単位時間ごとの周波数デ
ータを抽出するオーディオ周波数データ抽出手段と、 抽出した単位時間ごとの周波数データを用いて、その区
間が無音区間か有音区間かを判定し有音区間のみを抽出
する無音／有音判定手段と、 有音区間と判定された区間が音声であるか否かを判定す
る音声区間抽出手段と、 有音と判定された区間が音楽
であるか否かを判定する音楽区間抽出手段とを具備した
ことを特徴とするオーディオ情報分類装置。 - 【請求項２】 請求項１のオーディオ情報分類装置にお
いて、 前記オーディオ周波数データ抽出手段によって抽出され
る単位時間ごとの周波数データは、入力されたオーディ
オ情報がＭＰＥＧ符号化データである場合、単位時間分
のＭＰＥＧ符号化データの各フレームの先頭にあるサブ
バンドデータであることを特徴とするオーディオ情報分
類装置。 - 【請求項３】 請求項１のオーディオ情報分類装置にお
いて、 前記無音／有音判定手段は、前記オーディオ周波数デー
タ抽出手段により抽出された単位時間分の周波数データ
を用いて単位時間の平均エネルギを求め、該平均エネル
ギの大きさにより無音／有音区間を判定することを特徴
とするオーディオ情報分類装置。 - 【請求項４】 請求項３のオーディオ情報分類装置にお
いて、 前記無音／有音判定手段は、入力されたオーディオ情報
がＭＰＥＧ符号化データである場合、単位時間の平均エ
ネルギは、ＭＰＥＧ符号化データの各フレームのサブバ
ンドデータから求めたエネルギの単位時間における総和
であることを特徴とするオーディオ情報分類装置。 - 【請求項５】 請求項１のオーディオ情報分類装置にお
いて、 前記音声区間抽出手段は、前記オーディオ周波数データ
抽出手段により抽出した単位時間ごとの周波数データか
らエネルギ変化率を求め、該エネルギ変化率の大きさに
より、音声区間を抽出することを特徴とするオーディオ
情報分類装置。 - 【請求項６】 請求項５のオーディオ情報分類装置にお
いて、 前記音声区間抽出手段は、入力されたオーディオ情報が
ＭＰＥＧ符号化データである場合、エネルギ変化率は、
ＭＰＥＧ符号化データのサブバンドデータから求めた隣
り合うフレームの２つのエネルギの比の単位時間におけ
る総和であることを特徴とするオーディオ情報分類装
置。 - 【請求項７】 請求項１のオーディオ情報分類装置にお
いて、 前記音楽区間抽出手段は、前記オーディオ周波数データ
抽出手段により抽出した単位時間ごとの周波数データか
ら平均バンドエネルギ比を求め、該平均バンドエネルギ
比から音楽区間を抽出することを特徴とするオーディオ
情報分類装置。 - 【請求項８】 請求項７のオーディオ情報分類装置にお
いて、 前記音楽区間抽出手段は、入力されたオーディオ情報が
ＭＰＥＧ符号化データである場合、平均バンドエネルギ
比は、ＭＰＥＧ符号化データのサブバンドデータの全デ
ータに対する低周波帯域のサブバンドデータの割合であ
ることを特徴とするオーディオ情報分類装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06559597A JP3607450B2 (ja) | 1997-03-05 | 1997-03-05 | オーディオ情報分類装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06559597A JP3607450B2 (ja) | 1997-03-05 | 1997-03-05 | オーディオ情報分類装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10247093A true JPH10247093A (ja) | 1998-09-14 |
| JP3607450B2 JP3607450B2 (ja) | 2005-01-05 |
Family
ID=13291541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06559597A Expired - Fee Related JP3607450B2 (ja) | 1997-03-05 | 1997-03-05 | オーディオ情報分類装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3607450B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002531882A (ja) * | 1998-11-30 | 2002-09-24 | マイクロソフト コーポレイション | バレーパーセンテージを使用した純粋音声の検出 |
| JP2007298607A (ja) * | 2006-04-28 | 2007-11-15 | Victor Co Of Japan Ltd | 音響信号分析装置、音響信号分析方法、及び音響信号分析用プログラム |
| EP2150046A1 (en) | 2008-07-31 | 2010-02-03 | Fujitsu Limited | Video reproducing device and video reproducing method |
| EP2150040A1 (en) | 2008-07-31 | 2010-02-03 | Fujitsu Limited | Video reproducing device and video reproducing method |
| US8275473B2 (en) | 2005-09-30 | 2012-09-25 | Sony Corporation | Data recording and reproducing apparatus, method of recording and reproducing data, and program therefor |
| WO2013080449A1 (ja) * | 2011-12-02 | 2013-06-06 | パナソニック株式会社 | 音声処理装置、方法、プログラムおよび集積回路 |
| CN113192531A (zh) * | 2021-05-28 | 2021-07-30 | 腾讯音乐娱乐科技（深圳）有限公司 | 检测音频是否是纯音乐音频方法、终端及存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101636783B (zh) | 2007-03-16 | 2011-12-14 | 松下电器产业株式会社 | 声音分析装置、声音分析方法及系统集成电路 |
| JP4915860B2 (ja) * | 2007-03-28 | 2012-04-11 | Ｋｄｄｉ株式会社 | 動画像分類装置 |
| CN102446506B (zh) * | 2010-10-11 | 2013-06-05 | 华为技术有限公司 | 音频信号的分类识别方法及装置 |
-
1997
- 1997-03-05 JP JP06559597A patent/JP3607450B2/ja not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002531882A (ja) * | 1998-11-30 | 2002-09-24 | マイクロソフト コーポレイション | バレーパーセンテージを使用した純粋音声の検出 |
| US8275473B2 (en) | 2005-09-30 | 2012-09-25 | Sony Corporation | Data recording and reproducing apparatus, method of recording and reproducing data, and program therefor |
| JP2007298607A (ja) * | 2006-04-28 | 2007-11-15 | Victor Co Of Japan Ltd | 音響信号分析装置、音響信号分析方法、及び音響信号分析用プログラム |
| EP2150046A1 (en) | 2008-07-31 | 2010-02-03 | Fujitsu Limited | Video reproducing device and video reproducing method |
| EP2150040A1 (en) | 2008-07-31 | 2010-02-03 | Fujitsu Limited | Video reproducing device and video reproducing method |
| WO2013080449A1 (ja) * | 2011-12-02 | 2013-06-06 | パナソニック株式会社 | 音声処理装置、方法、プログラムおよび集積回路 |
| CN103380457A (zh) * | 2011-12-02 | 2013-10-30 | 松下电器产业株式会社 | 声音处理装置、方法、程序及集成电路 |
| JPWO2013080449A1 (ja) * | 2011-12-02 | 2015-04-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 音声処理装置、方法、プログラムおよび集積回路 |
| US9113269B2 (en) | 2011-12-02 | 2015-08-18 | Panasonic Intellectual Property Corporation Of America | Audio processing device, audio processing method, audio processing program and audio processing integrated circuit |
| CN113192531A (zh) * | 2021-05-28 | 2021-07-30 | 腾讯音乐娱乐科技（深圳）有限公司 | 检测音频是否是纯音乐音频方法、终端及存储介质 |
| CN113192531B (zh) * | 2021-05-28 | 2024-04-16 | 腾讯音乐娱乐科技（深圳）有限公司 | 检测音频是否是纯音乐音频方法、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3607450B2 (ja) | 2005-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6185457B2 (ja) | 効率的なコンテンツ分類及びラウドネス推定 | |
| CN102089803B (zh) | 用以将信号的不同段分类的方法与鉴别器 | |
| US4933973A (en) | Apparatus and methods for the selective addition of noise to templates employed in automatic speech recognition systems | |
| KR101116363B1 (ko) | 음성신호 분류방법 및 장치, 및 이를 이용한 음성신호부호화방법 및 장치 | |
| CN111508498B (zh) | 对话式语音识别方法、系统、电子设备和存储介质 | |
| US8670990B2 (en) | Dynamic time scale modification for reduced bit rate audio coding | |
| JP2006048043A (ja) | オーディオデータの高周波数の復元方法及びその装置 | |
| JP2000066691A (ja) | オーディオ情報分類装置 | |
| GB2403881A (en) | Automatic classification/identification of similarly compressed audio files | |
| CN102483922A (zh) | 使用加权线性预测变换对音频信号进行编码和解码的设备和方法 | |
| US9928852B2 (en) | Method of detecting a predetermined frequency band in an audio data signal, detection device and computer program corresponding thereto | |
| US7747435B2 (en) | Information retrieving method and apparatus | |
| CN108091340B (zh) | 声纹识别方法、声纹识别系统和计算机可读存储介质 | |
| JP3607450B2 (ja) | オーディオ情報分類装置 | |
| JP4201204B2 (ja) | オーディオ情報分類装置 | |
| JP2003036097A (ja) | 情報検出装置及び方法、並びに情報検索装置及び方法 | |
| Jarina et al. | Rhythm detection for speech-music discrimination in mpeg compressed domain | |
| US6772113B1 (en) | Data processing apparatus for processing sound data, a data processing method for processing sound data, a program providing medium for processing sound data, and a recording medium for processing sound data | |
| JP4696418B2 (ja) | 情報検出装置及び方法 | |
| JP4392805B2 (ja) | オーディオ情報分類装置 | |
| WO2010037251A1 (zh) | 一种人声判别的方法和装置 | |
| Jarina et al. | Speech-music discrimination from MPEG-1 bitstream | |
| CN112786071A (zh) | 面向语音交互场景语音片段的数据标注方法 | |
| JPH01255000A (ja) | 音声認識システムに使用されるテンプレートに雑音を選択的に付加するための装置及び方法 | |
| Venugopal et al. | Audio scene analysis and scene change detection in the MPEG compressed domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040316 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040713 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040816 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041007 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081015 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081015 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101015 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101015 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111015 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111015 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131015 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |