JP6039577B2 - 音声処理装置、音声処理方法、プログラムおよび集積回路 - Google Patents

Description

本発明は、オーディオ信号から周波数などの特徴の変化点を検出する技術に関する。

デジタルカメラなどを用いてユーザが撮影したＡＶコンテンツについて、ユーザにとって不要なシーンをスキップしてユーザの所望するシーンだけを視聴することを可能にする機能が求められている。

そこで、ＡＶコンテンツにおける音圧や周波数などの音声情報を用いて、シーンとシーンの間の変化点（以降、シーン変化点と呼ぶ）を検出する技術が注目されている。

例えば、ＡＶコンテンツのフレーム毎に音声情報を特徴量として定量化し、フレーム間の特徴量の変化が閾値を超えるフレームをシーン変化点として検出する手法が提案されている（特許文献１参照）。

特開平５−２０３６７号公報

ところで、ユーザが撮影したＡＶコンテンツは、ユーザの趣向により内容がバラエティに富み、その結果、検出すべきシーン変化点も多岐にわたるものである。この多岐にわたるシーン変化点に対して特定の手法のみを用いて検出すべきシーン変化点を網羅することは困難であり、上記従来の手法を用いても検出することが困難なシーン変化点が存在する。

そこで、本発明は、従来の手法では検出することが困難であったシーン変化点を検出することを可能とした音声処理装置を提供することを目的とする。

上記課題を解決するために本発明に係る音声処理装置は、入力されたオーディオ信号の所定時間長の単位区間ごとに、前記オーディオ信号の特徴を表現する区間特徴を計算する特徴計算手段と、複数の前記単位区間それぞれに対して、当該単位区間を含む前記区間特徴の類似する複数の前記単位区間からなる類似区間と他の区間との境界に関する境界情報を計算する境界計算手段と、前記境界情報で示される境界それぞれの優先度を計算し、前記優先度に基づいて、前記境界それぞれがシーン変化点であるか否かを判定する判定手段とを備えることを特徴とする。

本発明に係る音声処理装置によれば、複数の単位区間それぞれに対して設定される類似区間の境界をシーン変化点として検出することが可能である。

ＡＶコンテンツを構成するシーンとオーディオ信号の具体例を示す図 特徴量ベクトルの算出方法を示す図 特徴量ベクトルの一例を示す図 アンカーモデルの一例を示す図 ２つの第１単位区間における尤度ベクトルの例を示す図 第１単位区間と第２単位区間との関係を示す図 頻度ベクトルの一例を示す図 境界情報計算部の計算する境界情報の一例を示す図 横軸に時刻、縦軸に境界度を示したグラフ 音声処理装置を備える映像視聴装置の機能構成例を示すブロック図 音声処理装置の機能構成例を示すブロック図 基準ベクトルの算出に用いる基準区間の一例を示す図 基準ベクトル、頻度ベクトルおよびしきい値をベクトル空間の概念を用いて示した図 類似区間の時間軸逆方向の区間伸長処理を示す模式図 インデクス生成部の機能構成例を示すブロック図 アンカーモデル作成装置の機能構成例を示すブロック図 音声処理装置の動作を示すフローチャート 区間伸長基準指標計算処理を示すフローチャート 境界情報計算処理を示すフローチャート インデクス生成処理を示すフローチャート 音声処理装置の機能構成例を示すブロック図 境界情報計算部の計算する境界情報の一例を示す図 インデクス生成部の機能構成例を示すブロック図 インデクス生成部の生成するインデクス情報の一例を示す図 映像視聴システムの構成例を示すブロック図 映像視聴システムにおけるクライアントの構成例を示すブロック図 映像視聴システムにおけるサーバの構成例を示すブロック図

＜本発明を想到するに至った経緯＞
ＡＶコンテンツは、シーンを捉える粒度により様々な長さの区間から構成される。例えば、ＡＶコンテンツが、パーティを撮影したものであり、図１（ａ）に示すシーンで構成されているとする。そして、図１（ｂ）は、そのシーンにおけるオーディオ信号を表現しているとする。図に示すように、パーティには、乾杯のシーン１０およびそれに続く食事のシーン２０が存在し、食事のシーン２０は、さらに、おもに食事をしているシーン２１、および、おもに歓談をしているシーン２２から構成される。シーン２０は、おもに食事をしているシーン２１からおもに歓談しているシーン２２へ移り変わっていく過渡シーンである。

このような過渡シーンは、音声情報の変化が緩やかであり、従来のようにフレーム間の音声情報の変化量を用いて、シーン内の変化点を検出することは困難である。

しかしながら、このような過渡シーン内のある程度の長さを持った区間の両端では音声情報の変化量が蓄積するため、両端のそれぞれが過渡シーン内の別々のシーンに属していることを検出できるという性質がある。本発明者らは、この性質に着目し、過渡シーン内の変化点が、音声情報が類似する区間（類似区間）と他の区間の境界、例えば、シーン前半の類似区間とシーン後半の類似区間との境界として検出できることを見出した。

オーディオ信号において類似区間は、その区間内のある基準となる位置（基準位置）の音声情報とその前後の音声情報とを比較していくことにより求められる。従って、過渡シーン内の類似区間は、基準位置として過渡シーンの１点を指定することで求められる。

ところで、オーディオ信号内のどの位置に存在するかを事前に知ることができない過渡シーン内の類似区間を求めるためには、オーディオ信号の随所を基準位置として指定する必要がある。しかしながら、基準位置を多く設定すると、設定した基準位置の数に応じて求まる境界（変化点）の数が多くなる。

ユーザの所望するシーン数に対して検出される変化点の数が多いと、ユーザが所望するシーンを視聴するまでの動作が煩雑化してしまう。すなわち、ユーザは、膨大な数の変化点の中から所望するシーンの開始となる変化点を検索する必要が出てくる。つまり、ユーザは、変化点の数の増加により、所望するシーンを容易に視聴できるという効果を得ることができなくなる可能性がある。

この課題を解決する一手法として、検出された変化点を選別して、インデクス化する変化点の数を抑制する方法が考えられる。

本発明者らは、上述した経緯により本発明を想到したものである。以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

＜実施の形態１＞
＜１−１．概要＞
本発明の一の実施の形態に係る音声処理装置の概要を示す。

本実施の形態に係る音声処理装置は、まず、動画ファイルに含まれるオーディオ信号を所定時間長に分割した単位区間について、単位区間それぞれにおけるオーディオ信号の特徴を表現する特徴量を算出する。

次に、音声処理装置は、単位区間それぞれに対して、算出した特徴量の類似性に基づいて、当該単位区間と類似している区間と他の区間との境界を算出する。

そして、音声処理装置は、算出した境界ごとに境界度を算出し、境界度に基づいてシーン変化点を検出する。

最後に、音声処理装置は、検出したシーン変化点をインデクス情報として出力する。

本実施の形態において、境界度は、同一の時刻を示す境界の数である。本実施の形態の音声処理装置は、ユーザが所望する同一のシーンに属する単位区間からは、同一の時刻を示す境界が算出されるという仮定の下で、ユーザの所望するシーンと他のシーンとの変化点を優先的に検出することが可能となる。

＜１−２．データ＞
ここで、本実施の形態に係る音声処理装置で使用するデータについて説明する。
＜動画ファイル＞
動画ファイルは、オーディオ信号Ｘ（ｔ）と複数の画像データとから構成される。オーディオ信号Ｘ（ｔ）は、振幅値の時系列データであり、図２（ａ）に示すような波形で表現することができる。図２（ａ）は、横軸に時間、縦軸に振幅をとった、オーディオ信号の波形例である。
＜特徴量ベクトル＞
特徴量ベクトルＭは、オーディオ信号Ｘ（ｔ）の特徴を表現するものであり、本実施の形態では、特徴量ベクトルＭを示すものとして、第１単位区間毎に分割されたオーディオ信号のメル周波数ケプストラム係数ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）を用いる。ここで、第１単位区間は、オーディオ信号Ｘ（ｔ）の時間軸における所定の長さ（例えば、１０ｍｓｅｃ）の区間であり、図２（ａ）における時刻Ｔ_nからＴ_n+1までの区間である。

この特徴量ベクトルＭは、第１単位区間毎に算出される。従って、図３に示すように、時刻０ｓｅｃから時刻１ｓｅｃまでの間のオーディオ信号から１００個の特徴量ベクトルＭが生成されることになる。なお、図３は、時刻０ｓｅｃから時刻１ｓｅｃまでの間の各第１単位区間に対して算出される特徴量ベクトルＭの一例である。
＜アンカーモデル＞
アンカーモデルＡ_r（ｒ＝１，２，…，Ｋ）は、複数種類のサウンド素片となる音声データから生成される特徴量ベクトルを用いて作成される確率モデルであり、各種サウンド素片それぞれの特徴を表現するものである。即ち、アンカーモデルは各種サウンド素片に対応して作成される。本実施の形態では、混合正規分布モデル（GMM, Gaussian Mixture Model）を採用し、各アンカーモデルＡ_rは、正規分布を規定するパラメータで構成される。

図４に示すように、アンカーモデルは、複数種類（本実施の形態では１０２４種類）のサウンド素片毎に作成され、複数種類のサウンド素片それぞれに対応する特徴量出現確率関数ｂ_Ar（Ｍ）により表される。特徴量出現確率関数ｂ_Ar（Ｍ）は、各アンカーモデルＡ_rが規定する正規分布の確率密度関数であり、特徴量ベクトルＭを引数としてオーディオ信号Ｘ（ｔ）のサウンド素片それぞれに対する尤度Ｌ_r＝ｂ_Ar（Ｍ）を算出する。
＜尤度ベクトル＞
尤度ベクトルＦは、上記アンカーモデルＡ_rに基づいて算出されるオーディオ信号Ｘ（ｔ）の複数種類のサウンド素片それぞれに対する尤度Ｌ_rを成分とするベクトルである。

図５は、２つの第１単位区間における尤度ベクトルＦを示す図である。図５（ａ）は、例えば、時刻０から数えてｎ番目の第１単位区間（時刻（１０×ｎ）ｍｓｅｃから時刻（１０×（ｎ＋１））ｍｓｅｃの間の区間）に対応する尤度ベクトルＦｎを示し、図５（ｂ）は、例えば、時刻０から数えてｍ番目の第１単位区間（時刻（１０×ｍ）ｍｓｅｃから時刻（１０×（ｍ＋１））ｍｓｅｃの間の区間）に対応する尤度ベクトルＦｍを示している（ｎ＜ｍ）。

＜頻度ベクトル＞
頻度ベクトルＮＦは、オーディオ信号の第２単位区間毎の特徴を表現するベクトルであり、特に、オーディオ信号の第２単位区間に係る各サウンド素片の出現頻度を表現するベクトルである。ここで、第２単位区間は、オーディオ信号Ｘ（ｔ）の時間軸における所定の長さ（例えば、１ｓｅｃ）の区間であり、図６に示すように、複数個の連続する第１単位区間の長さに相当する。

頻度ベクトルＮＦは、具体的には、第２単位区間に含まれる尤度ベクトルＦの正規化累積尤度、つまり、第２単位区間に含まれる尤度ベクトルＦの各成分の累積値を正規化したものである。なお、ここで正規化とは、頻度ベクトルＮＦのノルムを１にすることである。図７は、頻度ベクトルＮＦの一例を示す模式図である。

＜境界情報＞
境界情報は、オーディオ信号の第２単位区間毎に計算される当該第２単位区間と頻度ベクトルが類似する類似区間の境界に関する情報である。本実施の形態の音声処理装置は、境界情報として、類似区間の始端の時刻および類似区間の終端の時刻を計算する。図８は、本実施の形態で計算する境界情報の一例である。例えば、０番目の第２単位区間（時刻０〜１ｓの間の区間）からは、始端時刻として０ｓ、終端時刻として１０ｓを示す境界情報が算出されたことを示している。

＜境界度＞
上述したように、境界度は、同一の時刻を示す境界情報の数である。例えば、図８において、始端時刻または終端時刻で０ｓを示す境界情報は、０番目の第２単位区間（時刻０〜１ｓの間の区間）、１番目の第２単位区間（時刻１〜２ｓの間の区間）、および、２番目の第２単位区間（時刻２〜３ｓの間の区間）から計算される境界情報の３つであるから、時刻０ｓの境界度は３となる。図９は、横軸に時刻、縦軸に計算された境界度を示したグラフの一例である。

＜１−３．構成＞
以下、本実施の形態に係る音声処理装置１０４を備える映像視聴装置１００の機能構成について説明する。

＜映像視聴装置１００＞
図１０は、映像視聴装置１００の機能構成例を示すブロック図である。図に示すように、映像視聴装置１００は、入力装置１０１、コンテンツ記憶装置１０２、音声抽出装置１０３、音声処理装置１０４、インデクス記憶装置１０５、出力装置１０６、アンカーモデル作成装置１０７、音声データ蓄積装置１０８およびインタフェース装置１０９を備える。

＜入力装置１０１＞
入力装置１０１は、ディスクドライブ装置などで実現され、記録媒体１２０が装着されると、記録媒体１２０から動画ファイルを読み込んで、取得した動画ファイルをコンテンツ記憶装置１０２に格納する。なお、記録媒体１２０は、各種データを記憶する機能を有する媒体であり、例えば、光ディスクや、フレキシブルディスク、ＳＤカード、フラッシュメモリなどである。

＜コンテンツ記憶装置１０２＞
コンテンツ記憶装置１０２は、例えば、ハードディスク装置などで実現され、入力装置１０１が記録媒体１２０から取得した動画ファイルを格納している。動画ファイルは、動画ファイルそれぞれに固有のＩＤが付されて格納される。

＜音声抽出装置１０３＞
音声抽出装置１０３は、コンテンツ記憶装置１０２に格納されている動画ファイルからオーディオ信号を抽出し、抽出したオーディオ信号を音声処理装置１０４に入力する。なお、音声抽出装置１０３は、符号化されているオーディオ信号に対して復号化処理を行って、図２（ａ）に示すようなオーディオ信号Ｘ（ｔ）を生成する。なお、音声抽出装置１０３は、例えば、プログラムを実行するプロセッサ等により実現される。

＜音声処理装置１０４＞
音声処理装置１０４は、音声抽出装置１０３から入力されるオーディオ信号Ｘ（ｔ）に基づいてシーン変化点の検出を行い、検出したシーン変化点からなるインデクス情報をインデクス記憶装置１０５に格納する。音声処理装置１０４の機能構成の詳細については後述する。

＜インデクス記憶装置１０５＞
インデクス記憶装置１０５は、例えば、ハードディスク装置などから実現され、音声処理装置１０４から入力されるインデクス情報を記憶する。インデクス情報は、動画ファイルのＩＤおよび動画ファイルにおける時刻（シーン変化点の時刻）からなる。

＜出力装置１０６＞
出力装置１０６は、インデクス記憶装置１０５からインデクス情報を取得し、取得したインデクス情報に対応する映像データ（コンテンツ記憶装置１０２に格納されている動画ファイルの一部）を表示装置１３０に出力する。出力装置１０６は、表示装置１３０に出力される映像データに、例えば、インデクス情報に対応する時刻に目印を付けたプログレスバーなどのユーザインタフェース（ＵＩ：User Interface）に関する情報を付与し、インタフェース装置１０９に入力されるユーザからの操作に応じて、スキップなどの再生制御を行う。

なお、音声抽出装置１０３は、例えば、プログラムを実行するプロセッサ等により実現される。

＜アンカーモデル作成装置１０７＞
アンカーモデル作成装置１０７は、音声データ蓄積装置１０８に記憶されているオーディオ信号に基づいてアンカーモデルＡ_rを作成し、作成したアンカーモデルＡ_rを音声処理装置１０４に出力する。アンカーモデル作成装置１０７の機能構成の詳細については後述する。

なお、アンカーモデル作成装置１０７がアンカーモデルＡ_rを作成するときに用いられるオーディオ信号は、シーン変化点を検出する対象となる動画ファイルとは別の複数の動画ファイルから、予め抽出して得られたオーディオ信号である。

＜音声データ蓄積装置１０８＞
音声データ蓄積装置１０８は、例えば、ハードディスク装置などで実現され、アンカーモデル作成装置１０７がアンカーモデルＡ_rを作成するときに用いられる音声データをあらかじめ記憶している。

＜インタフェース装置１０９＞
インタフェース装置１０９は、キーボードなどの操作部（図示せず）を備え、ユーザからの入力操作を受け付けて、プログレスバーの操作情報などを出力装置１０６に、作成すべきアンカーモデルの個数Ｋをアンカーモデル作成装置１０７に通知する。

＜音声処理装置１０４（詳細）＞
音声処理装置１０４は、メモリ（図示せず）およびプロセッサ（図示せず）から構成され、プロセッサがメモリに書き込まれたプログラムを実行することにより、図１１に示す構成を実現している。

図１１は、音声処理装置１０４の機能構成例を示すブロック図である。図に示すように、音声処理装置１０４は、特徴量ベクトル生成部２０１、尤度ベクトル生成部２０２、尤度ベクトルバッファ２０３、頻度ベクトル生成部２０４、頻度ベクトルバッファ２０５、区間伸長基準指標計算部２０６、境界情報計算部２０７、インデクス生成部２０８およびアンカーモデル蓄積部２０９を備える。以下、各構成について説明する。

＜特徴量ベクトル生成部２０１＞
特徴量ベクトル生成部２０１は、音声抽出装置１０３から入力されたオーディオ信号Ｘ（ｔ）に基づいて、第１単位区間毎に、特徴量ベクトルＭを生成する。

以下、オーディオ信号Ｘ（ｔ）から特徴量ベクトルＭを生成するまでの概要を述べる。

まず、特徴量ベクトル生成部２０１は、第１単位区間のオーディオ信号Ｘ（ｔ）のパワースペクトラムＳ（ω）を算出する（図２（ｂ）参照）。パワースペクトラムＳ（ω）は、オーディオ信号Ｘ（ｔ）を時間軸から周波数軸に変換し、各周波数成分を二乗したものである。

次に、特徴量ベクトル生成部２０１は、パワースペクトラムＳ（ω）の周波数軸をメル周波数軸に変換したメル周波数スペクトラムＳ（ω_mel）を算出する（図２（ｃ）参照）。

最後に、特徴量ベクトル生成部２０１は、メル周波数スペクトラムＳ（ω_mel）からメル周波数ケプストラムを算出し、所定数（本実施の形態では２６個）の成分を特徴量ベクトルＭとする。

＜アンカーモデル蓄積部２０９＞
アンカーモデル蓄積部２０９は、メモリの一部の領域により構成され、アンカーモデル作成装置１０７により作成されたアンカーモデルＡ_rを記憶している。本実施の形態では、アンカーモデル蓄積部２０９は、音声処理装置１０４の各処理の実行前に、あらかじめアンカーモデルＡ_rを記憶している。

＜尤度ベクトル生成部２０２＞
尤度ベクトル生成部２０２は、特徴量ベクトル生成部２０１により生成される特徴量ベクトルＭおよびアンカーモデル蓄積部２０９に蓄積されているアンカーモデルＡ_rを用いて、オーディオ信号Ｘ（ｔ）の、サウンド素片それぞれに対する尤度Ｌ_rを算出し、各尤度を成分とする尤度ベクトルＦを第１単位区間毎に生成する。

＜尤度ベクトルバッファ２０３＞
尤度ベクトルバッファ２０３は、メモリの一部の領域により構成され、尤度ベクトル生成部２０２により生成される尤度ベクトルＦを記憶する。

＜頻度ベクトル生成部２０４＞
頻度ベクトル生成部２０４は、尤度ベクトルバッファ２０３で記憶されている尤度ベクトルＦに基づいて、第２単位区間毎に頻度ベクトルＮＦを生成する。

＜頻度ベクトルバッファ２０５＞
頻度ベクトルバッファ２０５は、メモリの一部の領域により構成され、頻度ベクトル生成部２０４により生成される頻度ベクトルＮＦを記憶する。

＜区間伸長基準指標計算部２０６＞
区間伸長基準指標計算部２０６は、第２単位区間それぞれに対して、後述する区間伸長処理の基準指標となる基準区間、基準ベクトルＳ及びしきい値Ｒｔｈを算出する。

区間伸長基準指標計算部２０６は、処理対象の第２単位区間近傍の複数の第２単位区間を基準区間として、頻度ベクトルバッファ２０５から基準区間の頻度ベクトルを取得し、取得した複数の頻度ベクトルの重心を基準ベクトルＳとして算出する。図１２に、処理対象の第２単位区間近傍の合計９区間を基準区間とした場合における、基準区間の頻度ベクトル（ＮＦ１〜ＮＦ９）を用いた、基準ベクトルＳの算出例を示す。

区間伸長基準指標計算部２０６は、更に、基準ベクトルＳを生成する際に用いた複数の頻度ベクトルＮＦと基準ベクトルＳとの間のユークリッド距離をそれぞれ算出し、基準ベクトルＳとの間のユークリッド距離が最も大きい頻度ベクトルＮＦと基準ベクトルＳとの間のユークリッド距離を類似区間に属するか否かの判断に用いるしきい値Ｒｔｈとして算出する。

図１３は、基準ベクトルＳ、各頻度ベクトルＮＦ、および、しきい値Ｒｔｈをベクトル空間の概念を用いて示した図である。図１３において、白丸印は、それぞれ、基準ベクトルＳの算出に用いた頻度ベクトルＮＦ（図１２に示す基準区間内の各頻度ベクトルＮＦ１〜ＮＦ９に対応）を示し、円状になっているハッチ領域の中心の黒丸印が基準ベクトルＳを示している。基準ベクトルＳから各頻度ベクトルＮＦへの矢印の長さが、頻度ベクトルＮＦと基準ベクトルＳとの間のユークリッド距離を示し、その最大距離がしきい値Ｒｔｈとなる。

＜境界情報計算部２０７＞
図１１に戻り、境界情報計算部２０７は、第２単位区間に対して、頻度ベクトルの類似する区間からなる類似区間を算出し、類似区間の始端の時刻および終端の時刻を特定する。境界情報計算部２０７は、頻度ベクトルバッファ２０５に記憶されている頻度ベクトルＮＦ、処理対象の第２単位区間、および、区間伸長基準指標計算部２０６により算出された基準指標（基準区間、基準ベクトルＳとしきい値Ｒｔｈ）を入力とし、特定した始端の時刻および終端の時刻を境界情報としてインデクス生成部２０８へ出力する。

まず、境界情報計算部２０７は、類似区間の初期値として、区間伸長基準指標計算部２０６で算出した基準区間を設定する。境界情報計算部２０７は、図１４に示すように、時間軸逆方向へ遡りながら、類似区間の直前の第２単位区間を対象区間として、対象区間を類似区間に含めるか否かについて判定していく。具体的には、境界情報計算部２０７は、対象区間における頻度ベクトルＮＦと基準ベクトルＳとの間のユークリッド距離を算出し、算出したユークリッド距離がしきい値Ｒｔｈ以下の場合に、対象区間を類似区間に含める。境界情報計算部２０７は、上記処理を繰り返し、算出したユークリッド距離がしきい値Ｒｔｈを最初に超えた時点における類似区間の始端の時刻を特定する。

上記処理は、１区間ずつ類似区間を伸長していくので、区間伸長処理と呼称する。境界情報計算部２０７は、時間軸順方向についても区間伸長処理を行い、類似区間の終端の時刻を特定する。

境界情報計算部２０７は、区間伸長処理にあたって、対象区間が類似区間に含まれるか否かを判定するとともに、同時に類似区間の長さが予め設定された類似区間の長さｌｅよりも短いか否かも判断する。算出したユークリッド距離がしきい値Ｒｔｈを超えず、かつ、類似区間の長さが予め設定された類似区間の長さの上限ｌｅよりも短い場合、境界情報計算部２０７は、対象区間を類似区間に含める。類似区間の長さが類似区間の長さの上限ｌｅ以上になった場合には、境界情報計算部２０７は、その時点での類似区間の境界情報を算出する。なお、類似区間の長さの上限ｌｅは、あらかじめ設定された値を用いる。

境界情報計算部２０７は、第２単位区間ごとに境界情報を算出する（図８参照）。

＜インデクス生成部２０８＞
インデクス生成部２０８は、境界情報計算部２０７で算出された境界情報に基づいて、シーン変化点を検出し、検出したシーン変化点をインデクス化したインデクス情報をインデクス記憶装置１０５に出力する。図１５は、インデクス生成部２０８の機能構成例を示すブロック図である。図１５に示すように、インデクス生成部２０８は、投票部３０１、閾値計算部３０２および境界判定部３０３を備える。以下、各構成について説明する。

＜投票部３０１＞
投票部３０１は、境界情報計算部２０７で計算された境界情報の示す時刻ごとに、同一時刻を示す境界情報の数を境界度として算出する。投票部３０１は、境界情報計算部２０７から入力される境界情報それぞれに対して、入力された境界情報の示す時刻に投票（時刻ｉに対応する境界度ＫＫ_iに１を加算）することにより、境界度を算出する。なお、投票部３０１は、１つの境界情報で指定される始端の時刻および終端の時刻の両方に投票を行う。

＜閾値計算部３０２＞
閾値計算部３０２は、投票部３０１により算出された時刻ごとの境界度の平均μおよび標準偏差σを用いて、閾値Ｔｈを算出する。境界情報の示す時刻がＴ_i（ｉ＝１，２，３，…，Ｎ）、それに対応する境界度がＫＫ_i（ｉ＝１，２，３，…，Ｎ）であった場合、平均値μ、標準偏差σおよび閾値ＴＨは、以下の式（１）、（２）および（３）で与えられる。

＜境界判定部３０３＞
境界判定部３０３は、投票部３０１で算出された時刻ごとの境界度ＫＫ_iおよび閾値計算部３０２で算出された閾値ＴＨを用いて、以下の式（４）の条件を満たす時刻をシーン変化点と判定し、インデクス情報としてインデクス記憶装置１０５に出力する。

音声処理装置１０４は、上記＜３−２−１＞から＜３−２−９＞までの構成により、動画ファイルのインデクス情報を生成する。図８の映像視聴装置１００の構成について説明を続ける。

＜アンカーモデル作成装置１０７（詳細）＞
アンカーモデル作成装置１０７は、メモリ（図示せず）およびプロセッサ（図示せず）から構成され、プロセッサがメモリに書き込まれたプログラムを実行することにより、図１６に示す構成を実現している。

図１６は、アンカーモデル作成装置の機能構成および周辺機器を示すブロック図である。図１６に示すように、アンカーモデル作成装置１０７は、特徴量ベクトル生成部４０１、特徴量ベクトル分類部４０２およびアンカーモデル生成部４０３を備え、音声データ蓄積装置１０８に記憶されている音声データに基づいてアンカーモデルを作成し、作成したアンカーモデルをアンカーモデル蓄積部２０９に記憶する機能を有する。以下、各構成について説明する。

＜特徴量ベクトル生成部４０１＞
特徴量ベクトル生成部４０１は、音声データ蓄積装置１０８に記憶されている音声データに基づいて、第１単位区間毎に、特徴量ベクトルＭを生成する。

＜特徴量ベクトル分類部４０２＞
特徴量ベクトル分類部４０２は、特徴量ベクトル生成部４０１により生成された特徴量ベクトルを、クラスタリング（分類）する。

特徴量ベクトル分類部４０２は、インタフェース装置１０９から入力されるアンカーモデルＡｒの個数Ｋに基づいて、Ｋ−ｍｅａｎｓ法により複数の特徴量ベクトルＭをＫ個のクラスタに分類する。なお、本実施の形態では、Ｋ＝１０２４である。

＜アンカーモデル生成部４０３＞
アンカーモデル生成部４０３は、特徴量ベクトル分類部４０２により分類されたＫ個のクラスタそれぞれの平均および分散を算出し、アンカーモデルＡ_r（ｒ＝１，２，…，Ｋ）としてアンカーモデル蓄積部２０９に記憶する。

＜１−４．動作＞
以下、本実施の形態に係る音声処理装置１０４の動作について図面を参照しながら説明する。

＜音声処理装置全体の動作＞
図１７は、音声処理装置１０４の動作を示すフローチャートである。図に示すように、音声処理装置はオーディオ信号を入力とする（ステップＳ１７０１）。

次に、音声処理装置１０４は、入力されたオーディオ信号を用いて、オーディオ信号の第２単位区間毎の特徴を表現した区間特徴（特徴量ベクトル、尤度ベクトルおよび頻度ベクトル）を生成する（ステップＳ１７０２）。

区間特徴の生成には、特徴量ベクトル生成部２０１による特徴量ベクトル生成処理、尤度ベクトル生成部２０２による尤度ベクトル生成処理、および、頻度ベクトル生成部２０４による頻度ベクトル生成処理が含まれる。

頻度ベクトルの生成を終了すると、次に、音声処理装置１０４は、処理対象となる第２単位区間を１つ選択し、ステップＳ１７０３の区間伸長基準指標計算部２０６で実行される区間伸長基準指標計算処理およびステップＳ１７０４の境界情報計算部２０７で実行される境界情報計算処理を行う。音声処理装置１０４は、全ての第２単位区間に対して、ステップＳ１７０３およびステップＳ１７０４の処理を実行するまでループ処理を行う。

ループ処理が終了すると、音声処理装置１０４のインデクス生成部２０８は、インデクス生成処理を行う（ステップＳ１７０５）。

最後に、音声処理装置１０４は、インデクス生成部２０８の生成したインデクス情報をインデクス記憶装置に出力する（ステップＳ１７０６）。

＜基準指標計算処理＞
図１８は、図１７におけるステップＳ１７０３の区間伸長基準指標計算部２０６で実行される基準指標計算処理の詳細を示すフローチャートである。図１８に示すように、基準指標計算処理において、区間伸長基準指標計算部２０６は、処理対象の第２単位区間および頻度ベクトルバッファ２０５で保持する頻度ベクトルを入力とする（ステップＳ１８０１）。

区間伸長基準指標計算部２０６は、処理対象の第２単位区間および当該第２単位区間前後４区間の計９区間の第２単位区間を基準区間として設定する（ステップＳ１８０２）。

次に、区間伸長基準指標計算部２０６は、頻度ベクトルバッファ２０５により入力される基準区間内の頻度ベクトル（ＮＦ１〜ＮＦ９）の重心を算出し、基準ベクトルＳとする（ステップＳ１８０３）。

続いて、区間伸長基準指標計算部２０６は、基準ベクトルＳと基準区間内の頻度ベクトル（ＮＦ１〜ＮＦ９）との間のユークリッド距離Ｄ（Ｓ，ＮＦ１），〜，Ｄ（Ｓ，ＮＦ９）をそれぞれ算出し、算出したユークリッド距離の最大値をしきい値Ｒｔｈとする（ステップＳ１８０４）。

最後に、区間伸長基準指標計算部２０６は、算出した基準指標を境界情報計算部２０７へ出力する（ステップＳ１８０５）。

＜境界情報計算処理＞
図１９は、図１７におけるステップＳ１７０４の境界情報計算部２０７で実行される境界情報計算処理の詳細を示すフローチャートである。図１９に示すように、境界情報計算処理において、境界情報計算部２０７は、処理対象の第２単位区間、区間伸長基準指標計算部２０６で算出される基準指標、あらかじめ設定される類似区間の長さの上限および頻度ベクトルバッファ２０５で保持する頻度ベクトルを入力とする（ステップＳ１９０１）。

境界情報計算部２０７は、区間伸長基準指標計算部２０６から入力された基準区間を類似区間の初期値とする（ステップＳ１９０２）。

次に、境界情報計算部２０７は、ステップＳ１９０２で設定した類似区間の初期値に対して、ステップＳ１９０３〜Ｓ１９０６の処理を実行して、オーディオ信号の時間軸逆方向の区間伸長処理を行う。

境界情報計算部２０７は、オーディオ信号の時間軸で類似区間の直前の第２単位区間を対象区間とする（ステップＳ１９０３）。

境界情報計算部２０７は、頻度ベクトルバッファ２０５から入力された対象区間の頻度ベクトルＮＦと、区間伸長基準指標計算部２０６により入力された基準ベクトルＳとの間のユークリッド距離Ｄ（ＮＦ，Ｓ）を算出し、算出したユークリッド距離Ｄ（ＮＦ，Ｓ）と区間伸長基準指標計算部２０６から入力されたしきい値Ｒｔｈとの比較を行う（ステップＳ１９０４）。

境界情報計算部２０７は、算出したユークリッド距離Ｄ（ＮＦ，Ｓ）がしきい値Ｒｔｈよりも短い場合（ステップＳ１９０４：Ｙｅｓ）、対象区間を含むように類似区間を更新する（ステップＳ１９０５）。

境界情報計算部２０７は、類似区間を更新したあと、類似区間の長さが、類似区間の長さの上限ｌｅとの比較を行い（ステップＳ１９０６）、類似区間の長さが上限ｌｅよりも短ければ（ステップＳ１９０６：Ｙｅｓ）、ステップＳ１８０３に戻り、類似区間の長さが上限ｌｅ以上ならば（ステップＳ１９０６：Ｎｏ）、ステップＳ１９１１に進む。

境界情報計算部２０７は、算出したユークリッド距離Ｄ（ＮＦ，Ｓ）がしきい値Ｒｔｈ以上の場合（ステップＳ１９０４：Ｎｏ）、オーディオ信号の時間軸逆方向の区間伸長処理を終了してステップＳ１９０７〜Ｓ１９１０へ進み、オーディオ信号の時間軸順方向の区間伸長処理を行う。

時間軸順方向の区間伸長処理は、ステップＳ１９０７の類似区間の直後の第２単位区間を対象区間とすること除いて、時間軸逆方向の区間伸長処理と同じ処理なので、説明を省略する。

境界情報計算部２０７は、時間軸逆方向の区間伸長処理および時間軸順方向の区間伸長処理を終了した時点における類似区間の始端の時刻および終端の時刻からなる境界情報を計算する（ステップＳ１９１１）。

最後に、境界情報計算部２０７は、計算した境界情報をインデクス生成部２０８に出力する（ステップＳ１９１２）。

＜インデクス生成処理＞
図２０は、図１７におけるステップＳ１７０５のインデクス生成部２０８で実行されるインデクス生成処理の動作を示すフローチャートである。図２０に示すように、インデクス生成処理において、インデクス生成部２０８は、境界情報計算部２０７で計算される境界情報を入力とする（ステップＳ２００１）。

投票部３０１は、境界情報計算部２０７から境界情報が入力されると、境界情報の示す時刻に投票して境界度を算出する（ステップＳ２００２）。

ステップＳ１９０２の投票処理が終了すると、閾値計算部３０２は、投票部３０１により算出された境界度を用いて閾値を算出する（ステップＳ２００３）。

境界判定部３０３は、投票部３０１で算出された境界度および閾値計算部３０２で算出された閾値を用いてシーン変化点を検出し、検出したシーン変化点をインデクス化したインデクス情報を生成する（ステップＳ２００４）。

境界判定部３０３は、生成したインデクス情報をインデクス記憶装置１０５に出力する（ステップＳ２００５）。

＜１−５．まとめ＞
本実施の形態の音声処理装置は、オーディオ信号の所定時間長の単位区間ごとに、オーディオ信号の単位区間における特徴を示す区間特徴（特徴量ベクトル、尤度ベクトルおよび頻度ベクトル）を算出し、算出した区間特徴の類似する区間からなる類似区間の境界からシーン変化点を検出する。

この構成により、音声処理装置は、音声情報が緩やかに変化するシーン変化点をであっても検出することが可能である。

また、音声処理装置は、単位区間ごとに算出し境界情報に対して、境界ごとに同一の境界を示す境界情報の数を優先度（境界度）として算出し、閾値を超える優先度の境界のみをシーン変化点としてインデクス化する。

この構成により、音声処理装置は、多くの単位区間（第２単位区間）から算出される境界を、優先的に、ユーザの所望するシーン変化点として検出することが可能となる。さらに、インデクス化する変化点を選別するため、ユーザは、所望するシーンを検索することが容易になる。

＜実施の形態２＞
実施の形態２では、実施の形態１と比較して、２つの点で異なっている。

１つは、境界度の算出方法である。実施の形態１では、同一の時刻を示す境界の数を境界度として計算した。実施の形態２では、境界度として、同一の時刻を示す境界情報における境界変化度の最大値を計算する。ここで、境界変化度は、境界情報計算部により、類似区間の境界情報として、当該類似区間内で、区間特徴（特徴量ベクトル、尤度ベクトルおよび頻度ベクトル）がどの程度変化しているかを示す指標として計算される。

実施の形態１と比較して、異なっているもう１つの点は、インデクス情報である。実施の形態１では、インデクス情報に、シーン変化点の時刻のみを用いた。実施の形態２では、シーン変化点を音環境情報で分類した分類情報を、インデクス情報に付加する。ここで、音環境情報は、シーン変化点におけるオーディオ信号の特徴を表現する情報であり、境界情報計算部により、類似区間の境界情報として、当該類似区間における区間特徴を用いて計算される。

以下、本実施の形態に係る音声処理装置について説明する。実施の形態１と同じ構成要素については同じ符号を用い、説明を省略する。

＜２−１．構成＞
図２１は、実施の形態２に係る音声処理装置１１０の機能構成例を示すブロック図である。音声処理装置１１０は、実施の形態１の音声処理装置１０４と比較して、境界情報計算部２０７の代わりに境界情報計算部２１１を備え、インデクス生成部２０８の代わりにインデクス生成部２１２を備える。

＜境界情報計算部２１１＞
境界情報計算部２１１は、境界情報計算部２０７の機能に加え、境界情報として、さらに、処理対象の第２単位区間近傍におけるオーディオ信号の特徴と、類似区間の境界におけるオーディオ信号の特徴の変化の度合いを示す境界変化度、および、類似区間における代表的な音環境を示す音環境情報を計算する機能を有する。

本実施の形態において、境界情報計算部２１１は、始端変化度Ｄｉｎ（類似区間の始端における境界変化度）として、時間軸逆方向の区間伸長処理において、区間を伸長する際に計算した基準ベクトルＳと頻度ベクトルＮＦとのユークリッド距離のうち、しきい値Ｒｔｈを超えたものを用いる。すなわち、基準ベクトルＳと類似区間直前の第２単位区間の頻度ベクトルＮＦとのユークリッド距離を用いる。なお、類似区間直前の第２単位区間が存在しない場合は、類似区間開始の第２単位区間を代わりに用いる
同様に、境界情報計算部２１１は、終端変化度Ｄｏｕｔ（類似区間の始端における境界変化度）として、基準ベクトルＳと類似区間直後の第２単位区間の頻度ベクトルＮＦとのユークリッド距離を用いる。

また、境界情報計算部２１１は、音環境情報として、基準ベクトルＳを用いる。

図２２に示すように、境界情報計算部２１１は、境界情報として、類似区間の始端の時刻、始端変化度、終端の時刻、終端変化度、および、音環境情報を計算する。

＜インデクス生成部２１２＞
図２３は、インデクス生成部２１２の機能構成例を示すブロック図である。インデクス生成部２１２は、実施の形態１のインデクス生成部２０８と比較して、投票部３０１の代わりに境界度計算部３１１を備え、さらに、音環境分類部３１２が、境界判定部３０３とインデクス記憶装置１０５の間に挿入される。

＜境界度計算部３１１＞
境界度計算部３１１は、境界情報計算部２１１で計算された境界情報の示す時刻ごとに、境界情報の境界変化度の最大値を境界度として算出する。より具体的には、境界度計算部３１１は、時刻Ｔ_iの境界度として、始端の時刻がＴｉの境界情報における始端変化度および終端の時刻がＴｉの境界情報における終端変化度の最大値を算出する。

また、境界度計算部３１１は、境界変化度の最大値を与えた境界情報の音環境情報を境界（時刻）の音環境情報と対応付ける。

＜音環境分類部３１２＞
音環境分類部３１２は、境界判定部３０３で、シーン変化点と判定された時刻に対応付けられた音環境情報を、例えば、Ｋ−ｍｅａｎｓ法を用いて複数のグループ（例えば、３グループ）に分類する。音環境分類部３１２は、分類結果の分類情報をインデクス情報に付与し、分類情報付のインデクス情報をインデクス記憶装置１０５に出力する。図２４に、分類情報の付与されたインデクス情報の具体例を示す。

＜２−２．まとめ＞
本実施の形態の音声処理装置は、境界度として、類似区間内におけるオーディオ信号の特徴の変化の度合いを示す境界変化度の最大値を用いている。オーディオ信号の特徴の変化は、動画ファイルにおける被写体に動きに伴って出現することが多い。つまり、本実施の形態の音声処理装置は、境界度として境界変化度の最大値を用いることで、被写体に動きあるシーンを優先して検出することが可能である。

本実施の形態の音声処理装置は、シーン変化点を音環境情報で分類した分類情報をインデクス情報に付与している。映像視聴装置は、分類情報を利用することで、多彩なユーザインタフェース機能をユーザに提供することが可能となる。

例えば、映像視聴装置は、シーン変化点を分類ごとに区別できる形（例えば、分類ごとに色分けする、分類ごとに目印の形状を変化させる）でプログレスバーに表示する構成が考えられる。この構成により、ユーザは、プログレスバーを見ることで、ＡＶコンテンツの大まかなシーン構成を把握することが可能となり、目的のシーンをより直観的に検索することが可能となる。

また、映像視聴装置は、現在視聴しているシーンのシーン変化点と同じ分類のシーン変化点をプログレスバー上で強調表示する構成が考えられる。この構成により、ユーザは、現在視聴しているシーンに類似するシーンまで、素早くスキップすることが可能となる。

＜３．変形例＞
上記実施の形態に従って、本発明に係る音声処理装置について説明してきたが、本発明はこれに限られるものではない。以下、本発明の思想として含まれる各種変形例について説明する。

（１）上記実施の形態において、音声処理装置は、境界度として、同一の境界を示す境界情報の数、または、同一の境界を示す境界情報における境界変化度の最大値を計算したがこれに限られるものではない。例えば、同一の境界を示す境界情報における境界変化度の累積値を用いてもよい。この構成によると、音声処理装置は、より多くの単位区間（第２単位区間）から算出され、かつ、同一シーン内で特徴の変化が大きいシーンの境界を、優先して検出することが可能となる。

（２）上記実施の形態において、境界情報計算部は、境界情報として、類似区間の始端の時刻および終端の時刻の両方を計算しているが、始端の時刻のみを計算してもよいし、終端の時刻のみを計算してもよい。なお、境界情報計算部は、始端の時刻のみを計算する構成では、時間軸順方向の区間伸長処理を行う必要がなく、終端の時刻のみを計算する構成では、時間軸逆方向の区間伸長処理を行う必要がなくなる。

（３）上記実施の形態において、閾値計算部は、式（３）を用いて閾値の計算を行うとしたが、閾値の計算方法はこの限りではない。例えば、以下に示す式（５）の係数ｋを０〜３の間で変化させたものを用いてもよい。

また、閾値計算部は、複数の閾値を計算し、境界判定部は、複数の閾値それぞれに対してシーン変化点を計算してもよい。例えば、閾値計算部は、係数ｋ＝０として第１の閾値ＴＨ１を計算し、境界判定部は、第１の閾値ＴＨ１に対するシーン変化点を検出する。その後、閾値計算部は、係数ｋ＝２として第２の閾値ＴＨ２を計算し、境界判定部は、第２の閾値ＴＨ２に対するシーン変化点を検出するとしてもよい。

ここで、第２の閾値よりも小さい第１の閾値ＴＨ１を用いて検出されたシーン変化点は、例えば、図１におけるシーン２０の中に含まれるシーン２１およびシーン２２のように、より大きいシーンに含まれる小さいシーンの境界と推定することができる。逆に、第１の閾値よりも大きい第２の閾値ＴＨ２を用いて検出されたシーン変化点は、例えば、図１におけるシーン２１およびシーン２２を含むシーン２０のように、より小さいシーンを含む大きいシーンの境界と推定することができる。

つまり、複数の閾値それぞれに対してシーン変化点を検出する構成により、閾値計算部および境界判定部は、オーディオ信号におけるシーンの階層構造を推定するシーン構造推定部として機能する。

（４）上記実施の形態において、境界判定部は、閾値計算部から入力される閾値を超える境界度の時刻をシーン変化点として検出するとしたが、この限りではない。境界判定部は、例えば、境界度の高い順に所定数Ｎ（Ｎは正整数）の時刻をシーン変化点として検出してもよい。さらに、上記所定数Ｎは、オーディオ信号の長さに応じて決定してもよい。例えば、境界判定部は、１０分の長さのオーディオ信号の場合には、Ｎ＝１０とし、２０分の長さのオーディオ信号の場合には、Ｎ＝２０としてもよい。

また、境界判定部は、境界度の高い順に所定数Ｎ（Ｎは正整数）の時刻を第１のシーン変化点として検出し、境界度の高い順に所定数Ｍ（ＭはＮよりおおきい整数）の時刻を第２のシーン変化点として検出してもよい。

この場合、第１のシーン変化点は、例えば、図１におけるシーン２１およびシーン２２を含むシーン２０のように、より小さいシーンを含む大きいシーンの境界と推定することができる。また、第２のシーン変化点は、図１におけるシーン２０の中に含まれるシーン２１およびシーン２２のように、より大きいシーンに含まれる小さいシーンの境界と推定することができる。

つまり、上記第１のシーン変化点と第２のシーン変化点とを検出する構成によると、境界判定部は、オーディオ信号におけるシーンの階層構造を推定するシーン構造推定部として機能する。

（５）上述の実施の形態において、類似区間（および境界情報）は、第２単位区間ごとに算出するとしたが、この限りではない。例えば、境界情報計算部は、Ｎを正整数として、第２単位区間Ｎ個おきに類似区間を算出してもよい。また、境界情報計算部は、インタフェース装置などからユーザの指定する第２単位区間を複数取得し、ユーザの指定する複数の第２単位区間それぞれの類似区間を算出するとしてもよい。

（６）上述の実施の形態において、区間伸長基準指標計算部の実施する区間伸長基準指標算出処理に用いる基準区間は、処理対象の第２単位区間近傍の合計９区間としたが、これに限られるものではない。基準区間は、例えば、処理対象の第２単位区間近傍の合計Ｎ区間（Ｎは２以上の整数）であってもよい。

ここで、Ｎが大きいと境界情報計算部において計算される類似区間は、比較的広い区間になる。その結果、インデックス生成部において検出されるシーン変化点は、例えば、図１におけるシーン２１およびシーン２２を含むシーン２０のように、より小さいシーンを含む大きいシーンの境界を示すと推定される。逆に、Ｎが小さいと境界情報計算部において計算される類似区間は、比較的狭い区間になる。その結果、インデックス生成部において検出されるシーン変化点は、例えば、図１におけるシーン２０の中に含まれるシーン２１およびシーン２２のように、より大きいシーンに含まれる小さいシーンの境界を示すと推定される。

これを踏まえ、区間伸長基準指標計算部、境界情報計算部およびインデックス生成部は、まず、Ｎが大きい場合におけるシーン変化点を検出し、その後、Ｎが小さい場合におけるシーン変化点を検出する構成としてもよい。この構成によると、区間伸長基準指標計算部、境界情報計算部およびインデックス生成部は、オーディオ信号における大きなシーンの境界と、その大きなシーンに含まれる小さなシーンの境界とを検出することができる。つまり、この構成によれば、区間伸長基準指標計算部、境界情報計算部およびインデックス生成部は、オーディオ信号におけるシーンの階層構造を推定するシーン構造推定部として機能する。

（７）上述の実施の形態において、基準ベクトルは、基準区間に含まれる第２単位区間の頻度ベクトルの重心として説明したが、基準ベクトルはこれに限られるものではない。例えば、基準区間に含まれる第２単位区間の頻度ベクトルの成分毎の中央値を成分とするベクトルでもよいし、基準区間に含まれる第２単位区間の数が１００個など多い場合には、各頻度ベクトルの成分の最頻値を成分とするベクトルを基準ベクトルとしてもよい。

（８）上述の実施形態においては、境界情報計算部は、対象区間における頻度ベクトルと基準ベクトルＳの間のユークリッド距離がしきい値Ｒｔｈを超えず、かつ、類似区間の長さがあらかじめ設定された類似区間の長さの上限ｌｅよりも短いと判断すると対象区間を類似区間に含ませる旨を記載した。これは、類似区間の長さがある一定以上の長さになることを防ぐための措置であるが、類似区間の長さに制限がなければ、類似区間の長さと上限ｌｅとの比較処理は行わずに対象区間を類似区間に含ませてもよい。

また、上述の実施の形態では、類似区間の長さの上限ｌｅは、あらかじめ設定された値を用いるとしたが、この限りではない。類似区間の長さの上限ｌｅは、例えば、インタフェースを介してユーザが指定した値を用いてもよい。

（９）上述の実施の形態においては、類似区間を時間軸逆方向に伸長していき、その後に、時間軸順方向に伸長していく構成についてのみ説明したが、例えば、以下のような構成としてもよい。

例えば、境界情報計算部は、区間伸長処理の順は時間軸順方向が時間軸逆方向よりも先に行われてもよいし、類似区間を第２単位区間単位で時間軸逆方向と時間軸順方向とで交互に伸長していく構成をとってもよい。交互に伸長を行う際には、第２単位区間単位に交互でなくともよく、一定数（例えば、５個）の第２単位区間毎に交互に伸長する手法をとってもよい。

（１０）上記実施の形態においては、境界情報計算部は、基準ベクトルと対象区間の頻度ベクトルとの間のユークリッド距離が、しきい値Ｒｔｈを超えるか否かに応じて、対象区間を類似区間に含めるか否かを判定していた。しかし、これは、基準ベクトルと頻度ベクトルが一定以上似ているか否かを判定できれば、必ずしもユークリッド距離を用いる必要はない。

例えば、基準ベクトルおよび頻度ベクトルの各成分を対応するアンカーモデルの規定する確率分布の重みとする混合分布について、２つの混合分布の両方向のカルバック・ライブラー情報量（Kullback-Leibler divergence、相対エントロピーと呼称されることもある）を距離として利用し、類似区間を抽出する構成としてもよい。この際、しきい値Ｒｔｈもカルバック・ライブラー情報量を用いて計算するとよい。

なお、カルバック・ライブラー情報量は、確率論や情報理論において２つの確率分布の差異を図る尺度として一般に知られており、本発明の一実施形態に係る頻度ベクトルと基準ベクトル間のＫＬ距離は以下のようにして算出できる。

まず、頻度ベクトルＮＦと各アンカーモデルの規定する確率分布を用いて一つの混合分布を構成する。具体的には、頻度ベクトルＮＦ＝（α₁，…，α_r，…，α₁₀₂₄）を、各アンカーモデルの規定する確率分布（ｂ_A1，…，ｂ_Ar，…，ｂ_A1024）に対する重みと捉えることで、混合分布Ｇ_NFは、以下の式（６）で与えることができる。

一方、基準ベクトルでも同様に混合分布を構成する。即ち、基準ベクトルＳ＝（μ₁，…，μ_r，…，μ₁₀₂₄）を、各アンカーモデルの規定する確率分布（ｂ_A1，…，ｂ_Ar，…，ｂ_A1024）に対する重みと捉えることで、混合分布Ｇ_Sは、以下の式（７）で与えることができる。

すると、この２つの混合分布Ｇ_NF及びＧ_Sを用いて、Ｇ_NFからＧ_Sに対するカルバック・ライブラー情報量は以下の式（８）で与えることができる。

上記式（８）においてＸは混合分布Ｇ_NF及びＧ_Sの引数全体の集合である。

また、Ｇ_SからＧ_NFに対するカルバック・ライブラー情報量は以下の式（９）で与えることができる。

式（８）と式（９）の間に対称性はないので、二つの確率分布間のＫＬ距離は、以下の式（１０）から算出される。

上記実施の形態に示したユークリッド距離の代わりに、この式（１０）に示されるＫＬ距離を用いて、対象区間を類似区間に含めるか否かの判定を行ってもよい。このとき、しきい値Ｒｔｈは、ユークリッド距離の代わりに、基準区間に含まれる複数の第２単位区間の頻度ベクトルのうち、それら複数の頻度ベクトルと基準ベクトルとの間のＫＬ距離が最大の頻度ベクトルとの間のＫＬ距離を用いればよい。

また、その他にも、ユークリッド距離を用いない手法としては、例えば、基準ベクトルと対象区間の頻度ベクトルとの相関演算（コサイン類似度やピアソンの相関係数の算出など）を行って、その相関値が一定値以上（例えば、０．６以上）であれば、対象区間を類似区間に含めるというような手法をとってもよい。

（１１）上述の実施形態では、第２単位区間における頻度ベクトルは、それぞれの区間に含まれる尤度ベクトルの各成分の正規化累積尤度を成分とするベクトルであるとしたが、頻度ベクトルは、その区間におけるオーディオ信号の特徴を表すものであればよく、特に、頻出する音の成分を特定できるものであれば、正規化累積尤度以外を成分とするベクトルであってもよい。例えば、単位区間に含まれる尤度ベクトルの各成分を累積し、累積尤度の高い上位ｋ個（ｋは複数であり、例えば、１０）のアンカーモデルのみに対応する累積尤度を正規化したベクトルであってもよい。あるいは、頻度ベクトルは、累積した値を正規化することなく、そのまま累積した尤度を成分とするベクトルや、各尤度の平均値を成分とするベクトルであってもよい。

（１２）上述の実施形態では、特徴量ベクトルとしてＭＦＣＣを用いるとしたが、オーディオ信号の第１単位区間における特徴を表現するものであればこれに限られるものではない。例えば、パワースペクトラムなどのオーディオ信号の周波数特性を用いてもよいし、オーディオ信号の振幅の時系列そのものを特徴量として用いてもよい。

また、上述の実施形態では、ＭＦＣＣ２６次元を用いるとしているが、これは実験により２６次元とすることで好適な結果得られたためであり、本発明の特徴量ベクトルを２６次元に制限するものではない。

（１３）上述の実施形態では、音データ記憶装置に予め蓄積されている音データからクラスタリングを用いて分類した複数種類のサウンド素片それぞれのアンカーモデルＡｒを作成する（いわゆる教師無しでアンカーモデルを作成する）例について説明したが、アンカーモデル作成手法は、これに限定されるものではない。例えば、音データ記憶装置に蓄積されている音データについて、ユーザが各サウンド素片それぞれに対応する音データを選択し、それぞれに種別ラベルを付与し、種別ラベルが同一な音データから対応するサウンド素片のアンカーモデルを作成する（いわゆる教師ありでアンカーモデルＡｒを作成する）こととしてもよい。

（１４）上述の実施形態における第１単位区間、第２単位区間それぞれの時間の長さは一例である。その時間長は、第１単位区間＜第２単位区間となっていれば、上記実施の形態に示した以外の長さであってもよい。なお、このとき、第２単位区間の長さは、第１単位区間の長さの倍数になっていると処理が簡易になる。

（１５）上述の実施形態では、尤度ベクトルバッファ、頻度ベクトルバッファ、および、アンカーモデル蓄積部は、メモリの一部により構成されるとしたが、音声処理装置が読み書き可能な記憶装置であればこの限りではない。例えば、ハードディスクやフレキシブルディスクであってもよいし、外部接続の記憶装置であってもよい。

（１６）上述の実施形態に示した音データ記憶装置に記憶される音声データは、適宜新たな音声データが追加されてよく、また、コンテンツ記憶装置に記憶された動画ファイルの音データを記憶してもよい。

そして、新たな音データの追加に伴い、アンカーモデル作成装置１０７は新たなアンカーモデルを作成してもよい。

（１７）上述の実施形態では、映像視聴装置の構成要素として音声処理装置を説明したが、音声編集装置の構成要素としても良い。また、外部装置からオーディオ信号を含む動画ファイルを取得して、検出結果のシーン変化点に対応する画像データをサムネイル画像として出力する画像表示装置であってもよい。

（１８）上述の実施形態では、記録媒体から動画ファイルを取得することとしたが、取得の手段は記録媒体を用いる方法に限らない。例えば、無線又は有線の放送や、ネットワークなどから取得してもよいし、音声処理装置がマイクなどの音声入力装置を備え、音声入力装置により入力されたオーディオ信号からシーン変化点を検出してもよい。

（１９）本発明は、上記実施形態の音声処理装置をネットワークに接続し、当該音声処理装置および当該ネットワークに接続される１以上の端末からなる映像視聴システムとして実現することも可能である。

このような映像視聴システムでは、例えば、ある１つの端末が音声処理装置に動画ファイルを送信し、音声処理装置が受信した動画ファイルのシーン変化点を検出して端末に送信する。

この構成により、シーン変化点の検出などの編集機能を持たない端末でも、編集の施された（シーン変化点の検出された）映像を再生することが可能である。

また、上記映像視聴システムにおいて、音声処理装置の機能を分割して、分割された機能の一部を端末が備えてもよい。ここでは、分割された機能の一部を備える端末をクライアントと称し、残る機能を備える装置をサーバと称する。

図２５〜２７は、音声処理装置の機能を分割した映像視聴システムの構成の一例を示す図である。

図２５に示すように、映像視聴システムは、クライアント２６００およびサーバ２７００から成る。

クライアント２６００は、コンテンツ記憶装置１０２、音声抽出装置１０３、音声処理装置２６０２、および送受信装置２６０４を備える。

コンテンツ記憶装置１０２および音声抽出装置１０３は、上記実施形態におけるコンテンツ記憶装置１０２および音声抽出装置１０３と同様である。

音声処理装置２６０２は、上記実施形態における音声処理装置１０４の一部の機能、具体的には、オーディオ信号から頻度ベクトルを生成する機能を有する。

送受信装置２６０４は、音声処理装置２６０２の生成した頻度ベクトルをサーバ２７００に送信する機能、および、サーバ２７００からインデクス情報を受信する機能を有する。

サーバ２７００は、インデクス記憶装置１０５、音声処理装置２７０２、および送受信装置２７０４を備える。

インデクス記憶装置１０５は、上記実施の形態におけるインデクス記憶装置１０５と同様である。

音声処理装置２７０２は、上記実施形態における音声処理装置１０４の一部の機能、具体的には、頻度ベクトルからインデクス情報を生成する機能を有する。

送受信装置２７０４は、クライアント２６００から頻度ベクトルを受信する機能、および、インデクス記憶装置１０５に記憶されるインデクス情報をクライアント２６００に送信する機能を有する。

図２６は、クライアント２６００の備える音声処理装置２６０２の機能構成の一例を示す図である。図に示すように、音声処理装置２６０２は、特徴量ベクトル生成部２０１、尤度ベクトル生成部２０２、尤度ベクトルバッファ２０３、頻度ベクトル生成部２０４、およびアンカーモデル蓄積部２０９を備える。各構成部は、上記実施形態の同名同符号の構成部と同様の機能を有する。

図２７は、サーバ２７００の備える音声処理装置２７０２の機能構成の一例を示す図である。図に示すように、音声処理装置２７０２は、頻度ベクトルバッファ２０５、区間伸長基準指標計算部２０６、境界情報計算部２０７およびインデクス生成部２０８を備える。各構成部は、上記実施形態の同名同符号の構成部と同様の機能を有する。

この構成によると、映像視聴システム内の通信は、頻度ベクトルおよびインデクス情報に限られる。従って、音声処理装置を分割せずに動画ファイルを送信する場合と比較して、通信量を減らすことが可能となる。

また、上記映像視聴システムにおいて、サーバは、生成したインデクス情報に対応するサムネイル画像などをクライアントから受信して、ネットワーク内の他の端末に対して、生成したインデクス情報と共に対応するサムネイル画像を配信する機能を備えてもよい。

この構成によれば、ネットワーク内の他の端末においてクライアントに保存されている動画ファイルを視聴する場合に、他の端末のユーザは、配信されたサムネイル画像に基づいて、興味のあるシーンのみを選択して視聴することが可能である。つまり、この構成により、映像視聴システムは、ユーザにとって興味のあるシーンのみを抽出したストリーミング配信を行うことができる。

（２０）上述の各実施形態及び各変形例を、部分的に組み合せてもよい。

（２１）上述実施形態で示した基準指標算出処理、境界情報計算処理、インデクス生成処理を、音声処理装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。

（２２）上述の実施形態で示した各機能構成要素（特徴単位区間検出部、区間伸長基準指標計算部、興味区間抽出部等）は、その機能を実行する回路として実現されてもよいし、１又は複数のプロセッサによりプログラムを実行することで実現されてもよい。また、上述の実施形態の音声処理装置は、ＩＣ、ＬＳＩその他の集積回路のパッケージとして構成されるものとしてもよい。このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。

なお、特徴単位区間検出部、区間伸長基準指標計算部、興味区間抽出部等の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

＜６−２．補足＞
以下、更に本発明の一実施形態としての音声処理装置の構成及びその変形例と効果について説明する。

（Ａ）本発明の一実施形態の音声処理装置は、入力されたオーディオ信号の単位区間の特徴を表現する区間特徴を単位区間ごとに計算する特徴計算手段と、複数の単位区間それぞれに対して、当該単位区間を含む区間特徴の類似する複数の単位区間からなる類似区間と他の区間との境界に関する境界情報を計算する境界計算手段と、前記境界情報で示される境界それぞれの優先度を計算し、前記優先度に基づいて、前記境界それぞれがシーン変化点であるか否かを判定する判定手段とを備える。

音声処理装置は、この構成により、区間特徴（特徴量ベクトル、尤度ベクトルおよび頻度ベクトル）の類似する類似区間の境界の中から選出したものをシーン変化点として検出する。音声処理装置は、類似区間の境界をシーン変化点とすることで、過渡シーンにおける変化点を検出することが可能である。また、音声処理装置は、境界を選別したものをシーン変化点としてインデクス化することで、ユーザは容易に所望するシーン変化点を検索することが可能となる。

（Ｂ）上記実施形態（Ａ）の音声処理装置において、前記判定手段は、前記優先度として、同一の境界を示す境界情報の数を計算するとしてもよい。

この構成によると、音声処理装置は、ユーザが所望する同一のシーンに属する単位区間からは、同一の時刻を示す境界が算出されるという仮定の下で、ユーザの所望するシーンと他のシーンとの変化点を優先的に検出することが可能となる。

（Ｃ）上記実施形態（Ａ）の音声処理装置において、前記境界計算手段は、前記境界情報として、さらに、前記類似区間と他の区間との間のオーディオ信号の特徴の変化の度合いを示す変化度を計算し、前記判定手段は、前記優先度として、同一の境界を示す境界情報の前記変化度の累積値を計算するとしてもよい。

この構成によると、音声処理装置は、オーディオ信号の特徴に変化のあるシーンの境界および多くの単位区間から計算される境界の両方を優先的に検出することが可能である。

（Ｄ）上記実施形態（Ａ）の音声処理装置において、前記境界計算手段は、前記境界情報として、さらに、前記類似区間と他の区間との間のオーディオ信号の特徴の変化の度合いを示す変化度を計算し、前記判定手段は、前記優先度として、同一の境界を示す境界情報の前記変化度の最大値を計算するとしてもよい。

この構成によると、音声処理装置は、オーディオ信号の特徴に変化のあるシーンの境界を優先して検出することが可能である。

（Ｅ）上記実施形態（Ｄ）の音声処理装置において、前記境界計算手段は、前記境界情報として、さらに、前記類似区間に含まれる前記単位区間の区間特徴を用いて、当該類似区間の音環境を表現する音環境情報を計算し、さらに、前記音環境情報を用いて、前記シーン変化点を分類し、分類結果の分類情報を前記シーン変化点に付与する分類手段を備えるとしてもよい。

この構成によると、音声処理装置の出力を利用する映像表示装置などは、分類情報に基づいて、多彩なユーザインタフェース機能をユーザに提供することが可能となる。

（Ｆ）上記実施形態（Ａ）の音声処理装置は、さらに、前記優先度に基づいて、閾値を計算する閾値計算手段を備え、前記判定手段は、前記閾値を超える優先度の境界の時刻を前記シーン変化点として検出するとしてもよい。

この構成によると、音声処理装置は、各オーディオ信号に対して、適応的に閾値を計算することが可能となる。その結果、あらゆるオーディオ信号に対して、安定した精度でシーン変化点を検出することが可能となる。

（Ｇ）上記実施形態（Ａ）の音声処理装置において、前記境界計算手段は、前記境界情報として、前記類似区間の始端の時刻を計算するとしてもよい。

また、上記実施形態（Ｂ）の音声処理装置において、前記境界計算手段は、前記境界情報として、前記類似区間の終端の時刻を計算するとしてもよい。

この構成によると、音声処理装置は、単位区間ごとに類似区間を求める際に、時間軸順方向もしくは時間軸逆方向のいずれか一方のみの境界を求めればよく、計算量が削減される。

（Ｈ）上記実施形態（Ａ）の音声処理装置において、前記単位区間を第２単位区間とし、前記第２単位区間は、複数の連続する第１単位区間からなり、さらに、複数種類のサウンド素片それぞれの特徴を表現する確率モデルをあらかじめ記憶しているモデル記憶手段と、前記確率モデルを用いて、前記オーディオ信号の前記サウンド素片それぞれに対する尤度を成分とする尤度ベクトルを、前記第１単位区間ごとに生成する尤度ベクトル生成手段とを備え、前記区間特徴は、前記第２単位区間に含まれる複数の第１単位区間の尤度ベクトルを用いて生成され、前記サウンド素片それぞれの出現頻度を示す頻度ベクトルであるとしてもよい。

この構成によると、音声処理装置は、サウンド素片を表現する確率モデルに基づいて、尤度ベクトルおよび頻度ベクトルを生成することで、オーディオ信号の各第１単位区間および各第２単位区間にサウンド素片の成分がどの程度含まれているかを尤度ベクトルおよび頻度ベクトルで表現することができる。

（Ｉ）上記実施形態（Ｈ）の音声処理装置は、さらに、オーディオ信号の前記第１単位区間における周波数特性を示す特徴量ベクトルを算出する特徴量ベクトル生成手段を備え、前記尤度ベクトル生成手段は、前記特徴量ベクトルおよび前記確率モデルを用いて前記尤度ベクトルを生成するとしてもよい。

この構成によると、音声処置装置は、オーディオ信号の周波数特性を用いて、シーン変化点を検出することができる。

（Ｊ）本発明の一実施形態の音声処理装置は、入力されたオーディオ信号の単位区間の特徴を表現する区間特徴を単位区間ごとに計算する特徴計算手段と、複数の単位区間それぞれに対して、当該単位区間を含む区間特徴の類似する複数の単位区間からなる類似区間と他の区間との境界に関する境界情報を計算する境界計算手段と、前記境界情報の示す境界の中から、前記オーディオ信号によって表現されるシーンに含まれる第１のシーンの境界と、当該第１のシーンに含まれる第２のシーンの境界とを検出するシーン構造推定手段とを備えることを特徴とする。

音声処理装置は、オーディオ信号におけるシーンの階層構造を推定するので、ユーザは、推定された階層構造に基づき、所望するシーンを容易に検索することが可能となる。

本発明に係る音声処理装置および音声処理方法は、音声、家中の音、外出時の音などを含むＡＶコンテンツなどのオーディオ信号からシーン変化点を検出することにより、ユーザが興味の対象とするシーンを容易に検索したり、興味の対象とするシーンの強調再生（トリック再生やフィルタ処理）などを行うことが可能となり、音声編集装置や動画編集装置などに有用である。

１００ 映像視聴装置
１０１ 入力装置
１０２ コンテンツ記憶装置
１０３ 音声抽出装置
１０４ 音声処理装置
１０５ インデクス記憶装置
１０６ 出力装置
１０７ アンカーモデル作成装置
１０８ 音声データ蓄積装置
１０９ インタフェース装置
２０１ 特徴量ベクトル生成部
２０２ 尤度ベクトル生成部
２０３ 尤度ベクトルバッファ
２０４ 頻度ベクトル生成部
２０５ 頻度ベクトルバッファ
２０６ 区間伸長基準指標計算部
２０７，２１１ 境界情報計算部
２０８，２１２ インデクス生成部
２０９ アンカーモデル蓄積部
３０１ 投票部
３０２ 閾値計算部
３０３ 境界判定部
３１１ 境界度計算部
３１２ 音環境分類部
４０１ 特徴量ベクトル生成部
４０２ 特徴量ベクトル分類部
４０３ アンカーモデル生成部

Claims (14)

1. 入力されたオーディオ信号の単位区間の特徴を表現する区間特徴を単位区間ごとに計算する特徴計算手段と、
   複数の単位区間それぞれに対して、当該単位区間を含む区間特徴の類似する複数の単位区間からなる類似区間と他の区間との境界に関する境界情報を計算する境界計算手段と、
   前記境界情報で示される境界それぞれの優先度を計算し、前記優先度に基づいて、前記境界それぞれがシーン変化点であるか否かを判定する判定手段と
   を備え、
   前記境界計算手段は、前記境界情報として、前記類似区間の始端の時刻または終端の時刻の少なくとも一方を計算し、
   前記単位区間を第２単位区間とし、前記第２単位区間は、複数の連続する第１単位区間からなり、
   さらに、複数種類のサウンド素片それぞれの特徴を表現する確率モデルをあらかじめ記憶しているモデル記憶手段と、
   前記確率モデルを用いて、前記オーディオ信号の前記サウンド素片それぞれに対する尤度を成分とする尤度ベクトルを、前記第１単位区間ごとに生成する尤度ベクトル生成手段とを備え、
   前記区間特徴は、前記第２単位区間に含まれる複数の第１単位区間の尤度ベクトルを用いて生成され、前記サウンド素片それぞれの出現頻度を示す頻度ベクトルである
   ことを特徴とする音声処理装置。
2. 前記判定手段は、前記境界の前記優先度として、当該境界と同一の時刻を示す境界情報の数を計算する
   ことを特徴とする請求項１記載の音声処理装置。
3. 前記境界計算手段は、前記境界情報として、さらに、前記類似区間と他の区間との間のオーディオ信号の特徴の変化の度合いを示す変化度を計算し、
   前記判定手段は、前記境界の前記優先度として、当該境界と同一の時刻を示す境界情報の前記変化度の累積値を計算する
   ことを特徴とする請求項１記載の音声処理装置。
4. 前記境界計算手段は、前記境界情報として、さらに、前記類似区間と他の区間との間のオーディオ信号の特徴の変化の度合いを示す変化度を計算し、
   前記判定手段は、前記境界の前記優先度として、当該境界と同一の時刻を示す境界情報の前記変化度の最大値を計算する
   ことを特徴とする請求項１記載の音声処理装置。
5. 前記境界計算手段は、前記境界情報として、さらに、前記類似区間に含まれる前記単位区間の区間特徴を用いて、当該類似区間の音環境を表現する音環境情報を計算し、
   さらに、前記音環境情報を用いて、前記シーン変化点を分類し、分類結果の分類情報を前記シーン変化点に付与する分類手段
   を備えることを特徴とする請求項４記載の音声処理装置。
6. さらに、前記優先度の平均及び標準偏差を用いて、閾値を計算する閾値計算手段を備え、
   前記判定手段は、前記閾値を超える優先度の境界の時刻を前記シーン変化点として検出する
   ことを特徴とする請求項１に記載の音声処理装置。
7. 前記判定手段は、前記優先度の高い順に、所定数の前記境界を前記シーン変化点として検出する
   ことを特徴とする請求項１に記載の音声処理装置。
8. 前記判定手段は、前記所定数を前記オーディオ信号の長さに応じて決定する
   ことを特徴とする請求項７に記載の音声処理装置。
9. 前記境界計算手段は、前記オーディオ信号の全単位区間に対して、前記境界情報を計算する
   ことを特徴とする請求項１記載の音声処理装置。
10. さらに、オーディオ信号の前記第１単位区間における周波数特性を示す特徴量ベクトルを算出する特徴量ベクトル生成手段を備え、
    前記尤度ベクトル生成手段は、前記特徴量ベクトルおよび前記確率モデルを用いて前記尤度ベクトルを生成する
    ことを特徴とする請求項１記載の音声処理装置。
11. 入力されたオーディオ信号の単位区間の特徴を表現する区間特徴を単位区間ごとに計算する特徴計算手段と、
    複数の単位区間それぞれに対して、当該単位区間を含む区間特徴の類似する複数の単位区間からなる類似区間と他の区間との境界に関する境界情報を計算する境界計算手段と、
    前記境界情報の示す境界の中から、前記オーディオ信号によって表現されるシーンに含まれる第１のシーンの境界と、当該第１のシーンに含まれる第２のシーンの境界とを検出するシーン構造推定手段と
    を備え、
    前記境界計算手段は、前記境界情報として、前記類似区間の始端の時刻または終端の時刻の少なくとも一方を計算し、
    前記単位区間を第２単位区間とし、前記第２単位区間は、複数の連続する第１単位区間からなり、
    さらに、複数種類のサウンド素片それぞれの特徴を表現する確率モデルをあらかじめ記憶しているモデル記憶手段と、
    前記確率モデルを用いて、前記オーディオ信号の前記サウンド素片それぞれに対する尤度を成分とする尤度ベクトルを、前記第１単位区間ごとに生成する尤度ベクトル生成手段とを備え、
    前記区間特徴は、前記第２単位区間に含まれる複数の第１単位区間の尤度ベクトルを用いて生成され、前記サウンド素片それぞれの出現頻度を示す頻度ベクトルである
    ことを特徴とする音声処理装置。
12. 入力されたオーディオ信号の単位区間の特徴を表現する区間特徴を単位区間ごとに計算する特徴計算ステップと、
    複数の単位区間それぞれに対して、当該単位区間を含む区間特徴の類似する複数の単位区間からなる類似区間と他の区間との境界に関する境界情報を計算する境界計算ステップと、
    前記境界情報で示される境界それぞれの優先度を計算し、前記優先度に基づいて、前記境界それぞれがシーン変化点であるか否かを判定する判定ステップと
    を含み、
    前記境界計算ステップでは、前記境界情報として、前記類似区間の始端の時刻または終端の時刻の少なくとも一方を計算し、
    前記単位区間を第２単位区間とし、前記第２単位区間は、複数の連続する第１単位区間からなり、
    さらに、複数種類のサウンド素片それぞれの特徴を表現する確率モデルをあらかじめ記憶するモデル記憶ステップと、
    前記確率モデルを用いて、前記オーディオ信号の前記サウンド素片それぞれに対する尤度を成分とする尤度ベクトルを、前記第１単位区間ごとに生成する尤度ベクトル生成ステップとを含み、
    前記区間特徴は、前記第２単位区間に含まれる複数の第１単位区間の尤度ベクトルを用いて生成され、前記サウンド素片それぞれの出現頻度を示す頻度ベクトルである
    ことを特徴とする音声処理方法。
13. コンピュータ読取可能な非一時的な記録媒体に記録され、オーディオ信号からシーン変化点を検出するシーン変化点検出処理を実行するプログラムであって、
    前記シーン変化点検出処理は、
    入力されたオーディオ信号の単位区間の特徴を表現する区間特徴を単位区間ごとに計算する特徴計算ステップと、
    複数の単位区間それぞれに対して、当該単位区間を含む区間特徴の類似する複数の単位区間からなる類似区間と他の区間との境界に関する境界情報を計算する境界計算ステップと、
    前記境界情報で示される境界それぞれの優先度を計算し、前記優先度に基づいて、前記境界それぞれがシーン変化点であるか否かを判定する判定ステップと
    を含み、
    前記境界計算ステップでは、前記境界情報として、前記類似区間の始端の時刻または終端の時刻の少なくとも一方を計算し、
    前記単位区間を第２単位区間とし、前記第２単位区間は、複数の連続する第１単位区間からなり、
    さらに、複数種類のサウンド素片それぞれの特徴を表現する確率モデルをあらかじめ記憶するモデル記憶ステップと、
    前記確率モデルを用いて、前記オーディオ信号の前記サウンド素片それぞれに対する尤度を成分とする尤度ベクトルを、前記第１単位区間ごとに生成する尤度ベクトル生成ステップとを含み、
    前記区間特徴は、前記第２単位区間に含まれる複数の第１単位区間の尤度ベクトルを用いて生成され、前記サウンド素片それぞれの出現頻度を示す頻度ベクトルである
    ことを特徴とするプログラム。
14. 入力されたオーディオ信号の単位区間の特徴を表現する区間特徴を単位区間ごとに計算する特徴計算部と、
    複数の単位区間それぞれに対して、当該単位区間を含む区間特徴の類似する複数の単位区間からなる類似区間と他の区間との境界に関する境界情報を計算する境界計算部と、
    前記境界情報で示される境界それぞれの優先度を計算し、前記優先度に基づいて、前記境界それぞれがシーン変化点であるか否かを判定する判定部と
    を備え、
    前記境界計算部は、前記境界情報として、前記類似区間の始端の時刻または終端の時刻の少なくとも一方を計算し、
    前記単位区間を第２単位区間とし、前記第２単位区間は、複数の連続する第１単位区間からなり、
    さらに、複数種類のサウンド素片それぞれの特徴を表現する確率モデルをあらかじめ記憶するモデル記憶部と、
    前記確率モデルを用いて、前記オーディオ信号の前記サウンド素片それぞれに対する尤度を成分とする尤度ベクトルを、前記第１単位区間ごとに生成する尤度ベクトル生成部とを備え、
    前記区間特徴は、前記第２単位区間に含まれる複数の第１単位区間の尤度ベクトルを用いて生成され、前記サウンド素片それぞれの出現頻度を示す頻度ベクトルである
    ことを特徴とする集積回路。

Images