JP3983532B2 - 場面抽出装置 - Google Patents
場面抽出装置 Download PDFInfo
- Publication number
- JP3983532B2 JP3983532B2 JP2001371670A JP2001371670A JP3983532B2 JP 3983532 B2 JP3983532 B2 JP 3983532B2 JP 2001371670 A JP2001371670 A JP 2001371670A JP 2001371670 A JP2001371670 A JP 2001371670A JP 3983532 B2 JP3983532 B2 JP 3983532B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- power level
- audio signal
- scene
- short
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、音声データを利用して、重要部分を抽出する装置に係り、詳しくは、音声データの短時間パワーレベルと、そのパワーレベルの分散値の計算結果を用いて、重要部分を抽出してインデックスを生成する場面抽出装置に関する。
【０００２】
【従来の技術】
スポーツの試合やコンサートなどの映像において、観客が盛り上がった場面あるいは感動した場面などの重要場面にほぼリアルタイムで自動的にインデックスが付与できれば、番組連動型データ放送やダイジェスト番組の制作、その後の２次利用の際に大変役に立つ。これまで重要場面に対して自動的にインデックスを付与する技術として、特開２００１−１４３４５１号「自動インデックス発生装置ならびにインデックス付与装置」が提案されている。この提案装置は、イベント会場の音声を利用し、収音された会場全体の音声データのパワーレベルと、周波数解析の処理結果の特徴を組み合わせて自動的にインデックスを生成するようにしている。
【０００３】
【発明が解決しようとする課題】
上述したように、従来の提案装置では、重要場面にインデックスを付与するために、イベント会場で収音された音声データの周波数解析を行う必要がある。一般に、周波数解析にはＦＦＴ（高速フーリエ変換）などが用いられるため、計算処理量が多く、処理が複雑である。そのため、従来の提案装置では、装置が複雑になるという問題があった。また、歓声が上がった部分をほぼリアルタイムに抽出する技術は提案されていない。
【０００４】
本発明は、上記のような問題点に鑑みてなされたもので、その課題とするところは、イベント会場などで収音された音声データに対して周波数解析などの複雑な処理をせずに、ほぼリアルタイムに重要場面を抽出してインデックスを生成することのできる場面抽出装置を提供することである。
【０００５】
【課題を解決するための手段】
上記第一の課題を解決するため、本発明は、請求項１に記載されるように、イベント中に発生する音声信号を用いて該イベント中に起きた所定の場面を抽出する場面抽出装置において、入力された音声信号に基づいて該音声信号のパワーレベル値を解析する音声信号パワー解析手段と、前記音声信号パワー解析手段によって解析された音声信号のパワーレベル値を統計的に解析して音声信号の特徴を抽出する特徴統計解析手段と、前記特徴統計解析手段にて抽出された特徴に対応付けられるインデックスを生成するインデックス生成手段と、前記音声信号パワー解析手段は、連続する入力音声信号を短時間に区切り、短時間ごとの入力音声信号のパワーレベル値を算出する短時間パワーレベル値算出手段と、前記場面抽出装置において、前記特徴統計解析手段は、入力音声信号の短時間パワーレベル値を一定期間入力して２分割し、該分割した一方の期間に含まれる該短時間パワーレベル値を用いて平均値を求め、該平均値より前記分割した他方の期間のパワーレベルにおける所定レベル以上となる短時間パワーレベル値が所定期間継続しているか否かを示す第１の特徴を抽出する第１の特徴抽出手段と、一定期間毎に入力音声信号の短時間パワーレベル値を用いて分散値を計算し、予め定められた閾値以下となる分散値の数が所定数以上あるかないかを示す第２の特徴を抽出する第２の特徴抽出手段を有するように構成される。
【０００６】
このような場面抽出装置では、イベント会場の音声を入力とし、その入力音声信号のパワーレベルと、該パワーレベルを統計的に解析して得られた特徴から、歓声の沸いた重要な部分を検出し、その部分にインデックスを付与して出力される。本発明によれば、音声データを周波数解析して特徴となる部分を抽出する従来と比較して、簡単な統計解析を行うだけで、重要部分の抽出が可能となるので、複雑な処理を必要としない。そのため、ほぼリアルタイムに重要部分を検出してインデックスを付与することができるので、番組連動型データ放送のコンテンツ制作支援やダイジェスト番組の制作支援、また、２次利用の際の検索、イベントの流れを記述する情報（議事録）にも応用することが可能となり、より高度で統合された情報管理を実現することができる。また、算出された短時間パワーレベルから、過去のある一定期間を基に、ある一定レベル以上がある一定時間継続（＝第１の特徴を検出する際の基準）した場合に特徴ありとみなす。このとき、時間の経過とともに第１の特徴を検出する際の基準を得るための過去の一定期間はシフトさせられ、結果としてその基準値が動的に変化する。そのため、常に、更新された基準値を用いることができるので、第１の特徴抽出を精度よく行うことができる。また、算出された短時間パワーレベルのある一定期間の分散値を計算し、ある閾値以下となる該分散値の数が複数存在するときに特徴あり（第２の特徴）とみなすようにしている。
【００１２】
上記第１の特徴と、上記第２の特徴が同時に出現したときに、その部分を歓声の沸いた重要部分としてインデックスを付与することができるという観点から、本発明は、請求項２に記載されるように、前記場面抽出装置において、前記インデックス生成手段は、上記第１の特徴抽出手段で抽出された第１の特徴と、上記第２の特徴抽出手段で抽出された第２の特徴とを組み合わせてインデックスを生成するように構成される。
【００１３】
また、第１の特徴を抽出する際の基準設定は、請求項３に記載されるように、
前記場面抽出装置において、入力音声信号の短時間パワーレベル値を一定期間入力する際の該一定期間を設定する一定期間設定手段と、該一定期間を所定の比率で２分割する分割手段と、上記第１の特徴を抽出する際の基準となる上記所定レベルと、上記所定期間を設定する第１特徴抽出基準設定手段とを有するように構成される。
【００１４】
さらに、第２の特徴を抽出する際の基準設定は、請求項４に記載されるように、前記場面抽出装置において、上記第２の特徴を抽出する際の基準となる上記閾値と、上記所定数を設定する第２特徴抽出基準設定手段を有するように構成される。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１６】
図１は、本発明の場面抽出装置が適用されるシステムの一例を示す図である。
【００１７】
このシステムは、スタジアム側に設置され観客の音声をピックアップするマイク１００、本発明に係る場面抽出装置２００と、該場面抽出装置２００からの出力情報を利用してデータ放送を制作するデータ放送制作ＢＭＬ発生装置３００、該出力情報をメタ情報としてコンテンツに多重するメタデータ付き映音収録装置４００、該出力情報を表示するディスプレイ部５００とから構成される。
【００１８】
図２は、上記場面抽出装置２００の機能ブロックの構成例を示す図である。
【００１９】
この場面抽出装置２００は、音声データ入力部１と、音声パワー解析部２と、特徴抽出部Ａ３と、特徴抽出部Ｂ４と、インデックス生成・出力部５と、指示入力部６とを具備して構成される。
【００２０】
以下では、スポーツイベントとしてサッカーを中継放送する場合を例にとり、本発明の場面抽出装置１００の動作について説明する。
【００２１】
図２において、まず、サッカースタジアムのスタンド上部に設置されたマイク１００で収音された会場全体の音声である音声データ（マイクからの音声信号はディジタル信号処理されるため、本例では「音声データ」という）が音声データ入力部１に入力される。この音声データ入力部１には、バッファが備えられ、次段の音声パワー解析部２で解析する際に必要なまとまった音声データを保持するとともに、その保持した音声データを音声パワー解析部２に出力できるようになっている。
【００２２】
音声パワー解析部２は、音声データ入力部１から入力された音声データ（約５０ｍｓ分：サンプリング・ビット１６ｂｉｔ、サンプリング周波数１１ＫＨｚで５１２ポイント）の短時間パワー値を下記の（１）式に従って計算し、計算結果を蓄積バッファに蓄積する。
【００２３】
【数１】
Ｎ：ポイント数
ＭＡＸ：振幅最大値
ｐｎ：音声データの振幅値
本例の場合、上記ＭＡＸを３２７６８（２１６）、Ｎを５１２とする。
【００２４】
上記のようにして蓄積バッファに蓄積された短時間パワー値の計算結果は、時系列データとして特徴抽出部Ａ３、特徴抽出部Ｂ４にそれぞれ送られる。特徴抽出部Ａ３では、音声パワー解析部２からの短時間パワー値（時系列データ）が入力されると、この時系列データの前半部分から基準となる短時間パワー値の平均値を求め、残りの後半部分のデータについては、該平均値を基に、ある一定レベル以上の短時間パワー値が、ある一定期間以上あるかどうかを検索する。図３は、この検索を説明するための図（＝特徴抽出部Ａの動作を示す図）であり、横軸に時間ｔ、縦軸に５０ｍｓ毎の短時間パワー値ｄＢを示したものである。同図では、短時間パワー値の平均を求める前半部分（図２の▲１▼）を７５０ｍｓ、該前半部分で求めた短時間パワーの平均値よりある一定レベル以上がある一定期間継続しているかどうかを検索するための検索窓を２０００ｍｓ（＝後半部分（図２の▲２▼））、該ある一定レベルを３ｄＢ（求めたパワー平均値とのレベル差（図２の▲３▼））と想定した場合に、後半部分内にある一定レベル以上のパワー値が１０００ｍｓ〜１２５０ｍｓ（▲４▼）継続したことを示しており、例えば、本発明では、このようにして検出された継続区間（１０００ｍｓ〜１２５０ｍｓ）を重要部分とみなす。上記▲１▼〜▲３▼のパラメータは、指示入力部６から予め与えられ、そのパラメータ値の決定に際しては、例えば、実験結果に基づいて決定することができる。本例の場合、実験などで予め歓声部分に統計処理を施した値を用いている。
【００２５】
特徴抽出部Ａ３にて上記のような重要部分の候補の一つが検出されると、その旨を示す信号（例えば、重要部分の候補のあり、なしに対応付けられた１、０のフラグなど）をインデックス生成・出力部５に出力する。
【００２６】
音声パワー解析部２で解析された短時間パワー値は、特徴抽出部Ａ３の他に特徴抽出部Ｂ４にも入力される。特徴抽出部Ｂ４では、時系列で入力された短時間パワー値の分散値を下記の（２）式に従って計算し、その値がある閾値（条件Ａ）以下で複数（条件Ｂ）含まれているときに、前述した特徴抽出部Ａと同様な出力（例えば、上記条件Ａ及び条件Ｂの条件を満たしたか否かに対応付けられた１、０のフラグ）をインデックス生成・出力部５に出力する。
【００２７】
【数２】
Ｘｎ：短時間パワー値
Ｎｐ：短時間パワー値の数
ａｖｅ：平均値
本例の場合、上記Ｎｐを１０と仮定する。また、上記条件Ａ、条件Ｂのパラメータは指示入力部６から予め設定され、これらの条件値については、例えば、実験結果に基づいて決定することができる。本例では、実験結果より、分散値が０．３以下（条件Ａ）で２つ以上（条件Ｂ）検出されたときを、信憑性のある基準値とみなすようにしている。
【００２８】
インデックス生成・出力部５では、それぞれの特徴抽出部Ａ、Ｂから出力されたフラグ信号の論理積をとり、両者の出力が「１」を示す信号であるときに限って、その部分を重要部分とみなして時刻等の情報と組み合わせてインデックスを作成し、外部へ出力する。インデックスの作成方法等は、指示入力部６から指示することができるようになっている。
【００２９】
図４は、インデックス生成・出力部６で生成されたインデックスの一例を示す図である。同図では、ある時間軸ｔにそって、時刻ＩＮ点（歓声大の検出開始時刻）、時刻ＯＵＴ点（歓声大の検出終了時刻）、盛り上がりを示すタグ（歓声大）というインデックスが付与されていく様子が示される。例えば、同図▲１▼のインデックスは、試合開始後、３分５７秒〜４分０５秒間、観客が盛り上がった（歓声大）ことを示す。同図▲２▼〜▲４▼も該▲１▼と同様である。
【００３０】
このインデックス生成・出力部５から出力されたインデックスは、ディスプレイ５００部に入力され、該ディスプレイ部５００によって、試合が始まって何分何秒あたりに盛り上がった部分があったかということをオペレータに表示することができる。
【００３１】
また、インデックス生成・出力部５で生成されるインデックスは、ほぼリアルタイムで生成されるため、試合会場で現在の出力の様子をモニターすることができる。
【００３２】
さらに、データ放送制作ＢＭＬ発生装置３００があれば、映像蓄積型受信機向けのコンテンツとして、盛り上がった部分などのタイムコード（映像の絶対時間を表すディジタルデータ）をＢＭＬ（Broadcasting Markup Language）に埋め込むことによって、その部分の別再生を実現することができるので、視聴者により魅力的なサービスを提供することができるようになる。
【００３３】
また、さらに、メタデータを一緒に記録していくような映像・音声記憶装置があれば４００、その入力に本発明で生成されたインデックスを利用することで、２次利用の際の映像検索などに役立てることが可能である。
【００３４】
図５は、本発明の場面抽出装置を適用して番組連動型データ放送用のコンテンツを作成する例を示す図であり、リアルタイムに番組連動型データ放送用のコンテンツを制作する例である。
【００３５】
番組制作者は、インデックス生成・出力部５から出力されたインデックス（▲１▼〜▲４▼）を見ながら番組ハイライトとして利用する映像素材を取捨選択（▲５▼）する。本例では、制作者によってインデックス▲１▼、▲３▼、▲４▼が選択されたものとする。このようにして選択されたインデックスは、蓄積型受信機対応データ放送コンテンツ制作装置の表示部に表示（▲６▼〜▲８▼）され、制作者は、その表示をクリックすることでその場面の映像が瞬時に見られるようになっている。例えば、▲６▼をクリックすると、試合開始後約４分のときに盛り上がった映像を見ることができる。
【００３６】
このように番組連動型データ放送コンテンツ制作装置では、試合中に発生した観客をわかせるようなイベント（重要部分）の候補が自動的に提示され、不必要な部分は番組制作者が指定して落とすことにより最終的なコンテンツとなる。その結果、従来のような番組制作者がずっと試合を見ていて「ここからここまで」といようなイン点、アウト点を逐次マーキングするという操作をしなくて済むようになるので、番組制作の効率を大幅に向上させることができる。
【００３７】
これまでの説明は、スポーツイベントとしてサッカーを例にとり説明してきたが、本発明の対象はこれに限らず、例えば、アメリカンフットボール、バスケットボールなど他のスポーツ、また、多くの観衆が存在するスポーツ以外のイベント、例えば、コンサートやサーカスなどにも適用可能である。
【００３８】
上記例において、場面抽出装置２００の音声パワー解析部２の音声パワー解析機能が音声信号パワー解析手段、短時間パワーレベル値算出手段に、特徴抽出部Ａ３および特徴抽出部Ｂ４の特徴検出機能が特徴統計解析手段に、インデックス生成・出力部５のインデックス生成機能がインデックス生成手段に対応する。
また、特徴抽出部Ａ３の第１の特徴抽出機能が第１の特徴抽出手段に、特徴抽出部Ｂ３の第２の特徴抽出機能が第２の特徴抽出手段に対応する。さらに、指示入力部６の指示機能が一定期間設定手段、分割手段、第１特徴抽出基準設定手段、第２特徴抽出基準設定手段に対応する。
【００３９】
【発明の効果】
以上、説明したように、請求項１乃至７記載の本願発明によればこのような場面抽出装置では、イベント会場の音声を入力とし、その入力音声信号のパワーレベルと、該パワーレベルを統計的に解析して得られた特徴から、歓声の沸いた重要な部分を検出し、その部分にインデックスを付与して出力される。本発明によれば、音声データを周波数解析して特徴となる部分を抽出する従来と比較して、簡単な統計解析を行うだけで、重要部分の抽出が可能となるので、複雑な処理を必要としない。そのため、ほぼリアルタイムに重要部分を検出してインデックスを付与することができるので、番組連動型データ放送のコンテンツ制作支援やダイジェスト番組の制作支援、また、２次利用の際の検索、イベントの流れを記述する情報（議事録）にも応用することが可能となり、より高度で統合された情報管理を実現することができる。
【図面の簡単な説明】
【図１】本発明の場面抽出装置が適用されるシステムの一例を示す図である。
【図２】本発明に係る場面抽出装置の機能ブロックの構成例を示す図である。
【図３】特徴抽出部Ａの動作を示す図である。
【図４】インデックス生成・出力部で生成されたインデックスの一例を示す図である。
【図５】本発明の場面抽出装置を適用して番組連動型データ放送用のコンテンツを作成する例を示す図である。
【符号の説明】
１ 音声データ入力部
２ 音声パワー解析部
３ 特徴抽出部Ａ
４ 特徴抽出部Ｂ
５ インデックス生成・出力部
６ 指示入力部
１００ マイク
２００ 場面抽出装置
３００ データ放送制作ＢＭＬ発生装置
４００ メタデータ付き映音収録装置
５００ ディスプレイ部
【発明の属する技術分野】
本発明は、音声データを利用して、重要部分を抽出する装置に係り、詳しくは、音声データの短時間パワーレベルと、そのパワーレベルの分散値の計算結果を用いて、重要部分を抽出してインデックスを生成する場面抽出装置に関する。
【０００２】
【従来の技術】
スポーツの試合やコンサートなどの映像において、観客が盛り上がった場面あるいは感動した場面などの重要場面にほぼリアルタイムで自動的にインデックスが付与できれば、番組連動型データ放送やダイジェスト番組の制作、その後の２次利用の際に大変役に立つ。これまで重要場面に対して自動的にインデックスを付与する技術として、特開２００１−１４３４５１号「自動インデックス発生装置ならびにインデックス付与装置」が提案されている。この提案装置は、イベント会場の音声を利用し、収音された会場全体の音声データのパワーレベルと、周波数解析の処理結果の特徴を組み合わせて自動的にインデックスを生成するようにしている。
【０００３】
【発明が解決しようとする課題】
上述したように、従来の提案装置では、重要場面にインデックスを付与するために、イベント会場で収音された音声データの周波数解析を行う必要がある。一般に、周波数解析にはＦＦＴ（高速フーリエ変換）などが用いられるため、計算処理量が多く、処理が複雑である。そのため、従来の提案装置では、装置が複雑になるという問題があった。また、歓声が上がった部分をほぼリアルタイムに抽出する技術は提案されていない。
【０００４】
本発明は、上記のような問題点に鑑みてなされたもので、その課題とするところは、イベント会場などで収音された音声データに対して周波数解析などの複雑な処理をせずに、ほぼリアルタイムに重要場面を抽出してインデックスを生成することのできる場面抽出装置を提供することである。
【０００５】
【課題を解決するための手段】
上記第一の課題を解決するため、本発明は、請求項１に記載されるように、イベント中に発生する音声信号を用いて該イベント中に起きた所定の場面を抽出する場面抽出装置において、入力された音声信号に基づいて該音声信号のパワーレベル値を解析する音声信号パワー解析手段と、前記音声信号パワー解析手段によって解析された音声信号のパワーレベル値を統計的に解析して音声信号の特徴を抽出する特徴統計解析手段と、前記特徴統計解析手段にて抽出された特徴に対応付けられるインデックスを生成するインデックス生成手段と、前記音声信号パワー解析手段は、連続する入力音声信号を短時間に区切り、短時間ごとの入力音声信号のパワーレベル値を算出する短時間パワーレベル値算出手段と、前記場面抽出装置において、前記特徴統計解析手段は、入力音声信号の短時間パワーレベル値を一定期間入力して２分割し、該分割した一方の期間に含まれる該短時間パワーレベル値を用いて平均値を求め、該平均値より前記分割した他方の期間のパワーレベルにおける所定レベル以上となる短時間パワーレベル値が所定期間継続しているか否かを示す第１の特徴を抽出する第１の特徴抽出手段と、一定期間毎に入力音声信号の短時間パワーレベル値を用いて分散値を計算し、予め定められた閾値以下となる分散値の数が所定数以上あるかないかを示す第２の特徴を抽出する第２の特徴抽出手段を有するように構成される。
【０００６】
このような場面抽出装置では、イベント会場の音声を入力とし、その入力音声信号のパワーレベルと、該パワーレベルを統計的に解析して得られた特徴から、歓声の沸いた重要な部分を検出し、その部分にインデックスを付与して出力される。本発明によれば、音声データを周波数解析して特徴となる部分を抽出する従来と比較して、簡単な統計解析を行うだけで、重要部分の抽出が可能となるので、複雑な処理を必要としない。そのため、ほぼリアルタイムに重要部分を検出してインデックスを付与することができるので、番組連動型データ放送のコンテンツ制作支援やダイジェスト番組の制作支援、また、２次利用の際の検索、イベントの流れを記述する情報（議事録）にも応用することが可能となり、より高度で統合された情報管理を実現することができる。また、算出された短時間パワーレベルから、過去のある一定期間を基に、ある一定レベル以上がある一定時間継続（＝第１の特徴を検出する際の基準）した場合に特徴ありとみなす。このとき、時間の経過とともに第１の特徴を検出する際の基準を得るための過去の一定期間はシフトさせられ、結果としてその基準値が動的に変化する。そのため、常に、更新された基準値を用いることができるので、第１の特徴抽出を精度よく行うことができる。また、算出された短時間パワーレベルのある一定期間の分散値を計算し、ある閾値以下となる該分散値の数が複数存在するときに特徴あり（第２の特徴）とみなすようにしている。
【００１２】
上記第１の特徴と、上記第２の特徴が同時に出現したときに、その部分を歓声の沸いた重要部分としてインデックスを付与することができるという観点から、本発明は、請求項２に記載されるように、前記場面抽出装置において、前記インデックス生成手段は、上記第１の特徴抽出手段で抽出された第１の特徴と、上記第２の特徴抽出手段で抽出された第２の特徴とを組み合わせてインデックスを生成するように構成される。
【００１３】
また、第１の特徴を抽出する際の基準設定は、請求項３に記載されるように、
前記場面抽出装置において、入力音声信号の短時間パワーレベル値を一定期間入力する際の該一定期間を設定する一定期間設定手段と、該一定期間を所定の比率で２分割する分割手段と、上記第１の特徴を抽出する際の基準となる上記所定レベルと、上記所定期間を設定する第１特徴抽出基準設定手段とを有するように構成される。
【００１４】
さらに、第２の特徴を抽出する際の基準設定は、請求項４に記載されるように、前記場面抽出装置において、上記第２の特徴を抽出する際の基準となる上記閾値と、上記所定数を設定する第２特徴抽出基準設定手段を有するように構成される。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１６】
図１は、本発明の場面抽出装置が適用されるシステムの一例を示す図である。
【００１７】
このシステムは、スタジアム側に設置され観客の音声をピックアップするマイク１００、本発明に係る場面抽出装置２００と、該場面抽出装置２００からの出力情報を利用してデータ放送を制作するデータ放送制作ＢＭＬ発生装置３００、該出力情報をメタ情報としてコンテンツに多重するメタデータ付き映音収録装置４００、該出力情報を表示するディスプレイ部５００とから構成される。
【００１８】
図２は、上記場面抽出装置２００の機能ブロックの構成例を示す図である。
【００１９】
この場面抽出装置２００は、音声データ入力部１と、音声パワー解析部２と、特徴抽出部Ａ３と、特徴抽出部Ｂ４と、インデックス生成・出力部５と、指示入力部６とを具備して構成される。
【００２０】
以下では、スポーツイベントとしてサッカーを中継放送する場合を例にとり、本発明の場面抽出装置１００の動作について説明する。
【００２１】
図２において、まず、サッカースタジアムのスタンド上部に設置されたマイク１００で収音された会場全体の音声である音声データ（マイクからの音声信号はディジタル信号処理されるため、本例では「音声データ」という）が音声データ入力部１に入力される。この音声データ入力部１には、バッファが備えられ、次段の音声パワー解析部２で解析する際に必要なまとまった音声データを保持するとともに、その保持した音声データを音声パワー解析部２に出力できるようになっている。
【００２２】
音声パワー解析部２は、音声データ入力部１から入力された音声データ（約５０ｍｓ分：サンプリング・ビット１６ｂｉｔ、サンプリング周波数１１ＫＨｚで５１２ポイント）の短時間パワー値を下記の（１）式に従って計算し、計算結果を蓄積バッファに蓄積する。
【００２３】
【数１】
ＭＡＸ：振幅最大値
ｐｎ：音声データの振幅値
本例の場合、上記ＭＡＸを３２７６８（２１６）、Ｎを５１２とする。
【００２４】
上記のようにして蓄積バッファに蓄積された短時間パワー値の計算結果は、時系列データとして特徴抽出部Ａ３、特徴抽出部Ｂ４にそれぞれ送られる。特徴抽出部Ａ３では、音声パワー解析部２からの短時間パワー値（時系列データ）が入力されると、この時系列データの前半部分から基準となる短時間パワー値の平均値を求め、残りの後半部分のデータについては、該平均値を基に、ある一定レベル以上の短時間パワー値が、ある一定期間以上あるかどうかを検索する。図３は、この検索を説明するための図（＝特徴抽出部Ａの動作を示す図）であり、横軸に時間ｔ、縦軸に５０ｍｓ毎の短時間パワー値ｄＢを示したものである。同図では、短時間パワー値の平均を求める前半部分（図２の▲１▼）を７５０ｍｓ、該前半部分で求めた短時間パワーの平均値よりある一定レベル以上がある一定期間継続しているかどうかを検索するための検索窓を２０００ｍｓ（＝後半部分（図２の▲２▼））、該ある一定レベルを３ｄＢ（求めたパワー平均値とのレベル差（図２の▲３▼））と想定した場合に、後半部分内にある一定レベル以上のパワー値が１０００ｍｓ〜１２５０ｍｓ（▲４▼）継続したことを示しており、例えば、本発明では、このようにして検出された継続区間（１０００ｍｓ〜１２５０ｍｓ）を重要部分とみなす。上記▲１▼〜▲３▼のパラメータは、指示入力部６から予め与えられ、そのパラメータ値の決定に際しては、例えば、実験結果に基づいて決定することができる。本例の場合、実験などで予め歓声部分に統計処理を施した値を用いている。
【００２５】
特徴抽出部Ａ３にて上記のような重要部分の候補の一つが検出されると、その旨を示す信号（例えば、重要部分の候補のあり、なしに対応付けられた１、０のフラグなど）をインデックス生成・出力部５に出力する。
【００２６】
音声パワー解析部２で解析された短時間パワー値は、特徴抽出部Ａ３の他に特徴抽出部Ｂ４にも入力される。特徴抽出部Ｂ４では、時系列で入力された短時間パワー値の分散値を下記の（２）式に従って計算し、その値がある閾値（条件Ａ）以下で複数（条件Ｂ）含まれているときに、前述した特徴抽出部Ａと同様な出力（例えば、上記条件Ａ及び条件Ｂの条件を満たしたか否かに対応付けられた１、０のフラグ）をインデックス生成・出力部５に出力する。
【００２７】
【数２】
Ｎｐ：短時間パワー値の数
ａｖｅ：平均値
本例の場合、上記Ｎｐを１０と仮定する。また、上記条件Ａ、条件Ｂのパラメータは指示入力部６から予め設定され、これらの条件値については、例えば、実験結果に基づいて決定することができる。本例では、実験結果より、分散値が０．３以下（条件Ａ）で２つ以上（条件Ｂ）検出されたときを、信憑性のある基準値とみなすようにしている。
【００２８】
インデックス生成・出力部５では、それぞれの特徴抽出部Ａ、Ｂから出力されたフラグ信号の論理積をとり、両者の出力が「１」を示す信号であるときに限って、その部分を重要部分とみなして時刻等の情報と組み合わせてインデックスを作成し、外部へ出力する。インデックスの作成方法等は、指示入力部６から指示することができるようになっている。
【００２９】
図４は、インデックス生成・出力部６で生成されたインデックスの一例を示す図である。同図では、ある時間軸ｔにそって、時刻ＩＮ点（歓声大の検出開始時刻）、時刻ＯＵＴ点（歓声大の検出終了時刻）、盛り上がりを示すタグ（歓声大）というインデックスが付与されていく様子が示される。例えば、同図▲１▼のインデックスは、試合開始後、３分５７秒〜４分０５秒間、観客が盛り上がった（歓声大）ことを示す。同図▲２▼〜▲４▼も該▲１▼と同様である。
【００３０】
このインデックス生成・出力部５から出力されたインデックスは、ディスプレイ５００部に入力され、該ディスプレイ部５００によって、試合が始まって何分何秒あたりに盛り上がった部分があったかということをオペレータに表示することができる。
【００３１】
また、インデックス生成・出力部５で生成されるインデックスは、ほぼリアルタイムで生成されるため、試合会場で現在の出力の様子をモニターすることができる。
【００３２】
さらに、データ放送制作ＢＭＬ発生装置３００があれば、映像蓄積型受信機向けのコンテンツとして、盛り上がった部分などのタイムコード（映像の絶対時間を表すディジタルデータ）をＢＭＬ（Broadcasting Markup Language）に埋め込むことによって、その部分の別再生を実現することができるので、視聴者により魅力的なサービスを提供することができるようになる。
【００３３】
また、さらに、メタデータを一緒に記録していくような映像・音声記憶装置があれば４００、その入力に本発明で生成されたインデックスを利用することで、２次利用の際の映像検索などに役立てることが可能である。
【００３４】
図５は、本発明の場面抽出装置を適用して番組連動型データ放送用のコンテンツを作成する例を示す図であり、リアルタイムに番組連動型データ放送用のコンテンツを制作する例である。
【００３５】
番組制作者は、インデックス生成・出力部５から出力されたインデックス（▲１▼〜▲４▼）を見ながら番組ハイライトとして利用する映像素材を取捨選択（▲５▼）する。本例では、制作者によってインデックス▲１▼、▲３▼、▲４▼が選択されたものとする。このようにして選択されたインデックスは、蓄積型受信機対応データ放送コンテンツ制作装置の表示部に表示（▲６▼〜▲８▼）され、制作者は、その表示をクリックすることでその場面の映像が瞬時に見られるようになっている。例えば、▲６▼をクリックすると、試合開始後約４分のときに盛り上がった映像を見ることができる。
【００３６】
このように番組連動型データ放送コンテンツ制作装置では、試合中に発生した観客をわかせるようなイベント（重要部分）の候補が自動的に提示され、不必要な部分は番組制作者が指定して落とすことにより最終的なコンテンツとなる。その結果、従来のような番組制作者がずっと試合を見ていて「ここからここまで」といようなイン点、アウト点を逐次マーキングするという操作をしなくて済むようになるので、番組制作の効率を大幅に向上させることができる。
【００３７】
これまでの説明は、スポーツイベントとしてサッカーを例にとり説明してきたが、本発明の対象はこれに限らず、例えば、アメリカンフットボール、バスケットボールなど他のスポーツ、また、多くの観衆が存在するスポーツ以外のイベント、例えば、コンサートやサーカスなどにも適用可能である。
【００３８】
上記例において、場面抽出装置２００の音声パワー解析部２の音声パワー解析機能が音声信号パワー解析手段、短時間パワーレベル値算出手段に、特徴抽出部Ａ３および特徴抽出部Ｂ４の特徴検出機能が特徴統計解析手段に、インデックス生成・出力部５のインデックス生成機能がインデックス生成手段に対応する。
また、特徴抽出部Ａ３の第１の特徴抽出機能が第１の特徴抽出手段に、特徴抽出部Ｂ３の第２の特徴抽出機能が第２の特徴抽出手段に対応する。さらに、指示入力部６の指示機能が一定期間設定手段、分割手段、第１特徴抽出基準設定手段、第２特徴抽出基準設定手段に対応する。
【００３９】
【発明の効果】
以上、説明したように、請求項１乃至７記載の本願発明によればこのような場面抽出装置では、イベント会場の音声を入力とし、その入力音声信号のパワーレベルと、該パワーレベルを統計的に解析して得られた特徴から、歓声の沸いた重要な部分を検出し、その部分にインデックスを付与して出力される。本発明によれば、音声データを周波数解析して特徴となる部分を抽出する従来と比較して、簡単な統計解析を行うだけで、重要部分の抽出が可能となるので、複雑な処理を必要としない。そのため、ほぼリアルタイムに重要部分を検出してインデックスを付与することができるので、番組連動型データ放送のコンテンツ制作支援やダイジェスト番組の制作支援、また、２次利用の際の検索、イベントの流れを記述する情報（議事録）にも応用することが可能となり、より高度で統合された情報管理を実現することができる。
【図面の簡単な説明】
【図１】本発明の場面抽出装置が適用されるシステムの一例を示す図である。
【図２】本発明に係る場面抽出装置の機能ブロックの構成例を示す図である。
【図３】特徴抽出部Ａの動作を示す図である。
【図４】インデックス生成・出力部で生成されたインデックスの一例を示す図である。
【図５】本発明の場面抽出装置を適用して番組連動型データ放送用のコンテンツを作成する例を示す図である。
【符号の説明】
１ 音声データ入力部
２ 音声パワー解析部
３ 特徴抽出部Ａ
４ 特徴抽出部Ｂ
５ インデックス生成・出力部
６ 指示入力部
１００ マイク
２００ 場面抽出装置
３００ データ放送制作ＢＭＬ発生装置
４００ メタデータ付き映音収録装置
５００ ディスプレイ部
Claims (4)
- イベント中に発生する音声信号を用いて該イベント中に起きた所定の場面を抽出する場面抽出装置において、
入力された音声信号に基づいて該音声信号のパワーレベル値を解析する音声信号パワー解析手段と、
前記音声信号パワー解析手段によって解析された音声信号のパワーレベル値を統計的に解析して音声信号の特徴を抽出する特徴統計解析手段と、
前記特徴統計解析手段にて抽出された特徴に対応付けられるインデックスを生成するインデックス生成手段と、
前記音声信号パワー解析手段は、連続する入力音声信号を短時間に区切り、短時間ごとの入力音声信号のパワーレベル値を算出する短時間パワーレベル値算出手段と、
前記特徴統計解析手段は、入力音声信号の短時間パワーレベル値を一定期間入力して２分割し、該分割した一方の期間に含まれる該短時間パワーレベル値を用いて平均値を求め、該平均値より前記分割した他方の期間のパワーレベルにおける所定レベル以上となる短時間パワーレベル値が所定期間継続しているか否かを示す第１の特徴を抽出する第１の特徴抽出手段と、
一定期間毎に入力音声信号の短時間パワーレベル値を用いて分散値を計算し、予め定められた閾値以下となる分散値の数が所定数以上あるかないかを示す第２の特徴を抽出する第２の特徴抽出手段を有することを特徴とする場面抽出装置。 - 請求項１記載の場面抽出装置において、
前記インデックス生成手段は、上記第１の特徴抽出手段で抽出された第１の特徴と、上記第２の特徴抽出手段で抽出された第２の特徴とを組み合わせてインデックスを生成することを特徴とする場面抽出装置。 - 請求項１記載の場面抽出装置において、
入力音声信号の短時間パワーレベル値を一定期間入力する際の該一定期間を設定する一定期間設定手段と、
該一定期間を所定の比率で２分割する分割手段と、
上記第１の特徴を抽出する際の基準となる上記所定レベルと、上記所定期間を設定する第１特徴抽出基準設定手段とを有することを特徴とする場面抽出装置。 - 請求項１記載の場面抽出装置において、
上記第２の特徴を抽出する際の基準となる上記閾値と、上記所定数を設定する第２特徴抽出基準設定手段を有することを特徴とする場面抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001371670A JP3983532B2 (ja) | 2001-12-05 | 2001-12-05 | 場面抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001371670A JP3983532B2 (ja) | 2001-12-05 | 2001-12-05 | 場面抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003173199A JP2003173199A (ja) | 2003-06-20 |
| JP3983532B2 true JP3983532B2 (ja) | 2007-09-26 |
Family
ID=19180683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001371670A Expired - Fee Related JP3983532B2 (ja) | 2001-12-05 | 2001-12-05 | 場面抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3983532B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2150046A1 (en) | 2008-07-31 | 2010-02-03 | Fujitsu Limited | Video reproducing device and video reproducing method |
| EP2150040A1 (en) | 2008-07-31 | 2010-02-03 | Fujitsu Limited | Video reproducing device and video reproducing method |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4981122B2 (ja) * | 2006-03-21 | 2012-07-18 | フランス・テレコム | 抑制されたベクトル量子化 |
| JP5050445B2 (ja) * | 2006-08-11 | 2012-10-17 | カシオ計算機株式会社 | 動画再生装置及び動画再生方法 |
| WO2013005256A1 (ja) * | 2011-07-06 | 2013-01-10 | パイオニア株式会社 | 聴衆の反応を記録する装置 |
| CN112182301A (zh) | 2020-09-30 | 2021-01-05 | 北京百度网讯科技有限公司 | 用于提取视频片段的方法和装置 |
-
2001
- 2001-12-05 JP JP2001371670A patent/JP3983532B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2150046A1 (en) | 2008-07-31 | 2010-02-03 | Fujitsu Limited | Video reproducing device and video reproducing method |
| EP2150040A1 (en) | 2008-07-31 | 2010-02-03 | Fujitsu Limited | Video reproducing device and video reproducing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003173199A (ja) | 2003-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7941031B2 (en) | Video processing apparatus, IC circuit for video processing apparatus, video processing method, and video processing program | |
| US9203538B2 (en) | Broadcast source identification based on matching broadcast signal fingerprints | |
| US7064796B2 (en) | Method and system for re-identifying broadcast segments using statistical profiles | |
| US11394478B2 (en) | Cloud callout identification of unknown broadcast signatures based on previously recorded broadcast signatures | |
| JP6216045B2 (ja) | フィンガープリントに基づく広告検出方法、広告検出システム及びプログラム | |
| US9374183B2 (en) | Broadcast source identification based on matching via bit count | |
| KR100792261B1 (ko) | 토픽 기반의 비디오 관리 시스템 및 방법과 비디오 검색방법 | |
| JP4692775B2 (ja) | 映像コンテンツ再生支援方法、映像コンテンツ再生支援システム、及び情報配信プログラム | |
| JP3891111B2 (ja) | 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム | |
| CN1719909A (zh) | 一种测量音视频内容变化的方法 | |
| CN1636240A (zh) | 利用音频内容标识来销售产品的系统 | |
| JP2003511934A (ja) | コマーシャル及び他のビデオコンテンツの標識に基づく自動的突き止め、習得及び抽出 | |
| KR20080075896A (ko) | 매스 미디어를 위한 사회적 및 상호작용 애플리케이션 | |
| JP2005210234A (ja) | 映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラム | |
| JP2002140712A (ja) | Ａｖ信号処理装置および方法、プログラム、並びに記録媒体 | |
| CN105788610B (zh) | 音频处理方法及装置 | |
| US20100259688A1 (en) | method of determining a starting point of a semantic unit in an audiovisual signal | |
| CN110691271A (zh) | 一种新闻视频生成方法、系统、装置和存储介质 | |
| JP3983532B2 (ja) | 場面抽出装置 | |
| JP2002149672A (ja) | Ａｖコンテンツ自動要約システム及びａｖコンテンツ自動要約方式 | |
| JP4019945B2 (ja) | 要約生成装置及び要約生成方法並びに要約生成プログラム及びそのプログラムを記録した記録媒体 | |
| JPWO2011161820A1 (ja) | 映像処理装置、映像処理方法及び映像処理プログラム | |
| JP5559128B2 (ja) | 装置、方法及びプログラム | |
| JP2010081531A (ja) | 映像処理装置及びその方法 | |
| Li et al. | Bridging the semantic gap in sports |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040405 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070704 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |