JP3891111B2 - 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム - Google Patents
音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム Download PDFInfo
- Publication number
- JP3891111B2 JP3891111B2 JP2002361302A JP2002361302A JP3891111B2 JP 3891111 B2 JP3891111 B2 JP 3891111B2 JP 2002361302 A JP2002361302 A JP 2002361302A JP 2002361302 A JP2002361302 A JP 2002361302A JP 3891111 B2 JP3891111 B2 JP 3891111B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate section
- acoustic signal
- short
- sound quality
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 43
- 238000000034 method Methods 0.000 title claims description 32
- 238000001228 spectrum Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 26
- 238000011156 evaluation Methods 0.000 claims description 25
- 238000003780 insertion Methods 0.000 claims description 19
- 230000037431 insertion Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims 1
- 230000005236 sound signal Effects 0.000 description 15
- 230000000630 rising effect Effects 0.000 description 11
- 238000012850 discrimination method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、イベント等における音響信号の特徴部分に対応するインデックスを生成する音響信号処理装置及びその方法、映像信号及び／又は音響信号の記録時にそのインデックスを付与し、スキップ再生や要約再生を可能とする信号記録装置及びその方法、並びにそのような音響信号処理又は信号記録処理をコンピュータに実行させるプログラムに関する。
【０００２】
【従来の技術】
放送信号や、それが録画／録音された映像／音響信号から重要なシーンを自動的に検出してインデックスを付与したり、要約映像を作成したりすることは、その内容を容易に把握したり、必要な部分を高速に検索するために有用である。例えば、スポーツイベント等の映像の場合、盛り上がった部分で自動的にインデックスを発生させ、そのインデックスを映像／音響信号に多重するなどして付与することができれば、その映像についてのダイジェスト版の作成や、２次利用の際の特定のシーンの検索が容易に可能となる。
【０００３】
このような理由から、下記の特許文献１には、全周波数帯域のパワーレベルと、特定の周波数成分のパワーレベルの大小との組み合わせにより、スポーツ等のイベントの盛り上がり部分を自動的に検出し、インデックスとして付与する技術が提案されている。この技術では、観客が盛り上がった音を検出するため、多くのイベントに汎用的に適用でき、イベントの進行上重要な箇所を自動的に検出することができる。
【０００４】
【特許文献１】
特開２００１−１４３４５１号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１に記載の技術では、例えばスペクトルの形状といった音質的な要因が評価されないため、原理的に検出精度が低く、特定の周波数に他の音が混入する場合には適用することができないという問題がある。
【０００６】
したがって、この技術は、イベント会場において放送局等のプロフェッショナルが録音した、他の信号がミキシングされていない音響信号にしか適用することができず、アナウンスや解説、コマーシャルメッセージ等の挿入音声が加わった音響信号、例えば放送信号には適用することができない。また、観客など、アマチュアが独自に録音する場合にも、会話音声等が重畳するため、適用は困難である。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、イベント等における音響信号から盛り上がり部分を高精度に検出し、その盛り上がり部分に対応するインデックスを生成する音響信号処理装置及びその方法、映像信号及び／又は音響信号の記録時に盛り上がり部分に対してインデックスを付与し、スキップ再生や要約再生を可能とする信号記録装置及びその方法、並びにそのような音響信号処理又は信号記録処理をコンピュータに実行させるプログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る音響信号処理装置及びその方法は、例えばイベント中に発生する音響信号における特徴部分を検出する際に、上記音響信号の所定時間区間毎に短時間振幅を計算し、この短時間振幅に基づいて上記特徴部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する。
【０００９】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る音響信号処理装置及びその方法は、例えばイベント中に発生する音響信号における特徴部分を検出する際に、上記音響信号の所定時間区間毎に短時間振幅を計算し、この短時間振幅に基づいて上記特徴部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する。上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、上記候補区間の評価の際には、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記特徴部分か否かを評価する。
【００１０】
このような音響信号処理装置及びその方法は、音響信号の短時間振幅に基づいて特徴部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が特徴部分か否かを評価する。
【００１１】
また、上述した目的を達成するために、本発明に係る信号記録装置及びその方法は、例えばイベント中に発生する音響信号の所定時間区間毎に短時間振幅を計算し、上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算して該重要度に基づいて上記候補区間が上記重要部分か否かを評価し、上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成し、上記音響信号と共に上記索引情報を記録手段に記録する。上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、上記候補区間の評価の際には、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記重要部分か否かを評価する。
【００１２】
このような信号記録装置及びその方法は、音響信号の短時間振幅に基づいて重要部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が重要部分か否かを評価し、重要部分である場合には、その候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を上記音響信号と共に記録手段に記録する。
【００１３】
また、本発明に係るプログラムは、上述した音響信号処理又は信号記録処理をコンピュータに実行させるものである。
【００１４】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１５】
一般に、多数のまとまった観客の集まるイベント、例えばスポーツイベント等では、注目すべき場面で多数の観客が同時に歓声、拍手や効果音を発することによる特有の音響効果（以下、「盛り上がり」という。）が生じる。
【００１６】
一例として、野球放送の音響信号を図１（Ａ）に示す。前半の平常区間ではアナウンサの解説音声が支配的であり、その背景に観客の発する音が小音量にて重畳されている。時刻ｔ２で打者がヒットを打つと、後半の盛り上がり区間では観客の盛り上がり音が支配的になっている。ここで、平常時（時刻ｔ１）と盛り上がり時（時刻ｔ３）とにおける音響信号の短時間スペクトルをそれぞれ図１（Ｂ）、（Ｃ）に示す。
【００１７】
図１（Ａ）〜（Ｃ）から分かるように、観客が盛り上がっている区間では、平常区間と比較して振幅の大きい時間が長めに持続することや、短時間スペクトルが平常区間とは異なったパターンを示すことなど、振幅や周波数構成に違いが見られる。その一方で、振幅の大きい部分は平常区間においても発生しているため、特に放送信号の場合、振幅の大小のみで盛り上がり区間か否かを判断することはできないことも確認される。
【００１８】
そこで、第１の実施の形態における音響信号処理装置では、このような音響信号の振幅や周波数構成の違いを利用することで、スポーツ等の観客が集まるイベントにおける盛り上がり部分を重要シーンとして精度よく検出する。具体的には、振幅の大きい時間が所定時間以上持続した区間を盛り上がり区間の候補とし、各候補区間について振幅や音質に関する特徴量を用いて盛り上がりの程度を表すスコアを計算する。そして、このスコアに基づいて真の盛り上がり区間を検出する。
【００１９】
この音響信号処理装置の概略構成を図２に示す。図２に示すように、音響信号処理装置１０は、振幅計算部１１と、挿入検出部１２と、候補区間抽出部１３と、特徴抽出部１４と、候補区間評価部１５と、索引生成部１６とから構成されている。
【００２０】
振幅計算部１１は、入力された音響信号の所定時間区間毎に２乗平均や絶対値の平均を計算することで短時間振幅Ａ（ｔ）を計算する。なお、この振幅計算部１１の前段に帯域通過フィルタを設けて予め不要な周波数成分を除去し、歓声等の振幅を検出するために必要十分な帯域に絞ってから短時間振幅Ａ（ｔ）を計算するようにしても構わない。振幅計算部１１は、計算した短時間振幅Ａ（ｔ）を挿入検出部１２及び候補区間抽出部１３に供給する。
【００２１】
挿入検出部１２は、入力された音響信号が放送信号である場合に、リプレイシーンやコマーシャルメッセージ（以下、「コマーシャル」と略称する。）等の他の情報が挿入された区間を検出する。ここで、挿入シーンは長くても１分程度であり、挿入前後では音量が極端に小さくなるという特徴があり、一方で本編の音響信号は観客音が常に重畳されているため、音量が極端に小さくなることは殆ど生じない。そこで、挿入検出部１２は、振幅計算部１１から供給された短時間振幅Ａ（ｔ）が所定の閾値未満となる小音量区間が所定時間内に複数回発生した場合に、この小音量区間によって挟まれた区間を挿入区間として検出する。
【００２２】
また、挿入検出部１２において音響信号の他に映像信号も利用できる場合には、民間放送のコマーシャルをより正確に検出するために、例えば本件発明者が先に提案している特開２００２−１６８７３号公報に記載された技術を用いることができる。この技術は、以下のように要約される。
【００２３】
すなわち、日本国内においては、特殊な例を除くほぼ全てのコマーシャルが１５秒、３０秒、６０秒の長さで製作されており、また、各コマーシャルの前後では必然的に音量が下がり、映像信号が切り替わるため、これらを検出の「必須条件」とする。また、規格に基づいて製作されるという制約、短い時間で宣伝効果を上げるためのものであるという制約、及び番組構成上の都合などによる制約の元で製作された結果として現れる一定の傾向を示す特徴を検出の「付加条件」とする。さらに、上記付加条件を満たす区間がオーバーラップして存在する場合には、少なくともその何れかの区間は正しいコマーシャル区間では有り得ないという条件を検出の「論理条件」とする。そして、「必須条件」に基づき決定論的にコマーシャル候補を抽出し、「付加条件」に基づくコマーシャルらしさの統計論的な評価により候補を選択し、「論理条件」により候補のオーバーラップ関係を解消することにより、高精度にコマーシャルを検出することができる。
【００２４】
挿入検出部１２は、以上のようにして検出した挿入区間に関する挿入区間情報を候補区間評価部１５に供給する。なお、入力された音響信号が放送信号でない場合には、この挿入検出部１２を設けなくても構わない。
【００２５】
候補区間抽出部１３は、振幅計算部１１から供給された短時間振幅Ａ（ｔ）を用いて、盛り上がり区間の候補を抽出する。上述したように、盛り上がり区間では、平均的に音量の大きい区間が長く継続するため、候補区間抽出部１３は、予め振幅閾値Ａｔｈｓｄと時間閾値Ｔｔｈｓｄとを設定しておき、Ａ（ｔ）≧Ａｔｈｓｄである区間長ＴがＴ≧Ｔｔｈｓｄである場合に、その区間を盛り上がり区間の候補とし、その開始位置及び終了位置を抽出する。なお、振幅閾値Ａｔｈｓｄとしては、予め所定値を設定してもよく、対象とする音響信号の振幅の平均及び分散に基づいて設定してもよい。前者の場合、放送に合わせて実時間で処理することができ、後者の場合、スタジアム、放送局、ミキシング、或いはイベント毎の音量の差に関して正規化された閾値を設定することができる。
【００２６】
ここで、図３（Ａ）に示す図１（Ａ）と同一の音響信号について、２つの候補区間が抽出された例を図３（Ｂ）に示す。図３（Ｂ）に示すように、第１の候補区間は平常区間に属し、第１の候補区間は盛り上がり区間に属している。
【００２７】
特徴抽出部１４は、入力された音響信号から音質に関する音質特徴量Ｘを抽出し、盛り上がり時に特有の音質を定量化する。具体的には、図４のフローチャートに示すように、始めにステップＳ１において所定時間区間の音響信号を取得し、ステップＳ２において短時間フーリエ変換やＬＰＣ（Linear Predictive Coding）法などを用いてパワースペクトラム係数Ｓ０，・・・，ＳＭ−１に変換する。なお、Ｍはスペクトラムの次数を示す。
【００２８】
続いてステップＳ３において、以下の式（１）に従ってスペクトラム係数Ｓ０，・・・，ＳＭ−１の加重和を計算し、音質特徴量Ｘを得る。
【００２９】
【数１】
【００３０】
ここで、式（１）においてＷｍは加重係数を示し、θは所定のバイアス値を示す。この加重係数Ｗｍ及びバイアス値θの決定には種々の統計的判別法を利用することができる。例えば、予め多数のシーンの盛り上がり程度を主観的に評価し、スペクトラム係数と望ましい特徴量値（例えば０．０〜１．０）とを組にした学習サンプルを用意して重回帰分析により直線近似される加重を求め、加重係数Ｗｍ及びバイアス値θを決定することができる。また、パーセプトロン等のニューラルネットの技法を用いてもよく、ベイズ判別法やベクトル量子化等の判別法を用いてもよい。
【００３１】
なお、特徴抽出部１４では、パワースペクトラム係数に代えて、対数ケプストラム係数の逆フーリエ変換であるケプストラム係数や、スペクトラム係数の固有ベクトルによる変換であるカルーネン−レーベ（Karhunen-Loeve；ＫＬ）変換を用いてもよい。これらはスペクトラムの概形を集約する変換であるため、それぞれ低次の項のみを用いて加重和を計算して音質特徴量Ｘとすればよい。
【００３２】
図３（Ａ）に示す音響信号について、ＫＬ変換を用いて計算した音質特徴量Ｘを図３（Ｃ）に示す。図３（Ｃ）に示すように、平常区間に属する第１の候補区間と盛り上がり区間に属する第２の候補区間とでは、音質特徴量Ｘの値に明確な違いが現れている。
【００３３】
図２に戻って、候補区間評価部１５は、振幅計算部１１から供給された短時間振幅Ａ（ｔ）と特徴抽出部１４から供給された音質特徴量Ｘとに基づいて、各候補区間における盛り上がりの程度をスコアとして定量化する。具体的には、図５のフローチャートに示すように、始めにステップＳ１０において候補区間抽出部１３から候補区間を取得し、ステップＳ１１において、短時間振幅Ａ（ｔ）と音質特徴量Ｘとを用いて、各候補区間の区間長ｙ１、短時間振幅Ａ（ｔ）の最大値ｙ２、短時間振幅Ａ（ｔ）の平均値ｙ３、音質特徴量Ｘが所定の閾値を超える長さｙ４、音質特徴量Ｘの最大値ｙ５、音質特徴量Ｘの平均値ｙ６を計算し、候補区間の特徴ベクトルとする。なお、音質特徴量Ｘが所定の閾値を超える長さｙ４の代わりに、音質特徴量Ｘが所定の閾値を超える長さの候補区間長に対する割合を特徴量として用いても構わない。
【００３４】
ここで、候補区間評価部１５において候補区間内での音質特徴量Ｘの最大値を計算することで、盛り上がり時にアナウンサの音声が重畳され、スペクトル分布が歪んでいるような場合でも、瞬時的にアナウンサの音声が途切れる部分の特徴量を用いることができ、放送信号のような他の音声が重畳されている音響信号についても適用可能となる。
【００３５】
続いてステップＳ１２において、以下の式（２）に従って各候補区間の盛り上がりの程度を表すスコア値ｚを計算する。
【００３６】
【数２】
【００３７】
ここで、式（２）においてｕｉは加重係数を示し、ｕ０は所定のバイアス値を示す。この加重係数ｕｉ及びバイアス値ｕ０の決定には種々の統計的判別法を利用することができる。例えば、予め多数のシーンの盛り上がり程度を主観的に評価し、特徴ベクトルと望ましいスコア値（例えば０．０〜１．０）とを組にした学習サンプルを用意して重回帰分析により直線近似される加重を求め、加重係数ｕｉ及びバイアス値ｕ０を決定することができる。また、パーセプトロン等のニューラルネットの技法を用いてもよく、ベイズ判別法やベクトル量子化等の判別法を用いてもよい。
【００３８】
最後にステップＳ１３において、候補区間のうち、挿入検出部１２から供給された挿入区間情報で表される区間、或いはスコア値ｚが所定の閾値以下である候補区間を盛り上がり区間から除外する。
【００３９】
候補区間評価部１５は、以上のようにして求めた盛り上がり区間の開始位置及び終了位置とスコア値ｚとを索引生成部１６に供給する。
【００４０】
索引生成部１６は、候補区間評価部１５から供給された盛り上がり区間の開始位置及び終了位置とスコア値ｚとを含むインデックスを生成し、そのインデックスを出力する。この際、予め抽出区間数を設定し、その抽出区間数に達するまでスコア値ｚの大きい順にインデックスを生成するようにしても構わない。また、予め抽出時間長を設定し、その抽出時間長に達するまでスコア値ｚの大きい順にインデックスを生成するようにしても構わない。
【００４１】
以上のように、第１の実施の形態における音響信号処理装置１０によれば、短時間振幅Ａ（ｔ）が振幅閾値Ａｔｈｓｄ以上である区間長Ｔが時間閾値Ｔｔｈｓｄ以上である区間を候補区間とし、各候補区間について振幅や音質に関する特徴量（ｙ１〜ｙ６）を用いて盛り上がりの程度を表すスコア値ｚを計算することで、真の盛り上がり区間を高精度に検出し、その盛り上がり区間に対応するインデックスを生成することができる。
【００４２】
次に、第２の実施の形態における記録再生装置は、上述した音響信号処理装置１０が適用されたものであり、放送信号の録画／録音時に盛り上がり区間の開始位置及び終了位置等を記録し、再生時に盛り上がり区間のみをスキップ再生したり、要約映像を再生したりすることを可能とする。
【００４３】
この記録再生装置の概略構成を図６に示す。図６に示すように、記録再生装置２０は、受信部２１と、ジャンル選択部２２と、記録部２３と、重要シーン検出部２４と、サムネイル生成部２５と、シーン選択部２６と、再生部２７とから構成されている。ここで、重要シーン検出部２４は、上述した音響信号処理装置１０に対応する。
【００４４】
この記録再生装置２０における映像／音響信号の記録動作について、図６と図７のフローチャートとを用いて説明する。始めにステップＳ２０において、受信部２１は、図示しないタイマやユーザからの指示により放送信号を受信して復調し、復調した放送信号を記録部２３に対して記録する録画／録音動作を開始する。
【００４５】
次にステップＳ２１において、ジャンル選択部２２は、電子番組ガイド（Electronic Program Guide；ＥＰＧ）の情報を用いて、放送信号のジャンルが観客の歓声等を伴うイベントに関するものであるか否かを判別する。ステップＳ２１において観客の歓声等を伴うイベントに関するものでない場合（No）にはステップＳ２２に進み、受信部２１は、記録部２３に対する通常の録画／録音動作を行い、ステップＳ２３でタイマ又はユーザの指示により録画／録音を終了する。一方、観客の歓声等を伴うイベントに関するものである場合（Yes）には、ステップＳ２４に進む。
【００４６】
なお、ステップＳ２１では、ＥＰＧの情報を用いるほか、ユーザがジャンルを指示するようにしてもよい。また、放送信号からジャンルを自動推定しても構わない。例えば、候補区間数及び各候補区間のスコア値ｚが所定の閾値以上である場合に、適用可能なジャンルと判定することができる。
【００４７】
ステップＳ２４では、受信部２１は、記録部２３に対する通常の録画／録音動作を行うと同時に、重要シーン検出部２４は、重要シーンとして盛り上がり区間の開始位置及び終了位置を検出する。
【００４８】
続いてステップＳ２５において、受信部２１は、タイマ又はユーザの指示により録画／録音を終了するが、引き続きステップＳ２６において、重要シーン検出部２４は、盛り上がり区間の開始位置及び終了位置、スコア値ｚを含むインデックスを記録部２３に記録し、サムネイル生成部２５は、盛り上がり区間のサムネイル画像を記録部２３に記録する。
【００４９】
このように、記録再生装置２０では、放送信号の録画／録音時に盛り上がり区間を検出し、その盛り上がり区間の開始位置及び終了位置、スコア値ｚを含むインデックスや、盛り上がり区間のサムネイル画像を記録部２３に記録する。したがって、記録再生装置２０は、記録部２３に記録されたサムネイル画像を表示することができるほか、盛り上がり区間のインデックスを利用して、以下に説明するようなスキップ再生や要約再生が可能となる。
【００５０】
この記録再生装置２０におけるスキップ再生動作について、図６と図８のフローチャートとを用いて説明する。始めにステップＳ３０において、再生部２７は、ユーザからの指示により記録部２３に記録されている映像／音響信号の再生を開始し、ステップＳ３１において、ユーザから停止命令がなされたか否かを判別する。ステップＳ３１において停止命令がなされた場合（Yes）には再生動作を終了し、そうでない場合（No）にはステップＳ３２に進む。
【００５１】
ステップＳ３２では、再生部２７は、ユーザからスキップ命令がなされたか否かを判別する。スキップ命令がなされていない場合（No）にはステップＳ３０に戻って再生動作を継続し、スキップ命令がなされた場合（Yes）にはステップＳ３３に進む。
【００５２】
ステップＳ３３では、再生部２７は、盛り上がり区間に付与されたインデックスを参照して、次の開始インデックス点への頭出しを行ってステップＳ３０に戻る。
【００５３】
続いて、この記録再生装置２０における要約再生動作について、図６と図９のフローチャートとを用いて説明する。始めにステップＳ４０において、シーン選択部２６は、例えば所定の時間長に合わせて、再生するシーンをスコア値ｚに基づいて選択し、その開始位置及び終了位置を決定する。
【００５４】
次にステップＳ４１において、再生部２７は、最初の開始インデックス点への頭出しを行い、ステップＳ４２において再生動作を行う。
【００５５】
続いてステップＳ４３において、再生部２７は、終了インデックス点まで再生したか否かを判別する。終了インデックス点まで再生していない場合（No）には、ステップＳ４２に戻って再生動作を継続し、終了インデックス点まで再生した場合（Yes）にはステップＳ４４に進む。
【００５６】
ステップＳ４４では、再生部２７は、次の開始インデックス点があるか否かを判別する。次の開始インデックス点がある場合（Yes）には、ステップＳ４５において、再生部２７は、その開始インデックス点への頭出しを行ってステップＳ４２に戻り、次の開始インデックス点がない場合（No）には、再生動作を終了する。
【００５７】
以上のように、本実施の形態における記録再生装置２０によれば、放送信号の録画／録音時に盛り上がり区間を検出し、その盛り上がり区間の開始位置及び終了位置、スコア値ｚを含むインデックスや、盛り上がり区間のサムネイル画像を記録部２３に記録することにより、サムネイル画像を例えば重要度を示すスコア値ｚに応じて表示することができるほか、盛り上がり区間のインデックスを利用してスキップ再生や要約再生が可能となる。
【００５８】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００５９】
例えば、上述した第２の実施の形態では、映像信号と音響信号との両方を用いるものとして説明したが、これに限定されるものではなく、音響信号のみであっても同様の効果が得られる。
【００６０】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００６１】
【発明の効果】
以上詳細に説明したように本発明に係る音響信号処理装置及びその方法は、例えばイベント中に発生する音響信号における特徴部分を検出する際に、上記音響信号の所定時間区間毎に短時間振幅を計算し、この短時間振幅に基づいて上記特徴部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する。
【００６２】
ここで、本発明に係る音響信号処理装置及びその方法では、上記特徴部分の少なくとも開始位置及び終了位置を含む索引情報を生成するようにしてもよい。
【００６３】
このような音響信号処理装置及びその方法によれば、音響信号の短時間振幅に基づいて特徴部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が特徴部分か否かを評価することにより、例えばイベントにおける盛り上がり部分を高精度に検出することができる。
【００６４】
また、本発明に係る信号記録装置及びその方法は、例えばイベント中に発生する音響信号の所定時間区間毎に短時間振幅を計算し、上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算して該重要度に基づいて上記候補区間が上記重要部分か否かを評価し、上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成し、上記音響信号と共に上記索引情報を記録手段に記録する。
【００６５】
このような信号記録装置及びその方法によれば、音響信号の短時間振幅に基づいて重要部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が重要部分か否かを評価し、重要部分である場合には、その候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を上記音響信号と共に記録手段に記録することにより、例えば重要部分のみをスキップ再生することや、重要部分のみの要約映像を再生することが可能となる。
【００６６】
また、本発明に係るプログラムは、上述した音響信号処理又は信号記録処理をコンピュータに実行させるものである。
【００６７】
このようなプログラムによれば、上述した音響信号処理及び信号記録処理をソフトウェアにより実現することができる。
【図面の簡単な説明】
【図１】イベントにおける音響信号の例を示す図であり、同図（Ａ）は、野球放送の音響信号を示し、同図（Ｂ）、（Ｃ）は、それぞれ平常時と盛り上がり時とにおける音響信号の短時間スペクトルを示す。
【図２】第１の実施の形態における音響信号処理装置の概略構成を説明する図である。
【図３】同音響信号処理装置の候補区間抽出部及び特徴抽出部における処理の一例を説明する図であり、同図（Ａ）は、イベントにおける音響信号の例を示し、同図（Ｂ）は、候補区間抽出部において検出される候補区間を示し、同図（Ｃ）は、特徴抽出部において計算される音質特徴量を示す。
【図４】同音響信号処理装置の特徴抽出部における動作を説明するフローチャートである。
【図５】同音響信号処理装置の候補区間評価部における動作を説明するフローチャートである。
【図６】第２の実施の形態における記録再生装置の概略構成を説明する図である。
【図７】同記録再生装置における録画／録音動作を説明するフローチャートである。
【図８】同記録再生装置におけるスキップ再生動作を説明するフローチャートである。
【図９】同記録再生装置における要約再生動作を説明するフローチャートである。
【符号の説明】
１０ 音響信号処理装置、１１ 振幅計算部、１２ 挿入検出部、１３ 候補区間抽出部、１４ 特徴抽出部、１５ 候補区間評価部、１６ 索引生成部、２０ 記録再生装置、２１ 受信部、２２ ジャンル選択部、２３ 記録部、２４重要シーン検出部、２５ サムネイル生成部、２６ シーン選択部、２７ 再生部
【発明の属する技術分野】
本発明は、イベント等における音響信号の特徴部分に対応するインデックスを生成する音響信号処理装置及びその方法、映像信号及び／又は音響信号の記録時にそのインデックスを付与し、スキップ再生や要約再生を可能とする信号記録装置及びその方法、並びにそのような音響信号処理又は信号記録処理をコンピュータに実行させるプログラムに関する。
【０００２】
【従来の技術】
放送信号や、それが録画／録音された映像／音響信号から重要なシーンを自動的に検出してインデックスを付与したり、要約映像を作成したりすることは、その内容を容易に把握したり、必要な部分を高速に検索するために有用である。例えば、スポーツイベント等の映像の場合、盛り上がった部分で自動的にインデックスを発生させ、そのインデックスを映像／音響信号に多重するなどして付与することができれば、その映像についてのダイジェスト版の作成や、２次利用の際の特定のシーンの検索が容易に可能となる。
【０００３】
このような理由から、下記の特許文献１には、全周波数帯域のパワーレベルと、特定の周波数成分のパワーレベルの大小との組み合わせにより、スポーツ等のイベントの盛り上がり部分を自動的に検出し、インデックスとして付与する技術が提案されている。この技術では、観客が盛り上がった音を検出するため、多くのイベントに汎用的に適用でき、イベントの進行上重要な箇所を自動的に検出することができる。
【０００４】
【特許文献１】
特開２００１−１４３４５１号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１に記載の技術では、例えばスペクトルの形状といった音質的な要因が評価されないため、原理的に検出精度が低く、特定の周波数に他の音が混入する場合には適用することができないという問題がある。
【０００６】
したがって、この技術は、イベント会場において放送局等のプロフェッショナルが録音した、他の信号がミキシングされていない音響信号にしか適用することができず、アナウンスや解説、コマーシャルメッセージ等の挿入音声が加わった音響信号、例えば放送信号には適用することができない。また、観客など、アマチュアが独自に録音する場合にも、会話音声等が重畳するため、適用は困難である。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、イベント等における音響信号から盛り上がり部分を高精度に検出し、その盛り上がり部分に対応するインデックスを生成する音響信号処理装置及びその方法、映像信号及び／又は音響信号の記録時に盛り上がり部分に対してインデックスを付与し、スキップ再生や要約再生を可能とする信号記録装置及びその方法、並びにそのような音響信号処理又は信号記録処理をコンピュータに実行させるプログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る音響信号処理装置及びその方法は、例えばイベント中に発生する音響信号における特徴部分を検出する際に、上記音響信号の所定時間区間毎に短時間振幅を計算し、この短時間振幅に基づいて上記特徴部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する。
【０００９】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る音響信号処理装置及びその方法は、例えばイベント中に発生する音響信号における特徴部分を検出する際に、上記音響信号の所定時間区間毎に短時間振幅を計算し、この短時間振幅に基づいて上記特徴部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する。上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、上記候補区間の評価の際には、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記特徴部分か否かを評価する。
【００１０】
このような音響信号処理装置及びその方法は、音響信号の短時間振幅に基づいて特徴部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が特徴部分か否かを評価する。
【００１１】
また、上述した目的を達成するために、本発明に係る信号記録装置及びその方法は、例えばイベント中に発生する音響信号の所定時間区間毎に短時間振幅を計算し、上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算して該重要度に基づいて上記候補区間が上記重要部分か否かを評価し、上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成し、上記音響信号と共に上記索引情報を記録手段に記録する。上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、上記候補区間の評価の際には、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記重要部分か否かを評価する。
【００１２】
このような信号記録装置及びその方法は、音響信号の短時間振幅に基づいて重要部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が重要部分か否かを評価し、重要部分である場合には、その候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を上記音響信号と共に記録手段に記録する。
【００１３】
また、本発明に係るプログラムは、上述した音響信号処理又は信号記録処理をコンピュータに実行させるものである。
【００１４】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１５】
一般に、多数のまとまった観客の集まるイベント、例えばスポーツイベント等では、注目すべき場面で多数の観客が同時に歓声、拍手や効果音を発することによる特有の音響効果（以下、「盛り上がり」という。）が生じる。
【００１６】
一例として、野球放送の音響信号を図１（Ａ）に示す。前半の平常区間ではアナウンサの解説音声が支配的であり、その背景に観客の発する音が小音量にて重畳されている。時刻ｔ２で打者がヒットを打つと、後半の盛り上がり区間では観客の盛り上がり音が支配的になっている。ここで、平常時（時刻ｔ１）と盛り上がり時（時刻ｔ３）とにおける音響信号の短時間スペクトルをそれぞれ図１（Ｂ）、（Ｃ）に示す。
【００１７】
図１（Ａ）〜（Ｃ）から分かるように、観客が盛り上がっている区間では、平常区間と比較して振幅の大きい時間が長めに持続することや、短時間スペクトルが平常区間とは異なったパターンを示すことなど、振幅や周波数構成に違いが見られる。その一方で、振幅の大きい部分は平常区間においても発生しているため、特に放送信号の場合、振幅の大小のみで盛り上がり区間か否かを判断することはできないことも確認される。
【００１８】
そこで、第１の実施の形態における音響信号処理装置では、このような音響信号の振幅や周波数構成の違いを利用することで、スポーツ等の観客が集まるイベントにおける盛り上がり部分を重要シーンとして精度よく検出する。具体的には、振幅の大きい時間が所定時間以上持続した区間を盛り上がり区間の候補とし、各候補区間について振幅や音質に関する特徴量を用いて盛り上がりの程度を表すスコアを計算する。そして、このスコアに基づいて真の盛り上がり区間を検出する。
【００１９】
この音響信号処理装置の概略構成を図２に示す。図２に示すように、音響信号処理装置１０は、振幅計算部１１と、挿入検出部１２と、候補区間抽出部１３と、特徴抽出部１４と、候補区間評価部１５と、索引生成部１６とから構成されている。
【００２０】
振幅計算部１１は、入力された音響信号の所定時間区間毎に２乗平均や絶対値の平均を計算することで短時間振幅Ａ（ｔ）を計算する。なお、この振幅計算部１１の前段に帯域通過フィルタを設けて予め不要な周波数成分を除去し、歓声等の振幅を検出するために必要十分な帯域に絞ってから短時間振幅Ａ（ｔ）を計算するようにしても構わない。振幅計算部１１は、計算した短時間振幅Ａ（ｔ）を挿入検出部１２及び候補区間抽出部１３に供給する。
【００２１】
挿入検出部１２は、入力された音響信号が放送信号である場合に、リプレイシーンやコマーシャルメッセージ（以下、「コマーシャル」と略称する。）等の他の情報が挿入された区間を検出する。ここで、挿入シーンは長くても１分程度であり、挿入前後では音量が極端に小さくなるという特徴があり、一方で本編の音響信号は観客音が常に重畳されているため、音量が極端に小さくなることは殆ど生じない。そこで、挿入検出部１２は、振幅計算部１１から供給された短時間振幅Ａ（ｔ）が所定の閾値未満となる小音量区間が所定時間内に複数回発生した場合に、この小音量区間によって挟まれた区間を挿入区間として検出する。
【００２２】
また、挿入検出部１２において音響信号の他に映像信号も利用できる場合には、民間放送のコマーシャルをより正確に検出するために、例えば本件発明者が先に提案している特開２００２−１６８７３号公報に記載された技術を用いることができる。この技術は、以下のように要約される。
【００２３】
すなわち、日本国内においては、特殊な例を除くほぼ全てのコマーシャルが１５秒、３０秒、６０秒の長さで製作されており、また、各コマーシャルの前後では必然的に音量が下がり、映像信号が切り替わるため、これらを検出の「必須条件」とする。また、規格に基づいて製作されるという制約、短い時間で宣伝効果を上げるためのものであるという制約、及び番組構成上の都合などによる制約の元で製作された結果として現れる一定の傾向を示す特徴を検出の「付加条件」とする。さらに、上記付加条件を満たす区間がオーバーラップして存在する場合には、少なくともその何れかの区間は正しいコマーシャル区間では有り得ないという条件を検出の「論理条件」とする。そして、「必須条件」に基づき決定論的にコマーシャル候補を抽出し、「付加条件」に基づくコマーシャルらしさの統計論的な評価により候補を選択し、「論理条件」により候補のオーバーラップ関係を解消することにより、高精度にコマーシャルを検出することができる。
【００２４】
挿入検出部１２は、以上のようにして検出した挿入区間に関する挿入区間情報を候補区間評価部１５に供給する。なお、入力された音響信号が放送信号でない場合には、この挿入検出部１２を設けなくても構わない。
【００２５】
候補区間抽出部１３は、振幅計算部１１から供給された短時間振幅Ａ（ｔ）を用いて、盛り上がり区間の候補を抽出する。上述したように、盛り上がり区間では、平均的に音量の大きい区間が長く継続するため、候補区間抽出部１３は、予め振幅閾値Ａｔｈｓｄと時間閾値Ｔｔｈｓｄとを設定しておき、Ａ（ｔ）≧Ａｔｈｓｄである区間長ＴがＴ≧Ｔｔｈｓｄである場合に、その区間を盛り上がり区間の候補とし、その開始位置及び終了位置を抽出する。なお、振幅閾値Ａｔｈｓｄとしては、予め所定値を設定してもよく、対象とする音響信号の振幅の平均及び分散に基づいて設定してもよい。前者の場合、放送に合わせて実時間で処理することができ、後者の場合、スタジアム、放送局、ミキシング、或いはイベント毎の音量の差に関して正規化された閾値を設定することができる。
【００２６】
ここで、図３（Ａ）に示す図１（Ａ）と同一の音響信号について、２つの候補区間が抽出された例を図３（Ｂ）に示す。図３（Ｂ）に示すように、第１の候補区間は平常区間に属し、第１の候補区間は盛り上がり区間に属している。
【００２７】
特徴抽出部１４は、入力された音響信号から音質に関する音質特徴量Ｘを抽出し、盛り上がり時に特有の音質を定量化する。具体的には、図４のフローチャートに示すように、始めにステップＳ１において所定時間区間の音響信号を取得し、ステップＳ２において短時間フーリエ変換やＬＰＣ（Linear Predictive Coding）法などを用いてパワースペクトラム係数Ｓ０，・・・，ＳＭ−１に変換する。なお、Ｍはスペクトラムの次数を示す。
【００２８】
続いてステップＳ３において、以下の式（１）に従ってスペクトラム係数Ｓ０，・・・，ＳＭ−１の加重和を計算し、音質特徴量Ｘを得る。
【００２９】
【数１】
ここで、式（１）においてＷｍは加重係数を示し、θは所定のバイアス値を示す。この加重係数Ｗｍ及びバイアス値θの決定には種々の統計的判別法を利用することができる。例えば、予め多数のシーンの盛り上がり程度を主観的に評価し、スペクトラム係数と望ましい特徴量値（例えば０．０〜１．０）とを組にした学習サンプルを用意して重回帰分析により直線近似される加重を求め、加重係数Ｗｍ及びバイアス値θを決定することができる。また、パーセプトロン等のニューラルネットの技法を用いてもよく、ベイズ判別法やベクトル量子化等の判別法を用いてもよい。
【００３１】
なお、特徴抽出部１４では、パワースペクトラム係数に代えて、対数ケプストラム係数の逆フーリエ変換であるケプストラム係数や、スペクトラム係数の固有ベクトルによる変換であるカルーネン−レーベ（Karhunen-Loeve；ＫＬ）変換を用いてもよい。これらはスペクトラムの概形を集約する変換であるため、それぞれ低次の項のみを用いて加重和を計算して音質特徴量Ｘとすればよい。
【００３２】
図３（Ａ）に示す音響信号について、ＫＬ変換を用いて計算した音質特徴量Ｘを図３（Ｃ）に示す。図３（Ｃ）に示すように、平常区間に属する第１の候補区間と盛り上がり区間に属する第２の候補区間とでは、音質特徴量Ｘの値に明確な違いが現れている。
【００３３】
図２に戻って、候補区間評価部１５は、振幅計算部１１から供給された短時間振幅Ａ（ｔ）と特徴抽出部１４から供給された音質特徴量Ｘとに基づいて、各候補区間における盛り上がりの程度をスコアとして定量化する。具体的には、図５のフローチャートに示すように、始めにステップＳ１０において候補区間抽出部１３から候補区間を取得し、ステップＳ１１において、短時間振幅Ａ（ｔ）と音質特徴量Ｘとを用いて、各候補区間の区間長ｙ１、短時間振幅Ａ（ｔ）の最大値ｙ２、短時間振幅Ａ（ｔ）の平均値ｙ３、音質特徴量Ｘが所定の閾値を超える長さｙ４、音質特徴量Ｘの最大値ｙ５、音質特徴量Ｘの平均値ｙ６を計算し、候補区間の特徴ベクトルとする。なお、音質特徴量Ｘが所定の閾値を超える長さｙ４の代わりに、音質特徴量Ｘが所定の閾値を超える長さの候補区間長に対する割合を特徴量として用いても構わない。
【００３４】
ここで、候補区間評価部１５において候補区間内での音質特徴量Ｘの最大値を計算することで、盛り上がり時にアナウンサの音声が重畳され、スペクトル分布が歪んでいるような場合でも、瞬時的にアナウンサの音声が途切れる部分の特徴量を用いることができ、放送信号のような他の音声が重畳されている音響信号についても適用可能となる。
【００３５】
続いてステップＳ１２において、以下の式（２）に従って各候補区間の盛り上がりの程度を表すスコア値ｚを計算する。
【００３６】
【数２】
ここで、式（２）においてｕｉは加重係数を示し、ｕ０は所定のバイアス値を示す。この加重係数ｕｉ及びバイアス値ｕ０の決定には種々の統計的判別法を利用することができる。例えば、予め多数のシーンの盛り上がり程度を主観的に評価し、特徴ベクトルと望ましいスコア値（例えば０．０〜１．０）とを組にした学習サンプルを用意して重回帰分析により直線近似される加重を求め、加重係数ｕｉ及びバイアス値ｕ０を決定することができる。また、パーセプトロン等のニューラルネットの技法を用いてもよく、ベイズ判別法やベクトル量子化等の判別法を用いてもよい。
【００３８】
最後にステップＳ１３において、候補区間のうち、挿入検出部１２から供給された挿入区間情報で表される区間、或いはスコア値ｚが所定の閾値以下である候補区間を盛り上がり区間から除外する。
【００３９】
候補区間評価部１５は、以上のようにして求めた盛り上がり区間の開始位置及び終了位置とスコア値ｚとを索引生成部１６に供給する。
【００４０】
索引生成部１６は、候補区間評価部１５から供給された盛り上がり区間の開始位置及び終了位置とスコア値ｚとを含むインデックスを生成し、そのインデックスを出力する。この際、予め抽出区間数を設定し、その抽出区間数に達するまでスコア値ｚの大きい順にインデックスを生成するようにしても構わない。また、予め抽出時間長を設定し、その抽出時間長に達するまでスコア値ｚの大きい順にインデックスを生成するようにしても構わない。
【００４１】
以上のように、第１の実施の形態における音響信号処理装置１０によれば、短時間振幅Ａ（ｔ）が振幅閾値Ａｔｈｓｄ以上である区間長Ｔが時間閾値Ｔｔｈｓｄ以上である区間を候補区間とし、各候補区間について振幅や音質に関する特徴量（ｙ１〜ｙ６）を用いて盛り上がりの程度を表すスコア値ｚを計算することで、真の盛り上がり区間を高精度に検出し、その盛り上がり区間に対応するインデックスを生成することができる。
【００４２】
次に、第２の実施の形態における記録再生装置は、上述した音響信号処理装置１０が適用されたものであり、放送信号の録画／録音時に盛り上がり区間の開始位置及び終了位置等を記録し、再生時に盛り上がり区間のみをスキップ再生したり、要約映像を再生したりすることを可能とする。
【００４３】
この記録再生装置の概略構成を図６に示す。図６に示すように、記録再生装置２０は、受信部２１と、ジャンル選択部２２と、記録部２３と、重要シーン検出部２４と、サムネイル生成部２５と、シーン選択部２６と、再生部２７とから構成されている。ここで、重要シーン検出部２４は、上述した音響信号処理装置１０に対応する。
【００４４】
この記録再生装置２０における映像／音響信号の記録動作について、図６と図７のフローチャートとを用いて説明する。始めにステップＳ２０において、受信部２１は、図示しないタイマやユーザからの指示により放送信号を受信して復調し、復調した放送信号を記録部２３に対して記録する録画／録音動作を開始する。
【００４５】
次にステップＳ２１において、ジャンル選択部２２は、電子番組ガイド（Electronic Program Guide；ＥＰＧ）の情報を用いて、放送信号のジャンルが観客の歓声等を伴うイベントに関するものであるか否かを判別する。ステップＳ２１において観客の歓声等を伴うイベントに関するものでない場合（No）にはステップＳ２２に進み、受信部２１は、記録部２３に対する通常の録画／録音動作を行い、ステップＳ２３でタイマ又はユーザの指示により録画／録音を終了する。一方、観客の歓声等を伴うイベントに関するものである場合（Yes）には、ステップＳ２４に進む。
【００４６】
なお、ステップＳ２１では、ＥＰＧの情報を用いるほか、ユーザがジャンルを指示するようにしてもよい。また、放送信号からジャンルを自動推定しても構わない。例えば、候補区間数及び各候補区間のスコア値ｚが所定の閾値以上である場合に、適用可能なジャンルと判定することができる。
【００４７】
ステップＳ２４では、受信部２１は、記録部２３に対する通常の録画／録音動作を行うと同時に、重要シーン検出部２４は、重要シーンとして盛り上がり区間の開始位置及び終了位置を検出する。
【００４８】
続いてステップＳ２５において、受信部２１は、タイマ又はユーザの指示により録画／録音を終了するが、引き続きステップＳ２６において、重要シーン検出部２４は、盛り上がり区間の開始位置及び終了位置、スコア値ｚを含むインデックスを記録部２３に記録し、サムネイル生成部２５は、盛り上がり区間のサムネイル画像を記録部２３に記録する。
【００４９】
このように、記録再生装置２０では、放送信号の録画／録音時に盛り上がり区間を検出し、その盛り上がり区間の開始位置及び終了位置、スコア値ｚを含むインデックスや、盛り上がり区間のサムネイル画像を記録部２３に記録する。したがって、記録再生装置２０は、記録部２３に記録されたサムネイル画像を表示することができるほか、盛り上がり区間のインデックスを利用して、以下に説明するようなスキップ再生や要約再生が可能となる。
【００５０】
この記録再生装置２０におけるスキップ再生動作について、図６と図８のフローチャートとを用いて説明する。始めにステップＳ３０において、再生部２７は、ユーザからの指示により記録部２３に記録されている映像／音響信号の再生を開始し、ステップＳ３１において、ユーザから停止命令がなされたか否かを判別する。ステップＳ３１において停止命令がなされた場合（Yes）には再生動作を終了し、そうでない場合（No）にはステップＳ３２に進む。
【００５１】
ステップＳ３２では、再生部２７は、ユーザからスキップ命令がなされたか否かを判別する。スキップ命令がなされていない場合（No）にはステップＳ３０に戻って再生動作を継続し、スキップ命令がなされた場合（Yes）にはステップＳ３３に進む。
【００５２】
ステップＳ３３では、再生部２７は、盛り上がり区間に付与されたインデックスを参照して、次の開始インデックス点への頭出しを行ってステップＳ３０に戻る。
【００５３】
続いて、この記録再生装置２０における要約再生動作について、図６と図９のフローチャートとを用いて説明する。始めにステップＳ４０において、シーン選択部２６は、例えば所定の時間長に合わせて、再生するシーンをスコア値ｚに基づいて選択し、その開始位置及び終了位置を決定する。
【００５４】
次にステップＳ４１において、再生部２７は、最初の開始インデックス点への頭出しを行い、ステップＳ４２において再生動作を行う。
【００５５】
続いてステップＳ４３において、再生部２７は、終了インデックス点まで再生したか否かを判別する。終了インデックス点まで再生していない場合（No）には、ステップＳ４２に戻って再生動作を継続し、終了インデックス点まで再生した場合（Yes）にはステップＳ４４に進む。
【００５６】
ステップＳ４４では、再生部２７は、次の開始インデックス点があるか否かを判別する。次の開始インデックス点がある場合（Yes）には、ステップＳ４５において、再生部２７は、その開始インデックス点への頭出しを行ってステップＳ４２に戻り、次の開始インデックス点がない場合（No）には、再生動作を終了する。
【００５７】
以上のように、本実施の形態における記録再生装置２０によれば、放送信号の録画／録音時に盛り上がり区間を検出し、その盛り上がり区間の開始位置及び終了位置、スコア値ｚを含むインデックスや、盛り上がり区間のサムネイル画像を記録部２３に記録することにより、サムネイル画像を例えば重要度を示すスコア値ｚに応じて表示することができるほか、盛り上がり区間のインデックスを利用してスキップ再生や要約再生が可能となる。
【００５８】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００５９】
例えば、上述した第２の実施の形態では、映像信号と音響信号との両方を用いるものとして説明したが、これに限定されるものではなく、音響信号のみであっても同様の効果が得られる。
【００６０】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００６１】
【発明の効果】
以上詳細に説明したように本発明に係る音響信号処理装置及びその方法は、例えばイベント中に発生する音響信号における特徴部分を検出する際に、上記音響信号の所定時間区間毎に短時間振幅を計算し、この短時間振幅に基づいて上記特徴部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する。
【００６２】
ここで、本発明に係る音響信号処理装置及びその方法では、上記特徴部分の少なくとも開始位置及び終了位置を含む索引情報を生成するようにしてもよい。
【００６３】
このような音響信号処理装置及びその方法によれば、音響信号の短時間振幅に基づいて特徴部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が特徴部分か否かを評価することにより、例えばイベントにおける盛り上がり部分を高精度に検出することができる。
【００６４】
また、本発明に係る信号記録装置及びその方法は、例えばイベント中に発生する音響信号の所定時間区間毎に短時間振幅を計算し、上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算して該重要度に基づいて上記候補区間が上記重要部分か否かを評価し、上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成し、上記音響信号と共に上記索引情報を記録手段に記録する。
【００６５】
このような信号記録装置及びその方法によれば、音響信号の短時間振幅に基づいて重要部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が重要部分か否かを評価し、重要部分である場合には、その候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を上記音響信号と共に記録手段に記録することにより、例えば重要部分のみをスキップ再生することや、重要部分のみの要約映像を再生することが可能となる。
【００６６】
また、本発明に係るプログラムは、上述した音響信号処理又は信号記録処理をコンピュータに実行させるものである。
【００６７】
このようなプログラムによれば、上述した音響信号処理及び信号記録処理をソフトウェアにより実現することができる。
【図面の簡単な説明】
【図１】イベントにおける音響信号の例を示す図であり、同図（Ａ）は、野球放送の音響信号を示し、同図（Ｂ）、（Ｃ）は、それぞれ平常時と盛り上がり時とにおける音響信号の短時間スペクトルを示す。
【図２】第１の実施の形態における音響信号処理装置の概略構成を説明する図である。
【図３】同音響信号処理装置の候補区間抽出部及び特徴抽出部における処理の一例を説明する図であり、同図（Ａ）は、イベントにおける音響信号の例を示し、同図（Ｂ）は、候補区間抽出部において検出される候補区間を示し、同図（Ｃ）は、特徴抽出部において計算される音質特徴量を示す。
【図４】同音響信号処理装置の特徴抽出部における動作を説明するフローチャートである。
【図５】同音響信号処理装置の候補区間評価部における動作を説明するフローチャートである。
【図６】第２の実施の形態における記録再生装置の概略構成を説明する図である。
【図７】同記録再生装置における録画／録音動作を説明するフローチャートである。
【図８】同記録再生装置におけるスキップ再生動作を説明するフローチャートである。
【図９】同記録再生装置における要約再生動作を説明するフローチャートである。
【符号の説明】
１０ 音響信号処理装置、１１ 振幅計算部、１２ 挿入検出部、１３ 候補区間抽出部、１４ 特徴抽出部、１５ 候補区間評価部、１６ 索引生成部、２０ 記録再生装置、２１ 受信部、２２ ジャンル選択部、２３ 記録部、２４重要シーン検出部、２５ サムネイル生成部、２６ シーン選択部、２７ 再生部
Claims (14)
- 音響信号における特徴部分を検出する音響信号処理装置において、
上記音響信号の所定時間区間毎に短時間振幅を計算する振幅計算手段と、
上記短時間振幅に基づいて上記特徴部分の候補区間を抽出する候補区間抽出手段と、
上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出手段と、
上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する候補区間評価手段とを備え、
上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、
上記候補区間評価手段は、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記特徴部分か否かを評価することを特徴とする音響信号処理装置。 - 上記音響信号は、イベント中に発生する音響信号であることを特徴とする請求項１記載の音響信号処理装置。
- 上記特徴部分の少なくとも開始位置及び終了位置を含む索引情報を生成する索引生成手段をさらに備えることを特徴とする請求項１記載の音響信号処理装置。
- 上記候補区間抽出手段は、上記短時間振幅が第１の閾値を超える区間が第２の閾値を超えて継続する場合に、該区間を候補区間として抽出することを特徴とする請求項１記載の音響信号処理装置。
- 上記候補区間評価手段は、上記候補区間における上記音質特徴量が所定の閾値を超える長さ若しくはその候補区間長に対する割合、又は上記候補区間における上記音質特徴量の平均値の少なくとも１つをさらに用いて加重和を計算し、上記候補区間が上記特徴部分か否かを評価することを特徴とする請求項１記載の音響信号処理装置。
- 上記音響信号における挿入信号を検出する挿入検出手段をさらに備え、
上記候補区間評価手段は、さらに上記挿入検出手段によって検出された挿入区間に基づいて、上記候補区間が上記特徴部分か否かを評価する ことを特徴とする請求項１記載の音響信号処理装置。 - 上記挿入検出手段は、上記短時間振幅が所定の閾値未満となる小音量区間が所定時間内に複数回発生した場合に、この小音量区間によって挟まれた区間を上記挿入区間として検出することを特徴とする請求項６記載の音響信号処理装置。
- 音響信号における特徴部分を検出する音響信号処理方法において、
上記音響信号の所定時間区間毎に短時間振幅を計算する振幅計算工程と、
上記短時間振幅に基づいて上記特徴部分の候補区間を抽出する候補区間抽出工程と、
上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出工程と、
上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する候補区間評価工程とを有し、
上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、
上記候補区間評価工程では、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記特徴部分か否かを評価することを特徴とする音響信号処理方法。 - 音響信号における特徴部分を検出する処理をコンピュータに実行させるプログラムにおいて、
上記音響信号の所定時間区間毎に短時間振幅を計算する振幅計算工程と、
上記短時間振幅に基づいて上記特徴部分の候補区間を抽出する候補区間抽出工程と、
上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出工程と、
上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する候補区間評価工程とを有し、
上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、
上記候補区間評価工程では、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記特徴部分か否かを評価することを特徴とするプログラム。 - 音響信号の所定時間区間毎に短時間振幅を計算する振幅計算手段と、
上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する候補区間抽出手段と、
上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出手段と、
上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算し、該重要度に基づいて上記候補区間が上記重要部分か否かを評価する候補区間評価手段と、
上記候補区間評価手段によって上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成する索引生成手段と、
上記音響信号と共に上記索引情報が記録される記録手段とを備え、
上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、
上記候補区間評価手段は、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記重要部分か否かを評価することを特徴とする信号記録装置。 - 上記音響信号が適用可能なジャンルであるか否かを識別する識別手段をさらに備えることを特徴とする請求項１０記載の信号記録装置。
- 上記識別手段は、候補区間数及び各候補区間の重要度が所定の閾値以上である場合に適用可能なジャンルと判定することを特徴とする請求項１１記載の信号記録装置。
- 音響信号の所定時間区間毎に短時間振幅を計算する振幅計算工程と、
上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する候補区間抽出工程と、
上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出工程と、
上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算し、該重要度に基づいて上記候補区間が上記重要部分か否かを評価する候補区間評価工程と、
上記候補区間評価工程にて上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成する索引生成工程と、
上記音響信号と共に上記索引情報を記録手段に記録する記録工程とを有し、
上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、
上記候補区間評価工程では、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記重要部分か否かを評価することを特徴とする信号記録方法。 - 所定の処理をコンピュータに実行させるプログラムにおいて、
音響信号の所定時間区間毎に短時間振幅を計算する振幅計算工程と、
上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する候補区間抽出工程と、
上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出工程と、
上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算し、該重要度に基づいて上記候補区間が上記重要部分か否かを評価する候補区間評価工程と、
上記候補区間評価工程にて上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成する索引生成工程と、
上記音響信号と共に上記索引情報を記録手段に記録する記録工程とを有し、
上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、
上記候補区間評価工程では、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記重要部分か否かを評価することを特徴とするプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002361302A JP3891111B2 (ja) | 2002-12-12 | 2002-12-12 | 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム |
| US10/730,550 US7214868B2 (en) | 2002-12-12 | 2003-12-08 | Acoustic signal processing apparatus and method, signal recording apparatus and method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002361302A JP3891111B2 (ja) | 2002-12-12 | 2002-12-12 | 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004191780A JP2004191780A (ja) | 2004-07-08 |
| JP2004191780A5 JP2004191780A5 (ja) | 2005-03-17 |
| JP3891111B2 true JP3891111B2 (ja) | 2007-03-14 |
Family
ID=32760106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002361302A Expired - Fee Related JP3891111B2 (ja) | 2002-12-12 | 2002-12-12 | 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7214868B2 (ja) |
| JP (1) | JP3891111B2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2004021701A1 (ja) * | 2002-08-27 | 2005-12-22 | ソニー株式会社 | データ処理装置および方法、並びにプログラム |
| US20040167767A1 (en) * | 2003-02-25 | 2004-08-26 | Ziyou Xiong | Method and system for extracting sports highlights from audio signals |
| US8442262B2 (en) * | 2003-12-19 | 2013-05-14 | Creative Technology Ltd. | Method and system to process a digital image |
| ATE485672T1 (de) * | 2003-12-19 | 2010-11-15 | Creative Tech Ltd | Digitale standbildkamera mit audio-decodierung und -codierung, einem druckbaren audioformat und verfahren |
| CN1950879B (zh) * | 2004-06-30 | 2011-03-30 | 松下电器产业株式会社 | 音乐信息计算设备和音乐再现设备 |
| US7598447B2 (en) * | 2004-10-29 | 2009-10-06 | Zenph Studios, Inc. | Methods, systems and computer program products for detecting musical notes in an audio signal |
| US8291095B2 (en) * | 2005-04-20 | 2012-10-16 | Limelight Networks, Inc. | Methods and systems for content insertion |
| US8738787B2 (en) | 2005-04-20 | 2014-05-27 | Limelight Networks, Inc. | Ad server integration |
| KR100735444B1 (ko) * | 2005-07-18 | 2007-07-04 | 삼성전자주식회사 | 오디오데이터 및 악보이미지 추출방법 |
| WO2007029489A1 (ja) * | 2005-09-07 | 2007-03-15 | Pioneer Corporation | コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体 |
| US8068719B2 (en) | 2006-04-21 | 2011-11-29 | Cyberlink Corp. | Systems and methods for detecting exciting scenes in sports video |
| DE102006035188B4 (de) * | 2006-07-29 | 2009-12-17 | Christoph Kemper | Musikinstrument mit Schallwandler |
| JP5034516B2 (ja) * | 2007-01-26 | 2012-09-26 | 富士通モバイルコミュニケーションズ株式会社 | ハイライトシーン検出装置 |
| JP4721066B2 (ja) * | 2007-03-16 | 2011-07-13 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US8223151B2 (en) * | 2008-01-25 | 2012-07-17 | Tektronix, Inc. | Mark extension for analysis of long record length data |
| JP5373552B2 (ja) * | 2009-10-28 | 2013-12-18 | 株式会社河合楽器製作所 | 盛り上がり検出装置及びプログラム |
| JP5540651B2 (ja) * | 2009-10-29 | 2014-07-02 | 株式会社Ｊｖｃケンウッド | 音響信号分析装置、音響信号分析方法、及び音響信号分析プログラム |
| JP2011228918A (ja) | 2010-04-20 | 2011-11-10 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| JP2011239075A (ja) | 2010-05-07 | 2011-11-24 | Sony Corp | 表示装置、表示方法及びプログラム |
| US9031384B2 (en) | 2011-06-02 | 2015-05-12 | Panasonic Intellectual Property Corporation Of America | Region of interest identification device, region of interest identification method, region of interest identification program, and region of interest identification integrated circuit |
| US10300394B1 (en) | 2015-06-05 | 2019-05-28 | Amazon Technologies, Inc. | Spectator audio analysis in online gaming environments |
| JP2018097239A (ja) * | 2016-12-15 | 2018-06-21 | カシオ計算機株式会社 | 音声再生装置及びプログラム |
| KR101891778B1 (ko) * | 2017-04-07 | 2018-08-24 | 네이버 주식회사 | 음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램 |
| JP6617825B2 (ja) * | 2018-12-28 | 2019-12-11 | 株式会社Ｊｖｃケンウッド | タギング装置、タギングシステム、タギング方法及びタギングプログラム |
| CN112182301A (zh) * | 2020-09-30 | 2021-01-05 | 北京百度网讯科技有限公司 | 用于提取视频片段的方法和装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2960939B2 (ja) | 1989-08-24 | 1999-10-12 | 日本電信電話株式会社 | シーン抽出処理方法 |
| JP3021252B2 (ja) | 1993-10-08 | 2000-03-15 | シャープ株式会社 | データ検索方法及びデータ検索装置 |
| US5533136A (en) * | 1993-11-04 | 1996-07-02 | Smith; Terry L. | Circuit for attenuating commercial interruptions during radio broadcasting |
| JPH07225593A (ja) * | 1994-02-10 | 1995-08-22 | Fuji Xerox Co Ltd | 音処理装置 |
| JPH09284704A (ja) | 1996-04-15 | 1997-10-31 | Sony Corp | 映像信号選択装置及びダイジェスト記録装置 |
| JPH09284706A (ja) | 1996-04-18 | 1997-10-31 | Sony Corp | 信号処理方法及び装置 |
| JPH1155613A (ja) | 1997-07-30 | 1999-02-26 | Hitachi Ltd | 記録および／または再生装置およびこれに用いられる記録媒体 |
| JP4297387B2 (ja) | 1998-02-23 | 2009-07-15 | 株式会社エフオーアイ | 半導体製造装置 |
| JP2001143451A (ja) | 1999-11-17 | 2001-05-25 | Nippon Hoso Kyokai <Nhk> | 自動インデックス発生装置ならびにインデックス付与装置 |
| JP3757719B2 (ja) | 1999-11-19 | 2006-03-22 | 松下電器産業株式会社 | 音響データ分析方法及びその装置 |
| US7711123B2 (en) * | 2001-04-13 | 2010-05-04 | Dolby Laboratories Licensing Corporation | Segmenting audio signals into auditory events |
| JP3727311B2 (ja) * | 2001-04-27 | 2005-12-14 | 松下電器産業株式会社 | 有意信号の抽出方法、記録媒体およびプログラム |
| JP2006508390A (ja) * | 2002-11-28 | 2006-03-09 | エイジェンシー フォー サイエンス， テクノロジー アンド リサーチ | デジタルオーディオデータの要約方法及び装置、並びにコンピュータプログラム製品 |
-
2002
- 2002-12-12 JP JP2002361302A patent/JP3891111B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-08 US US10/730,550 patent/US7214868B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004191780A (ja) | 2004-07-08 |
| US20040200337A1 (en) | 2004-10-14 |
| US7214868B2 (en) | 2007-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3891111B2 (ja) | 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム | |
| US6744922B1 (en) | Signal processing method and video/voice processing device | |
| US6748360B2 (en) | System for selling a product utilizing audio content identification | |
| JP4935355B2 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
| JP4683253B2 (ja) | Ａｖ信号処理装置および方法、プログラム、並びに記録媒体 | |
| US7742680B2 (en) | Apparatus and method for processing signals | |
| JP4332988B2 (ja) | 信号処理装置及び方法 | |
| US8532800B2 (en) | Uniform program indexing method with simple and robust audio feature enhancing methods | |
| JP2003101939A (ja) | 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム | |
| CN100372376C (zh) | 信号记录/再现装置和记录/再现方法、信号再现装置和再现方法 | |
| CN102959544A (zh) | 用于同步媒体的方法和系统 | |
| JPWO2006016605A1 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
| JP3840928B2 (ja) | 信号処理装置および方法、記録媒体、並びにプログラム | |
| US20070051230A1 (en) | Information processing system and information processing method | |
| JP4835439B2 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
| JP2000285242A (ja) | 信号処理方法及び映像音声処理装置 | |
| US20090030947A1 (en) | Information processing device, information processing method, and program therefor | |
| JP2003131685A (ja) | 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 | |
| JPWO2007013407A1 (ja) | ダイジェスト生成装置、ダイジェスト生成方法、ダイジェスト生成プログラムを格納した記録媒体、およびダイジェスト生成装置に用いる集積回路 | |
| JP4828785B2 (ja) | 情報処理装置及び携帯端末装置 | |
| JP2004334160A (ja) | 特徴量抽出装置 | |
| JP2010266880A (ja) | 携帯端末装置、情報処理方法、及びプログラム | |
| JP4341503B2 (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 | |
| JP2003173199A (ja) | 場面抽出装置 | |
| JP3797941B2 (ja) | 情報収集装置及び情報収集方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040414 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040414 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061017 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061127 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131215 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |