JP3891111B2 - 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム - Google Patents

音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム Download PDF

Info

Publication number
JP3891111B2
JP3891111B2 JP2002361302A JP2002361302A JP3891111B2 JP 3891111 B2 JP3891111 B2 JP 3891111B2 JP 2002361302 A JP2002361302 A JP 2002361302A JP 2002361302 A JP2002361302 A JP 2002361302A JP 3891111 B2 JP3891111 B2 JP 3891111B2
Authority
JP
Japan
Prior art keywords
candidate section
acoustic signal
short
sound quality
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002361302A
Other languages
English (en)
Other versions
JP2004191780A5 (ja
JP2004191780A (ja
Inventor
素嗣 安部
昭広 向井
正之 西口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002361302A priority Critical patent/JP3891111B2/ja
Priority to US10/730,550 priority patent/US7214868B2/en
Publication of JP2004191780A publication Critical patent/JP2004191780A/ja
Publication of JP2004191780A5 publication Critical patent/JP2004191780A5/ja
Application granted granted Critical
Publication of JP3891111B2 publication Critical patent/JP3891111B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/26Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、イベント等における音響信号の特徴部分に対応するインデックスを生成する音響信号処理装置及びその方法、映像信号及び/又は音響信号の記録時にそのインデックスを付与し、スキップ再生や要約再生を可能とする信号記録装置及びその方法、並びにそのような音響信号処理又は信号記録処理をコンピュータに実行させるプログラムに関する。
【0002】
【従来の技術】
放送信号や、それが録画/録音された映像/音響信号から重要なシーンを自動的に検出してインデックスを付与したり、要約映像を作成したりすることは、その内容を容易に把握したり、必要な部分を高速に検索するために有用である。例えば、スポーツイベント等の映像の場合、盛り上がった部分で自動的にインデックスを発生させ、そのインデックスを映像/音響信号に多重するなどして付与することができれば、その映像についてのダイジェスト版の作成や、2次利用の際の特定のシーンの検索が容易に可能となる。
【0003】
このような理由から、下記の特許文献1には、全周波数帯域のパワーレベルと、特定の周波数成分のパワーレベルの大小との組み合わせにより、スポーツ等のイベントの盛り上がり部分を自動的に検出し、インデックスとして付与する技術が提案されている。この技術では、観客が盛り上がった音を検出するため、多くのイベントに汎用的に適用でき、イベントの進行上重要な箇所を自動的に検出することができる。
【0004】
【特許文献1】
特開2001−143451号公報
【0005】
【発明が解決しようとする課題】
しかしながら、上述した特許文献1に記載の技術では、例えばスペクトルの形状といった音質的な要因が評価されないため、原理的に検出精度が低く、特定の周波数に他の音が混入する場合には適用することができないという問題がある。
【0006】
したがって、この技術は、イベント会場において放送局等のプロフェッショナルが録音した、他の信号がミキシングされていない音響信号にしか適用することができず、アナウンスや解説、コマーシャルメッセージ等の挿入音声が加わった音響信号、例えば放送信号には適用することができない。また、観客など、アマチュアが独自に録音する場合にも、会話音声等が重畳するため、適用は困難である。
【0007】
本発明は、このような従来の実情に鑑みて提案されたものであり、イベント等における音響信号から盛り上がり部分を高精度に検出し、その盛り上がり部分に対応するインデックスを生成する音響信号処理装置及びその方法、映像信号及び/又は音響信号の記録時に盛り上がり部分に対してインデックスを付与し、スキップ再生や要約再生を可能とする信号記録装置及びその方法、並びにそのような音響信号処理又は信号記録処理をコンピュータに実行させるプログラムを提供することを目的とする。
【0008】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る音響信号処理装置及びその方法は、例えばイベント中に発生する音響信号における特徴部分を検出する際に、上記音響信号の所定時間区間毎に短時間振幅を計算し、この短時間振幅に基づいて上記特徴部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する。
【0009】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る音響信号処理装置及びその方法は、例えばイベント中に発生する音響信号における特徴部分を検出する際に、上記音響信号の所定時間区間毎に短時間振幅を計算し、この短時間振幅に基づいて上記特徴部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する。上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、上記候補区間の評価の際には、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記特徴部分か否かを評価する。
【0010】
このような音響信号処理装置及びその方法は、音響信号の短時間振幅に基づいて特徴部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が特徴部分か否かを評価する。
【0011】
また、上述した目的を達成するために、本発明に係る信号記録装置及びその方法は、例えばイベント中に発生する音響信号の所定時間区間毎に短時間振幅を計算し、上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算して該重要度に基づいて上記候補区間が上記重要部分か否かを評価し、上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成し、上記音響信号と共に上記索引情報を記録手段に記録する。上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、上記候補区間の評価の際には、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記重要部分か否かを評価する。
【0012】
このような信号記録装置及びその方法は、音響信号の短時間振幅に基づいて重要部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が重要部分か否かを評価し、重要部分である場合には、その候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を上記音響信号と共に記録手段に記録する。
【0013】
また、本発明に係るプログラムは、上述した音響信号処理又は信号記録処理をコンピュータに実行させるものである。
【0014】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【0015】
一般に、多数のまとまった観客の集まるイベント、例えばスポーツイベント等では、注目すべき場面で多数の観客が同時に歓声、拍手や効果音を発することによる特有の音響効果(以下、「盛り上がり」という。)が生じる。
【0016】
一例として、野球放送の音響信号を図1(A)に示す。前半の平常区間ではアナウンサの解説音声が支配的であり、その背景に観客の発する音が小音量にて重畳されている。時刻tで打者がヒットを打つと、後半の盛り上がり区間では観客の盛り上がり音が支配的になっている。ここで、平常時(時刻t)と盛り上がり時(時刻t)とにおける音響信号の短時間スペクトルをそれぞれ図1(B)、(C)に示す。
【0017】
図1(A)〜(C)から分かるように、観客が盛り上がっている区間では、平常区間と比較して振幅の大きい時間が長めに持続することや、短時間スペクトルが平常区間とは異なったパターンを示すことなど、振幅や周波数構成に違いが見られる。その一方で、振幅の大きい部分は平常区間においても発生しているため、特に放送信号の場合、振幅の大小のみで盛り上がり区間か否かを判断することはできないことも確認される。
【0018】
そこで、第1の実施の形態における音響信号処理装置では、このような音響信号の振幅や周波数構成の違いを利用することで、スポーツ等の観客が集まるイベントにおける盛り上がり部分を重要シーンとして精度よく検出する。具体的には、振幅の大きい時間が所定時間以上持続した区間を盛り上がり区間の候補とし、各候補区間について振幅や音質に関する特徴量を用いて盛り上がりの程度を表すスコアを計算する。そして、このスコアに基づいて真の盛り上がり区間を検出する。
【0019】
この音響信号処理装置の概略構成を図2に示す。図2に示すように、音響信号処理装置10は、振幅計算部11と、挿入検出部12と、候補区間抽出部13と、特徴抽出部14と、候補区間評価部15と、索引生成部16とから構成されている。
【0020】
振幅計算部11は、入力された音響信号の所定時間区間毎に2乗平均や絶対値の平均を計算することで短時間振幅A(t)を計算する。なお、この振幅計算部11の前段に帯域通過フィルタを設けて予め不要な周波数成分を除去し、歓声等の振幅を検出するために必要十分な帯域に絞ってから短時間振幅A(t)を計算するようにしても構わない。振幅計算部11は、計算した短時間振幅A(t)を挿入検出部12及び候補区間抽出部13に供給する。
【0021】
挿入検出部12は、入力された音響信号が放送信号である場合に、リプレイシーンやコマーシャルメッセージ(以下、「コマーシャル」と略称する。)等の他の情報が挿入された区間を検出する。ここで、挿入シーンは長くても1分程度であり、挿入前後では音量が極端に小さくなるという特徴があり、一方で本編の音響信号は観客音が常に重畳されているため、音量が極端に小さくなることは殆ど生じない。そこで、挿入検出部12は、振幅計算部11から供給された短時間振幅A(t)が所定の閾値未満となる小音量区間が所定時間内に複数回発生した場合に、この小音量区間によって挟まれた区間を挿入区間として検出する。
【0022】
また、挿入検出部12において音響信号の他に映像信号も利用できる場合には、民間放送のコマーシャルをより正確に検出するために、例えば本件発明者が先に提案している特開2002−16873号公報に記載された技術を用いることができる。この技術は、以下のように要約される。
【0023】
すなわち、日本国内においては、特殊な例を除くほぼ全てのコマーシャルが15秒、30秒、60秒の長さで製作されており、また、各コマーシャルの前後では必然的に音量が下がり、映像信号が切り替わるため、これらを検出の「必須条件」とする。また、規格に基づいて製作されるという制約、短い時間で宣伝効果を上げるためのものであるという制約、及び番組構成上の都合などによる制約の元で製作された結果として現れる一定の傾向を示す特徴を検出の「付加条件」とする。さらに、上記付加条件を満たす区間がオーバーラップして存在する場合には、少なくともその何れかの区間は正しいコマーシャル区間では有り得ないという条件を検出の「論理条件」とする。そして、「必須条件」に基づき決定論的にコマーシャル候補を抽出し、「付加条件」に基づくコマーシャルらしさの統計論的な評価により候補を選択し、「論理条件」により候補のオーバーラップ関係を解消することにより、高精度にコマーシャルを検出することができる。
【0024】
挿入検出部12は、以上のようにして検出した挿入区間に関する挿入区間情報を候補区間評価部15に供給する。なお、入力された音響信号が放送信号でない場合には、この挿入検出部12を設けなくても構わない。
【0025】
候補区間抽出部13は、振幅計算部11から供給された短時間振幅A(t)を用いて、盛り上がり区間の候補を抽出する。上述したように、盛り上がり区間では、平均的に音量の大きい区間が長く継続するため、候補区間抽出部13は、予め振幅閾値Athsdと時間閾値Tthsdとを設定しておき、A(t)≧Athsdである区間長TがT≧Tthsdである場合に、その区間を盛り上がり区間の候補とし、その開始位置及び終了位置を抽出する。なお、振幅閾値Athsdとしては、予め所定値を設定してもよく、対象とする音響信号の振幅の平均及び分散に基づいて設定してもよい。前者の場合、放送に合わせて実時間で処理することができ、後者の場合、スタジアム、放送局、ミキシング、或いはイベント毎の音量の差に関して正規化された閾値を設定することができる。
【0026】
ここで、図3(A)に示す図1(A)と同一の音響信号について、2つの候補区間が抽出された例を図3(B)に示す。図3(B)に示すように、第1の候補区間は平常区間に属し、第1の候補区間は盛り上がり区間に属している。
【0027】
特徴抽出部14は、入力された音響信号から音質に関する音質特徴量Xを抽出し、盛り上がり時に特有の音質を定量化する。具体的には、図4のフローチャートに示すように、始めにステップS1において所定時間区間の音響信号を取得し、ステップS2において短時間フーリエ変換やLPC(Linear Predictive Coding)法などを用いてパワースペクトラム係数S,・・・,SM−1に変換する。なお、Mはスペクトラムの次数を示す。
【0028】
続いてステップS3において、以下の式(1)に従ってスペクトラム係数S,・・・,SM−1加重和を計算し、音質特徴量Xを得る。
【0029】
【数1】
Figure 0003891111
【0030】
ここで、式(1)においてW加重係数を示し、θは所定のバイアス値を示す。この加重係数W及びバイアス値θの決定には種々の統計的判別法を利用することができる。例えば、予め多数のシーンの盛り上がり程度を主観的に評価し、スペクトラム係数と望ましい特徴量値(例えば0.0〜1.0)とを組にした学習サンプルを用意して重回帰分析により直線近似される加重を求め、加重係数W及びバイアス値θを決定することができる。また、パーセプトロン等のニューラルネットの技法を用いてもよく、ベイズ判別法やベクトル量子化等の判別法を用いてもよい。
【0031】
なお、特徴抽出部14では、パワースペクトラム係数に代えて、対数ケプストラム係数の逆フーリエ変換であるケプストラム係数や、スペクトラム係数の固有ベクトルによる変換であるカルーネン−レーベ(Karhunen-Loeve;KL)変換を用いてもよい。これらはスペクトラムの概形を集約する変換であるため、それぞれ低次の項のみを用いて加重和を計算して音質特徴量Xとすればよい。
【0032】
図3(A)に示す音響信号について、KL変換を用いて計算した音質特徴量Xを図3(C)に示す。図3(C)に示すように、平常区間に属する第1の候補区間と盛り上がり区間に属する第2の候補区間とでは、音質特徴量Xの値に明確な違いが現れている。
【0033】
図2に戻って、候補区間評価部15は、振幅計算部11から供給された短時間振幅A(t)と特徴抽出部14から供給された音質特徴量Xとに基づいて、各候補区間における盛り上がりの程度をスコアとして定量化する。具体的には、図5のフローチャートに示すように、始めにステップS10において候補区間抽出部13から候補区間を取得し、ステップS11において、短時間振幅A(t)と音質特徴量Xとを用いて、各候補区間の区間長y、短時間振幅A(t)の最大値y、短時間振幅A(t)の平均値y、音質特徴量Xが所定の閾値を超える長さy、音質特徴量Xの最大値y、音質特徴量Xの平均値yを計算し、候補区間の特徴ベクトルとする。なお、音質特徴量Xが所定の閾値を超える長さyの代わりに、音質特徴量Xが所定の閾値を超える長さの候補区間長に対する割合を特徴量として用いても構わない。
【0034】
ここで、候補区間評価部15において候補区間内での音質特徴量Xの最大値を計算することで、盛り上がり時にアナウンサの音声が重畳され、スペクトル分布が歪んでいるような場合でも、瞬時的にアナウンサの音声が途切れる部分の特徴量を用いることができ、放送信号のような他の音声が重畳されている音響信号についても適用可能となる。
【0035】
続いてステップS12において、以下の式(2)に従って各候補区間の盛り上がりの程度を表すスコア値zを計算する。
【0036】
【数2】
Figure 0003891111
【0037】
ここで、式(2)においてu加重係数を示し、uは所定のバイアス値を示す。この加重係数u及びバイアス値uの決定には種々の統計的判別法を利用することができる。例えば、予め多数のシーンの盛り上がり程度を主観的に評価し、特徴ベクトルと望ましいスコア値(例えば0.0〜1.0)とを組にした学習サンプルを用意して重回帰分析により直線近似される加重を求め、加重係数u及びバイアス値uを決定することができる。また、パーセプトロン等のニューラルネットの技法を用いてもよく、ベイズ判別法やベクトル量子化等の判別法を用いてもよい。
【0038】
最後にステップS13において、候補区間のうち、挿入検出部12から供給された挿入区間情報で表される区間、或いはスコア値zが所定の閾値以下である候補区間を盛り上がり区間から除外する。
【0039】
候補区間評価部15は、以上のようにして求めた盛り上がり区間の開始位置及び終了位置とスコア値zとを索引生成部16に供給する。
【0040】
索引生成部16は、候補区間評価部15から供給された盛り上がり区間の開始位置及び終了位置とスコア値zとを含むインデックスを生成し、そのインデックスを出力する。この際、予め抽出区間数を設定し、その抽出区間数に達するまでスコア値zの大きい順にインデックスを生成するようにしても構わない。また、予め抽出時間長を設定し、その抽出時間長に達するまでスコア値zの大きい順にインデックスを生成するようにしても構わない。
【0041】
以上のように、第1の実施の形態における音響信号処理装置10によれば、短時間振幅A(t)が振幅閾値Athsd以上である区間長Tが時間閾値Tthsd以上である区間を候補区間とし、各候補区間について振幅や音質に関する特徴量(y〜y)を用いて盛り上がりの程度を表すスコア値zを計算することで、真の盛り上がり区間を高精度に検出し、その盛り上がり区間に対応するインデックスを生成することができる。
【0042】
次に、第2の実施の形態における記録再生装置は、上述した音響信号処理装置10が適用されたものであり、放送信号の録画/録音時に盛り上がり区間の開始位置及び終了位置等を記録し、再生時に盛り上がり区間のみをスキップ再生したり、要約映像を再生したりすることを可能とする。
【0043】
この記録再生装置の概略構成を図6に示す。図6に示すように、記録再生装置20は、受信部21と、ジャンル選択部22と、記録部23と、重要シーン検出部24と、サムネイル生成部25と、シーン選択部26と、再生部27とから構成されている。ここで、重要シーン検出部24は、上述した音響信号処理装置10に対応する。
【0044】
この記録再生装置20における映像/音響信号の記録動作について、図6と図7のフローチャートとを用いて説明する。始めにステップS20において、受信部21は、図示しないタイマやユーザからの指示により放送信号を受信して復調し、復調した放送信号を記録部23に対して記録する録画/録音動作を開始する。
【0045】
次にステップS21において、ジャンル選択部22は、電子番組ガイド(Electronic Program Guide;EPG)の情報を用いて、放送信号のジャンルが観客の歓声等を伴うイベントに関するものであるか否かを判別する。ステップS21において観客の歓声等を伴うイベントに関するものでない場合(No)にはステップS22に進み、受信部21は、記録部23に対する通常の録画/録音動作を行い、ステップS23でタイマ又はユーザの指示により録画/録音を終了する。一方、観客の歓声等を伴うイベントに関するものである場合(Yes)には、ステップS24に進む。
【0046】
なお、ステップS21では、EPGの情報を用いるほか、ユーザがジャンルを指示するようにしてもよい。また、放送信号からジャンルを自動推定しても構わない。例えば、候補区間数及び各候補区間のスコア値zが所定の閾値以上である場合に、適用可能なジャンルと判定することができる。
【0047】
ステップS24では、受信部21は、記録部23に対する通常の録画/録音動作を行うと同時に、重要シーン検出部24は、重要シーンとして盛り上がり区間の開始位置及び終了位置を検出する。
【0048】
続いてステップS25において、受信部21は、タイマ又はユーザの指示により録画/録音を終了するが、引き続きステップS26において、重要シーン検出部24は、盛り上がり区間の開始位置及び終了位置、スコア値zを含むインデックスを記録部23に記録し、サムネイル生成部25は、盛り上がり区間のサムネイル画像を記録部23に記録する。
【0049】
このように、記録再生装置20では、放送信号の録画/録音時に盛り上がり区間を検出し、その盛り上がり区間の開始位置及び終了位置、スコア値zを含むインデックスや、盛り上がり区間のサムネイル画像を記録部23に記録する。したがって、記録再生装置20は、記録部23に記録されたサムネイル画像を表示することができるほか、盛り上がり区間のインデックスを利用して、以下に説明するようなスキップ再生や要約再生が可能となる。
【0050】
この記録再生装置20におけるスキップ再生動作について、図6と図8のフローチャートとを用いて説明する。始めにステップS30において、再生部27は、ユーザからの指示により記録部23に記録されている映像/音響信号の再生を開始し、ステップS31において、ユーザから停止命令がなされたか否かを判別する。ステップS31において停止命令がなされた場合(Yes)には再生動作を終了し、そうでない場合(No)にはステップS32に進む。
【0051】
ステップS32では、再生部27は、ユーザからスキップ命令がなされたか否かを判別する。スキップ命令がなされていない場合(No)にはステップS30に戻って再生動作を継続し、スキップ命令がなされた場合(Yes)にはステップS33に進む。
【0052】
ステップS33では、再生部27は、盛り上がり区間に付与されたインデックスを参照して、次の開始インデックス点への頭出しを行ってステップS30に戻る。
【0053】
続いて、この記録再生装置20における要約再生動作について、図6と図9のフローチャートとを用いて説明する。始めにステップS40において、シーン選択部26は、例えば所定の時間長に合わせて、再生するシーンをスコア値zに基づいて選択し、その開始位置及び終了位置を決定する。
【0054】
次にステップS41において、再生部27は、最初の開始インデックス点への頭出しを行い、ステップS42において再生動作を行う。
【0055】
続いてステップS43において、再生部27は、終了インデックス点まで再生したか否かを判別する。終了インデックス点まで再生していない場合(No)には、ステップS42に戻って再生動作を継続し、終了インデックス点まで再生した場合(Yes)にはステップS44に進む。
【0056】
ステップS44では、再生部27は、次の開始インデックス点があるか否かを判別する。次の開始インデックス点がある場合(Yes)には、ステップS45において、再生部27は、その開始インデックス点への頭出しを行ってステップS42に戻り、次の開始インデックス点がない場合(No)には、再生動作を終了する。
【0057】
以上のように、本実施の形態における記録再生装置20によれば、放送信号の録画/録音時に盛り上がり区間を検出し、その盛り上がり区間の開始位置及び終了位置、スコア値zを含むインデックスや、盛り上がり区間のサムネイル画像を記録部23に記録することにより、サムネイル画像を例えば重要度を示すスコア値zに応じて表示することができるほか、盛り上がり区間のインデックスを利用してスキップ再生や要約再生が可能となる。
【0058】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【0059】
例えば、上述した第2の実施の形態では、映像信号と音響信号との両方を用いるものとして説明したが、これに限定されるものではなく、音響信号のみであっても同様の効果が得られる。
【0060】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【0061】
【発明の効果】
以上詳細に説明したように本発明に係る音響信号処理装置及びその方法は、例えばイベント中に発生する音響信号における特徴部分を検出する際に、上記音響信号の所定時間区間毎に短時間振幅を計算し、この短時間振幅に基づいて上記特徴部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する。
【0062】
ここで、本発明に係る音響信号処理装置及びその方法では、上記特徴部分の少なくとも開始位置及び終了位置を含む索引情報を生成するようにしてもよい。
【0063】
このような音響信号処理装置及びその方法によれば、音響信号の短時間振幅に基づいて特徴部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が特徴部分か否かを評価することにより、例えばイベントにおける盛り上がり部分を高精度に検出することができる。
【0064】
また、本発明に係る信号記録装置及びその方法は、例えばイベント中に発生する音響信号の所定時間区間毎に短時間振幅を計算し、上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算して該重要度に基づいて上記候補区間が上記重要部分か否かを評価し、上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成し、上記音響信号と共に上記索引情報を記録手段に記録する。
【0065】
このような信号記録装置及びその方法によれば、音響信号の短時間振幅に基づいて重要部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が重要部分か否かを評価し、重要部分である場合には、その候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を上記音響信号と共に記録手段に記録することにより、例えば重要部分のみをスキップ再生することや、重要部分のみの要約映像を再生することが可能となる。
【0066】
また、本発明に係るプログラムは、上述した音響信号処理又は信号記録処理をコンピュータに実行させるものである。
【0067】
このようなプログラムによれば、上述した音響信号処理及び信号記録処理をソフトウェアにより実現することができる。
【図面の簡単な説明】
【図1】イベントにおける音響信号の例を示す図であり、同図(A)は、野球放送の音響信号を示し、同図(B)、(C)は、それぞれ平常時と盛り上がり時とにおける音響信号の短時間スペクトルを示す。
【図2】第1の実施の形態における音響信号処理装置の概略構成を説明する図である。
【図3】同音響信号処理装置の候補区間抽出部及び特徴抽出部における処理の一例を説明する図であり、同図(A)は、イベントにおける音響信号の例を示し、同図(B)は、候補区間抽出部において検出される候補区間を示し、同図(C)は、特徴抽出部において計算される音質特徴量を示す。
【図4】同音響信号処理装置の特徴抽出部における動作を説明するフローチャートである。
【図5】同音響信号処理装置の候補区間評価部における動作を説明するフローチャートである。
【図6】第2の実施の形態における記録再生装置の概略構成を説明する図である。
【図7】同記録再生装置における録画/録音動作を説明するフローチャートである。
【図8】同記録再生装置におけるスキップ再生動作を説明するフローチャートである。
【図9】同記録再生装置における要約再生動作を説明するフローチャートである。
【符号の説明】
10 音響信号処理装置、11 振幅計算部、12 挿入検出部、13 候補区間抽出部、14 特徴抽出部、15 候補区間評価部、16 索引生成部、20 記録再生装置、21 受信部、22 ジャンル選択部、23 記録部、24重要シーン検出部、25 サムネイル生成部、26 シーン選択部、27 再生部

Claims (14)

  1. 音響信号における特徴部分を検出する音響信号処理装置において、
    上記音響信号の所定時間区間毎に短時間振幅を計算する振幅計算手段と、
    上記短時間振幅に基づいて上記特徴部分の候補区間を抽出する候補区間抽出手段と、
    上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出手段と、
    上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する候補区間評価手段とを備え、
    上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、
    上記候補区間評価手段は、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記特徴部分か否かを評価することを特徴とする音響信号処理装置。
  2. 上記音響信号は、イベント中に発生する音響信号であることを特徴とする請求項1記載の音響信号処理装置。
  3. 上記特徴部分の少なくとも開始位置及び終了位置を含む索引情報を生成する索引生成手段をさらに備えることを特徴とする請求項1記載の音響信号処理装置。
  4. 上記候補区間抽出手段は、上記短時間振幅が第1の閾値を超える区間が第2の閾値を超えて継続する場合に、該区間を候補区間として抽出することを特徴とする請求項1記載の音響信号処理装置。
  5. 上記候補区間評価手段は、上記候補区間における上記音質特徴量が所定の閾値を超える長さ若しくはその候補区間長に対する割合、又は上記候補区間における上記音質特徴量平均値の少なくとも1つをさらに用いて加重和を計算し、上記候補区間が上記特徴部分か否かを評価することを特徴とする請求項1記載の音響信号処理装置。
  6. 上記音響信号における挿入信号を検出する挿入検出手段をさらに備え、
    上記候補区間評価手段は、さらに上記挿入検出手段によって検出された挿入区間に基づいて、上記候補区間が上記特徴部分か否かを評価する ことを特徴とする請求項1記載の音響信号処理装置。
  7. 上記挿入検出手段は、上記短時間振幅が所定の閾値未満となる小音量区間が所定時間内に複数回発生した場合に、この小音量区間によって挟まれた区間を上記挿入区間として検出することを特徴とする請求項記載の音響信号処理装置。
  8. 音響信号における特徴部分を検出する音響信号処理方法において、
    上記音響信号の所定時間区間毎に短時間振幅を計算する振幅計算工程と、
    上記短時間振幅に基づいて上記特徴部分の候補区間を抽出する候補区間抽出工程と、
    上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出工程と、
    上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する候補区間評価工程とを有し、
    上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、
    上記候補区間評価工程では、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記特徴部分か否かを評価することを特徴とする音響信号処理方法。
  9. 音響信号における特徴部分を検出する処理をコンピュータに実行させるプログラムにおいて、
    上記音響信号の所定時間区間毎に短時間振幅を計算する振幅計算工程と、
    上記短時間振幅に基づいて上記特徴部分の候補区間を抽出する候補区間抽出工程と、
    上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出工程と、
    上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する候補区間評価工程とを有し、
    上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、
    上記候補区間評価工程では、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記特徴部分か否かを評価することを特徴とするプログラム。
  10. 音響信号の所定時間区間毎に短時間振幅を計算する振幅計算手段と、
    上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する候補区間抽出手段と、
    上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出手段と、
    上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算し、該重要度に基づいて上記候補区間が上記重要部分か否かを評価する候補区間評価手段と、
    上記候補区間評価手段によって上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成する索引生成手段と、
    上記音響信号と共に上記索引情報が記録される記録手段とを備え、
    上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、
    上記候補区間評価手段は、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記重要部分か否かを評価することを特徴とする信号記録装置。
  11. 上記音響信号が適用可能なジャンルであるか否かを識別する識別手段をさらに備えることを特徴とする請求項10記載の信号記録装置。
  12. 上記識別手段は、候補区間数及び各候補区間の重要度が所定の閾値以上である場合に適用可能なジャンルと判定することを特徴とする請求項11記載の信号記録装置。
  13. 音響信号の所定時間区間毎に短時間振幅を計算する振幅計算工程と、
    上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する候補区間抽出工程と、
    上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出工程と、
    上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算し、該重要度に基づいて上記候補区間が上記重要部分か否かを評価する候補区間評価工程と、
    上記候補区間評価工程にて上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成する索引生成工程と、
    上記音響信号と共に上記索引情報を記録手段に記録する記録工程とを有し、
    上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、
    上記候補区間評価工程では、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記重要部分か否かを評価することを特徴とする信号記録方法。
  14. 所定の処理をコンピュータに実行させるプログラムにおいて、
    音響信号の所定時間区間毎に短時間振幅を計算する振幅計算工程と、
    上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する候補区間抽出工程と、
    上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出工程と、
    上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算し、該重要度に基づいて上記候補区間が上記重要部分か否かを評価する候補区間評価工程と、
    上記候補区間評価工程にて上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成する索引生成工程と、
    上記音響信号と共に上記索引情報を記録手段に記録する記録工程とを有し、
    上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数の加重和、上記音響信号の短時間ケプストラム係数の加重和、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数の加重和であり、
    上記候補区間評価工程では、少なくとも、上記候補区間の区間長と、上記候補区間における上記短時間振幅の最大値若しくは平均値と、上記候補区間における上記音質特徴量の最大値との加重和を用いて、上記候補区間が上記重要部分か否かを評価することを特徴とするプログラム。
JP2002361302A 2002-12-12 2002-12-12 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム Expired - Fee Related JP3891111B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002361302A JP3891111B2 (ja) 2002-12-12 2002-12-12 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム
US10/730,550 US7214868B2 (en) 2002-12-12 2003-12-08 Acoustic signal processing apparatus and method, signal recording apparatus and method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002361302A JP3891111B2 (ja) 2002-12-12 2002-12-12 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2004191780A JP2004191780A (ja) 2004-07-08
JP2004191780A5 JP2004191780A5 (ja) 2005-03-17
JP3891111B2 true JP3891111B2 (ja) 2007-03-14

Family

ID=32760106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002361302A Expired - Fee Related JP3891111B2 (ja) 2002-12-12 2002-12-12 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム

Country Status (2)

Country Link
US (1) US7214868B2 (ja)
JP (1) JP3891111B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100989259B1 (ko) * 2002-08-27 2010-10-20 소니 주식회사 데이터 처리 장치 및 방법, 및 프로그램이 기록되어 있는 컴퓨터 판독 가능 기록 매체
US20040167767A1 (en) * 2003-02-25 2004-08-26 Ziyou Xiong Method and system for extracting sports highlights from audio signals
CN100504922C (zh) * 2003-12-19 2009-06-24 创新科技有限公司 处理数字图像的方法和系统
ATE485672T1 (de) * 2003-12-19 2010-11-15 Creative Tech Ltd Digitale standbildkamera mit audio-decodierung und -codierung, einem druckbaren audioformat und verfahren
CN1950879B (zh) * 2004-06-30 2011-03-30 松下电器产业株式会社 音乐信息计算设备和音乐再现设备
US7598447B2 (en) * 2004-10-29 2009-10-06 Zenph Studios, Inc. Methods, systems and computer program products for detecting musical notes in an audio signal
US8291095B2 (en) * 2005-04-20 2012-10-16 Limelight Networks, Inc. Methods and systems for content insertion
US8738787B2 (en) * 2005-04-20 2014-05-27 Limelight Networks, Inc. Ad server integration
KR100735444B1 (ko) * 2005-07-18 2007-07-04 삼성전자주식회사 오디오데이터 및 악보이미지 추출방법
WO2007029489A1 (ja) * 2005-09-07 2007-03-15 Pioneer Corporation コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体
US8068719B2 (en) * 2006-04-21 2011-11-29 Cyberlink Corp. Systems and methods for detecting exciting scenes in sports video
DE102006035188B4 (de) * 2006-07-29 2009-12-17 Christoph Kemper Musikinstrument mit Schallwandler
JP5034516B2 (ja) * 2007-01-26 2012-09-26 富士通モバイルコミュニケーションズ株式会社 ハイライトシーン検出装置
JP4721066B2 (ja) * 2007-03-16 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US8223151B2 (en) * 2008-01-25 2012-07-17 Tektronix, Inc. Mark extension for analysis of long record length data
JP5373552B2 (ja) * 2009-10-28 2013-12-18 株式会社河合楽器製作所 盛り上がり検出装置及びプログラム
JP5540651B2 (ja) * 2009-10-29 2014-07-02 株式会社Jvcケンウッド 音響信号分析装置、音響信号分析方法、及び音響信号分析プログラム
JP2011228918A (ja) 2010-04-20 2011-11-10 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011239075A (ja) 2010-05-07 2011-11-24 Sony Corp 表示装置、表示方法及びプログラム
WO2012164818A1 (ja) * 2011-06-02 2012-12-06 パナソニック株式会社 興味区間特定装置、興味区間特定方法、興味区間特定プログラム、及び、興味区間特定集積回路
US10300394B1 (en) 2015-06-05 2019-05-28 Amazon Technologies, Inc. Spectator audio analysis in online gaming environments
JP2018097239A (ja) * 2016-12-15 2018-06-21 カシオ計算機株式会社 音声再生装置及びプログラム
KR101891778B1 (ko) * 2017-04-07 2018-08-24 네이버 주식회사 음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램
JP6617825B2 (ja) * 2018-12-28 2019-12-11 株式会社Jvcケンウッド タギング装置、タギングシステム、タギング方法及びタギングプログラム
CN112182301A (zh) 2020-09-30 2021-01-05 北京百度网讯科技有限公司 用于提取视频片段的方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2960939B2 (ja) 1989-08-24 1999-10-12 日本電信電話株式会社 シーン抽出処理方法
JP3021252B2 (ja) 1993-10-08 2000-03-15 シャープ株式会社 データ検索方法及びデータ検索装置
US5533136A (en) * 1993-11-04 1996-07-02 Smith; Terry L. Circuit for attenuating commercial interruptions during radio broadcasting
JPH07225593A (ja) * 1994-02-10 1995-08-22 Fuji Xerox Co Ltd 音処理装置
JPH09284704A (ja) 1996-04-15 1997-10-31 Sony Corp 映像信号選択装置及びダイジェスト記録装置
JPH09284706A (ja) 1996-04-18 1997-10-31 Sony Corp 信号処理方法及び装置
JPH1155613A (ja) 1997-07-30 1999-02-26 Hitachi Ltd 記録および/または再生装置およびこれに用いられる記録媒体
JP4297387B2 (ja) 1998-02-23 2009-07-15 株式会社エフオーアイ 半導体製造装置
JP2001143451A (ja) 1999-11-17 2001-05-25 Nippon Hoso Kyokai <Nhk> 自動インデックス発生装置ならびにインデックス付与装置
JP3757719B2 (ja) 1999-11-19 2006-03-22 松下電器産業株式会社 音響データ分析方法及びその装置
US7711123B2 (en) * 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
TWI248508B (en) * 2001-04-27 2006-02-01 Matsushita Electric Ind Co Ltd Method for extracting significant signal, recording medium and program
CN100397387C (zh) * 2002-11-28 2008-06-25 新加坡科技研究局 数字声音数据的摘要制作方法和设备

Also Published As

Publication number Publication date
US20040200337A1 (en) 2004-10-14
US7214868B2 (en) 2007-05-08
JP2004191780A (ja) 2004-07-08

Similar Documents

Publication Publication Date Title
JP3891111B2 (ja) 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム
US6744922B1 (en) Signal processing method and video/voice processing device
US6748360B2 (en) System for selling a product utilizing audio content identification
JP4935355B2 (ja) 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
JP4683253B2 (ja) Av信号処理装置および方法、プログラム、並びに記録媒体
US7742680B2 (en) Apparatus and method for processing signals
JP4332988B2 (ja) 信号処理装置及び方法
US8532800B2 (en) Uniform program indexing method with simple and robust audio feature enhancing methods
JP2003101939A (ja) 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム
CN100372376C (zh) 信号记录/再现装置和记录/再现方法、信号再现装置和再现方法
JPWO2006016605A1 (ja) 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
JP3840928B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
TWI408950B (zh) 分析運動視訊之系統、方法及具有程式之電腦可讀取記錄媒體
US20070051230A1 (en) Information processing system and information processing method
JP4835439B2 (ja) 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
JP2000285242A (ja) 信号処理方法及び映像音声処理装置
US20090030947A1 (en) Information processing device, information processing method, and program therefor
JP2003131685A (ja) 信号処理方法及び装置、信号処理プログラム、並びに記録媒体
JPWO2007013407A1 (ja) ダイジェスト生成装置、ダイジェスト生成方法、ダイジェスト生成プログラムを格納した記録媒体、およびダイジェスト生成装置に用いる集積回路
JP4828785B2 (ja) 情報処理装置及び携帯端末装置
JP2004334160A (ja) 特徴量抽出装置
JP2010266880A (ja) 携帯端末装置、情報処理方法、及びプログラム
JP4341503B2 (ja) 情報信号処理方法、情報信号処理装置及びプログラム記録媒体
JP2003173199A (ja) 場面抽出装置
JP3797941B2 (ja) 情報収集装置及び情報収集方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040414

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061127

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111215

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121215

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131215

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees