JP3517349B2 - 音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体 - Google Patents
音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体Info
- Publication number
- JP3517349B2 JP3517349B2 JP06815998A JP6815998A JP3517349B2 JP 3517349 B2 JP3517349 B2 JP 3517349B2 JP 06815998 A JP06815998 A JP 06815998A JP 6815998 A JP6815998 A JP 6815998A JP 3517349 B2 JP3517349 B2 JP 3517349B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- video
- information
- detecting
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、画像の特徴を用い
て音楽映像を分類する音楽映像分類方法、装置および音
楽映像分類プログラムを記録した記録媒体に関する。
て音楽映像を分類する音楽映像分類方法、装置および音
楽映像分類プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】音楽はポップス、ジャズ、ロック、演歌
などのジャンルの他、悲しい曲、楽しい曲、テンポの早
い曲、遅い曲などの分類があるが、自動的にこのような
分類を行うためには高度な音楽認識技術が必要であり、
実用には至っていない。ただテンポの抽出には、ドラム
のビートを周波数スペクトルの急激な立ち上がりから検
出し、利用するものがある。
などのジャンルの他、悲しい曲、楽しい曲、テンポの早
い曲、遅い曲などの分類があるが、自動的にこのような
分類を行うためには高度な音楽認識技術が必要であり、
実用には至っていない。ただテンポの抽出には、ドラム
のビートを周波数スペクトルの急激な立ち上がりから検
出し、利用するものがある。
【０００３】
【発明が解決しようとする課題】ドラムのビートを検出
する方法では、ドラムのような強いパワーを持つ楽器を
用いない場合には、正確なテンポが抽出出来ないという
問題があった。
する方法では、ドラムのような強いパワーを持つ楽器を
用いない場合には、正確なテンポが抽出出来ないという
問題があった。
【０００４】本発明は、音楽映像の画像に含まれる特徴
を用いて、曲のテンポの早さを自動的に検出し、音楽を
分類することを目的としている。
を用いて、曲のテンポの早さを自動的に検出し、音楽を
分類することを目的としている。
【０００５】
【課題を解決するための手段】上記目的を達成するた
め、本発明においては、映像情報を入力し、映像情報の
音情報から音楽を検出し、検出された音楽に対応する画
像情報の特徴を抽出し、画像の特徴に基づいて音楽を分
類することにより、ビートが明確に検出できないような
音楽でもテンポによる分類ができるようにしている。
め、本発明においては、映像情報を入力し、映像情報の
音情報から音楽を検出し、検出された音楽に対応する画
像情報の特徴を抽出し、画像の特徴に基づいて音楽を分
類することにより、ビートが明確に検出できないような
音楽でもテンポによる分類ができるようにしている。
【０００６】また、場面の替わり目であるカット点の有
無、テロップの有無および大きさ、被写体あるいはカメ
ラの動きのうち、少なくとも１つを検出することによ
り、音情報を用いずに音楽のテンポを算出することがで
きるようにしている。
無、テロップの有無および大きさ、被写体あるいはカメ
ラの動きのうち、少なくとも１つを検出することによ
り、音情報を用いずに音楽のテンポを算出することがで
きるようにしている。
【０００７】また、カット点の単位時間あたりの出現頻
度、テロップの単位時間あたりの出現頻度を大きさで正
規化した値、被写体あるいはカメラの動きの大きさのう
ち少なくとも１つに基づいて音楽を分類するようにして
いる。
度、テロップの単位時間あたりの出現頻度を大きさで正
規化した値、被写体あるいはカメラの動きの大きさのう
ち少なくとも１つに基づいて音楽を分類するようにして
いる。
【０００８】
【発明の実施の形態】以下に、本発明の実施例について
図面を参照して説明する。図１は、本発明の一実施形態
の音楽映像分類装置の概略構成を示すブロック図であ
る。本実施形態の音楽映像分類装置は、映像を入力する
映像入力部１０１と、音楽を検出する音楽検出部１０２
と、検出された音楽を蓄積する音楽蓄積部１０３と、画
像の特徴を抽出する画像特徴抽出部１０４と、音楽を分
類する音楽分類部１０８と、蓄積された音楽を検索し、
再生する音楽再生部１０９から構成されている。また、
画像特徴抽出部１０４は、カット点検出部１０５と、テ
ロップ検出部１０６と、動き検出部１０７から構成され
ている。
図面を参照して説明する。図１は、本発明の一実施形態
の音楽映像分類装置の概略構成を示すブロック図であ
る。本実施形態の音楽映像分類装置は、映像を入力する
映像入力部１０１と、音楽を検出する音楽検出部１０２
と、検出された音楽を蓄積する音楽蓄積部１０３と、画
像の特徴を抽出する画像特徴抽出部１０４と、音楽を分
類する音楽分類部１０８と、蓄積された音楽を検索し、
再生する音楽再生部１０９から構成されている。また、
画像特徴抽出部１０４は、カット点検出部１０５と、テ
ロップ検出部１０６と、動き検出部１０７から構成され
ている。
【０００９】図２は、本発明の一実施例の音楽映像分類
装置の処理の流れを示したフローチャートである。本発
明をソフトウェアで実現した場合でも同様の処理の流れ
となる。
装置の処理の流れを示したフローチャートである。本発
明をソフトウェアで実現した場合でも同様の処理の流れ
となる。
【００１０】まず、音楽検出処理２０１において、映像
における音情報が解析され、音楽の検出が行われる。音
楽の検出は、音情報の周波数スペクトルのピークが、周
波数方向に対して時間的に安定しているという特徴を用
いる方法（南他、「音解析による映像インデクシン
グ」、電子情報通信学会総合大会、Ｄ−１２−６４、１
９９７）などを用いることが可能である。
における音情報が解析され、音楽の検出が行われる。音
楽の検出は、音情報の周波数スペクトルのピークが、周
波数方向に対して時間的に安定しているという特徴を用
いる方法（南他、「音解析による映像インデクシン
グ」、電子情報通信学会総合大会、Ｄ−１２−６４、１
９９７）などを用いることが可能である。
【００１１】なお当該「音解析による映像インデクシン
グ」は、映像に含まれる音情報から、音声や音楽を自動
的に検出し、これらが含まれる部分のみを抜き出して映
像を要約するものである。例えば、歌番組のトークを聞
かずに歌の部分のみを聞きたいといった場合に有効であ
る。音楽が存在する場合、周波数スペクトルのピーク
は、周波数方向に対して時間的に安定しているという特
徴があることから、ピークを検出し、時間的な持続性を
算出することによって、音楽を検出することができる。
グ」は、映像に含まれる音情報から、音声や音楽を自動
的に検出し、これらが含まれる部分のみを抜き出して映
像を要約するものである。例えば、歌番組のトークを聞
かずに歌の部分のみを聞きたいといった場合に有効であ
る。音楽が存在する場合、周波数スペクトルのピーク
は、周波数方向に対して時間的に安定しているという特
徴があることから、ピークを検出し、時間的な持続性を
算出することによって、音楽を検出することができる。
【００１２】判断２０２において音楽の開始が判断さ
れ、音楽が開始された場合には、音楽蓄積処理２０３に
よって音楽を蓄積しながら、対応する画像情報から画像
特徴抽出処理２０４が行われる。画像特徴抽出処理２０
４では、カット点の検出、テロップ領域の検出、被写体
あるいはカメラの動きの検出のうち少なくともいずれか
１つが行われる。カット点の検出には、画素値のフレー
ム間差分を用いる方法（谷口他、「映像ショット切換え
検出法とその映像アクセスインタフェースへの応用」、
電子情報通信学会論文誌Ｊ７９−Ｄ−２、Ｎｏ．４、１
９９６）などが利用可能である。
れ、音楽が開始された場合には、音楽蓄積処理２０３に
よって音楽を蓄積しながら、対応する画像情報から画像
特徴抽出処理２０４が行われる。画像特徴抽出処理２０
４では、カット点の検出、テロップ領域の検出、被写体
あるいはカメラの動きの検出のうち少なくともいずれか
１つが行われる。カット点の検出には、画素値のフレー
ム間差分を用いる方法（谷口他、「映像ショット切換え
検出法とその映像アクセスインタフェースへの応用」、
電子情報通信学会論文誌Ｊ７９−Ｄ−２、Ｎｏ．４、１
９９６）などが利用可能である。
【００１３】なお当該「映像ショット切換え検出法とそ
の映像アクセスインタフェースへの応用」は、映像の場
面の変わり目であるカット点を自動的に検出し、カット
の直後の静止画を順次並べて表示することによって、映
像の内容が一覧できる。この文献の方法では、映像のフ
レーム間差分を求めることによって、カット点を求める
ことを基本とし、隣接するフレームだけでなく、少し間
をおいたフレームとの差分を評価することによって、フ
ェード等のゆっくりとした変化も捉えることができる。
また、応用例として、１日分のテレビの映像の一覧を作
成し、好きな時間の映像を見ることができるシステムを
構築している。
の映像アクセスインタフェースへの応用」は、映像の場
面の変わり目であるカット点を自動的に検出し、カット
の直後の静止画を順次並べて表示することによって、映
像の内容が一覧できる。この文献の方法では、映像のフ
レーム間差分を求めることによって、カット点を求める
ことを基本とし、隣接するフレームだけでなく、少し間
をおいたフレームとの差分を評価することによって、フ
ェード等のゆっくりとした変化も捉えることができる。
また、応用例として、１日分のテレビの映像の一覧を作
成し、好きな時間の映像を見ることができるシステムを
構築している。
【００１４】また、テロップの検出には、テロップの領
域が背景部分に比べて高輝度であり、エッジを抽出しや
すいという性質を用いた方法（茂木他、「ニュース映像
中の文字認識に基づく記事の索引付け」、電子情報通信
学会技術研究報告ＩＥ９５−１５３、１９９６）や、映
像符号化の国際標準であるＭＰＥＧなどのフレーム間の
相関を用いて符号化された映像データのうち、フレーム
間の相関を用い、かつ動き補償を用いないで符号化され
た画素が時間的・空間的に集中している部分を抽出する
方法（特願平８−１３１８９８「動画像テロップ抽出方
法及び装置」）などの方法を用いることができる。
域が背景部分に比べて高輝度であり、エッジを抽出しや
すいという性質を用いた方法（茂木他、「ニュース映像
中の文字認識に基づく記事の索引付け」、電子情報通信
学会技術研究報告ＩＥ９５−１５３、１９９６）や、映
像符号化の国際標準であるＭＰＥＧなどのフレーム間の
相関を用いて符号化された映像データのうち、フレーム
間の相関を用い、かつ動き補償を用いないで符号化され
た画素が時間的・空間的に集中している部分を抽出する
方法（特願平８−１３１８９８「動画像テロップ抽出方
法及び装置」）などの方法を用いることができる。
【００１５】なお前記「ニュース映像中の文字認識に基
づく記事の索引付け」は、映像中に現れる文字情報（テ
ロップ）は、映像の検索に有効であり、ニュースを例に
取ると、ニュースの項目や主要な場面でテロップが現れ
る。テロップの出現を自動的に検出することによって、
映像をニュース項目ごとに分割したり、テロップが表示
されている画像を並べるだけで大体の内容を知ることが
可能である。この文献では、テロップの領域が背景部分
に比べて高輝度であり、エッジを抽出しやすいという性
質を用いた方法を取り入れている。
づく記事の索引付け」は、映像中に現れる文字情報（テ
ロップ）は、映像の検索に有効であり、ニュースを例に
取ると、ニュースの項目や主要な場面でテロップが現れ
る。テロップの出現を自動的に検出することによって、
映像をニュース項目ごとに分割したり、テロップが表示
されている画像を並べるだけで大体の内容を知ることが
可能である。この文献では、テロップの領域が背景部分
に比べて高輝度であり、エッジを抽出しやすいという性
質を用いた方法を取り入れている。
【００１６】また前記「動画像テロップ抽出方法及び装
置」は、映像符号化の国際標準であるＭＰＥＧなどのフ
レーム間の相関を用いて符号化された映像データのう
ち、フレーム間の相関を用い、かつ動き補償を用いない
で符号化された画素が時間的・空間的に集中している部
分を抽出する方法である。目的は、ニュー映像中の文字
認識に基づく記事の索引付けと同じである。
置」は、映像符号化の国際標準であるＭＰＥＧなどのフ
レーム間の相関を用いて符号化された映像データのう
ち、フレーム間の相関を用い、かつ動き補償を用いない
で符号化された画素が時間的・空間的に集中している部
分を抽出する方法である。目的は、ニュー映像中の文字
認識に基づく記事の索引付けと同じである。
【００１７】さらに、被写体あるいはカメラの動きを検
出する方法については、動きベクトルの特徴を用いる方
法（阿久津他、「動画像インデクシング目的としたカメ
ラ操作の規定方法」、電子情報通信学会論文誌Ｊ７５−
Ｄ−２、Ｎｏ．２、１９９２）などが利用可能である。
出する方法については、動きベクトルの特徴を用いる方
法（阿久津他、「動画像インデクシング目的としたカメ
ラ操作の規定方法」、電子情報通信学会論文誌Ｊ７５−
Ｄ−２、Ｎｏ．２、１９９２）などが利用可能である。
【００１８】なお当該「動画像インデクシング目的とし
たカメラ操作の規定方法」は、映像を撮影する時には、
カメラを横に振ったり、ズームしたりといったことが行
われるが、これは、空間的な広がりを表現するためや、
ある特定の箇所をより詳しく見せるために行うものであ
る。よって、そのような操作を伴う映像は、撮影者の意
図が入っていることが多く、この文献は、これらの操作
を自動的に検出する方法について述べている。応用例と
しては、カメラが動いた量を算出し、その量だけ画像を
ずらしながら貼り付けることでパノラマを作成するもの
がある。
たカメラ操作の規定方法」は、映像を撮影する時には、
カメラを横に振ったり、ズームしたりといったことが行
われるが、これは、空間的な広がりを表現するためや、
ある特定の箇所をより詳しく見せるために行うものであ
る。よって、そのような操作を伴う映像は、撮影者の意
図が入っていることが多く、この文献は、これらの操作
を自動的に検出する方法について述べている。応用例と
しては、カメラが動いた量を算出し、その量だけ画像を
ずらしながら貼り付けることでパノラマを作成するもの
がある。
【００１９】次に、判断２０５において音楽の終了が判
定され、音楽分類処理２０６において、画像特徴抽出処
理２０４で抽出された特徴量に基づいて音楽が分類され
る。画像の特徴としてカット点を用いた場合には、カッ
ト点が単位時間あたりに出現する頻度を算出し、頻度が
高い場合には、音楽のテンポが早く、頻度が低い場合に
は音楽のテンポが遅いと分類される。また、テロップを
用いた場合には、カット点と同様にテロップの出現頻度
によって分類するが、表示される文字数が少ない場合に
は、出現頻度が高くてもテンポが早いとは限らないの
で、テロップ領域の大きさの逆数を出現頻度に乗じた値
を用いる。さらに、被写体あるいはカメラの動きを用い
た場合には、動きベクトルが大きいほどテンポが早いと
分類される。
定され、音楽分類処理２０６において、画像特徴抽出処
理２０４で抽出された特徴量に基づいて音楽が分類され
る。画像の特徴としてカット点を用いた場合には、カッ
ト点が単位時間あたりに出現する頻度を算出し、頻度が
高い場合には、音楽のテンポが早く、頻度が低い場合に
は音楽のテンポが遅いと分類される。また、テロップを
用いた場合には、カット点と同様にテロップの出現頻度
によって分類するが、表示される文字数が少ない場合に
は、出現頻度が高くてもテンポが早いとは限らないの
で、テロップ領域の大きさの逆数を出現頻度に乗じた値
を用いる。さらに、被写体あるいはカメラの動きを用い
た場合には、動きベクトルが大きいほどテンポが早いと
分類される。
【００２０】分類情報は、音楽と共に音楽蓄積部１０３
に蓄積され、音楽再生部１０９によって音楽を検索、再
生することが可能である。なお前記において音楽映像の
分類について説明したが、当該分類の態様はデータ処理
装置が実行できるプログラムの形で保持することがで
き、本発明は当該プログラムを記録した記録媒体をも含
むものである。
に蓄積され、音楽再生部１０９によって音楽を検索、再
生することが可能である。なお前記において音楽映像の
分類について説明したが、当該分類の態様はデータ処理
装置が実行できるプログラムの形で保持することがで
き、本発明は当該プログラムを記録した記録媒体をも含
むものである。
【００２１】
【発明の効果】（１）請求項１、４および７の発明は、
映像情報を入力し、映像情報の音情報から音楽を検出
し、検出された音楽に対応する画像情報の特徴を抽出
し、画像の特徴に基づいて音楽を分類することを可能に
し、ビートが明確に検出できないような音楽でもテンポ
による分類を可能にする。
映像情報を入力し、映像情報の音情報から音楽を検出
し、検出された音楽に対応する画像情報の特徴を抽出
し、画像の特徴に基づいて音楽を分類することを可能に
し、ビートが明確に検出できないような音楽でもテンポ
による分類を可能にする。
【００２２】（２）請求項２、５および８の発明は、そ
して請求項３、６および９の発明は、場面の替わり目で
あるカット点の有無、テロップの有無および大きさ、被
写体あるいはカメラの動きのうち、少なくとも１つを検
出することにより、音情報を分析する処理を用いないで
音楽のテンポを算出することを可能にする。
して請求項３、６および９の発明は、場面の替わり目で
あるカット点の有無、テロップの有無および大きさ、被
写体あるいはカメラの動きのうち、少なくとも１つを検
出することにより、音情報を分析する処理を用いないで
音楽のテンポを算出することを可能にする。
【図１】本発明の一実施形態の音楽映像分類装置の概略
構成を示すブロック図である。
構成を示すブロック図である。
【図２】本発明の一実施形態の音楽映像分類装置の処理
の流れと本発明をソフトウェアで実現した場合の処理の
流れを示すフローチャートである。
の流れと本発明をソフトウェアで実現した場合の処理の
流れを示すフローチャートである。
１０１ 映像入力部
１０２ 音楽検出部
１０３ 音楽蓄積部
１０４ 画像特徴抽出部
１０５ カット点検出部
１０６ テロップ検出部
１０７ 動き検出部
１０８ 音楽分類部
１０９ 音楽再生部
２０１ 音楽検出処理
２０２ 音楽開始判定処理
２０３ 音楽蓄積処理
２０４ 画像特徴抽出処理
２０５ 音楽終了判定処理
２０６ 音楽分類処理
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 外村 佳伸
東京都新宿区西新宿三丁目19番２号 日
本電信電話株式会社内
(56)参考文献 波多野賢治 他，映像自己組織化機構
に基づく内容記述と類似シーン検索，情
報処理学会研究報告，日本，社団法人情
報処理学会，1997年 ７月16日，第97巻
第64号（97−ＤＢＳ−113），第173頁乃
至第178頁
薄田隆博 他，音声信号を利用したカ
ット点検出手法に関する考察，映像情報
メディア学会技術報告，日本，社団法人
映像メディア学会，1998年 ２月 ４
日，第22巻第９号，第29頁乃至第34頁
南憲一 他，音情報を用いたビデオ・
ブラウジング・インタフェース，テレビ
ジョン学会技術報告，日本，社団法人テ
レビジョン学会，1995年 ２月 ３日,
第19巻第７号，第１頁乃至第６頁
茂木祐治他，ニュース映像中の文字認
識に基づく記事に索引付け，電子情報通
信学会技術研究報告，日本，社団法人電
子情報通信学会，1996年 ３月15日，第
95巻第582号（ＩＥ95−148〜161），第
33頁乃至第40頁
阿久津明人 他，動画像インデクシン
グを目的としたカメラ操作の規定方法,
電子情報通信学会誌，日本，社団法人電
子情報通信学会，1992年 ２月25日，第
Ｊ75−Ｄ−ＩＩ巻 第２号，第226頁乃
至第235頁
谷口行信 他，映像ショット切換え検
出法とその映像アクセスインタフェース
への応用，電子情報通信学会論文誌，日
本，社団法人電子情報通信学会，1996年
４月25日，第Ｊ79−Ｄ−ＩＩ巻 第４
号，第538頁乃至第546頁
南憲一 他，音解析による映像インデ
クシング，1997年電子情報通信学会総合
大会講演論文集，日本，社団法人電子情
報通信学会，1997年 ３月27日，情報・
システム２，第271頁
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06F 17/30
ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (9)
- 【請求項１】 与えられた映像情報から音楽映像を分類
する装置であって音楽検出部と画像特徴抽出部と音楽分
類部とを有する音楽映像分類装置における分類方法であ
って、音楽検出部が 入力された映像情報における音情報から音
楽を検出する音楽検出段階を処理し、 画像特徴抽出部が 検出された音楽に対応する画像情報に
おいて、場面の替わり目であるカット点を検出する画像
特徴抽出段階を処理し、 音楽分類部が 前記カット点の単位時間あたりの出現頻度
が高いほど、前記音楽のテンポが早いとみなすことによ
り、音楽を分類する音楽分類段階を処理することからな
る音楽映像分類方法。 - 【請求項２】 与えられた映像情報から音楽映像を分類
する装置であって音楽検出部と画像特徴抽出部と音楽分
類部とを有する音楽映像分類装置における分類方法であ
って、音楽検出部が 入力された映像情報における音情報から音
楽を検出する音楽検出段階を処理し、 画像特徴抽出部が 検出された音楽に対応する画像情報に
おいて、テロップの有無および大きさを検出する画像特
徴抽出段階を処理し、 音楽分類部が 前記テロップの単位時間あたりの出現頻度
を大きさで正規化した値が大きいほど、前記音楽のテン
ポが早いとみなすことにより、音楽を分類する音楽分類
段階を処理することからなる音楽映像分類方法。 - 【請求項３】 与えられた映像情報から音楽映像を分類
する装置であって音楽検出部と画像特徴抽出部と音楽分
類部とを有する音楽映像分類装置における分類方法であ
って、音楽検出部が 入力された映像情報における音情報から音
楽を検出する音楽検出段階を処理し、 画像特徴抽出部が 検出された音楽に対応する画像情報に
おいて、被写体あるいはカメラの動きを検出する画像特
徴抽出段階を処理し、 音楽分類部が 前記被写体あるいはカメラの動きの動きベ
クトルが大きいほど、前記音楽のテンポが早いとみなす
ことにより、音楽を分類する音楽分類段階を処理するこ
とからなる音楽映像分類方法。 - 【請求項４】 与えられた映像情報から音楽映像を分類
する装置であって、 入力された映像情報における音情報から音楽を検出する
音楽検出部と、 検出された音楽に対応する画像情報において、場面の替
わり目であるカット点を検出する画像特徴抽出部と、 前記カット点の単位時間あたりの出現頻度が高いほど、
前記音楽のテンポが早いとみなすことにより、音楽を分
類する音楽分類部と、 からなる音楽映像分類装置。 - 【請求項５】 与えられた映像情報から音楽映像を分類
する装置であって、 入力された映像情報における音情報から音楽を検出する
音楽検出部と、 検出された音楽に対応する画像情報において、テロップ
の有無および大きさを検出する画像特徴抽出部と、 前記テロップの単位時間あたりの出現頻度を大きさで正
規化した値が大きいほど、前記音楽のテンポが早いとみ
なすことにより、音楽を分類する音楽分類部と、 からなる音楽映像分類装置。 - 【請求項６】 与えられた映像情報から音楽映像を分類
する装置であって、 入力された映像情報における音情報から音楽を検出する
音楽検出部と、 検出された音楽に対応する画像情報において、被写体あ
るいはカメラの動きを検出する画像特徴抽出部と、 前記被写体あるいはカメラの動きの動きベクトルが大き
いほど、前記音楽のテンポが早いとみなすことにより、
音楽を分類する音楽分類部と、 からなる音楽映像分類装置。 - 【請求項７】 与えられた映像情報から音楽映像を分類
するプログラムを記録した記録媒体であって、 入力された映像情報における音情報から音楽を検出する
音楽検出処理と、 検出された音楽に対応する画像情報において、場面の替
わり目であるカット点を検出する画像特徴抽出処理と、 前記カット点の単位時間あたりの出現頻度が高いほど、
前記音楽のテンポが早いとみなすことにより、音楽を分
類する音楽分類処理と、 をコンピュータに実行させるための音楽映像分類プログ
ラムを記録した記録媒体。 - 【請求項８】 与えられた映像情報から音楽映像を分類
するプログラムを記録した記録媒体であって、 入力された映像情報における音情報から音楽を検出する
音楽検出処理と、 検出された音楽に対応する画像情報において、テロップ
の有無および大きさを検出する画像特徴抽出処理と、 前記テロップの単位時間あたりの出現頻度を大きさで正
規化した値が大きいほど、前記音楽のテンポが早いとみ
なすことにより、音楽を分類する音楽分類処理と、 をコンピュータに実行させるための音楽映像分類プログ
ラムを記録した記録媒体。 - 【請求項９】 与えられた映像情報から音楽映像を分類
するプログラムを記録した記録媒体であって、 入力された映像情報における音情報から音楽を検出する
音楽検出処理と、 検出された音楽に対応する画像情報において、被写体あ
るいはカメラの動きを検出する画像特徴抽出処理と、 前記被写体あるいはカメラの動きの動きベクトルが大き
いほど、前記音楽のテンポが早いとみなすことにより、
音楽を分類する音楽分類処理と、 をコンピュータに実行させるための音楽映像分類プログ
ラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06815998A JP3517349B2 (ja) | 1998-03-18 | 1998-03-18 | 音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06815998A JP3517349B2 (ja) | 1998-03-18 | 1998-03-18 | 音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11265396A JPH11265396A (ja) | 1999-09-28 |
| JP3517349B2 true JP3517349B2 (ja) | 2004-04-12 |
Family
ID=13365710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06815998A Expired - Lifetime JP3517349B2 (ja) | 1998-03-18 | 1998-03-18 | 音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3517349B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6505160B1 (en) | 1995-07-27 | 2003-01-07 | Digimarc Corporation | Connected audio and other media objects |
| AUPQ464099A0 (en) * | 1999-12-14 | 2000-01-13 | Canon Kabushiki Kaisha | Emotive editing system |
| AU2001267815A1 (en) * | 2000-06-29 | 2002-01-08 | Musicgenome.Com Inc. | Using a system for prediction of musical preferences for the distribution of musical content over cellular networks |
| US7974495B2 (en) | 2002-06-10 | 2011-07-05 | Digimarc Corporation | Identification and protection of video |
| US7631095B2 (en) | 2005-02-16 | 2009-12-08 | Sharp Laboratories Of America, Inc. | Systems and methods for obtaining the metadata for an Internet radio station in a bandwidth-efficient manner |
| JP4940588B2 (ja) * | 2005-07-27 | 2012-05-30 | ソニー株式会社 | ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法 |
| JP4586787B2 (ja) * | 2006-09-29 | 2010-11-24 | ヤマハ株式会社 | 生演奏カラオケシステム |
| JP4864847B2 (ja) * | 2007-09-27 | 2012-02-01 | 株式会社東芝 | 音楽検出装置および音楽検出方法 |
| WO2011118037A1 (ja) * | 2010-03-26 | 2011-09-29 | 富士通株式会社 | カテゴリ生成プログラム、カテゴリ生成装置およびカテゴリ生成方法 |
| JP5559128B2 (ja) * | 2011-11-07 | 2014-07-23 | 株式会社東芝 | 装置、方法及びプログラム |
| CN102903126B (zh) * | 2012-08-08 | 2015-11-04 | 公安部第三研究所 | 一种视频图像纹理特征提取和结构化描述的系统和方法 |
-
1998
- 1998-03-18 JP JP06815998A patent/JP3517349B2/ja not_active Expired - Lifetime
Non-Patent Citations (7)
| Title |
|---|
| 南憲一 他，音情報を用いたビデオ・ブラウジング・インタフェース，テレビジョン学会技術報告，日本，社団法人テレビジョン学会，１９９５年 ２月 ３日，第１９巻第７号，第１頁乃至第６頁 |
| 南憲一 他，音解析による映像インデクシング，１９９７年電子情報通信学会総合大会講演論文集，日本，社団法人電子情報通信学会，１９９７年 ３月２７日，情報・システム２，第２７１頁 |
| 波多野賢治 他，映像自己組織化機構に基づく内容記述と類似シーン検索，情報処理学会研究報告，日本，社団法人情報処理学会，１９９７年 ７月１６日，第９７巻第６４号（９７−ＤＢＳ−１１３），第１７３頁乃至第１７８頁 |
| 茂木祐治他，ニュース映像中の文字認識に基づく記事に索引付け，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，１９９６年 ３月１５日，第９５巻第５８２号（ＩＥ９５−１４８〜１６１），第３３頁乃至第４０頁 |
| 薄田隆博 他，音声信号を利用したカット点検出手法に関する考察，映像情報メディア学会技術報告，日本，社団法人映像メディア学会，１９９８年 ２月 ４日，第２２巻第９号，第２９頁乃至第３４頁 |
| 谷口行信 他，映像ショット切換え検出法とその映像アクセスインタフェースへの応用，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，１９９６年 ４月２５日，第Ｊ７９−Ｄ−ＩＩ巻 第４号，第５３８頁乃至第５４６頁 |
| 阿久津明人 他，動画像インデクシングを目的としたカメラ操作の規定方法，電子情報通信学会誌，日本，社団法人電子情報通信学会，１９９２年 ２月２５日，第Ｊ７５−Ｄ−ＩＩ巻 第２号，第２２６頁乃至第２３５頁 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11265396A (ja) | 1999-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | An overview of video abstraction techniques | |
| US7796860B2 (en) | Method and system for playing back videos at speeds adapted to content | |
| US6928233B1 (en) | Signal processing method and video signal processor for detecting and analyzing a pattern reflecting the semantics of the content of a signal | |
| Srinivasan et al. | " What is in that video anyway?": In Search of Better Browsing | |
| JP4201454B2 (ja) | 動画要約生成方法及び動画要約生成装置 | |
| KR100915847B1 (ko) | 스트리밍 비디오 북마크들 | |
| US7983340B2 (en) | Extracting key frames from video using a triangle model of motion based on perceived motion energy | |
| JP4580183B2 (ja) | 視覚的に代表するビデオサムネイルの生成 | |
| Nam et al. | Dynamic video summarization and visualization | |
| US20080071836A1 (en) | Metadata editing apparatus, metadata reproduction apparatus, metadata delivery apparatus, metadata search apparatus, metadata re-generation condition setting apparatus, metadata delivery method and hint information description method | |
| US20060008152A1 (en) | Method and apparatus for enhancing and indexing video and audio signals | |
| US20070030391A1 (en) | Apparatus, medium, and method segmenting video sequences based on topic | |
| US20030068087A1 (en) | System and method for generating a character thumbnail sequence | |
| US20120099793A1 (en) | Video summarization using sparse basis function combination | |
| JP3517349B2 (ja) | 音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体 | |
| KR20060116335A (ko) | 이벤트를 이용한 동영상 요약 장치 및 방법과 그 장치를제어하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수있는 기록 매체 | |
| US20190364211A1 (en) | System and method for editing video contents automatically technical field | |
| US8255395B2 (en) | Multimedia data recording method and apparatus for automatically generating/updating metadata | |
| KR101195613B1 (ko) | 동영상의 주제별 분할장치 및 방법 | |
| JP5096259B2 (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
| WO2004013857A1 (en) | Method, system and program product for generating a content-based table of contents | |
| JP3469122B2 (ja) | 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体 | |
| JP3341574B2 (ja) | 映像信号記録／再生装置 | |
| JP3358692B2 (ja) | 映像ブロック分類方法及び装置 | |
| Peker et al. | An extended framework for adaptive playback-based video summarization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040123 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090130 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090130 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100130 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110130 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110130 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |