JP3517349B2 - 音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体 - Google Patents
音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体Info
- Publication number
- JP3517349B2 JP3517349B2 JP06815998A JP6815998A JP3517349B2 JP 3517349 B2 JP3517349 B2 JP 3517349B2 JP 06815998 A JP06815998 A JP 06815998A JP 6815998 A JP6815998 A JP 6815998A JP 3517349 B2 JP3517349 B2 JP 3517349B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- video
- information
- detecting
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
て音楽映像を分類する音楽映像分類方法、装置および音
楽映像分類プログラムを記録した記録媒体に関する。
などのジャンルの他、悲しい曲、楽しい曲、テンポの早
い曲、遅い曲などの分類があるが、自動的にこのような
分類を行うためには高度な音楽認識技術が必要であり、
実用には至っていない。ただテンポの抽出には、ドラム
のビートを周波数スペクトルの急激な立ち上がりから検
出し、利用するものがある。
する方法では、ドラムのような強いパワーを持つ楽器を
用いない場合には、正確なテンポが抽出出来ないという
問題があった。
を用いて、曲のテンポの早さを自動的に検出し、音楽を
分類することを目的としている。
め、本発明においては、映像情報を入力し、映像情報の
音情報から音楽を検出し、検出された音楽に対応する画
像情報の特徴を抽出し、画像の特徴に基づいて音楽を分
類することにより、ビートが明確に検出できないような
音楽でもテンポによる分類ができるようにしている。
無、テロップの有無および大きさ、被写体あるいはカメ
ラの動きのうち、少なくとも1つを検出することによ
り、音情報を用いずに音楽のテンポを算出することがで
きるようにしている。
度、テロップの単位時間あたりの出現頻度を大きさで正
規化した値、被写体あるいはカメラの動きの大きさのう
ち少なくとも1つに基づいて音楽を分類するようにして
いる。
図面を参照して説明する。図1は、本発明の一実施形態
の音楽映像分類装置の概略構成を示すブロック図であ
る。本実施形態の音楽映像分類装置は、映像を入力する
映像入力部101と、音楽を検出する音楽検出部102
と、検出された音楽を蓄積する音楽蓄積部103と、画
像の特徴を抽出する画像特徴抽出部104と、音楽を分
類する音楽分類部108と、蓄積された音楽を検索し、
再生する音楽再生部109から構成されている。また、
画像特徴抽出部104は、カット点検出部105と、テ
ロップ検出部106と、動き検出部107から構成され
ている。
装置の処理の流れを示したフローチャートである。本発
明をソフトウェアで実現した場合でも同様の処理の流れ
となる。
における音情報が解析され、音楽の検出が行われる。音
楽の検出は、音情報の周波数スペクトルのピークが、周
波数方向に対して時間的に安定しているという特徴を用
いる方法(南他、「音解析による映像インデクシン
グ」、電子情報通信学会総合大会、D−12−64、1
997)などを用いることが可能である。
グ」は、映像に含まれる音情報から、音声や音楽を自動
的に検出し、これらが含まれる部分のみを抜き出して映
像を要約するものである。例えば、歌番組のトークを聞
かずに歌の部分のみを聞きたいといった場合に有効であ
る。音楽が存在する場合、周波数スペクトルのピーク
は、周波数方向に対して時間的に安定しているという特
徴があることから、ピークを検出し、時間的な持続性を
算出することによって、音楽を検出することができる。
れ、音楽が開始された場合には、音楽蓄積処理203に
よって音楽を蓄積しながら、対応する画像情報から画像
特徴抽出処理204が行われる。画像特徴抽出処理20
4では、カット点の検出、テロップ領域の検出、被写体
あるいはカメラの動きの検出のうち少なくともいずれか
1つが行われる。カット点の検出には、画素値のフレー
ム間差分を用いる方法(谷口他、「映像ショット切換え
検出法とその映像アクセスインタフェースへの応用」、
電子情報通信学会論文誌J79−D−2、No.4、1
996)などが利用可能である。
の映像アクセスインタフェースへの応用」は、映像の場
面の変わり目であるカット点を自動的に検出し、カット
の直後の静止画を順次並べて表示することによって、映
像の内容が一覧できる。この文献の方法では、映像のフ
レーム間差分を求めることによって、カット点を求める
ことを基本とし、隣接するフレームだけでなく、少し間
をおいたフレームとの差分を評価することによって、フ
ェード等のゆっくりとした変化も捉えることができる。
また、応用例として、1日分のテレビの映像の一覧を作
成し、好きな時間の映像を見ることができるシステムを
構築している。
域が背景部分に比べて高輝度であり、エッジを抽出しや
すいという性質を用いた方法(茂木他、「ニュース映像
中の文字認識に基づく記事の索引付け」、電子情報通信
学会技術研究報告IE95−153、1996)や、映
像符号化の国際標準であるMPEGなどのフレーム間の
相関を用いて符号化された映像データのうち、フレーム
間の相関を用い、かつ動き補償を用いないで符号化され
た画素が時間的・空間的に集中している部分を抽出する
方法(特願平8−131898「動画像テロップ抽出方
法及び装置」)などの方法を用いることができる。
づく記事の索引付け」は、映像中に現れる文字情報(テ
ロップ)は、映像の検索に有効であり、ニュースを例に
取ると、ニュースの項目や主要な場面でテロップが現れ
る。テロップの出現を自動的に検出することによって、
映像をニュース項目ごとに分割したり、テロップが表示
されている画像を並べるだけで大体の内容を知ることが
可能である。この文献では、テロップの領域が背景部分
に比べて高輝度であり、エッジを抽出しやすいという性
質を用いた方法を取り入れている。
置」は、映像符号化の国際標準であるMPEGなどのフ
レーム間の相関を用いて符号化された映像データのう
ち、フレーム間の相関を用い、かつ動き補償を用いない
で符号化された画素が時間的・空間的に集中している部
分を抽出する方法である。目的は、ニュー映像中の文字
認識に基づく記事の索引付けと同じである。
出する方法については、動きベクトルの特徴を用いる方
法(阿久津他、「動画像インデクシング目的としたカメ
ラ操作の規定方法」、電子情報通信学会論文誌J75−
D−2、No.2、1992)などが利用可能である。
たカメラ操作の規定方法」は、映像を撮影する時には、
カメラを横に振ったり、ズームしたりといったことが行
われるが、これは、空間的な広がりを表現するためや、
ある特定の箇所をより詳しく見せるために行うものであ
る。よって、そのような操作を伴う映像は、撮影者の意
図が入っていることが多く、この文献は、これらの操作
を自動的に検出する方法について述べている。応用例と
しては、カメラが動いた量を算出し、その量だけ画像を
ずらしながら貼り付けることでパノラマを作成するもの
がある。
定され、音楽分類処理206において、画像特徴抽出処
理204で抽出された特徴量に基づいて音楽が分類され
る。画像の特徴としてカット点を用いた場合には、カッ
ト点が単位時間あたりに出現する頻度を算出し、頻度が
高い場合には、音楽のテンポが早く、頻度が低い場合に
は音楽のテンポが遅いと分類される。また、テロップを
用いた場合には、カット点と同様にテロップの出現頻度
によって分類するが、表示される文字数が少ない場合に
は、出現頻度が高くてもテンポが早いとは限らないの
で、テロップ領域の大きさの逆数を出現頻度に乗じた値
を用いる。さらに、被写体あるいはカメラの動きを用い
た場合には、動きベクトルが大きいほどテンポが早いと
分類される。
に蓄積され、音楽再生部109によって音楽を検索、再
生することが可能である。なお前記において音楽映像の
分類について説明したが、当該分類の態様はデータ処理
装置が実行できるプログラムの形で保持することがで
き、本発明は当該プログラムを記録した記録媒体をも含
むものである。
映像情報を入力し、映像情報の音情報から音楽を検出
し、検出された音楽に対応する画像情報の特徴を抽出
し、画像の特徴に基づいて音楽を分類することを可能に
し、ビートが明確に検出できないような音楽でもテンポ
による分類を可能にする。
して請求項3、6および9の発明は、場面の替わり目で
あるカット点の有無、テロップの有無および大きさ、被
写体あるいはカメラの動きのうち、少なくとも1つを検
出することにより、音情報を分析する処理を用いないで
音楽のテンポを算出することを可能にする。
構成を示すブロック図である。
の流れと本発明をソフトウェアで実現した場合の処理の
流れを示すフローチャートである。
Claims (9)
- 【請求項1】 与えられた映像情報から音楽映像を分類
する装置であって音楽検出部と画像特徴抽出部と音楽分
類部とを有する音楽映像分類装置における分類方法であ
って、音楽検出部が 入力された映像情報における音情報から音
楽を検出する音楽検出段階を処理し、 画像特徴抽出部が 検出された音楽に対応する画像情報に
おいて、場面の替わり目であるカット点を検出する画像
特徴抽出段階を処理し、 音楽分類部が 前記カット点の単位時間あたりの出現頻度
が高いほど、前記音楽のテンポが早いとみなすことによ
り、音楽を分類する音楽分類段階を処理することからな
る音楽映像分類方法。 - 【請求項2】 与えられた映像情報から音楽映像を分類
する装置であって音楽検出部と画像特徴抽出部と音楽分
類部とを有する音楽映像分類装置における分類方法であ
って、音楽検出部が 入力された映像情報における音情報から音
楽を検出する音楽検出段階を処理し、 画像特徴抽出部が 検出された音楽に対応する画像情報に
おいて、テロップの有無および大きさを検出する画像特
徴抽出段階を処理し、 音楽分類部が 前記テロップの単位時間あたりの出現頻度
を大きさで正規化した値が大きいほど、前記音楽のテン
ポが早いとみなすことにより、音楽を分類する音楽分類
段階を処理することからなる音楽映像分類方法。 - 【請求項3】 与えられた映像情報から音楽映像を分類
する装置であって音楽検出部と画像特徴抽出部と音楽分
類部とを有する音楽映像分類装置における分類方法であ
って、音楽検出部が 入力された映像情報における音情報から音
楽を検出する音楽検出段階を処理し、 画像特徴抽出部が 検出された音楽に対応する画像情報に
おいて、被写体あるいはカメラの動きを検出する画像特
徴抽出段階を処理し、 音楽分類部が 前記被写体あるいはカメラの動きの動きベ
クトルが大きいほど、前記音楽のテンポが早いとみなす
ことにより、音楽を分類する音楽分類段階を処理するこ
とからなる音楽映像分類方法。 - 【請求項4】 与えられた映像情報から音楽映像を分類
する装置であって、 入力された映像情報における音情報から音楽を検出する
音楽検出部と、 検出された音楽に対応する画像情報において、場面の替
わり目であるカット点を検出する画像特徴抽出部と、 前記カット点の単位時間あたりの出現頻度が高いほど、
前記音楽のテンポが早いとみなすことにより、音楽を分
類する音楽分類部と、 からなる音楽映像分類装置。 - 【請求項5】 与えられた映像情報から音楽映像を分類
する装置であって、 入力された映像情報における音情報から音楽を検出する
音楽検出部と、 検出された音楽に対応する画像情報において、テロップ
の有無および大きさを検出する画像特徴抽出部と、 前記テロップの単位時間あたりの出現頻度を大きさで正
規化した値が大きいほど、前記音楽のテンポが早いとみ
なすことにより、音楽を分類する音楽分類部と、 からなる音楽映像分類装置。 - 【請求項6】 与えられた映像情報から音楽映像を分類
する装置であって、 入力された映像情報における音情報から音楽を検出する
音楽検出部と、 検出された音楽に対応する画像情報において、被写体あ
るいはカメラの動きを検出する画像特徴抽出部と、 前記被写体あるいはカメラの動きの動きベクトルが大き
いほど、前記音楽のテンポが早いとみなすことにより、
音楽を分類する音楽分類部と、 からなる音楽映像分類装置。 - 【請求項7】 与えられた映像情報から音楽映像を分類
するプログラムを記録した記録媒体であって、 入力された映像情報における音情報から音楽を検出する
音楽検出処理と、 検出された音楽に対応する画像情報において、場面の替
わり目であるカット点を検出する画像特徴抽出処理と、 前記カット点の単位時間あたりの出現頻度が高いほど、
前記音楽のテンポが早いとみなすことにより、音楽を分
類する音楽分類処理と、 をコンピュータに実行させるための音楽映像分類プログ
ラムを記録した記録媒体。 - 【請求項8】 与えられた映像情報から音楽映像を分類
するプログラムを記録した記録媒体であって、 入力された映像情報における音情報から音楽を検出する
音楽検出処理と、 検出された音楽に対応する画像情報において、テロップ
の有無および大きさを検出する画像特徴抽出処理と、 前記テロップの単位時間あたりの出現頻度を大きさで正
規化した値が大きいほど、前記音楽のテンポが早いとみ
なすことにより、音楽を分類する音楽分類処理と、 をコンピュータに実行させるための音楽映像分類プログ
ラムを記録した記録媒体。 - 【請求項9】 与えられた映像情報から音楽映像を分類
するプログラムを記録した記録媒体であって、 入力された映像情報における音情報から音楽を検出する
音楽検出処理と、 検出された音楽に対応する画像情報において、被写体あ
るいはカメラの動きを検出する画像特徴抽出処理と、 前記被写体あるいはカメラの動きの動きベクトルが大き
いほど、前記音楽のテンポが早いとみなすことにより、
音楽を分類する音楽分類処理と、 をコンピュータに実行させるための音楽映像分類プログ
ラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06815998A JP3517349B2 (ja) | 1998-03-18 | 1998-03-18 | 音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06815998A JP3517349B2 (ja) | 1998-03-18 | 1998-03-18 | 音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11265396A JPH11265396A (ja) | 1999-09-28 |
JP3517349B2 true JP3517349B2 (ja) | 2004-04-12 |
Family
ID=13365710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06815998A Expired - Lifetime JP3517349B2 (ja) | 1998-03-18 | 1998-03-18 | 音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3517349B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6505160B1 (en) | 1995-07-27 | 2003-01-07 | Digimarc Corporation | Connected audio and other media objects |
AUPQ464099A0 (en) * | 1999-12-14 | 2000-01-13 | Canon Kabushiki Kaisha | Emotive editing system |
JP2004522177A (ja) * | 2000-06-29 | 2004-07-22 | ミュージックゲノム.コム インコーポレイテッド | 音楽に対する好みを予測するためのシステムおよび方法 |
US7974495B2 (en) | 2002-06-10 | 2011-07-05 | Digimarc Corporation | Identification and protection of video |
US7631095B2 (en) | 2005-02-16 | 2009-12-08 | Sharp Laboratories Of America, Inc. | Systems and methods for obtaining the metadata for an Internet radio station in a bandwidth-efficient manner |
JP4940588B2 (ja) * | 2005-07-27 | 2012-05-30 | ソニー株式会社 | ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法 |
JP4586787B2 (ja) * | 2006-09-29 | 2010-11-24 | ヤマハ株式会社 | 生演奏カラオケシステム |
JP4864847B2 (ja) * | 2007-09-27 | 2012-02-01 | 株式会社東芝 | 音楽検出装置および音楽検出方法 |
CN102870109B (zh) * | 2010-03-26 | 2016-03-02 | 富士通株式会社 | 类别生成装置以及类别生成方法 |
JP5559128B2 (ja) * | 2011-11-07 | 2014-07-23 | 株式会社東芝 | 装置、方法及びプログラム |
CN102903126B (zh) * | 2012-08-08 | 2015-11-04 | 公安部第三研究所 | 一种视频图像纹理特征提取和结构化描述的系统和方法 |
-
1998
- 1998-03-18 JP JP06815998A patent/JP3517349B2/ja not_active Expired - Lifetime
Non-Patent Citations (7)
Title |
---|
南憲一 他,音情報を用いたビデオ・ブラウジング・インタフェース,テレビジョン学会技術報告,日本,社団法人テレビジョン学会,1995年 2月 3日,第19巻第7号,第1頁乃至第6頁 |
南憲一 他,音解析による映像インデクシング,1997年電子情報通信学会総合大会講演論文集,日本,社団法人電子情報通信学会,1997年 3月27日,情報・システム2,第271頁 |
波多野賢治 他,映像自己組織化機構に基づく内容記述と類似シーン検索,情報処理学会研究報告,日本,社団法人情報処理学会,1997年 7月16日,第97巻第64号(97−DBS−113),第173頁乃至第178頁 |
茂木祐治他,ニュース映像中の文字認識に基づく記事に索引付け,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,1996年 3月15日,第95巻第582号(IE95−148〜161),第33頁乃至第40頁 |
薄田隆博 他,音声信号を利用したカット点検出手法に関する考察,映像情報メディア学会技術報告,日本,社団法人映像メディア学会,1998年 2月 4日,第22巻第9号,第29頁乃至第34頁 |
谷口行信 他,映像ショット切換え検出法とその映像アクセスインタフェースへの応用,電子情報通信学会論文誌,日本,社団法人電子情報通信学会,1996年 4月25日,第J79−D−II巻 第4号,第538頁乃至第546頁 |
阿久津明人 他,動画像インデクシングを目的としたカメラ操作の規定方法,電子情報通信学会誌,日本,社団法人電子情報通信学会,1992年 2月25日,第J75−D−II巻 第2号,第226頁乃至第235頁 |
Also Published As
Publication number | Publication date |
---|---|
JPH11265396A (ja) | 1999-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | An overview of video abstraction techniques | |
US7796860B2 (en) | Method and system for playing back videos at speeds adapted to content | |
Srinivasan et al. | " What is in that video anyway?": In Search of Better Browsing | |
JP4201454B2 (ja) | 動画要約生成方法及び動画要約生成装置 | |
KR100915847B1 (ko) | 스트리밍 비디오 북마크들 | |
EP1081960A1 (en) | Signal processing method and video/voice processing device | |
US7983340B2 (en) | Extracting key frames from video using a triangle model of motion based on perceived motion energy | |
JP4580183B2 (ja) | 視覚的に代表するビデオサムネイルの生成 | |
US6370543B2 (en) | Display of media previews | |
US5903892A (en) | Indexing of media content on a network | |
US20050228849A1 (en) | Intelligent key-frame extraction from a video | |
Nam et al. | Dynamic video summarization and visualization | |
US20080071836A1 (en) | Metadata editing apparatus, metadata reproduction apparatus, metadata delivery apparatus, metadata search apparatus, metadata re-generation condition setting apparatus, metadata delivery method and hint information description method | |
US20060008152A1 (en) | Method and apparatus for enhancing and indexing video and audio signals | |
US20070030391A1 (en) | Apparatus, medium, and method segmenting video sequences based on topic | |
US20030068087A1 (en) | System and method for generating a character thumbnail sequence | |
US20120099793A1 (en) | Video summarization using sparse basis function combination | |
US20190364211A1 (en) | System and method for editing video contents automatically technical field | |
JP3517349B2 (ja) | 音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体 | |
KR20060116335A (ko) | 이벤트를 이용한 동영상 요약 장치 및 방법과 그 장치를제어하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수있는 기록 매체 | |
US8255395B2 (en) | Multimedia data recording method and apparatus for automatically generating/updating metadata | |
KR101195613B1 (ko) | 동영상의 주제별 분할장치 및 방법 | |
JP5096259B2 (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
JP3469122B2 (ja) | 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体 | |
JP3341574B2 (ja) | 映像信号記録/再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040123 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080130 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090130 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090130 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100130 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110130 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110130 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 9 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |