JP4442585B2 - 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 - Google Patents
楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 Download PDFInfo
- Publication number
- JP4442585B2 JP4442585B2 JP2006132898A JP2006132898A JP4442585B2 JP 4442585 B2 JP4442585 B2 JP 4442585B2 JP 2006132898 A JP2006132898 A JP 2006132898A JP 2006132898 A JP2006132898 A JP 2006132898A JP 4442585 B2 JP4442585 B2 JP 4442585B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- section
- video
- time
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 137
- 238000000034 method Methods 0.000 title claims description 72
- 230000008859 change Effects 0.000 claims description 91
- 230000005236 sound signal Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 description 63
- 238000012937 correction Methods 0.000 description 40
- 230000008569 process Effects 0.000 description 32
- 239000000872 buffer Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 14
- 230000009466 transformation Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 241001342895 Chorus Species 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000003363 endpoint correction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/27—Arrangements for recording or accumulating broadcast information or broadcast-related information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/046—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for differentiation between music and non-music signals, based on the identification of musical parameters, e.g. based on tempo detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
Description
音声信号と映像信号とを含むデータを入力するステップと、
前記音声信号の周波数特性に基づいて第1の楽曲候補区間を検出するステップと、
前記音声信号を構成する複数の音声チャンネルの差異に基づいて第2の楽曲候補区間を検出するステップと、
前記データによって表される映像の変化点を検出するステップと、
前記第1の楽曲候補区間の開始時刻近傍に存在する前記第2の楽曲候補区間の開始時刻、及び前記第1の楽曲候補区間の終了時刻近傍に存在する前記第2の楽曲候補区間の終了時刻からなる楽曲区間を抽出し、抽出した前記楽曲区間の開始時刻及び終了時刻を、当該開始時刻及び終了時刻近傍に存在する前記映像の変化点に基づいて変更するステップとを備えることとしたものである。
音声信号の周波数特性に基づいて検出される第1の楽曲候補区間、および音声信号を構成する複数の音声チャンネルの差異に基づいて検出される第2の楽曲候補区間に基づいて楽曲区間を抽出し、抽出した楽曲区間の開始時刻及び終了時刻を、当該開始時刻及び終了時刻近傍に存在する前記映像の変化点に基づいて変更するので、楽曲シーンの開始や終了のシーンを精度よく検出でき、視聴者にとって違和感のない楽曲シーンを提供することが可能となる。
以下、図を用いて本実施の形態1に係る楽曲検出方法、及び検出装置、並びに記録方法、及び記録装置を説明する。本実施の形態1に係る楽曲検出方法は、音声信号に対して各々異なる複数の基準に基づいて楽曲候補区間を検出し、さらにこの検出された複数の楽曲候補区間と入力データの変化点とから、楽曲区間を検出することに特徴がある。
図3は、本実施の形態1の第一の楽曲候補区間検出部10を詳細に記した機能ブロック図である。第一の楽曲候補区間検出部10は、直交変換処理部20と尤度比較処理部21、および参照のためのデータテーブルであるモデルデータ22から構成される。図に示すように、A/Dコンバータ6で変換されたデジタル信号の直交変換係数が直交変換処理部20で算出され、さらに尤度比較処理部21がモデルデータ22を参照してラベルが割り当てられた後、第一の補正部12に出力される。
次に、第二の楽曲候補区間検出部11について説明する。図4は、本実施の形態1の第二の楽曲候補区間検出部11を詳細に記した機能ブロック図である。第二の楽曲候補区間検出部11は、直交変換処理部20と差分演算処理部30から構成される。図に示すように、A/Dコンバータ6で変換されたデジタル信号の直交変換係数が直交変換処理部20で算出され、さらに差分演算処理部30で直交変換係数の差異量が算出された後、第二の補正部13に出力される。
(b)連続する楽曲候補区間の間隔が所定時間T2(例えば5秒)以内であれば、非楽曲にラベル付けされた間隔は、楽曲(High)にラベルを変更する。
(c)上記の(a)、(b)のラベル変更を行った後、楽曲にラベル付けされた区間が所定時間T3(例えば60秒)を超える区間を補正後の楽曲候補区間とする。なお、(a)と(b)はどちらか一方であっても良い。
次に、図1の第一の楽曲検出部16での処理(ST8)について説明する。図6は、本実施の形態1の第一の楽曲検出部16による、第一の楽曲区間の検出処理の過程を示すチャート図である。同図において(1)は、第一の楽曲候補区間検出部10で算出されたラベルに対し、第一の補正部12によって補正処理を施して得たラベル50をプロットしたグラフ500である。また同じく、同図(2)は、第二の楽曲候補区間検出部11で算出された差異量に対し、第二の補正部13によって補正処理を施して得たラベル52をプロットしたグラフ502である。同図(3)は、ラベル50とラベル51とに基づいて検出処理したラベル54をプロットしたグラフ600である。グラフ500、502、600はいずれも、楽曲を示すラベルが付いた区間をHigh、非楽曲シーンを示すラベルが付いた区間をLowとしてラベル軸44で表している。
ところで、上記で説明したように、第一の楽曲区間の検出は音声データの情報のみに基づいて行われている。そこで、映像データの情報を考慮した楽曲区間の検出が可能となるように、本実施の形態1の映像音声記録装置2000は、映像信号に関する変化点検出部であるシーンチェンジ検出部14を備える。これにより、映像のシーンとしては連続性を持っている第一の楽曲区間の途中を始点あるいは終点とした楽曲シーンにも対応可能となる。以下、第一の楽曲区間の始点、あるいは終点を、映像データから検出した際に補正する方法について述べる。
次に、フレームデータPiと、フレームデータPiの時間的に次に表示されるフレームデータPjとの間のシーンチェンジの検出方法について、さらに具体的に説明する。ここでは説明の簡略化のため、例えばMPEG−2のデコードフレームオーダーは、ビデオデコーダ71から出力された時点において表示オーダーに並び替えられているものとする。
図8は、本実施の形態1の第二の楽曲区間検出部17における処理を説明した図であり、第一の楽曲区間検出部16で検出された第一の楽曲区間を、シーンチェンジ検出部14で得られたシーンチェンジ情報を用いて、その始点と終点を補正する処理を示す(ST12)。同図において、(1)は第一の楽曲区間検出部16で検出された第一の楽曲区間を表すラベル60をプロットしたグラフ600である。同図(2)は、シーンチェンジ検出部14で検出されたシーンチェンジの時間位置をラベル85としてプロットしたグラフ700で、横軸は録画した番組の時間経過40、縦軸86はシーンチェンジの有無を表す。同図(3)は、第二の楽曲区間を示すものであり、第一の楽曲区間を表すラベル60を、シーンチェンジの時間位置を表すラベル85を用いて補正して得られるラベル100をプロットしたグラフ1000である。グラフ600、1000はいずれも、楽曲を示すラベルが付いた区間をHigh、非楽曲シーンを示すラベルが付いた区間をLowとしてラベル軸44で表している。
なお、メタデータファイル96をマルチメディアデータファイル94に重畳してもよい。この場合は、ファイル数を少なくでき、また、マルチメディアデータと同一のファイルなので、楽曲情報を伴うマルチメディアデータをリムーバブルな記録媒体に記録して他機器で編集やコピーなどのファイル操作を行う際、メタデータが散逸することを抑制できる。
本実施の形態2は、音声信号の情報を用いて、シーンの変化点を検出することに特徴がある。図11は、本実施の形態2の映像音声記録装置2001を示すシステムブロック図である。また、図12は、本実施の形態2の楽曲区間の検出、記録方法を示すフローチャートである。映像音声記録装置2001には、録画を行う対象となるテレビジョン放送などの音声信号4に基づいて、シーンの変化点を検出する音声レベル検出部80を備える(ST15)。音声レベル検出部15では音声レベルの変化から、会話の区切り目等のシーンの変化点を検出し、シーンの変化点が発生した時間位置をプレゼンテーションタイム(PTM)などの時間情報として第二の楽曲区間検出部17に出力する。その他のものは実施の形態1で示したものと同じであり、ここでは説明を省略する。
図13は、本実施の形態2の音声レベル検出部80(ST15)を詳細に示した機能ブロック図である。音声レベル検出部80は、直交変換処理部20とエネルギー算出処理部23、および変化点判定部24から構成される。
本実施の形態3では、テレビジョン放送がデジタル放送であった場合について説明する。図15は、本実施の形態3の映像音声記録装置2002を示すシステムブロック図である。テレビジョン放送が地上波デジタル放送やBSデジタル、CSデジタル放送などのデジタル放送の場合、装置に入力される信号は映像データと音声データが重畳して符号化圧縮されている。したがって、デマルチプレクサ301によってデジタル放送信号300を映像データ302と音声データ303に分離する。分離された映像データ302はシーンチェンジ検出部14で解析される。また、分離された音声データ303に対しては第一の楽曲候補区間検出部10および第二の楽曲候補区間検出部11において、楽曲候補区間の検出が行なわれる。デジタル放送信号300はすでにデジタルデータとなっているため、書き込みバッファメモリ9を介して書き込みドライブ2によって蓄積メディア1に記録される。これ以外の部分は実施の形態1と同じであるため、ここでは説明を省略する。
本実施の形態4では、テレビジョン放送ではなく、リムーバブルな蓄積メディア1に記録されている符号化圧縮された映像音声データを入力とすることに特徴がある。図16は、本実施の形態4の映像音声記録装置2003を示すシステムブロック図である。蓄積メディア1にはあらかじめ映像音声データ309が記録されており、このデータを読込/書込ドライブ310で読み出し、デマルチプレクサ301に入力する。なお、蓄積メディア1は映像音声データが記録されているハードディスクドライブ(HDD)などであってもよい。映像音声データ309としては、例えばMPEG2−PS(プログラムストリーム)などがある。記録制御部19は、映像音声記録装置2003と読込/書込ドライブ310の動作を統括的に管理し制御する。第二の楽曲区間検出部17で検出された楽曲区間は、メタデータ生成部18にてその時間情報を表すメタデータファイルが生成されて、書込みバッファメモリ9を介して蓄積メディア1に記録される。このとき、蓄積メディア1に記録されている映像音声データは書き換えず、メタデータファイルを追加する形で記録することが望ましい。その他のものは実施の形態1もしくは実施の形態3で示したものと同じであり、ここでは説明を省略する。
Claims (10)
- 音声信号と映像信号とを含むデータを入力するステップと、
前記音声信号の周波数特性に基づいて第1の楽曲候補区間を検出するステップと、
前記音声信号を構成する複数の音声チャンネルの差異に基づいて第2の楽曲候補区間を検出するステップと、
前記データによって表される映像の変化点を検出するステップと、
前記第1の楽曲候補区間の開始時刻近傍に存在する前記第2の楽曲候補区間の開始時刻、及び前記第1の楽曲候補区間の終了時刻近傍に存在する前記第2の楽曲候補区間の終了時刻からなる第1の楽曲区間を抽出し、抽出した第1の楽曲区間の開始時刻及び終了時刻を、当該開始時刻及び終了時刻近傍に存在する前記映像の変化点に基づいて変更することにより第2の楽曲区間を検出するステップと、を備える楽曲区間検出方法。 - 前記映像の変化点を、前記映像信号のフレーム間におけるYUV分布の差異が所定の閾値を越える時点により検出することを特徴とする請求項1に記載の楽曲区間検出方法。
- 前記映像の変化点を、前記音声信号のエネルギーが所定の閾値以下となる状態が所定期間連続する区間から検出することを特徴とする請求項1に記載の楽曲区間検出方法。
- 前記第1の楽曲区間の開始時刻及び終了時刻の各々から所定の時間幅の中にある前記映像の変化点を用いて前記第2の楽曲区間を検出することを特徴とする請求項1に記載の楽曲区間検出方法。
- 音声信号と映像信号とを含むデータを入力する手段と、
前記音声信号の周波数特性に基づいて第1の楽曲候補区間を検出する手段と、
前記音声信号を構成する複数の音声チャンネルの差異に基づいて第2の楽曲候補区間を検出する手段と、
前記データによって表される映像の変化点を検出する手段と、
前記第1の楽曲候補区間の開始時刻近傍に存在する前記第2の楽曲候補区間の開始時刻、及び前記第1の楽曲候補区間の終了時刻近傍に存在する前記第2の楽曲候補区間の終了時刻からなる第1の楽曲区間を抽出し、抽出した第1の楽曲区間の開始時刻及び終了時刻を、当該開始時刻及び終了時刻近傍に存在する前記映像の変化点に基づいて変更することにより第2の楽曲区間を検出するステップと、を備える楽曲区間検出装置。 - 前記映像の変化点を、前記映像信号のフレーム間におけるYUV分布の差異が所定の閾値を越える時点により検出することを特徴とする請求項5に記載の楽曲区間検出装置。
- 前記映像の変化点を、前記音声信号のエネルギーが所定の閾値以下となる状態が所定期間連続する区間から検出することを特徴とする請求項6に記載の楽曲区間検出装置。
- 前記第1の楽曲区間の開始時刻及び終了時刻の各々から所定の時間幅の中にある前記映像の変化点を用いて前記第2の楽曲区間を検出することを特徴とする請求項5に記載の楽曲区間検出装置。
- 請求項1から4のいずれか1項に記載の楽曲区間検出方法により検出された楽曲区間を含むデータを記録するデータ記録ステップを備え、
前記データ記録ステップは、前記楽曲区間の時間情報を記録するデータ記録方法。 - 請求項5から8のいずれか1項に記載の楽曲区間検出装置により検出された楽曲区間を含むデータを記録するデータ記録部を備え、
前記データ記録部は、前記楽曲区間の時間情報を記録するデータ記録装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006132898A JP4442585B2 (ja) | 2006-05-11 | 2006-05-11 | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 |
EP07706416.0A EP2017827B1 (en) | 2006-05-11 | 2007-01-09 | Music section detecting method and its device, data recording method, and its device |
US12/300,325 US8682132B2 (en) | 2006-05-11 | 2007-01-09 | Method and device for detecting music segment, and method and device for recording data |
PCT/JP2007/050069 WO2007132569A1 (ja) | 2006-05-11 | 2007-01-09 | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006132898A JP4442585B2 (ja) | 2006-05-11 | 2006-05-11 | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007306327A JP2007306327A (ja) | 2007-11-22 |
JP2007306327A5 JP2007306327A5 (ja) | 2008-08-21 |
JP4442585B2 true JP4442585B2 (ja) | 2010-03-31 |
Family
ID=38693670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006132898A Expired - Fee Related JP4442585B2 (ja) | 2006-05-11 | 2006-05-11 | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8682132B2 (ja) |
EP (1) | EP2017827B1 (ja) |
JP (1) | JP4442585B2 (ja) |
WO (1) | WO2007132569A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4398994B2 (ja) * | 2007-04-27 | 2010-01-13 | 株式会社東芝 | 映像処理装置及び方法 |
JP5091806B2 (ja) * | 2008-09-01 | 2012-12-05 | 株式会社東芝 | 映像処理装置及びその方法 |
JP5559128B2 (ja) * | 2011-11-07 | 2014-07-23 | 株式会社東芝 | 装置、方法及びプログラム |
CN104350545B (zh) * | 2012-06-04 | 2016-10-05 | 三菱电机株式会社 | 自动记录装置 |
US9459768B2 (en) * | 2012-12-12 | 2016-10-04 | Smule, Inc. | Audiovisual capture and sharing framework with coordinated user-selectable audio and video effects filters |
US10381022B1 (en) | 2015-12-23 | 2019-08-13 | Google Llc | Audio classifier |
US10764643B2 (en) * | 2016-06-15 | 2020-09-01 | Opentv, Inc. | Context driven content rewind |
US10599702B2 (en) | 2017-10-05 | 2020-03-24 | Audible Magic Corporation | Temporal fraction with use of content identification |
US11755758B1 (en) * | 2017-10-30 | 2023-09-12 | Amazon Technologies, Inc. | System and method for evaluating data files |
US11544806B2 (en) | 2019-02-27 | 2023-01-03 | Audible Magic Corporation | Aggregated media rights platform |
CN111641863A (zh) * | 2019-03-01 | 2020-09-08 | 深圳Tcl新技术有限公司 | 一种环绕声的播放控制方法、系统、装置及存储介质 |
CN113345470B (zh) * | 2021-06-17 | 2022-10-18 | 青岛聚看云科技有限公司 | 一种k歌内容审核方法、显示设备及服务器 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5794194A (en) * | 1989-11-28 | 1998-08-11 | Kabushiki Kaisha Toshiba | Word spotting in a variable noise level environment |
KR940001861B1 (ko) | 1991-04-12 | 1994-03-09 | 삼성전자 주식회사 | 오디오 대역신호의 음성/음악 판별장치 |
DE69214882T2 (de) * | 1991-06-06 | 1997-03-20 | Matsushita Electric Ind Co Ltd | Gerät zur Unterscheidung von Musik und Sprache |
JPH08265660A (ja) | 1995-03-20 | 1996-10-11 | Nippon Telegr & Teleph Corp <Ntt> | 音楽管理方法および装置 |
JPH099199A (ja) * | 1995-06-19 | 1997-01-10 | Sony Corp | 映像信号記録/再生装置 |
US5712953A (en) * | 1995-06-28 | 1998-01-27 | Electronic Data Systems Corporation | System and method for classification of audio or audio/video signals based on musical content |
JPH09284704A (ja) | 1996-04-15 | 1997-10-31 | Sony Corp | 映像信号選択装置及びダイジェスト記録装置 |
JP3669129B2 (ja) | 1996-11-20 | 2005-07-06 | ヤマハ株式会社 | 音信号分析装置及び方法 |
US6525255B1 (en) * | 1996-11-20 | 2003-02-25 | Yamaha Corporation | Sound signal analyzing device |
JP3475317B2 (ja) | 1996-12-20 | 2003-12-08 | 日本電信電話株式会社 | 映像分類方法および装置 |
JPH1155613A (ja) | 1997-07-30 | 1999-02-26 | Hitachi Ltd | 記録および/または再生装置およびこれに用いられる記録媒体 |
JP3434195B2 (ja) | 1998-03-18 | 2003-08-04 | 日本電信電話株式会社 | 音楽映像管理方法、装置および音楽映像管理プログラムを記録した記録媒体 |
JP2000099069A (ja) | 1998-09-24 | 2000-04-07 | Sony Corp | 情報信号処理方法及び装置 |
JP4300697B2 (ja) | 2000-04-24 | 2009-07-22 | ソニー株式会社 | 信号処理装置及び方法 |
JP4596196B2 (ja) * | 2000-08-02 | 2010-12-08 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
US6625600B2 (en) * | 2001-04-12 | 2003-09-23 | Telelogue, Inc. | Method and apparatus for automatically processing a user's communication |
JP2002344852A (ja) | 2001-05-14 | 2002-11-29 | Sony Corp | 情報信号処理装置および情報信号処理方法 |
JP2003099083A (ja) | 2001-09-25 | 2003-04-04 | Nippon Hoso Kyokai <Nhk> | 音声認識装置 |
US7386217B2 (en) * | 2001-12-14 | 2008-06-10 | Hewlett-Packard Development Company, L.P. | Indexing video by detecting speech and music in audio |
KR100472904B1 (ko) | 2002-02-20 | 2005-03-08 | 안호성 | 음악 부분을 자동으로 선별해 저장하는 디지털 음악 재생장치 및 그 방법 |
KR100880480B1 (ko) * | 2002-02-21 | 2009-01-28 | 엘지전자 주식회사 | 디지털 오디오 신호의 실시간 음악/음성 식별 방법 및시스템 |
JP2003298981A (ja) | 2002-04-03 | 2003-10-17 | Oojisu Soken:Kk | 要約画像作成装置、要約画像作成方法、要約画像作成プログラム、及び要約画像作成プログラムを記憶したコンピュータ読取可能な記憶媒体 |
US7286749B2 (en) * | 2002-04-16 | 2007-10-23 | Canon Kabushiki Kaisha | Moving image playback apparatus, moving image playback method, and computer program thereof with determining of first voice period which represents a human utterance period and second voice period other than the first voice period |
JP4086532B2 (ja) | 2002-04-16 | 2008-05-14 | キヤノン株式会社 | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム |
JP4109065B2 (ja) | 2002-09-27 | 2008-06-25 | クラリオン株式会社 | 記録再生装置、記録装置、それらの制御方法、制御プログラム及び記録媒体 |
WO2004040416A2 (en) * | 2002-10-28 | 2004-05-13 | Gracenote, Inc. | Personal audio recording system |
US7031915B2 (en) * | 2003-01-23 | 2006-04-18 | Aurilab Llc | Assisted speech recognition by dual search acceleration technique |
US7336890B2 (en) * | 2003-02-19 | 2008-02-26 | Microsoft Corporation | Automatic detection and segmentation of music videos in an audio/video stream |
US20040167767A1 (en) * | 2003-02-25 | 2004-08-26 | Ziyou Xiong | Method and system for extracting sports highlights from audio signals |
US20050154987A1 (en) * | 2004-01-14 | 2005-07-14 | Isao Otsuka | System and method for recording and reproducing multimedia |
KR100831531B1 (ko) * | 2004-01-14 | 2008-05-22 | 미쓰비시덴키 가부시키가이샤 | 기록 장치, 기록 방법, 기록 매체, 요약 재생 장치, 요약 재생 방법, 멀티미디어 요약 시스템 및 멀티미디어 요약 방법 |
US20060149693A1 (en) * | 2005-01-04 | 2006-07-06 | Isao Otsuka | Enhanced classification using training data refinement and classifier updating |
US20060212297A1 (en) * | 2005-03-18 | 2006-09-21 | International Business Machines Corporation | System and method using blind change detection for audio segmentation |
JP2006301134A (ja) * | 2005-04-19 | 2006-11-02 | Hitachi Ltd | 音楽検出装置、音楽検出方法及び録音再生装置 |
GB2465917B (en) * | 2005-05-03 | 2010-08-04 | Codemasters Software Co | Rhythm action game apparatus and method |
JP4201204B2 (ja) | 2005-05-26 | 2008-12-24 | Kddi株式会社 | オーディオ情報分類装置 |
KR100749045B1 (ko) * | 2006-01-26 | 2007-08-13 | 삼성전자주식회사 | 음악 내용 요약본을 이용한 유사곡 검색 방법 및 그 장치 |
-
2006
- 2006-05-11 JP JP2006132898A patent/JP4442585B2/ja not_active Expired - Fee Related
-
2007
- 2007-01-09 US US12/300,325 patent/US8682132B2/en not_active Expired - Fee Related
- 2007-01-09 WO PCT/JP2007/050069 patent/WO2007132569A1/ja active Application Filing
- 2007-01-09 EP EP07706416.0A patent/EP2017827B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP2017827A4 (en) | 2015-11-11 |
WO2007132569A1 (ja) | 2007-11-22 |
JP2007306327A (ja) | 2007-11-22 |
US20100232765A1 (en) | 2010-09-16 |
US8682132B2 (en) | 2014-03-25 |
EP2017827A1 (en) | 2009-01-21 |
EP2017827B1 (en) | 2017-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4442585B2 (ja) | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 | |
JP4321518B2 (ja) | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 | |
JP4081120B2 (ja) | 記録装置、記録再生装置 | |
JPWO2005069172A1 (ja) | 要約再生装置および要約再生方法 | |
JP4491700B2 (ja) | 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置 | |
US20070168188A1 (en) | Time-scale modification method for digital audio signal and digital audio/video signal, and variable speed reproducing method of digital television signal by using the same method | |
KR20060027826A (ko) | 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램 | |
WO2001016935A1 (fr) | Procede et dispositif d'extraction/traitement d'informations, et procede et dispositif de stockage | |
JP4259500B2 (ja) | 映像音声記録装置 | |
JP4432823B2 (ja) | 特定条件区間検出装置および特定条件区間検出方法 | |
JPWO2007046171A1 (ja) | 記録再生装置 | |
JP4743228B2 (ja) | デジタル音声信号解析方法、その装置、及び映像音声記録装置 | |
JP2010074823A (ja) | 録画編集装置 | |
JP2006270233A (ja) | 信号処理方法及び信号記録再生装置 | |
JP5358270B2 (ja) | デジタル信号再生装置及びデジタル信号圧縮装置 | |
JP2008020767A (ja) | 記録再生装置および方法、プログラム、並びに記録媒体 | |
JP4278667B2 (ja) | 楽曲結合装置、楽曲結合方法、及び楽曲結合プログラム | |
JP2008124551A (ja) | ダイジェスト作成装置 | |
JP2008262000A (ja) | オーディオ信号特徴検出装置及び特徴検出方法 | |
JP5132789B2 (ja) | 動画像符号化装置及び方法 | |
JP4984948B2 (ja) | 番組記録再生装置 | |
JP2005223794A (ja) | 映像音響コンテンツの記録装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100104 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4442585 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |