JP5728888B2 - 信号処理装置および方法、並びにプログラム - Google Patents
信号処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP5728888B2 JP5728888B2 JP2010243912A JP2010243912A JP5728888B2 JP 5728888 B2 JP5728888 B2 JP 5728888B2 JP 2010243912 A JP2010243912 A JP 2010243912A JP 2010243912 A JP2010243912 A JP 2010243912A JP 5728888 B2 JP5728888 B2 JP 5728888B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- input signal
- time
- similarity
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/046—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for differentiation between music and non-music signals, based on the identification of musical parameters, e.g. based on tempo detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
- G10H2240/141—Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Auxiliary Devices For Music (AREA)
Description
図2は、本発明を適用した信号処理装置の一実施の形態の構成を示している。
次に、図3を参照して、図2の楽曲度算出部54の詳細な構成について説明する。
次に、図4を参照して、図2のマスクパターン生成部55の詳細な構成について説明する。
次に、図5のフローチャートを参照して、信号処理装置11の楽曲同定処理について説明する。楽曲同定処理は、外部の装置等から、同定されるべき楽曲が含まれる入力信号が信号処理装置11に入力されると開始される。なお、信号処理装置11には、入力信号が、時間的に連続して入力される。
ここで、図6のフローチャートを参照して、図5のフローチャートのステップS11における入力信号解析処理の詳細について説明する。
ここで、図8のフローチャートを参照して、図6のフローチャートのステップS34における楽曲度算出処理の詳細について説明する。
ここで、図11のフローチャートを参照して、図6のフローチャートのステップS35におけるマスクパターン生成処理の詳細について説明する。
ここで、図13のフローチャートを参照して、図5のフローチャートのステップS12における参照信号解析処理の詳細について説明する。
ここで、図14のフローチャートを参照して、図5のフローチャートのステップS13におけるマッチング処理の詳細について説明する。
Claims (8)
- 入力信号を楽曲のみからなる参照信号と比較することによって、前記入力信号の楽曲を同定する信号処理装置において、
前記入力信号から信号成分のパワースペクトルが極大となる点を検出する検出手段と、
所定の時間区間における前記極大となる点の頻度に基づいて、楽曲らしさを示す楽曲度を算出する楽曲度算出手段と、
時間周波数領域に変換された前記入力信号の各領域における前記楽曲度に応じた重み分布を生成する重み分布生成手段と、
前記重み分布による重み付けに基づいて、時間周波数領域に変換された前記入力信号の各領域における特徴量と、時間周波数領域に変換された前記参照信号の各領域における前記特徴量との類似度を算出する類似度算出手段と
を備える信号処理装置。 - 前記重み分布生成手段は、前記楽曲度が所定の閾値を超える領域に対して前記楽曲度に応じた重み付けをし、前記楽曲度が所定の閾値を超えない領域をマスクする前記重み分布を生成する
請求項1に記載の信号処理装置。 - 前記頻度は、前記極大となる点の周波数毎の頻度である
請求項1または2に記載の信号処理装置。 - 前記類似度算出手段は、前記入力信号の特徴量と、複数の前記参照信号の特徴量との前記類似度を算出し、
複数の前記類似度の中で、所定の閾値を超える前記類似度のうち、最大の類似度が算出された前記参照信号の楽曲を、前記入力信号の楽曲であると判定する判定手段をさらに備える
請求項1に記載の信号処理装置。 - 前記類似度算出手段は、前記入力信号の特徴量と、複数の前記参照信号の特徴量との前記類似度を算出し、
複数の前記類似度の中で、所定の閾値を超える前記類似度が算出された複数の前記参照信号の楽曲を、前記入力信号の楽曲であると判定する判定手段をさらに備える
請求項1に記載の信号処理装置。 - 前記類似度算出手段は、前記重み分布による重み付けに基づいて、時間周波数領域に変換された所定時間分の前記入力信号の各領域における前記特徴量と、時間周波数領域に変換された前記参照信号の前記所定時間に対応する領域における前記特徴量との類似度を算出する
請求項1に記載の信号処理装置。 - 入力信号を楽曲のみからなる参照信号と比較することによって、前記入力信号の楽曲を同定する信号処理方法において、
前記入力信号から信号成分のパワースペクトルが極大となる点を検出する検出ステップと、
所定の時間区間における前記極大となる点の頻度に基づいて、楽曲らしさを示す楽曲度を算出する楽曲度算出ステップと、
時間周波数領域に変換された前記入力信号の各領域における前記楽曲度に応じた重み分布を生成する重み分布生成ステップと、
前記重み分布による重み付けに基づいて、時間周波数領域に変換された前記入力信号の各領域における特徴量と、時間周波数領域に変換された前記参照信号の各領域における前記特徴量との類似度を算出する類似度算出ステップと
を含む信号処理方法。 - 入力信号を楽曲のみからなる参照信号と比較することによって、前記入力信号の楽曲を同定する信号処理をコンピュータに実行させるプログラムにおいて、
前記入力信号から信号成分のパワースペクトルが極大となる点を検出する検出ステップと、
所定の時間区間における前記極大となる点の頻度に基づいて、楽曲らしさを示す楽曲度を算出する楽曲度算出ステップと、
時間周波数領域に変換された前記入力信号の各領域における前記楽曲度に応じた重み分布を生成する重み分布生成ステップと、
前記重み分布による重み付けに基づいて、時間周波数領域に変換された前記入力信号の各領域における特徴量と、時間周波数領域に変換された前記参照信号の各領域における前記特徴量との類似度を算出する類似度算出ステップと
を含む処理をコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010243912A JP5728888B2 (ja) | 2010-10-29 | 2010-10-29 | 信号処理装置および方法、並びにプログラム |
US13/277,971 US8680386B2 (en) | 2010-10-29 | 2011-10-20 | Signal processing device, signal processing method, and program |
CN201110329985.9A CN102568474B (zh) | 2010-10-29 | 2011-10-21 | 信号处理装置和信号处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010243912A JP5728888B2 (ja) | 2010-10-29 | 2010-10-29 | 信号処理装置および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012098360A JP2012098360A (ja) | 2012-05-24 |
JP5728888B2 true JP5728888B2 (ja) | 2015-06-03 |
Family
ID=45995232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010243912A Expired - Fee Related JP5728888B2 (ja) | 2010-10-29 | 2010-10-29 | 信号処理装置および方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8680386B2 (ja) |
JP (1) | JP5728888B2 (ja) |
CN (1) | CN102568474B (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5728888B2 (ja) * | 2010-10-29 | 2015-06-03 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
JP6019858B2 (ja) * | 2011-07-27 | 2016-11-02 | ヤマハ株式会社 | 楽曲解析装置および楽曲解析方法 |
JP2013117688A (ja) * | 2011-12-05 | 2013-06-13 | Sony Corp | 音響処理装置、音響処理方法、プログラム、記録媒体、サーバ装置、音響再生装置および音響処理システム |
JP2013205830A (ja) * | 2012-03-29 | 2013-10-07 | Sony Corp | トーン成分検出方法、トーン成分検出装置およびプログラム |
JP5935503B2 (ja) * | 2012-05-18 | 2016-06-15 | ヤマハ株式会社 | 楽曲解析装置および楽曲解析方法 |
JP6233625B2 (ja) * | 2012-11-16 | 2017-11-22 | ソニー株式会社 | 音声処理装置および方法、並びにプログラム |
JP6392450B2 (ja) * | 2015-04-13 | 2018-09-19 | 日本電信電話株式会社 | マッチング装置、判定装置、これらの方法、プログラム及び記録媒体 |
CN106558318B (zh) * | 2015-09-24 | 2020-04-28 | 阿里巴巴集团控股有限公司 | 音频识别方法和系统 |
US9756281B2 (en) | 2016-02-05 | 2017-09-05 | Gopro, Inc. | Apparatus and method for audio based video synchronization |
WO2017141542A1 (ja) * | 2016-02-16 | 2017-08-24 | 日本電信電話株式会社 | マスク推定装置、マスク推定方法及びマスク推定プログラム |
CN106057211B (zh) * | 2016-05-27 | 2018-08-21 | 广州多益网络股份有限公司 | 一种信号匹配方法及装置 |
US9697849B1 (en) | 2016-07-25 | 2017-07-04 | Gopro, Inc. | Systems and methods for audio based synchronization using energy vectors |
US9640159B1 (en) | 2016-08-25 | 2017-05-02 | Gopro, Inc. | Systems and methods for audio based synchronization using sound harmonics |
US9653095B1 (en) * | 2016-08-30 | 2017-05-16 | Gopro, Inc. | Systems and methods for determining a repeatogram in a music composition using audio features |
US9916822B1 (en) | 2016-10-07 | 2018-03-13 | Gopro, Inc. | Systems and methods for audio remixing using repeated segments |
JP7025145B2 (ja) * | 2017-07-13 | 2022-02-24 | 株式会社メガチップス | 電子メロディ特定装置、プログラム、及び電子メロディ特定方法 |
JP7025144B2 (ja) * | 2017-07-13 | 2022-02-24 | 株式会社メガチップス | 電子メロディ特定装置、プログラム、及び電子メロディ特定方法 |
FR3085785B1 (fr) * | 2018-09-07 | 2021-05-14 | Gracenote Inc | Procedes et appareil pour generer une empreinte numerique d'un signal audio par voie de normalisation |
US12032628B2 (en) | 2019-11-26 | 2024-07-09 | Gracenote, Inc. | Methods and apparatus to fingerprint an audio signal via exponential normalization |
US11798577B2 (en) | 2021-03-04 | 2023-10-24 | Gracenote, Inc. | Methods and apparatus to fingerprint an audio signal |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5510572A (en) * | 1992-01-12 | 1996-04-23 | Casio Computer Co., Ltd. | Apparatus for analyzing and harmonizing melody using results of melody analysis |
US5874686A (en) * | 1995-10-31 | 1999-02-23 | Ghias; Asif U. | Apparatus and method for searching a melody |
US6504089B1 (en) * | 1997-12-24 | 2003-01-07 | Canon Kabushiki Kaisha | System for and method of searching music data, and recording medium for use therewith |
DE19948974A1 (de) * | 1999-10-11 | 2001-04-12 | Nokia Mobile Phones Ltd | Verfahren zum Erkennen und Auswählen einer Tonfolge, insbesondere eines Musikstücks |
US6990453B2 (en) * | 2000-07-31 | 2006-01-24 | Landmark Digital Services Llc | System and methods for recognizing sound and music signals in high noise and distortion |
FI20002161A (fi) * | 2000-09-29 | 2002-03-30 | Nokia Mobile Phones Ltd | Menetelmä ja järjestelmä melodian tunnistamiseksi |
DE10117870B4 (de) * | 2001-04-10 | 2005-06-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Überführen eines Musiksignals in eine Noten-basierte Beschreibung und Verfahren und Vorrichtung zum Referenzieren eines Musiksignals in einer Datenbank |
US6995309B2 (en) * | 2001-12-06 | 2006-02-07 | Hewlett-Packard Development Company, L.P. | System and method for music identification |
US6967275B2 (en) * | 2002-06-25 | 2005-11-22 | Irobot Corporation | Song-matching system and method |
WO2004034375A1 (en) * | 2002-10-11 | 2004-04-22 | Matsushita Electric Industrial Co. Ltd. | Method and apparatus for determining musical notes from sounds |
US7689638B2 (en) * | 2002-11-28 | 2010-03-30 | Nokia Corporation | Method and device for determining and outputting the similarity between two data strings |
JP4125989B2 (ja) | 2003-04-30 | 2008-07-30 | 日本電信電話株式会社 | 類似音声音楽検索装置,類似音声音楽検索処理方法,類似音声音楽検索プログラムおよびそのプログラムの記録媒体 |
DE102004049477A1 (de) * | 2004-10-11 | 2006-04-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zur harmonischen Aufbereitung einer Melodielinie |
EP1785891A1 (en) * | 2005-11-09 | 2007-05-16 | Sony Deutschland GmbH | Music information retrieval using a 3D search algorithm |
US20100132122A1 (en) * | 2008-12-02 | 2010-06-03 | Dan Hollingshead | Bed-Mounted Computer Terminal |
JP4788810B2 (ja) * | 2009-08-17 | 2011-10-05 | ソニー株式会社 | 楽曲同定装置及び方法、楽曲同定配信装置及び方法 |
US8049093B2 (en) * | 2009-12-30 | 2011-11-01 | Motorola Solutions, Inc. | Method and apparatus for best matching an audible query to a set of audible targets |
US8886531B2 (en) * | 2010-01-13 | 2014-11-11 | Rovi Technologies Corporation | Apparatus and method for generating an audio fingerprint and using a two-stage query |
US8158870B2 (en) * | 2010-06-29 | 2012-04-17 | Google Inc. | Intervalgram representation of audio for melody recognition |
JP5728888B2 (ja) * | 2010-10-29 | 2015-06-03 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
JP5949544B2 (ja) * | 2010-12-01 | 2016-07-06 | ヤマハ株式会社 | リズムパターンの類似度に基づく楽音データの検索 |
JP6019858B2 (ja) * | 2011-07-27 | 2016-11-02 | ヤマハ株式会社 | 楽曲解析装置および楽曲解析方法 |
-
2010
- 2010-10-29 JP JP2010243912A patent/JP5728888B2/ja not_active Expired - Fee Related
-
2011
- 2011-10-20 US US13/277,971 patent/US8680386B2/en not_active Expired - Fee Related
- 2011-10-21 CN CN201110329985.9A patent/CN102568474B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN102568474B (zh) | 2016-02-10 |
JP2012098360A (ja) | 2012-05-24 |
CN102568474A (zh) | 2012-07-11 |
US8680386B2 (en) | 2014-03-25 |
US20120103166A1 (en) | 2012-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5728888B2 (ja) | 信号処理装置および方法、並びにプログラム | |
JP5732994B2 (ja) | 楽曲検索装置および方法、プログラム、並びに記録媒体 | |
JP5593608B2 (ja) | 情報処理装置、メロディーライン抽出方法、ベースライン抽出方法、及びプログラム | |
US9313593B2 (en) | Ranking representative segments in media data | |
JP4465626B2 (ja) | 情報処理装置および方法、並びにプログラム | |
JP4067969B2 (ja) | 信号を特徴付ける方法および装置、および、索引信号を生成する方法および装置 | |
JP4650662B2 (ja) | 信号処理装置および信号処理方法、プログラム、並びに記録媒体 | |
US7649137B2 (en) | Signal processing apparatus and method, program, and recording medium | |
CN109256144B (zh) | 基于集成学习与噪声感知训练的语音增强方法 | |
US7653534B2 (en) | Apparatus and method for determining a type of chord underlying a test signal | |
US20080245215A1 (en) | Signal Processing Apparatus and Method, Program, and Recording Medium | |
US8494668B2 (en) | Sound signal processing apparatus and method | |
Stein et al. | Automatic detection of audio effects in guitar and bass recordings | |
JP2010134231A (ja) | 情報処理装置、音素材の切り出し方法、及びプログラム | |
CN102479509A (zh) | 旋律辨识方法与其装置 | |
WO2004027646A1 (ja) | 曲分類装置、曲分類方法、及びプログラム | |
CN109920446B (zh) | 一种音频数据处理方法、装置及计算机存储介质 | |
Kirchhoff et al. | Evaluation of features for audio-to-audio alignment | |
JP2012226106A (ja) | 楽曲区間検出装置および方法、プログラム、記録媒体、並びに楽曲信号検出装置 | |
US9398387B2 (en) | Sound processing device, sound processing method, and program | |
CN115223584B (zh) | 音频数据处理方法、装置、设备及存储介质 | |
JP4953068B2 (ja) | 和音判別装置、和音判別方法およびプログラム | |
JP2004102023A (ja) | 特定音響信号検出方法、信号検出装置、信号検出プログラム及び記録媒体 | |
JP2006195384A (ja) | 楽曲調性算出装置および選曲装置 | |
JP2011027972A (ja) | 信号処理装置、信号処理方法、及び信号処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150323 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5728888 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |