JP7120468B2 - 音響解析方法、音響解析装置およびプログラム - Google Patents
音響解析方法、音響解析装置およびプログラム Download PDFInfo
- Publication number
- JP7120468B2 JP7120468B2 JP2021548111A JP2021548111A JP7120468B2 JP 7120468 B2 JP7120468 B2 JP 7120468B2 JP 2021548111 A JP2021548111 A JP 2021548111A JP 2021548111 A JP2021548111 A JP 2021548111A JP 7120468 B2 JP7120468 B2 JP 7120468B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- unit
- feature amount
- acoustic signal
- song
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 100
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000012545 processing Methods 0.000 claims description 39
- 238000012935 Averaging Methods 0.000 claims description 12
- 230000002123 temporal effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 18
- 230000033764 rhythmic process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 239000011435 rock Substances 0.000 description 6
- 241001342895 Chorus Species 0.000 description 5
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 240000006829 Ficus sundaica Species 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- -1 Y: Variation pattern Substances 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/632—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/65—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/081—Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
- G10H2240/141—Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Auxiliary Devices For Music (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
図1は、本開示の第1実施形態に係る音響解析装置100の構成を例示するブロック図である。音響解析装置100は、特定の楽曲(以下「目標楽曲」という)の演奏音を表す音響信号Sを解析することで、音楽ジャンルに関する特徴量を生成する情報処理装置である。音楽ジャンルは、楽曲を音楽的な観点で分類した区分(種別)を意味する。例えばロック,ポップス,ジャズ,ダンスまたはブルース等の音楽的な区分が音楽ジャンルの典型例である。
信号解析部22は、音響信号Sの解析により特徴量Fを算定する。図3は、特徴量Fの説明図である。特徴量Fは、相異なる音楽ジャンルGnに対応するN個の確度Q1~QNを含むN次元ベクトルである(Nは2以上の自然数)。第n番目(n=1~N)の音楽ジャンルGnに対応する確度Qnは、音響信号Sが表す目標楽曲が当該音楽ジャンルGnに属する確からしさの指標である。すなわち、例えば特徴量Fの1個の確度Qnが大きいほど、目標楽曲が第n番目の音楽ジャンルGnに属する可能性が高いと評価できる。以上の説明から理解される通り、特徴量Fは、目標楽曲が属する音楽ジャンルGnを評価するための指標である。
表示制御部23は、信号解析部22による解析の結果を表示装置13に表示させる。具体的には、表示制御部23は、図8または図9の第1解析画像13aと図10の第2解析画像13bとを表示装置13に表示させる。
図2の楽曲選択部24は、複数(K個)の候補楽曲のうち目標楽曲に音楽的に類似する複数の候補楽曲を選択する。図11は、楽曲選択部24の構成を例示するブロック図である。
第2実施形態について説明する。なお、以下に例示する各形態において機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
以上に例示した形態から、例えば以下の構成が把握される。
複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する1以上の候補楽曲を選択する楽曲選択部とを具備する。
Claims (14)
- 楽曲の演奏音を表す音響信号を取得し、
前記音響信号を時間軸上で区分した複数の単位期間の各々について、前記楽曲が複数の音楽カテゴリの各々に属する確度を含む特徴量を、前記音響信号の解析により算定し、
複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する1以上の候補楽曲を選択する
コンピュータにより実現される音響解析方法。 - 楽曲の演奏音を表す音響信号を取得し、
前記音響信号を時間軸上で区分した複数の単位期間の各々について、前記楽曲が複数の音楽カテゴリの各々に属する確度を含む単位特徴量を、前記音響信号の解析により算定し、
前記複数の単位期間のうち2以上の単位期間における前記単位特徴量を平均することで特徴量を算定し、
複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する1以上の候補楽曲を選択する
コンピュータにより実現される音響解析方法。 - さらに、前記音響信号の解析により前記楽曲の複数の楽曲構造区間を特定し、
前記単位特徴量の平均においては、前記複数の楽曲構造区間の各々について設定された加重値を利用して前記2以上の単位期間における前記単位特徴量を加重平均する
請求項2の音響解析方法。 - 前記複数の音楽カテゴリは、複数の音楽ジャンルである
請求項1から請求項3の何れかの音響解析方法。 - 前記1以上の候補楽曲の選択においては、
前記複数の候補楽曲の各々について、当該候補楽曲の特徴量と前記算定された特徴量との類似度を算定し、
前記複数の候補楽曲のうち前記類似度が高い前記1以上の候補楽曲を選択する
請求項1から請求項4の何れかの音響解析方法。 - 前記特徴量の算定においては、
複数の音色の各々について時間的な変動を表す変動パターンを前記音響信号の解析により生成し、
前記複数の音楽カテゴリの各々について、当該音楽カテゴリの変動パターンと前記生成された変動パターンとを対比することで、前記楽曲が当該音楽カテゴリに属する確度を算定する
請求項1から請求項5の何れかの音響解析方法。 - 楽曲の演奏音を表す音響信号を取得する信号取得部と、
前記音響信号を時間軸上で区分した複数の単位期間の各々について、前記楽曲が複数の音楽カテゴリの各々に属する確度を含む特徴量を、前記音響信号の解析により算定する信号解析部と、
複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する1以上の候補楽曲を選択する楽曲選択部と
を具備する音響解析装置。 - 楽曲の演奏音を表す音響信号を取得する信号取得部と、
前記音響信号を時間軸上で区分した複数の単位期間の各々について、前記楽曲が複数の音楽カテゴリの各々に属する確度を含む単位特徴量を、前記音響信号の解析により算定し、前記複数の単位期間のうち2以上の単位期間における前記単位特徴量を平均することで特徴量を算定する信号解析部と、
複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する1以上の候補楽曲を選択する楽曲選択部と
を具備する音響解析装置。 - 前記音響信号の解析により前記楽曲の複数の楽曲構造区間を特定する構造解析部をさらに具備し、
前記信号解析部は、前記複数の楽曲構造区間の各々について設定された加重値を利用して前記2以上の単位期間における前記単位特徴量を加重平均する
請求項8の音響解析装置。 - 前記複数の音楽カテゴリは、複数の音楽ジャンルである
請求項7から請求項9の何れかの音響解析装置。 - 前記楽曲選択部は、
前記複数の候補楽曲の各々について、当該候補楽曲の特徴量と前記算定された特徴量との類似度を算定する類似度算定部と、
前記複数の候補楽曲のうち前記類似度が高い前記1以上の候補楽曲を選択する選択処理部とを含む
請求項7から請求項10の何れかの音響解析装置。 - 前記信号解析部は、
複数の音色の各々について時間的な変動を表す変動パターンを前記音響信号の解析により生成し、
前記複数の音楽カテゴリの各々について、当該音楽カテゴリの変動パターンと前記生成された変動パターンとを対比することで、前記楽曲が当該音楽カテゴリに属する確度を算定する
請求項7から請求項11の何れかの音響解析装置。 - 楽曲の演奏音を表す音響信号を取得する信号取得部、
前記音響信号を時間軸上で区分した複数の単位期間の各々について、前記楽曲が複数の音楽カテゴリの各々に属する確度を含む特徴量を、前記音響信号の解析により算定する信号解析部、および、
複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する1以上の候補楽曲を選択する楽曲選択部
としてコンピュータを機能させるプログラム。 - 楽曲の演奏音を表す音響信号を取得する信号取得部、
前記音響信号を時間軸上で区分した複数の単位期間の各々について、前記楽曲が複数の音楽カテゴリの各々に属する確度を含む単位特徴量を、前記音響信号の解析により算定し、前記複数の単位期間のうち2以上の単位期間における前記単位特徴量を平均することで特徴量を算定する信号解析部、および、
複数の候補楽曲のうち特徴量が前記楽曲について算定された特徴量に類似する1以上の候補楽曲を選択する楽曲選択部
としてコンピュータを機能させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/038110 WO2021059473A1 (ja) | 2019-09-27 | 2019-09-27 | 音響解析方法、音響解析装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021059473A1 JPWO2021059473A1 (ja) | 2021-04-01 |
JP7120468B2 true JP7120468B2 (ja) | 2022-08-17 |
Family
ID=75164887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021548111A Active JP7120468B2 (ja) | 2019-09-27 | 2019-09-27 | 音響解析方法、音響解析装置およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220215051A1 (ja) |
JP (1) | JP7120468B2 (ja) |
CN (1) | CN114402389A (ja) |
WO (1) | WO2021059473A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11461649B2 (en) * | 2020-03-19 | 2022-10-04 | Adobe Inc. | Searching for music |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007026425A (ja) | 2005-06-16 | 2007-02-01 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
JP2009205247A (ja) | 2008-02-26 | 2009-09-10 | Kddi Corp | 音楽連動型広告配信方法、装置およびシステム |
JP2015079110A (ja) | 2013-10-17 | 2015-04-23 | ヤマハ株式会社 | 音響解析装置 |
WO2017154928A1 (ja) | 2016-03-07 | 2017-09-14 | ヤマハ株式会社 | 音信号処理方法および音信号処理装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2159717A3 (en) * | 2006-03-30 | 2010-03-17 | Sony France S.A. | Hybrid audio-visual categorization system and method |
US10713601B2 (en) * | 2015-04-29 | 2020-07-14 | Microsoft Technology Licensing, Llc | Personalized contextual suggestion engine |
US10055411B2 (en) * | 2015-10-30 | 2018-08-21 | International Business Machines Corporation | Music recommendation engine |
KR101891778B1 (ko) * | 2017-04-07 | 2018-08-24 | 네이버 주식회사 | 음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램 |
KR20230150407A (ko) * | 2017-07-24 | 2023-10-30 | 메드리듬스, 아이엔씨. | 반복적 모션 활동을 위한 음악 향상 |
-
2019
- 2019-09-27 WO PCT/JP2019/038110 patent/WO2021059473A1/ja active Application Filing
- 2019-09-27 JP JP2021548111A patent/JP7120468B2/ja active Active
- 2019-09-27 CN CN201980100452.8A patent/CN114402389A/zh active Pending
-
2022
- 2022-03-25 US US17/705,100 patent/US20220215051A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007026425A (ja) | 2005-06-16 | 2007-02-01 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
JP2009205247A (ja) | 2008-02-26 | 2009-09-10 | Kddi Corp | 音楽連動型広告配信方法、装置およびシステム |
JP2015079110A (ja) | 2013-10-17 | 2015-04-23 | ヤマハ株式会社 | 音響解析装置 |
WO2017154928A1 (ja) | 2016-03-07 | 2017-09-14 | ヤマハ株式会社 | 音信号処理方法および音信号処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220215051A1 (en) | 2022-07-07 |
CN114402389A (zh) | 2022-04-26 |
JPWO2021059473A1 (ja) | 2021-04-01 |
WO2021059473A1 (ja) | 2021-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7790974B2 (en) | Metadata-based song creation and editing | |
EP3047478B1 (en) | Combining audio samples by automatically adjusting sample characteristics | |
EP3047484B1 (en) | Recommending audio sample combinations | |
EP3047479B1 (en) | Automatically expanding sets of audio samples | |
JP5935503B2 (ja) | 楽曲解析装置および楽曲解析方法 | |
JP5799977B2 (ja) | 音符列解析装置 | |
JP5454317B2 (ja) | 音響解析装置 | |
US8977374B1 (en) | Geometric and acoustic joint learning | |
WO2019167719A1 (ja) | 楽曲の演奏を処理するための情報処理方法および装置 | |
US11322124B2 (en) | Chord identification method and chord identification apparatus | |
WO2017154928A1 (ja) | 音信号処理方法および音信号処理装置 | |
JP6197569B2 (ja) | 音響解析装置 | |
TW202006613A (zh) | 訓練改編水準評價模型、評價改編水準的方法及裝置 | |
CN108292499A (zh) | 技巧确定装置和记录介质 | |
JP7120468B2 (ja) | 音響解析方法、音響解析装置およびプログラム | |
Bruford et al. | Groove Explorer: An Intelligent Visual Interface for Drum Loop Library Navigation. | |
Foulon et al. | Automatic classification of guitar playing modes | |
JP7318253B2 (ja) | 楽曲解析方法、楽曲解析装置およびプログラム | |
CN116710998A (zh) | 信息处理系统、电子乐器、信息处理方法及程序 | |
JP2017161572A (ja) | 音信号処理方法および音信号処理装置 | |
JP6565529B2 (ja) | 自動アレンジ装置及びプログラム | |
Dewi et al. | Gamelan Rindik Classification Based On Mood Using K-Nearest Neigbor Method | |
JP2018005188A (ja) | 音響解析装置および音響解析方法 | |
Fiss | Real-time software electric guitar audio transcription | |
Kogo et al. | Music similarity retrieval method considering music arrangement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210922 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220718 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7120468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |