WO2020255214A1 - 楽曲解析装置、プログラムおよび楽曲解析方法 - Google Patents

楽曲解析装置、プログラムおよび楽曲解析方法 Download PDF

Info

Publication number
WO2020255214A1
WO2020255214A1 PCT/JP2019/023929 JP2019023929W WO2020255214A1 WO 2020255214 A1 WO2020255214 A1 WO 2020255214A1 JP 2019023929 W JP2019023929 W JP 2019023929W WO 2020255214 A1 WO2020255214 A1 WO 2020255214A1
Authority
WO
WIPO (PCT)
Prior art keywords
key
music
candidates
relative
analysis device
Prior art date
Application number
PCT/JP2019/023929
Other languages
English (en)
French (fr)
Inventor
四郎 鈴木
利尚 佐飛
Original Assignee
ＡｌｐｈａＴｈｅｔａ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ＡｌｐｈａＴｈｅｔａ株式会社 filed Critical ＡｌｐｈａＴｈｅｔａ株式会社
Priority to US17/619,412 priority Critical patent/US20220262331A1/en
Priority to JP2021528066A priority patent/JP7176114B2/ja
Priority to PCT/JP2019/023929 priority patent/WO2020255214A1/ja
Publication of WO2020255214A1 publication Critical patent/WO2020255214A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G10H1/057—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by envelope-forming circuits
    • G10H1/0575—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by envelope-forming circuits using a data store from which the envelope is synthesized
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/125—Extracting or recognising the pitch or fundamental frequency of the picked up signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]

Definitions

  • the present invention relates to a music analysis device, a program, and a music analysis method.
  • Patent Document 1 A technology has been proposed that automatically identifies the key of a song.
  • a sound data acquisition unit that acquires sound data of a musical piece, a storage unit that stores key information indicating a correspondence between a key and a scale, and sound data in a predetermined section are frequency-analyzed.
  • the chroma vector is obtained, multiple scales are selected from the scales included in the chroma vector, key candidates are determined based on the combination of the selected multiple scales and key information, and the music is selected from the determined key candidates.
  • a music key estimation device including a key estimation unit for specifying a key is described.
  • a musical piece is selected from among the key candidates based on the distance between the key candidates in the scale, the strength of the scale included in each key candidate, and the strength of the scale immediately before the scale indicating each key candidate.
  • the key of is specified.
  • the key of the music may not always be estimated properly with high accuracy.
  • an object of the present invention is to provide a music analysis device, a program, and a music analysis method capable of appropriately estimating a music key with higher accuracy.
  • the key candidate determination unit that determines a plurality of key candidates by analyzing the music data, and the remaining keys of the plurality of key candidates for one key extracted from the plurality of key candidates.
  • the process of detecting the key corresponding to the relative key when the key from 1 to 1 is the main key is executed for each of the plurality of key candidates, and a plurality of keys are executed according to the relative key score calculated according to the number of keys corresponding to the relative key.
  • a music analysis device including a key selection unit for selecting a music key from the key candidates of the above is provided.
  • a program configured to operate a computer is provided as the above-mentioned music analysis device.
  • the process of detecting the key corresponding to the intimacy when the key of 1 is the main key is executed for each of the plurality of key candidates, and a plurality of keys are executed according to the intimacy score calculated according to the number of keys corresponding to the intimacy.
  • a music analysis method including a step of selecting a music key from key candidates is provided.
  • the key of the music can be estimated appropriately with higher accuracy by the judgment using the relative key.
  • FIG. 1 is a block diagram showing a schematic functional configuration of a music analysis device according to an embodiment of the present invention.
  • the music analysis device 100 includes a chroma vector generation unit 110, a key candidate determination unit 120, a key selection unit 130, and a music key information output unit 140.
  • the music analysis device 100 is implemented by, for example, a computer having a communication interface, a processor, and a memory, and the functions of the chroma vector generation unit 110, the key candidate determination unit 120, the key selection unit 130, and the music key information output unit 140 are performed by the processor. It is realized by operating according to a program stored in memory or received via a communication interface. The functions of each part will be further described below.
  • the chroma vector generator 110 frequency-analyzes music data 111, specifically, for example, PCM (pulse code modulation) data, specifically FFT (fast Fourier transform) 112, pitch detection 113, and 1/12 octave banding.
  • PCM pulse code modulation
  • FFT fast Fourier transform
  • the processing of 114 is executed, the processing of chroma vector generation 115, specifically, the result of 1/12 octave banding 114 is aggregated into 12 sounds of 1 octave, and the components of each of the 12 sounds are integrated in the time axis direction.
  • Chroma vector 116 (acoustic chroma vector) is generated by the processing.
  • the chroma vector 116 is composed of 12 elements corresponding to the frequency with which each of the 12 sounds appears in the music.
  • the key candidate determination unit 120 determines the key candidate 121 based on the chroma vector 116 generated by analyzing the music data as described above. Specifically, the key candidate determination unit 120 normalizes the chroma vector 116 as necessary, and then determines the key candidate 121 with reference to the key table 122 of all 24 keys as illustrated in FIG. .. For example, the key candidate determination unit 120 multiplies the chroma vector 116 by a high coefficient for the sound of a predetermined frequency (I degree, III degree, and V degree in the illustrated example) of each key shown in the key table 122. The key candidate 121 may be determined according to the candidate score of each key calculated by.
  • a predetermined frequency I degree, III degree, and V degree in the illustrated example
  • the score vector S (s Amajor of each key, s B ⁇ major, s Bmajor , s Cmajor, s D ⁇ major, s Dmajor, s E ⁇ major, s Emajor, s Fmajor, s G ⁇ major, s Gmajor, s A ⁇ major, s Aminor, s B ⁇ minor, s Bminor, s Cminor, s D ⁇ minor, s Dminor, s E ⁇ minor, s Eminor, s Fminor, s G ⁇ minor, s Gminor, s A ⁇ minor ) is calculated by multiplying
  • the coefficients k I , k II , k III , ..., K VII of the coefficient matrix are set corresponding to the sounds from I degree to VII degree of each key.
  • the key candidate determination unit 120 converts the size of the element in the chroma vector V into a ranking point instead of multiplying the chroma vector V by a coefficient (for example, 12 for the largest element and the next largest).
  • the element may be multiplied by a coefficient (11, the same applies hereinafter, and the smallest element is given 1).
  • the key candidate determination unit 120 calculates the candidate score of each key as described above, and then determines the key whose candidate score is relatively high or whose candidate score exceeds a predetermined threshold value as the key candidate 121. More specifically, for example, the key candidate determination unit 120 may determine a predetermined number of keys having a relatively high candidate score (for example, five keys from the highest score) as the key candidate 121. Alternatively, the key candidate determination unit 120 determines all the keys whose candidate score exceeds the threshold value as the key candidate 121, or keys a predetermined number of keys whose candidate score exceeds the threshold value and whose candidate score is relatively high. Candidate 121 may be determined. The key candidate determination unit 120 is configured to determine a plurality of key candidates 121. For example, when there is a large difference in candidate scores, the key candidate determination unit 120 determines a single key candidate 121. There can also be.
  • the key selection unit 130 executes the intimacy determination as described below for the plurality of key candidates 121 determined by the key candidate determination unit 120, and selects the key of the music.
  • the key of the selected music is output as music key information 141 by the music key information output unit 140.
  • the intimacy determination is a determination based on the intimacy relationship as shown in FIG. 3, for example.
  • the tonic (C minor ) has the same tonic (I degree) as the key (C major )
  • the tonic is the same key (C minor )
  • the tonic is a relative key (G major ) that is completely above the tonic (G major ).
  • Relative key (F major ), tonic, genre, and parallel key (A minor , E minor , and D minor ), which have different tonics but the same constituent tonic, are close relatives. It is known that there are many common tonics and the relationship with the tonic is close.
  • the key selection unit 130 may treat all of the above-mentioned genre, subordinate, same-key, and parallel tones as intimate tones, and may treat some tones that are particularly closely related, specifically, for example, tonality. , Subordinate key, and same key may be treated as relative key.
  • the key selection unit 130 uses the remaining keys of the plurality of key candidates as the main key for one key extracted from the plurality of key candidates determined by the key candidate determination unit 120.
  • the process of detecting the key corresponding to the relative key of the case is executed for each of the plurality of key candidates, and the key of the song is selected from the multiple key candidates according to the relative key score calculated according to the number of keys corresponding to the relative key. Select. For example, when the key candidate determination unit 120 determines five keys of ⁇ C major , C minor , G major , F major , A minor ⁇ as key candidates, the key selection unit 130 mainly adjusts (i) C major .
  • the key selection unit 130 may use, for example, the number n as it is as the relative key score, and select the main key in the case of (i) where n is maximized, that is, C major as the key of the music.
  • the key selection unit 130 may calculate the intimacy score so that it is relatively high when a specific type of intimacy is included.
  • the key selection unit 130 has 3 points when the keys corresponding to the relative keys detected from the remaining keys of the candidate keys have the same key, 2 points when the keys have the same key and the lower key, and the parallel key.
  • the relative key score may be calculated by adding the points weighted for each type of relative key, such as 1 point.
  • the key candidate determination unit 120 determines a single key candidate, the processing of the key selection unit 130 is not executed, and the determined key candidate is directly selected as the key of the music. Further, when the key candidate determination unit 120 determines and there are two key candidates, the relative key score is the same regardless of which key is the main key. In such a case, and when there are three or more determined key candidates and the intimacy scores are the same for a plurality of keys, the key selection unit 130 has relative candidate scores calculated by, for example, the key candidate determination unit 120. A high key may be selected as the key of the music.
  • the music key information output unit 140 outputs the music key information 141 for presenting it to the user, for example, by displaying it on a display.
  • the music key information output unit 140 may output the music key information 141 in order to record it in association with the music, for example, as metadata of the music data 111.
  • the music key information 141 recorded in association with the music it is possible to present the music key to the user, for example, when playing the music using the music data 111.
  • a song that is a candidate for a mix may be automatically presented to the user based on the song key information 141 recorded in association with the song. Good.
  • the key of the music is estimated more accurately and appropriately by the relative key determination. Therefore, when creating a mix using a DJ device as in the above example, the key of the music is accurate to the user. Is presented, or candidate songs are automatically presented based on the exact key of the song, so that a high-quality mix can be created. In other uses, specifically, for example, in karaoke and music production, it is useful to estimate an accurate music key.
  • FIG. 4 is a flowchart showing an example of processing of the music analysis method according to the embodiment of the present invention.
  • the illustrated process is executed, for example, in the music analysis device 100 described above.
  • the chroma vector generation unit 110 generates the chroma vector 116 by frequency analysis of the music data (step S110).
  • the key candidate determination unit 120 determines a plurality of key candidates according to the candidate scores calculated from the chroma vector 116 (step S120).
  • the key selection unit 130 calculates the intimacy score as described above for each of the plurality of key candidates, and selects the music key from the plurality of key candidates according to the intimacy score (step S130).
  • the music key information output unit 140 outputs the music key information 141 for presenting to the user or for recording in association with the music data 111 (step S140).
  • 100 100 ... Music analysis device, 110 ... Chroma vector generator, 111 ... Music data, 113 ... Pitch detection, 114 ... 12 octave banding, 115 ... Chroma vector generation, 116 ... Chroma vector, 120 ... Key candidate determination unit, 121 ... Key candidate, 122 ... key table, 130 ... key selection unit, 140 ... music key information output unit, 141 ... music key information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

楽曲解析装置（１００）は、楽曲データ（１１１）を解析することによって複数のキー候補（１２１）を決定するキー候補決定部（１２０）と、複数のキー候補（１２１）から抽出される１のキーについて、複数のキー候補（１２１）の残りのキーから１のキーを主調とした場合の近親調に該当するキーを検出する処理を複数のキー候補（１２１）のそれぞれについて実行し、近親調に該当するキーの数に応じて算出される近親調スコアに従って複数のキー候補（１２１）から楽曲のキーを選定するキー選定部（１３０）とを備える。

Description

楽曲解析装置、プログラムおよび楽曲解析方法
　本発明は、楽曲解析装置、プログラムおよび楽曲解析方法に関する。
　楽曲のキーを自動的に特定する技術が提案されている。例えば、特許文献１には、楽曲の音声データを取得する音声データ取得部と、キーと音階の組み合わせとの対応を示すキー情報を格納する記憶部と、所定区間の音声データを周波数解析してクロマベクトルを求め、クロマベクトルに含まれる音階の中から複数の音階を選択し、選択した複数の音階の組み合わせとキー情報とに基づいてキー候補を決定し、決定したキー候補の中から楽曲のキーを特定するキー推定部とを含む楽曲キー推定装置が記載されている。
特開２０１８－０２５６４４号公報
　上記の特許文献１では、キー候補間の音階における距離や、各キー候補に含まれる音階の強度、各キー候補を示す音階の１つ前の音階の強度に基づいて、キー候補の中から楽曲のキーを特定している。しかしながら、この方法では、必ずしも楽曲のキーが高い精度で適切に推定されない場合がある。
　そこで、本発明は、楽曲のキーをより高い精度で適切に推定することが可能な楽曲解析装置、プログラムおよび楽曲解析方法を提供することを目的とする。
　本発明のある観点によれば、楽曲データを解析することによって複数のキー候補を決定するキー候補決定部と、複数のキー候補から抽出される１のキーについて、複数のキー候補の残りのキーから１のキーを主調とした場合の近親調に該当するキーを検出する処理を複数のキー候補のそれぞれについて実行し、近親調に該当するキーの数に応じて算出される近親調スコアに従って複数のキー候補から楽曲のキーを選定するキー選定部とを備える楽曲解析装置が提供される。
　本発明の別の観点によれば、上記の楽曲解析装置としてコンピュータを動作させるように構成されたプログラムが提供される。
　本発明のさらに別の観点によれば、楽曲データを解析することによって複数のキー候補を決定するステップと、複数のキー候補から抽出される１のキーについて、複数のキー候補の残りのキーから１のキーを主調とした場合の近親調に該当するキーを検出する処理を複数のキー候補のそれぞれについて実行し、近親調に該当するキーの数に応じて算出される近親調スコアに従って複数のキー候補から楽曲のキーを選定するステップとを含む楽曲解析方法が提供される。
　上記の構成によれば、近親調を用いた判定によって楽曲のキーをより高い精度で適切に推定することができる。
本発明の一実施形態に係る楽曲解析装置の概略的な機能構成を示すブロック図である。 キーテーブルの例を示す図である。 近親調の関係の例を示す図である。 本発明の一実施形態に係る楽曲解析方法の処理の例を示すフローチャートである。
　以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　図１は、本発明の一実施形態に係る楽曲解析装置の概略的な機能構成を示すブロック図である。図示された例において、楽曲解析装置１００は、クロマベクトル生成部１１０、キー候補決定部１２０、キー選定部１３０、および楽曲キー情報出力部１４０を含む。楽曲解析装置１００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、クロマベクトル生成部１１０、キー候補決定部１２０、キー選定部１３０、および楽曲キー情報出力部１４０の機能はプロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される。以下、各部の機能についてさらに説明する。
　クロマベクトル生成部１１０は、楽曲データ１１１、具体的には例えばＰＣＭ（pulse code modulation）データについて周波数解析、具体的にはＦＦＴ（fast Fourier transform）１１２、ピッチ検出１１３、および１／１２オクターブバンド化１１４の処理を実行し、さらにクロマベクトル生成１１５の処理、具体的には１／１２オクターブバンド化１１４の結果を１オクターブの１２音に集約し、さらに１２音それぞれの成分を時間軸方向に積算する処理によってクロマベクトル１１６（音響クロマベクトル）を生成する。本実施形態において、クロマベクトル１１６は、１２音のそれぞれが楽曲内に現れる頻度に対応する１２の要素からなる。
　キー候補決定部１２０は、上記のように楽曲データを解析することによって生成されたクロマベクトル１１６に基づいてキー候補１２１を決定する。具体的には、キー候補決定部１２０は、クロマベクトル１１６を必要に応じて正規化した上で、図２に例示するような全２４キーのキーテーブル１２２を参照してキー候補１２１を決定する。例えば、キー候補決定部１２０は、キーテーブル１２２に示される各キーの所定の度数（図示された例ではＩ度、III度、およびＶ度）の音について高くなる係数をクロマベクトル１１６にかけ合わせることによって算出される各キーの候補スコアに従ってキー候補１２１を決定してもよい。
　一例として、クロマベクトルＶ＝（ｖＡ，ｖＢ♭，ｖＢ，ｖＣ，ｖＤ♭，ｖＤ，ｖＥ♭，ｖＥ，ｖＦ，ｖＧ♭，ｖＧ，ｖＡ♭）である場合、各キーのスコアベクトルＳ＝（ｓＡｍａｊｏｒ，ｓＢ♭ｍａｊｏｒ，ｓＢｍａｊｏｒ，ｓＣｍａｊｏｒ，ｓＤ♭ｍａｊｏｒ，ｓＤｍａｊｏｒ，ｓＥ♭ｍａｊｏｒ，ｓＥｍａｊｏｒ，ｓＦｍａｊｏｒ，ｓＧ♭ｍａｊｏｒ，ｓＧｍａｊｏｒ，ｓＡ♭ｍａｊｏｒ，ｓＡｍｉｎｏｒ，ｓＢ♭ｍｉｎｏｒ，ｓＢｍｉｎｏｒ，ｓＣｍｉｎｏｒ，ｓＤ♭ｍｉｎｏｒ，ｓＤｍｉｎｏｒ，ｓＥ♭ｍｉｎｏｒ，ｓＥｍｉｎｏｒ，ｓＦｍｉｎｏｒ，ｓＧ♭ｍｉｎｏｒ，ｓＧｍｉｎｏｒ，ｓＡ♭ｍｉｎｏｒ）は、以下のように係数行列ＭをクロマベクトルＶにかけ合わせることによって算出される。
Figure JPOXMLDOC01-appb-M000001
　ここで、係数行列の係数ｋＩ，ｋII，ｋIII，…，ｋVIIは、各キーのＩ度からVII度までの音に対応して設定される。楽曲の中では、キーのＩ度の音が最も多く用いられ、次いでIII度およびＶ度の音が多く用いられ、II度、IV度、VI度、およびVII度の音は用いられるが頻度は少ない。従って、キー候補決定部１２０は、例えばｋＩ＝３、ｋIII＝ｋＶ＝２、ｋII＝ｋIV＝ｋVI＝ｋVII＝１、といったような割合で係数ｋＩ，ｋII，ｋIII，…，ｋVIIを設定して各キーの候補スコアを算出してもよい。他の例として、キー候補決定部１２０は、クロマベクトルＶに係数をかけ合わせる代わりに、クロマベクトルＶにおける要素の大きさを順位点に換算したもの（例えば、最大の要素に１２、次に大きい要素に１１、以下同様で、最も小さい要素に１を与えたもの）に係数をかけ合わせてもよい。
　キー候補決定部１２０は、例えば上記のように各キーの候補スコアを算出した上で、候補スコアが相対的に高いか、または候補スコアが所定の閾値を超えるキーをキー候補１２１に決定する。より具体的には、例えば、キー候補決定部１２０は、候補スコアが相対的に高い所定の数（例えば、スコアが高い方から５つ）のキーをキー候補１２１に決定してもよい。あるいは、キー候補決定部１２０は、候補スコアが閾値を超えたキーをすべてキー候補１２１に決定するか、または候補スコアが閾値を超え、かつ候補スコアが相対的に高い所定の数のキーをキー候補１２１に決定してもよい。なお、キー候補決定部１２０は複数のキー候補１２１を決定するように構成されるが、例えば候補スコアに大きな差がある場合は、キー候補決定部１２０が単一のキー候補１２１を決定することもありうる。
　キー選定部１３０は、キー候補決定部１２０が決定した複数のキー候補１２１に対して、以下で説明するような近親調判定を実行し、楽曲のキーを選定する。選定された楽曲のキーは、楽曲キー情報出力部１４０によって楽曲キー情報１４１として出力される。近親調判定は、例えば図３に示すような近親調の関係に基づく判定である。図示された例では、主調のキー（Ｃｍａｊｏｒ）に対して、主音（Ｉ度の音）が同じである同主調（Ｃｍｉｎｏｒ）、主音が完全Ｖ度上の属調（Ｇｍａｊｏｒ）、主音が完全Ｖ度下の下属調（Ｆｍａｊｏｒ）、主調、属調、および下属調のそれぞれと主音が異なるが構成音が同じである平行調（Ａｍｉｎｏｒ、Ｅｍｉｎｏｒ、およびＤｍｉｎｏｒ）が近親調であり、共通音が多く主調との関係性が近いことが知られている。キー選定部１３０は、例えば上記の属調、下属調、同主調、および平行調の全部を近親調として扱ってもよいし、特に関係性の近い一部の調、具体的には例えば属調、下属調、および同主調を近親調として扱ってもよい。
　より具体的には、キー選定部１３０は、キー候補決定部１２０が決定した複数のキー候補から抽出される１のキーについて、複数のキー候補の残りのキーから当該１のキーを主調とした場合の近親調に該当するキーを検出する処理を複数のキー候補のそれぞれについて実行し、近親調に該当するキーの数に応じて算出される近親調スコアに従って複数のキー候補から楽曲のキーを選定する。例えば、キー候補決定部１２０が｛Ｃｍａｊｏｒ，Ｃｍｉｎｏｒ，Ｇｍａｊｏｒ，Ｆｍａｊｏｒ，Ａｍｉｎｏｒ｝の５つのキーをキー候補に決定した場合に、キー選定部１３０は、（ｉ）Ｃｍａｊｏｒを主調とした場合、（ii）Ｃｍｉｎｏｒを主調とした場合、（iii）Ｇｍａｊｏｒを主調とした場合、（iv）Ｆｍａｊｏｒを主調とした場合、および（ｖ）Ａｍｉｎｏｒを主調とした場合の５通りについて、キー候補の残りのキーから近親調に該当するキーを検出する。近親調に該当するキーの数をｎとすると、（ｉ）の場合にはｎ＝４（図３の例に示すように、他のキー候補がすべて近親調に該当する）、（ii）の場合にはｎ＝１、（iii）および（iv）の場合にはｎ＝２、（ｖ）の場合にはｎ＝３となる。
　上記の例において、キー選定部１３０は、例えば数ｎをそのまま近親調スコアとして用いて、ｎが最大になる（ｉ）の場合の主調、すなわちＣｍａｊｏｒを楽曲のキーとして選定してもよい。あるいは、キー選定部１３０は、特定の種類の近親調が含まれる場合に相対的に高くなるように近親調スコアを算出してもよい。例えば、キー選定部１３０は、候補キーの残りのキーから検出された近親調に該当するキーが同主調であった場合は３点、属調および下属調であった場合は２点、平行調については１点、といったように、近親調の種類ごとに重み付けされた点数を加算することによって近親調スコアを算出してもよい。
　なお、キー候補決定部１２０が単一のキー候補を決定した場合、キー選定部１３０の処理は実行されず、決定されたキー候補がそのまま楽曲のキーとして選定される。また、キー候補決定部１２０が決定しキー候補が２つの場合、どちらのキーを主調にした場合も近親調スコアは同じになる。このような場合、および決定されたキー候補が３つ以上であって複数のキーで近親調スコアが等しい場合において、キー選定部１３０は、例えばキー候補決定部１２０で算出された候補スコアが相対的に高いキーを楽曲のキーとして選定してもよい。
　楽曲キー情報出力部１４０は、例えば楽曲キー情報１４１をディスプレイへの表示などによってユーザーに提示するために出力する。あるいは、楽曲キー情報出力部１４０は、楽曲キー情報１４１を、例えば楽曲データ１１１のメタデータとして楽曲に関連付けて記録するために出力してもよい。楽曲に関連付けて記録された楽曲キー情報１４１を用いて、例えば楽曲データ１１１を用いた楽曲の再生時に楽曲のキーをユーザーに提示することができる。また、ＤＪ機器を用いて楽曲同士をつなぎ合わせてミックスを作成する際に、楽曲に関連付けて記録された楽曲キー情報１４１に基づいてミックスの候補になる楽曲を自動的にユーザーに提示してもよい。
　本実施形態では、近親調判定によって楽曲のキーがより高い精度で適切に推定されるため、例えば上記の例のようにＤＪ機器を用いてミックスを作成する際に、ユーザーに正確な楽曲のキーが提示されたり、正確な楽曲のキーに基づいて自動的に候補になる楽曲が提示されたりすることによって、品質の高いミックスを作成することができる。その他の用途、具体的には例えばカラオケや楽曲製作などにおいても、正確な楽曲のキーが推定されることは有用である。
　図４は、本発明の一実施形態に係る楽曲解析方法の処理の例を示すフローチャートである。図示された処理は、例えば上記で説明した楽曲解析装置１００において実行される。まず、クロマベクトル生成部１１０が、楽曲データの周波数解析によってクロマベクトル１１６を生成する（ステップＳ１１０）。次に、キー候補決定部１２０が、クロマベクトル１１６から算出される候補スコアに従って複数のキー候補を決定する（ステップＳ１２０）。さらに、キー選定部１３０が、複数のキー候補のそれぞれについて上述したような近親調スコアを算出し、近親調スコアに従って複数のキー候補から楽曲のキーを選定する（ステップＳ１３０）。続いて、楽曲キー情報出力部１４０が、楽曲キー情報１４１をユーザーに提示するか、または楽曲データ１１１に関連付けて記録するために出力する（ステップＳ１４０）。
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　１００…楽曲解析装置、１１０…クロマベクトル生成部、１１１…楽曲データ、１１３…ピッチ検出、１１４…１２オクターブバンド化、１１５…クロマベクトル生成、１１６…クロマベクトル、１２０…キー候補決定部、１２１…キー候補、１２２…キーテーブル、１３０…キー選定部、１４０…楽曲キー情報出力部、１４１…楽曲キー情報。
 

Claims (8)

  1. 　楽曲データを解析することによって複数のキー候補を決定するキー候補決定部と、
    　前記複数のキー候補から抽出される１のキーについて、前記複数のキー候補の残りのキーから前記１のキーを主調とした場合の近親調に該当するキーを検出する処理を前記複数のキー候補のそれぞれについて実行し、前記近親調に該当するキーの数に応じて算出される近親調スコアに従って前記複数のキー候補から前記楽曲のキーを選定するキー選定部と
    　を備える楽曲解析装置。
  2. 　前記近親調は、属調、下属調、同主調、および平行調の一部または全部を含む、請求項１に記載の楽曲解析装置。
  3. 　前記キー選定部は、前記近親調の種類ごとに重み付けられた点数を加算することによって前記近親調スコアを算出する、請求項２に記載の楽曲解析装置。
  4. 　前記キー候補決定部は、前記楽曲データの周波数解析によって生成される音響クロマベクトルに各キーの所定の度数の音について高くなる係数をかけ合わせることによって各キーの候補スコアを算出し、前記候補スコアに従って前記複数のキー候補を決定する、請求項１から請求項３のいずれか１項に記載の楽曲解析装置。
  5. 　前記キー選定部は、前記複数のキー候補の中に前記近親調スコアが等しい複数のキーがある場合に、前記候補スコアが相対的に高いキーを前記楽曲のキーとして選定する、請求項４に記載の楽曲解析装置。
  6. 　前記楽曲のキーを示す楽曲キー情報をユーザーに提示するか、または前記楽曲データに関連付けて記録するために出力する楽曲キー情報出力部をさらに備える、請求項１から請求項５のいずれか１項に記載の楽曲解析装置。
  7. 　請求項１から請求項６のいずれか１項に記載の楽曲解析装置としてコンピュータを動作させるように構成されたプログラム。
  8. 　楽曲データを解析することによって複数のキー候補を決定するステップと、
    　前記複数のキー候補から抽出される１のキーについて、前記複数のキー候補の残りのキーから前記１のキーを主調とした場合の近親調に該当するキーを検出する処理を前記複数のキー候補のそれぞれについて実行し、前記近親調に該当するキーの数に応じて算出される近親調スコアに従って前記複数のキー候補から前記楽曲のキーを選定するステップと
    　を含む楽曲解析方法。
     
PCT/JP2019/023929 2019-06-17 2019-06-17 楽曲解析装置、プログラムおよび楽曲解析方法 WO2020255214A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/619,412 US20220262331A1 (en) 2019-06-17 2019-06-17 Musical piece analysis device, program, and musical piece analysis method
JP2021528066A JP7176114B2 (ja) 2019-06-17 2019-06-17 楽曲解析装置、プログラムおよび楽曲解析方法
PCT/JP2019/023929 WO2020255214A1 (ja) 2019-06-17 2019-06-17 楽曲解析装置、プログラムおよび楽曲解析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/023929 WO2020255214A1 (ja) 2019-06-17 2019-06-17 楽曲解析装置、プログラムおよび楽曲解析方法

Publications (1)

Publication Number Publication Date
WO2020255214A1 true WO2020255214A1 (ja) 2020-12-24

Family

ID=74040182

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/023929 WO2020255214A1 (ja) 2019-06-17 2019-06-17 楽曲解析装置、プログラムおよび楽曲解析方法

Country Status (3)

Country Link
US (1) US20220262331A1 (ja)
JP (1) JP7176114B2 (ja)
WO (1) WO2020255214A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05273976A (ja) * 1992-03-25 1993-10-22 Yamaha Corp 演奏データの調検出装置
WO2010137074A1 (ja) * 2009-05-28 2010-12-02 パイオニア株式会社 調性検出方法、調性検出装置、ミキサー装置およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130275421A1 (en) * 2010-12-30 2013-10-17 Barbara Resch Repetition Detection in Media Data
US10049663B2 (en) * 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10614786B2 (en) * 2017-06-09 2020-04-07 Jabriffs Limited Musical chord identification, selection and playing method and means for physical and virtual musical instruments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05273976A (ja) * 1992-03-25 1993-10-22 Yamaha Corp 演奏データの調検出装置
WO2010137074A1 (ja) * 2009-05-28 2010-12-02 パイオニア株式会社 調性検出方法、調性検出装置、ミキサー装置およびプログラム

Also Published As

Publication number Publication date
JP7176114B2 (ja) 2022-11-21
US20220262331A1 (en) 2022-08-18
JPWO2020255214A1 (ja) 2020-12-24

Similar Documents

Publication Publication Date Title
US6930236B2 (en) Apparatus for analyzing music using sounds of instruments
CN101123086B (zh) 节奏检测装置
EP2688063B1 (en) Note sequence analysis
US7649137B2 (en) Signal processing apparatus and method, program, and recording medium
JP5088030B2 (ja) 演奏音の類似度を評価する方法、装置およびプログラム
Bosch et al. Evaluation and combination of pitch estimation methods for melody extraction in symphonic classical music
WO2020199381A1 (zh) 音频信号的旋律检测方法、装置以及电子设备
US20110268284A1 (en) Audio analysis apparatus
US20110011247A1 (en) Musical composition discrimination apparatus, musical composition discrimination method, musical composition discrimination program and recording medium
JP2008502928A (ja) テスト信号に内在する和音の種類を決定するための装置および方法
CN110010159B (zh) 声音相似度确定方法及装置
Kirchhoff et al. Evaluation of features for audio-to-audio alignment
JP5196550B2 (ja) コード検出装置およびコード検出プログラム
JP6481319B2 (ja) 楽譜表示装置および楽譜表示方法
Bittner et al. Generalized Metrics for Single-f0 Estimation Evaluation.
KR101813704B1 (ko) 사용자 음색 분석 장치 및 음색 분석 방법
CN108369800B (zh) 声处理装置
JP6281211B2 (ja) 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム
JP4722738B2 (ja) 楽曲分析方法及び楽曲分析装置
WO2020255214A1 (ja) 楽曲解析装置、プログラムおよび楽曲解析方法
JP4698606B2 (ja) 楽曲処理装置
JP4483561B2 (ja) 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム
JP4202964B2 (ja) 映像データへの楽曲データ付加装置
JP6604307B2 (ja) コード検出装置、コード検出プログラムおよびコード検出方法
KR100612927B1 (ko) 음정의 정확도 검출 기능을 가지는 노래 연습기 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933725

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021528066

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19933725

Country of ref document: EP

Kind code of ref document: A1