JP7375302B2 - 音響解析方法、音響解析装置およびプログラム - Google Patents

音響解析方法、音響解析装置およびプログラム Download PDF

Info

Publication number
JP7375302B2
JP7375302B2 JP2019003324A JP2019003324A JP7375302B2 JP 7375302 B2 JP7375302 B2 JP 7375302B2 JP 2019003324 A JP2019003324 A JP 2019003324A JP 2019003324 A JP2019003324 A JP 2019003324A JP 7375302 B2 JP7375302 B2 JP 7375302B2
Authority
JP
Japan
Prior art keywords
key
interval
time series
acoustic signal
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019003324A
Other languages
English (en)
Other versions
JP2020112683A (ja
Inventor
康平 須見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2019003324A priority Critical patent/JP7375302B2/ja
Priority to CN202080007107.2A priority patent/CN113196381B/zh
Priority to PCT/JP2020/000374 priority patent/WO2020145326A1/ja
Publication of JP2020112683A publication Critical patent/JP2020112683A/ja
Priority to US17/331,520 priority patent/US20210287641A1/en
Application granted granted Critical
Publication of JP7375302B2 publication Critical patent/JP7375302B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/38—Chord
    • G10H1/383—Chord detection and/or recognition, e.g. for correction, or automatic bass generation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/056—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、楽曲を解析する技術に関する。
楽曲の歌唱音または演奏音等の音響から各種の情報を推定する技術が従来から提案されている。例えば、特許文献１には、楽曲を表す音響信号からコードを推定する構成が開示されている。具体的には、音響信号から楽曲の調が推定され、当該推定された調を加味してコードが推定される。また、特許文献２には、楽曲のパワースペクトルの形状から調性の種別を特定する構成が開示されている。パワースペクトルの時系列データから算出された音名毎のパワーに応じて調性の種別が特定される。
特開２０１５－３１７３８号公報 特開２００７－２４８６１０号公報
特許文献１の技術では、最も出現頻度が高い音符から楽曲の調が推定される。しかし、調に対応する音符の出現頻度が低い楽曲もある。また、特許文献２の技術では、各音名のパワーと調性の種別との相関関係を利用して調性の種別が特定される。しかし、各音名のパワーと調性の種別とが相関関係にない楽曲もある。すなわち、特許文献１および特許文献２の技術のもとでは、多様な楽曲に対して高精度に調を推定することは実際には困難である。以上の事情を考慮して、本発明は、調を高精度に推定することを目的とする。
以上の課題を解決するために、本発明の好適な態様に係る音響解析方法は、音響信号の特徴量の時系列と調との関係を学習した学習済モデルに、音響信号の特徴量の時系列を入力することで、調を表す調情報を生成する。
本発明の好適な態様に係る音響解析装置は、音響信号の特徴量の時系列と調との関係を学習した学習済モデルであって、音響信号の特徴量の時系列の入力から、調を表す調情報を生成する調推定モデルを具備する。
第１実施形態に係る音響解析装置の構成を例示するブロック図である。 音響解析装置の機能的な構成を例示するブロック図である。 特徴量および調情報の概略的な説明図である。 特徴量の説明図である。 調情報の説明図である。 調推定処理の具体的な手順を例示するフローチャートである。 学習処理部の動作の説明図である。 第２実施形態に係る音響解析装置の機能構成を例示するブロック図である。 第２実施形態に係る後処理により修正された調の時系列の説明図である。 第２実施形態に係る後処理の具体的な手順を例示するフローチャートである。 第３実施形態に係る音響解析装置の機能構成を例示するブロック図である。 第３実施形態に係る後処理により修正された調の時系列の説明図である。 第３実施形態に係る後処理の具体的な手順を例示するフローチャートである。
＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響解析装置１００の構成を例示するブロック図である。音響解析装置１００は、楽曲の歌唱音または演奏音等の音響を表す音響信号Ｖを解析することで、当該楽曲の調を推定する情報処理装置である。音響解析装置１００は、複数の主音（具体的には平均律の１２半音）と調名（長調および短調）との組合せに相当する２４種類の調を候補として音響信号Ｖから何れかの調を推定する。なお、調の種類数は、２４種類に限定されない。
音響解析装置１００は、制御装置１１と記憶装置１２と表示装置１３とを具備する。例えば携帯電話機、スマートフォンまたはパーソナルコンピュータ等の情報端末が、音響解析装置１００として好適に利用される。表示装置１３は、音響信号Ｖから推定された調を表示する。表示装置１３は、音響信号Ｖを解析した結果を再生する再生装置の一例である。例えば、音響信号Ｖを解析した結果に応じた音響を放音する放音装置を再生装置として利用してもよい。
制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の単数または複数の処理回路で構成され、音響解析装置１００の各要素を制御する。記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリであり、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。例えば記憶装置１２は音響信号Ｖを記憶する。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、音響解析装置１００に対して着脱可能な可搬型の記録媒体、または音響解析装置１００が通信網を介して通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１２として利用してもよい。
図２は、記憶装置１２に記憶されたプログラムを制御装置１１が実行することで実現される機能を例示するブロック図である。制御装置１１は、特徴抽出部２１と調推定モデル２２と学習処理部２３とを実現する。なお、相互に別体で構成された複数の装置により制御装置１１の機能を実現してもよい。制御装置１１の機能の一部または全部を専用の電子回路により実現してもよい。
特徴抽出部２１は、記憶装置１２に記憶された音響信号Ｖから、当該音響信号Ｖの特徴量Ｙを抽出する。第１実施形態の特徴抽出部２１は、第１処理部２１１と第２処理部２１２と第３処理部２１３とを具備する。
第１処理部２１１は、音響信号Ｖから当該音響信号Ｖの特徴量Ｘを抽出する。第２処理部２１２は、第１処理部２１１が抽出した特徴量ＸからコードＯを推定する。第３処理部２１３は、音響信号Ｖの特徴量Ｙを抽出する。特徴量Ｙは、音響信号Ｖの時間変化を加味して音響的な特徴を表す指標である。一例として、第３処理部２１３は、第１処理部２１１が抽出した特徴量Ｘと、第２処理部２１２が推定したコードＯとから特徴量Ｙを抽出する。特徴量Ｙの時系列が調推定モデル２２に入力される。
調推定モデル２２は、特徴量Ｙの時系列と調との関係を学習した学習済モデルである。
具体的には、調推定モデル２２は、特徴量Ｙの時系列の入力により、調を表す情報（以下「調情報Ｈ」という）を生成する。
図３は、特徴量Ｘ，特徴量Ｙおよび調情報Ｈの説明図である。特徴量Ｘは、単位期間Ｔ（Ｔ1，Ｔ2，Ｔ3，…）毎に抽出される。単位期間Ｔは、例えば楽曲の１拍分に相当する期間である。すなわち、音響信号Ｖから特徴量Ｘの時系列が生成される。なお、楽曲の拍点とは無関係に固定長または可変長の単位期間Ｔを画定してもよい。
特徴量Ｘは、音響信号Ｖのうち各単位期間Ｔに対応した部分について音響的な特徴を表す指標である。コードＯは、特徴量Ｘ毎（すなわち単位期間Ｔ毎）に推定される。すなわち、コードＯの時系列が生成される。例えば、相異なるコードが対応付けられた複数の特徴量Ｘのうち、第１処理部２１１が抽出した特徴量Ｘに最も類似する特徴量Ｘに対応付けられたコードがコードＯとして推定される。なお、音響信号Ｖの入力によりコードＯを生成する統計的推定モデル（例えば隠れマルコフモデルまたはニューラルネットワーク）をコードＯの推定に利用してもよい。
特徴量Ｙは、第２処理部２１２が推定した同じコードＯが継続する一連の区間（以下「継続区間」という）Ｕ毎に抽出される。第２処理部２１２により同じコードが推定された区間が継続区間Ｕである。楽曲内に複数の継続区間Ｕ（Ｕ1，Ｕ2，Ｕ3…）が推定される。例えばコードＯとして「Ｆ」が推定された継続区間Ｕ1（単位期間Ｔ1－Ｔ4に相当する区間）について、１個の特徴量Ｙが抽出される。
図４は、特徴量Ｘおよび特徴量Ｙを模式的に示した図である。特徴量Ｘは、複数の音階音（具体的には平均律の１２半音）にそれぞれ対応する複数の要素を含むクロマベクトル（ＰＣＰ：Pitch Class Profile）と、音響信号Ｖの強度Ｐvとを含む。音階音は、オクターブの相違を無視した音名（ピッチクラス）である。クロマベクトルのうち任意の音階音に対応する要素は、音響信号Ｖのうち当該音階音に対応する成分の強度を複数のオクターブにわたり加算した強度（以下「成分強度」という）Ｐqに設定される。特徴量Ｘは、所定の周波数よりも低域側の帯域と高域側の帯域との各々について、クロマベクトルおよび強度Ｐvを含む。つまり、音響信号Ｖのうち低域側の帯域に関するクロマベクトルと、当該帯域内の音響信号Ｖの強度Ｐvと、音響信号Ｖのうち高域側の帯域に関するクロマベクトルと、当該帯域内の音響信号Ｖの強度Ｐvとが特徴量Ｘに含まれる。すなわち、特徴量Ｘは、全体として２６次元のベクトルで表現される。
特徴量Ｙは、音階音毎の成分強度Ｐqの時系列に関する分散σqおよび平均μqと、音響信号Ｖの強度Ｐvの時系列に関する分散σvおよび平均μvとを、低域側の帯域と高域側の帯域との各々について含む。第３処理部２１３は、継続区間Ｕ内の複数の特徴量Ｘの各々に含まれる成分強度Ｐq（つまり継続区間Ｕ内における成分強度Ｐqの時系列）の分散σqおよび平均μqと、継続区間Ｕ内の複数の特徴量Ｘの各々に含まれる強度Ｐv（つまり継続区間Ｕ内における強度Ｐvの時系列）の分散σvおよび平均μvとを算定することにより、特徴量Ｙを抽出する。特徴量Ｙは、全体として５２次元のベクトルで表現される。以上の説明から理解される通り、各継続区間Ｕの特徴量Ｙは、音響信号Ｖのうち音階音に対応する成分強度Ｐqにおける当該継続区間Ｕの時間変化に関する指標（典型的には分散σq等の散布度）を含む。
図５は、調情報Ｈの説明図である。調情報Ｈは、推定の候補となる２４種類の調の各々について、継続区間Ｕの調に該当するか否かを表す指標Ｑ（Ｑ1～Ｑ24）を含む。例えば、任意の１個の調に対応する指標Ｑは、当該調が継続区間Ｕの調に該当するか否かを２値的に表す。すなわち、調情報Ｈは、複数の調のうち何れかを示す情報である。継続区間Ｕ毎に特徴量Ｙを調推定モデル２２に入力することで、当該継続区間Ｕ毎に調情報Ｈが生成される。すなわち、調情報Ｈの時系列が調推定モデル２２により生成される。以上の説明から理解される通り、調推定モデル２２は、特徴量Ｙの時系列から各継続区間Ｕの調を推定する統計的推定モデルである。すなわち、楽曲における調の時系列が推定される。
調推定モデル２２は、特徴量Ｙの時系列から調情報Ｈを生成する演算を制御装置１１に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数Ｋとの組合せで実現される。複数の係数Ｋは、複数の教師データを利用した機械学習（特に深層学習）により設定されて記憶装置１２に記憶される。例えば時系列データの処理に好適な長短期記憶（ＬＳＴＭ：Long Short Term Memory）等の再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）が調推定モデル２２として利用される。
図６は、音響信号Ｖから各継続区間Ｕの調情報Ｈを推定する処理（以下「調推定処理」という）の具体的な手順を例示するフローチャートである。例えば利用者からの指示を契機として調推定処理が開始される。調推定処理を開始すると、特徴抽出部２１は、記憶装置１２に記憶された音響信号Ｖから特徴量Ｙを継続区間Ｕ毎に抽出する（Ｓa1）。調推定モデル２２は、特徴抽出部２１が抽出した特徴量Ｙの時系列から調情報Ｈを生成する（Ｓa2）。制御装置１１は、調推定モデル２２から出力される調情報Ｈが表す調を継続区間Ｕ毎に表示装置１３に表示させる（Ｓa3）。なお、調推定モデル２２による推定の結果を表す表示画面の内容は任意である。例えば、第２処理部２１２が推定したコードの時系列と調推定モデル２２が推定した調とを併記した表示画面が表示される。なお、調推定モデル２２が推定した調に応じて構成音が共通するコードの標記を表示してもよい。例えば、調「Ｄ♭major」が推定された継続区間Ｕについてコード「Ｇ♭」を表示し、調「Ｂmajor」が推定された継続区間Ｕについてコード「Ｆ♯」を表示する。
学習処理部２３は、調推定モデル２２の複数の係数Ｋを機械学習（特に深層学習）により設定する。学習処理部２３は、複数の教師データＬを利用した機械学習により複数の係数Ｋを設定する。図７は、学習処理部２３の動作の説明図である。複数の教師データＬの各々は、特徴量Ｙの時系列と、調情報Ｈxの時系列との組合せで構成される。各教師データＬの調情報Ｈxの時系列は、当該教師データＬにおける特徴量Ｙの時系列に対する正解値に相当する。既存の楽曲の演奏音から抽出される特徴量Ｙの時系列と、当該楽曲の調を表す調情報Ｈの時系列とが教師データＬに含められる。
学習処理部２３は、教師データＬの特徴量Ｙの時系列を入力することにより暫定的な調推定モデル２２から出力される調情報Ｈの時系列と、当該教師データＬの調情報Ｈxとの相違が低減されるように、調推定モデル２２の複数の係数Ｋを更新する。具体的には、学習処理部２３は、調情報Ｈと調情報Ｈxとの相違を表す評価関数が最小化されるように、例えば誤差逆伝播法により複数の係数Ｋを反復的に更新する。以上の手順で学習処理部２３が設定した複数の係数Ｋが記憶装置１２に記憶される。したがって、調推定モデル２２は、複数の教師データＬにおける特徴量Ｙの時系列と調情報Ｈxとの間に潜在する傾向のもとで、未知の特徴量Ｙの時系列に対して統計的に妥当な調情報Ｈを出力する。
以上に説明した通り、音響信号Ｖの特徴量Ｙと調との関係を学習した調推定モデル２２に音響信号Ｖの特徴量Ｙを入力することで調情報Ｈが生成されるから、所定の規則に従って楽曲の調情報Ｈを生成する構成と比較して、調を高精度に推定することができる。
＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
楽曲における調が短期間で変化する可能性は低いという傾向がある。第２実施形態では、以上の傾向をもとに、第１実施形態で推定された調を修正する。
図８は、第２実施形態に係る音響解析装置１００の機能構成を例示するブロック図である。第２実施形態の音響解析装置１００は、第１実施形態の音響解析装置１００に後処理部２４を追加した構成である。特徴抽出部２１と調推定モデル２２と学習処理部２３とは、第１実施形態と同様である。図９には、調推定モデル２２により推定された調の時系列Ｗaが模式的に図示されている。図９の調区間Ｉ（Ｉ1，Ｉ2，Ｉ3…）は、調推定モデル２２が生成した調情報Ｈが表す調が連続する区間である。図９に例示される通り、１個の調区間Ｉには、同じ調が推定された連続する１個以上の継続区間Ｕが含まれる。
後処理部２４は、調推定モデル２２により推定された調の時系列Ｗaを修正する。具体的には、後処理部２４は、調の時系列Ｗaに対応する複数の調区間Ｉのうち時間長が所定値を下回る調区間Ｉの調を修正することで、時系列Ｗbを生成する。所定値は、例えば楽曲の３拍分に相当する時間長である。図９では、調「Ｅmajor」が推定された調区間Ｉ2が所定値を下回る場合が例示される。第２実施形態の後処理部２４は、調区間Ｉの時間長が所定値を下回る場合に、当該調区間Ｉの調を当該調区間Ｉの直前の調情報Ｈが表す調に置換する。具体的には、調区間Ｉ2の直前の継続区間Ｕ（すなわち調区間Ｉ1の末尾の継続区間Ｕ）の調情報Ｈが表す調「Ｆmajor」に、調区間Ｉ2の調「Ｅmajor」が置換される。
図１０は、調推定モデルが推定した調を修正する処理（以下「後処理１」という）の具体的な手順を例示するフローチャートである。調推定モデルにより調の時系列Ｗaが推定された後に、例えば利用者からの指示を契機として後処理１が開始される。後処理１を開始すると、後処理部２４は、調の時系列Ｗaから複数の調区間Ｉ（Ｉ1，Ｉ2，Ｉ3…）を時間軸上に画定する（Ｓb1）。すなわち、調区間Ｉの時系列が特定される。後処理部２４は、複数の調区間Ｉの何れかを選択する（Ｓb2）。具体的には、先頭から末尾に向かって調区間Ｉが順次に選択される。後処理部２４は、ステップＳb2において選択した調区間Ｉの時間長が所定値を下回るか否かを判定する（Ｓb3）。調区間Ｉの時間長が所定値を下回る場合（Ｓb3:YES）、後処理部２４は、当該調区間Ｉの調を当該調区間Ｉの直前の調情報Ｈが表す調に置換する（Ｓb4）。一方で、調区間Ｉの時間長が所定値を上回る場合（Ｓb3:NO）、調の修正は実行されず、当該調区間Ｉの直後に位置する調区間Ｉが選択される（Ｓb2）。全部の調区間Ｉの各々について時間長の判定（Ｓb3）と所定値よりも短い調区間Ｉの調の修正（Ｓb4）とを実行すると（Ｓb5:YES）、制御装置１１は、後処理部２４が生成した調の時系列Ｗbを表示装置１３に表示させる（Ｓb6）。すなわち、複数の調区間Ｉのうち時間長が所定値を下回る全ての調区間Ｉについて調が置換された時系列Ｗｂが表示装置１３により表示される。一方で、ステップＳb2において未選択の調区間Ｉがある場合（Ｓb5:NO）、後処理部２４は、当該未選択の調区間ＩについてステップＳb2～Ｓb4の処理を繰り返し実行する。なお、調区間Ｉの時系列のうち先頭の調区間Ｉにおける調が置換対象となる場合には、当該調区間Ｉの直後の調情報Ｈが表す調に置換する。
第２実施形態でも第１実施形態と同様の効果が実現される。第２実施形態では、調情報Ｈが表す調が連続する調区間Ｉの時間長が所定値を下回る場合に、当該調区間Ｉの調が、当該調区間Ｉの直前の調情報Ｈが表す調に置換される。したがって、調が短期間で変化する可能性が低いという傾向を加味して、調推定モデルにより推定された調を適切に修正することができる。なお、第２実施形態では、置換元の直前の調区間Ｉの調情報Ｈが表す調を置換先としたが、置換元の直後の調区間Ｉの調情報Ｈが表す調を置換先としてもよい。以上の構成では、例えば図１０のステップＳb2において複数の調区間Ｉのうち末尾から先頭に向かって調区間Ｉを順次に選択する。
＜第３実施形態＞
楽曲のコードと調とは相関関係がある。例えば、楽曲の調の音階を構成音とするコードが当該楽曲内で演奏される。特に、楽曲において特定の調が設定された区間の先頭のコードは、当該調の主音を根音とするコードと一致する可能性が高いという傾向がある。第３実施形態では、以上の傾向をもとに第１実施形態で推定された調を修正する。
図１１は、第３実施形態に係る音響解析装置１００の機能構成を例示するブロック図である。第３実施形態の音響解析装置１００は、第２実施形態と同様に後処理部２４を具備する。後処理部２４は、調推定モデル２２により推定された調の時系列Ｗaを修正することで時系列Ｗbを生成する。第３実施形態の後処理部２４は、音響信号ＶにおけるコードＯの時系列（例えば第２処理部２１２が推定したコードＯの時系列）を利用して時系列Ｗbを生成する。図１２は、第３実施形態に係る後処理部２４が生成する時系列Ｗbの説明図である。具体的には、後処理部２４は、音響信号ＶにおけるコードＯの時系列に応じて、調区間Ｉの端点（具体的には始点Ｓ）を変更する。第３実施形態の後処理部２４は、調区間Ｉの始点Ｓを含む区間（以下「探索区間」という）Ｒにおける音響信号ＶのコードＯの時系列に、当該調区間Ｉの調情報Ｈが表す調に対応するコード（以下「調対応コード」という）がある場合に、当該調区間Ｉの始点Ｓを、当該調対応コードに対応する区間（典型的には継続区間Ｕ）の始点に変更する。探索区間Ｒは、例えば調区間Ｉの始点Ｓを中心とした複数（図１２では６個）の継続区間Ｕが探索区間Ｒとして例示される。調対応コードは、例えば調の主音を根音とするコード（典型的にはトニックコード）である。図１２では、「Ｅmajor」が推定された調区間Ｉ2の始点Ｓが、探索区間Ｒについて推定された複数のコードＯのうちコード「Ｅ」が推定された継続区間Ｕの始点に変更される場合が例示されている。
図１３は、第３実施形態に係る後処理部２４が調推定モデルにより推定された調を修正する処理（以下「後処理２」という）の具体的な手順を例示するフローチャートである。後処理部２４は、調推定モデル２２により調の時系列Ｗaが推定された後に、例えば利用者からの指示を契機として後処理２が開始される。後処理２を開始すると、後処理部２４は、調の時系列Ｗaから複数の調区間Ｉを時間軸上に画定する（Ｓc1）。すなわち、調区間Ｉの時系列が特定される。後処理部２４は、複数の調区間Ｉの何れかを選択する（Ｓc2）。具体的には、先頭から末尾に向かって調区間Ｉが順次に選択される。
次に、後処理部２４は、ステップＳc2において選択された調区間Ｉにおける探索区間Ｒについて推定された複数のコード（以下「候補コード」という）の各々について、当該候補コードと調対応コードとの間における類似度とを算定する（Ｓc3）。類似度は、調対応コードを表すベクトルと候補コードを表すベクトルとの距離または相関を表す指標である。調対応コードまたは候補コードを表すベクトルとしては、例えば文献「山口直彦、管村昇，"非調構成音を含む和音への対応を目的としたＴＰＳ（Tonal Pitch Space）の拡張－ジャズ音楽理論への適用を目指して－"，情報処理学会研究報告，２０１１年２月１１日」に記載されたベーシックスペース関数が好適である。次に、後処理部２４は、複数の候補コードのうち調対応コードとの類似度が最大となる候補コードを探索する（Ｓc4）。ステップＳc3およびステップＳc4は、調区間Ｉの調が表す調対応コードに最も類似（典型的には一致）する１個の候補コードを、当該調区間Ｉにおける探索区間Ｒの複数の候補コードから探索する処理である。
後処理部２４は、調区間Ｉの始点Ｓを、ステップＳc4で探索された候補コードに対応する区間の始点に変更する（Ｓc5）。具体的には、当該候補コードが推定された継続区間Ｕの始点に調区間Ｉの始点Ｓが変更される。なお、調区間Ｉの先頭における候補コードの類似度が最大となる場合には、調区間Ｉの始点Ｓは変更されずに維持される。全部の調区間Ｉの各々についてステップＳc2～Ｓc6の処理を実行した場合（Ｓc6:YES）、制御装置１１は、後処理部２４が生成した時系列Ｗbを表示装置１３に表示させる（Ｓc7）。すなわち、時系列Ｗaから画定された複数の調区間Ｉの各々について始点Ｓが変更または維持された時系列Ｗbが表示装置１３により表示される。一方で、ステップＳc2において未選択の調区間Ｉがある場合（Ｓc6:NO）、後処理部２４は、当該未選択の調区間ＩについてステップＳc2～Ｓc6の処理を実行する。
第３実施形態においても第１実施形態と同様の効果が実現される。第３実施形態では、音響信号ＶにおけるコードＯの時系列に応じて、調区間Ｉの端点が変更されるから、コードの時間変化を加味して、調推定モデル２２により推定された調を適切に修正することができる。また、第３実施形態では、調区間Ｉの始点Ｓを含む探索区間Ｒにおける音響信号Ｖのコードの時系列（すなわち複数の候補コード）に、当該調区間Ｉの調情報Ｈが表す調の主音を根音とする調対応コードがある場合に、当該調区間Ｉの始点Ｓが、当該調対応コードに対応する区間の始点に変更される。したがって、調区間Ｉに対応する音響信号ＶのコードＯの時系列の先頭が、当該調の主音を根音とするコードである可能性が高いという傾向を加味して、調情報Ｈに適切に修正することができる。なお、第２実施形態における後処理１および第３実施形態における後処理２を組み合わせてもよい。
＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された複数の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）前述の各形態では、調推定モデル２２と学習処理部２３とを具備する音響解析装置１００を例示したが、音響解析装置１００とは別体の情報処理装置（以下「機械学習装置」という）に学習処理部２３を搭載してもよい。機械学習装置の学習処理部２３が設定した複数の係数Ｋを適用した調推定モデル２２が、音響解析装置１００に転送されて調情報Ｈの生成に利用される。以上の説明から理解される通り、音響解析装置１００から学習処理部２３は省略される。
（２）携帯電話機またはスマートフォン等の情報端末との間で通信するサーバ装置により音響解析装置１００を実現してもよい。例えば、音響解析装置１００は、情報端末から受信した音響信号Ｖの解析により調情報Ｈを生成して情報端末に送信する。なお、音響信号Ｖから特徴量Ｙを抽出する特徴抽出部２１が情報端末に搭載された構成では、音響解析装置１００は、情報端末から受信した特徴量Ｙの時系列を調推定モデル２２に入力することで調情報Ｈを生成し、当該調情報Ｈを情報端末に送信する。以上の説明から理解される通り、音響解析装置１００から特徴抽出部２１を省略してもよい。
（３）前述の各形態において、例えば楽曲の楽譜において指定された既知のコードＯの時系列を特徴量Ｙの抽出に利用してもよい。第３処理部２１３は、第１処理部２１１が抽出した特徴量Ｘと既知のコードＯの時系列とから特徴量Ｙを生成する。すなわち、第２処理部２１２は省略され得る。以上の構成では、既知のコードＯの時系列と調推定モデル２２が推定した調の時系列とを併記した表示画面が表示装置１３により表示される。なお、既知のコードＯの時系列は、事前に記憶装置１２に記憶される。
（４）前述の各形態では、継続区間Ｕ毎の特徴量Ｙを調推定モデル２２に入力することで、当該継続区間Ｕ毎に調情報Ｈを生成したが、調推定モデル２２に対する入力および出力は以上の例示に限定されない。例えば以下の［Ａ］－［Ｄ］の構成が採用される。
［Ａ］第１処理部２１１が生成した単位期間Ｔ毎の特徴量Ｘの時系列を調推定モデル２２に入力することで、当該単位期間Ｔ毎に調情報Ｈを生成する。すなわち、調推定モデル２２は、特徴量Ｘの時系列と調情報Ｈとの関係を学習する。なお、第２処理部２１２および第３処理部２１３は省略される。
［Ｂ］第１処理部２１１が生成した単位期間Ｔ毎の特徴量Ｘの時系列と、第２処理部２１２が生成した単位期間Ｔ毎のコードＯの時系列とを調推定モデル２２に入力することで、単位期間Ｔ毎に調情報Ｈを生成する。すなわち、調推定モデル２２は、特徴量Ｘの時系列およびコードＯの時系列と、調情報Ｈとの関係を学習する。なお、第３処理部２１３は省略される。
［Ｃ］第２処理部２１２が生成した単位期間Ｔ毎のコードＯの時系列を調推定モデル２２に入力することで、単位期間Ｔ毎に調情報Ｈを生成してもよい。すなわち、調推定モデル２２は、コードＯの時系列と調情報Ｈとの関係を学習する。第３処理部２１３は省略される。なお、［Ｂ］および［Ｃ］において、例えば楽曲の既知の楽譜から生成されたコードＯの時系列を調推定モデル２２に対する入力として利用してもよい。
［Ｄ］第１処理部２１１が生成した単位期間Ｔ毎の特徴量Ｘの時系列と、継続区間Ｕの時系列を表すデータ（以下「区間データ」という）とを調推定モデル２２に入力することで、継続区間Ｕ毎に調情報Ｈを生成する。すなわち、調推定モデル２２は、特徴量Ｘの時系列および区間データと、調情報Ｈとの関係を学習する。なお、第３処理部２１３は省略される。区間データは、例えば継続区間Ｕの境界を示すデータであり、例えば第２処理部２１２が生成したコードＯの時系列から生成してもよいし、例えば楽曲の既知の楽譜から生成された区間データを利用してもよい。
以上の説明から理解される通り、調推定モデル２２に対する入力および出力は任意である。なお、入力および出力の単位は、入力の種類に応じて適宜に変更し得る。例えば継続区間Ｕ毎または単位期間Ｔ毎の入力および出力が例示される。また、調推定モデル２２に対する入力に応じて、特徴抽出部２１の構成も適宜に変更し得る。
（５）前述の各形態では、複数種の調の何れかを２値的に表す指標Ｑを含む調情報Ｈを例示したが、調情報Ｈの内容は以上の例示に限定されない。例えば、各調に対応する指標Ｑが、楽曲の調がその調に該当する尤度を表す調情報Ｈを利用してもよい。尤度を表す指標Ｑは、０以上かつ１以下の範囲内の数値に設定され、相異なる調に対応する全部の調にわたる指標Ｑの合計値は所定値（例えば１）となる。また、複数種の調の何れかを識別するための識別情報を調情報Ｈとして調推定モデル２２が生成してもよい。
（６）前述の各形態では、クロマベクトルと強度Ｐvとを含む特徴量Ｘを例示したが、特徴量Ｘの内容は以上の例示に限定されない。例えば、クロマベクトルを単独で特徴量Ｙとして利用してもよい。また、音響信号Ｖのうち所定の周波数に対して低域側の帯域成分と高域側の帯域成分の各々についてクロマベクトルと強度Ｐvとを含む特徴量Ｘを例示したが、音響信号Ｖにおける全体の周波数帯域についてクロマベクトルと強度Ｐvとを含む特徴量Ｘを生成してもよい。また、同様に、特徴量Ｙが、音階音毎の成分強度Ｐqの時系列に関する分散σqおよび平均μqと、音響信号Ｖの強度Ｐvの時系列に関する分散σvおよび平均μvとを、音響信号Ｖの全体の周波数帯域について含んでもよい。
（７）第３実施形態の後処理２において、音響信号Ｖに対応する楽曲の音楽構造上の構造区間（例えばＡメロ，サビ，Ｂメロ等の各フレーズ）を加味してもよい。例えば、調が構造区間毎に変化するという傾向がある。以上の傾向を利用して、例えば調区間Ｉにおける探索区間Ｒ内に構造区間の始点が位置する場合には、当該構造区間の始点に当該調区間Ｉの始点Ｓを変更してもよい。
（８）前述の各形態では、調推定モデル２２が生成した調情報Ｈが表す調を表示したが、調情報Ｈの用途は以上の例示に限定されない。表示装置１３が表示するコード（第２処理部２１２が推定したコード）が、例えば利用者の演奏が困難なコードである場合には、当該コードを簡単なコードに変更したいという事情がある。以上の事情を考慮して、利用者による変更の候補となる複数のコードの特定に、調推定モデル２２が推定した調を利用してもよい。調推定モデル２２が推定した調を加味して、音響的に近似した複数のコードが変更の候補として特定される。
（９）前述の形態において、調推定モデルは平均律における調を推定したが、調推定モデルが推定する調の基礎となる音律は、平均律に限定されない。例えば、インド音楽等の民族音楽の音律における調を調推定モデルが推定してもよい。
（１０）前述の各形態に係る音響解析装置１００は、各形態での例示の通り、コンピュータ（具体的には制御装置１１）とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含み得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。
なお、調推定モデル２２を実現するプログラムの実行主体はＣＰＵ等の汎用の処理回路に限定されない。例えば、Tensor Processing UnitまたはNeural Engine等の人工知能に特化した処理回路、または信号処理用の電子回路（ＤＳＰ：Digital Signal Processor）がプログラムを実行してもよい。また、以上の例示から選択された複数種の主体が協働してプログラムを実行してもよい。
（１１）学習済モデル（調推定モデル２２）は、制御装置（コンピュータの例示）により実現される統計的推定モデル（例えばニューラルネットワーク）であり、入力Ａに応じた出力Ｂを生成する。具体的には、学習済モデルは、入力Ａから出力Ｂを特定する演算を制御装置に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数との組合せで実現される。学習済モデルの複数の係数は、入力Ａと出力Ｂとを対応させた複数の教師データを利用した事前の機械学習（深層学習）により最適化されている。すなわち、学習済モデルは、入力Ａと出力Ｂとの間の関係を学習した統計的推定モデルである。制御装置は、学習済の複数の係数と所定の応答関数とを適用した演算を未知の入力Ａに対して実行することにより、複数の教師データに潜在する傾向（入力Ａと出力Ｂとの間の関係）のもとで入力Ａに対して統計的に妥当な出力Ｂを生成する。
（１２）以上に例示した形態から、例えば以下の構成が把握される。
本発明の態様（第１態様）に係る音響解析方法は、音響信号の特徴量の時系列と調との関係を学習した学習済モデルに、音響信号の特徴量の時系列を入力することで、調を表す調情報を生成する。以上の態様によれば、音響信号の特徴量と調との関係を学習した学習済モデルに音響信号の特徴量を入力することで調を表す調情報が生成されるから、所定の規則に従って楽曲の調情報を生成する構成と比較して、調を高精度に推定することができる。
第１態様の一例（第２態様）において、同じコードが継続する継続区間毎に前記音響信号の特徴量を前記学習済モデルに入力することで、当該継続区間毎に前記調情報を生成する。以上の態様によれば、同じコードが継続する継続区間毎に音響信号の特徴量を学習済モデルに入力することで、当該継続区間毎に調情報が生成されるから、同じコードが継続する継続区間内では調が変化しないという傾向を加味して、調情報を高精度に推定することができる。
第２態様の一例（第３態様）において、各継続区間の前記特徴量は、前記音響信号のうち音階音に対応する成分強度における当該継続区間の時間変化に関する指標を音階音毎に含む。以上の態様によれば、音響信号のうち音階音に対応する成分強度における継続区間の時間変化に関する指標を音階音毎に含む特徴量が継続区間毎に学習済モデルに入力されるから、音響信号の時間変化を加味して、高精度に調情報を推定することができる。
第１態様の一例（第４態様）において、前記特徴量は、前記音響信号のうち音階音に対応する成分強度を複数のオクターブにわたり加算した成分強度を音階音毎に含む。以上の態様によれば、音響信号のうち音階音に対応する成分強度を複数のオクターブにわたり加算した成分強度を音階音毎に含む特徴量が学習済モデルに入力されるから、音響信号が表す楽曲のコードが適切に反映された特徴量を利用して、調情報を高精度に推定できるという利点がある。
第１態様から第４態様の何れかの一例（第５態様）において、前記調情報が表す調が連続する調区間の時間長が所定値を下回る場合に、当該調区間の調を、当該調区間の直前または直後の調情報が表す調に置換する。以上の態様によれば、調情報が表す調が連続する調区間の時間長が所定値を下回る場合に、当該調区間の調が、当該調区間の直前または直後の調情報が表す調に置換される。したがって、調が短期間で変化する可能性が低いという傾向を加味して、学習済モデルにより推定された調を適切に修正することができる。
第１態様から第５態様の何れかの一例（第６態様）において、音響信号におけるコードの時系列に応じて、前記調情報が表す調が連続する調区間の端点を変更する。以上の態様によれば、音響信号におけるコードの時系列に応じて、調情報が表す調が連続する調区間の端点が変更されるから、コードの時間変化を加味して、学習済モデルにより推定された調を適切に修正することができる。
第６態様の一例（第７態様）において、前記調区間の始点を含む探索区間における音響信号のコードの時系列に、当該調区間の調情報が表す調の主音を根音とするコードがある場合に、当該調区間の始点を、当該コードに対応する区間の始点に変更する。以上の態様によれば、調区間の始点を含む探索区間における音響信号のコードの時系列に、当該調区間の調情報が表す調の主音を根音とするコードに音響的に近似するコード（理想的には一致するコード）がある場合に、当該調区間の始点が、当該コードに対応する区間の始点に変更される。したがって、調区間に対応する音響信号のコードの時系列の先頭が、当該調の主音を根音とするコードに音響的に近似するコード（理想的には一致するコード）である可能性が高いという傾向を加味して、調情報に適切に修正することができる。
本発明の好適な態様（第８態様）に係る音響解析装置は、音響信号の特徴量の時系列と調との関係を学習した学習済モデルであって、音響信号の特徴量の時系列の入力から、調を表す調情報を生成する調推定モデルを具備する。以上の態様によれば、音響信号の特徴量と調との関係を学習した学習済モデルに音響信号の特徴量を入力することで調を表す調情報が生成されるから、所定の規則に従って楽曲の調情報を生成する構成と比較して、調を高精度に推定することができる。
１００…音響解析装置、１１…制御装置、１２…記憶装置、１３…表示装置、２１…特徴抽出部、２１１…処理部、２１２…処理部、２１３…処理部、２２…調推定モデル、２３…学習処理部、２４…後処理部。

Claims (8)

  1. 音響信号から第１特徴量を抽出する第１処理部、
    前記第１特徴量と前記音響信号に対応するコードとから第２特徴量を生成する第３処理部、および、
    第２特徴量と調との関係を学習した学習済モデルであって、前記第３処理部が生成した前記第２特徴量の時系列の入力から、調を表す調情報を生成する調推定モデル、
    としてコンピュータを機能させるプログラム。
  2. さらに、
    前記音響信号から前記コードを推定する第２処理部
    として前記コンピュータを機能させ、
    前記第３処理部は、前記第１処理部が抽出した前記第１特徴量と前記第２処理部が推定した前記コードとから前記第２特徴量を生成する
    請求項１のプログラム。
  3. 特徴量と調との関係を学習した学習済モデルに対し、同じコードが継続する継続区間毎に、音響信号の特徴量の時系列を入力することで、調を表す調情報を前記継続区間毎に生成する
    コンピュータにより実現される音響解析方法。
  4. 特徴量と調との関係を学習した学習済モデルに、音響信号の特徴量の時系列を入力することで、調を表す調情報を生成する
    コンピュータにより実現される音響解析方法であって、
    前記特徴量は、前記音響信号のうち音階音に対応する成分強度の時間変化に関する指標を音階音毎に含む
    音響解析方法。
  5. 特徴量と調との関係を学習した学習済モデルに、音響信号の特徴量の時系列を入力することで、調を表す調情報を生成し、
    前記調情報が表す調が連続する調区間の時間長が所定値を下回る場合に、当該調区間の調を、当該調区間の直前または直後の調情報が表す調に置換する
    コンピュータにより実現される音響解析方法。
  6. 特徴量と調との関係を学習した学習済モデルに、音響信号の特徴量の時系列を入力することで、調を表す調情報を生成し、
    前記音響信号におけるコードの時系列に応じて、前記調情報が表す調が連続する調区間の端点を変更する
    コンピュータにより実現される音響解析方法であって、
    前記調区間の端点の変更においては、前記調区間の始点を含む探索区間における音響信号のコードの時系列に、当該調区間の調情報が表す調に対応する調対応コードがある場合に、当該調区間の始点を、前記調対応コードに対応する区間の始点に変更する
    音響解析方法。
  7. 前記調対応コードは、前記調区間の調情報が表す調の主音を根音とするコードである
    請求項６の音響解析方法。
  8. 特徴量と調との関係を学習した学習済モデルに対し、同じコードが継続する継続区間毎に、音響信号の特徴量の時系列を入力することで、調を表す調情報を前記継続区間毎に生成する
    音響解析装置。
JP2019003324A 2019-01-11 2019-01-11 音響解析方法、音響解析装置およびプログラム Active JP7375302B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019003324A JP7375302B2 (ja) 2019-01-11 2019-01-11 音響解析方法、音響解析装置およびプログラム
CN202080007107.2A CN113196381B (zh) 2019-01-11 2020-01-09 音响解析方法以及音响解析装置
PCT/JP2020/000374 WO2020145326A1 (ja) 2019-01-11 2020-01-09 音響解析方法および音響解析装置
US17/331,520 US20210287641A1 (en) 2019-01-11 2021-05-26 Audio analysis method and audio analysis device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019003324A JP7375302B2 (ja) 2019-01-11 2019-01-11 音響解析方法、音響解析装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2020112683A JP2020112683A (ja) 2020-07-27
JP7375302B2 true JP7375302B2 (ja) 2023-11-08

Family

ID=71520523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019003324A Active JP7375302B2 (ja) 2019-01-11 2019-01-11 音響解析方法、音響解析装置およびプログラム

Country Status (4)

Country Link
US (1) US20210287641A1 (ja)
JP (1) JP7375302B2 (ja)
CN (1) CN113196381B (ja)
WO (1) WO2020145326A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022202199A1 (ja) * 2021-03-26 2022-09-29 ヤマハ株式会社 コード推定装置、訓練装置、コード推定方法および訓練方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041234A (ja) 2005-08-02 2007-02-15 Univ Of Tokyo 音楽音響信号の調推定方法および調推定装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3088919B2 (ja) * 1994-12-22 2000-09-18 カシオ計算機株式会社 調判定音楽装置
US6057502A (en) * 1999-03-30 2000-05-02 Yamaha Corporation Apparatus and method for recognizing musical chords
JP4622808B2 (ja) * 2005-10-28 2011-02-02 日本ビクター株式会社 楽曲分類装置、楽曲分類方法、楽曲分類プログラム
US7705231B2 (en) * 2007-09-07 2010-04-27 Microsoft Corporation Automatic accompaniment for vocal melodies
US7842878B2 (en) * 2007-06-20 2010-11-30 Mixed In Key, Llc System and method for predicting musical keys from an audio source representing a musical composition
WO2009001202A1 (en) * 2007-06-28 2008-12-31 Universitat Pompeu Fabra Music similarity systems and methods using descriptors
WO2010043258A1 (en) * 2008-10-15 2010-04-22 Museeka S.A. Method for analyzing a digital music audio signal
JP5974436B2 (ja) * 2011-08-26 2016-08-23 ヤマハ株式会社 楽曲生成装置
US20130066452A1 (en) * 2011-09-08 2013-03-14 Yoshiyuki Kobayashi Information processing device, estimator generating method and program
JP6151121B2 (ja) * 2013-07-31 2017-06-21 株式会社河合楽器製作所 コード進行推定検出装置及びコード進行推定検出プログラム
JP6295794B2 (ja) * 2014-04-09 2018-03-20 ヤマハ株式会社 音響信号分析装置及び音響信号分析プログラム
JP6671245B2 (ja) * 2016-06-01 2020-03-25 株式会社Ｎｔｔドコモ 識別装置
US10002596B2 (en) * 2016-06-30 2018-06-19 Nokia Technologies Oy Intelligent crossfade with separated instrument tracks
JP6812273B2 (ja) * 2017-02-28 2021-01-13 株式会社Ｎｔｔドコモ 楽器音認識装置及び楽器音認識プログラム
US10586519B2 (en) * 2018-02-09 2020-03-10 Yamaha Corporation Chord estimation method and chord estimation apparatus
JP7069819B2 (ja) * 2018-02-23 2022-05-18 ヤマハ株式会社 コード特定方法、コード特定装置およびプログラム
JP7230464B2 (ja) * 2018-11-29 2023-03-01 ヤマハ株式会社 音響解析方法、音響解析装置、プログラムおよび機械学習方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041234A (ja) 2005-08-02 2007-02-15 Univ Of Tokyo 音楽音響信号の調推定方法および調推定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DUAN, Zhiyao et al.，AUDIO TONALITY MODE CLASSIFICATION WITHOUT TONIC ANNOTATIONS，[onlline]，ICME 2008，2008年08月26日，Retrieved from the Internet:<URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4607696&tag=1>，<DOI: 10.1109/ICME.2008.4607696>

Also Published As

Publication number Publication date
US20210287641A1 (en) 2021-09-16
CN113196381A (zh) 2021-07-30
CN113196381B (zh) 2023-12-26
JP2020112683A (ja) 2020-07-27
WO2020145326A1 (ja) 2020-07-16

Similar Documents

Publication Publication Date Title
CN112382257B (zh) 一种音频处理方法、装置、设备及介质
JP6743425B2 (ja) 音信号処理方法および音信号処理装置
Nakamura et al. Statistical piano reduction controlling performance difficulty
US10586519B2 (en) Chord estimation method and chord estimation apparatus
US11842719B2 (en) Sound processing method, sound processing apparatus, and recording medium
JP7069819B2 (ja) コード特定方法、コード特定装置およびプログラム
JP2012506061A (ja) デジタル音楽音響信号の分析方法
JP7375302B2 (ja) 音響解析方法、音響解析装置およびプログラム
US20220383843A1 (en) Arrangement generation method, arrangement generation device, and generation program
Kim et al. Statistical approach to automatic expressive rendition of polyphonic piano music
JP7343012B2 (ja) 情報処理装置および情報処理方法
Weil et al. Automatic Generation of Lead Sheets from Polyphonic Music Signals.
US11942106B2 (en) Apparatus for analyzing audio, audio analysis method, and model building method
WO2022153875A1 (ja) 情報処理システム、電子楽器、情報処理方法およびプログラム
JP6733487B2 (ja) 音響解析方法および音響解析装置
JP7243147B2 (ja) コード推定方法、コード推定装置およびプログラム
JP7318253B2 (ja) 楽曲解析方法、楽曲解析装置およびプログラム
JP2017161572A (ja) 音信号処理方法および音信号処理装置
JP7107427B2 (ja) 音信号合成方法、生成モデルの訓練方法、音信号合成システムおよびプログラム
Chien et al. An acoustic-phonetic model of F0 likelihood for vocal melody extraction
Cheng Exploiting Piano Acoustics in Automatic Transcription
JP7251248B2 (ja) コード処理方法、コード処理装置およびプログラム
US20230290325A1 (en) Sound processing method, sound processing system, electronic musical instrument, and recording medium
US20210366455A1 (en) Sound signal synthesis method, generative model training method, sound signal synthesis system, and recording medium
Fernando Anomalous Note Change Detection of Unknown Monophonic Melodies

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230703

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231009

R151 Written notification of patent or utility model registration

Ref document number: 7375302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151