JP6708179B2 - 情報処理方法、情報処理装置およびプログラム - Google Patents

情報処理方法、情報処理装置およびプログラム Download PDF

Info

Publication number
JP6708179B2
JP6708179B2 JP2017143980A JP2017143980A JP6708179B2 JP 6708179 B2 JP6708179 B2 JP 6708179B2 JP 2017143980 A JP2017143980 A JP 2017143980A JP 2017143980 A JP2017143980 A JP 2017143980A JP 6708179 B2 JP6708179 B2 JP 6708179B2
Authority
JP
Japan
Prior art keywords
information
performance
unit
music
performance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017143980A
Other languages
English (en)
Other versions
JP2019028106A (ja
JP2019028106A5 (ja
Inventor
陽 前澤
陽 前澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2017143980A priority Critical patent/JP6708179B2/ja
Priority to PCT/JP2018/027838 priority patent/WO2019022118A1/ja
Publication of JP2019028106A publication Critical patent/JP2019028106A/ja
Priority to US16/752,039 priority patent/US11568244B2/en
Publication of JP2019028106A5 publication Critical patent/JP2019028106A5/ja
Application granted granted Critical
Publication of JP6708179B2 publication Critical patent/JP6708179B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G10G1/04—Transposing; Transcribing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/105—Composing aid, e.g. for supporting creation, edition or modification of a piece of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G10H2210/115—Automatic composing, i.e. using predefined musical rules using a random process to generate a musical note, phrase, sequence or structure
    • G10H2210/121—Automatic composing, i.e. using predefined musical rules using a random process to generate a musical note, phrase, sequence or structure using a knowledge base
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/161—Note sequence effects, i.e. sensing, altering, controlling, processing or synthesising a note trigger selection or sequence, e.g. by altering trigger timing, triggered note values, adding improvisation or ornaments or also rapid repetition of the same note onset
    • G10H2210/165—Humanizing effects, i.e. causing a performance to sound less machine-like, e.g. by slightly randomising pitch or tempo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375—Tempo or beat alterations; Music timing control
    • G10H2210/385—Speed change, i.e. variations from preestablished tempo, tempo change, e.g. faster or slower, accelerando or ritardando, without change in pitch
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/016—File editing, i.e. modifying musical data files or streams as such
    • G10H2240/021—File editing, i.e. modifying musical data files or streams as such for MIDI-like files or data streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、楽曲の演奏に関する演奏情報を処理する技術に関する。
例えば特許文献１には、楽曲の演奏音を表す音響信号を処理することで、演奏音のうち任意の楽器の音色を他の楽器の音色に変更する技術が開示されている。
国際公開第２０１０／０９５６２２号
現実の楽曲の演奏においては、演奏者に特有の傾向（音楽的な表情または演奏の癖）が演奏音に付与される。他方、楽曲の内容を表す既存の楽曲情報（例えばＭＩＤＩデータ）は、楽曲の標準的な演奏を指定する。特定の演奏者に特有の演奏の傾向を既存の楽曲情報に反映させるためには、音楽制作者等の作業者が楽曲情報を手動で編集する作業（いわゆる打込み作業）が必要であり、作業負荷が過大であるという問題がある。以上の事情を考慮して、本発明は、楽曲情報が表す楽曲を特定の傾向のもとで演奏したときの演奏情報を生成することを目的とする。
以上の課題を解決するために、本発明の好適な態様に係る情報処理方法は、コンピュータが、楽曲の内容を表す楽曲情報と、前記楽曲内の一の単位期間からみて過去の演奏に関する演奏情報とを、演奏に関する特定の傾向が反映されたニューラルネットワークに付与することで、前記一の単位期間について、前記特定の傾向のもとでの演奏情報を生成する。
また、本発明の好適な態様に係るプログラムは、楽曲の内容を表す楽曲情報と、前記楽曲内の一の単位期間からみて過去の演奏に関する演奏情報とを、演奏に関する特定の傾向が反映されたニューラルネットワークに付与することで、前記一の単位期間について、前記特定の傾向のもとでの演奏情報を生成する演奏情報生成部としてコンピュータを機能させる。
本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 楽曲情報および単位情報の模式図である。 情報処理装置の機能的な構成を示すブロック図である。 特徴情報の説明図である。 楽曲情報編集の内容を示すフローチャートである。 第２実施形態に係る情報処理装置の機能的な構成を示すブロック図である。
＜第１実施形態＞
図１は、本発明の第１実施形態に係る情報処理装置１００の構成を示すブロック図である。図１に例示される通り、第１実施形態の情報処理装置１００は、制御装置１１と記憶装置１２とを具備するコンピュータシステムで実現される。例えばパーソナルコンピュータ等の各種の機器が情報処理装置１００として利用される。
制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路を含んで構成される。例えば単数または複数のチップで制御装置１１が実現される。記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置１２として任意に採用される。
本実施形態の記憶装置１２は、楽曲の内容を表す楽曲情報Ｓを記憶する。本実施形態の楽曲情報Ｓは、楽曲を構成する複数の音符の各々について音高と強度と発音期間（発音時刻および継続長）とを指定する。音高および強度を指定して発音または消音を指示する指示データと、各指示データの発音時点を指定する時間データとが時系列に配列されたＭＩＤＩ（Musical Instrument Digital Interface）形式のファイル（ＳＭＦ：Standard MIDI File）が楽曲情報Ｓの好適例である。
図２に例示される通り、楽曲情報Ｓは、複数（Ｍ個）の部分（以下「単位情報」という）Ｕ１〜ＵＭに区分される。任意の１個の単位情報Ｕｍ（ｍ＝１〜Ｍ）は、楽曲を時間軸上で区分したＭ個の単位期間Ｑ１〜ＱＭのうち第ｍ番目の単位期間Ｑｍ内の演奏の内容を指定する。すなわち、単位情報Ｕｍは、楽曲の単位期間Ｑｍに含まれる１個以上の音符の各々について音高と強度と発音期間とを指定する。各単位期間Ｑｍは、例えば楽曲の所定の音価（例えば８分音符）に相当する時間長の期間である。
情報処理装置１００は、演奏に関する特定の傾向（以下「目標傾向」という）を楽曲情報Ｓに付与した楽曲情報Ｓａを生成する。目標傾向は、例えば特定の演奏者に特有の音楽的な表情または演奏の癖である。図１に例示される通り、本実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、楽曲情報Ｓから楽曲情報Ｓａを生成するための複数の要素（演奏情報生成部２１および楽曲情報処理部２２）として機能する。なお、制御装置１１の一部の機能を専用の電子回路により実現してもよい。
演奏情報生成部２１は、目標傾向のもとで楽曲を演奏したときの演奏情報ｙｍを生成する。演奏情報ｙｍは、楽曲の演奏の傾向に関する変数である。第１実施形態では、演奏速度を演奏情報ｙｍとして例示する。演奏情報ｙｍは、単位期間Ｑｍ毎に順次に生成される。すなわち、演奏情報ｙｍは単位期間Ｑｍ毎に変化し得る。
図１の楽曲情報処理部２２は、演奏情報生成部２１が単位期間Ｑｍ毎に生成した演奏情報ｙｍを楽曲情報Ｓに反映させることで楽曲情報Ｓａを生成する。具体的には、楽曲情報処理部２２は、楽曲情報Ｓが各単位期間Ｑｍについて指定する演奏の演奏速度が、当該単位期間Ｑｍの演奏情報ｙｍが指定する演奏速度に変更されるように、楽曲情報Ｓを編集することで楽曲情報Ｓａを生成する。すなわち、楽曲情報処理部２２は、特定の演奏者による演奏の目標傾向を楽曲情報Ｓに付加する要素として機能する。
図３は、情報処理装置１００の機能的な構成を示すブロック図である。図３においては、楽曲内の第ｍ番目の単位期間Ｑｍについて演奏情報ｙｍを生成する場合が想定されている。図３に例示される通り、第１実施形態の演奏情報生成部２１は、係数特定部３１と演算処理部３２とを具備する。
第１実施形態の演奏情報ｙｍは、以下の数式（１）で表現される自己回帰過程により生成される。
Figure 0006708179
図３の係数特定部３１は、単位期間Ｑｍにおける線形予測係数（自己回帰係数）ａｍｊを楽曲情報Ｓから特定する。第１実施形態の係数特定部３１は、目標傾向が反映されたニューラルネットワークＮを含んで構成される。ニューラルネットワークＮは、目標傾向に沿う多数の教師データを利用した機械学習によりモデルパラメータθ（θａ，θｂ）が設定された数理モデルである。具体的には、数式（１）により算定される演奏情報ｙｍと目標傾向に沿う演奏を表す演奏情報（教師データ）との誤差が最小化されるようにモデルパラメータθが設定される。したがって、第１実施形態のニューラルネットワークＮは、機械学習に利用された多数の教師データから抽出される目標傾向のもとで楽曲情報Ｓにとって妥当な線形予測係数ａｍｊ（ａｍ１,ａｍ２,ａｍ３,…,ａｍＰ）を出力する。
図３に例示される通り、第１実施形態のニューラルネットワークＮは、第１ニューラルネットワークＮａと第２ニューラルネットワークＮｂとで構成される。第１ニューラルネットワークＮａおよび第２ニューラルネットワークＮｂの各々は、例えば、畳込み層と最大値プーリング層を含む複数層の積層にバッチ正規化層と全結合層とを接続した畳込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。活性化関数にはＬｅａｋｙ ＲｅＬＵ（Rectified Linear Unit）が好適である。ただし、ニューラルネットワークＮ（Ｎａ，Ｎｂ）の構造および活性化関数の種類は任意である。
第１ニューラルネットワークＮａは、図４に例示される通り、線形予測係数ａｍｊを特定すべき単位期間Ｑｍ（一の単位期間の例示）における特徴情報Ｆｍを楽曲情報Ｓから特定する。具体的には、第１ニューラルネットワークＮａは、単位期間Ｑｍを含む解析期間Ａｍに対応する複数（２Ｗ＋１個）の単位情報Ｕｍ−ｗ〜Ｕｍ＋ｗから、当該単位期間Ｑｍの特徴情報Ｆｍを生成する。解析期間Ａｍは、単位期間Ｑｍの過去（前方）の単位期間Ｑｍ−ｗから後方の単位期間Ｑｍ＋ｗまでの期間である。
図４に例示される通り、特徴情報Ｆｍは、解析期間Ａｍ内の複数の単位情報Ｕｍ−ｗ〜Ｕｍ＋ｗにそれぞれ対応する複数の特徴量Φｍ−ｗ〜Φｍ＋ｗの系列である。第１ニューラルネットワークＮａのモデルパラメータθａは、複数の単位情報の時系列と特徴情報とを含む多数の教師データを利用した機械学習により設定される。したがって、第１ニューラルネットワークＮａは、多数の教師データから抽出される傾向のもとで複数の単位情報Ｕｍ−ｗ〜Ｕｍ＋ｗにとって妥当な特徴情報Ｆｍを出力する。特徴情報Ｆｍは、解析期間Ａｍ内の演奏内容の音楽的な特徴を要約した情報に相当する。
図３の第２ニューラルネットワークＮｂは、第１ニューラルネットワークＮａにより生成された特徴情報Ｆｍと、単位期間Ｑｍの過去の期間におけるＰ個（Ｐは２以上の自然数）の演奏情報ｙｍ−１〜ｙｍ−Ｐとから、単位期間Ｑｍの線形予測係数ａｍｊを特定する。第２ニューラルネットワークＮｂのモデルパラメータθｂは、特徴情報および複数の演奏情報の時系列を含むベクトルと線形予測係数とを含む多数の教師データを利用した機械学習により設定される。したがって、第２ニューラルネットワークＮｂは、多数の教師データから抽出される目標傾向のもとで特徴情報ＦｍとＰ個の演奏情報ｙｍ−１〜ｙｍ−Ｐとにとって妥当な線形予測係数ａｍｊを出力する。以上の説明から理解される通り、第１実施形態では、単位期間Ｑｍの過去におけるＰ個の演奏情報ｙｍ−１〜ｙｍ−Ｐが、当該単位期間Ｑｍにおける演奏情報ｙｍの特定のためにフィードバックされる。
演算処理部３２は、係数特定部３１が特定した線形予測係数ａｍｊと過去のＰ個の演奏情報ｙｍ−１〜ｙｍ−Ｐとについて前述の数式（１）の演算を実行することで、単位期間Ｑｍの演奏情報ｙｍを生成する。以上の説明から理解される通り、第１実施形態の演奏情報生成部２１は、楽曲情報Ｓ（複数の単位情報Ｕｍ−ｗ〜Ｕｍ＋ｗ）と過去のＰ個の演奏情報ｙｍ−１〜ｙｍ−ＰとをニューラルネットワークＮに付与することで、目標傾向が反映された演奏情報ｙｍを単位期間Ｑｍについて生成する。単位期間Ｑｍに対応する特徴情報Ｆｍと過去のＰ個の演奏情報ｙｍ−１〜ｙｍ−Ｐとから演奏情報ｙｍを特定する処理は、楽曲内のＭ個の単位期間Ｑ１〜ＱＭの各々について時系列の順番で逐次的に実行される。以上の処理により生成されたＭ個の演奏情報ｙ１〜ｙＭの時系列は、目標傾向のもとで楽曲を演奏したときの演奏速度の時間変化に相当する。
図５は、制御装置１１が楽曲情報Ｓから楽曲情報Ｓａを生成する処理（以下「楽曲情報編集」という）の内容を例示するフローチャートである。例えば情報処理装置１００に対する利用者からの指示を契機として図５の楽曲情報編集が開始される。楽曲情報編集を開始すると、演奏情報生成部２１は、楽曲内のＭ個の単位期間Ｑ１〜ＱＭのうち未選択の最先の単位期間Ｑｍを選択する（Ｓ1）。
演奏情報生成部２１は、楽曲情報Ｓと過去のＰ個の演奏情報ｙｍ−１〜ｙｍ−ＰとをニューラルネットワークＮに付与することで、単位期間Ｑｍの演奏情報ｙｍを生成する（Ｓ2）。なお、楽曲内の先頭の単位期間Ｑ１が選択された段階では、初期値として用意された演奏情報ｙ０が楽曲情報ＳとともにニューラルネットワークＮに付与される。
具体的には、演奏情報生成部２１の係数特定部３１は、楽曲情報Ｓのうち単位期間Ｑｍの周辺の解析期間Ａｍに対応する複数の単位情報Ｕｍ−ｗ〜Ｕｍ＋ｗに応じた特徴情報Ｆｍを、第１ニューラルネットワークＮａにより生成する（Ｓ21）。係数特定部３１は、特徴情報Ｆｍと過去のＰ個の演奏情報ｙｍ−１〜ｙｍ−Ｐとに応じた線形予測係数ａｍｊを、第２ニューラルネットワークＮｂにより特定する（Ｓ22）。そして、演算処理部３２は、線形予測係数ａｍｊと過去のＰ個の演奏情報ｙｍ−１〜ｙｍ−Ｐとから単位期間Ｑｍの演奏情報ｙｍを生成する（Ｓ23）。
楽曲情報処理部２２は、演奏情報生成部２１が生成した演奏情報ｙｍを、楽曲情報Ｓのうち単位期間Ｑｍの単位情報Ｕｍに反映させる（Ｓ3）。制御装置１１は、楽曲内の全部（Ｍ個）の単位期間Ｑ１〜ＱＭについて以上の処理（Ｓ1〜Ｓ3）が完了したか否かを判定する（Ｓ4）。未処理の単位期間Ｑｍがある場合（Ｓ4：ＮＯ）、演奏情報生成部２１は、現時点で選択されている単位期間Ｑｍの直後の単位期間Ｑｍ＋１を新たに選択して（Ｓ1）、演奏情報ｙｍの生成（Ｓ2）と単位情報Ｕｍの編集（Ｓ3）とを実行する。他方、楽曲内の全部の単位期間Ｑ１〜ＱＭについて処理が完了すると（Ｓ4：ＹＥＳ）、制御装置１１は、図５の楽曲情報編集を終了する。楽曲情報編集を終了する時点では、楽曲のＭ個の単位期間Ｑ１〜ＱＭについて目標傾向を反映させた楽曲情報Ｓａが生成される。
以上に説明した通り、第１実施形態では、楽曲情報Ｓと過去のＰ個の演奏情報ｙｍ−１〜ｙｍ−Ｐとを、目標傾向が反映されたニューラルネットワークＮに付与することで、楽曲の単位期間Ｑｍを目標傾向のもとで演奏したときの演奏情報ｙｉを生成することができる。第１実施形態では、楽曲内のＭ個の単位期間Ｑ１〜ＱＭの各々について各演奏情報ｙｍが順次に特定される。また、ニューラルネットワークＮにより特定された線形予測係数ａｍｊと過去のＰ個の演奏情報ｙｍ−１〜ｙｍ−Ｐとに応じて演奏情報ｙｍが特定されるから、簡便な演算で演奏情報ｙｍを特定できるという利点がある。
第１実施形態では、楽曲情報Ｓから特徴情報Ｆｍを特定する第１ニューラルネットワークＮａと、特徴情報Ｆｍおよび過去のＰ個の演奏情報ｙｍ−１〜ｙｍ−Ｐとから線形予測係数ａｍｊを特定する第２ニューラルネットワークＮｂとが利用される。したがって、過去のＰ個の演奏情報ｙｍ−１〜ｙｍ−Ｐを反映した適切な演奏情報ｙｍを生成できるという利点がある。
＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用または機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
図６は、第２実施形態における演奏情報処理装置１００の具体的な構成を示すブロック図である。図６に例示される通り、第２実施形態の演奏情報生成部２１は、第１実施形態と同様の係数特定部３１および演算処理部３２のほかに演奏解析部３３を具備する。演奏解析部３３は、係数特定部３１および演算処理部３２と同様に、記憶装置１２に記憶されたプログラムを制御装置１１が実行することで実現される。
第２実施形態の演奏情報処理装置１００には演奏装置１３が接続される。演奏装置１３は、利用者が楽曲の演奏に利用する入力機器である。例えば利用者が操作する複数の鍵が配列された鍵盤楽器型の演奏機器（例えばＭＩＤＩ楽器）が好適に利用される。演奏装置１３は、利用者による操作に連動して指示情報Ｚを順次に出力する。指示情報Ｚは、楽曲を構成する複数の音符の各々について生成され、当該音符の音高と強度とを指定して発音または消音を指示するデータ（例えばＭＩＤＩイベントデータ）である。
演奏解析部３３は、演奏装置１３により供給される複数の指示情報Ｚの時系列から演奏情報ｘｍ（ｘ１〜ｘＭ）を生成する。演奏情報ｘｍは、演奏情報ｙｍと同様に、楽曲の演奏の傾向に関する変数である。具体的には、例えば楽曲の演奏速度または演奏強度など、演奏者毎に相違し得る音楽的な表情に関する各種の変数が、演奏情報ｘｍの好適例である。演奏情報ｘｍは、楽曲の単位期間Ｑｍ毎に順次に生成される。
前述の第１実施形態では、単位期間Ｑｍからみて過去のＰ個の演奏情報ｙｍ−１〜ｙｍ−Ｐを演奏情報ｙｍの生成のためにフィードバックした。第２実施形態では、単位期間Ｑｍからみて過去におけるＰ個の演奏情報ｘｍ−１〜ｘｍ−Ｐが演奏情報生成部２１（係数特定部３１）に供給される。係数特定部３１は、楽曲情報Ｓ（解析期間Ａｍ内の複数の単位情報Ｕｍ−ｗ〜Ｕｍ＋ｗ）と過去のＰ個の演奏情報ｘｍ−１〜ｘｍ−ＰとをニューラルネットワークＮに付与することで、単位期間Ｑｍについて、目標傾向が反映された演奏情報ｙｍを生成する。
目標傾向に対応する演奏の演奏者が演奏装置１３を操作する場合を想定すると、Ｐ個の演奏情報ｘｍ−１〜ｘｍ−Ｐから生成される演奏情報ｙｍは、当該演奏者が単位期間Ｑｍにおいて実行すると予測される演奏に対応する。すなわち、第２実施形態の演奏情報生成部２１によれば、楽曲情報Ｓと過去のＰ個の演奏情報ｘｍ−１〜ｘｍ−ＰとをニューラルネットワークＮに付与することで、単位期間Ｑｍにおける演奏者による演奏に関する演奏情報ｙｍを予測することが可能である。
＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）前述の各形態では、演奏情報ｙｍの生成毎に楽曲の単位情報Ｕｍを編集したが（Ｓ3）、楽曲の全区間についてＭ個の演奏情報ｙ１〜ｙＭを生成してから、Ｍ個の演奏情報ｙ１〜ｙＭを利用して楽曲情報Ｓの全体を編集してもよい。
（２）前述の各形態では、単位期間Ｑｍを中心とした解析期間Ａｍを例示したが、単位期間Ｑｍと解析期間Ａｍとの関係は以上の例示に限定されない。解析期間Ａｍ内において単位期間Ｑｍの過去に位置する単位期間の個数と後方に位置する単位期間の個数とを相違させてもよい。
（３）前述の各形態では、演奏情報生成部２１が生成した演奏情報ｙｍを楽曲情報Ｓの編集に利用したが、演奏情報ｙｍを時間軸上で平滑化したうえで楽曲情報Ｓの編集に利用してもよい。例えば、単位期間Ｑｍの演奏情報ｙｍを含む所定個の演奏情報の移動平均を確定的な演奏情報Ｙｍとして算定し、演奏情報Ｙｍを楽曲情報Ｓの編集に利用する構成が想定される。また、例えば標準的な演奏情報ｙＲＥＦを記憶装置１２に保持し、以下の数式（２）で表現される通り、演奏情報生成部２１が生成した演奏情報ｙｍと標準的な演奏情報ｙＲＥＦとの加重和を、確定的な演奏情報Ｙｍとして楽曲情報Ｓの編集に利用してもよい。なお、数式（２）の係数αは、１を下回る適切な正数に設定される。
Figure 0006708179
（４）例えば移動体通信網またはインターネット等の通信網を介して端末装置（例えば携帯電話機またはスマートフォン）と通信するサーバ装置により情報処理装置１００を実現することも可能である。具体的には、情報処理装置１００は、端末装置から受信した楽曲情報Ｓに対する楽曲情報編集（図５）により楽曲情報Ｓａを生成し、当該楽曲情報Ｓａを端末装置に送信する。また、演奏情報生成部２１が生成した演奏情報ｙｍを端末装置に送信し、楽曲情報Ｓから楽曲情報Ｓａを生成する処理は端末装置において実行してもよい。すなわち、楽曲情報処理部２２は情報処理装置１００から省略される。
（５）前述の各形態では、楽曲の演奏速度を演奏情報ｙｍとして例示したが、演奏情報ｙｍが表す変数は以上の例示に限定されない。例えば、楽曲の演奏強度など、演奏者毎に相違し得る音楽的な表情に関する任意の変数が、演奏情報ｙｍとして利用される。演奏情報ｘｍについても同様に、演奏速度には限定されない。すなわち、音楽的な表情に関する各種の変数（例えば演奏強度）が演奏情報ｘｍとして利用される。
（６）以上に例示した形態から、例えば以下の構成が把握される。
＜態様１＞
本発明の好適な態様（態様１）に係る情報処理方法は、コンピュータが、楽曲の内容を表す楽曲情報と、前記楽曲内の一の単位期間からみて過去の演奏に関する演奏情報とを、演奏に関する特定の傾向が反映されたニューラルネットワークに付与することで、前記一の単位期間について、前記特定の傾向のもとでの演奏情報を生成する。以上の態様によれば、楽曲情報と過去の複数の演奏情報とをニューラルネットワークに付与することで、楽曲内の単位期間を目標傾向のもとで演奏したときの演奏情報を生成することができる。
＜態様２＞
態様１の好適例（態様２）において、前記演奏情報の生成では、前記楽曲内の複数の単位期間の各々について、前記楽曲情報と、当該単位期間からみて過去の２以上の単位期間について前記ニューラルネットワークにより生成された演奏情報とを、当該ニューラルネットワークに付与することで、前記演奏情報を順次に生成する。以上の態様によれば、楽曲内の複数の単位期間の各々について演奏情報を生成することができる。
＜態様３＞
態様１または態様２の好適例（態様３）において、前記演奏情報の生成では、前記一の単位期間について前記ニューラルネットワークにより線形予測係数を特定し、前記線形予測係数と、前記一の単位期間からみて過去の演奏に関する演奏情報とに応じて、前記一の単位期間における演奏情報を特定する。以上の態様では、ニューラルネットワークにより特定された線形予測係数と過去の複数の演奏情報とに応じて演奏情報が特定されるから、簡便な演算で演奏情報を特定できるという利点がある。
＜態様４＞
態様３の好適例（態様４）において、前記楽曲情報は、前記楽曲内の相異なる単位期間に対応する複数の単位情報に区分され、前記ニューラルネットワークは、前記一の単位期間を含む解析期間内の各単位期間の単位情報から、当該解析期間内の特徴を表す特徴情報を生成する第１ニューラルネットワークと、前記第１ニューラルネットワークにより前記単位期間毎に生成された特徴情報と、前記一の単位期間からみて過去の演奏に関する演奏情報とから、前記一の単位期間について線形予測係数を特定する第２ニューラルネットワークとを含む。以上の態様では、楽曲情報から特徴情報を特定する第１ニューラルネットワークと、特徴情報および過去の複数の演奏情報とから線形予測係数を特定する第２ニューラルネットワークとが利用される。したがって、過去の複数の演奏情報を反映した適切な演奏情報を生成できるという利点がある。
＜態様５＞
態様１の好適例（態様５）において、前記演奏情報の生成では、前記楽曲情報と、前記一の単位期間からみて過去における利用者の演奏に関する演奏情報とを、前記ニューラルネットワークに付与することで、前記一の単位期間における前記利用者の演奏に関する演奏情報を予測する。以上の態様によれば、楽曲情報と過去の複数の演奏情報とをニューラルネットワークに付与することで、利用者の演奏に関する演奏情報を予測することができる。
＜態様６＞
本発明の好適な態様（態様６）に係るプログラムは、楽曲の内容を表す楽曲情報と、前記楽曲内の一の単位期間からみて過去の演奏に関する演奏情報とを、演奏に関する特定の傾向が反映されたニューラルネットワークに付与することで、前記一の単位期間について、前記特定の傾向のもとでの演奏情報を生成する演奏情報生成部２１としてコンピュータを機能させる。以上の態様によれば、楽曲情報と過去の複数の演奏情報とをニューラルネットワークに付与することで、楽曲内の単位期間を目標傾向のもとで演奏したときの演奏情報を生成することができる。
態様６に係るプログラムは、例えばコンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
１００…情報処理装置、１１…制御装置、１２…記憶装置、１３…演奏装置、２１…演奏情報生成部、２２…楽曲情報処理部、３１…係数特定部、３２…演算処理部、３３…演奏解析部。

Claims (7)

  1. 楽曲の内容を表す楽曲情報と、前記楽曲内の一の単位期間からみて過去の演奏に関する演奏情報とを、演奏に関する特定の傾向が反映された学習モデルに付与することで、前記一の単位期間について、前記特定の傾向のもとでの演奏情報を生成する情報処理方法であって、
    前記演奏情報の生成においては、
    前記一の単位期間について前記学習モデルにより線形予測係数を特定し、
    前記線形予測係数と、前記一の単位期間からみて過去の演奏に関する演奏情報とに応じて、前記一の単位期間における演奏情報を特定する
    コンピュータにより実現される情報処理方法。
  2. 前記演奏情報の生成においては、前記楽曲内の複数の単位期間の各々について、前記楽曲情報と、当該単位期間からみて過去の２以上の単位期間について前記学習モデルにより生成された演奏情報とを、当該学習モデルに付与することで、前記演奏情報を順次に生成する
    請求項１の情報処理方法。
  3. 前記楽曲情報は、前記楽曲内の相異なる単位期間に対応する複数の単位情報に区分され、
    前記学習モデルは、
    前記一の単位期間を含む解析期間内の各単位期間の単位情報から、当該解析期間内の特徴を表す特徴情報を生成する第１学習モデルと、
    前記第１学習モデルにより前記単位期間毎に生成された特徴情報と、前記一の単位期間からみて過去の演奏に関する演奏情報とから、前記一の単位期間について線形予測係数を特定する第２学習モデルとを含む
    請求項１または請求項２の情報処理方法。
  4. 楽曲の内容を表す楽曲情報と、前記楽曲内の一の単位期間からみて過去の演奏に関する演奏情報とを、演奏に関する特定の傾向が反映された学習モデルに付与することで、前記一の単位期間について、前記特定の傾向のもとでの演奏情報を生成する演奏情報生成部を具備し、
    前記演奏情報生成部は、
    前記一の単位期間について前記学習モデルにより線形予測係数を特定し、
    前記線形予測係数と、前記一の単位期間からみて過去の演奏に関する演奏情報とに応じて、前記一の単位期間における演奏情報を特定する
    コンピュータにより実現される情報処理装置。
  5. 前記演奏情報生成部は、前記楽曲内の複数の単位期間の各々について、前記楽曲情報と、当該単位期間からみて過去の２以上の単位期間について前記学習モデルにより生成された演奏情報とを、当該学習モデルに付与することで、前記演奏情報を順次に生成する
    請求項４の情報処理装置。
  6. 前記楽曲情報は、前記楽曲内の相異なる単位期間に対応する複数の単位情報に区分され、
    前記学習モデルは、
    前記一の単位期間を含む解析期間内の各単位期間の単位情報から、当該解析期間内の特徴を表す特徴情報を生成する第１学習モデルと、
    前記第１学習モデルにより前記単位期間毎に生成された特徴情報と、前記一の単位期間からみて過去の演奏に関する演奏情報とから、前記一の単位期間について線形予測係数を特定する第２学習モデルとを含む
    請求項４または請求項５の情報処理装置。
  7. 楽曲の内容を表す楽曲情報と、前記楽曲内の一の単位期間からみて過去の演奏に関する演奏情報とを、演奏に関する特定の傾向が反映された学習モデルに付与することで、前記一の単位期間について、前記特定の傾向のもとでの演奏情報を生成する演奏情報生成部
    としてコンピュータを機能させるプログラムであって、
    前記演奏情報生成部は、
    前記一の単位期間について前記学習モデルにより線形予測係数を特定し、
    前記線形予測係数と、前記一の単位期間からみて過去の演奏に関する演奏情報とに応じて、前記一の単位期間における演奏情報を特定する
    プログラム。
JP2017143980A 2017-07-25 2017-07-25 情報処理方法、情報処理装置およびプログラム Active JP6708179B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017143980A JP6708179B2 (ja) 2017-07-25 2017-07-25 情報処理方法、情報処理装置およびプログラム
PCT/JP2018/027838 WO2019022118A1 (ja) 2017-07-25 2018-07-25 情報処理方法
US16/752,039 US11568244B2 (en) 2017-07-25 2020-01-24 Information processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017143980A JP6708179B2 (ja) 2017-07-25 2017-07-25 情報処理方法、情報処理装置およびプログラム

Publications (3)

Publication Number Publication Date
JP2019028106A JP2019028106A (ja) 2019-02-21
JP2019028106A5 JP2019028106A5 (ja) 2020-04-30
JP6708179B2 true JP6708179B2 (ja) 2020-06-10

Family

ID=65040224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017143980A Active JP6708179B2 (ja) 2017-07-25 2017-07-25 情報処理方法、情報処理装置およびプログラム

Country Status (3)

Country Link
US (1) US11568244B2 (ja)
JP (1) JP6708179B2 (ja)
WO (1) WO2019022118A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6708179B2 (ja) * 2017-07-25 2020-06-10 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP6724938B2 (ja) * 2018-03-01 2020-07-15 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP7143816B2 (ja) * 2019-05-23 2022-09-29 カシオ計算機株式会社 電子楽器、電子楽器の制御方法、及びプログラム
CN115699161A (zh) * 2020-06-09 2023-02-03 雅马哈株式会社 音响处理方法、音响处理系统及程序
JPWO2022176506A1 (ja) * 2021-02-16 2022-08-25
JP2022150179A (ja) * 2021-03-26 2022-10-07 ヤマハ株式会社 音響処理方法、音響処理システム、プログラム、および生成モデルの確立方法
JP2023130095A (ja) * 2022-03-07 2023-09-20 ヤマハ株式会社 音響生成方法、音響生成システムおよびプログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990404A (en) * 1996-01-17 1999-11-23 Yamaha Corporation Performance data editing apparatus
US5942710A (en) * 1997-01-09 1999-08-24 Yamaha Corporation Automatic accompaniment apparatus and method with chord variety progression patterns, and machine readable medium containing program therefore
AUPP547898A0 (en) * 1998-08-26 1998-09-17 Canon Kabushiki Kaisha System and method for automatic music generation
JP3675287B2 (ja) * 1999-08-09 2005-07-27 ヤマハ株式会社 演奏データ作成装置
JP4049014B2 (ja) * 2003-05-09 2008-02-20 ヤマハ株式会社 楽譜表示装置および楽譜表示コンピュータプログラム
US8093484B2 (en) * 2004-10-29 2012-01-10 Zenph Sound Innovations, Inc. Methods, systems and computer program products for regenerating audio performances
JP2008241850A (ja) * 2007-03-26 2008-10-09 Sanyo Electric Co Ltd 録音または再生装置
EP2148321B1 (en) * 2007-04-13 2015-03-25 National Institute of Advanced Industrial Science and Technology Sound source separation system, sound source separation method, and computer program for sound source separation
JP2011516907A (ja) * 2008-02-20 2011-05-26 オーイーエム インコーポレーティッド 音楽の学習及びミキシングシステム
JP5428294B2 (ja) * 2008-10-31 2014-02-26 ブラザー工業株式会社 運動コンテンツ生成システム、出力端末、運動コンテンツ生成装置、コンテンツ生成方法及びコンテンツ生成プログラム
WO2010095622A1 (ja) 2009-02-17 2010-08-26 国立大学法人京都大学 音楽音響信号生成システム
US8465366B2 (en) * 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8629342B2 (en) * 2009-07-02 2014-01-14 The Way Of H, Inc. Music instruction system
JP5630155B2 (ja) * 2009-09-14 2014-11-26 ヤマハ株式会社 記憶システムおよび記憶装置
JP5560861B2 (ja) * 2010-04-07 2014-07-30 ヤマハ株式会社 楽曲解析装置
US8835738B2 (en) * 2010-12-27 2014-09-16 Apple Inc. Musical systems and methods
JP2013141167A (ja) * 2012-01-06 2013-07-18 Yamaha Corp 演奏装置
JP6402878B2 (ja) * 2013-03-14 2018-10-10 カシオ計算機株式会社 演奏装置、演奏方法およびプログラム
JP6340755B2 (ja) * 2013-04-16 2018-06-13 カシオ計算機株式会社 演奏評価装置、演奏評価方法およびプログラム
JP2014228750A (ja) * 2013-05-23 2014-12-08 ヤマハ株式会社 演奏記録システム、演奏記録方法および楽器
US9857934B2 (en) * 2013-06-16 2018-01-02 Jammit, Inc. Synchronized display and performance mapping of musical performances submitted from remote locations
FR3022051B1 (fr) * 2014-06-10 2016-07-15 Weezic Procede de suivi d'une partition musicale et procede de modelisation associe
JP6645085B2 (ja) * 2015-09-18 2020-02-12 ヤマハ株式会社 自動アレンジ装置及びプログラム
JP6477511B2 (ja) * 2016-01-18 2019-03-06 ヤマハ株式会社 鍵盤楽器およびプログラム
JP6682953B2 (ja) * 2016-03-30 2020-04-15 ヤマハ株式会社 楽譜表示制御方法、楽譜表示制御装置、楽譜表示制御プログラム
US9767705B1 (en) * 2016-04-21 2017-09-19 Yousician Oy System for estimating user's skill in playing a music instrument and determining virtual exercises thereof
EP3489945B1 (en) * 2016-07-22 2021-04-14 Yamaha Corporation Musical performance analysis method, automatic music performance method, and automatic musical performance system
WO2018016581A1 (ja) * 2016-07-22 2018-01-25 ヤマハ株式会社 楽曲データ処理方法およびプログラム
WO2018137189A1 (en) * 2017-01-25 2018-08-02 Sunland Information Technology (Shanghai) Co., Ltd. Piano system and method thereof
US10490092B2 (en) * 2017-03-17 2019-11-26 Age Of Learning, Inc. Personalized mastery learning platforms, systems, media, and methods
CA3062700A1 (en) * 2017-05-25 2018-11-29 J. W. Pepper & Son, Inc. Sheet music search and discovery system
US10121461B1 (en) * 2017-06-27 2018-11-06 International Business Machines Corporation Providing feedback on musical performance
JP6708179B2 (ja) * 2017-07-25 2020-06-10 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP6708180B2 (ja) * 2017-07-25 2020-06-10 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム
US11107490B1 (en) * 2020-05-13 2021-08-31 Benjamin Slotznick System and method for adding host-sent audio streams to videoconferencing meetings, without compromising intelligibility of the conversational components

Also Published As

Publication number Publication date
US20200160821A1 (en) 2020-05-21
JP2019028106A (ja) 2019-02-21
US11568244B2 (en) 2023-01-31
WO2019022118A1 (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
JP6708179B2 (ja) 情報処理方法、情報処理装置およびプログラム
US12039959B2 (en) Automated music composition and generation system employing virtual musical instrument libraries for producing notes contained in the digital pieces of automatically composed music
US11037538B2 (en) Method of and system for automated musical arrangement and musical instrument performance style transformation supported within an automated music performance system
US10964299B1 (en) Method of and system for automatically generating digital performances of music compositions using notes selected from virtual musical instruments based on the music-theoretic states of the music compositions
US11024275B2 (en) Method of digitally performing a music composition using virtual musical instruments having performance logic executing within a virtual musical instrument (VMI) library management system
US20220059063A1 (en) Music Generator Generation of Continuous Personalized Music
JP6724938B2 (ja) 情報処理方法、情報処理装置およびプログラム
CN113066454A (zh) 自定义音色的midi音乐编辑播放方法、装置、系统及介质
JP6708180B2 (ja) 演奏解析方法、演奏解析装置およびプログラム
US20220383843A1 (en) Arrangement generation method, arrangement generation device, and generation program
CN117636825A (zh) 来自人类音频的生成音乐
CN112420002A (zh) 乐曲生成方法、装置、电子设备及计算机可读存储介质
JP2019159146A (ja) 電子機器、情報処理方法、及びプログラム
Miranda et al. i-Berlioz: Interactive Computer-Aided Orchestration with Temporal Control
JP7103106B2 (ja) 情報処理方法および情報処理装置
JP4595852B2 (ja) 演奏データ処理装置及びプログラム
Miranda et al. i-Berlioz: Towards interactive computer-aided orchestration with temporal control
US20240005896A1 (en) Music generation method and apparatus
JP4735221B2 (ja) 演奏データ編集装置及びプログラム
JP3651428B2 (ja) 演奏信号処理装置及び方法並びにプログラム
Renault Neural audio synthesis of realistic piano performances
JP4760348B2 (ja) 楽曲選択装置および楽曲選択用コンピュータプログラム
JP2021015138A (ja) 演奏評価方法、演奏評価装置およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200318

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200318

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200416

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200504

R151 Written notification of patent or utility model registration

Ref document number: 6708179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350