JP6729517B2 - 学習モデル生成方法、学習モデル生成装置、プログラムおよび自動演奏ロボット - Google Patents

Description

本発明は、打楽器の自動演奏に関する。

演奏ロボットにより打楽器等の各種の楽器を自動演奏させる演奏制御技術が従来から提案されている。例えば特許文献１には、楽曲の内容を表す楽曲データに応じて複数のアクチュエータによりスティックを移動させることで打楽器を打撃するドラム演奏装置が開示されている。

特開２００８−０２６７２４号公報

しかし、特許文献１のように楽曲データに応じてスティックを移動させるだけでは、聴感的に自然な自動演奏を実現することは実際には困難である。以上の事情を考慮して、本発明の好適な態様は、打楽器の自然な自動演奏を実現することを目的とする。

以上の課題を解決するために、本発明の好適な態様に係る学習モデル生成方法は、コンピュータが、打撃部材による打撃で打楽器が発音する演奏音を入力とした機械学習により、前記打撃部材の駆動により前記打楽器を打撃する自動演奏の演奏パラメータを設定するための数値を出力する学習モデルを生成する。
本発明の好適な態様に係るプログラムは、コンピュータを、打撃部材による打撃で打楽器が発音する演奏音を入力とした機械学習により、前記打撃部材の駆動により前記打楽器を打撃する自動演奏の演奏パラメータを設定するための数値を出力する学習モデルを生成する学習処理部として機能させる。

本発明の第１実施形態に係る自動演奏システムの構成を示すブロック図である。 演奏装置（自動演奏ロボット）の構成を示す模式図である。 打撃部材が打楽器を打撃する動作の説明図である。 演奏制御部の動作の説明図である。 制御装置が実行する動作のフローチャートである。 第２実施形態に係る自動演奏システムの構成を示すブロック図である。 第２実施形態における機械学習の説明図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る自動演奏システム１００の構成図である。自動演奏システム１００は、打楽器２１の自動演奏を実行するコンピュータシステムであり、演奏制御装置１０と演奏装置２０と検出装置３０とを具備する。なお、自動演奏システム１００の任意の２以上の要素を一体に構成してもよい。例えば、演奏装置２０と検出装置３０とは一体に構成される。

演奏装置２０は、演奏制御装置１０による制御のもとで楽曲の自動演奏を実行する。図１に例示される通り、第１実施形態の演奏装置２０は、打楽器２１と打撃部材２２と駆動機構２３とを具備する。図２は、演奏装置２０の具体的な構成を示す模式図である。図２に例示される通り、打楽器２１は、打撃により発音する楽器（例えば膜鳴楽器または体鳴楽器）であり、典型的にはドラム等の膜鳴楽器である。打撃部材２２は、打楽器２１の打撃に利用される部材であり、典型的には、ドラムを打撃するスティックである。

駆動機構２３は、打撃部材２２を移動または回転させて打楽器２１を打撃することで打楽器２１の自動演奏を実行する。駆動機構２３は、例えばモータまたはソレノイド等の各種のアクチュエータを含んで構成される。図２に例示される通り、第１実施形態の駆動機構２３は、往復運動するピストン機構２３１と、ピストン機構２３１の運動を打撃部材２２に伝達するリンク機構（複数のアームと各アームを連結する関節）２３２とで構成される。打撃部材２２の基端部と駆動機構２３のリンク機構２３２とが連結することで、ピストン機構２３１の運動が打撃部材２２に伝達する。なお、駆動機構２３の具体的な構成は図２の例示に限定されない。打撃部材２２および駆動機構２３は、打楽器２１を自動演奏する自動演奏ロボット２００として機能する。

図３は、駆動機構２３の動作の説明図である。具体的には、打撃部材２２のうち打楽器２１に衝突する先端部の位置の時間変化が図３には図示されている。図３の縦軸は、打楽器２１のうち打撃部材２２による打撃面（例えば振動膜の表面）に対する打撃部材２２の先端部の高さである。図３に例示される通り、打撃部材２２による打楽器２１の打撃（ストローク）毎に先端部の位置は変動する。

駆動機構２３は、打撃部材２２の先端部を、基準位置Ｇから開始位置Ｐ_１まで移動させる。基準位置Ｇは、打楽器２１における打撃面の位置であり、開始位置Ｐ_１は打撃面から離間した位置である。駆動機構２３は、先端部が開始位置Ｐ_１に到達した時点から待機時間Ｐ_２が経過した時点を始点として駆動時間Ｐ_３にわたり打撃部材２２を駆動することで先端部を降下させる。すなわち、駆動時間Ｐ_３は、駆動機構２３からの駆動力が打撃部材２２に作用する時間である。駆動時間Ｐ_３が経過すると駆動機構２３からの駆動力は解除されるが、打撃部材２２は慣性力および自重により基準位置Ｇまで降下し、打楽器２１の打撃面に衝突してから反発する。図３の開放時間Ｐ_４は、駆動機構２３からの駆動力が打撃部材２２に作用しない時間である。開放時間Ｐ_４が経過すると、駆動機構２３は、打撃部材２２の先端部を所定の速度で開始位置Ｐ_１まで移動させる。以上に説明した動作が打撃毎に反復される。

打撃部材２２による打撃の時点および強度は、以上に説明した複数の演奏パラメータＰ（開始位置Ｐ_１，待機時間Ｐ_２，駆動時間Ｐ_３および開放時間Ｐ_４）の数値により規定される。例えば、開始位置Ｐ_１および駆動時間Ｐ_３に応じて打撃の強度が規定され、待機時間Ｐ_２および開放時間Ｐ_４により打撃の時点が規定される。図１の演奏制御装置１０は、複数の演奏パラメータＰを指示する制御信号Ｃを供給することで、演奏装置２０に自動演奏を実行させる。

図１の検出装置３０は、打撃部材２２による打撃で打楽器２１が発音する演奏音を検出する。打楽器２１の演奏音を表す観測信号Ｑが検出装置３０から出力される。第１実施形態の検出装置３０は、打撃部材２２による打撃で打楽器２１の打撃面に発生する振動（すなわち演奏音）を検出する振動検出機器である。例えば打楽器２１における打撃面に設置された圧電素子が検出装置３０として好適に利用される。なお、打楽器２１から空間に放射された演奏音を収音する収音機器を検出装置３０として利用してもよい。なお、観測信号Ｑをアナログからデジタルに変換するＡ/Ｄ変換器の図示は省略されている。

図１に例示される通り、演奏制御装置１０は、制御装置１１と記憶装置１２とを具備するコンピュータシステムで実現される。例えばパーソナルコンピュータ等の各種の情報端末が演奏制御装置１０として利用される。制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路を含んで構成される。記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置１２として任意に採用される。なお、相互に別体で構成された複数の装置により演奏制御装置１０を実現してもよい。

第１実施形態の記憶装置１２は、楽曲の内容を表す楽曲データＤを記憶する。第１実施形態の楽曲データＤは、楽曲の打楽器パートを構成する複数の音符の各々について打撃の時点（タイミング）と強度とを指定する。強度を指定して発音を指示する指示データと、各指示データが指示する発音の時点を指定する時間データとが時系列に配列されたＭＩＤＩ（Musical Instrument Digital Interface）形式のファイル（ＳＭＦ：Standard MIDI File）が楽曲データＤの好適例である。

また、第１実施形態の記憶装置１２は、楽曲の打楽器パートにおける複数（Ｎ個）の音符の各々について基礎データＢ_ｎ（ｎ＝１〜Ｎ）を記憶する。任意の１個の基礎データＢ_ｎは、打楽器パートの第ｎ番目の音符について打撃の強度および時点を規定する。具体的には、基礎データＢ_ｎは、複数の演奏パラメータＰの各々について基礎値Ｘ_ｎ ^ｋ（Ｘ_ｎ ^１，Ｘ_ｎ ^２，Ｘ_ｎ ^３，Ｘ_ｎ ^４）を指定する（ｋ＝１〜４）。すなわち、基礎データＢ_ｎは、打楽器パートの第ｎ番目の音符について、開始位置Ｐ_１の基礎値Ｘ_ｎ ^１と待機時間Ｐ_２の基礎値Ｘ_ｎ ^２と駆動時間Ｐ_３の基礎値Ｘ_ｎ ^３と開放時間Ｐ_４の基礎値Ｘ_ｎ ^４とを含む。各基礎値Ｘ_ｎ ^ｋは、打楽器パートの第ｎ番目の音符を発音するための打撃を規定する各演奏パラメータＰの初期値であり、例えば自動演奏システム１００の利用者が指定した数値に設定される。

図１に例示される通り、第１実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、演奏装置２０を制御するための複数の要素（演奏制御部５１ａおよび学習処理部５２ａ）として機能する。なお、制御装置１１の一部の機能を専用の電子回路により実現してもよい。

演奏制御部５１ａは、演奏装置２０による自動演奏を制御する。具体的には、演奏制御部５１ａは、制御信号Ｃの供給により駆動機構２３を制御して打撃部材２２を駆動することで、演奏装置２０に楽曲の自動演奏を実行させる。

図４は、演奏制御部５１ａの動作の説明図である。図４に例示される通り、演奏制御部５１ａは、打楽器パートのＮ個の音符の各々について、各演奏パラメータＰの指示値Ｚ_ｎ ^ｋ（Ｚ_ｎ ^１，Ｚ_ｎ ^２，Ｚ_ｎ ^３，Ｚ_ｎ ^４）により規定される打撃を演奏装置２０の駆動機構２３に指示する（Ｓａ１）。指示値Ｚ_ｎ ^１は開始位置Ｐ_１の数値であり、指示値Ｚ_ｎ ^２は待機時間Ｐ_２の数値であり、指示値Ｚ_ｎ ^３は駆動時間Ｐ_３の数値であり、指示値Ｚ_ｎ ^４は開放時間Ｐ_４の数値である。すなわち、楽曲内の第ｎ番目の音符を発音するための打撃について、開始位置Ｐ_１が指示値Ｚ_ｎ ^１となり、待機時間Ｐ_２が指示値Ｚ_ｎ ^２となり、駆動時間Ｐ_３が指示値Ｚ_ｎ ^３となり、開放時間Ｐ_４が指示値Ｚ_ｎ ^４となるように、演奏制御部５１ａは駆動機構２３を制御する。

楽曲内の第ｎ番目の音符に対応する指示値Ｚ_ｎ ^ｋは、基礎値Ｘ_ｎ ^ｋと調整値Ｙ_ｎ ^ｋとに応じた数値に設定される。具体的には、指示値Ｚ_ｎ ^ｋは、基礎値Ｘ_ｎ ^ｋと調整値Ｙ_ｎ ^ｋとの加算値である（Ｚ_ｎ ^ｋ＝Ｘ_ｎ ^ｋ＋Ｙ_ｎ ^ｋ）。基礎値Ｘ_ｎ ^ｋは、前述の通り、記憶装置１２に事前に記憶された基礎データＢ_ｎに含まれる数値である。他方、第ｎ番目の音符の調整値Ｙ_ｎ ^ｋは、基礎値Ｘ_ｎ ^ｋを調整するための数値であり、直前に位置する第(Ｎ−１)番目の音符を指示値Ｚ_ｎ−１ ^１〜Ｚ_ｎ−１ ^４に応じて実際に発音させたときの演奏音に応じて設定される。

図４に例示される通り、例えば、演奏制御部５１ａが、指示値Ｚ_ｎ−１ ^１〜Ｚ_ｎ−１ ^４に応じて駆動機構２３を制御することで（Ｓａ１）、楽曲内の第(Ｎ−１)番目の音符の演奏音が発音された場合を想定する。演奏制御部５１ａは、打楽器２１の演奏音に応じた観測信号Ｑを検出装置３０から取得する（Ｓａ２）。演奏制御部５１ａは、観測信号Ｑから特定される演奏音の時点および強度と、楽曲データＤが第(Ｎ−１)番目の音符について指定する時点および強度とを比較し、両者間の相違を示す誤差Ｅ_ｎ−１を生成する（Ｓａ３）。なお、観測信号Ｑが表す演奏音の周波数スペクトルと楽曲データＤが指定する演奏音の周波数スペクトルとの相違を誤差Ｅ_ｎ−１として生成してもよい。

演奏制御部５１ａは、誤差Ｅ_ｎ−１を学習モデルＭ_ｎ−１に付与することで、第ｎ番目の音符に関する調整値Ｙ_ｎ ^ｋ（Ｙ_ｎ ^１〜Ｙ_ｎ ^４）を生成する（Ｓａ４）。すなわち、学習モデルＭ_ｎ−１は、第(Ｎ−１)番目の音符に対応する演奏音の誤差Ｅ_ｎ−１に対して、第ｎ番目の音符に対応する演奏パラメータＰの各基礎値Ｘ_ｎ ^ｋを調整するための調整値Ｙ_ｎ ^ｋ（Ｙ_ｎ ^１〜Ｙ_ｎ ^４）を出力する数理モデルである。学習モデルＭ_ｎ−１は、人工知能ソフトウェアの一部であるプログラムとして実現され、所定の構成のニューラルネットワークと、機械学習（具体的には深層学習）により設定された係数群ωとの組合せで規定される。係数群ωは、ニューラルネットワークに適用される複数の重み付け係数の集合である。図１に例示される通り、記憶装置１２には、楽曲内の相異なる音符に対応する(Ｎ−１)個の学習モデルＭ_１〜Ｍ_Ｎ−１が保持される。以上に説明した通り、第２番目から第Ｎ番目までの(Ｎ−１)個の音符の各々について、直前（第(ｎ−１)番目）の音符の演奏音に関する誤差Ｅ_ｎ−１を学習モデルＭ_ｎ−１に適用することで調整値Ｙ_ｎ ^ｋ（Ｚ_ｎ ^１，Ｚ_ｎ ^２，Ｚ_ｎ ^３，Ｚ_ｎ ^４）が設定される。図４から理解される通り、調整値Ｙ_ｎ ^ｋの設定は、楽曲内の複数の音符の順番で逐次的に実行される。指示値Ｚ_ｎ−１ ^１〜Ｚ_ｎ−１ ^４に応じた駆動機構２３の制御により打楽器２１を発音させ、打楽器２１の演奏音に関する誤差Ｅ_ｎ−１を学習モデルＭ_ｎ−１に付与することで調整値Ｙ_ｎ ^１〜Ｙ_ｎ ^４を設定する処理（Ｓａ１〜Ｓａ４）を、以下では「演奏制御処理Ｓａ」と表記する。以上の説明から理解される通り、第１実施形態の自動演奏ロボット２００は、各学習モデルＭ_ｎが出力する演奏パラメータＰ（調整値Ｙ_ｎ ^１〜Ｙ_ｎ ^４）を利用して打楽器２１を自動演奏するロボットである。

図１の学習処理部５２ａは、打楽器パートの相異なる音符に対応する(Ｎ−１)個の学習モデルＭ_１〜Ｍ_Ｎ−１を機械学習により生成する。具体的には、学習処理部５２ａは、各学習モデルＭ_ｎの係数群ωを設定する。具体的には、学習処理部５２ａは、演奏制御部５１ａが演奏制御処理Ｓａのなかで生成する誤差Ｅ_ｎが低減される（理想的には最小化される）ように、各学習モデルＭ_ｎの係数群ωを複数回にわたり反復的に更新する。

演奏制御装置１０の動作は、準備段階と実演段階とに区分される。実演段階は、例えば自動演奏システム１００を利用した楽曲の自動演奏を実際に観客に聴取させる段階（すなわち本番）である。他方、準備段階は、実演段階に先立ち、機械学習により(Ｎ−１)個の学習モデルＭ_１〜Ｍ_Ｎ−１を生成する段階（いわばリハーサル）である。自動演奏システム１００が設置される環境は、準備段階と実演段階とで共通する。

図５は、準備段階において制御装置１１が実行する処理のフローチャートである。例えば利用者からの指示を契機として図５の処理が開始される。処理を開始すると、演奏制御部５１ａは、楽曲の打楽器パートにおける複数の音符について前述の演奏制御処理Ｓａを反復する。第(ｎ−１)番目の１個の音符に関する演奏制御処理Ｓａでは、演奏制御部５１ａは、指示値Ｚ_ｎ−１ ^１〜Ｚ_ｎ−１ ^４に応じた駆動機構２３の制御により打楽器２１を発音させ、打楽器２１の演奏音に関する誤差Ｅ_ｎ−１を学習モデルＭ_ｎ−１に付与することで調整値Ｙ_ｎ ^１〜Ｙ_ｎ ^４を設定する。すなわち、楽曲の打楽器パートの自動演奏に並行して、演奏音の誤差Ｅ_１〜Ｅ_Ｎ−１が生成される。

学習処理部５２ａは、演奏制御処理Ｓａで生成された誤差Ｅ_１〜Ｅ_Ｎ−１が低減されるように(Ｎ−１)個の学習モデルＭ_１〜Ｍ_Ｎ−１の各々の係数群ωを更新する（Ｓｂ）。すなわち、打楽器２１が実際に発音する演奏音を利用した機械学習により各学習モデルＭ_ｎの係数群ωが更新される。

各学習モデルＭ_ｎの係数群ωを更新すると、学習処理部５２ａは、演奏制御処理Ｓａおよび機械学習Ｓｂを所定の回数にわたり反復したか否かを判定する（Ｓｃ）。反復回数が所定値を下回る場合（Ｓｃ：ＮＯ）、直近の更新後の各学習モデルＭ_ｎを利用した演奏制御処理Ｓａと、当該演奏制御処理Ｓａによる演奏音を入力とした機械学習Ｓｂとが反復される。機械学習Ｓｂの反復により各学習モデルＭ_ｎの係数群ωが更新される結果、演奏音の誤差Ｅ_１〜Ｅ_Ｎ−１が徐々に低減され、演奏制御処理Ｓａによる演奏装置２０の自動演奏が聴感的に自然な演奏に近付く。すなわち、自動演奏が経時的に上達していく。演奏制御処理Ｓａおよび機械学習Ｓｂの反復回数が所定値に到達すると（Ｓｃ：ＹＥＳ）、図５の処理が完了する。以上に説明した更新後の各学習モデルＭ_ｎが、確定版の学習済モデルとして記憶装置１２に保持される。なお、機械学習Ｓｂを終了するための条件は以上の例示（機械学習Ｓｂの反復回数が所定値に到達すること）に限定されない。

準備段階後の実演段階では、準備段階で生成された各学習モデルＭ_ｎを利用した演奏制御処理Ｓａにより楽曲の打楽器パートが自動演奏される。実演段階では、学習処理部５２ａによる機械学習Ｓｂ（係数群ωの更新）は実行されない。

なお、自動演奏システム１００が設置される環境に応じた雑音（例えば空調設備の動作音等の環境音）が観測信号Ｑに重畳される可能性がある。観測信号Ｑの雑音は演奏音の誤差Ｅ_ｎに反映される。第１実施形態では、誤差Ｅ_ｎが低減されるように学習モデルＭ_ｎが生成されるから、自動演奏システム１００が設置される環境のもとで演奏音に重畳される雑音の影響を低減した適切な調整値Ｙ_ｎ ^１〜Ｙ_ｎ ^４を設定できる。以上に説明した通り、第１実施形態によれば、自動演奏システム１００が設置される環境が変化しても、聴感的に自然な自動演奏を実現できるという利点がある。

以上に説明した通り、第１実施形態では、打撃部材２２による打撃で打楽器２１が発音する演奏音を入力とした機械学習により学習モデルＭ_ｎが生成される。学習モデルＭ_ｎを利用することで、打撃部材２２を楽曲データＤに応じて移動させるだけの構成と比較して打楽器２１の自然な自動演奏を実現することが可能である。

＜第２実施形態＞
本発明の第２実施形態について説明する。なお、以下に例示する各形態において作用または機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

図６は、第２実施形態における自動演奏システム１００の構成図である。図６に例示される通り、第２実施形態の自動演奏システム１００は、演奏制御装置１０と演奏装置２０と検出装置３０とを具備する。演奏装置２０および検出装置３０の構成は第１実施形態と同様である。演奏制御装置１０は、第１実施形態と同様に制御装置１１と記憶装置１２とを具備する。制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、演奏装置２０を制御するための複数の要素（演奏制御部５１ｂおよび学習処理部５２ｂ）として機能する。

第２実施形態の学習処理部５２ｂは、打楽器２１が発音する演奏音を入力とした機械学習（具体的には強化学習）により学習モデルＭを生成する。学習モデルＭは、複数の演奏パラメータＰ（開始位置Ｐ_１，待機時間Ｐ_２，駆動時間Ｐ_３および開放時間Ｐ_４）の各々について指示値の時系列を生成する数理モデルである。第１実施形態の学習モデルＭ_ｎと同様に、第２実施形態の学習モデルＭは、所定の構成のニューラルネットワークと係数群ωとの組合せで規定される。演奏制御部５１ｂは、学習処理部５２ｂが生成した各演奏パラメータＰの指示値の時系列から制御信号Ｃを生成し、当該制御信号Ｃを駆動機構２３に供給することで演奏装置２０に楽曲の自動演奏を実行させる。以上の説明から理解される通り、第２実施形態の自動演奏ロボット２００も第１実施形態と同様に、学習モデルＭが出力する演奏パラメータＰを利用して打楽器２１を自動演奏するロボットである。

図７は、学習処理部５２ｂの動作の説明図である。第２実施形態の学習処理部５２ｂによる機械学習は、制御信号Ｃに応じた打撃部材２２の駆動により打楽器２１を打撃したときの演奏音Ｖ１と、打楽器２１の模範的な演奏（以下「模範演奏」という）で発音された演奏音Ｖ２との近似度に応じた報酬Ｗを最大化させる強化学習である。模範演奏は、例えば特定の演奏者による手動での演奏である。自動演奏による演奏音Ｖ１と模範演奏時の演奏音Ｖ２との間で周波数スペクトルが相互に近似するほど報酬Ｗが増加し、当該報酬Ｗが最大化されるように学習モデルＭの係数群ωが更新される。複数種の演奏パラメータＰの数値を相違させた複数の場合について、当該演奏パラメータＰのもとで生成される演奏音Ｖ１を利用した係数群ωの更新が反復される。各演奏パラメータＰの指示値の時系列に応じた制御信号Ｃを駆動機構２３に供給したときに打楽器２１が発音する演奏音の音色は、係数群ωの更新毎に模範演奏の演奏音Ｖ２の音色に近付く。

第２実施形態においても第１実施形態と同様に、打撃部材２２による打撃で打楽器２１が発音する演奏音を入力とした機械学習により学習モデルＭが生成される。したがって、第１実施形態と同様に、打撃部材２２を楽曲データＤに応じて移動させるだけの構成と比較して打楽器２１の自然な自動演奏を実現することが可能である。

＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

（１）演奏パラメータＰの種類または総数は以上の例示（開始位置Ｐ_１，待機時間Ｐ_２，駆動時間Ｐ_３および開放時間Ｐ_４）に限定されない。例えば、開放時間Ｐ_４を省略した３種類の演奏パラメータＰ（開始位置Ｐ_１，待機時間Ｐ_２および駆動時間Ｐ_３）により演奏装置２０を制御してもよい。

（２）前述の各形態ではドラムを打楽器２１として例示したが、自動演奏の対象となる打楽器２１の種類は以上の例示に限定されない。例えば、ティンパニ等の他の膜鳴楽器の自動演奏にも、前述の各形態は適用される。また、自動演奏の対象となる打楽器２１は膜鳴楽器に限定されない。例えば、木琴または鉄琴等の体鳴楽器の自動演奏にも、前述の各形態が適用される。打楽器２１の種類に応じて打撃部材２２の称呼も変化する。

（３）前述の各形態では、圧電素子等の振動検出機器および演奏音を収音する収音機器を検出装置３０として例示したが、検出装置３０の構成は以上の例示に限定されない。例えば、打撃部材２２が打楽器２１を打撃する様子を撮像する撮像機器を検出装置３０として利用してもよい。演奏制御部５１（５１ａ，５１ｂ）は、撮像機器が撮像した動画像から、打撃部材２２による打撃の時点および強度（例えば打撃部材２２の移動速度）を特定する。

（４）以上に例示した形態から、例えば以下の構成が把握される。
＜態様１＞
本発明の好適な態様（態様１）に係る学習モデル生成方法は、コンピュータが、打撃部材による打撃で打楽器が発音する演奏音を入力とした機械学習により、前記打撃部材の駆動により前記打楽器を打撃する自動演奏の演奏パラメータを設定するための数値を出力する学習モデルを生成する。以上の態様では、打撃部材による打撃で打楽器が発音する演奏音を入力とした機械学習により、打撃部材の駆動により前記打楽器を打撃する自動演奏の演奏パラメータを設定するための数値を出力する学習モデルが生成される。以上の態様で生成された学習モデルを利用することで、例えば打撃部材を楽曲データに応じて移動させるだけの構成と比較して打楽器の自然な自動演奏を実現することが可能である。

なお、「演奏パラメータを設定するための数値」には、以下の各態様に例示する通り、演奏パラメータの基礎値（例えば初期値）を調整するための調整値と、演奏パラメータの数値自体とが包含される。

＜態様２＞
態様１の好適例（態様２）においては、前記打楽器が発音する演奏音の誤差を利用した前記機械学習により、時間軸上の一の時点における演奏音の誤差に対して、前記一の時点の後方の時点における前記演奏パラメータの基礎値を調整するための調整値を出力する前記学習モデルを生成する。演奏音の誤差を機械学習に利用する以上の態様によれば、打楽器が設置される環境が変化した場合でも打楽器の自然な自動演奏が実現されるという利点がある。

＜態様３＞
態様２の好適例（態様３）において、時間軸上の複数の時点の各々について、当該時点における前記演奏パラメータの基礎値と当該時点について生成された調整値とに応じて発音された演奏音の誤差に対して、当該時点の後の時点における前記演奏パラメータの基礎値を調整するための調整値を出力する前記学習モデルを生成する。以上の態様では、時間軸上の複数の時点の各々について、演奏パラメータの基礎値を調整するための調整値を出力する学習モデルが生成される。

＜態様４＞
態様１の好適例（態様４）において、前記打撃部材を駆動する自動演奏により前記打楽器を打撃したときの演奏音と、模範演奏時の演奏音との間における周波数特性の近似度に応じた報酬を最大化させる前記機械学習により、前記自動演奏に関する演奏パラメータの数値を出力する学習モデルを生成する。以上の態様では、打撃部材を駆動する自動演奏により打楽器を打撃したときの演奏音と、模範演奏時の演奏音との間の周波数特性の近似度に応じた報酬を最大化させる機械学習（具体的には強化学習）により学習モデルが生成される。したがって、模範演奏時の演奏音に近い自然な音色で打楽器の自動演奏を実現することが可能である。

＜態様５＞
本発明の好適な態様（態様５）に係るプログラムは、コンピュータを、打撃部材による打撃で打楽器が発音する演奏音を入力とした機械学習により、前記打撃部材の駆動により前記打楽器を打撃する自動演奏の演奏パラメータを設定するための数値を出力する学習モデルを生成する学習処理部として機能させる。以上の態様では、打撃部材による打撃で打楽器が発音する演奏音を入力とした機械学習により、打撃部材の駆動により前記打楽器を打撃する自動演奏の演奏パラメータを設定するための数値を出力する学習モデルが生成される。以上の態様で生成された学習モデルを利用することで、例えば打撃部材を楽曲データに応じて移動させるだけの構成と比較して打楽器の自然な自動演奏を実現することが可能である。

態様５のプログラムは、例えばコンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。

＜態様６＞
本発明の好適な態様（態様６）に係る自動演奏ロボットは、前述の何れかの態様に係るプログラムをコンピュータが実行することで生成された学習モデルが出力する演奏パラメータを用いて打楽器を自動演奏する。以上の態様によれば、打楽器の自然な自動演奏を実現することが可能である。

１００…自動演奏システム、２００…自動演奏ロボット、１０…演奏制御装置、２０…演奏装置、２１…打楽器、２２…打撃部材、２３…駆動機構、３０…検出装置、５１ａ，５１ｂ…演奏制御部、５２ａ，５２ｂ…学習処理部。

Claims (8)

1. 打撃部材による打撃で打楽器が発音する演奏音を入力とした機械学習により、前記打撃部材の駆動により前記打楽器を打撃する自動演奏の演奏パラメータを設定するための数値を出力する学習モデルを生成する
   コンピュータにより実現される学習モデル生成方法であって、
   前記機械学習は、前記打楽器が発音する演奏音の誤差を利用する処理であり、
   前記学習モデルは、時間軸上の一の時点における演奏音の誤差に対して、前記一の時点の後方の時点における前記演奏パラメータの基礎値を調整するための調整値を出力する
   学習モデル生成方法。
2. 前記学習モデルは、時間軸上の複数の時点の各々について、当該時点における前記演奏パラメータの基礎値と当該時点について生成された調整値とに応じて発音された演奏音の誤差に対して、当該時点の後の時点における前記演奏パラメータの基礎値を調整するための調整値を出力する
   請求項１の学習モデル生成方法。
3. 打撃部材による打撃で打楽器が発音する演奏音を入力とした機械学習により、前記打撃部材の駆動により前記打楽器を打撃する自動演奏の演奏パラメータを設定するための数値を出力する学習モデルを生成する
   コンピュータにより実現される学習モデル生成方法であって、
   前記機械学習においては、前記打撃部材を駆動する自動演奏により前記打楽器を打撃したときの演奏音と、模範演奏時の演奏音との間における周波数特性の近似度に応じた報酬を最大化させ、
   前記学習モデルは、前記自動演奏に関する演奏パラメータの数値を出力する
   学習モデル生成方法。
4. 打撃部材による打撃で打楽器が発音する演奏音を入力とした機械学習により、前記打撃部材の駆動により前記打楽器を打撃する自動演奏の演奏パラメータを設定するための数値を出力する学習モデルを生成する学習モデル生成装置であって、
   前記機械学習は、前記打楽器が発音する演奏音の誤差を利用する処理であり、
   前記学習モデルは、時間軸上の一の時点における演奏音の誤差に対して、前記一の時点の後方の時点における前記演奏パラメータの基礎値を調整するための調整値を出力する
   学習モデル生成装置。
5. 前記学習モデルは、時間軸上の複数の時点の各々について、当該時点における前記演奏パラメータの基礎値と当該時点について生成された調整値とに応じて発音された演奏音の誤差に対して、当該時点の後の時点における前記演奏パラメータの基礎値を調整するための調整値を出力する
   請求項４の学習モデル生成装置。
6. 打撃部材による打撃で打楽器が発音する演奏音を入力とした機械学習により、前記打撃部材の駆動により前記打楽器を打撃する自動演奏の演奏パラメータを設定するための数値を出力する学習モデルを生成する学習モデル生成装置であって、
   前記機械学習においては、前記打撃部材を駆動する自動演奏により前記打楽器を打撃したときの演奏音と、模範演奏時の演奏音との間における周波数特性の近似度に応じた報酬を最大化させ、
   前記学習モデルは、前記自動演奏に関する演奏パラメータの数値を出力する
   学習モデル生成装置。
7. 打撃部材による打撃で打楽器が発音する演奏音を入力とした機械学習により、前記打撃部材の駆動により前記打楽器を打撃する自動演奏の演奏パラメータを設定するための数値を出力する学習モデルを生成する学習処理部、としてコンピュータを機能させるプログラムであって、
   前記機械学習は、前記打楽器が発音する演奏音の誤差を利用する処理であり、
   前記学習モデルは、時間軸上の一の時点における演奏音の誤差に対して、前記一の時点の後方の時点における前記演奏パラメータの基礎値を調整するための調整値を出力する
   プログラム。
8. 請求項７のプログラムをコンピュータが実行することで生成された学習モデルが出力する演奏パラメータを用いて打楽器を自動演奏する自動演奏ロボット。

Images