JP7388542B2 - 演奏エージェントの訓練方法、自動演奏システム、及びプログラム - Google Patents

Description

本発明は、演奏エージェントの訓練方法、自動演奏システム、及びプログラムに関する。

近年、演奏者による演奏に合わせて自動演奏を行う演奏エージェントの開発が進んでいる。例えば、特許文献１には、推定される演奏者による演奏の進行に同期するように自動演奏を行う技術が提案されている。特許文献１により提案される技術では、特定の演奏者による合図動作に応じて自動演奏を制御する構成、及び合図動作の識別に機械学習により訓練済みの推定モデルを用いることが提案されている。

国際公開２０１８／０７０２８６号

例えば、演奏する楽器、演奏の能力等、演奏者の演奏に関する属性は様々であるため、ある演奏者に適合する演奏エージェントが他の演奏者に適合するとは限らない。演奏者毎に演奏エージェントを個別に手作業で生成するようにすると、演奏エージェントの生成コストが膨大になってしまう。

本発明は、一側面では、以上の事情を鑑みてなされたものであり、その目的は、演奏者に適合する演奏エージェントを生成するコストの低減を図る技術を提供することである。

上記目的を達成するために、本発明の一態様に係る１又は複数のコンピュータにより実現される演奏エージェントの訓練方法は、演奏エージェントにより、観測される前記第１演奏と並行に行う第２演奏の演奏データを生成し、前記演奏者の前記第１演奏に並行して前記第２演奏を行うように前記演奏データを出力し、出力された前記演奏データによる前記第２演奏に対する前記演奏者の満足度を取得し、強化学習により、取得される前記満足度を報酬として用いて、将来に亘って取得される前記満足度の和を最大化するように前記演奏エージェントを訓練する、処理を備える。

本発明によれば、演奏者に適合する演奏エージェントを生成するコストの低減を図ることができる。

図１は、実施の形態に係る自動演奏システムの構成の一例を示す。 図２は、実施の形態に係る演奏制御装置のハードウェア構成の一例を示す。 図３は、実施の形態に係る推定装置のハードウェア構成の一例を示す。 図４は、実施の形態に係る自動演奏システムのソフトウェア構成の一例を示す。 図５は、実施の形態における満足度を推定するための推定モデルの訓練処理の一例を示すフローチャートである。 図６は、実施の形態における演奏エージェントの訓練処理の一例を示すフローチャートである。 図７は、実施の形態における演奏エージェントの強化学習の処理工程の一例を示す。

以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。以下に説明される各実施形態は、本発明を実現可能な構成の一例に過ぎない。以下の各実施形態は、本発明が適用される装置の構成や各種の条件に応じて適宜に修正又は変更することが可能である。また、以下の各実施形態に含まれる要素の組合せの全てが本発明を実現するに必須であるとは限られず、要素の一部を適宜に省略することが可能である。したがって、本発明の範囲は、以下の各実施形態に記載される構成によって限定されるものではない。また、相互に矛盾のない限りにおいて実施形態内に記載された複数の構成を組み合わせた構成も採用可能である。

＜１．適用例＞
図１は、本実施形態に係る自動演奏システムＳの構成の一例を示す。図１に示すように、本実施形態の自動演奏システムＳは、演奏制御装置１００、演奏装置２００、及び推定装置３００を有する。演奏制御装置１００及び推定装置３００は、例えば、パーソナルコンピュータ、サーバ、タブレット端末、携帯端末（例えば、スマートフォン）等の情報処理装置（コンピュータ）によって実現される。

演奏制御装置１００は、演奏装置２００を制御する演奏データを自動生成して演奏装置２００に供給するように構成されるコンピュータである。演奏装置２００は、第２演奏の演奏データに従って第２演奏を行うように適宜構成されてよい。一例では、演奏装置２００は、発音機構及び駆動機構を有する鍵盤楽器等の自動演奏楽器であって、演奏制御装置１００から供給される演奏データに基づいて無人で演奏を行うように構成されるコンピュータである。演奏装置２００の発音機構は、鍵盤の各鍵の変位に連動して弦（発音体）を発音させる打弦機構である。演奏装置２００の駆動機構は、上記の演奏データに基づいて発音機構を駆動することで対象楽曲の演奏を実現する。推定装置３００は、演奏者と演奏エージェント１６０との共演における演奏者の満足度（好感度）を推定するように構成されるコンピュータである。本発明における「満足度」は、ある特定の演奏者の個人的な満足度（personal satisfaction）を意味する。

本実施形態の演奏者は、典型的には、演奏制御装置１００に接続された電子楽器ＥＭを用いて演奏する。本実施形態の電子楽器ＥＭは、例えば、電子鍵盤楽器（電子ピアノ等）、電子弦楽器（エレキギター等）、電子管楽器（ウィンドシンセサイザ等）等であってよい。ただし、演奏者が演奏に使用する楽器は、電子楽器ＥＭに限られなくてよい。他の一例では、演奏者は、アコースティック楽器を用いて演奏してもよい。更に他の一例では、本実施形態に係る演奏者は、楽器を用いない楽曲の歌唱者であってもよい。この場合、演奏者による演奏は、楽器を用いずに行われてもよい。以下、演奏者による演奏を「第１演奏」と称し、演奏エージェント１６０による演奏を「第２演奏」と称する。

概略的には、本実施形態に係る自動演奏システムＳは、演奏者による楽曲の第１演奏を観測し、後述する演奏エージェント１６０により、観測される第１演奏と並行に行う第２演奏の演奏データを生成する。続いて、自動演奏システムＳは、演奏者の第１演奏に並行して第２演奏を行うように演奏データを出力し、出力された演奏データによる第２演奏に対する演奏者の満足度を取得する。そして、自動演奏システムＳは、強化学習により、取得される満足度を報酬として用いて、将来に亘って取得される満足度の和を最大化するように演奏エージェント１６０を訓練する。この自動演奏システムＳによれば、演奏者に適合する演奏エージェント１６０を自動的に生成することができる。そのため、演奏者に適合する演奏エージェント１６０を生成するコストの低減を図ることができる。

＜２．ハードウェア構成例＞
（演奏制御装置）
図２は、本実施形態に係る演奏制御装置１００のハードウェア構成の一例を示す。図２に示すように、演奏制御装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ストレージ１０３、入力部１０４、出力部１０５、集音部１０６、撮像部１０７、送受信部１０８、及びドライブ１０９がバスＢ１により電気的に接続されたコンピュータである。

ＣＰＵ１０１は、演奏制御装置１００における種々の演算を実行するための１又は複数のプロセッサにより構成される。ＣＰＵ１０１は、プロセッサリソースの一例である。プロセッサの種類は、実施の形態に応じて適宜選択されてよい。ＲＡＭ１０２は、揮発性の記憶媒体であって、ＣＰＵ１０１で使用される設定値等の情報を保持すると共に種々のプログラムが展開されるワーキングメモリとして動作する。ストレージ１０３は、不揮発性の記憶媒体であって、ＣＰＵ１０１によって用いられる種々のプログラム及びデータを記憶する。ＲＡＭ１０２及びストレージ１０３は、プロセッサリソースにより実行されるプログラムを保持するメモリリソースの一例である。

本実施形態では、ストレージ１０３は、プログラム８１等の各種情報を記憶する。プログラム８１は、演奏者による楽曲の第１演奏に並行して第２演奏を行い、後述する演奏エージェント１６０を訓練する情報処理（後述する図６、図７）を演奏制御装置１００に実行させるためのプログラムである。プログラム８１は、当該情報処理の一連の命令を含む。

入力部１０４は、演奏制御装置１００に対する操作を受け付けるための入力装置により構成される。入力部１０４は、例えば、演奏制御装置１００に接続されるキーボード、マウス等の１又は複数の入力装置により構成されてよい。

出力部１０５は、種々の情報を出力するための出力装置により構成される。出力部１０５は、例えば、演奏制御装置１００に接続されるディスプレイ、スピーカ等の１又は複数の出力装置により構成されてよい。情報の出力は、例えば、映像信号、音信号等により行われてよい。

なお、入力部１０４及び出力部１０５は、演奏制御装置１００に対するユーザの操作を受け付けると共に種々の情報を出力するタッチパネルディスプレイ等の入出力装置によって一体的に構成されていてもよい。

集音部１０６は、集音した音を電気信号に変換してＣＰＵ１０１に供給するように構成される。集音部１０６は、例えば、マイクロフォンにより構成される。集音部１０６は、演奏制御装置１００に内蔵されていてもよいし、不図示のインタフェースを介して演奏制御装置１００に接続されていてもよい。

撮像部１０７は、撮影した映像を電気信号に変換してＣＰＵ１０１に供給するように構成される。撮像部１０７は、例えば、デジタルカメラにより構成される。撮像部１０７は、演奏制御装置１００に内蔵されていてもよいし、不図示のインタフェースを介して演奏制御装置１００に接続されていてもよい。

送受信部１０８は、無線又は有線でデータを他の装置と送受信するように構成される。本実施形態では、演奏制御装置１００は、送受信部１０８を介して、制御対象である演奏装置２００、演奏者が楽曲を演奏する際に用いる電子楽器ＥＭ、及び推定装置３００と接続し、データを送受信してよい。送受信部１０８は、複数のモジュール（例えば、Bluetooth（登録商標）モジュール、Wi-Fi（登録商標）モジュール、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等）を含んでよい。

ドライブ１０９は、記憶媒体９１に記憶されたプログラム等の各種情報を読み込みためのドライブ装置である。記憶媒体９１は、コンピュータその他装置、機械等が、記憶されたプログラム等の各種情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体９１は、例えば、フロッピディスク、光ディスク（例えば、コンパクトディスク、デジタル・ヴァーサタイル・ディスク、ブルーレイディスク）、光磁気ディスク、磁気テープ、不揮発性のメモリカード（例えば、フラッシュメモリ）等であってよい。ドライブ１０９の種類は、記憶媒体９１の種類に応じて任意に選択されてよい。上記プログラム８１は、記憶媒体９１に記憶されていてもよく、演奏制御装置１００は、この記憶媒体９１から上記プログラム８１を読み出してもよい。

バスＢ１は、演奏制御装置１００の上記ハードウェアの構成要素を相互にかつ電気的に接続する信号伝送路である。なお、演奏制御装置１００の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、入力部１０４、出力部１０５、集音部１０６、撮像部１０７、送受信部１０８、及びドライブ１０９の少なくともいずれかは省略されてよい。

（推定装置）
図３は、本実施形態に係る推定装置３００のハードウェア構成の一例を示す。図３に示すように、推定装置３００は、ＣＰＵ３０１、ＲＡＭ３０２、ストレージ３０３、入力部３０４、出力部３０５、集音部３０６、撮像部３０７、生体センサ３０８、送受信部３０９、及びドライブ３１０がバスＢ３により電気的に接続されたコンピュータである。

ＣＰＵ３０１は、推定装置３００における種々の演算を実行するための１又は複数のプロセッサにより構成される。ＣＰＵ３０１は、推定装置３００のプロセッサリソースの一例である。プロセッサの種類は、実施の形態に応じて適宜選択されてよい。ＲＡＭ３０２は、揮発性の記憶媒体であって、ＣＰＵ３０１で使用される設定値等の各種情報を保持すると共に種々のプログラムが展開されるワーキングメモリとして動作する。ストレージ３０３は、不揮発性の記憶媒体であって、ＣＰＵ３０１によって用いられる種々のプログラム及びデータを記憶する。ＲＡＭ３０２及びストレージ３０３は、プロセッサリソースにより実行されるプログラムを保持する推定装置３００のメモリリソースの一例である。

本実施形態では、ストレージ３０３は、プログラム８３等の各種情報を記憶する。プログラム８３は、満足度の推定モデルを訓練する情報処理（後述する図５）及び訓練済みの推定モデルを使用して満足度を推定する情報処理を推定装置３００に実行させるためのプログラムである。プログラム８３は、当該情報処理の一連の命令を含む。

入力部３０４から撮像部３０７、ドライブ３１０及び記憶媒体９３は、演奏制御装置１００の入力部１０４から撮像部１０７、ドライブ１０９及び記憶媒体９１と同様に構成されてよい。プログラム８３は、記憶媒体９３に記憶されていてよく、推定装置３００は、記憶媒体９３からプログラム８３を読み出してもよい。

生体センサ３０８は、演奏者の生体情報を示す生体信号を時系列的に取得するように構成される。演奏者の生体情報は、例えば、心拍数、発汗量、血圧等の１又は複数種類のデータにより構成されてよい。生体センサ３０８は、例えば、心拍計、発汗計、血圧計等のセンサにより構成されてよい。

送受信部３０９は、無線又は有線でデータを他の装置と送受信するように構成される。本実施形態では、推定装置３００は、送受信部３０９を介して、演奏者が楽曲を演奏する際に用いる電子楽器ＥＭ及び演奏制御装置１００と接続し、データを送受信してよい。送受信部３０９は、送受信部１０８と同様に複数のモジュールを含んでよい。

バスＢ３は、推定装置３００の上記ハードウェアの構成要素を相互にかつ電気的に接続する信号伝送路である。なお、推定装置３００の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、入力部３０４、出力部３０５、集音部３０６、撮像部３０７、生体センサ３０８、送受信部３０９、及びドライブ３１０の少なくともいずれかは省略されてよい。

＜３．ソフトウェア構成例＞
図４は、本実施形態に係る自動演奏システムＳのソフトウェア構成の一例を示す。

（演奏制御装置）
演奏制御装置１００は、制御部１５０及び記憶部１８０を有する。制御部１５０は、ＣＰＵ１０１及びＲＡＭ１０２により、演奏制御装置１００の動作を統合的に制御するように構成される。記憶部１８０は、ＲＡＭ１０２及びストレージ１０３により、制御部１５０において用いられる種々のデータを記憶するように構成される。演奏制御装置１００のＣＰＵ１０１は、ストレージ１０３に記憶されたプログラム８１をＲＡＭ１０２に展開し、ＲＡＭ１０２に展開されたプログラム８１に含まれる命令を実行する。これにより、演奏制御装置１００（制御部１５０）は、認証部１５１、演奏取得部１５２、映像取得部１５３、演奏エージェント１６０、及びエージェント訓練部１７０をソフトウェアモジュールとして備えるコンピュータとして動作する。

認証部１５１は、推定装置３００等の外部装置と協働してユーザ（演奏者）を認証するように構成される。一例では、認証部１５１は、ユーザが入力部１０４を用いて入力したユーザ識別子及びパスワード等の認証データを推定装置３００に送信し、推定装置３００から受信した認証結果に基づいてユーザのアクセスを許可又は拒否するように構成される。なお、ユーザを認証する外部装置は、推定装置３００以外の認証サーバでもよい。認証部１５１は、認証された（アクセスが許可された）ユーザのユーザ識別子を他のソフトウェアモジュールに供給するように構成されてもよい。

演奏取得部１５２は、演奏者による楽曲の第１演奏を観測し、当該第１演奏を示す演奏データ（以下、「第１演奏データ」とも記載する）を取得するように構成される。第１演奏データは、例えば、電子楽器ＥＭから供給されるタイムスタンプ付きのＭＩＤＩデータ列である。一例では、演奏取得部１５２は、集音部１０６が第１演奏を集音して出力する電気信号により示される演奏音を第１演奏データとして取得するように構成されてよい。第１演奏データは、演奏に含まれる音の特性（例えば、発音時刻及び音高）を示すデータであって、演奏者による第１演奏を表現する高次元の時系列データの一種である。演奏取得部１５２は、取得した第１演奏データを演奏エージェント１６０に供給するように構成される。演奏取得部１５２は、取得した第１演奏データを推定装置３００に送信するように構成されてもよい。

映像取得部１５３は、演奏者による第１演奏に係る映像データを取得するように構成される。一例では、映像取得部１５３は、撮像部１０７が撮影した第１演奏における演奏者の映像を示す電気信号に基づいて映像データを取得するように構成されてよい。映像データは、演奏における演奏者の動きの特徴を示す動きデータであって、演奏者による演奏を表現する高次元の時系列データの一種である。動きデータは、例えば、演奏者の骨格（スケルトン）を時系列的に取得したデータである。映像取得部１５３は、取得した映像データを演奏エージェント１６０に供給するように構成される。映像取得部１５３は、取得した映像データを推定装置３００に送信するように構成されてもよい。

演奏エージェント１６０は、演奏者との共演である自動演奏を演奏装置２００に実行させるように構成される。演奏エージェント１６０は、例えば、国際公開２０１８／０７０２８６号に開示される手法、「音響信号によるリアルタイム楽譜追跡と能動的演奏支援システムに関する研究」（酒向慎司（名古屋工業大学）、電気通信普及財団「研究調査助成報告書」第３１号、２０１６年度）に開示される手法等の任意の手法に基づく自動演奏制御を実行するように構成されてよい。自動演奏（第２演奏）は、例えば、第１演奏に対する伴奏であってもよいし、対旋律であってもよい。

演奏エージェント１６０は、例えば、その時の状態（例えば、「両者（演奏者及び演奏エージェント）の音量差」、「演奏エージェントの音量」、「演奏エージェントのテンポ」、「両者のタイミング差」等）に応じて実行する行動（例えば、「テンポを１上げる」、「テンポを１下げる」、「テンポを１０下げる」、・・・、「音量を３上げる」、「音量を１上げる」、「音量を１下げる」等）を決定する複数のパラメータを有する演算モデルにより構成される。演奏エージェント１６０は、その時の状態に応じた行動(action)をそれら複数のパラメータに基づいて決定し、決定された行動に従ってその時行っている演奏を変えるように適宜構成されてよい。本実施形態では、演奏エージェント１６０は、当該演算モデルにより、演奏解析部１６１及び演奏生成部１６２を含むように構成される。非限定的かつ概略的な自動演奏制御について以下に例示する。

演奏解析部１６１は、演奏者が現に演奏している楽曲上の位置である演奏位置を、演奏取得部１５２及び映像取得部１５３から供給される第１演奏データ及び映像データに基づいて推定するように構成される。演奏解析部１６１による演奏位置の推定は、演奏者による演奏と並行して継続的に（例えば、周期的に）実行されてよい。

一例では、演奏解析部１６１は、第１演奏データが示す一連の音と自動演奏のための楽曲データが示す一連の音符とを相互比較することにより、演奏者の演奏位置を推定するように構成されてよい。楽曲データは、演奏者による第１演奏（演奏者パート）に対応する参照データと、演奏エージェント１６０による第２演奏（自動演奏パート）を示す自動演奏データとを含む。演奏解析部１６１による演奏位置の推定には、任意の音楽解析技術（スコアアライメント技術）が適宜に採用されてよい。

演奏生成部１６２は、演奏解析部１６１により推定される演奏位置の進行（時間軸上の移動）に同期するように、楽曲データ内の自動演奏データに基づいて第２演奏の演奏データ（以下、「第２演奏データ」とも記載する）を自動生成し、生成された第２演奏データを演奏装置２００に供給するように構成される。自動生成される第２演奏データは、第１演奏と並行して行われる第２演奏のためのデータであって、一連の音符に従って演奏装置２００の駆動機構を動作させる指示データである。換言すると、演奏生成部１６２は、楽曲データに対応する楽曲を実現する第２演奏データ（例えば、タイムスタンプ付きＭＩＤＩデータ列）を演奏装置２００に対して供給するシーケンサとして動作するように構成される。なお、演奏生成部１６２は、第２演奏データを推定装置３００にも供給するように構成されてよい。演奏装置２００は、演奏生成部１６２から供給される第２演奏データに応じて、楽曲の自動演奏である第２演奏を行うように構成される。

なお、演奏エージェント１６０（演奏解析部１６１及び演奏生成部１６２）の構成は、このような例に限定されなくてよい。他の一例では、演奏エージェント１６０（演奏解析部１６１及び演奏生成部１６２）は、既存の楽曲データに基づかずに、演奏者の第１演奏を示す第１演奏データに基づいて即興的に第２演奏データを生成し、生成された第２演奏データを演奏装置２００に供給することで、演奏装置２００に自動演奏（即興演奏）を実行させるように構成されてもよい。

エージェント訓練部１７０は、第２演奏に対する演奏者の満足度を最大化するように演奏エージェント１６０を訓練するように構成される。エージェント訓練部１７０の動作については後に詳述する。なお、第２演奏に対する演奏者の満足度は、任意の方法で取得されてよい。本実施形態では、満足度を取得することは、演奏者の第１演奏に係る演奏者情報を取得し、取得される演奏者情報から満足度を取得することにより構成されてよい。また、演奏者情報から満足度を取得することは、後述する機械学習により生成された訓練済みの推定モデル（満足度推定モデル）を使用して、演奏者情報から満足度を推定することにより構成されてよい。演奏者情報は、第１演奏を行う演奏者の映像を含むように構成されてよい。演奏者情報は、映像から抽出された演奏者の表情及び姿勢の少なくともいずれかを含むように構成されてよい。演奏者情報は、演奏者により第１演奏の際に取得される演奏者の生体信号を含むように構成されてよい。この「第１演奏の際」は、第１演奏の間及び第１演奏の終了後の余韻の残る間を含んでよい。演奏者情報は、演奏者による第１演奏の演奏データを含むように構成されてよい。

（推定装置）
推定装置３００は、制御部３５０及び記憶部３８０を有する。制御部３５０は、ＣＰＵ３０１及びＲＡＭ３０２により、推定装置３００の動作を統合的に制御するように構成される。記憶部３８０は、ＲＡＭ３０２及びストレージ３０３により、制御部３５０において用いられる種々のデータ（特に、後述される満足度推定モデル）を記憶するように構成される。推定装置３００のＣＰＵ３０１は、ストレージ３０３に記憶されたプログラム８３をＲＡＭ３０２に展開し、ＲＡＭ３０２に展開されたプログラム８３に含まれる命令を実行する。これにより、推定装置３００（制御部３５０）は、認証部３５１、演奏取得部３５２、反応取得部３５３、満足度取得部３５４、データ前処理部３５５、モデル訓練部３５６、及び満足度推定部３５７をソフトウェアモジュールとして備えるコンピュータとして動作する。

認証部３５１は、演奏制御装置１００と協働してユーザ（演奏者）を認証するように構成される。一例では、認証部３５１は、演奏制御装置１００から提供された認証データが記憶部３８０に格納されている認証データと一致するか否かを判定し、認証結果（許可又は拒否）を演奏制御装置１００に送信するように構成される。

演奏取得部３５２は、演奏者による第１演奏データ（演奏者情報）を取得するように構成される。第１演奏データは音符列であって、各音符の発音タイミング、音長、音高、及び強度が規定されたデータである。一例では、演奏取得部３５２は、電子楽器ＥＭから供給された第１演奏を示す演奏データを、電子楽器ＥＭから直接的に又は演奏制御装置１００を介して取得するように構成されてよい。他の一例では、演奏取得部３５２は、集音部３０６を用いて又は演奏制御装置１００を介して、第１演奏を示す演奏音を取得するように構成されてもよい。演奏取得部３５２は、取得した第１演奏データを記憶部３８０に記憶するように構成される。演奏取得部３５２は、取得された第１演奏データに対して、認証部３５１により認証された演奏者のユーザ識別子を関連付けるように構成されてもよい。

反応取得部３５３は、第１演奏を行う演奏者の反応を示す反応データ（演奏者情報）を取得するように構成される。一例では、反応取得部３５３は、撮像部３０７により撮影される、第１演奏を行っている演奏者の反応が反映された映像を反応データとして取得するように構成されてよい。反応取得部３５３は、取得した映像から抽出される演奏者の表情及び姿勢の少なくともいずれかを反応データとして取得してもよい。また、反応取得部３５３は、演奏者による第１演奏の際に生体センサ３０８により取得される演奏者の生体信号を反応データとして取得してよい。生体信号は、例えば、心拍数、発汗量、血圧等の１又は複数種類のデータにより構成されてよい。

満足度取得部３５４は、演奏エージェント１６０（演奏装置２００）との共演における演奏者の個人的な満足度を示す満足度ラベル（正解ラベル）を取得するように構成される。満足度ラベルは、演奏エージェント１６０（又は演奏エージェント１６０を模擬する任意の方法）による第２演奏に対する演奏者の満足度を示すデータである。満足度は、段階的な評価を表す離散値で表現されてもよいし、或いは連続値で表現されてもよい。演奏者は、演奏制御装置１００の入力部１０４、推定装置３００の入力部３０４等の入力装置を介して満足度ラベルを入力してもよい。演奏制御装置１００に満足度ラベルの情報が入力される場合、満足度ラベルは、制御部１５０（ＣＰＵ１０１）によって推定装置３００に転送されてよく、満足度取得部３５４は、演奏制御装置１００から転送される満足度ラベルを受信するように構成されてよい。満足度取得部３５４は、取得した満足度ラベルを、第１演奏に係る演奏者情報（第１演奏データ、反応データ）と関連付けて記憶部３８０に記憶するように構成される。

データ前処理部３５５は、演奏者の満足度を推定するための推定モデル（以下、「満足度推定モデル」とも記載する）に入力するデータ（演奏者情報等）を、推定モデルの演算に適した形式となるように前処理するように構成される。データ前処理部３５５は、訓練段階においては前処理したデータをモデル訓練部３５６に供給し、推定段階においては前処理したデータを満足度推定部３５７に供給するように構成される。

モデル訓練部３５６は、データ前処理部３５５から供給される演奏者情報及び満足度ラベルを、それぞれ入力データ（訓練データ）及び教師信号（正解データ）として用いて、機械学習により満足度推定モデルを訓練するように構成される。満足度推定モデルは、複数のパラメータを有する任意の機械学習モデルにより構成されてよい。満足度推定モデルを構成する機械学習モデルには、例えば、多層パーセプトロンによって構成されるフィードフォワード型ニューラルネットワーク（ＦＦＮＮ）、隠れマルコフモデル（ＨＭＭ）等が使用されてよい。その他に、満足度推定モデルを構成する機械学習モデルには、例えば、時系列データに適合した回帰型ニューラルネットワーク（ＲＮＮ）、その派生の構成（長・短期記憶（ＬＳＴＭ）、ゲート付き回帰型ユニット（ＧＲＵ）等）、畳み込みニューラルネットワーク（ＣＮＮ）等が使用されてもよい。機械学習は、満足度推定モデルにより訓練用の演奏者情報から推定される満足度が満足度ラベルにより示される真値に適合するように満足度推定モデルを訓練することにより構成される。機械学習の方法は、採用する機械学習モデルの種類に応じて適宜選択されてよい。機械学習により生成された訓練済みの満足度推定モデルは、記憶部３８０等の記憶領域に学習結果データの形式で適宜保存されてよい。

満足度推定部３５７は、モデル訓練部３５６によって生成される訓練済みの満足度推定モデルを備える。満足度推定部３５７は、訓練済みの満足度推定モデルを使用して、推論時に得られた演奏者情報から演奏者の満足度を推定するように構成される。具体的には、満足度推定部３５７は、訓練済みの満足度推定モデルに対して、データ前処理部３５５から供給される前処理後の演奏者情報を入力データとして入力し、訓練済みの満足度推定モデルの演算処理を実行する。この演算処理により、満足度推定部３５７は、入力された演奏者情報から演奏者の満足度を推定した結果に対応する出力を訓練済みの満足度推定モデルから取得する。推定された満足度（満足度の推定結果）は、演奏制御装置１００のエージェント訓練部１７０に供給される。

（その他）
本実施形態では、演奏制御装置１００及び推定装置３００の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、上記ソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。上記各モジュールは、ハードウェアモジュールとして実現されてもよい。また、演奏制御装置１００及び推定装置３００それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。

＜４．動作例＞
（満足度推定モデルの訓練処理）
図５は、本実施形態に係る自動演奏システムＳによる満足度推定モデルの訓練処理の一例を示すフローチャートである。以下の処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が行われてよい。

ステップＳ５１０では、推定装置３００のＣＰＵ３０１が、演奏者の第１演奏に係る演奏者情報を取得する。本実施形態では、演奏者情報は、演奏者による第１演奏を示す第１演奏データ、演奏者による第１演奏の際に取得される演奏者の生体信号、第１演奏を行う演奏者の映像、並びに映像から抽出される演奏者の表情及び姿勢、の少なくともいずれかを含むように構成されてよい。演奏者情報が第１演奏データを含むように構成される場合、ＣＰＵ３０１は、演奏取得部３５２として動作し、演奏者による第１演奏を示す第１演奏データを取得する。演奏者情報が、演奏者による第１演奏の際に取得される演奏者の生体信号、第１演奏を行う演奏者の映像、並びに映像から抽出される演奏者の表情及び姿勢、の少なくともいずれかを含むように構成される場合、ＣＰＵ３０１は、反応取得部３５３として動作し、第１演奏を行う演奏者の反応を示す反応データを取得する。ＣＰＵ３０１は、取得された演奏者情報を記憶部３８０に格納する。なお、この満足度推定モデルの訓練用の演奏者情報を取得する際、任意の方法（演奏エージェント１６０を使用する方法又はそれ以外の方法）で第２演奏が第１演奏に並行して行われてよい。

ステップＳ５２０では、ＣＰＵ３０１は、満足度取得部３５４として動作し、第２演奏に対する演奏者の満足度を示す満足度ラベルを取得する。一例では、ＣＰＵ３０１は、入力装置を介した演奏者の入力により満足度ラベルを取得してよい。ＣＰＵ３０１は、取得された満足度ラベルを演奏者情報に関連付けて記憶部３８０に格納する。

なお、ステップＳ５１０及びステップＳ５２０の処理は、並列的に実行されてもよいし、或いは順次に実行されてもよい。

ステップＳ５３０では、ＣＰＵ３０１は、データ前処理部３５５として動作し、記憶部３８０に格納された演奏者情報に対してデータ前処理を行い、前処理後の演奏者情報をモデル訓練部３５６に供給する。

ステップＳ５４０では、ＣＰＵ３０１は、モデル訓練部３５６として動作し、前処理された演奏者情報及び満足度ラベルをそれぞれ入力データ（訓練データ）及び教師信号（正解データ）として用いて、満足度推定モデルの機械学習を実行する。すなわち、ＣＰＵ３０１は、満足度推定モデルにより訓練用の演奏者情報から推定される満足度が満足度ラベルにより示される真値に適合するように満足度推定モデルを訓練する。

この機械学習により、演奏者情報から演奏者の満足度を推定する能力を獲得した訓練済みの満足度推定モデルが生成される。ＣＰＵ３０１は、訓練済みの満足度推定モデルを示す学習結果データを生成し、生成された学習結果データを記憶部３８０等の記憶領域に保存する。この機械学習が追加学習又は再学習である場合、ＣＰＵ３０１は、新たに生成された学習結果データにより、記憶部３８０等の記憶領域に保存された学習結果データを更新する。

以上により、本動作例に係る満足度推定モデルの訓練処理は終了する。上記訓練処理は、定期的に実行されてもよいし、或いはユーザ（演奏制御装置１００）からの要求に応じて実行されてもよい。なお、ステップＳ５１０の処理を実行する前に、演奏制御装置１００のＣＰＵ１０１及び推定装置３００のＣＰＵ３０１はそれぞれ認証部（１５１、３５１）として動作し、演奏者を認証してもよい。これにより、認証された演奏者の演奏者情報及び満足度ラベルを収集し、訓練済みの満足度推定モデルを生成してもよい。

（演奏エージェントの訓練処理）
図６は、本実施形態に係る自動演奏システムＳによる演奏エージェントの訓練処理の一例を示すフローチャートである。以下の処理手順は、演奏エージェントの訓練方法の一例である。ただし、以下の処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が行われてよい。

ステップＳ６１０では、演奏制御装置１００のＣＰＵ１０１及び推定装置３００のＣＰＵ３０１の少なくともいずれかが、演奏者による楽曲の第１演奏を観測し、第１演奏を示す第１演奏データを取得する。ＣＰＵ１０１が、演奏取得部１５２として動作し、第１演奏データを取得してもよい。或いは、ＣＰＵ３０１が、演奏取得部３５２として動作し、第１演奏データを取得してもよい。取得された第１演奏データは、記憶部１８０及び記憶部３８０の少なくともいずれかに格納されてよい。

ステップＳ６２０では、ＣＰＵ１０１は、演奏エージェント１６０により、観測される第１演奏と並行に行う第２演奏を示す第２演奏データを生成する。ＣＰＵ１０１は、演奏解析部１６１及び演奏生成部１６２として動作し、演奏エージェントを構成する演算モデルの演算処理を実行することで、演奏者の演奏位置を推定し、推定される演奏位置に同期するように第２演奏データを生成する。

ステップＳ６３０では、ＣＰＵ１０１は、演奏生成部１６２として動作し、演奏者の第１演奏に並行して第２演奏を行うように第２演奏データを出力する。一例では、ＣＰＵ１０１は、生成された第２演奏データを演奏装置２００に供給し、第２演奏データに従って自動演奏を実行するように演奏装置２００の動作を制御する。

ステップＳ６４０では、演奏制御装置１００のＣＰＵ１０１及び推定装置３００のＣＰＵ３０１の少なくともいずれかが、演奏者の第１演奏に係る演奏者情報を取得する。演奏者情報が第１演奏データを含むように構成される場合、ステップＳ６４０の処理は、ステップＳ６１０と共通に実行されてよい。演奏者情報が、演奏者による第１演奏の際に取得される演奏者の生体信号、第１演奏を行う演奏者の映像、並びに映像から抽出される演奏者の表情及び姿勢、の少なくともいずれかを含むように構成される場合、ＣＰＵ３０１が、反応取得部３５３として動作し、第１演奏を行う演奏者の反応を示す反応データを取得してよい。或いは、ＣＰＵ１０１が、映像取得部１５３として動作し、第１演奏を行う演奏者の映像、並びに映像から抽出される演奏者の表情及び姿勢、の少なくともいずれかを取得してもよい。取得された演奏者情報は、記憶部１８０及び記憶部３８０の少なくともいずれかに格納されてよい。

ステップＳ６５０では、取得された演奏者情報がデータ前処理部３５５に供給される。推定装置３００のＣＰＵ３０１は、データ前処理部３５５として動作し、演奏者情報に対してデータ前処理を行い、前処理後の演奏者情報を満足度推定部３５７に供給する。そして、ＣＰＵ３０１は、満足度推定部３５７として動作し、訓練済みの推定モデルを使用して、出力された第２演奏データによる第２演奏に対する演奏者の満足度を取得された演奏者情報から推定する。推定された満足度は、満足度推定部３５７から演奏制御装置１００のエージェント訓練部１７０に供給される。

ステップＳ６６０では、演奏制御装置１００のＣＰＵ１０１は、演奏エージェント１６０の訓練を開始するか否かを判定する。例えば、強化学習に使用するデータが収集された、演奏者による第１演奏が終了した等の任意のタイミングで、ＣＰＵ１０１は、演奏エージェント１６０の訓練を開始すると判定してよい。訓練を開始すると判定した場合、ＣＰＵ１０１は、ステップＳ６７０に処理を進める。一方、訓練を開始しないと判定した場合、ＣＰＵ１０１は、ステップＳ６１０に処理を戻し、ステップＳ６１０～ステップＳ６５０の一連の処理を繰り返し実行して、演奏エージェント１６０に訓練に使用するための学習データの収集を継続する。

なお、ステップＳ６１０～ステップＳ６５０の処理は、演奏者と演奏エージェント１６０との共演において逐次的に実行されてよく、その結果として、演奏者の満足度が時系列的に推定されてよい。満足度は、単位時間毎に推定されてもよいし、或いは任意の演奏単位（例えば、フレーズ）毎に推定されてもよい。ステップＳ６１０～ステップＳ６５０の処理は、演奏者が第１演奏を行うのと並行してリアルタイムに実行されてもよいし、或いは記憶部１８０及び記憶部３８０の少なくともいずれかに記憶された第１演奏に対して事後的に実行されてもよい。

ステップＳ６７０では、ＣＰＵ１０１は、エージェント訓練部１７０として動作し、ステップＳ６６０までの処理により収集された学習データを使用して、演奏エージェント１６０の機械学習を実行する。

図７は、本実施形態に係る自動演奏システムＳによる演奏エージェント１６０の訓練（機械学習）の処理の一例を示す。本実施形態では、ＣＰＵ１０１は、第２演奏に対する演奏者の満足度を報酬として用いて、演奏エージェント１６０の強化学習を実行する。

本実施形態の強化学習では、図７に示すように、演奏者による第１演奏が観測される「状態」に該当し、満足度推定部３５７により推定される演奏者の満足度が「報酬」に該当し、演奏エージェント１６０及び演奏装置２００による第２演奏が「行動」に該当する。演奏エージェント１６０及び演奏装置２００による「行動」である第２演奏に対応して、「状態」である演奏者による第１演奏が変化すると共に、「報酬」である演奏者の満足度が推定される。第１演奏、第２演奏、及び満足度は、いずれも時系列データである。「状態」には、演奏に関する他の情報（例えば、楽曲データ、反応データ）が含まれてもよい。

ＣＰＵ１０１は、強化学習により、取得される満足度を報酬として用いて、第２演奏に対する演奏者の満足度を最大化するように演奏エージェント１６０を訓練する。より具体的には、ＣＰＵ１０１は、将来に亘って取得される演奏者の満足度の和（すなわち、「収益」）を最大化するような第２演奏データを自動生成するように、演奏エージェント１６０を訓練する。この訓練過程において、演奏エージェント１６０を構成する各パラメータの値は、得られる報酬を増やすように徐々に変更される。一例では、演奏エージェント１６０は、価値関数（例えば、行動価値関数）を備えるように構成されてよく、強化学習の方法には、例えば、Ｑ学習、モンテカルロ法等の方法が採用されてよい。他の一例では、演奏エージェント１６０は、方策関数を備えるように構成されてよく、強化学習の方法には、例えば、方策勾配法等の方法が採用されてよい。強化学習の方法及び演奏エージェント１６０の構成は、実施の形態に応じて適宜選択されてよい。

以上により、本動作例に係る演奏エージェント１６０の訓練処理は終了する。上記訓練処理は、任意のタイミングで実行されてよい。なお、上記満足度推定モデルの機械学習と同様に、ステップＳ６１０の処理を実行する前に、演奏制御装置１００のＣＰＵ１０１及び推定装置３００のＣＰＵ３０１はそれぞれ認証部（１５１、３５１）として動作し、演奏者を認証してもよい。これにより、自動演奏システムＳは、認証された演奏者の学習データを収集し、収集された学習データを使用して、演奏エージェント１６０の訓練を実行してもよい。また、自動演奏システムＳは、演奏エージェント１６０の訓練を伴わず、ステップＳ６１０～ステップＳ６３０の処理を実行する（すなわち、ステップＳ６４０以降の処理を省略する）ことで、演奏エージェント１６０による自動演奏を行ってもよい。

（特徴）
本実施形態によれば、演奏者に適合する演奏エージェント１６０を自動的に生成することができる。そのため、演奏者に適合する演奏エージェント１６０を生成するコストの低減を図ることができる。また、本実施形態では、演奏者情報を用いることで、演奏者の満足度を自動的に取得することができる。これにより、満足度を取得する手間を削減することができる。また、本実施形態では、機械学習により生成された訓練済みの満足度推定モデルを使用することで、満足度を適切に取得することができる。更に、本実施形態では、演奏者情報は、演奏者による第１演奏を示す第１演奏データ、演奏者による第１演奏の際に取得される演奏者の生体信号、第１演奏を行う演奏者の映像、並びに映像から抽出される演奏者の表情及び姿勢、の少なくともいずれかを含むように構成されてよい。これにより、満足度を精度よく推定することができる。

＜５．変形例＞
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下の変形例は適宜組み合わせ可能である。

上記実施形態では、自動演奏システムＳは、演奏制御装置１００、演奏装置２００、推定装置３００、及び電子楽器ＥＭを別個の装置として備えている。しかしながら、これらの装置のうちの少なくともいずれか複数の装置は一体的に構成されてもよい。他の一例では、演奏制御装置１００及び演奏装置２００が一体的に構成されてもよい。或いは、演奏制御装置１００及び推定装置３００が一体的に構成されてもよい。

上記実施形態において、演奏装置２００は省略されてよい。この場合、自動演奏システムＳは、演奏制御装置１００により外部の演奏装置に対して第２演奏データを供給することで、第２演奏の自動演奏を実現するように構成されてよい。

上記実施形態では、機械学習により生成された訓練済みの満足度推定モデルを満足度の取得に使用している。しかしながら、満足度を取得する方法は、このような例に限定されなくてよい。満足度は、演奏者情報から他の方法で取得されてよい。或いは、満足度は、演奏者情報に依らずに取得されてもよい。演奏エージェント１６０の訓練に用いる演奏者の満足度は、任意の方法で取得されてよい。他の一例として、所定のアルゴリズムにより、演奏者情報から満足度が算出されてもよい。更に他の一例として、満足度は、演奏制御装置１００の入力部１０４、推定装置３００の入力部３０４等の入力装置を介した演奏者の操作により直接的に入力されてもよい。

また、強化学習の方法は、上記の方法に限られなくてよい。他の一例では、演奏エージェント１６０の演算モデルには、例えば、ガウス過程の回帰（ベイズ最適化）モデルが用いられてよい。また、機械学習の方法には、生物進化のプロセスを模倣した手法である遺伝的アルゴリズムが採用されてよい。

なお、上記各記憶媒体（９１、９３）は、コンピュータに読み取り可能な非一過性の記録媒体により構成されてよい。また、プログラム（８１、８３）は、伝送媒体等を介して供給されてもよい。なお、「コンピュータに読み取り可能な非一過性の記録媒体」は、例えば、インターネット、電話回線等の通信ネットワークを介してプログラムが送信される場合において、例えば、サーバ、クライアント等を構成するコンピュータシステム内部の揮発性メモリ（例えば、ＤＲＡＭ（Dynamic Random Access Memory））等のように、一定時間の間、プログラムを保持する記録媒体を含んでよい。

（付記）
演奏者による楽曲の第１演奏を観測し、
演奏エージェントを用いて、前記観測された第１演奏に応じた第２演奏の演奏データを生成し、
前記演奏データを再生装置（例えば、電子楽器、ピアノプレーヤ等）に供給して、前記再生装置に前記第１演奏に並行して前記第２演奏を再生させ、
再生された第２演奏に対する、前記演奏者の満足度を観測し、
前記満足度を報酬として用いた強化学習により、得られる満足度が最大化されるよう、前記演奏エージェントが前記演奏データを生成する際に従う、パラメータを調整する、
処理を備える、
コンピュータで実現される演奏エージェントの訓練方法。

１００…演奏制御装置、１５０…制御部、１８０…記憶部、２００…演奏装置、３００…推定装置、３５０…制御部、３８０…記憶部、ＥＭ…電子楽器、Ｓ…自動演奏システム

Claims (18)

1. 演奏者による楽曲の第１演奏を観測し、
   演奏エージェントにより、観測される前記第１演奏と並行に行う第２演奏の演奏データを生成し、
   前記演奏者の前記第１演奏に並行して前記第２演奏を行うように前記演奏データを出力し、
   出力された前記演奏データによる前記第２演奏に対する前記演奏者の満足度を取得し、
   強化学習により、取得される前記満足度を報酬として用いて、前記演奏エージェントを訓練する、
   処理を備える、
   コンピュータにより実現される演奏エージェントの訓練方法。
2. 前記満足度を取得することは、前記演奏者の前記第１演奏に係る演奏者情報を取得し、取得される前記演奏者情報から前記満足度を取得することにより構成される、
   請求項１に記載の演奏エージェントの訓練方法。
3. 前記満足度を取得することは、機械学習により生成された訓練済みの推定モデルを使用して、前記演奏者情報から前記満足度を推定することにより構成される、
   請求項２に記載の演奏エージェントの訓練方法。
4. 前記演奏者情報は、前記第１演奏を行う前記演奏者の映像を含む、
   請求項２又は３に記載の演奏エージェントの訓練方法。
5. 前記演奏者情報は、前記映像から抽出された前記演奏者の表情及び姿勢の少なくともいずれかを含む、
   請求項４に記載の演奏エージェントの訓練方法。
6. 前記演奏者情報は、前記演奏者による前記第１演奏の際に取得される前記演奏者の生体信号を含む、
   請求項２から５のいずれか１項に記載の演奏エージェントの訓練方法。
7. 前記演奏者情報は、前記演奏者による前記第１演奏の演奏データを含む、
   請求項２から６のいずれか１項に記載の演奏エージェントの訓練方法。
8. 前記演奏エージェントは、将来に亘って取得される前記満足度の和を最大化するように訓練される、
   請求項１から７のいずれか１項に記載の演奏エージェントの訓練方法。
9. プロセッサリソースと、
   前記プロセッサリソースにより実行されるプログラムを保持するメモリリソースと、
   を備える自動演奏システムであって、
   前記プロセッサリソースは、前記プログラムを実行することにより、
   演奏者による楽曲の第１演奏を観測し、
   演奏エージェントにより、観測される前記第１演奏と並行に行う第２演奏の演奏データを生成し、
   前記演奏者の前記第１演奏に並行して前記第２演奏を行うように前記演奏データを出力し、
   出力された前記演奏データによる前記第２演奏に対する前記演奏者の満足度を取得し、
   強化学習により、取得される前記満足度を報酬として用いて、前記演奏エージェントを訓練する、
   ように構成される、
   自動演奏システム。
10. 前記第２演奏の前記演奏データに従って前記第２演奏を行う演奏装置を更に備える、
    請求項９に記載の自動演奏システム。
11. 前記満足度を取得することは、前記演奏者の前記第１演奏に係る演奏者情報を取得し、取得される前記演奏者情報から前記満足度を取得することにより構成される、
    請求項９又は１０に記載の自動演奏システム。
12. 前記満足度を取得することは、機械学習により生成された訓練済みの推定モデルを使用して、前記演奏者情報から前記満足度を推定することにより構成される、
    請求項１１に記載の自動演奏システム。
13. 前記演奏者情報は、前記第１演奏を行う前記演奏者の映像を含む、
    請求項１１又は１２に記載の自動演奏システム。
14. 前記演奏者情報は、前記映像から抽出された前記演奏者の表情及び姿勢の少なくともいずれかを含む、
    請求項１３に記載の自動演奏システム。
15. 前記演奏者情報は、前記演奏者による前記第１演奏の際に取得される前記演奏者の生体信号を含む、
    請求項１１から１４のいずれか１項に記載の自動演奏システム。
16. 前記演奏者情報は、前記演奏者による前記第１演奏の演奏データを含む、
    請求項１１から１５のいずれか１項に記載の自動演奏システム。
17. 前記演奏エージェントは、将来に亘って取得される前記満足度の和を最大化するように訓練される、
    請求項９から１６のいずれか１項に記載の自動演奏システム。
18. コンピュータに、
    演奏者による楽曲の第１演奏を観測し、
    演奏エージェントにより、観測される前記第１演奏と並行に行う第２演奏の演奏データを生成し、
    前記演奏者の前記第１演奏に並行して前記第２演奏を行うように前記演奏データを出力し、
    出力された前記演奏データによる前記第２演奏に対する前記演奏者の満足度を取得し、
    強化学習により、取得される前記満足度を報酬として用いて、前記演奏エージェントを訓練する、
    処理を実行させるための、
    プログラム。