JP7189169B2 - 自動作曲システム及び自動作曲方法 - Google Patents

Description

本発明は、自動作曲システム及び自動作曲方法に関する。

従来から、自動作曲を行う技術がある。例えば、遠隔地にあるスタジオ等で収録される楽曲演奏や会話の音声映像を違和感なく合成し、合成した音声映像を第三者に配信できるようにする技術がある（特許文献１）。

また、別の場所にいる人とゲームをする場合に、インタラクティブに楽曲を変える場合、遅延が気になる。その場合に、補間処理し、推定によって違和感が無くなるようにする技術がある（特許文献２）。

特開２０１５－０７０４６０号公報 特開２０１４－１５０９３８号公報

自動作曲した曲をユーザが所持する端末において再生することにより、町興しやイベント等を行いたいというニーズがあった。

しかし、上記特許文献１及び特許文献２の技術は、遅延を抑えることを問題としており、既存の楽曲を合成等するため、著作権に関する問題を解決しておく問題がある。このため、自動作曲した曲を町興しやイベントで自由に使用することができない、という問題があった。

また、バラバラに割り当て合成する場合、遅延の問題と、合成して戻す為には音楽に関する専門知識が必要となるため、誰にでもできるわけではない、という問題があった。町興しやイベントに利用するには、誰にでも作曲ができるようにしておく必要がある。

本発明は、上記問題点を解決するためになされたもので、町興しやイベントに用いる曲を自動作曲することができる自動作曲システム及び自動作曲方法を提供することを目的とする。

上記の目的を達成するために、本発明の自動作曲システムは、端末と、サーバとを含み、前記端末は、検出部と、作曲部と、通信部と、再生制御部と、を含み、前記サーバは、指示部と、通信部とを含み、前記検出部は、前記端末の周辺を撮影するカメラから取得した映像から、前記映像内の変化量を表す動きデータを検出し、前記作曲部は、予め複数の担当に割り当てられたタイミングの各々に対し、前記動きデータに基づいてノート信号を生成することにより曲を作曲し、前記指示部は、前記複数の担当の各々について、前記担当が再生するタイミングを示す再生指示を生成し、前記サーバの通信部は、前記再生指示を、前記端末に送信し、前記端末の通信部は、前記再生指示を受信し、前記再生制御部は、受信した前記再生指示に基づいて前記曲を再生する。

また、本発明の自動作曲方法は、端末と、サーバとを含む自動作曲システムにおける自動作曲方法であって、前記端末の検出部が、前記端末の周辺を撮影するカメラから取得した映像から、前記映像内の変化量を表す動きデータを検出し、前記端末の作曲部が、予め複数の担当に割り当てられたタイミングの各々に対し、前記動きデータに基づいてノート信号を生成することにより曲を作曲し、前記端末の指示部が、前記複数の担当の各々について、前記担当が再生するタイミングを示す再生指示を生成し、前記サーバの通信部が、前記再生指示を、前記端末に送信し、前記端末の通信部が、前記再生指示を受信し、前記端末の再生制御部が、受信した前記再生指示に基づいて前記曲を再生する。

本発明の自動作曲システム及び自動作曲方法によれば、端末が、端末の周辺を撮影するカメラから取得した映像から、映像内の物体又は景色の動きデータを検出し、予め複数の担当に割り当てられたタイミングの各々に対し、動きデータに基づいてノート信号を生成することにより曲を作曲する。サーバが、複数の担当の各々について、当該担当が再生するタイミングを示す再生指示を生成し、再生指示を、端末に送信する。そして、端末が、受信した再生指示に基づいて曲を再生する。

このように、映像内の物体又は景色の動きデータを検出し、予め複数の担当に割り当てられたタイミングの各々に対し、動きデータに基づいてノート信号を生成することにより曲を作曲し、複数の担当の各々について、当該担当が再生するタイミングを示す再生指示に基づいて曲を再生することにより、町興しやイベントに用いる曲を自動作曲することができる。

また、本発明の前記自動作曲システムは、複数の前記端末を含み、前記指示部は、予め定められたエリア内にいる複数の端末の各々について、前記再生指示を生成し、前記通信部は、前記エリア内にいる端末の各々に対し、前記端末についての前記再生指示を送信することができる。

また、本発明の前記自動作曲システムの前記サーバは、エリア判定部を更に含み、前記端末の通信部は、取得した前記端末の現在位置を前記サーバに送信し、前記サーバの通信部は、前記端末の現在位置を受信し、前記エリア判定部は、前記複数の端末の各々について、前記端末の現在位置が所定エリア内であるか否かを判定し、前記指示部は、前記複数の端末を前記複数の担当とし、前記複数の端末の各々について、前記端末の現在位置が所定エリア内である場合に、前記複数の端末のうち前記所定エリア内にある端末の各々についての担当についての前記再生指示を生成し、前記通信部は、前記所定エリア内にある端末の各々に対し、前記端末についての前記再生指示を送信することができる。

また、本発明の前記自動作曲システムの前記サーバは、エリア判定部を更に含み、前記端末の通信部は、取得した前記端末の現在位置を前記サーバに送信し、前記サーバの通信部は、前記端末の現在位置を受信し、前記エリア判定部は、前記端末の現在位置が所定エリア内の複数のランドマークの何れか周辺に位置するか否かを判定し、前記エリア判定部は、前記複数のランドマークの各々について、前記端末が前記ランドマークの周辺に位置した場合、前記ランドマークを通過したと判定し、前記指示部は、前記複数のランドマークを前記複数の担当とし、前記端末が通過したランドマークの各々についての担当についての前記再生指示を生成し、前記通信部は、前記端末に前記再生指示を送信することができる。

また、本発明の前記自動作曲システムの前記作曲部は、対位法を用いて、前記動きデータに基づいてノート信号を生成することにより、前記曲を作曲することができる。

以上説明したように、本発明の自動作曲システム及び自動作曲方法によれば、映像内の物体又は景色の動きデータを検出し、予め複数の担当に割り当てられたタイミングの各々に対し、動きデータに基づいてノート信号を生成することにより曲を作曲し、複数の担当の各々について、当該担当が再生するタイミングを示す再生指示に基づいて曲を再生することにより、町興しやイベントに用いる曲を自動作曲することができる、という効果が得られる。

本実施形態における概略を示すイメージ図である。 本実施形態に係る自動作曲システムの構成を示す図である。 本実施形態に係る車載器のハードウェア構成を示すブロック図である。 本実施形態に係る車載器の機能構成を示すブロック図である。 ＭＩＤＩのデータ構成例を示す図である。 音を鳴らすタイミングのコントロールの例を示す図である。 音を鳴らすタイミングのコントロールの例を示す図である。 タイミングを割り付けた例を示すイメージ図である。 本実施形態に係る作曲部のブロック図を示す図である。 本実施形態に係る作曲部のブロック図を示す図である。 Ｃをキーとした場合の鍵盤と通し番号との関係を示すイメージ図である。 Ｃメジャースケールのコード表を示す図である Ｃ及びＧのコード表の割り付け例を示す図である。 Ｇをキーとした場合の鍵盤と通し番号との関係を示すイメージ図である。 Ａｍ７及びＥｍ７のコード表の割り付け例を示す図である。 本実施形態に係るサーバのハードウェア構成を示すブロック図である。 本実施形態に係るサーバの機能構成の例を示すブロック図である。 本実施形態における自動作曲処理ルーチンの内容を示すフローチャートである。 本実施形態におけるイベント制御処理ルーチンの内容を示すフローチャートである。 観光における場合の概略を示すイメージ図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。
＜本発明の実施形態の概要＞
本発明の実施形態では、自動作曲した曲を、イベントの参加者が所定エリアに入る度に、参加者毎に割り当てた曲の一部を追加して再生していく自動作曲システムについて説明する（図１）。

通常、自動作曲により既存の楽曲を合成した場合には著作権が発生するので、町おこしやイベントに自由に使うことができない。上記特許文献のような従来技術からは、端末が再生する曲を持ち、所定の信号が入る度に、再生を重ねて全体として１つの曲を作っていくことが考えられる。エリアに入った時に重ねていく今回の目的では、この方法の場合、遅延や同期は問題にならない。しかし、既存の曲を使う場合著作権が発生する他、その曲を分解して合成した時にその曲になるようにすることは素人では困難である。すなわち、専門家以外の人が容易に作曲できるわけではない。

また、自動作曲であれば、音を鳴らすタイミングを自由に分割し、それぞれに与えることができるか、というとそうでない。通常、曲の構成は、メロディ、ベース、コード、ドラムを組み合わせた形式が多い。そうすると、ベースやコードを鳴らすタイミングは自由ではない。例えば、コードは小節の初めのタイミングで鳴らすことが多いし、ベースも一定のタイミングで鳴らすことが通常である。

本発明に係る自動作曲システムでは、自動作曲に対位法（対位旋律）を用いる。これは、全てをメロディとして構成し、メロディの合成として作曲する。メロディを構成する各ノートに音量を割り当てる。すなわち、コードを弾くパートやベースを弾くパートといった特定の役割をしているものはない。映像の変化によってある楽器が強くなり、他が弱くなったりする。これを決定する技術としては、例えば参考文献１で示している、複雑さパラメータによる音量（ベロシティ）のコントロールである。全ての楽器に対して、同じコードあるいはスケールを用いることで、音の重なりに不況和音が発生しない構成となっている。
［参考文献１］特開２０１９－２０６３８号公報

具体的には、本実施形態に係る自動作曲システムでは、コード進行又はスケール、音を出すタイミング、デュレーション、音色、テンポ等のノート及び音量以外の要素を定めておく。そして、参加者が撮影した映像の動きに応じて、対位法によりノート及び音量（ベロシティ）を生成することにより作曲する。これにより、機械的に作曲されることにより、著作権が発生しない曲を自動で生成することができる。このため、作曲に専門家を必要としない。

また、本発明の実施形態に係る自動作曲では、上記特許文献で課題とする遅延や同期の必要はない。自動作曲では既存の楽曲を用いないため、著作権も発生しない。

本実施形態に係る自動作曲システムでは、更に、予め定めた音を出すタイミングを参加者やランドマークに割り当てておく。他の参加者が所定エリアに入る度、又は参加者がランドマークを通過する若しくはランドマークに寄る度に、当該他の参加者やランドマークに割り当てたタイミングについて、当該タイミングに当該参加者側で生成されたノートの音を、生成した音量で再生する。

すなわち、複数の参加者人が集まるイベントや、複数のランドマークを巡る観光による町興し等において、それぞれが自動作曲した曲が単調であるが、人が集まったりランドマークを巡ったりするに連れて、徐々に曲が完成していく。このため、参加者が一体感を感じることでイベントを盛り上げることや、その町の雰囲気に適した曲の完成により観光に対する満足度を向上させ町興しに貢献することができる。

＜自動作曲システムの構成＞
図１を参照して、本発明の実施形態に係る自動作曲システム１の構成について説明する。なお、本実施形態では、図１に示すように、所定エリアにてイベントが行われ、参加者ｂ～ｉが存在するような場面を想定している。なお、ａは、イベントの主催者であり、ｆ～ｉは見えない場所に位置しているものとする。

図２は、本開示の実施形態に係る自動作曲システム１の構成を示すブロック図である。図２に示すように、本発明の実施形態に係る自動作曲システム１は、複数の車両に搭載されたカメラ１０、センサ１５、及び車載器２０と、サーバ３０と、基地局４０と、ネットワーク５０とを備えて構成される。

基地局４０は、ネットワーク５０に接続され、無線通信により車載器２０と通信を行う無線基地局である。ネットワーク５０は、インターネットや広域イーサ網等の公衆網である。

車両に搭載されたカメラ１０は、車両に搭載されたカメラである。カメラ１０は、撮影した映像を、車載器２０に出力する。

センサ１５は、各ＧＰＳ衛星から得られる観測値であるＧＰＳデータを受信する。ＧＰＳデータには、疑似距離及びドップラー周波数が含まれている。そして、センサ１５は、受信したＧＰＳデータを車載器２０に出力する。

車載器２０は、自動作曲システムにおける端末である。図３及び図４を参照して、本発明の実施形態に係る車載器２０の構成について説明する。図３は、本実施形態に係る車載器２０のハードウェア構成を示すブロック図である。図３に示すように、車載器２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３、ストレージ２４、入力部２５、表示部２６、スピーカー２７及びアンテナ２８を有する。各構成は、バス２９を介して相互に通信可能に接続されている。

ＣＰＵ２１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２１は、ＲＯＭ２２又はストレージ２４からプログラムを読み出し、ＲＡＭ２３を作業領域としてプログラムを実行する。ＣＰＵ２１は、ＲＯＭ２２又はストレージ２４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ２２又はストレージ２４には、自動作曲処理を行うための自動作曲プログラムが記憶されている。

ＲＯＭ２２は、各種プログラム及び各種データを記憶する。ＲＡＭ２３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。

入力部２５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

表示部２６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部２６は、タッチパネル方式を採用して、入力部２５として機能しても良い。スピーカー２７は、曲を再生する。

アンテナ２８は、他の機器と無線通信するためのインターフェースであり、例えば、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

次に、車載器２０の機能構成について説明する。図４は、車載器２０の機能構成の例を示すブロック図である。図４に示すように、本実施形態に係る車載器２０は、取得部２０１と、検出部２０２と、作曲部２０３と、通信部２０４と、再生制御部２０５とを備えて構成される。

取得部２０１は、カメラ１０から、カメラ１０が撮影した映像を取得する。そして、取得部２０１は、取得した映像を、検出部２０２に渡す。

また、取得部２０１は、センサ１５から、車載器２０の現在位置を示すＧＰＳデータを取得する。そして、取得部２０１は、取得したＧＰＳデータを、通信部２０４に渡す。

検出部２０２は、車載器２０の周辺を撮影するカメラ１０から取得した映像から、映像内の変化量を表す動きデータを検出する。具体的には、検出部２０２は、映像全体と、映像を分割した各部分との各々について、映像内の変化量を求め、これらを平均化した動きデータを求める。カメラ１０が撮影した映像には様々な物が映っており、それらが動く場合変化量が大きく、青空のように対象物がなく、変化が乏しい場合には、変化量は小さい。このように、車両に搭乗したユーザが見える景色に応じて、動きデータを検出する。そして、検出部２０２は、検出した動きデータを、作曲部２０３に渡す。

作曲部２０３は、予め複数の担当に割り当てられたタイミングの各々に対し、動きデータに基づいてノート信号を生成することにより曲を作曲する。

具体的には、作曲部２０３は、まず、サーバ３０により受信した音を出すタイミング、デュレーション、音色、テンポ等のノート及び音量以外の要素を設定する。本実施形態では、曲はＭＩＤＩデータとして表される場合を例に説明する。図５は、ＭＩＤＩのデータ構成例を示す。図５に示すように、曲は、ノート、ベロシティ、デュレーション（音の長さ）、音色（楽器）、パン（音の向き）から構成される。本実施形態では、ベロシティは参考文献１の手法により生成したものを用いる。デュレーション、音色及びパンは、主催者により予め設定される。また、音を鳴らすタイミング及びテンポと、スケール又はコード（進行）とについても予め設定される。より具体的には、主催者によりサーバ３０に設定され、各車載器２０に設定される。

図６及び図７は音を鳴らすタイミングのコントロールの例を示している。タイミングをコントロールするために、テンポとして、ＢＰＭ（Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ）が設定される。ＢＰＭは、例えば１分間に４分音符を１２０個カウントする速さで、１小節を１６拍で打つ、等である。

次に、音を鳴らすタイミングとして、１小節の音を鳴らすことが可能なタイミングの拍として記述する。例えば、図７の例では、１小節を１６拍で書いている。なお、間に３連符等の連符が入る場合には、それに応じて記載すればよい。例えば、１小節を４８拍として記載すればよい。図７において、Ｓａはタイミングをコントロールするための小節の頭のタイミングである。Ｓａはコード進行の場合、コードとずらし値を変えるタイミングを示している。Ｓ１～Ｓ４は楽器を鳴らすタイミングである。印を付けている部分で１が出る。そうでない場合は０を出力する。０の時はそのタイミングの音をならさない。

このように、ノート信号以外については、設定に応じて全体として曲が出来上がっている。このタイミングを、複数の車載器２０を複数の担当として割り付ける。具体的には、図８に示すように、タイミングを分割して、参加者ａ～ｉ（の車載器２０）が担当するように、割り付けておく。参加者が所定エリアに入ると、サーバ３０から、所定エリアに入った参加者の担当するタイミングについて作曲したノート信号の再生指示が来るのである。

次に、作曲部２０３は、各タイミングに動きデータに基づいてノート信号を生成する。図９に作曲部２０３のブロック図を示す。４つの楽器（音色）を使う例で、ＭＩＤＩのノート信号の生成過程を示している。作曲部２０３の自動作曲では、ノート信号の生成と、音量（音の強弱）の生成とを行う。ここで、音量については、例えば参考文献１の手法を用いる。

作曲部２０３のノート信号の生成は、検出部２０２により検出された動きデータを、２～４オクターブ程度のトーン番号に収まるようにマッピングする（２３１）。マッピングには、任意の演算を用いる。すなわち、どのような演算を使うかで、入力に対するノート信号の割り付け方が変わる。なお、演算の代わりに、表を用いてもよい。

その後、マッピングしたデータを、スケール内の音、又はコード内の音に割り付ける（２３２）。コードを使う場合は、割り付けるためのコード表を、コード進行に従って変化させる。例えば、１小節の頭でコード表を変えていけばよい。

掛け算（２３３）に入っているタイミングコントロールは、１又は０を出力する。１が入ると、ノート信号がＭＩＤＩに入る。０の場合、ノート信号は０になる。ノート信号の２４以上をＭＩＤＩに伝えるようにしておくと、０はＭＩＤＩに入らず、音はでない。この構成は対位旋律（対位法）によって作曲する構成になっている。

図９の例では、全体の動きデータ、３つの部分の動きデータに対応する計４つのブランチのそれぞれにおいて、全てメロディを作る。このメロディが合成された時に不協和音にならないように、４つとも同じスケールをあるいは同じコードを用いる。

図１０は、１つのブランチの詳細である。例えば、ＭＩＤＩでは、鍵盤のどこを叩くかを通し番号で表している。マッピングしたデータを１２音階で割った商と余りに基づいて指定することができる。図１１に鍵盤のどこを叩くかを指定する演算の例を示す。商は予め設定した２～４オクターブを超える可能性がある。この場合、２～４の範囲の整数に丸める。丸める方法は任意の方法を採用することができる。例えば、商を設定したオクターブ数（例えば３）で割り、０～オクターブ数（３）の整数のうち最も近い整数とする。また、余りはスケール表又はコード表に基づいて、所定のオクターブ内の音に対応する数値とする。そして、丸めた整数に１２を乗じて、余りを加算することにより、通し番号とする。以下では、音名は英米式表記（ＣＤＥＦＧＡＢ）で説明する。

ここで、基本的にスケールはＣから始まるため、Ｃ以外をキーとする他のスケールやコードを使う場合には、ずらし値が必要となる。この場合、Ｃからキーとする音との差分をずらし値とする。そして、算出した通し番号にずらし値を加算する。例えば、Ｇをキーとする場合、Ｃとは７音差があるため、ずらし値を７とする。また、例えばＡ＃をキーとする場合、Ｃとは１０音差あるため、ずらし値を１０とする。

また、ずらし値を加算した場合にオクターブが範囲外となる可能性がある。この場合、変わる値に応じて、オクターブを移動させるように、ずらし値を加算した通し番号から更に１２を減算又は加算する。このようにして算出した値を、ノート番号とする。

ここで、コード表の生成について説明する。図１２にＣメジャースケールのコード表を示す。例えば、Ｃ→Ｇ→Ａｍ７→Ｅｍ７→…というコード進行をした場合、Ｃのコードを選択した時は、ＣＥＧの何れかになるように作ったコード表を使う。この時、３つの音は何れもＣＥＦの中の音を出す。この時、オクターブが異なっていてもよい。０～１１の余りをＣＥＦの何れかに割り付ける（図１３）。

Ｇをキーとする場合もＣと同様である。すなわち、図１４の鍵盤を見るとＧ（ソ）はＣから数えて７番目であるため、ずらし値は７である。Ｇのコード表は７を０にして０～１１の番号を割り当て、０～１１の値がＧＨＤの何れかになるように作ったものである（図１０）。

また、Ａｍ７やＥｍ７も同様にコード表とずらし値を求めることができる。こちらは４和音となっているので、余りの０～１１の値は４つの音のいずれかに分類するように表を作る（図１５）。

そして、作曲部２０３は、作曲した曲を、再生制御部２０５に渡す。

通信部２０４は、取得した車載器２０の現在位置をサーバ３０に送信する。また、通信部２０４は、サーバ３０から、ノート及び音量以外の要素を受信し、作曲部２０３に渡す。また、通信部２０４は、サーバ３０から、複数の担当の各々について、当該担当が再生するタイミングを示す再生指示を受信し、再生制御部２０５に渡す。

再生制御部２０５は、受信した再生指示に基づいて曲を再生する。ここで、再生指示には、ａ～ｉの何れを再生すべきか、及びいつ再生を開始するかという情報が含まれる。

具体的には、再生制御部２０５は、再生指示に含まれる再生対象のａ～ｉを指定されたタイミングで再生する。

サーバ３０は、自動作曲システムにおける端末に対して、再生指示を行う。図１６及び図１７を参照して、本発明の実施形態に係るサーバ３０の構成について説明する。なお、車載器２０と同様の構成について同一の符号を付して説明を省略する。

図１６は、本実施形態に係るサーバ３０のハードウェア構成を示すブロック図である。図１６に示すように、サーバ３０は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、ストレージ３４、入力部２５、表示部２６、及び通信インターフェース（Ｉ／Ｆ）３７を有する。各構成は、バス２９を介して相互に通信可能に接続されている。

ＣＰＵ３１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ３１は、ＲＯＭ３２又はストレージ３４からプログラムを読み出し、ＲＡＭ３３を作業領域としてプログラムを実行する。ＣＰＵ３１は、ＲＯＭ３２又はストレージ３４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ３２又はストレージ３４には、イベント制御処理を行うためのイベント制御プログラムが記憶されている。

ＲＯＭ３２は、各種プログラム及び各種データを記憶する。ＲＡＭ３３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ３４は、ＨＤＤ又はＳＳＤにより構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。

通信インターフェース３７は、他の機器と通信するためのインターフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

次に、サーバ３０の機能構成について説明する。図１７は、サーバ３０の機能構成の例を示すブロック図である。図１７に示すように、本実施形態に係るサーバ３０は、設定部３０１と、通信部３０２と、エリア判定部３０３と、指示部３０４とを備えて構成される。

設定部３０１は、ノート及び音量以外の要素を設定する。具体的には、設定部３０１は、予め格納され、又は主催者等から入力されたノート及び音量以外の要素を設定する。ここで、ノート及び音量以外の要素のうち、スケールやコード進行、テンポ等の要素は、イベント等に応じて設定することができる。例えば、主催者が様々なスケールやコード進行の組み合わせを聞いて、これをイベントに使いたいと思った要素を設定することができる。これについて、専門知識は不要である。予めこれらの組合せを提示し、選択を受け付ける構成としてもよい。そして、設定部３０１は、設定したノート及び音量以外の要素を、通信部３０２に渡す。

通信部３０２は、各車載器２０から、当該車載器２０の現在位置を受信し、エリア判定部３０３に渡す。また、通信部３０２は、車載器２０に、ノート及び音量以外の要素を送信する。また、通信部３０２は、車載器２０に、再生指示を送信する。

エリア判定部３０３は、複数の車載器２０の各々について、当該車載器２０の現在位置が所定エリア内であるか否かを判定する。

具体的には、エリア判定部３０３は、複数の車載器２０の各々について、当該車載器２０のＧＰＳデータが、イベント対象のエリアである所定エリアに位置するか否かを判定する。そして、エリア判定部３０３は、複数の車載器２０の各々についての判定結果を、指示部３０４に渡す。

指示部３０４は、複数の車載器２０の各々について、当該車載器２０の現在位置が所定エリア内である場合に、複数の車載器２０のうち所定エリア内にある車載器２０の各々についての担当についての再生指示を生成する。具体的には、指示部３０４は、まず、所定エリア内にある車載器２０の各々の担当するタイミングをｏｎにする。すなわち、車載器２０では、所定エリア内にある車載器２０の各々の担当するタイミングが再生される。このとき、当該再生指示で再生を開始する位置も指定する。例えば、曲の再生が開始されていない場合には、曲の頭から、曲の再生が開始されている場合には、次の小節の頭から再生を開始するという指定をすることができる。そして、指示部３０４は、生成した再生指示を、通信部３０２に渡す。

このように、エリア判定部３０３による判定結果と、指示部３０４による再生指示により、所定エリアに参加者が入った場合に、所定エリア内にある車載器２０では曲のメロディが増え、逆に所定エリアから参加者が入った場合に、所定エリア内にある車載器２０では曲のメロディが減ることとなる。

＜自動作曲システム１の動作＞
次に、図１８を参照して、本実施形態の自動作曲システム１の車載器２０の自動作曲処理ルーチンについて説明する。

まず、ステップＳ１０１において、通信部２０４は、サーバ３０から、ノート及び音量以外の要素である基本設定を受信する。

ステップＳ１０２において、取得部２０１は、センサ１５から、車載器２０の現在位置を示すＧＰＳデータを取得する。

ステップＳ１０３において、通信部２０４は、取得した車載器２０の現在位置をサーバ３０に送信する。

ステップＳ１０４において、通信部２０４は、サーバ３０から、複数の担当の各々について、当該担当が再生するタイミングを示す再生指示を受信する。

ステップＳ１０５において、取得部２０１は、カメラ１０から、カメラ１０が撮影した映像を取得する。

ステップＳ１０６において、検出部２０２は、車載器２０の周辺を撮影するカメラ１０から取得した映像から、映像内の変化量を表す動きデータを検出する。

ステップＳ１０７において、作曲部２０３は、予め複数の担当に割り当てられたタイミングの各々に対し、動きデータに基づいてノート信号を生成することにより曲を作曲する。

ステップＳ１０８において、再生制御部２０５は、受信した再生指示に基づいて曲を再生する。

ステップＳ１０９において、再生制御部２０５は、所定時間待機する。ここで、所定時間は、所定周期における時間間隔である。

ステップＳ１１０において、再生制御部２０５は、次周期で曲の再生が終了するか否かを判定する。

次周期で曲の再生が終了する場合（上記ステップＳ１１０のＹＥＳ）、ステップＳ１０２に戻る。

一方、次周期で曲の再生が終了しない場合（上記ステップＳ１１０のＮＯ）、ステップＳ１１１において、取得部２０１は、センサ１５から、車載器２０の現在位置を示すＧＰＳデータを取得する。

ステップＳ１１２において、通信部２０４は、取得した車載器２０の現在位置をサーバ３０に送信する。

ステップＳ１１３において、通信部２０４は、サーバ３０から、複数の担当の各々について、当該担当が再生するタイミングを示す再生指示を受信し、ステップＳ１０８に戻る。

次に、図１９を参照して、本実施形態の自動作曲システム１のサーバ３０によるイベント制御処理ルーチンについて説明する。

ステップＳ２０１において、設定部３０１は、ノート及び音量以外の要素である基本設定を設定する。

ステップＳ２０２において、上記ステップＳ２０１により設定された基本設定を、各車載器２０に送信する。

ステップＳ２０３において、通信部３０２は、各車載器２０から、当該車載器２０の現在位置を受信する。

ステップＳ２０４において、エリア判定部３０３は、複数の車載器２０の各々について、当該車載器２０の現在位置が所定エリア内であるか否かを判定する。

ステップＳ２０５において、指示部３０４は、複数の車載器２０の各々について、当該車載器２０の現在位置が所定エリア内である場合に、複数の車載器２０のうち所定エリア内にある車載器２０の各々についての担当についての再生指示を生成する。

ステップＳ２０６において、通信部３０２は、上記ステップＳ２０５により生成された再生指示を、所定エリア内にある車載器２０の各々に対して送信し、ステップＳ２０３に戻る。なお、基本設定に変更がある場合には、ステップＳ２０１から再度実行する。

以上説明したように、本発明の実施形態に係る自動作曲システムによれば、映像内の物体又は景色の動きデータを検出し、予め複数の担当に割り当てられたタイミングの各々に対し、動きデータに基づいてノート信号を生成することにより曲を作曲し、複数の担当の各々について、当該担当が再生するタイミングを示す再生指示に基づいて曲を再生することにより、町興しやイベントに用いる曲を自動作曲することができる。

また、所定エリアに参加者が入った場合に、所定エリア内にある車載器２０では曲のメロディが増え、逆に所定エリアから参加者が入った場合に、所定エリア内にある車載器２０では曲のメロディが減ることとなる。リアルタイムでどれだけ参加者がいるか等を体感できることにより、イベントに参加した人々の一体感等を体験させることができるのである。参加者が多数の場合には、同じタイミングを割り付け、同じタイミングの人数に応じてベロシティをコントロールする構成を採用する。これにより、より規模の大きいイベントにも適用することができる。

ここで、自動作曲システム１において、同じエリアにいる車載器２０は、完全に同じ曲を作曲するわけではない。各車載器２０は、同じコード進行あるいはスケール、同じデュレーション、同じ音色、同じパン、同じ音を出すタイミングを使うことになる。しかし、映像から定まるノート信号とベロシティとは、各車載器２０において異なる。このため、雰囲気は同じ曲になるが、各車載器２０において、それぞれ異なる曲が作曲される。

曲自体は車載器２０で自動作曲され、他からの曲を必要としない。必要なのは、他者が担当する音を出すタイミング情報だけでよい。各参加者が雰囲気を共有できればよいと割り切ることにより、著作権を気にせずに町興しやイベントに用いる曲を自動作曲することができるのである。

なお、本開示は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述の実施形態では、イベントの所定エリアに参加者が来る場合を例に説明したがこれに限定されるものではない。例えば、図２０に示すように、１人の参加者がランドマークを通過したり寄ったりした場合に、曲（ランドマークの担当するメロディ）が増えていくのである。この場合、予め定めた音を出すタイミングをランドマークに割り当てておく。参加者がランドマークを通過する又はランドマークに寄る度に、当該ランドマークに割り当てたタイミングについて、タイミングに参加者側で作曲された曲を再生する。

このように、その町の雰囲気に適した曲の完成により観光に対する満足度を向上させ町興しに貢献することができる。

一度ランドマークを通過したとしても、経過時間に応じて、音を減らすこととすることも可能である。すなわち、観光地から去って行く参加者に対して、経過時間に応じて少しずつ音が減っていくことで、当該観光地から離れていく印象を与え、観光地をより強く印象付けることができるのである。

また、図２０において、ルート毎に基本設定を異なるようにしてもよい。例えば、ルートＢとルートＣとでは、異なるコード進行を用いるように構成することができる。

また、バスのように、複数の人が乗ってくるクルマに対して、乗ってくる人が増えると全体として音楽となるように構成してもよい。イベント会場に向かうバス等では雰囲気を盛り上げることができる。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１ 自動作曲システム
１０ カメラ
１５ センサ
２０ 車載器
２１、３１ ＣＰＵ
２２、３２ ＲＯＭ
２３、３３ ＲＡＭ
２４、３４ ストレージ
２５ 入力部
２６ 表示部
２７ スピーカー
２８ アンテナ
２９ バス
３０ サーバ
３７ 通信インターフェース
４０ 基地局
５０ ネットワーク
２０１ 取得部
２０２ 検出部
２０３ 作曲部
２０４ 通信部
２０５ 再生制御部
３０１ 設定部
３０２ 通信部
３０３ エリア判定部
３０４ 指示部

Claims (6)

1. 端末と、サーバとを含み、
   前記端末は、検出部と、作曲部と、通信部と、再生制御部と、を含み、
   前記サーバは、指示部と、通信部とを含み、
   前記検出部は、前記端末の周辺を撮影するカメラから取得した映像から、前記映像内の変化量を表す動きデータを検出し、
   前記作曲部は、予め複数の担当に割り当てられたタイミングの各々に対し、前記動きデータに基づいてノート信号を生成することにより曲を作曲し、
   前記指示部は、前記複数の担当の各々について、前記担当に割り当てられたタイミングのノート信号を再生するか否かを示す再生指示を生成し、
   前記サーバの通信部は、前記再生指示を、前記端末に送信し、
   前記端末の通信部は、前記再生指示を受信し、
   前記再生制御部は、受信した前記再生指示に基づいて前記曲を再生する
   自動作曲システム。
2. 前記自動作曲システムは、複数の前記端末を含み、
   前記指示部は、予め定められたエリア内にいる複数の端末の各々について、前記再生指示を生成し、
   前記サーバの通信部は、前記エリア内にいる端末の各々に対し、前記端末についての前記再生指示を送信する
   請求項１記載の自動作曲システム。
3. 前記サーバは、エリア判定部を更に含み、
   前記端末の通信部は、取得した前記端末の現在位置を前記サーバに送信し、
   前記サーバの通信部は、前記端末の現在位置を受信し、
   前記エリア判定部は、前記複数の端末の各々について、前記端末の現在位置が所定エリア内であるか否かを判定し、
   前記指示部は、前記複数の端末を前記複数の担当とし、前記複数の端末の各々について、前記端末の現在位置が所定エリア内である場合に、前記複数の端末のうち前記所定エリア内にある端末の各々についての担当についての前記再生指示を生成し、
   前記通信部は、前記所定エリア内にある端末の各々に対し、前記端末についての前記再生指示を送信する
   請求項２記載の自動作曲システム。
4. 前記サーバは、エリア判定部を更に含み、
   前記端末の通信部は、取得した前記端末の現在位置を前記サーバに送信し、
   前記サーバの通信部は、前記端末の現在位置を受信し、
   前記エリア判定部は、前記端末の現在位置が所定エリア内の複数のランドマークの何れか周辺に位置するか否かを判定し、
   前記エリア判定部は、前記複数のランドマークの各々について、前記端末が前記ランドマークの周辺に位置した場合、前記ランドマークを通過したと判定し、
   前記指示部は、前記複数のランドマークを前記複数の担当とし、前記端末が通過したランドマークの各々についての担当についての前記再生指示を生成し、
   前記通信部は、前記端末に前記再生指示を送信する
   請求項１記載の自動作曲システム。
5. 前記作曲部は、対位法を用いて、前記動きデータに基づいてノート信号を生成することにより、前記曲を作曲する
   請求項１～請求項４の何れか１項記載の自動作曲システム。
6. 端末と、サーバとを含む自動作曲システムにおける自動作曲方法であって、
   前記端末の検出部が、前記端末の周辺を撮影するカメラから取得した映像から、前記映像内の変化量を表す動きデータを検出し、
   前記端末の作曲部が、予め複数の担当に割り当てられたタイミングの各々に対し、前記動きデータに基づいてノート信号を生成することにより曲を作曲し、
   前記端末の指示部が、前記複数の担当の各々について、前記担当に割り当てられたタイミングのノート信号を再生するか否かを示す再生指示を生成し、
   前記サーバの通信部が、前記再生指示を、前記端末に送信し、
   前記端末の通信部が、前記再生指示を受信し、
   前記端末の再生制御部が、受信した前記再生指示に基づいて前記曲を再生する
   自動作曲方法。

Images