JP7331388B2 - 情報処理装置、方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、方法、及びプログラムに関する。

特許文献１には、画像の動きを制御するための動作パラメータを参照しつつ、楽曲に対応する楽音制御情報及び同期信号に応答して画像各部の動作を逐次制御し、音楽モジュールによる楽音生成の進行に同期して動く画像を生成する楽音応答画像生成システムが開示されている。

特開平１１－２２４０８４号公報

特許文献１に開示された楽音応答画像生成システムでは、音楽の演奏に同期して画像オブジェクトを動かしている。この方法では、リアルタイムで演奏に追従した表現を行うことはできても、演奏全体に適合した表現を行うことは難しいという課題があった。

本発明は上記の課題に鑑みてなされたものであって、演奏全体を視覚的に表現することが可能な情報処理装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る情報処理装置の一態様は、
入力インターフェースと、
出力インターフェースと、
少なくとも一つのプロセッサと、を備え、
前記少なくとも一つのプロセッサは、
演奏開始タイミング及び演奏終了タイミングに基づいた演奏時間に応じた長さを有する渦巻の軌跡に沿って複数のイラストを配置するとともに、前記入力インターフェースから入力される複数の演奏情報に基づいたベロシティ情報に応じて前記渦巻の軌跡の大きさを変化するよう、前記複数のイラストが前記渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力する、
ことを特徴とする。

本発明によれば、演奏全体を視覚的に表現することが可能な情報処理装置、方法、及びプログラムを提供できる。

実施の形態１に係る情報処理装置を載置した電子楽器の平面図である。 実施の形態１の情報処理装置の構成を示すブロック図である。 実施の形態１の軌跡生成部が生成する軌跡に含まれる渦巻線を示す図である。 実施の形態１において演奏時間（Ａ）１５秒、（Ｂ）３０秒、（Ｃ）４５秒の楽曲について軌跡生成部が生成する軌跡と画像情報出力部が生成する画像とを示す図である。 実施の形態１の電子楽器の構成を示すブロック図である。 実施の形態１に係る情報処理装置が実行する画像出力処理のフローチャートである。 実施の形態２の軌跡生成部が（Ａ）演奏の力強さが小さい場合、（Ｂ）演奏の力強さが大きい場合に生成する軌跡に含まれる渦巻線を示す図である。 実施の形態２に係る情報処理装置が実行する画像出力処理のフローチャートである。 実施の形態３の軌跡生成部が（Ａ）演奏のリズムが規則的な場合、（Ｂ）演奏のリズムが不規則な場合に生成する軌跡に含まれる渦巻線を示す図である。 実施の形態３に係る情報処理装置が実行する画像出力処理のフローチャートである。 実施の形態４に係る情報処理装置が実行する画像出力処理のフローチャートである。 変形例の軌跡生成部が生成する軌跡に含まれる線を示す図である。

（実施の形態１）
実施の形態１に係る情報処理装置１００について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。

図１は、情報処理装置１００を載置した電子楽器２００の平面図である。図１に示すように、実施の形態１に係る情報処理装置１００は、電子楽器２００に接続され電子楽器２００を用いて演奏された楽曲を視覚的に表現した映像を表示する装置である。情報処理装置１００は、例えばパーソナルコンピュータ、タブレット端末、スマートフォンを含むが、これに限られるものではない。情報処理装置１００と電子楽器２００とは、電子楽器システム１を構成する。

図２は、情報処理装置１００の構成を示すブロック図である。図２に示すように、情報処理装置１００は、プロセッサ１１０と、入力インターフェース１２０と、出力インターフェース１３０と、表示装置１４０と、操作装置１５０と、ＲＡＭ（Random Access Memory）１６０と、ＲＯＭ（Read Only Memory）１７０と、を備える。

プロセッサ１１０は、プログラムを実行することにより情報処理装置１００を制御する処理装置である。プロセッサ１１０は、ＲＯＭ１７０に記憶されたプログラム及びデータを読み出し、ＲＡＭ１６０を作業領域として用いる。プロセッサ１１０はＣＰＵ（Central Processing Unit）を含むが、これに限られるものではない。

入力インターフェース１２０は、電子楽器２００に接続され、演奏情報の入力を受け付けるインターフェースである。入力インターフェース１２０は、受け付けた演奏情報をプロセッサ１１０に伝達する。入力インターフェース１２０は、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した演奏情報を受け付け、ＭＩＤＩ規格に準拠した構造を有するが、演奏情報の規格及び入力インターフェース１２０の構成はこれに限られるものではない。

演奏情報は典型的にはＭＩＤＩメッセージであり、演奏情報に含まれる要素としてそれぞれの音高に対するノートオフ又はノートオンの命令及びそのベロシティ情報（ベロシティ値）、音量・音質・音色を制御する命令があるが、演奏情報及び演奏情報に含まれる要素はこれに限られるものではない。

出力インターフェース１３０は、プロセッサ１１０から取得した画像を表示させるための情報（画像情報）を、表示装置１４０に出力するインターフェースである。画像情報は、電子楽器２００を用いて演奏された楽曲を視覚的に表現した映像である。

表示装置１４０は、出力インターフェース１３０から取得した画像情報に基づき、画像を表示する表示装置である。表示装置１４０は、例えば液晶パネル、有機ＥＬ（Electro Luminescence）パネルを含むが、これに限られるものではない。

操作装置１５０は、ユーザによる操作を受け付け、操作内容を示す入力信号をプロセッサ１１０に伝達する入力装置である。操作装置１５０は、例えばキーボード、マウス、タッチパッド、ボタン、スライダーを含むが、これに限られるものではない。

ＲＡＭ１６０は、プロセッサ１１０が処理を実行するための作業領域として機能する揮発性メモリである。

ＲＯＭ１７０は、プロセッサ１１０が処理を実行するために用いるプログラム及びデータを記憶する記憶装置である。ＲＯＭ１７０は、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）を含むが、これに限られるものではない。

実施の形態１に係る情報処理装置のプロセッサ１１０の機能構成について説明する。

プロセッサ１１０は、ＲＡＭ１６０に記憶プログラム及びデータを読み出して実行することにより、演奏判定部１１１、軌跡生成部１１２、及び画像情報出力部１１３として機能する。

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から第１演奏情報を受け付け、第１演奏情報を受け付けたタイミングを演奏開始タイミングとして取得し、ＲＡＭ１６０に保存する。第１演奏情報は演奏情報に含まれる。

演奏判定部１１１は、演奏情報を或る時間受け付けない、及び入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けた、のいずれかのタイミングを演奏終了タイミングとして取得し、ＲＡＭ１６０に保存する。或る時間とは例えば５秒間であるが、これに限られるものではない。

演奏判定部１１１は、ＲＡＭ１６０に保存した演奏開始タイミングと演奏終了タイミングとに基づいて、演奏時間を算出する。具体的には、演奏判定部１１１は、演奏開始タイミングと演奏終了タイミングとの差を演奏時間として算出する。

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏情報を受け付けると、それぞれの演奏情報に対して演奏情報に応じてＲＯＭ１７０に記憶されたイラストを対応付ける。演奏判定部１１１は、例えばＲＯＭ１７０に記憶された演奏情報に含まれる音高とイラストとを対応付けるテーブルに従って演奏情報にイラストを対応付けるが、これに限られるものではなく、演奏情報に含まれる音の強さ又は音の長さとイラストとを対応付けても良い。

軌跡生成部１１２は、それぞれの演奏情報に対応付けたイラストを配置する演奏の軌跡を生成する。軌跡生成部１１２は、演奏判定部１１１が算出した演奏時間に基づいて演奏の軌跡の長さを決定する。例えば、演奏時間が第１演奏時間長の場合の軌跡の長さである第１長と、演奏時間が第２演奏時間長の場合の軌跡の長さである第２長とについて、第１演奏時間長が第２演奏時間長よりも短い場合、第１長は第２長よりも短くなる。

軌跡生成部１１２は、以下の式（１）－（４）に従い、点（ｘ（ｎ），ｙ（ｎ））のｎ＝０，１，…，Ｐ－１の集合として軌跡を生成する。ここで、（ｘ_０，ｙ_０）は原点の座標、Ｐは描画ポイント数を示す定数、Ａは軌跡の長さを示す定数である。
ｔｈ＝Ａ×ｎ／（Ｐ－１） （１）
ｒｒ＝（Ｐ－ｎ）／Ｐ （２）
ｘ（ｎ）＝（ｘ_０＋ｃｏｓ（ｔｈ）×ｒｒ）×Ｐ （３）
ｙ（ｎ）＝（ｙ_０＋ｓｉｎ（ｔｈ）×ｒｒ）×Ｐ （４）

軌跡生成部１１２は、式（１）のＡを演奏判定部１１１が算出した演奏時間に従って変化させることで、軌跡の長さを変化させる。

図３は、軌跡生成部１１２が生成する軌跡に含まれる渦巻線を示す図である。図３に示すように、軌跡生成部１１２は、式（１）－（４）に従い原点に近づく渦巻線状の軌跡を生成する。なお、図３において、（ｘ_０，ｙ_０）＝（０，０）、Ｐ＝１００、Ａ＝２０である。

画像情報出力部１１３は、軌跡生成部１１２が生成した軌跡上に軌跡生成部１１２が演奏情報について対応付けたイラストを配置して画像を生成し、画像を表示するための情報である画像情報を生成する。

図４（Ａ），（Ｂ），（Ｃ）は、軌跡生成部１１２が生成する軌跡と、画像情報出力部１１３が生成する画像とを示す図である。軌跡生成部１１２が生成する軌跡は図の左側に、画像情報出力部１１３が生成する画像はずの右側に、それぞれ記載されている。図４（Ａ），（Ｂ），（Ｃ）は演奏時間がそれぞれ１５秒、３０秒、４５秒の演奏に基づいて生成された軌跡及び画像である。図４（Ａ），（Ｂ），（Ｃ）に示すように、軌跡上に演奏情報について対応付けられたイラストがそれぞれ配置される。なお、図４（Ａ），（Ｂ），（Ｃ）においては、軌跡生成部１１２渦巻線に直線を追加した軌跡を生成している。

図４（Ａ），（Ｂ）を参照して、演奏時間がそれぞれ１５秒（第１時間長）、３０秒（第２時間長）における軌跡を比較し、軌跡の長さをそれぞれ第１長さ、第２長さとすると、（第１長さ）＜（第２長さ）である。図４（Ｂ），（Ｃ）を参照して演奏時間３０秒、４５秒について比較しても同様である。即ち、演奏時間が長くなるにつれて渦巻線状の軌跡は長くなる。

画像情報出力部１１３は、生成した画像情報を、出力インターフェース１３０を介して表示装置１４０に出力する。

実施の形態１に係る情報処理装置１００に接続される電子楽器２００について説明する。電子楽器２００は、電子ピアノ、シンセサイザー、電子オルガンを含む電子鍵盤楽器である。

図５は、電子楽器２００の構成を示すブロック図である。図５に示すように、電子楽器２００は、プロセッサ２１０と、鍵２２０と、押鍵検出装置２３０と、スピーカ２４０と、操作装置２５０と、通信装置２６０と、譜面台２７０と、を備える。

プロセッサ２１０は、プログラムを実行することにより電子楽器２００を制御する処理装置である。プロセッサ２１０は、図示しないＲＯＭに記憶されたプログラム及びデータを読み出し、図示しないＲＡＭを作業領域として用いる。プロセッサ２１０は制御ＬＳＩ（Large Scale Integration）を含み得るが、これに限られるものではない。

プロセッサ２１０は、押鍵検出装置２３０から押鍵情報を取得し、スピーカ２４０を制御して、取得した押鍵情報に含まれる鍵２２０の位置に応じた音高、押鍵された長さに応じた長さ、押鍵された強さに応じた大きさで音を出力させる。

プロセッサ２１０は、押鍵検出装置２３０から取得した押鍵情報に基づいて演奏情報を生成し、通信装置２６０を介して情報処理装置１００に演奏情報を送信する。

鍵２２０は、電子楽器２００が発音する音の音高、強さ、長さを指定する操作子である。ユーザは鍵２２０を操作し、押鍵する鍵２２０の位置、押鍵する強さ、及び押鍵する長さを変化させることによって、それぞれ演奏する音の音高、音の強さ、音の長さを決定する。

押鍵検出装置２３０は、ユーザによる鍵２２０の押鍵を検出する検出装置である。押鍵検出装置２３０は、ユーザによって押鍵された鍵２２０の位置、押鍵及び離鍵された時刻、押鍵された強さを検出し、押鍵情報としてプロセッサ２１０に伝達する。押鍵検出装置２３０は鍵２２０の下部に鍵２２０に接触して設けられる。押鍵検出装置２３０は例えばラバースイッチを含むが、これに限られるものではない。

スピーカ２４０は、プロセッサ２１０から伝達された音データを音に変換して出力する出力装置である。スピーカ２４０は図示しないアンプを含む。

操作装置２５０は、ユーザによる入力を受け付け、操作内容を示す入力信号をプロセッサ２１０に電津する入力装置である。操作装置２５０は、例えばユーザによる音量、音色又は音質を設定する入力、演奏開始又は演奏終了を示す入力を受け付ける。操作装置２５０はボタン、スライダーを含むが、これに限られるものではない。

通信装置２６０は、情報処理装置１００に接続して通信を行うインターフェースである。通信装置２６０はＭＩＤＩ規格に準拠したインターフェースを含み、情報処理装置１００に接続されて演奏情報、演奏開始を示す情報、又は演奏終了を示す情報を情報処理装置１００に送信する。

譜面台２７０は、演奏者が譜面を載置する台である。本実施の形態においては、譜面台２７０には情報処理装置１００が載置されている。

実施の形態１に係る情報処理装置１００が実行する画像出力処理について説明する。図６は、情報処理装置１００が実行する画像出力処理のフローチャートである。画像出力処理について、図６のフローチャートを参照して説明する。

情報処理装置１００のプロセッサ１１０は、出力インターフェース１３０を介して画像出力処理の開始を示す操作入力を受け付けると、画像出力処理を開始する。

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から第１演奏情報を受け付け、演奏開始タイミングを取得し、ＲＡＭ１６０に保存する（ステップＳ１０１）。

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏情報を受け付けると、受け付けた演奏情報にイラストを対応付ける（ステップＳ１０２）。

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けたかどうか判断する（ステップＳ１０３）。受け付けたと判断した場合（ステップＳ１０３：ＹＥＳ）、ステップＳ１０５に進む。

受け付けていないと判断した場合（ステップＳ１０３：ＮＯ）、演奏判定部１１１は、演奏情報を受け付けずに或る時間経過したかどうか判断する（ステップＳ１０４）。経過したと判断した場合（ステップＳ１０４：ＹＥＳ）、ステップＳ１０５に進む。時間経過する前に演奏情報を受け付けた場合（ステップＳ１０４：ＮＯ）ステップＳ１０２に戻る。

演奏判定部１１１は、演奏情報を或る時間受け付けない、又は入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けた場合、演奏終了タイミングを取得し、ＲＡＭ１６０に保存する（ステップＳ１０５）。

演奏終了タイミングを取得すると、演奏判定部１１１は、ＲＡＭ１６０に保存した演奏開始タイミングと演奏終了タイミングとに基づいて、演奏時間を算出する（ステップＳ１０６）。

演奏時間を算出すると、軌跡生成部１１２が、演奏時間に基づいた長さの軌跡を生成する（ステップＳ１０７）。

軌跡を生成すると、画像情報出力部１１３は、軌跡生成部１１２が生成した軌跡上に軌跡生成部１１２が演奏情報について対応付けたイラストを配置し、画像情報を生成する（ステップＳ１０８）。

画像情報を生成すると、画像情報出力部１１３は、生成した画像情報を、出力インターフェース１３０を介して表示装置１４０に出力し（ステップＳ１０９）、画像出力処理を終了する。

以上の構成を備えることで、実施の形態１に係る情報処理装置１００は、演奏情報を基に軌跡を生成し、生成した軌跡上にイラストを配置して、演奏全体を視覚的に表現することができる。

実施の形態１に係る情報処理装置は、演奏開始タイミング及び演奏終了タイミングを取得して演奏時間を算出し、算出した演奏時間に基づいて軌跡の長さを変化させることで、演奏の長さを視覚的に表現することができる。このことにより、ユーザは、演奏の長さを表示された画像から直感的に把握することが可能になる。また、演奏の長さと画像上の軌跡の長さとが対応していることで、より演奏に適合した画像表現を行うことができる。

（実施の形態２）
実施の形態２に係る情報処理装置１００について、図面を参照して説明する。実施の形態２に係る情報処理装置１００のプロセッサ１１０は、演奏の力強さを判定し、力強さに基づいて画像情報を生成する。

実施の形態２に係る情報処理装置１００のプロセッサ１１０が含む演奏判定部１１１は、演奏情報を取得すると、演奏情報に含まれるベロシティ情報を抽出し、演奏情報毎にＲＡＭ１６０に保存する。

演奏判定部１１１は、演奏終了タイミングを取得すると、ＲＡＭ１６０に記憶された演奏情報毎のベロシティ情報から、演奏全体のベロシティ情報の平均値を算出し、演奏の力強さを判定する。

軌跡生成部１１２は、演奏判定部１１１が判定した演奏の力強さに応じて渦巻線の大きさを変化させた演奏の軌跡を生成する。軌跡生成部１１２は、式（２）のｒｒを演奏判定部１１１が判定した力強さに従って変化させることで、軌跡の大きさを変化させる。

図７（Ａ），（Ｂ）は、軌跡生成部１１２が生成する軌跡に含まれる渦巻線を示す図である。図７（Ａ）に示すように、軌跡生成部１１２は演奏の力強さが小さい場合には小さい渦巻線を出力する。図７（Ｂ）に示すように、軌跡生成部１１２は演奏の力強さが大きい場合には大きい渦巻線を出力する。

実施の形態２に係る情報処理装置１００が実行する画像出力処理について説明する。図８は、情報処理装置１００が実行する画像出力処理のフローチャートである。画像出力処理について、図８のフローチャートを参照して説明する。

情報処理装置１００のプロセッサ１１０は、出力インターフェース１３０を介して画像出力処理の開始を示す操作入力を受け付けると、画像出力処理を開始する。

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏情報を受け付けると、受け付けた演奏情報にイラストを対応付ける（ステップＳ２０１）。

演奏判定部１１１は、演奏情報を受け付けると、演奏情報に含まれるベロシティ情報を抽出し、ＲＡＭ１６０に保存する（ステップＳ２０２）

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けたかどうか判断する（ステップＳ２０３）。受け付けたと判断した場合（ステップＳ２０３：ＹＥＳ）、ステップＳ２０５に進む。

受け付けていないと判断した場合（ステップＳ２０３：ＮＯ）、演奏判定部１１１は、演奏情報を受け付けずに或る時間経過したかどうか判断する（ステップＳ２０４）。経過したと判断した場合（ステップＳ２０４：ＹＥＳ）、ステップＳ２０５に進む。時間経過する前に演奏情報を受け付けた場合（ステップＳ２０４：ＮＯ）ステップＳ２０１に戻る。

演奏判定部１１１は、演奏情報を或る時間受け付けない、又は入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けた場合、ＲＡＭ１６０に保存された演奏情報毎のベロシティ情報に基づいて、演奏全体のベロシティ情報の平均を算出し、演奏の力強さを判定する（ステップＳ２０５）。

演奏の力強さを判定すると、軌跡生成部１１２が、演奏の力強さに基づいた大きさの渦巻線を含む軌跡を生成する（ステップＳ２０６）。

軌跡を生成すると、画像情報出力部１１３は、軌跡生成部１１２が生成した軌跡上に軌跡生成部１１２が演奏情報について対応付けたイラストを配置し、画像情報を生成する（ステップＳ２０７）。

画像情報を生成すると、画像情報出力部１１３は、生成した画像情報を、出力インターフェース１３０を介して表示装置１４０に出力し（ステップＳ２０８）、画像出力処理を終了する。

以上の構成を備えることで、実施の形態２に係る情報処理装置１００は、演奏情報を基に軌跡を生成し、生成した軌跡上にイラストを配置して、演奏全体を視覚的に表現することができる。

実施の形態２に係る情報処理装置は、演奏の力強さを判定し、判定した力強さに基づいて軌跡の大きさを変化させることで、演奏の力強さを視覚的に表現することができる。このことにより、ユーザは、演奏の力強さを表示された画像から直感的に把握することが可能になる。また、演奏の力強さと画像上の軌跡の大きさとが対応していることで、より演奏に適合した画像表現を行うことができる。

（実施の形態３）
実施の形態３に係る情報処理装置１００について、図面を参照して説明する。実施の形態３に係る情報処理装置１００のプロセッサ１１０は、演奏のリズムを判定し、リズムに基づいて画像情報を生成する。

実施の形態３に係る情報処理装置のプロセッサ１１０が含む演奏判定部１１１は、演奏情報を取得すると、演奏情報を基にリズムを判定して、ＲＡＭ１６０に保存する。

具体的には、演奏判定部１１１は、演奏情報を取得すると、その時点のノートと一つ前のノートとの時間差を求め、算出した時間差を一つ前のノートと二つ前のノートとの時間差と比較する。演奏判定部は、二つの時間差の差をリズム自由度としてＲＡＭ１６０に保存する。リズムが一定の演奏であればリズム自由度が小さくなり、リズムが不規則の演奏であればリズム自由度が大きくなる。リズムの算出方法は一例であり、これに限られるものではない。

軌跡生成部１１２は、演奏判定部１１１が判定した演奏のリズムをＲＡＭ１６０から読み出し、読み出したリズムに応じて形状を変化させた渦巻線を含む演奏の軌跡を生成する。軌跡生成部１１２は、式（２）のｒｒを演奏判定部１１１が判定したリズムに従って変化させることで、渦巻線の形状を変化させる。

図９（Ａ），（Ｂ）は、軌跡生成部１１２が生成する軌跡に含まれる渦巻線を示す図である。図９（Ａ）に示すように、軌跡生成部１１２は、リズムが規則的な場合には規則的な形状の軌跡を出力する。図９（Ｂ）に示すように、軌跡生成部１１２は、リズムが不規則な場合には不規則な形状の軌跡を出力する。

実施の形態３に係る情報処理装置１００が実行する画像出力処理について説明する。図１０は、情報処理装置１００が実行する画像出力処理のフローチャートである。画像出力処理について、図１０のフローチャートを参照して説明する。

情報処理装置１００のプロセッサ１１０は、出力インターフェース１３０を介して画像出力処理の開始を示す操作入力を受け付けると、画像出力処理を開始する。

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏情報を受け付けると、受け付けた演奏情報にイラストを対応付ける（ステップＳ３０１）。

演奏判定部１１１は、演奏情報を受け付けると、演奏情報を基にリズムを判定し、ＲＡＭ１６０に保存する（ステップＳ３０２）

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けたかどうか判断する（ステップＳ３０３）。受け付けたと判断した場合（ステップＳ３０３：ＹＥＳ）、ステップＳ３０５に進む。

受け付けていないと判断した場合（ステップＳ３０３：ＮＯ）、演奏判定部１１１は、演奏情報を受け付けずに或る時間経過したかどうか判断する（ステップＳ３０４）。経過したと判断した場合（ステップＳ３０４：ＹＥＳ）、ステップＳ３０５に進む。時間経過する前に演奏情報を受け付けた場合（ステップＳ３０４：ＮＯ）、ステップＳ３０１に戻る。

演奏判定部１１１は、演奏情報を或る時間受け付けない、又は入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けた場合、ＲＡＭ１６０に保存されたリズムに基づいて形状を変化させた渦巻線を含む軌跡を生成する（ステップＳ３０５）。

軌跡を生成すると、画像情報出力部１１３は、軌跡生成部１１２が生成した軌跡上に軌跡生成部１１２が演奏情報について対応付けたイラストを配置し、画像情報を生成する（ステップＳ３０６）。

画像情報を生成すると、画像情報出力部１１３は、生成した画像情報を、出力インターフェース１３０を介して表示装置１４０に出力し（ステップＳ３０７）、画像出力処理を終了する。

以上の構成を備えることで、実施の形態３に係る情報処理装置１００は、演奏情報を基に軌跡を生成し、生成した軌跡上にイラストを配置して、演奏全体を視覚的に表現することができる。

実施の形態３に係る情報処理装置は、演奏のリズムを判定し、判定したリズムに基づいて軌跡の形状を変化させることで、例えばクラシックならば規則的な軌跡を含む画像、ジャズならば不規則な軌跡を含む画像を生成することができ、より演奏に適合した画像表現を行うことができる。

（実施の形態４）
実施の形態４に係る情報処理装置１００について、図面を参照して説明する。実施の形態４に係る情報処理装置１００のプロセッサ１１０は、演奏の調性を判定し、調性に基づいて画像情報を生成する。

実施の形態３に係る情報処理装置のプロセッサ１１０が含む演奏判定部１１１は、演奏情報を取得すると、演奏情報を基に演奏の調性を判定して、ＲＡＭ１６０に保存する。

軌跡生成部１１２は、演奏判定部１１１が判定した演奏の調性をＲＡＭ１６０から読み出し、読み出した演奏の調性に応じて着色された着色帯を含む演奏の軌跡を生成する。着色帯は、軌跡に含まれる渦巻線に重なって表示される帯状の画像である。

ＲＯＭ１７０は、演奏の調性と色とを対応付けたテーブルを記憶する。軌跡生成部１１２は、演奏の調整に対応付けられた色の情報をＲＯＭ１７０から読み出し、着色帯の色として決定する。ＲＯＭ１７０は、例えばスクリャービンの調性色に基づいて調整と色とを対応付けたテーブルを記憶するが、ＲＯＭ１７０が記憶するテーブルはこれに限られるものではない。

実施の形態４に係る情報処理装置１００が実行する画像出力処理について説明する。図１１は、情報処理装置１００が実行する画像出力処理のフローチャートである。画像出力処理について、図１１のフローチャートを参照して説明する。

情報処理装置１００のプロセッサ１１０は、出力インターフェース１３０を介して画像出力処理の開始を示す操作入力を受け付けると、画像出力処理を開始する。

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏情報を受け付けると、受け付けた演奏情報にイラストを対応付ける（ステップＳ４０１）。

演奏判定部１１１は、演奏情報を受け付けると、演奏情報を基に演奏の調性を判定し、ＲＡＭ１６０に保存する（ステップＳ４０２）

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けたかどうか判断する（ステップＳ４０３）。受け付けたと判断した場合（ステップＳ４０３：ＹＥＳ）、ステップＳ４０５に進む。

受け付けていないと判断した場合（ステップＳ４０３：ＮＯ）、演奏判定部１１１は、演奏情報を受け付けずに或る時間経過したかどうか判断する（ステップＳ４０４）。経過したと判断した場合（ステップＳ４０４：ＹＥＳ）、ステップＳ４０５に進む。時間経過する前に演奏情報を受け付けた場合（ステップＳ４０４：ＮＯ）ステップＳ４０１に戻る。

演奏判定部１１１は、演奏情報を或る時間受け付けない、又は入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けた場合、ＲＡＭ１６０に保存された調性に基づいて着色した軌跡を生成する（ステップＳ４０５）。

軌跡を生成すると、画像情報出力部１１３は、軌跡生成部１１２が生成した軌跡上に軌跡生成部１１２が演奏情報について対応付けたイラストを配置し、画像情報を生成する（ステップＳ４０６）。

画像情報を生成すると、画像情報出力部１１３は、生成した画像情報を、出力インターフェース１３０を介して表示装置１４０に出力し（ステップＳ４０７）、画像出力処理を終了する。

以上の構成を備えることで、実施の形態４に係る情報処理装置１００は、演奏情報を基に軌跡を生成し、生成した軌跡上にイラストを配置して、演奏全体を視覚的に表現することができる。

実施の形態４に係る情報処理装置は、演奏の調性を判定し、判定した調性に基づいて軌跡の色を変化させることで、演奏の調性及びその変化（転調）を視覚的に表現することができる。このことにより、ユーザは、演奏の調構造を表示された画像から直感的に把握することが可能になる。また、演奏の調性と画像上の軌跡の色とが対応していることで、より演奏に適合した画像表現を行うことができる。

（変形例）
以上に本発明の実施の形態について説明したが、この実施の形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施の形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

情報処理装置１００は表示装置１４０を備えるとしたが、これに限られるものではない。表示装置１４０を備えず、情報処理装置１００の外部の表示装置と出力インターフェース１３０を介して接続されていても良い。外部の表示装置は例えば液晶表示装置、有機ＥＬ表示装置、映像プロジェクタを含むが、これに限られるものではない。

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から第１演奏情報を受け付け、第１演奏情報を受け付けたタイミングを演奏開始タイミングとして取得するとしたが、これに限られるものではない。入力インターフェース１２０を介して電子楽器２００から演奏開始を示す情報を受け付け、演奏開始を示す情報を受け付けたタイミングを演奏開始タイミングとして取得しても良い。

軌跡生成部１１２は渦巻線状の軌跡を生成するとしたが、これに限られるものではない。図１２は、軌跡生成部１１２が生成する軌跡に含まれる線を示す図である。図１２に示すように、軌跡生成部１１２は、渦巻線を形成するポイントの一部を直線に置換してつなげることで、渦巻線と直線とを組み合わせた軌跡を生成しても良い。また、直線と曲線とを組み合わせた任意の形状の軌跡を生成しても良い。

電子楽器２００は鍵２２０を備える電子鍵盤楽器であるとしたが、これに限られるものではない。電子楽器２００は演奏情報を出力すれば良く、弦楽器状、管楽器状、打楽器状であっても良い。ピアノを含む電子楽器でない楽器の音を電気信号に変換し、演奏情報として出力する装置であっても良い。

電子楽器２００はスピーカ２４０を備えるとしたが、これに限られるものではない。ヘッドホン又はイヤホン、若しくはヘッドホン又はイヤホンに接続される有線又は無線の接続端子を備えてもよい。

電子楽器２００は譜面台２７０を備え、譜面台２７０に情報処理装置１００が載置されるとしたが、これに限られるものではない。情報処理装置１００は他の場所に置かれても良いし、その場合電子楽器２００が譜面台２７０を備えなくてもよい。

実施の形態２において、演奏判定部１１１は、演奏情報を取得すると演奏情報に含まれるベロシティ情報を抽出し、演奏情報毎にＲＡＭ１６０に保存するとしたが、これに限られるものではない。演奏判定部１１１は、或る時間毎に複数個のノートのベロシティ情報の平均値を算出し、ＲＡＭ１６０に保存しても良い。

実施の形態１－４に係る情報処理装置１００の構成を任意に組み合わせて実施しても良い。例えば、実施の形態１と２とを組み合わせ、演奏判定部１１１が算出した演奏時間及び演奏判定部１１１が判定した演奏の力強さにそれぞれ応じて長さ及び大きさを変化させた軌跡を生成しても良い。その他の実施の形態についても同様である。

なお、本発明に係る機能を実現するための構成を予め備えた情報処理装置として提供できることはもとより、プログラムの適用により、既存の情報処理装置を、本発明に係る情報処理装置として機能させることもできる。すなわち、実施の形態及び変形例で例示した情報処理装置による機能を実現させるためのプログラムを、既存の情報処理装置を制御するＣＰＵ等が実行できるように適用することで、本発明に係る情報処理装置として機能させることができる。また、本発明に係る方法は、情報処理装置を用いて実施できる。

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信しても良い。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成しても良い。

以上、本発明の好ましい実施の形態について説明したが、本発明は係る特定の実施の形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
入力インターフェースと、
出力インターフェースと、
少なくとも一つのプロセッサと、を備え、
前記少なくとも一つのプロセッサは、
演奏開始タイミングを取得し、
演奏終了タイミングを取得し、
取得された前記演奏開始タイミング及び前記演奏終了タイミングに基づいて演奏時間を取得し、
取得された前記演奏時間に応じた長さを有する軌跡を決定し、
前記入力インターフェースから入力される複数の演奏情報に応じて決定される複数のイラストが、決定された前記軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力する、
情報処理装置。

（付記２）
前記少なくとも一つのプロセッサは、
前記演奏時間が第１時間長のときに決定する前記軌跡の長さは、前記演奏時間が前記第１時間長より長い第２時間長のときに決定する前記軌跡の長さより短くなるように、前記軌跡を決定する、
付記１に記載の情報処理装置。

（付記３）
前記少なくとも一つのプロセッサは、
旋回するにつれて前記画像内の或る位置に近づく渦巻の軌跡に沿って前記複数のイラストを配置する、
付記１又は２に記載の情報処理装置。

（付記４）
前記演奏情報はベロシティ情報を含み、
前記少なくとも一つのプロセッサは、
受け付けた前記演奏情報に含まれる前記ベロシティ情報に応じて、演奏の力強さを判定し、
判定された前記演奏の力強さに応じて、前記渦巻の軌跡の大きさを変化させる、
付記３に記載の情報処理装置。

（付記５）
前記少なくとも一つのプロセッサは、
受け付けた前記演奏情報から演奏のリズムを判定し、
判定された前記演奏のリズムに応じて、前記渦巻の軌跡の形状を変形させる、
付記３又は４に記載の情報処理装置。

（付記６）
前記演奏情報は音高情報を含み、
前記少なくとも一つのプロセッサは、
受け付けた前記演奏情報に含まれる前記音高情報から調性を判定し、
前記軌跡に沿って表示する色を、判定された前記調性に応じて変化させる、
付記１から５のいずれか一つに記載の情報処理装置。

（付記７）
入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに、
演奏開始タイミングを取得させ、
演奏終了タイミングを取得させ、
取得された前記演奏開始タイミング及び前記演奏終了タイミングに基づいて演奏時間を取得させ、
取得された前記演奏時間に応じた長さを有する軌跡を決定させ、
前記入力インターフェースから入力される複数の演奏情報に応じて決定される複数のイラストが、決定された前記軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
方法。

（付記８）
入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに、
演奏開始タイミングを取得させ、
演奏終了タイミングを取得させ、
取得された前記演奏開始タイミング及び前記演奏終了タイミングに基づいて演奏時間を取得させ、
取得された前記演奏時間に応じた長さを有する軌跡を決定させ、
前記入力インターフェースから入力される複数の演奏情報に応じて決定される複数のイラストが、決定された前記軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
プログラム。

１…電子楽器システム、１００…情報処理装置、１１０…プロセッサ、１１１…演奏判定部、１１２…軌跡生成部、１１３…画像情報出力部、１２０…入力インターフェース、１３０…出力インターフェース、１４０…表示装置、１５０…操作装置、１６０…ＲＡＭ、１７０…ＲＯＭ、２００…電子楽器、２１０…プロセッサ、２２０…鍵、２３０…押鍵検出装置、２４０…スピーカ、２５０…操作装置、２６０…通信装置、２７０…譜面台

Claims (10)

1. 入力インターフェースと、
   出力インターフェースと、
   少なくとも一つのプロセッサと、を備え、
   前記少なくとも一つのプロセッサは、
   演奏開始タイミング及び演奏終了タイミングに基づいた演奏時間に応じた長さを有する渦巻の軌跡に沿って複数のイラストを配置するとともに、前記入力インターフェースから入力される複数の演奏情報に基づいたベロシティ情報に応じて前記渦巻の軌跡の大きさを変化するよう、前記複数のイラストが前記渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力する、
   情報処理装置。
2. 入力インターフェースと、
   出力インターフェースと、
   少なくとも一つのプロセッサと、を備え、
   前記少なくとも一つのプロセッサは、
   演奏開始タイミング及び演奏終了タイミングに基づいた演奏時間に応じた長さを有する渦巻の軌跡に沿って複数のイラストを配置するとともに、前記入力インターフェースから入力される複数の演奏情報に基づいた演奏のリズムに応じて前記渦巻の軌跡の形状を変形するよう、前記複数のイラストが前記渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力する、
   情報処理装置。
3. 前記少なくとも一つのプロセッサは、
   前記演奏時間が第１時間長のときに決定する前記軌跡の長さは、前記演奏時間が前記第１時間長より長い第２時間長のときに決定する前記軌跡の長さより短くなるように、前記軌跡を決定する、
   請求項１又は２に記載の情報処理装置。
4. 前記演奏情報はベロシティ情報を含み、
   前記少なくとも一つのプロセッサは、
   受け付けた前記演奏情報に含まれる前記ベロシティ情報に応じて、演奏の力強さを判定し、
   判定された前記演奏の力強さに応じて、前記渦巻の軌跡の大きさを変化させる、
   請求項２に記載の情報処理装置。
5. 前記少なくとも一つのプロセッサは、
   受け付けた前記演奏情報から演奏のリズムを判定し、
   判定された前記演奏のリズムに応じて、前記渦巻の軌跡の形状を変形させる、
   請求項１に記載の情報処理装置。
6. 前記演奏情報は音高情報を含み、
   前記少なくとも一つのプロセッサは、
   受け付けた前記演奏情報に含まれる前記音高情報から調性を判定し、
   前記軌跡に沿って表示する色を、判定された前記調性に応じて変化させる、
   請求項１から５のいずれか１項に記載の情報処理装置。
7. 入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに、
   演奏開始タイミング及び演奏終了タイミングに基づいた演奏時間に応じた長さを有する渦巻の軌跡に沿って複数のイラストを配置させるとともに、前記入力インターフェースから入力される複数の演奏情報に基づいたベロシティ情報に応じて前記渦巻の軌跡の大きさを変化させるよう、前記複数のイラストが前記渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
   方法。
8. 入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに、
   演奏開始タイミング及び演奏終了タイミングに基づいた演奏時間に応じた長さを有する渦巻の軌跡に沿って複数のイラストを配置させるとともに、前記入力インターフェースから入力される複数の演奏情報に基づいた演奏のリズムに応じて前記渦巻の軌跡の形状を変形させるよう、前記複数のイラストが前記渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
   方法。
9. 入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに、
   演奏開始タイミング及び演奏終了タイミングに基づいた演奏時間に応じた長さを有する渦巻の軌跡に沿って複数のイラストを配置させるとともに、前記入力インターフェースから入力される複数の演奏情報に基づいたベロシティ情報に応じて前記渦巻の軌跡の大きさを変化させるよう、前記複数のイラストが前記渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
   プログラム。
10. 入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに、
    演奏開始タイミング及び演奏終了タイミングに基づいた演奏時間に応じた長さを有する渦巻の軌跡に沿って複数のイラストを配置させるとともに、前記入力インターフェースから入力される複数の演奏情報に基づいた演奏のリズムに応じて前記渦巻の軌跡の形状を変形させるよう、前記複数のイラストが前記渦巻の軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
    プログラム。

Images