JP7327434B2 - プログラム、方法、情報処理装置、および演奏データ表示システム - Google Patents

Description

本発明は、プログラム、方法、情報処理装置、および演奏データ表示システムに関する。

デジタルキーボードをはじめとする電子楽器は、プロセッサおよびメモリを備え、いわば鍵盤付きの組込みコンピュータといえる。ＵＳＢ（Universal Serial Bus）等のインタフェースでタブレット等の情報処理装置に接続し、多様な拡張機能を利用できる機種も知られている。例えば、電子楽器を演奏して発生するＭＩＤＩ（Musical Instrument Digital Interface）データを解析し、演奏とともに変化する動画像や、演奏の内容を反映する静止画像（絵）を作成して表示する技術が開発されている（例えば、特許文献１を参照）。

楽器の練習は大変で、途中で飽きてしまって断念する人も多い。自分の演奏を録音し、どの部分が弾けなかったかを確認するというのはある程度弾けるようになってからの話であり、その前にあきらめてしまう人が多い。上級者だけでなく、楽器演奏の入り口に立っている人達に練習の意欲を高めてもらうためにも、音楽演奏を可視化して、視覚的な効果を利用する技術に注目が集まっている。

特開２０１９－１０１１６８号公報

"Music Tapestry"，[online]，［令和3年3月8日検索］,インターネット，<URL:https://news.mynavi.jp/article/20190724-casio_music_tapestry/>

特許文献１の技術では、演奏することによって発生する演奏データを解析して、一つ一つの音の強さ（ベロシティ）、曲全体または一部の調性、楽曲中の任意の区間におけるコードの情報などを取得し、解析結果に応じた画像を作成する。しかし、調性や個々のコードネームなどはいわば静的な情報であり、楽曲の躍動感を絵に表現することは難しい場合があった。音の強さは考慮されるにせよ、時間的なダイナミクスの変化、音列の時系列的な流れや前後関係などから把握される情感を映像表現に反映することは難しかった。

そこで、演奏者の披露した、例えばグリッサンド等の演奏技法や、フォルティッシモ、ピアニッシモなどの演奏表現を視覚表現に反映させることができれば、演奏することがさらに楽しくなることが期待される。また、練習意欲が高まったり、他者に披露することが楽しみになったりすることも期待される。

そこで本発明の目的は、音楽を可視化する技術の表現力を向上させ、これにより、演奏することの楽しさをさらに高めたプログラム、方法、情報処理装置、および演奏データ表示システムを提供することにある。

本上記目的を達成するために、本発明の一実施形態であるプログラムは、情報処理装置に、演奏に伴って発生する演奏データに基づいて音列の時系列的な特徴を抽出する解析処理と、抽出された前記特徴から演奏技法を検出する検出処理と、検出された前記演奏技法に対応する画像データを出力する出力処理と、を実行させる命令を含み、前記解析処理は、第１音のベロシティから、前記第１音より時間的に前の第２音のベロシティを減算したベロシティ差を抽出し、前記検出処理は、前記ベロシティ差が既定の閾値以上である場合に、ベロシティ突出音を検出する。
本上記目的を達成するために、本発明の一実施形態であるプログラムは、情報処理装置に、演奏に伴って発生する演奏データに基づいて音列の時系列的な特徴を抽出させ、抽出された前記特徴から演奏技法を検出させ、検出された前記演奏技法に対応する画像データを出力させ、複数の演奏技法が検出された場合に、複数の演奏技法が検出された場合に優先される演奏技法を登録したテーブルに登録された演奏技法を選択させる。

本発明によれば、演奏技法を映像表現に反映することができるので、演奏することの楽しさをさらに高めることが可能になる。

図１は、実施形態に係わる演奏データ表示システムの一例を示す模式図である。 図２は、実施形態に係るデジタルキーボード１の一例を示すブロック図である。 図３は、情報処理装置３の一例を示す機能ブロック図である。 図４は、情報処理装置３の処理手順の一例を示すフローチャートである。 図５は、一つの譜例を示す図である。 図６は、図５の譜例から作成された第１画像の例を示す図である。 図７は、図５の譜例から作成された第２画像の例を示す図である。 図８は、ステップＳ３における演奏技法認識処理の処理手順の一例を示すフローチャートである。 図９は、複数の演奏技法が認識された場合に、いずれを優先するかの設定の例を示す図である。 図１０は、グリッサンド検出処理における処理手順の一例を示すフローチャートである。 図１１は、グリッサンドが検出された場合の表現の一例を示す図である。 図１２は、レガート検出処理における処理手順の一例を示すフローチャートである。 図１３は、レガートが検出された場合の表現の一例を示す図である。 図１４は、トリル検出処理における処理手順の一例を示すフローチャートである。 図１５は、トリルが検出された場合の表現の一例を示す図である。 図１６は、ベロシティ突出音検出処理における処理手順の一例を示すフローチャートである。 図１７は、ベロシティ突出音が検出された場合の表現の一例を示す図である。

以下、図面を参照して、本発明の実施の形態について説明する。
＜構成＞
図１は、実施形態に係わる演奏データ表示システムの一例を示す模式図である。図１に示される演奏データ表示システムは、ユーザ（演奏者）の演奏に合わせてリアルタイムに画像（絵）を描画する。この種の演奏データ表示システムは、ユーザの演奏を演奏データ（例えばＭＩＤＩデータ）として出力できる電子楽器等から取得した演奏データを解析し、その結果をもとに画像を生成する。

図１において、演奏データ表示システムは、電子楽器と、情報処理装置と、ディスプレイ装置と、を含む。
電子楽器は、ユーザの演奏から演奏データ（例えばＭＩＤＩデータ）を生成し、演奏データを情報処理装置に出力する。情報処理装置は、受信した演奏データを解析し、画像データを生成する。情報処理装置は、例えば、タブレットやＰＣ（パーソナルコンピュータ）である。ディスプレイ装置は、情報処理装置により生成された画像を表示する。

図２は、実施形態に係るデジタルキーボード１の一例を示すブロック図である。デジタルキーボード１は、ＵＳＢインタフェース（Ｉ／Ｆ）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、表示部１４、表示コントローラ１５、ＬＥＤ（Light Emitthing Diode）コントローラ１６、鍵盤１７、操作部１８、キースキャナ１９、ＭＩＤＩインタフェース（Ｉ／Ｆ）２０、システムバス２１、ＣＰＵ（Central Processing Unit）２２、タイマ２３、音源２４、デジタル／アナログ（Ｄ／Ａ）コンバータ２５、ミキサ２６、Ｄ／Ａコンバータ２７、音声合成ＬＳＩ２８、および、アンプ２９を備える。ここで、音源２４、および音声合成ＬＳＩ２８は、例えばＤＳＰ（Digital Signal Processor）として実現される。

ＣＰＵ２２、音源２４、音声合成ＬＳＩ２８、ＵＳＢインタフェース１１、ＲＡＭ１２、ＲＯＭ１３、表示コントローラ１５、ＬＥＤコントローラ１６、キースキャナ１９、およびＭＩＤＩインタフェース２０は、システムバス２１に接続される。

ＣＰＵ２２は、デジタルキーボード１を制御するプロセッサである。すなわちＣＰＵ２２は、ＲＯＭ１３に記憶されたプログラムを、ワーキングメモリとしてのＲＡＭ１２に読み出し、実行して、デジタルキーボード１の各種の機能を実現する。ＣＰＵ２２は、タイマ２３から供給されるクロックに従って動作する。クロックは、例えば自動演奏、自動伴奏のシーケンスを制御するために用いられる。

ＲＯＭ１３は、プログラム、各種設定データ、自動伴奏データ等を記憶する。自動伴奏データは、予めプリセットされたリズムパターン、コード進行、ベースパターン、あるいはオブリガード等のメロディデータ等を含んでよい。メロディデータは、各音の音高情報、各音の発音タイミング情報等を含んでよい。

各音の発音タイミングは、各発音間の間隔時間でもよく、自動演奏曲の開始時からの経過時間であっても良い。時間の単位にはｔｉｃｋが用いられることが多い。ｔｉｃｋは、一般的なシーケンサで用いられる、曲のテンポを基準とする単位である。例えば、シーケンサの分解能が４８０であれば、４分音符の時間の１／４８０が１ｔｉｃｋとなる。

自動伴奏データは、ＲＯＭ１３に限らず、図示しない情報記憶装置や情報記憶媒体に記憶されていても良い。自動伴奏データのフォーマットは、ＭＩＤＩ用のファイルフォーマットに準拠してもよい。

表示コントローラ１５は、表示部１４の表示状態を制御するＩＣ（Integated Circuit）である。ＬＥＤコントローラ１６は、例えばＩＣである。ＬＥＤコントローラ１６は、ＣＰＵ２２からの指示により鍵盤１７の鍵を光らせて、演奏者の演奏をナビゲートする。

キースキャナ１９は、鍵盤１７の押鍵／離鍵状態、操作部１８のスイッチ操作状態を定常的に監視する。そして、キースキャナ１９は、鍵盤１７、操作部１８の状態をＣＰＵ２２に伝える。

ＭＩＤＩインタフェース２０は、ＭＩＤＩ装置４等の外部装置からのＭＩＤＩメッセージ（演奏データ等）を入力したり、ＭＩＤＩメッセージを外部装置に出力したりする。デジタルキーボード１は、例えばＵＳＢ（Universal Serial Bus）等のインタフェースを用いて、外部装置とＭＩＤＩメッセージやＭＩＤＩデータファイルを授受することが可能である。受信されたＭＩＤＩメッセージは、ＣＰＵ２２経由で音源２４に渡される。音源２４は、ＭＩＤＩメッセージで指定された音色、音量（ベロシティ）、タイミング等に従って音を鳴らす。

音源２４は、例えばＧＭ（General MIDI）規格に準拠する、いわゆるＧＭ音源である。この種の音源は、ＭＩＤＩメッセージとしてのプログラムチェンジを与えれば音色を変更できるし、コントロールチェンジを与えれば既定のエフェクトを制御することができる。

音源２４は、例えば同時に最大で２５６ボイスを発音する能力を有する。音源２４は、例えば波形ＲＯＭ（図示せず）から楽音波形データを読み出し、デジタル楽音波形データとしてＤ／Ａコンバータ２１１に出力される。Ｄ／Ａコンバータ２１１は、デジタル楽音波形データをアナログ楽音波形信号に変換する。

音声合成ＬＳＩ２８は、ＣＰＵ２２から、歌詞のテキストデータと音高に関する情報を歌声データとして与えられると、それに対応する歌声の音声データを合成し、Ｄ／Ａコンバータ２５に出力する。Ｄ／Ａコンバータ２５は、音声データをアナログ音声波形信号に変換する。

ミキサ２６は、アナログ楽音波形信号、およびアナログ音声波形信号をミックスし、出力信号を生成する。この出力信号はアンプ２９で増幅され、スピーカ、あるいはヘッドフォンアウトなどの出力端子から出力される。

情報処理装置３が、ＵＳＢインタフェース１１経由でシステムバス２１に接続される。情報処理装置３は、デジタルキーボード１が演奏されることで発生したＭＩＤＩデータ（演奏データ）を、ＵＳＢインタフェース１１経由で取得することができる。
さらに、図示しない記憶メディア等も、ＵＳＢインタフェース１１経由でシステムバス２１に接続されても良い。記憶メディアとしては、例えば、ＵＳＢメモリ、フレキシブルディスクドライブ（ＦＤＤ）、ハードディスクドライブ（ＨＤＤ）、ＣＤ－ＲＯＭドライブ及び光磁気ディスク（ＭＯ）ドライブ等が挙げられる。ＲＯＭ１０６にプログラムが記憶されていない場合には、記憶メディアにプログラムを記憶させておき、それをＲＡＭ１０５に読み込むことにより、ＲＯＭ１０６にプログラムを記憶している場合と同様の動作をＣＰＵ１１１に実行させることができる。

図３は、情報処理装置３の一例を示す機能ブロック図である。図３において、情報処理装置３は、操作部３１、表示部３２、通信部３３、音出力部３４、制御部３６（ＣＰＵ）、および、メモリ３５を備える。操作部３１、表示部３２、通信部３３、音出力部３４、制御部３６及びメモリ３５）は、バス３７で通信可能に接続され、各部間で必要なデータがバス３７を介して授受される。

操作部３１は、例えば、電源のＯＮ／ＯＦＦを行うための電源スイッチ等のスイッチ類を含む。表示部３２は、タッチパネル付きの液晶モニタを有し、画像を表示する。表示部３２はタッチパネル機能も有するので、操作部３１の一端を担うことができる。

通信部３３は、他の機器等との間で通信を行うための無線ユニットや有線ユニットを備える。実施形態では、例えばＵＳＢケーブル等を介してデジタルキーボード１に有線接続され、これにより情報処理装置３は、デジタルキーボード１との間で各種のディジタルデータを授受することができる。

音出力部３４は、スピーカーやイヤホンジャック等を備え、アナログの音声や楽音を再生出力したり、オーディオ信号を出力する。
制御部３６は、ＣＰＵ等のプロセッサを備え、情報処理装置３の制御を司る。制御部３６のＣＰＵは、メモリ３５に記憶されている制御プログラムやインストールされたアプリケーションに従って、各種の処理等を実行する。

メモリ３５は、ＲＯＭ４０およびＲＡＭ５０を備える。
ＲＯＭ４０は、例えば、制御部３６が実行するプログラム４１、各種データ、テーブル等を記憶する。

ＲＡＭ５０は、プログラム４１を動作させる上で必要なデータを記憶する。またＲＡＭ５０は、制御部３６が作成するデータ、デジタルキーボード１から送られたＭＩＤＩデータ、及び、アプリケーションを展開させるための一時記憶領域等としても機能する。実施形態においては、ＲＡＭ５０は、ＭＩＤＩデータとしての演奏データ５０ａと、キャラクタデータ５０ｂと、演奏データ５０ａに由来する第１画像データ５０ｃ、および、第２画像データ５０ｄを記憶する。

キャラクタデータ５０ｂは、花、虫、動物、リボンなどの、親しみやすいキャラクタの画像データである。演奏の音楽的調和の如何によっては、枯れた葉っぱなどのネガティブイメージなキャラクタが表示されることもある。
第１画像データ５０ｃは、演奏中にリアルタイムで表示される動画像（第１画像）の画像データであり、演奏データ５０ａの解析結果に応じたキャラクタデータ５０ｂを適切なタイミングで背景に配置して、生成される。第２画像データ５０ｄは、演奏が終わってから表示される静止画（第２画像）の画像データである。

ところで、実施形態において、プログラム４１は、音楽解析ルーチン４１ａ、演奏技法検出ルーチン７０ｂ、画像作成ルーチン４１ｃ、および、出力制御ルーチン４１ｄを備える。

音楽解析ルーチン４１ａは、入力された演奏データ５０ａを解析して、演奏された、あるいは演奏途中の曲の調性、コード、拍、拍子などを取得する。演奏データ５０ａに音名情報そのもの、あるいはコード種別情報が含まれていない場合でも、例えばノートナンバー情報から音名を取得することができるし、音名の一群からコード種別情報を取得することができる。なお、調性やコード種別等を判定するための手法は、特に限定されるものではないが、例えば、特許第３２１１８３９号明細書等に開示された手法を用いることができる。

また、音楽解析ルーチン４１ａは、演奏データ５０ａを解析して、演奏された音列の時系列的な特徴を、制御部３６に抽出させる。すなわち音楽解析ルーチン４１ａは、演奏データ５０ａを解析して音列の時系列的な特徴を抽出する。

演奏技法検出ルーチン４１ｂは、音楽解析ルーチン４１ａにより抽出された特徴から、演奏技法を検出する。例えば、時系列に並べた音列の音程が滑らかに（例えば半音または全音ずつ）変化していて、音列同士の時間間隔が非常に短いという特徴が抽出されたとする。この場合には「グリッサンド」で演奏されたと判定することができる。時間に対して音列が高い音から低い音へと並んでいるか、またはその逆か、ということも判定でき、その結果からグリッサンドの方向を判定することもできる。

画像作成ルーチン４１ｃは、演奏データ５０ａに基づいて、例えば特許文献１に開示される技術を利用して、第１画像データ５０ｃ、および第２画像データ５０ｄを作成する。また、画像作成ルーチン４１ｃは、演奏技法検出ルーチン４１ｂにより検出された演奏技法を反映させた第１画像データ５０ｃを作成する。つまり画像作成ルーチン４１ｃは、リアルタイム動画に演奏技法を反映させる。結果として、演奏終了後の静止画にも、検出された演奏技法が反映されることになる。
出力制御ルーチン４１ｄは、画像作成ルーチン４１ｃで生成された画像データを、表示装置としての表示部３２に出力し、表示させる。

＜作用＞
次に、上記構成における作用を説明する。以下では、情報処理装置３がデジタルキーボード１に、通信可能に接続されているとして説明する。また、画像を表示部３２に表示させるためのアプリケーションが情報処理装置３で起動されているとする。

図４は、情報処理装置３の処理手順の一例を示すフローチャートである。図４において、情報処理装置３の制御部３６（ＣＰＵ）は、デジタルキーボード１からの演奏データの送信を待ち受ける（ステップＳ１）。ここで、演奏データの入力が無ければ（ステップＳ１でＮｏ）、制御部３６は、演奏データなしで所定の時間が経過したか否かを判定する（ステップＳ７）。ステップＳ７でＮｏであれば、処理手順は再びステップＳ１に戻る。

ステップＳ１で演奏データの入力があれば（ステップＳ１でＹｅｓ）、制御部３６は、演奏判定処理を実行する（ステップＳ２）。ステップＳ２において制御部３６は、取得した演奏データに基づき、例えば、演奏されている曲の調（例えば、ハ長調～ロ短調の２４種類）の判定、コード種別（例えば、Ｍａｊｏｒ、ｍｉｎｏｒ、ｓｕｓ４、ａｕｇ、ｄｉｍ、７ｔｈ等）の判定、拍などを判定する。ここで得られた判定結果は、第１画像に反映される。

図５は、一つの譜例を示す図である。例えば図５のような演奏が行われると、図６に示されるように、ドレミファ…の順に、花（１）、葉（２）、てんとう虫（３）、蝶々（４）、のキャラクターが次々に配置され、第１画像となる。演奏が終わると、図７に示されるように各キャラクターがらせん状の軌道の上に配置され、第２画像になる。

図４に戻って説明を続ける。次に、制御部３６は次に、演奏技法認識処理を行う（ステップＳ３）。演奏技法が認識されなければ（ステップＳ４でＮｏ）、制御部３６は、その時点で得られている判定結果に応じた第１画像を生成出力する（ステップＳ５）。一方、演奏技法が認識されれば（ステップＳ４でＹｅｓ）、制御部３６は、その演奏技法を反映させた第１画像を生成出力する（ステップＳ６）。なお、ステップＳ３、ステップＳ６の処理についてはのちに詳しく説明する。
演奏中はステップＳ１～ステップＳ７の処理が繰り返され、やがて演奏が終わるとステップＳ７でＹｅｓになり、第２画像が生成出力されて一連の処理は終了する。

図８は、ステップＳ３における演奏技法認識処理の処理手順の一例を示すフローチャートである。演奏技法認識処理においては、例えば、グリッサンド検出処理（ステップＳ３１）、レガート検出処理（ステップＳ３２）、トリル検出処理（ステップＳ３３）、前打音検出処理（ステップＳ３４）、ターン検出処理（ステップＳ３５）、長音検出処理（ステップＳ３６）、スタッカート検出処理（ステップＳ３７）、ベロシティ突出音検出処理（ステップＳ３８）、クレッシェンド／デクレッシェンド検出処理（ステップＳ３９）、シンコペーション検出処理（ステップＳ３ａ）、跳躍検出処理（ステップＳ３ｂ）、および、ノンレガート検出処理（ステップＳ３ｃ）が実行される。すなわち、演奏技法認識処理が呼び出されるたびに、ステップＳ３１～３ｃにおいて、リアルタイムで入力されている演奏がそれぞれの演奏技法に該当するか否かが判定される。

なお、実施形態においては「演奏技法」の用語を「演奏表現」とほぼ同義として、より広い解釈で用いることとする。つまり図８に示される演奏表現は、いずれも「演奏技法」であるとして説明する。

図９は、複数の演奏技法が検出された場合に、いずれを優先するかの設定の例を示す図である。例えば、レガートとスタッカートが同時に検出されることはない（図中、ドットのハッチングで示す）が、グリッサンドとスタッカートが同時に検出されてしまうことはあるかもしれない。そのような場合には、例えばグリッサンドを優先して選択するように予め設定し、図９のようなテーブルに登録しておくことが好ましい。

このほかにも、図９によれば、トリルとグリッサンドが検出されればグリッサンドが優先される。また、ノンレガートとグリッサンドのセットでも、グリッサンドが優先される。もちろん、これは１例であり、いずれを優先するかは工場出荷時やユーザの設定により自由に変更できる。例えば、グリッサンドが得意で多用する演奏者に対しては、グリッサンドを優先するように設定すればよい。

また、図９において、長音とスタッカートが同時に検出されることはないこと、および、長音とグリッサンド、トリル、前打音、およびターンが同時に検出されることはないことが示される。このように、同時に検出されることの無いであろう技法を予め登録しておくことで、プロセスタイムの短縮の効果がある。つまり、例えばグリッサンドが検出された段階で図８の残りの手順をスキップし、ただちにステップＳ４（図４）に戻るようにすれば、処理に要する時間を短縮できる。なお、図９のテーブルは、予めメモリ３５（図３）のＲＯＭ４０またはＲＡＭ５０に記憶される。

＜グリッサンド＞
図１０は、グリッサンド検出処理（ステップＳ３１）における処理手順の一例を示すフローチャートである。図１０において、制御部３６は、フラグ変数glissにFalseを代入するとともに、変数としての、現ノートのグリッサンド値に０を代入して初期化処理を行う（ステップＳ１１）。なお、現ノートとは、現在注目している音（ｎｏｔｅ）であって、つまりその時点で発音されている音である。

次に、制御部３６は、（（０＜（現ノートとその１個前のノートとの音高差）＜４）∧（現ノートとその１個前のノートとの時間差＞１００））が真であるか否かを判定する（ステップＳ１２）。ここで、音高差は（後の音の音高‐前の音の音高）であり、∧は論理積（ａｎｄ）を意味し、時間差の単位は例えばtickである。真であれば（ステップＳ１２でＹｅｓ）、制御部３６は、glissにTrueを代入して、音程間隔を表す変数Ichiに1を代入し、ステップＳ１８にジャンプする（ステップＳ１３）。

ステップＳ１２で偽であれば（Ｎｏ）、現ノートから２個前のノートについて同様の判定が行われる。すなわち制御部３６は、（（０＜（現ノートとその２個前のノートとの音高差）＜４）∧（現ノートとその２個前のノートとの時間差＞１００））が真であるか否かを判定する（ステップＳ１４）。真であれば（Ｙｅｓ）、制御部３６は、glissにTrueを代入し、変数Ichiに2を代入してステップＳ１８にジャンプする（ステップＳ１５）。

ステップＳ１４でも偽であれば（Ｎｏ）、現ノートから３個前のノートについて同様の判定が行われる。すなわち制御部３６は、（（０＜（現ノートとその３個前のノートとの音高差）＜４）∧（現ノートとその３個前のノートとの時間差＞１００））が真であるか否かを判定する（ステップＳ１６）。真であれば（Ｙｅｓ）、制御部３６は、glissにTrueを代入し、変数Ichiに3を代入してステップＳ１８にジャンプする（ステップＳ１７）。

ステップＳ１８では、制御部３６は、フラグ変数glissの真偽を判定する。ステップＳ１８でＹｅｓ、つまりgliss == Trueであれば、制御部３６は、現ノートのグリッサンド値 = Ichi個前のノートのグリッサンド値＋１とする（ステップＳ１９）。すなわち現ノートのグリッサンド値は、何個のノートが繋がっているかを表わす値となる。ステップＳ１８の判定条件が偽、つまりＮｏであれば、現ノートのグリッサンド値は０となる。

ステップＳ１２～ステップＳ１６で、３個前までの音までを判定している理由は、次のとおりである。つまり、ピアノなどの鍵盤楽器では両手で演奏されるのが通常であるため、左手で和音や単音メロディー、右手でグリッサンドが同時に演奏される場合があり得る。現ノートが右手グリッサンドのふたつ目以降の音、１個前のノートが左手で演奏された音の場合、音高差が４以上となるので、右手はグリッサンド演奏しているにも関わらずグリッサンド値が増えない。そのため１個前の音だけでなく、３個前までの音までを判定している。以降の他の演奏技法検出処理でも、左手と右手の演奏が混在している演奏データを想定している。

次に、制御部３６は、現ノートのグリッサンド値が既定の閾値ｔｈ（例えば５）以上であるか否かを判定し（ステップＳ２０）、Ｙｅｓであれば、グリッサンドが弾かれたことを認識判断する（ステップＳ２１）。

以上の手順により、上向きのグリッサンドを検出することができる。上向きのグリッサンドとは低音から高音へのグリッサンドである。ちなみに下向きのグリッサンドを判定するためには、ステップＳ１２、Ｓ１４，Ｓ１６において、音高差を（前の音の音高‐後の音の音高）で計算すればよい。

以上の手順において、音楽解析ルーチン４１ａは、演奏データ５０ａを解析して、演奏された音列の互いの音高差と、当該音列同士の時間間隔とを抽出する。そして、演奏技法検出ルーチン４１ｂは、抽出された音高差が既定の値以下で、時間間隔が既定の閾値以下である場合に、グリッサンドを検出する。

図１１は、グリッサンドが検出された場合の表現の一例を示す図である。この図は、連続画像の一つ一つのフレームをコマ送りで並べたものである。図１０において、数字（１）～（２０）の順に視線をす早く動かすと、画面の中心部付近に花びらがバッと散るのがわかる。グリッサンドの駆け抜けるような感じが、花びらがばっと舞うことで表現される。高音から低音へのグリッサンドでは、花びらが右から左へ、低音から高音のグリッサンドでは、花びらが左から右へと舞うようにしてもよい。

＜レガート＞
図１２は、レガート検出処理（ステップＳ３２）における処理手順の一例を示すフローチャートである。図１２において、制御部３６は、現ノートよりも時系列で過去に遡った個数を示す変数ｎに１を代入して初期化し（ステップＳ４１）、ループに入った直後に変数ｎが１０に達したか否かを判定する（ステップＳ４２）。ｎが１０であれば終了するが、Ｎが１０未満であれば、制御部３６は、現ノートとｎ個前のノートが１オクターブ以上離れているか否かを判定する（ステップＳ４３）。ステップＳ４３でＹｅｓであれば、制御部３６はｎをインクリメントして（ステップＳ４７）、処理手順はステップＳ４２に戻る。

ステップＳ４３でＮｏであれば、制御部３６は、現ノートの開始時刻とｎ個前のノートの終了時刻とが重なっていないかを判定する（ステップＳ４４）。重なっていない（Ｙｅｓ）ならば、音を切って演奏されていて、制御部３６はｎをインクリメントして（ステップＳ４７）、処理手順はステップＳ４２に戻る。

ステップＳ４４でＮｏであれば、音は重なっている。そこで制御部３６は、現ノートの開始時刻とｎ個前のノートの終了時刻とが重なっている期間の長さが既定の閾値Ｌ以上であるか否かを判定する（ステップＳ４５）。ステップＳ４５でＹｅｓならば、制御部３６はｎをインクリメントして（ステップＳ４７）、処理手順はステップＳ４２に戻る。ステップＳ４５でＮｏならば、制御部４６はレガートを検出し、ｎ個前のノートと現ノートとの関係をレガートとする（ステップＳ４６）。

以上の手順において、音楽解析ルーチン４１ａは、演奏データ５０ａを解析して、第１音の持続期間に第２音が発音された場合に、第１音と第２音との同時発音期間を抽出する。そして、演奏技法検出ルーチン４１ｂは、同時発音期間が既定の閾値以上である場合に、レガートを検出する。

図１３は、レガートが検出された場合の表現の一例を示す図である。図１３（ａ）のように、例えば花のキャラクターで表現された音に対してレガートで弾かれたノートは、図１３（ｂ）のように、スラーのような、弓状のキャラクターで繋げて表現される。例えば虹のようなキャラクターで表現すれば、美的、芸術的な表現になる。弱い音のレガートなら虹を薄くし、強い音のレガートなら虹を濃くするといった意匠も、効果的である。

＜トリル＞
図１４は、トリル検出処理（ステップＳ３３）における処理手順の一例を示すフローチャートである。図１４において、制御部３６は、変数としての、現ノートのトリル値に０を代入して初期化処理を行う（ステップＳ５１）。なお、現ノートとは、現在注目している音（ｎｏｔｅ）であって、つまりその時点で発音されている音である。また、現ノートから１個前のノートをpre_noteと表し、現ノートから２個前のノートをpre2_noteと表す。

次に、制御部３６は、（現ノートのゲートタイム≦１００）の真偽を判定し（ステップＳ５２）、Ｙｅｓであれば、現ノートとその１個前の音（pre_note）がレガートの関係にあるか否かを判定する（ステップＳ５３）。ここでＹｅｓであれば、制御部３６はさらに、pre_noteとその１個前の音、つまりpre2_noteとがレガートの関係にあるか否かを判定する（ステップＳ５４）。ここでもＹｅｓであれば、制御部３６はさらに、pre_noteとpre2_noteとの音高が同じか、そうでないかを判定する（ステップＳ５５）。ステップＳ５５で、pre_noteの音高とpre2_noteの音高が同じであれば（Ｙｅｓ）、制御部３６は、現ノートのトリル値が既定の閾値thよりも大きいか否かを判定する（ステップＳ５６）。

ステップＳ５６でＹｅｓであれば、制御部３６はトリルで演奏されていることを認識し（ステップＳ５７）、フラグ変数TrillにTrueを代入してトリル検出処理を抜ける。一方、ステップＳ５６でＮｏであれば、制御部３６はpre_noteを現ノートにし（現ノート = pre_note）、pre2_noteをpre_noteにし（pre_note = pre2_note）、pre2_noteの１個前のノートをpre_2noteにする（pre2_note = pre2_noteの１個前のノート）とともに、トリル値をインクリメントして（ステップＳ５８）、処理手順はステップＳ５２に戻る。なお、ステップＳ５２、Ｓ５３、Ｓ５４、Ｓ５５でＮｏであれば、制御部３６はフラグ変数TrillにFalseを代入し、（ステップＳ５９）トリルではないと判定してトリル検出処理を抜ける。

以上の手順において、音楽解析ルーチン４１ａは、演奏データ５０ａを解析して、ゲートタイムが既定の閾値以下の第１音（現ノート）に対して、第１音と第１音よりも１個前の第２音（pre_note）との同時発音期間である第１同時発音期間を抽出する。また、音楽解析ルーチン４１ａは、第２音（pre_note）と第２音よりも１個前の第３音（pre2_note）との同時発音期間である第２同時発音期間を抽出する。そして、演奏技法検出ルーチン４１ｂは、第１同時発音期間、および第２同時発音期間が既定の閾値よりも短く、現ノートの音高とpre2_noteの音高とが同じである場合に、トリルを検出する。

図１５は、トリルが検出された場合の表現の一例を示す図である。例えばドレドレドレ～の音程差でトリルが演奏されたとき、図１５（ａ）のキャラクターの周りに図１５（ｂ）のような小さなキャラクターが次々に表れて、主音を装飾する効果が表現される。トリルの長さで装飾数（小キャラクターの数）を変更すると、さらに効果的な表現になる。

＜ベロシティ突出音＞
図１６は、ベロシティ突出音検出処理（ステップＳ３８）における処理手順の一例を示すフローチャートである。図１６において、制御部３６は、現ノートよりも時系列で過去に遡った個数を示す変数ｎに１を代入して初期化し（ステップＳ６１）、ループに入った直後に変数ｎが１０に達したか否かを判定する（ステップＳ６２）。ｎが１０であれば、ベロシティ突出音が判定される（ステップＳ６３）。つまり急激に大きな音が演奏されたことが判定される。

ｎが１０未満であれば、制御部３６は、現ノートのベロシティがｎ個前のノートよりも、例えば閾値２０以上大きいか否かを判定する（ステップＳ６４）。ステップＳ６４でＮｏであれば処理は終了するが、Ｙｅｓであれば、制御部３６はｎをインクリメントして（ステップＳ６５）、処理手順はステップＳ６２に戻る。

以上の手順において、音楽解析ルーチン４１ａは、第１音のベロシティを当該第１音より時間的に前の第２音のベロシティから減算したベロシティ差を抽出する。そして、演奏技法検出ルーチン４１ｂは、抽出されたベロシティ差が既定の閾値以上である場合に、ベロシティ突出音を検出する。

図１７は、ベロシティ突出音が検出された場合の表現の一例を示す図である。例えば図１７（ａ）のキャラクターで表現される音にベロシティ突出音が検出されると、図１７（ｂ）のように、同じキャラクターが同じサイズで複数、表示される。ベロシティ差の値に応じてキャラクターの数を変化させても良い。

以上、いくつかの演奏技法の抽出方法を具体的に例示した。これらの例示の内容を知った当業者であれば、その他の演奏技法についても、演奏時の音列の時系列的な特徴から演奏技法を抽出することは容易に実現できる。
＜効果＞
以上説明したように、実施形態では、演奏で生じる演奏データを解析し、演奏時の音列の時系列的な特徴を抽出する。そして、その特徴に基づいて演奏技法を判定、認識するようにした。さらに、演奏技法に応じた動画像（第１画像）を生成し、リアルタイムで表示するようにした。このようにすることで、演奏技法に合った視覚的表現をリアルタイムで生成し、描画することが可能になり、音楽演奏を視覚的に表現することの楽しさをさらに高めることが可能になる。

これらのことから実施形態によれば、演奏技法を映像表現に反映させ、さらに豊かな表現で音楽を可視化することが可能になる。これにより、演奏することの楽しさや、練習する意欲の向上を促すプログラム、方法、情報処理装置、および演奏データ表示システムを提供することができる。すなわち、本発明によれば、演奏技法を映像表現に反映できるので、演奏することの楽しさをさらに高めることが可能になる。

なお、本発明は、具体的な実施形態に限定されるものではない。例えば実施形態では、情報処理装置３として、デジタルキーボード１とは別体の、タブレット型の携帯端末を想定した。これに限らず、デスクトップ型、またはノート型のコンピュータを用いても良い。あるいは、デジタルキーボード１自体が情報処理装置の機能を兼ね備えていてもよい。
また、実施形態では、グリッサンド、レガート、トリル、およびベロシティ突出音について取り上げたが、これらに限定されるものではない。つまり図８に示されるように、前打音、ターン、長音、スタッカート、クレッシェンド／デクレッシェンド、跳躍、およびノンレガートについても、音列の時系列的な特徴を抽出することで認識することが可能である。さらに、リズム表現であるシンコペーションについても、音楽解析で取得される拍、拍子などの知見に基づけば、認識することができるし、それぞれの演奏技法にマッチする映像表現を描画することが可能である。

また、本発明の技術的範囲には、本発明の目的が達成される範囲での様々な変形や改良などが含まれるものであり、そのことは当業者にとって特許請求の範囲の記載から明らかである。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
＜請求項１＞
情報処理装置に、
演奏に伴って発生する演奏データに基づいて音列の時系列的な特徴を抽出する解析処理と、
抽出された前記特徴から演奏技法を検出する検出処理と、
検出された前記演奏技法に対応する画像データを出力する出力処理と、
を実行させる命令を含む、プログラム。
＜請求項２＞
前記解析処理は、前記音列の互いの音高差と、当該音列同士の時間間隔とを抽出し、
前記検出処理は、前記音高差が既定の値以下で、前記時間間隔が既定の閾値以下である場合に、グリッサンドを検出する、請求項１に記載のプログラム。
＜請求項３＞
前記解析処理は、第１音の持続期間に第２音が発音された場合に、前記第１音と前記第２音との同時発音期間を抽出し、
前記検出処理は、同時発音期間が既定の閾値より短い場合に、レガートを検出する、請求項１に記載のプログラム。
＜請求項４＞、
前記解析処理は、ゲートタイムが既定の閾値以下の第１音に対して、前記第１音と前記第１音よりも１個前の第２音との同時発音期間である第１同時発音期間と、前記第２音と前記第２音よりも１個前の第３音との同時発音期間である第２同時発音期間とを抽出し、
前記検出処理は、前記第１同時発音期間および前記第２同時発音期間が既定の閾値よりも短く、前記第１音の音高と前記第３音の音高とが同じである場合に、トリルを検出する、請求項１に記載のプログラム。
＜請求項５＞
前記解析処理は、第１音のベロシティから、前記第１音より時間的に前の第２音のベロシティを減算したベロシティ差を抽出し、
前記検出処理は、前記ベロシティ差が既定の閾値以上である場合に、ベロシティ突出音を検出する、請求項１に記載のプログラム。
＜請求項６＞
複数の演奏技法が検出された場合に優先される演奏技法を登録したテーブルを記憶する記憶部をさらに具備し、
前記検出処理は、複数の演奏技法が検出された場合に、前記テーブルに登録された演奏技法を選択する、請求項１に記載のプログラム。
＜請求項７＞
情報処理装置に、
演奏に伴って発生する演奏データに基づいて音列の時系列的な特徴を抽出させ、
抽出された前記特徴から演奏技法を検出させ、
検出された前記演奏技法に対応する画像データを出力させる、方法。
＜請求項８＞
表示装置と、
プロセッサと、を具備し、
前記プロセッサが、
演奏に伴って発生する演奏データに基づいて音列の時系列的な特徴を抽出し、
抽出された前記特徴から演奏技法を検出し、
検出された前記演奏技法に対応する画像データを出力する、情報処理装置。
＜請求項９＞
電子楽器と、表示装置とを具備し、
前記電子楽器は、
ユーザによる演奏操作に応じて演奏データを生成するとともに、生成された前記演奏データを前記表示装置に出力し、
前記表示装置は、
入力される前記演奏データを解析して音列の時系列的な特徴を抽出し、
抽出された前記特徴から演奏技法を検出し、
検出された前記演奏技法に対応する画像データを前記表示装置に出力する、
演奏データ表示システム。

１…デジタルキーボード、３…情報処理装置、４…ＭＩＤＩ装置、１１…ＵＳＢインタフェース、１２…ＲＡＭ、１３…ＲＯＭ、１４…表示部、１５…表示コントローラ、１６…ＬＥＤコントローラ、１７…鍵盤、１８…操作部、１９…キースキャナ、２０…ＭＩＤＩインタフェース、２１…システムバス、２２…ＣＰＵ、２３…タイマ、２４…音源、２５，２７…Ｄ／Ａコンバータ、２６…ミキサ、２８…音声合成ＬＳＩ、２９…アンプ、３１…操作部、３２…表示部、３３…通信部、３４…音出力部、３５…メモリ、３６…制御部、３７…バス、４０…ＲＯＭ、４１…プログラム、４１ａ…音楽解析ルーチン、４１ｂ…演奏技法検出ルーチン、４１ｃ…画像作成ルーチン、４１ｄ…出力制御ルーチン、４６…制御部、５０…ＲＡＭ、５０ａ…演奏データ、５０ｂ…キャラクタデータ、５０ｃ…画像データ、５０ｄ…画像データ、７０ｂ…演奏技法検出ルーチン、１０５…ＲＡＭ、１０６…ＲＯＭ、１１１…ＣＰＵ、２１１…Ｄ／Ａコンバータ。

Claims (9)

1. 情報処理装置に、
   演奏に伴って発生する演奏データに基づいて音列の時系列的な特徴を抽出する解析処理と、
   抽出された前記特徴から演奏技法を検出する検出処理と、
   検出された前記演奏技法に対応する画像データを出力する出力処理と、
   を実行させる命令を含み、
   前記解析処理は、第１音のベロシティから、前記第１音より時間的に前の第２音のベロシティを減算したベロシティ差を抽出し、
   前記検出処理は、前記ベロシティ差が既定の閾値以上である場合に、ベロシティ突出音を検出する、プログラム。
2. 情報処理装置に、
   演奏に伴って発生する演奏データに基づいて音列の時系列的な特徴を抽出する解析処理と、
   抽出された前記特徴から演奏技法を検出する検出処理と、
   検出された前記演奏技法に対応する画像データを出力する出力処理と、
   を実行させる命令を含み、
   前記検出処理は、複数の演奏技法が検出された場合に、複数の演奏技法が検出された場合に優先される演奏技法を登録したテーブルに登録された演奏技法を選択する、プログラム。
3. 前記解析処理は、前記音列の互いの音高差と、当該音列同士の時間間隔とを抽出し、
   前記検出処理は、前記音高差が既定の値以下で、前記時間間隔が既定の閾値以下である場合に、グリッサンドを検出する、請求項１又は２に記載のプログラム。
4. 前記解析処理は、第１音の持続期間に第２音が発音された場合に、前記第１音と前記第２音との同時発音期間を抽出し、
   前記検出処理は、同時発音期間が既定の閾値より短い場合に、レガートを検出する、請求項１又は２に記載のプログラム。
5. 前記解析処理は、ゲートタイムが既定の閾値以下の第１音に対して、前記第１音と前記第１音よりも１個前の第２音との同時発音期間である第１同時発音期間と、前記第２音と前記第２音よりも１個前の第３音との同時発音期間である第２同時発音期間とを抽出し、
   前記検出処理は、前記第１同時発音期間および前記第２同時発音期間が既定の閾値よりも短く、前記第１音の音高と前記第３音の音高とが同じである場合に、トリルを検出する、請求項１又は２に記載のプログラム。
6. 情報処理装置に、
   演奏に伴って発生する演奏データに基づいて音列の時系列的な特徴を抽出させ、
   抽出された前記特徴から演奏技法を検出させ、
   検出された前記演奏技法に対応する画像データを出力させ、
   複数の演奏技法が検出された場合に、複数の演奏技法が検出された場合に優先される演奏技法を登録したテーブルに登録された演奏技法を選択させる、方法。
7. 情報処理装置に、
   演奏に伴って発生する演奏データに基づいて音列の時系列的な特徴を抽出させ、
   抽出された前記特徴から演奏技法を検出させ、
   検出された前記演奏技法に対応する画像データを出力させ、
   第１音のベロシティから、前記第１音より時間的に前の第２音のベロシティを減算したベロシティ差を抽出させ、前記ベロシティ差が既定の閾値以上である場合に、ベロシティ突出音を検出させる、方法。
8. 表示装置と、
   プロセッサと、を具備し、
   前記プロセッサが、
   演奏に伴って発生する演奏データに基づいて音列の時系列的な特徴を抽出し、
   抽出された前記特徴から演奏技法を検出し、
   検出された前記演奏技法に対応する画像データを出力し、
   複数の演奏技法が検出された場合に、複数の演奏技法が検出された場合に優先される演奏技法を登録したテーブルに登録された演奏技法を選択する、情報処理装置。
9. 電子楽器と、表示装置とを具備し、
   前記電子楽器は、
   ユーザによる演奏操作に応じて演奏データを生成するとともに、生成された前記演奏データを前記表示装置に出力し、
   前記表示装置は、
   入力される前記演奏データを解析して音列の時系列的な特徴を抽出し、
   抽出された前記特徴から演奏技法を検出し、
   検出された前記演奏技法に対応する画像データを前記表示装置に出力し、
   複数の演奏技法が検出された場合に、複数の演奏技法が検出された場合に優先される演奏技法を登録したテーブルに登録された演奏技法を選択する、
   演奏データ表示システム。