JP7456149B2 - プログラム、電子機器、方法、および演奏データ表示システム - Google Patents

Description

本発明は、プログラム、電子機器、方法、および演奏データ表示システムに関する。

デジタルキーボードをはじめとする電子楽器は、プロセッサおよびメモリを備え、いわば鍵盤付きの組込みコンピュータといえる。ＵＳＢ（Universal Serial Bus）等のインタフェースでタブレット等の情報処理装置に接続し、多様な拡張機能を利用できる機種も知られている。例えば、演奏により発生するＭＩＤＩ（Musical Instrumen Digital Interface）データを解析し、演奏にマッチする画像、つまり絵を作成して画面に描画する技術が開発の途上にある（例えば、特許文献１を参照）。

楽器演奏は練習が大変で、途中で飽きてしまって断念する人も多い。自分の演奏を録音し、どの部分が弾けなかったかを確認するというのはある程度弾けるようになってからの話であって、その前であきらめてしまう人が多い。このような人達にも練習の意欲を高めてもらうために、視覚的な効果を利用する技術に注目が集まっている。

演奏により絵を作成する技術では、演奏中の曲の調（Ｋｅｙ）に合わせて選択された色の背景に、音符に対応するキャラクターを並べて一枚の絵とするのが基本である。背景色は、例えばスクリャービンで知られる音と色との共感覚の関係を応用して、ハ長調は赤色、ト長調は青色というように、音楽解析による調の判定結果に対応付けて決められる。

特開２０１９－１０１１６８号公報

"Music Tapestry"，[online]，［令和1年11月20日検索］,インターネット，<URL:https://news.mynavi.jp/article/20190724-casio_music_tapestry/>

既存の技術では、音楽的に正しい演奏により作成された絵と、そうでない演奏により作成された絵との間にそれほどの違いがない。楽器店に陳列されたキーボードの鍵盤をたたいて遊ぶ子供が見受けられるように、幼い子供はめちゃくちゃ弾きをしたがる。そこまでいかなくとも、ちゃんとした演奏ではきれいな絵になり、そうでない演奏ではきれいでない絵になるほうが、ユーザの練習意欲は高まると思われる。

本発明はこのような事実に鑑みなされたもので、その目的は、演奏の良否を画像で表現するプログラム、電子機器、方法、および演奏データ表示システムを提供することにある。

上記目的を達成するために、本発明の一実施形態であるプログラムは、情報処理装置のコンピュータに、入力された演奏データに基づいて、コードが判定されない回数が設定された閾値未満の場合、或いは、互いに隣接する５鍵以上の白鍵の押鍵がなされたと判定されない場合に、音楽的に適切と判定して第１画像データの表示を指示させ、前記コードが判定されない回数が前記設定された閾値に達した場合、或いは、前記互いに隣接する５鍵以上の白鍵の押鍵がなされたと判定された場合に、音楽的に不適切と判定して前記第１画像データと異なる態様の第２画像データの表示を指示させる。

本発明によれば、例えば、演奏の良否を画像でわかりやすく表現でき、ユーザの練習意欲の向上に資するプログラムを提供することができる。

図１は、実施形態に係わる演奏データ表示システムの一例を示す図である。 図２は、実施形態に係るデジタルキーボード１の一例を示すブロック図である。 図３は、情報処理装置ＴＢの一例を示す機能ブロック図である。 図４は、第１キャラクタデータの一例を示す図である。 図５は、第２キャラクタデータの一例を示す図である。 図６は、情報処理装置ＴＢの処理手順の一例を示すフローチャートである。 図７Ａは、音楽的でないと判定される余地のない演奏の譜例を示す。 図７Ｂは、図７Ａの譜例により作成された第１画像の例を示す図である。 図７Ｃは、図７Ａの譜例により作成された第２画像の例を示す図である。 図８は、図６の非音楽的判定処理（ステップＳ１３）における処理手順の一例を示すフローチャートである。 図９Ａは、音楽的でないと判定される余地を含む演奏の譜例を示す。 図９Ｂは、図９Ａの譜例により作成された第１画像の例を示す図である。 図９Ｃは、図９Ａの譜例により作成された第２画像の例を示す図である。 図１０は、図６の非音楽的判定処理（ステップＳ１３）における処理手順の他の例を示すフローチャートである。 図１１Ａは、音楽的でないと判定される余地を含む演奏の譜例を示す図である。 図１１Ｂは、図１１Ａの譜例により作成された第１画像の例を示す図である。 図１１Ｃは、図１１Ａの譜例により作成された第２画像の例を示す図である。 図１２Ａは、音楽的でないと判定される余地を含む演奏の譜例を示す図である。 図１２Ｂは、図１２Ａの譜例により作成された第１画像の例を示す図である。 図１２Ｃは、図１２Ａの譜例により作成された第２画像の例を示す図である。

以下、添付図面を参照して、本発明に係る演奏データ表示システムについて説明する。
＜構成＞
図１は、実施形態に係わる演奏データ表示システムの一例を示す図である。このシステムは、デジタルキーボード１と、このデジタルキーボード１に接続可能な情報処理装置ＴＢとを備える。デジタルキーボード１は、例えば、電子ピアノ、シンセサイザー、あるいは電子オルガン等の電子鍵盤楽器である。図１に示すように、デジタルキーボード１は、複数の鍵１０と、表示部２０と、操作部３０と、譜面台ＭＳとを備える。図１に示されるように、デジタルキーボード１に接続された情報処理装置ＴＢを、譜面台ＭＳに載置することができる。

鍵１０は、演奏者が音高を指定する操作子であり、演奏者が鍵１０を押鍵及び離鍵することで、デジタルキーボード１は、指定された音高に対応する音の発音及び消音を行う。

表示部２０は、例えば、タッチパネル付きの液晶モニタ（Liquid Crystal Display：ＬＣＤ）を有し、演奏者の操作部３０の操作に伴うメッセージの表示等を行う。なお、本実施形態では、表示部２０がタッチパネル機能を有しているため、表示部２０は、操作部３０の一端を担うことができるようになっている。

操作部３０は、演奏者が各種の設定等を行う操作ボタンを有し、音量調整等の各種の設定操作等を行うための部分である。
発音部４０は、音を出力する部分であり、スピーカ４２やヘッドフォンアウト等の出力部を有する。
図２は、実施形態に係るデジタルキーボード１の一例を示すブロック図である。デジタルキーボード１は、ＵＳＢインタフェース（Ｉ／Ｆ）２１６、ＲＡＭ（Random Access Memory）２０３、ＲＯＭ（Read Only Memory）２０２、表示部２０、ＬＣＤコントローラ２０８、ＬＥＤ（Light Emitthing Diode）コントローラ２０７、鍵盤１０１、操作部３０、キースキャナ２０６、ＭＩＤＩインタフェース（Ｉ／Ｆ）２１５、システムバス２０９、ＣＰＵ（Central Processing Unit）２０１、タイマ２１０、音源２０４、デジタル／アナログ（Ｄ／Ａ）コンバータ２１１、ミキサ２１３、Ｄ／Ａコンバータ２１２、音声合成ＬＳＩ２０５、および、アンプ２１４を備える。音源２０４、音声合成ＬＳＩ２０５は、例えばＤＳＰ（Digital Signal Processor）として実現される。

ＣＰＵ２０１、音源２０４、音声合成ＬＳＩ２０５、ＵＳＢインタフェース２１６、ＲＡＭ２０３、ＲＯＭ２０２、ＬＣＤコントローラ２０８、ＬＥＤコントローラ２０７、キースキャナ２０６、およびＭＩＤＩインタフェース２１５は、システムバス２０９に接続される。

ＣＰＵ２０１は、デジタルキーボード１を制御するプロセッサである。すなわちＣＰＵ２０１は、ＲＯＭ２０２に記憶されたプログラムを、ワーキングメモリとしてのＲＡＭ２０３に読み出し、実行して、デジタルキーボード１の各種の機能を実現する。ＣＰＵ２０１は、タイマ２１０から供給されるクロックに従って動作する。クロックは、例えば自動演奏、自動伴奏のシーケンスを制御するために用いられる。

ＲＯＭ２０２は、プログラム、各種設定データ、自動伴奏データ等を記憶する。自動伴奏データは、予めプリセットされたリズムパターン、コード進行、ベースパターン、あるいはオブリガード等のメロディデータ等を含んでよい。メロディデータは、各音の音高情報、各音の発音タイミング情報等を含んでよい。

各音の発音タイミングは、各発音間の間隔時間でもよく、自動演奏曲の開始時からの経過時間であっても良い。時間の単位にはｔｉｃｋが用いられることが多い。ｔｉｃｋは、一般的なシーケンサで用いられる、曲のテンポを基準とする単位である。例えば、シーケンサの分解能が４８０であれば、４分音符の時間の１／４８０が１ｔｉｃｋとなる。

自動伴奏データは、ＲＯＭ２０２に限らず、図示しない情報記憶装置や情報記憶媒体に記憶されていても良い。自動伴奏データのフォーマットは、ＭＩＤＩ用のファイルフォーマットに準拠してもよい。

音源２０４は、例えばＧＭ（General MIDI）規格に準拠する、いわゆるＧＭ音源である。この種の音源は、ＭＩＤＩメッセージとしてのプログラムチェンジを与えれば音色を変更できるし、コントロールチェンジを与えれば既定のエフェクトを制御することができる。

音源２０４は、例えば同時に最大２５６ボイスを発音する能力を有する。音源２０４は、例えば波形ＲＯＭ（図示せず）から楽音波形データを読み出し、デジタル楽音波形データとしてＤ／Ａコンバータ２１１に出力される。Ｄ／Ａコンバータ２１１は、デジタル楽音波形データをアナログ楽音波形信号に変換する。

音声合成ＬＳＩ２０５は、ＣＰＵ２０１から、歌詞のテキストデータと音高に関する情報を歌声データとして与えられると、それに対応する歌声の音声データを合成し、Ｄ／Ａコンバータ２１２に出力する。Ｄ／Ａコンバータ２１２は、音声データをアナログ音声波形信号に変換する。

ミキサ２１３は、アナログ楽音波形信号、およびアナログ音声波形信号をミックスし、出力信号を生成する。この出力信号はアンプ２１４で増幅され、スピーカ４２、あるいはヘッドフォンアウトなどの出力端子から出力される。

キースキャナ２０６は、鍵盤１０１の押鍵／離鍵状態、操作部３０のスイッチ操作状態を定常的に監視する。そして、キースキャナ２０６は、鍵盤１０１、操作部３０の状態をＣＰＵ２０１に伝える。

ＬＥＤコントローラ２０７は、例えばＩＣ（Integated Circuit）である。ＬＥＤコントローラ２０７は、ＣＰＵ２０１からの指示により鍵盤１０１の鍵を光らせて、演奏者の演奏をナビゲートする。ＬＣＤコントローラ２０８は、表示部２０の表示状態を制御するＩＣである。

ＭＩＤＩインタフェース２１５は、ＭＩＤＩ装置４等の外部装置からのＭＩＤＩメッセージ（演奏データ等）を入力したり、ＭＩＤＩメッセージを外部装置に出力したりする。デジタルキーボード１は、例えばＵＳＢ（Universal Serial Bus）等のインタフェースを用いて、外部装置とＭＩＤＩメッセージやＭＩＤＩデータファイルを授受することが可能である。受信されたＭＩＤＩメッセージは、ＣＰＵ２０１経由で音源２０４に渡される。音源２０４は、ＭＩＤＩメッセージで指定された音色、音量、タイミング等に従って音を鳴らす。

情報処理装置ＴＢが、ＵＳＢインタフェース２１６経由でシステムバス２０９に接続される。情報処理装置ＴＢは、デジタルキーボード１が演奏されることで発生したＭＩＤＩデータ（演奏データ）を、ＵＳＢインタフェース２１６経由で取得することができる。

さらに、図示しない記憶メディア等も、ＵＳＢインタフェース２１６経由でシステムバス２０９に接続されても良い。記憶装置３としては、例えば、ＵＳＢメモリ、フレキシブルディスクドライブ（ＦＤＤ）、ハードディスクドライブ（ＨＤＤ）、ＣＤ－ＲＯＭドライブ及び光磁気ディスク（ＭＯ）ドライブ等が挙げられる。ＲＯＭ１０６にプログラムが記憶されていない場合には、記憶メディアにプログラムを記憶させておき、それをＲＡＭ１０５に読み込むことにより、ＲＯＭ１０６にプログラムを記憶している場合と同様の動作をＣＰＵ１１１に実行させることができる。

図３は、情報処理装置ＴＢの一例を示す機能ブロック図である。実施形態の情報処理装置ＴＢは、例えばタブレット型の情報端末であり、後述するような画像を表示部５２に表示させるためのアプリケーションがインストールされている。なお、情報処理装置ＴＢは、タブレット型の携帯端末に限定される必要はなく、ノートパソコンＰＣ等であってもよい。また、情報処理装置ＴＢは、デジタルキーボード１からＭＩＤＩデータを受信して曲データを再生させるシーケンサ等を備えていてもよい。

情報処理装置ＴＢは、主に、操作部５１と、表示部５２と、通信部５３と、音出力部５４と、制御部５６（ＣＰＵ）と、メモリ５５と、を備える。各部（操作部５１、表示部５２、通信部５３、音出力部５４、制御部５６及びメモリ５５）は、バス５７で通信可能に接続されており、各部間で必要なデータのやり取りが行えるようになっている。

操作部５１は、例えば、電源のＯＮ／ＯＦＦを行うための電源スイッチ等のスイッチ類を含む。表示部５２は、タッチパネル付きの液晶モニタを有し、画像を表示する。表示部５２はタッチパネル機能も有するので、操作部５１の一端を担うことができる。

通信部５３は、他の機器等との間で通信を行うための無線ユニットや有線ユニットを備える。実施形態では、例えばＵＳＢケーブル等を介してデジタルキーボード１に有線接続され、これにより情報処理装置ＴＢは、デジタルキーボード１との間で各種のディジタルデータを授受することができる。

音出力部５４は、スピーカーやイヤホンジャック等を備え、アナログの音声や楽音を再生出力したり、オーディオ信号を出力する。

制御部５６は、ＣＰＵ等のプロセッサを備え、情報処理装置ＴＢの制御を司る。制御部５６のＣＰＵは、メモリ５５に記憶されている制御プログラムやインストールされたアプリケーションに従って、各種の処理等を実行する。

メモリ５５は、ＲＯＭ６０およびＲＡＭ８０を備える。
ＲＯＭ６０は、例えば、制御部５６が実行するプログラム７０や各種データテーブル等を記憶している。

ＲＡＭ８０は、プログラム７０を動作させる上で必要なデータを記憶する。またＲＡＭ８０は、制御部５６が作成するデータ、デジタルキーボード１から送られたＭＩＤＩデータ、及び、アプリケーションを展開させるための一時記憶領域等としても機能する。実施形態においては、ＲＡＭ８０は、ＭＩＤＩデータとしての演奏データ８０ａに加えて、第１キャラクタデータ８０ｂ、第２キャラクタデータ８０ｃ、および、演奏データ８０ａに由来する第１画像データ８０ｄと第２画像データ８０ｅを記憶する。

図４は、第１キャラクタデータの一例を示す図である。第１キャラクタデータは、演奏操作が音楽的に適切であると判定された場合に表示される、複数のキャラクタを含むデータである。第１キャラクタデータは、比較的、肯定的な印象を与える図柄を音高に対応付けて登録したデータである。

図５は、第２キャラクタデータの一例を示す図である。第２キャラクタデータは、第１キャラクタデータよりも肯定的でない、つまり比較的否定的な印象を与える図柄を音高に対応付けて登録したデータである。第２キャラクタデータは、演奏操作が音楽的に適切であると判定されなかった場合に表示される。

実施形態では、第２キャラクタデータの否定度を区別するためのしきい値（TH）を考慮する。図５においてはTH1、およびTH2の２段階のキャラクターが示される。例えばキャラクターＡ(花)については、元のキャラクターが花弁が全部ついた絵柄であるのに対し、音楽的でない演奏の度合いが高まるほど、花弁が散って否定的な図柄に差し替えられてゆく。しきい値TH1では花弁が７枚、しきい値TH2では花弁が３枚になっている。キャラクターＢ(葉)については、音楽的でない演奏の度合いが高まるほど、枯れてゆくことが分かる。

このほか、モザイク状に描画して（モザイクキャラクター）否定的印象を与えたり、爆発や火事を表すイメージ（上書きキャラクター１）、あるいは絵の具で塗りつぶすイメージ（上書きキャラクター２）を描画することによっても、否定的な印象を与えることができる。これらのキャラクターを差し替え、または上書き描画することによって、音楽的でない演奏操作、つまりめちゃくちゃ弾きを指摘することができる。

ところで、実施形態において、プログラム７０は、音楽解析ルーチン７０ａ、第１画像作成ルーチン７０ｂ、第２画像作成ルーチン７０ｃ、および、出力制御ルーチン７０ｄを備える。

音楽解析ルーチン７０ａは、入力された演奏データ８０ａに基づいて、音高データを取得する。すなわち音楽解析ルーチン７０ａは、演奏データ８０ａに含まれる音高データに基づいて音楽解析を行い、例えば音高データの組み合わせに基づいて、演奏が音楽的に適切か否かを判定する。

例えば、音楽解析によりコードを判定できない場合（判定に失敗した場合）、コードを判定できない回数が規定数を超えた場合、あるいは、隣接する白鍵の５鍵以上の同時押しの検出など、ほぼ同時のタイミングに検出される音高データの組み合わせや、一定の時間長の間に何度も検出される音高データの組み合わせなどにより、演奏操作が音楽的であるか否かを判定することができる。

なお、音楽解析の手法、あるいは調性やコード種別等を判定するための手法は、特に限定されるものではないが、例えば、特許第３２１１８３９号明細書等に開示された手法を用いることができる。

第１画像作成ルーチン７０ｂは、音楽解析ルーチン７０ａにより演奏操作が適切であると判定された場合に、第１キャラクタを、音高データに対応付けて表示部５２に描画する。
第２画像作成ルーチン７０ｃは、音楽解析ルーチン７０ａにより演奏操作が適切でないと判定された場合に、第２キャラクタを、音高データに対応付けて表示部５２に描画する。

第１画像作成ルーチン７０ｂ、第２画像作成ルーチン７０ｃにより、第１画像データおよび第２画像データが作成される。第１画像データ、第２画像データのいずれも、演奏データ８０ａに基づいて、例えば特許文献１に開示される技術を利用して作成することができる。これらの画像データはＲＡＭ８０に記憶される（第１画像データ８０ｄ、第２画像データ８０ｅ）。

なお、特許文献１に開示される『第１画像』は、演奏中にリアルタイム表示される動画像、またはその１フレーム（最終フレームなど）の画像に対応し、本実施形態における［第１画像］と同様である。また、特許文献１に開示される『第２画像』は演奏終了後に生成される静止画像に対応し、本実施形態の［第２画像］に相当する。

出力制御ルーチン７０ｄは、作成された第１画像、および第２画像を、制御部５６に、表示装置としての表示部５２に表示させる。

＜作用＞
次に、上記構成における作用を説明する。以下では、情報処理装置ＴＢの通信部５３とデジタルキーボード１の通信部９０とが有線接続されているとして説明する。また、画像を表示部５２に表示させるためのアプリケーションが情報処理装置ＴＢで起動されているとする。

図６は、情報処理装置ＴＢの処理手順の一例を示すフローチャートである。図６において、情報処理装置ＴＢの制御部５６（ＣＰＵ）は、デジタルキーボード１からの演奏データの送信を待ち受ける（ステップＳ１１）。演奏データの入力が無ければ（ステップＳ１１：ＮＯ）、制御部５６は、演奏終了判断処理を行う（ステップＳ１７）。

ステップＳ１７において、演奏データの入力無しで所定の時間が経過すると（ステップＳ１７：ＹＥＳ）、制御部５６は演奏が終了したと判定する。つまり、或る時間にわたって演奏データの受信入力が検出されない場合、処理手順はステップＳ１８に進む。なお、伴奏データを自動再生し、メロディを演奏者に指定させる形態においては、伴奏データの自動再生が終了した時点で演奏が終了したと判断してステップＳ１８に移行しても良い。つまり、演奏終了と制御部５６が判断する理由はどのような理由であってもよい。要するに、制御部５６が演奏終了を判断すると、処理手順をステップＳ１８に移行すればよい。

ステップＳ１８において、制御部５６は、演奏データ８０ａの解析結果を反映する第２画像を作成し、表示部５２に表示出力する（ステップＳ１８）。

一方、ステップＳ１７で演奏の終了が検出されなければ（ステップＳ１７：ＮＯ）、処理手順はステップＳ１１に戻る。ステップＳ１１で演奏データの入力が有ると（ステップＳ１１：ＹＥＳ）、処理手順は次のステップＳ１２に移る。

ステップＳ１２において、制御部５６は、演奏判定処理を実行する（ステップＳ１２）。ステップＳ１２において制御部５６は、取得した演奏データに基づき、例えば、調（例えば、ハ長調～ロ短調の２４種類）の判定、コード種別（例えば、Ｍａｊｏｒ、ｍｉｎｏｒ、ｓｕｓ４、ａｕｇ、ｄｉｍ、７ｔｈ等）の判定、及び、音高（例えば、ド、レ、ミ等）の判定等を行う。音高は、演奏データに含まれるノートナンバー等によって判定することができる。ここで判定された調は、第１画像や第２画像の背景色に反映される。

次に制御部５６は、非音楽的判定処理を行う（ステップＳ１３）。「非音楽的判定」処理とは、端的に言えば、演奏操作が音楽的に適切であるか否かを判定する処理である。このステップでは「非音楽的判定値」というパラメータについてＴｒｕｅまたはＦａｌｓｅでの判定がなされ、その結果が次のステップでの判定処理に渡される。

次に制御部５６は、「非音楽的判定値」がＴｒｕｅであるか、またはＦａｌｓｅである以下を判定する（ステップＳ１４）。ＦａｌｓｅならばＮＯの判定がなされ、制御部５６は、通常の第１画像を作成して表示部５２に表示する（ステップＳ１５）。ＴｒｕｅならばＹＥＳの判定がなされ、制御部５６は、非音楽的描画を加えた第１画像を作成して表示部５２に表示する（ステップＳ１６）。

図７Ａは、音楽的でないと判定される余地のない演奏の譜例を示す。この譜例によれば、「非音楽的判定値」＝Ｔｒｕｅフラグが立つことが無く、対応する図７Ｂの第１画像、および図７Ｃの第２画像のように、否定的印象を与えるキャラクタ（第２キャラクタ）が含まれることがない。

なお、図７Ｂ、図７Ｃに示される番号は、図７Ａの譜例の番号に対応する。つまり、図７Ａのドレミファ…の順に、花（１）、葉（２）、てんとう虫（３）、蝶々（４）、のキャラクターが配置されてゆく（第１画像）。演奏後の第２画像（図７Ｃ）にも、これらのキャラクターがらせん状の軌道の上に配置されている。

図８は、図６の非音楽的判定処理（ステップＳ１３）における処理手順の一例を示すフローチャートである。図８において、先ず、制御部５６は、音楽解析の結果に基づいてコード判定値が無効値であるか否かを判定する（ステップＳ２１）。ＮＯであれば、音楽性評価のためのパラメータとしてのNotMusicalCntに０を代入し、非音楽的判定値＝Ｆａｌｓｅを出力する（ステップＳ２５）。
一方、ステップＳ２１でＹＥＳであれば、制御部５６は、NotMusicalCntを１増加し（インクリメント）する（ステップＳ２２）。次に、制御部５６は、NotMusicalCntと既定のしきい値THとを比較し、NotMusicalCntがしきい値未満であれば（ＮＯ）、非音楽的判定値＝Ｆａｌｓｅを出力する（ステップＳ２５）。
一方、ステップＳ２３でNotMusicalCntがしきい値以上であれば（ＹＥＳ）、非音楽的判定値＝Ｔｒｕｅを出力する（ステップＳ２４）。つまり、演奏判定処理の出力結果のひとつであるコード判定値を参照し、無効値、つまりどのコードにも判定されなかったことが規定の回数（例えば、TH＝１０回）続いたならば、演奏操作が音楽的でないと判定される（判定処理１）。なお、TH＝１０に固定することなく、演奏者のレベルや演奏曲のレベルに応じてTH を変更できるようにしてもよい。

図９Ａは、音楽的でないと判定される余地を含む演奏の譜例を示す。この譜例によれば、押鍵のタイミングの全てで「非音楽的判定値」＝Ｔｒｕｅフラグが立ち、対応する図９Ｂの第１画像、および図９Ｃの第２画像は、やや否定的な印象を与えるキャラクタ（第２キャラクタ）が描画されることになる（非音楽的描画）。例えば花弁の数が減っていたり、枯れ葉が描かれていたりする。演奏者はこの絵の印象から、次はもっと良い演奏をしようという励みを得られる。
なお、非音楽的描画とは、実施形態において、従来の描画に変化を加えることで、音楽的には弾いていないことを目立たせる描画を意図する用語である。例えば、通常のキャラクターである花や葉に対して、同形のもので枯れた花や枯れ葉のキャラクターに差し替えることが想定される。このほか、元の状態から壊れていることがイメージできる描画であれば、例えば通常のキャラクターである花や葉に対して、同形のもので花びらや葉が部分的に千切れたキャラクターへの差し替え等でもよい（描画処理１）。

以上述べたように、実施形態では、演奏データを音楽解析し、その結果に基づいて、演奏操作が音楽的に適切であるか、そうでないかを判定する。そして、演奏操作が音楽的に適切でないと判定されると、通常の第１キャラクタと比べて、比較的否定的な印象を与える第２キャラクタを差し替え、あるいは重ねて表示するようにした。

既存の技術では、第１画像または第２画像を一見しただけでは、良好に演奏できたか否かについての判別が困難であった。これに対し実施形態によれば、良好に演奏できた場合は肯定的な絵が、そうでない場合はそれなりの絵が出力されるので、画像をみただけで、良好に演奏できたか否かについて容易に判別可能となる。

このようにしたので、演奏者が音楽的でない弾き方をした場合に、その雰囲気を反映するような描画を実現できる。つまり、めちゃくちゃ弾きをしたときと真面目に弾いたときとで、一見して違いの分かる絵を作成することができる。すなわち実施形態によれば、音楽的なアプローチと、非音楽的なアプローチを区別して、音楽に合った絵を描くことで、新たな楽しさとモチベーションを提供することができる。

これらのことから実施形態によれば、演奏の良否を画像でわかりやすく表現できるようになり、ユーザの練習意欲の向上に資するプログラム、電子機器、方法、および演奏データ表示システムを提供することが可能になる。ひいては、楽器を演奏したり、練習したりすることがさらに楽しくなる。

［変形例］
図１０は、図６の非音楽的判定処理（ステップＳ１３）における処理手順の他の例を示すフローチャートである。図１０において、先ず、制御部５６は、隣り合う白鍵の５個以上の同時押しを判定する（ステップＳ３１）。検出されなければ（ＮＯ）、非音楽的判定値＝Ｆａｌｓｅを出力する（ステップＳ３３）一方、ステップＳ３１でＹＥＳであれば、制御部５６は、非音楽的判定値＝Ｔｒｕｅを出力する（ステップＳ３２）。

つまり、音高データを参照し、隣り合う白鍵が同時に５鍵以上押鍵されているのを検出したら、非音楽的判定値＝Ｔｒｕｅが出力されるようにする。なお「同時」とは、例えば２０ミリ秒［ｍＳ］以内とすればよい。あるいは、隣り合う黒鍵が同時に４鍵以上押鍵されていることを検出した場合にも、非音楽的判定値＝Ｔｒｕｅが出力されるようにするとよい（判定処理２）。このほか、同時に押された鍵盤が１０鍵以上あり、かつ、そのコード判定値が無効であった場合に、非音楽的判定値＝Ｔｒｕｅが出力されるようにするとよい（判定処理３）。

図１１Ａは、音楽的でないと判定される余地を含む演奏の譜例を示す。この譜例によれば、最後の二つの二分音符で、５鍵同時押しが検出される。ここで「非音楽的判定値」＝Ｔｒｕｅフラグが立ち、対応する図１１Ｂの第１画像、および図１１Ｃの第２画像に、否定的な印象を与えるキャラクタ（第２キャラクタ）が描画されることになる。ここでは図５に示されるモザイク状のキャラクターが差し替え表示されている。

図１２Ａは、音楽的でないと判定される余地を含む演奏の譜例を示す。この譜例によれば、三小節目の最初の二分音符で１０鍵同時押しが検出され、次の二分音符で１１鍵同時押しが検出される。ここで「非音楽的判定値」＝Ｔｒｕｅフラグが立ち、対応する図１２Ｂの第１画像、および図１２Ｃの第２画像に、さらに否定的な印象を与えるキャラクタ（第２キャラクタ）が描画されることになる。ここでは図５に示される、塗りつぶしキャラクターが重ねて表示されている。

なお、図９Ｂ、図１１Ｂ、図１２Ｂにおける否定的な印象は、この順に強くなっている。図９Ｃ、図１１Ｃ、図１２Ｃについても同様である。このような処理を行うため、複数のしきい値TH1、TH2を設定するとよい。例えば、コード判定の無効値の連続回数判定を数段階（例えば３段階）に分けて、それに応じて、差し替えるキャラクターを変更させてもよい。

具体的には、例えばTH1 = 10, TH2 = 20, TH3 = 30 として
NotMusicalCnt >= TH1 ならば、枯れ具合１のキャラクターに差し替え、
NotMusicalCnt >= TH2 ならば、枯れ具合２のキャラクターに差し替え、
NotMusicalCnt >= TH3 ならば、枯れ具合３のキャラクターに差し替えるようにする。
枯れ具合１よりも枯れ具合２、枯れ具合３のキャラクターのほうが、より否定的な印象は強い。

なお、本発明は、具体的な実施形態に限定されるものではなく、本発明の技術的範囲には、本発明の目的が達成される範囲での様々な変形や改良などが含まれるものであり、そのことは当業者にとって特許請求の範囲の記載から明らかである。

＜判定処理と描画の変形例１＞
以下のような描画の変形例も考えられる（描画処理２）。
元のキャラクターに対して、以下のような画像処理を加える。または、画像処理を加えた画像を予め用意しておき、その画像に差し替える。
１．モザイク処理をかける。
２．画像を真二つに分け、少しずらす（ナイフ等で切られたイメージ）。
上記１と２の処理を両方かけてもよい。
＜判定処理と描画の変形例２＞
「元のキャラクターの描画領域の周辺」には、元のキャラクターの描画領域内も含む。
元のキャラクターを部分的に上書きするイメージである（描画処理３）。
複数の判定処理（判定処理１，２，３）と複数の描画処理（描画処理１，２，３）に対応関係を設け、非音楽的と判定されたら、対応する描画処理を全て実行するようにしてもよい。

例えば、判定処理１に描画処理１を対応させ、判定処理２に描画処理２を対応させ、判定処理３に描画処理３を対応させる。そして、判定処理１で非音楽的と判定されたら、描画処理１を、判定処理２で非音楽的と判定されたら、描画処理２を、判定処理３で非音楽的と判定されたら、描画処理３をそれぞれ実行する。

＜判定処理と描画の変形例３＞
複数の判定処理と描画処理にそれぞれ順位（小中大など）を設定して、複数の判定処理を全て実行し、その結果に応じて描画を変えるようにしてもよい。

例えば、判定処理１を小、判定処理２を中、判定処理３を大に設定して、小のみで非音楽的と判定されたら、描画処理１を採用し、中で非音楽的と判定されたら（大は判定されず、小はどちらでもよい）、描画処理２を採用、大で非音楽的と判定されたら（小中はどちらでもよい）、描画処理３を採用する。

あるいは、大で非音楽的と判定されたら、描画処理１～３を実行し、中で非音楽的と判定されたら、描画処理１、２を実行し、小で非音楽的と判定されたら、描画処理１を実行するようにしてもよい。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
＜請求項１＞
情報処理装置のコンピュータに、
入力された演奏データに基づいて、演奏が音楽的に適切であるか否かを判定させ、
音楽的に適切と判定された場合に、第１画像データの表示を指示させ、
音楽的に不適切と判定された場合に、前記第１画像データと異なる態様の第２画像データの表示を指示させる、
プログラム。
＜請求項２＞
入力された演奏データから取得される音高データの組み合わせから、コードを判定させ、
コードが判定されない回数が設定された閾値未満の場合に、音楽的に適切と判定させ、
コードが判定されない回数が前記設定された閾値に達した場合に、音楽的に不適切と判定させる、
請求項１に記載のプログラム。
＜請求項３＞
或る音高データに、前記第１画像データ及び前記第２画像データを含む複数の画像データが、対応付けて記憶されており、
たとえ取得された音高データが同じであったとしても、音楽的に適切か否かの判定結果に応じて、表示を指示させる画像データの態様は異なる、
請求項１または２に記載のプログラム。
＜請求項４＞
入力された演奏データから取得される音高データの組み合わせから、互いに隣接する５鍵以上の白鍵の押鍵がなされたか否かを判定させ、
互いに隣接する５鍵以上の白鍵の押鍵がなされたと判定されない場合に、演奏が音楽的に適切と判定させ、
互いに隣接する５鍵以上の白鍵の押鍵がなされたと判定された場合に、演奏が音楽的に不適切と判定させる、
請求項１乃至３のいずれかに記載のプログラム。
＜請求項５＞
演奏終了の判定に基づいて、演奏開始から演奏終了までの演奏全体の結果画像であって、前記第１画像データ及び前記第２画像データを含む結果画像の表示を指示させ、
前記結果画像に含まれる前記第１画像データ及び前記第２画像データの数は、演奏が音楽的に適切か否かの前記判定の結果に応じて、異なる、
請求項１乃至４のいずれかに記載のプログラム。
＜請求項６＞
ディスプレイ装置と、
プロセッサと、を備え、前記プロセッサが、
入力された演奏データに基づいて、演奏が音楽的に適切か否かを判定し、
音楽的に適切と判定された場合に、第１画像データの前記ディスプレイ装置への表示を指示し、
音楽的に不適切と判定された場合に、前記第１画像データと異なる態様の第２画像データの前記ディスプレイ装置への表示を指示する、
電子機器。
＜請求項７＞
情報処理装置のコンピュータに、
入力された演奏データに基づいて、演奏が音楽的に適切か否かを判定させ、
音楽的に適切と判定された場合に、第１画像データの表示を指示させ、
音楽的に不適切と判定された場合に、前記第１画像データと異なる態様の第２画像データの表示を指示させる、
方法。
＜請求項８＞
電子楽器と、ディスプレイ装置と、を備え、
前記電子楽器は、
ユーザによる演奏操作に応じて演奏データを生成するとともに、生成された前記演奏データを前記ディスプレイ装置に出力し、
前記ディスプレイ装置は、
入力された演奏データに基づいて、演奏が音楽的に適切か否かを判定し、
音楽的に適切と判定された場合に、第１画像データを表示し、
音楽的に不適切と判定された場合に、前記第１画像データと異なる態様の第２画像データを表示する、
演奏データ表示システム。

１…デジタルキーボード、３…記憶装置、４…ＭＩＤＩ装置、１０…鍵、２０…表示部、３０…操作部、４０…発音部、４２…スピーカ、５１…操作部、５２…表示部、５３…通信部、５４…音出力部、５５…メモリ、５６…制御部、５７…バス、６０…ＲＯＭ、７０…プログラム、７０ａ…音楽解析ルーチン、７０ｂ…画像作成ルーチン、７０ｃ…画像作成ルーチン、７０ｄ…出力制御ルーチン、８０…ＲＡＭ、８０ａ…演奏データ、８０ｂ…キャラクタデータ、８０ｃ…キャラクタデータ、８０ｄ…画像データ、８０ｅ…画像データ、９０…通信部、１０１…鍵盤、１０５…ＲＡＭ、１０６…ＲＯＭ、１１１…ＣＰＵ、２０１…ＣＰＵ、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…音源、２０６…キースキャナ、２０７…ＬＥＤコントローラ、２０８…ＬＣＤコントローラ、２０９…システムバス、２１０…タイマ、２１１…Ｄ／Ａコンバータ、２１２…Ｄ／Ａコンバータ、２１３…ミキサ、２１４…アンプ、２１５…ＭＩＤＩインタフェース、２１６…ＵＳＢインタフェース、２０５…音声合成ＬＳＩ。

Claims (6)

1. 情報処理装置のコンピュータに、
   入力された演奏データに基づいて、コードが判定されない回数が設定された閾値未満の場合、或いは、互いに隣接する５鍵以上の白鍵の押鍵がなされたと判定されない場合に、音楽的に適切と判定して第１画像データの表示を指示させ、
   前記コードが判定されない回数が前記設定された閾値に達した場合、或いは、前記互いに隣接する５鍵以上の白鍵の押鍵がなされたと判定された場合に、音楽的に不適切と判定して前記第１画像データと異なる態様の第２画像データの表示を指示させる、
   プログラム。
2. 或る音高データに、前記第１画像データ及び前記第２画像データを含む複数の画像データが、対応付けて記憶されており、
   たとえ取得された音高データが同じであったとしても、音楽的に適切か否かの判定結果に応じて、表示を指示させる画像データの態様は異なる、
   請求項１に記載のプログラム。
3. 演奏終了の判定に基づいて、演奏開始から演奏終了までの演奏全体の結果画像であって、前記第１画像データ及び前記第２画像データを含む結果画像の表示を指示させ、
   前記結果画像に含まれる前記第１画像データ及び前記第２画像データの数は、演奏が音楽的に適切か否かの前記判定の結果に応じて、異なる、
   請求項１又は２に記載のプログラム。
4. ディスプレイ装置と、
   プロセッサと、を備え、前記プロセッサが、
   入力された演奏データに基づいて、コードが判定されない回数が設定された閾値未満の場合、或いは、互いに隣接する５鍵以上の白鍵の押鍵がなされたと判定されない場合に、音楽的に適切と判定して第１画像データの前記ディスプレイ装置への表示を指示し、
   前記コードが判定されない回数が前記設定された閾値に達した場合、或いは、前記互いに隣接する５鍵以上の白鍵の押鍵がなされたと判定された場合に、音楽的に不適切と判定して前記第１画像データと異なる態様の第２画像データの前記ディスプレイ装置への表示を指示する、
   電子機器。
5. 情報処理装置のコンピュータに、
   入力された演奏データに基づいて、コードが判定されない回数が設定された閾値未満の場合、或いは、互いに隣接する５鍵以上の白鍵の押鍵がなされたと判定されない場合に、音楽的に適切と判定して第１画像データの表示を指示させ、
   前記コードが判定されない回数が前記設定された閾値に達した場合、或いは、前記互いに隣接する５鍵以上の白鍵の押鍵がなされたと判定された場合に、音楽的に不適切と判定して前記第１画像データと異なる態様の第２画像データの表示を指示させる、
   方法。
6. 電子楽器と、ディスプレイ装置と、を備え、
   前記電子楽器は、
   ユーザによる演奏操作に応じて演奏データを生成するとともに、生成された前記演奏データを前記ディスプレイ装置に出力し、
   前記ディスプレイ装置は、
   入力された演奏データに基づいて、コードが判定されない回数が設定された閾値未満の場合、或いは、互いに隣接する５鍵以上の白鍵の押鍵がなされたと判定されない場合に、音楽的に適切と判定して第１画像データを表示し、
   前記コードが判定されない回数が前記設定された閾値に達した場合、或いは、前記互いに隣接する５鍵以上の白鍵の押鍵がなされたと判定された場合に、音楽的に不適切と判定して前記第１画像データと異なる態様の第２画像データを表示する、
   演奏データ表示システム。