JP4686405B2 - 電子ペンを用いた電子楽器の演奏指示システム、方法、コンピュータプログラム、および、楽譜 - Google Patents

Description

本発明は、電子ペンを用いて、電子楽器を演奏するシステム、装置、方法、コンピュータプログラム、および、記録媒体に関するものである。

従来から、電子楽器を使用するにあたっては、楽曲の選曲や演奏方法などの指示を与えてから、演奏する必要がある。

たとえば、特許文献１では、ディスプレイに表示されたメニューと、操作スイッチとを用いて、楽曲の演奏方法を設定する技術が開示されている。
特開２００２−２２９５５９号公報

ところで、特許文献１では、ディスプレイに表示されたメニュー表示の操作方法や操作 スイッチの操作方法は、各電子楽器に特有のものであるので、使用者は、その操作方法 を学習しなければならないという不具合があった。また、特許文献１では、電子楽器に 、ディスプレイや操作スイッチを設けるために、演奏装置が高価になってしまうという が課題があった。

本発明はこのような課題を解決するためになされたものであって、本発明の課題は、操作が簡単で、かつ、安価な電子楽器の演奏システム、装置、方法、コンピュータプログラム、および、記録媒体を提供することである。

本発明は、以下のような解決手段により、前記課題を解決する。すなわち、本発明の第１の態様は、電子ペンと、前記電子ペンによって光学読み取り可能なドットパターンが印刷された楽譜を用いた演奏システムであって、楽譜に印刷されたドットパターンは、少なくとも、当該楽譜を特定する情報と、当該楽譜上の音符を最小単位とする所定の音符形成領域に対応する音符情報と、演奏指示情報と、からなり、前記電子ペンは、少なくとも、前記ドットパターンを読み取る撮像手段と、前記読み取ったドットパターンを符号化する符号化手段と、符号化されたドットパターン情報から電子ペンデータを作成する電子ペンデータ作成手段と、前記電子ペンデータを、外部情報処理装置に、送信する電子ペンデータ送信手段と、からなり、外部情報処理装置は、前記電子ペンから、電子ペンデータを受信する電子ペンデータ受信手段と、前記電子ペンデータの符号化されたドットパターン情報から、対応する楽譜と、当該楽譜上の音符情報と、演奏指示情報とを得るための対応表と、対応表から演奏データを生成して、演奏する演奏手段と、からなる、ことを特徴とする演奏システムである。

ここで、電子ペンは、楽譜を用いて、簡単に、演奏の指示を行うことができる。このようにして、電子ペンデータは、外部情報処理装置の対応表を参照することで、演奏データや、演奏指示情報に、変換される。

本発明の第２の態様は、電子ペンと、前記電子ペンによって光学読み取り可能なドットパターンが印刷された楽譜を用いた演奏システムであって、楽譜に印刷されたドットパターンは、少なくとも、当該楽譜を特定する情報と、当該楽譜上の音符を最小単位とする所定の音符形成領域に対応する音符情報と、演奏指示情報と、からなり、前記電子ペンは、少なくとも、前記ドットパターンを読み取る撮像手段と、前記読み取ったドットパターンを符号化する符号化手段と、前記符号化されたドットパターン情報から、対応する楽譜と、当該楽譜上の音符情報と、演奏指示情報とを得るための対応表と、対応表から演奏データを生成して、演奏する演奏手段と、からなる、ことを特徴とする演奏システムである。

ここで、電子ペンは、内臓する演奏手段を用いて、演奏することができる。

本発明の第３の態様は、少なくとも、当該楽譜を特定する情報と、当該楽譜上の音符を最小単位とする所定の音符形成領域に対応する音符情報と、演奏指示情報と、からなるドットパターンと、光学読み取り可能な、前記ドットパターンが印刷された楽譜と、電子ペンデータから、対応する楽譜と当該楽譜上の音符情報と演奏指示情報とを得るための対応表と、を用いた演奏方法であって、前記ドットパターンを読み取る撮像ステップと、前記読み取ったドットパターンを符号化する符号化ステップと、符号化されたドットパターン情報から電子ペンデータを作成する電子ペンデータ作成ステップと、前記電子ペンデータを、外部に、送信する電子ペンデータ送信ステップと、前記電子ペンから、電子ペンデータを受信する電子ペンデータ受信ステップと、前記電子ペンデータの符号化されたドットパターン情報を用いて、前記対応表を参照して、演奏データを生成して、演奏する演奏ステップと、を含んだ手順でなされることを特徴とするドットパターンが印刷された楽譜を用いた演奏方法である。

本発明の第４の態様は、少なくとも、当該楽譜を特定する情報と、当該楽譜上の音符を最小単位とする所定の音符形成領域に対応する音符情報と、演奏指示情報と、からなるドットパターンと、光学読み取り可能な、前記ドットパターンが印刷された楽譜と、符号化されたドットパターン情報から、対応する楽譜と、当該楽譜上の音符情報と、演奏指示情報とを得るための対応表と、を用いた演奏方法であって、前記ドットパターンを読み取る撮像ステップと、前記読み取ったドットパターンを符号化する符号化ステップと、前記符号化されたドットパターン情報を用いて、前記対応表を参照して、演奏データを生成して、演奏する演奏ステップと、を含んだ手順でなされることを特徴とするドットパターンが印刷された楽譜を用いた演奏方法である。

本発明の第５の態様は、前記第１の態様または第２の態様に記載の演奏システムに使用する楽譜であって、楽譜となる用紙上には、音楽記号と演奏指示記号とが、赤外吸収領域に実質的に吸収特性を有さないインキで目視可能に印刷されて、さらに、電子ペンによって読み取り可能な赤外吸収インキでドットパターンが印刷されて、前記ドットパターンは、前記音楽記号と演奏指示記号に対応する情報からなること、を特徴とする楽譜である。

本発明の第６の態様は、コンピュータに組込むことによって、コンピュータを、に記載の演奏システムとして動作させるコンピュータプログラムである。

本発明の第７の態様は、前記第６の態様に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体である。

本願発明によれば、電子ペンと電子ペン用ドットパターンが形成された楽譜とを用いて、楽譜から演奏指示が行えるので、特別に操作方法を習得しなくても、容易簡便な操作が可能になる。また、汎用的な電子ペンを使用するので、電子楽器に表示装置や操作スイッチを備えなくてよいので、費用を低減できるという効果がある。

（実施例）
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。図１は、ドッタパターンが印刷された楽譜を用いた演奏システム１の概要を説明する図である。本発明のドッタパターンが印刷された楽譜を用いた演奏システム１は、外部情報処理装置１００と、電子ペン７００と、から構成される。

前記電子ペン７００は、電子ペンデータ７９９と、を記憶備えする。前記外部情報処理装置１００は、たとえば、パーソナルコンピュータや携帯通信端末のような装置であって、コンピュータプログラムによって制御される制御部、音源部、電子ペン７００との通信を行う通信部、ならびに、電子ペン７００用制御プログラムから、構成された汎用的な電子ペン制御装置であって、さらに、対応表１９１と、演奏データ１９９と、を備えるものである。

楽譜５００は、音楽記号（＝音符）と演奏指示ボタンとドッタパターンが印刷された印刷媒体である。

対応表１９１は、符号化されたドットパターン情報と、楽譜を特定する情報（＝楽譜のページを特定する情報）、あるいは、音符情報、あるいは、演奏指示情報とを対応付けた表である。電子ペンデータ７９９は、符号化されたドットパターン情報を含むデータである。演奏データ１９９は、音符情報とＭＩＤＩ形式の音楽データとを対応付けたデータある。

図２は、ドッタパターンが印刷された楽譜を用いた演奏システム１の大まかな処理の流れを説明する図である。

電子ペン７００は、楽譜５００から、演奏開始位置の音符のドットパターンを撮像して、電子ペンデータ７９９を作成する（図２（１））。たとえば、音符に２回触れることで、開始音符の指示であることを示す。電子ペン７００は、電子ペンデータ７９９を、外部情報処理装置１００に、送信する（同（２））。

外部情報処理装置１００は、電子ペン７００から、電子ペンデータ７９９を受信する（同（３））。外部情報処理装置１００は、この電子ペンデータ７９９を用いて、対応表１９１を参照して、開始音符の演奏データ１９９を作成する（同（４））。

電子ペン７００は、楽譜５００から、演奏終了位置の音符のドットパターンを撮像して、電子ペンデータ７９９を作成する（同（１１））。終了音符は、音符に１回触れることで、終了音符の指示であることを示す。終了音符の指示が省略された場合は、楽譜５００の最後の音符が、自動的に指定される。電子ペン７００は、作成した電子ペンデータ７９９を、外部情報処理装置１００に、送信する（同（１２））。外部情報処理装置１００は、電子ペン７００から、電子ペンデータ７９９を受信する（同（１３））。外部情報処理装置１００は、この電子ペンデータを用いて、対応表１９１を参照して、終了音符の演奏データ１９９を作成する（同（１４））。

電子ペン７００は、楽譜５００から、演奏指示ボタンのドットパターンを撮像して、電子ペンデータ７９９を作成する（２１)。電子ペン７００は、この作成した演奏指示ボタンの電子ペンデータ７９９を、外部情報処理装置１００に、送信する（２２）。外部情報処理装置１００は、電子ペン７００から、電子ペンデータ７９９を受信する（２３）。外部情報処理装置１００は、この電子ペンデータ７９９を用いて、対応表１９１を参照して、演奏指示情報を作成する（２４）。ここで、演奏指示情報に従って、作成した演奏データ１９９の開始音符から終了音符までを、演奏する（３１）。

このようにして、電子ペンデータ７９９は、外部情報処理装置１００の対応表１９１を参照することで、演奏データ１９９や、演奏指示情報に、変換される。

なお、電子ペン７００は、演奏開始の指示情報が、選択されるまでは、演奏開始音符や演奏終了音符の選択は、選択し直してもよい。また、同様に、電子ペン７００は、演奏開始の指示情報が、選択されるまでは、演奏開始以外の指示情報（たとえば、演奏テンポの変更指示情報など）を、選択し直してもよい。ここで、電子ペン７００は、外部情報処理装置１００を、内臓してもよい。

図３は、電子ペンデータ７９９の形式を説明する図である。電子ペンデータ７９９は、電子ペン管理情報７９９ａと、符号化されたドッタパターン情報７９９ｂと、から構成される。電子ペン管理情報７９９ａは、電子ペンデータ番号情報である。符号化されたドッタパターン情報７９９ｂは、数字列情報である。

図４は、対応表１９１の形式を説明する図である。対応表１９１は、符号化されたドッタパターン情報１９１ａと、楽譜を特定する情報１９１ｂ、または、音符情報１９１ｃ、または、演奏指示情報１９１ｄ、とを対応付けた表である。符号化されたドッタパターン情報は、数字列情報である。楽譜を特定する情報は、曲名情報や譜面のページ番号情報である。音符情報は、音符のパート情報、小節情報、音符番号情報から構成される。演奏指示情報は、演奏データの演奏速度情報や、音量情報などである。

図５は、演奏データ１９９の形式を説明する図である。演奏データ１９９は、演奏データを特定する情報１９９ａとパート情報１９９ｂとから構成される。パート情報１９９ｂは、小節情報１９９ｃと音データ列９９ｄとから構成される。演奏データを特定する情報１９９ａは、たとえば、曲名情報である。パート情報１９９ｂは、たとえば、パート番号、パートの音色、パートのテンポ、パートの効果などである。小節情報１９９ｃは、たとえば、小節番号、である。音データ列１９９ｄは、たとえば、ＭＩＤＩ形式で記述された音データ（音の高さ、音の長さ、音の強さ、音の左右）の集合である。

図６は、楽譜の名称を説明する図である。楽譜５００は、少なくとも１つのパートと、パートに含まれる小節と、小節に含まれる音符符号から構成される。図６には、右手パートと左手パートから成る楽譜が例示されている。

図７は、ドッタパターンが印刷された楽譜５００の構造を説明する図である。ドッタパターンが印刷された楽譜５００は、特殊な配置のドット（たとえば、アノト（登録商標）式ドット。詳細は後述する。）が印刷された印刷媒体である。このドットはカーボンを含む専用インキ（＝赤外線吸収インキ）で印刷されており、電子ペン１００はこの専用インキによるドットのみを認識して、符号化する。楽譜５００上に印刷された五線譜や音符やその他の次号や文字のインキは、カーボンを含まないので、ドットとして認識することはない。このドットが印刷された楽譜５００は、音符符号が配置される音符配置部と、演奏指示ボタン配置部と、から構成される。

図８は、１つのドットの符号化を説明する図である。ドットは、等間隔に配置されているドット配置基準線５０５ａ／５０５ｂの交点の右、上、左、下の、いずれかに、配置される。この４箇所の配置位置は、それぞれ、ドット配置の符号化の値（０，１，２，３）が対応付けられる。ちなみに、前記ドットは、２ｍｍ×２ｍｍ四方に、６×６個を単位に配置されている。

図９は、楽譜上に形成されたドッタパターンを符号化する手順を説明する図である。電子ペン１００は、楽譜の６×６個のドットを撮像して、符号化する。図９には、２ｍｍ×２ｍｍ四方に存在する６×６個のドットの符号化手順が例示されている。

電子ペン７００は、楽譜の６×６個のドットを撮像する（図９（１））。電子ペン７００は、撮像したドットを１個ずつ符号化する（同（２））。電子ペン７００は、６×６個の符号をまとめて、符号化されたドッタパターン情報（たとえば、「０２３０３１１３２１００１１００３２１２３２０１１１３３００２０２１１１」）を作成する（同（３））。さらに、電子ペン７００は、符号化されたドッタパターン情報を含む電子ペンデータ７９９を作成する（同（４））。
電子ペン７００は、このようにして得られた電子ペンデータ７９９を、外部情報処理装置１００に対して、逐次、送信する。（電子ペン７００の構造は、後述する。）

図１０は、演奏指示ボタンの説明図である。演奏指示ボタンの種類には、演奏開始ボタン、一時停止ボタン、停止ボタン、再生速度変更ボタン、音量調節ボタン、決定ボタン、などがある。演奏開始ボタンは、演奏の開始を指示する。一時停止ボタンは、演奏の一時停止を指示する。停止ボタンは、演奏の停止（＝中止）を指示する。再生速度変更ボタンは、再生速度を選択（たとえば、テンポ１／４、テンポ１／２、本来のテンポ速度、テンポ２倍、テンポ４倍、など）する。音量調節ボタンは、演奏の音量を調節する。決定ボタンは、直近の電子ペンデータ７９９が決定されたことを示す。

図１１は、演奏指示の手順を説明する図である。電子ペン７００で、演奏開始の音符記号に触れる（図１１（１））。電子ペン７００で、演奏終了の音符記号に触れる（同（２））。電子ペン７００で、「テンポ二倍」ボタンを押す（同（３））。電子ペン７００で、「決定」ボタンを押す（同（４））。電子ペン７００で、「演奏開始」ボタンを押す（同（５））。

ここで、テンポ二倍で演奏が開始される。なお、演奏中に、「一時停止ボタン」が押されたら、演奏を一時停止する。

図１２は、ドットパターンが印刷された楽譜を用いた演奏システム１の詳細な構成図である。

ドットパターンが印刷された楽譜を用いた演奏システム１は、電子ペン７００と外部情報処理装置１００とがネットワークで接続されて、構成される。

電子ペン７００は、撮像手段７１０と、符号化手段７２０と、電子ペンデータ作成手段７３０と、電子ペンデータ送信手段７６０と、を備える。

撮像手段７１０は、譜面のドットパターンを撮像して、画像メモリに保持する。符号化手段７２０は、画像メモリに保持されたドットパターンを符号化する。

電子ペンデータ作成手段７３０は、前記符号化されたドットパターン情報から電子ペンデータ７９９を作成する。

電子ペンデータ送信手段７６０は、前記作成された電子ペンデータ７９９を外部情報処理装置１００に、送信する。

外部情報処理装置１００は、電子ペンデータ受信手段１６０と、演奏手段１３０と、記憶手段１９０と、を備える。記憶手段１９０は、対応表１９１と演奏データ１９９とを記憶する。

対応表１９１は、符号化されたドッタパターン情報と、楽譜を特定する情報、または、音符情報、または、演奏指示情報、とを対応付けた表データである。演奏データ１９９は、音符情報と音楽データを対応付けたデータである。

電子ペンデータ受信手段１６０は、電子ペン７００から、電子ペンデータ７９９を受信する。

演奏手段１３０は、電子ペンデータ７９９を用いて、対応表１９１を参照して、符号化されたドッタパターン情報を、楽譜を特定する情報に、または、音符情報に、または、演奏指示情報に変換して、演奏データ１９９を生成して、演奏する。

撮像手段７１０は、ＣＣＤである。符号化手段７２０と、電子ペンデータ作成手段７３０と、電子ペンデータ送信手段７６０と、電子ペンデータ受信手段１６０と、演奏手段１３０とは、コンピュータプログラムである。対応表１９１と演奏データ１９９とは、コンピュータプログラムが可読なデータである。記憶手段１９０は、メモリである。

以上詳しく説明したように、本願発明によれば、電子ペンと電子ペン用ドットパターンが形成された楽譜とを用いて、楽譜から演奏指示が行えるので、特別に操作方法を習得しなくても、容易簡便な操作が可能になった。また、汎用的な電子ペンを使用するので、電子楽器に表示装置や操作スイッチを備えなくてよいので、費用を低減できるという効果があった。

ドッタパターンが印刷された楽譜を用いた演奏システムの概要 ドッタパターンが印刷された楽譜を用いた演奏システム１の大まかな処理の流れ 電子ペンデータ７９９の形式 対応表１９１の形式 演奏データ１９９の形式 楽譜の名称 ドッタパターンが印刷された楽譜５００の構造 １つのドットの符号化 楽譜の６×６個のドットを符号化する手順 演奏指示ボタンの説明図 演奏指示の手順 ドッタパターンが印刷された楽譜を用いた演奏システム１の詳細な構成図

符号の説明

１ ドッタパターンが印刷された楽譜を用いた演奏システム
１００ 外部情報処理装置
１３０ 演奏手段
１６０ 電子ペンデータ受信手段
１９０ 記憶手段
１９１ 対応表
１９１ａ 符号化されたドッタパターン情報
１９１ｂ 楽譜を特定する情報
１９１ｃ 音符情報
１９１ｄ 演奏指示情報
１９９ 演奏データ
１９９ａ 演奏データを特定する情報
１９９ｂ パート情報
１９９ｃ 小節情報
１９９ｄ 音データ列
１９０ 記憶手段
５００ ドッタパターンが印刷された楽譜
５０５ａ ドット配置基準線
５０５ｂ ドット配置基準線
７００ 電子ペン
７１０ 撮像手段
７２０ 符号化手段
７３０ 電子ペンデータ作成手段
７６０ 電子ペンデータ送信手段
７９９ 電子ペンデータ
７９９ａ 電子ペン管理情報
７９９ｂ 符号化されたドッタパターン情報

Claims (7)

1. 電子ペンと、前記電子ペンによって光学読み取り可能なドットパターンが印刷された楽譜を用いた演奏システムであって、
   楽譜に印刷されたドットパターンは、少なくとも、当該楽譜を特定する情報と、当該楽譜上の音符を最小単位とする所定の音符形成領域に対応する音符情報と、演奏指示情報と、からなり、
   前記電子ペンは、少なくとも、
   前記ドットパターンを読み取る撮像手段と、
   前記読み取ったドットパターンを符号化する符号化手段と、
   符号化されたドットパターン情報から電子ペンデータを作成する電子ペンデータ作成手段と、
   前記電子ペンデータを、外部情報処理装置に、送信する電子ペンデータ送信手段と、
   からなり、
   外部情報処理装置は、
   前記電子ペンから、電子ペンデータを受信する電子ペンデータ受信手段と、
   前記電子ペンデータの符号化されたドットパターン情報から、対応する楽譜と、当該楽譜上の音符情報と、演奏指示情報とを得るための対応表と、
   対応表から演奏データを生成して、演奏する演奏手段と、
   からなる、
   ことを特徴とする演奏システム。
2. 電子ペンと、前記電子ペンによって光学読み取り可能なドットパターンが印刷された楽譜を用いた演奏システムであって、
   楽譜に印刷されたドットパターンは、少なくとも、当該楽譜を特定する情報と、当該楽譜上の音符を最小単位とする所定の音符形成領域に対応する音符情報と、演奏指示情報と、からなり、
   前記電子ペンは、少なくとも、
   前記ドットパターンを読み取る撮像手段と、
   前記読み取ったドットパターンを符号化する符号化手段と、
   前記符号化されたドットパターン情報から、対応する楽譜と、当該楽譜上の音符情報と、演奏指示情報とを得るための対応表と、
   対応表から演奏データを生成して、演奏する演奏手段と、
   からなる、
   ことを特徴とする演奏システム。
3. 少なくとも、当該楽譜を特定する情報と、当該楽譜上の音符を最小単位とする所定の音符形成領域に対応する音符情報と、演奏指示情報と、からなるドットパターンと、
   光学読み取り可能な、前記ドットパターンが印刷された楽譜と、
   電子ペンデータから、対応する楽譜と当該楽譜上の音符情報と演奏指示情報とを得るための対応表と、
   を用いた演奏方法であって、
   前記ドットパターンを読み取る撮像ステップと、
   前記読み取ったドットパターンを符号化する符号化ステップと、
   符号化されたドットパターン情報から電子ペンデータを作成する電子ペンデータ作成ステップと、
   前記電子ペンデータを、外部に、送信する電子ペンデータ送信ステップと、
   前記電子ペンから、電子ペンデータを受信する電子ペンデータ受信ステップと、
   前記電子ペンデータの符号化されたドットパターン情報を用いて、前記対応表を参照して、演奏データを生成して、演奏する演奏ステップと、
   を含んだ手順でなされることを特徴とするドットパターンが印刷された楽譜を用いた演奏方法。
4. 少なくとも、当該楽譜を特定する情報と、当該楽譜上の音符を最小単位とする所定の音符形成領域に対応する音符情報と、演奏指示情報と、からなるドットパターンと、
   光学読み取り可能な、前記ドットパターンが印刷された楽譜と、
   符号化されたドットパターン情報から、対応する楽譜と、当該楽譜上の音符情報と、演奏指示情報とを得るための対応表と、
   を用いた演奏方法であって、
   前記ドットパターンを読み取る撮像ステップと、
   前記読み取ったドットパターンを符号化する符号化ステップと、
   前記符号化されたドットパターン情報を用いて、前記対応表を参照して、演奏データを生成して、演奏する演奏ステップと、
   を含んだ手順でなされることを特徴とするドットパターンが印刷された楽譜を用いた演奏方法。
5. 請求項１または請求項２に記載の演奏システムに使用する楽譜であって、
   楽譜となる用紙上には、音楽記号と演奏指示記号とが、赤外吸収領域に実質的に吸収特性を有さないインキで目視可能に印刷されて、
   さらに、電子ペンによって読み取り可能な赤外吸収インキでドットパターンが印刷されて、
   前記ドットパターンは、前記音楽記号と演奏指示記号に対応する情報からなること、
   を特徴とする楽譜。
6. コンピュータに組込むことによって、コンピュータを、請求項１、または、請求項２に記載の演奏システムとして動作させるコンピュータプログラム。
7. 請求項６に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体。
   
   

Images