JP4232582B2 - Data processing apparatus having sound generation function and program thereof - Google Patents
Data processing apparatus having sound generation function and program thereof Download PDFInfo
- Publication number
- JP4232582B2 JP4232582B2 JP2003314447A JP2003314447A JP4232582B2 JP 4232582 B2 JP4232582 B2 JP 4232582B2 JP 2003314447 A JP2003314447 A JP 2003314447A JP 2003314447 A JP2003314447 A JP 2003314447A JP 4232582 B2 JP4232582 B2 JP 4232582B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- performance control
- control data
- model performance
- panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
本発明は、音を生成する機能を有するデータ処理装置およびそのプログラムに関する。 The present invention relates to a data processing apparatus having a function of generating sound and a program thereof.
電子的に音を生成する技術は、楽器に限られず、文房具や玩具など、多くの分野の製品に利用されている。電子的に音を生成する技術を用いた文房具の一つとして、ユーザのタッチパネルに対するスタイラスペンを用いた手書き入力動作に応じて、筆記具と紙との間の擦れ音を模した音を発生する手書き入力装置が提案されている(例えば、特許文献1参照。)。
上述した従来技術による手書き入力装置は、ユーザによる手書き入力動作の速度情報のみに基づいて、筆記具と紙との間の擦れ音を模した音を発生する構成であるため、発生される音のバリエーションが乏しい、という問題があった。 Since the above-described conventional handwriting input device is configured to generate a sound imitating a rubbing sound between a writing instrument and paper based only on speed information of a handwriting input operation by a user, variations in generated sound There was a problem that it was scarce.
上記の状況に鑑み、本発明は、ユーザのパネルに対する操作に応じて、豊かなバリエーションの音を発生するデータ処理装置およびプログラムを提供することを目的とする。 In view of the above situation, an object of the present invention is to provide a data processing device and a program that generate rich variations of sounds in response to a user's operation on a panel.
上記課題を達成するために、本発明は、楽音の発音の制御を時系列的に指示する雛形演
奏制御データを複数記憶する記憶手段と、平面上の指示位置を示す位置データを取得する
取得手段と、前記記憶手段より雛形演奏制御データを読み出し、当該読み出した雛形演奏
制御データを出力する出力手段とを備え、前記出力手段は、前記記憶手段から読み出した
第1の雛形演奏制御データを出力している間に前記取得手段により取得された位置データ
に基づき前記指示位置が移動する移動量を累積した累積移動量を算出し、該累積移動量に応じて前記記憶手段から第2の雛形演奏制御データを読み出し、前記第1の雛形演奏制
御データの出力の完了と同時に前記第2の雛形演奏制御データの出力を開始することを特
徴とするデータ処理装置を提供する。
In order to achieve the above object, the present invention provides a storage means for storing a plurality of model performance control data for instructing the tone generation control in time series, and an acquisition means for acquiring position data indicating the indicated position on a plane. And output means for reading the model performance control data from the storage means and outputting the read model performance control data. The output means outputs the first model performance control data read from the storage means. Position data acquired by the acquisition means during
And calculating a cumulative movement amount obtained by accumulating the movement amount by which the designated position moves , reading out the second template performance control data from the storage unit according to the cumulative movement amount , Provided is a data processing device characterized in that the output of the second template performance control data is started simultaneously with the completion of the output.
上記データ処理装置において、前記記憶手段は、楽曲を構成する1小節に各々対応する複数の雛形演奏制御データを記憶し、前記出力手段は、1小節に各々対応する前記複数の雛形演奏制御データの中から前記第1および前記第2の雛形演奏制御データを読み出し出力する構成としてもよい。 In the data processing apparatus, the storage means stores a plurality of template performance control data corresponding to one measure constituting the musical piece, and the output means stores the plurality of template performance control data respectively corresponding to one measure. The first and second template performance control data may be read and output from the inside .
上記データ処理装置において、前記取得手段は、平面上の指示位置を示す位置データとともに、当該指示位置における押圧強度を示す圧力データを取得し、前記出力手段は、前記記憶手段から読み出した雛形演奏制御データに対し、当該雛形演奏制御データの読み出し以降に前記取得手段により取得された圧力データに従い該雛形演奏データのベロシティに対し変更を加えたのち、当該変更の加えられた雛形演奏制御データを出力する構成としてもよい。 In the data processing apparatus, the acquisition means acquires pressure data indicating the pressure intensity at the indicated position together with position data indicating the indicated position on the plane, and the output means controls the model performance control read from the storage means. to the data, after modified to velocity該雛type performance data in accordance with pressure data acquired by the acquisition unit after the reading the model performance control data, outputs the stationery performance control data added with the change It is good also as composition to do.
上記データ処理装置において、前記記憶手段は、楽曲を構成するフレーズに各々対応する複数の雛形演奏制御データの各々を、対応するフレーズに含まれる基本となる音符長である基本音符長に対応付けて記憶し、前記出力手段は、前記第1の雛形演奏制御データを出力している間に前記取得手段により取得された位置データにより示される位置の移動量に応じた基本音符長に対応付けて記憶されている雛形演奏制御データを前記第2の雛形演奏制御データとして前記記憶手段から読み出す構成としてもよい。In the data processing device, the storage unit associates each of a plurality of template performance control data corresponding to phrases constituting a musical piece with a basic note length which is a basic note length included in the corresponding phrase. And storing the output means in association with a basic note length corresponding to the amount of movement of the position indicated by the position data acquired by the acquisition means while outputting the first model performance control data. It is also possible to read out the stored model performance control data from the storage means as the second model performance control data.
また、上記データ処理装置において、前記記憶手段は、楽曲を構成するフレーズに各々対応する複数の雛形演奏制御データの各々を、対応するフレーズに含まれる楽音の音程変化の程度に対応付けて記憶し、前記出力手段は、前記第1の雛形演奏制御データを出力している間に前記取得手段により取得された位置データにより示される位置の移動量に応じた音程変化の程度に対応付けて記憶されている雛形演奏制御データを前記第2の雛形演奏制御データとして前記記憶手段から読み出す構成としてもよい。In the data processing apparatus, the storage unit stores each of the plurality of template performance control data corresponding to the phrases constituting the music in association with the degree of pitch change of the musical sound included in the corresponding phrase. The output means is stored in association with the degree of pitch change according to the amount of movement of the position indicated by the position data acquired by the acquisition means while outputting the first template performance control data. The model performance control data that is stored may be read from the storage means as the second model performance control data.
上記データ処理装置において、前記位置データおよび前記圧力データに基づき、描画を行う描画手段を備える構成としてもよい。The data processing apparatus may include a drawing unit that performs drawing based on the position data and the pressure data.
このデータ処理装置によれば、ユーザの操作が画像として描画されるため、ユーザは操作を視覚的に確認することができる。According to this data processing apparatus, the user's operation is drawn as an image, so that the user can visually confirm the operation.
このデータ処理装置によれば、ユーザは手本となる筆記動作と自分の筆記動作の類似度を数量的に確認することができる。 According to this data processing device, the user can quantitatively check the similarity between the writing operation as a model and his own writing operation.
上記データ処理装置において、前記データ生成手段は、音の生成に用いられるデータとして、楽音の発音の制御を指示する演奏制御データを生成する構成としてもよい。 In the data processing apparatus, the data generation means may generate performance control data for instructing control of sound generation as data used for sound generation.
このデータ処理装置によれば、音の生成に用いられるデータのデータ量が小さくなると同時に、音の生成時における音色の変更等が容易となる。 According to this data processing device, the amount of data used for sound generation is reduced, and at the same time, it is easy to change the timbre at the time of sound generation.
上記データ処理装置において、前記出力手段は、データを他の装置に送信する送信手段である構成としてもよい。 In the data processing device, the output unit may be a transmission unit that transmits data to another device.
また、上記データ処理装置において、前記位置データおよび前記圧力データを他の装置に送信する送信手段を備える構成としてもよい。 Further, the data processing device may include a transmission unit that transmits the position data and the pressure data to another device.
これらのデータ処理装置によれば、生成されたデータが他の装置で容易に利用可能となる。 According to these data processing devices, the generated data can be easily used by other devices.
上記データ処理装置において、前記取得手段は、データを他の装置から受信する受信手段である構成としてもよい。 In the data processing apparatus, the obtaining unit may be a receiving unit that receives data from another device.
このデータ処理装置によれば、他の装置で生成された位置および押圧強度を示すデータを用いて、様々な音の生成を指示するデータが生成される。 According to this data processing device, data instructing the generation of various sounds is generated using the data indicating the position and pressure intensity generated by another device.
さらに、本発明は、楽音の発音の制御を時系列的に指示する雛形演奏制御データを複数
記憶する処理と、前記記憶した複数の雛形演奏制御データの中から第1の雛形演奏制御デ
ータを読み出し、前記第1の雛形演奏制御データを出力する処理と、前記第1の雛形演奏
制御データを出力している間に、平面上の指示位置を示す位置データを取得する処理と、
前記第1の雛形演奏制御データを出力している間に取得した位置データに基づき前記指示位置が移動する移動量を累積した累積移動量を算出し、該累積移動量に応じて、前記記
憶した複数の雛形演奏制御データの中から第2の雛形演奏制御データを読み出し、前記第
1の雛形演奏制御データの出力の完了と同時に前記第2の雛形演奏制御データの出力を開
始する処理とをコンピュータに実行させるプログラムを提供する。
Furthermore, the present invention stores a plurality of template performance control data for time-sequentially instructing the tone generation control, and reads out the first template performance control data from the stored plurality of template performance control data. A process of outputting the first model performance control data; a process of acquiring position data indicating a designated position on a plane while outputting the first model performance control data;
Based on the position data acquired while outputting the first model performance control data, an accumulated movement amount is calculated by accumulating the movement amount by which the designated position moves , and the stored movement amount is stored according to the accumulated movement amount . A computer that reads out the second model performance control data from the plurality of model performance control data and starts outputting the second model performance control data simultaneously with the completion of the output of the first model performance control data. Provide a program to be executed.
本発明にかかるデータ処理装置およびプログラムによれば、ユーザは、パネルに対する手書き動作等により、ユーザが望む様々な音を発生させることができる。 According to the data processing device and the program according to the present invention, the user can generate various sounds desired by the user by a handwriting operation on the panel or the like.
[1.第1実施形態]
[1.1.データ処理装置の構成]
図1は、本発明に係るデータ処理装置の第1実施形態であるパネル型楽器1の外観を示す斜視図である。パネル型楽器1は、パネル型楽器本体部10とスティック20から構成されている。
[1. First Embodiment]
[1.1. Configuration of data processing apparatus]
FIG. 1 is a perspective view showing an appearance of a panel type musical instrument 1 which is a first embodiment of a data processing apparatus according to the present invention. The panel-type musical instrument 1 includes a panel-type musical instrument
スティック20は、演奏操作子として用いられる。本実施形態では、ユーザがスティック20を用いて、パネル型楽器本体部10のタッチパネル102(後述)の表面を擦る操作を行うことにより演奏が行われる。また、本実施形態では、スティック20のタッチパネル102に対する押圧強度が演奏を左右するパラメータの1つとして利用される。この押圧強度に関する情報を得るため、スティック20の先端のヘッド部200には、圧力センサ、無線通信部およびアンテナ(いずれも図示略)が内蔵されている。そして、ヘッド部200に圧力が加えられた場合、加わる押圧強度が圧力センサによって計測され、その計測結果が電波信号としてアンテナから送信されるようになっている。なお、スティック20からパネル型楽器本体部10に対し電波信号により押圧強度を示す情報が伝達される構成に代えて、スティック20とパネル型楽器本体部10とをケーブルで接続し、そのケーブルを介して押圧強度を示す情報が伝達される構成であってもよい。
The
パネル型楽器本体部10は、中央表示部100、右表示部101、タッチパネル102、操作部103、アンテナ104、2個のスピーカ105および有線通信部106を備えている。
The panel-type musical instrument
中央表示部100および右表示部101は、例えば液晶ディスプレイである。中央表示部100は、スティック20とタッチパネル102との接触位置の軌跡等を表示する。以下、例として、中央表示部100はX方向に980、Y方向に600の画素を持つ液晶ディスプレイであるものとする。また、中央表示部100上の各位置は、中央表示部100の左上角を原点とし、右方向をX正方向、下方向をY正方向とする座標を用いて表現されるものとする。従って、例えば中央表示部100の右下の角の画素の位置座標は、(979,599)となる。また、右表示部101は、ユーザの操作部103を用いた操作内容や各種制御に関する情報を表示する。
The
タッチパネル102は、中央表示部100の前面を覆うように配置され、スティック20が接触した場合に、その接触位置を示す信号を出力する。操作部103は、テンキー等を有し、ユーザによる各種パラメータの変更等の操作を受け付ける。アンテナ104は、スティック20から送信される電波信号を受信する。
The
スピーカ105は左右に1つずつ配置されており、各種の音を発音する。なお、以下の説明においては、人の声に限られない音一般を示す表現として「音声」という表現を用いる。有線通信部106は、有線の通信回線を介して他の装置との間でデータの送受信を行う。なお、パネル型楽器本体部10が有線通信部106の代わりに他の装置との間で無線による通信を行う通信部を有する構成としてもよい。
One
図2は、パネル型楽器1の構成を機能により区分した機能ブロック図である。上述したように、パネル型楽器1はパネル型楽器本体部10とスティック20から構成されている。パネル型楽器本体部10は、上述した外観される構成部に加え、制御部107、位置データ生成部108、無線通信部109、圧力データ生成部110、音声データ生成部111、雛形MIDIデータ記憶部112、MIDIデータ生成部113、D/A(Digital−to−Analog)コンバータ114およびアンプ115を備えている。また、スティック20は、圧力センサ201、無線通信部202およびアンテナ203を備えている。なお、図2における矢印は構成部間のデータの流れを示すが、制御部107および操作部103と、他の構成部との間のデータの流れを示す矢印は図の簡略化のため、省略されている。
FIG. 2 is a functional block diagram in which the configuration of the panel-type musical instrument 1 is divided by function. As described above, the panel type musical instrument 1 includes the panel type musical instrument
音声データ生成部111は、PCM(Pulse Code Modulation)音源部1111およびFM(Frequency Modulation)音源部1112を有している。PCM音源部1111は、複数種類の楽器のそれぞれの楽音を生成するための波形データを記憶している。PCM音源部1111は、発音を指示する演奏制御データを受け取り、受け取った演奏制御データによって指定された音色に応じた波形データを選択し、これに基づいて、演奏制御データによって指定された音高および強さを有する楽音の音声データを生成する。一方、FM音源部1112は、発音を指示する演奏制御データを受け取り、受け取った演奏制御データに含まれる音高に応じた周波数の基本波形を示す音声データに対し、音色および音の強さに関する情報に応じた音量調整処理やフィルタ処理等を行うことにより、音声データを生成する。
The audio
雛形MIDIデータ記憶部112は、楽曲の演奏を示す雛形となる演奏制御データを複数の楽曲に関し記憶している。本実施形態においては、ユーザがスティック20をタッチパネル102に接触させると、パネル型楽器本体部10はタッチパネル102上のいずれの範囲内の位置にスティック20が最初に接触したかに応じて、雛形MIDIデータ記憶部112に記憶されている複数の演奏制御データの中から1つの楽曲の演奏制御データを選択し、その再生を開始する。その後、ユーザがスティック20をタッチパネル102上で滑らせると、パネル型楽器本体部10はスティック20の移動速度に応じて、選択した演奏制御データの再生速度を、またスティック20のタッチパネル102に対する押圧強度に応じて、選択した演奏制御データに示される楽音の強さを、それぞれ調整しつつ、演奏制御データの再生を継続する。
The template MIDI
本実施形態においては、演奏制御データとして、MIDI(Musical Instrument Digital Interface)規格に従ったデータ(以下、「MIDIデータ」と呼ぶ)が用いられる。MIDIデータは元来、楽音の発音等の制御指示をリアルタイムに行うための個々のイベントデータを指すが、MIDIデータを記憶する形式として、各イベントデータに実行タイミングに関する時間情報を付加したSMF(Standard MIDI File)が広く用いられている。雛形MIDIデータ記憶部112に記憶されているMIDIデータはSMF形式のデータである。以下、雛形MIDIデータ記憶部112に記憶されているデータを「雛形MIDIデータ」と呼ぶ。なお、MIDIデータ以外の形式の演奏制御データが用いられてもよい。
In the present embodiment, data according to the MIDI (Musical Instrument Digital Interface) standard (hereinafter referred to as “MIDI data”) is used as performance control data. MIDI data originally refers to individual event data for performing control instructions such as tone generation in real time. As a format for storing MIDI data, SMF (Standard) in which time information about execution timing is added to each event data. MIDI File) is widely used. The MIDI data stored in the template MIDI
図3は、雛形MIDIデータ記憶部112に記憶される雛形MIDIデータの構成を示す図である。雛形MIDIデータは、曲名および範囲データに対応付けられている。範囲データは、その曲名に対応した雛形MIDIデータが選択されるスティック20の接触位置の範囲を指定するデータであり、タッチパネル102上における当該範囲の左上の頂点の位置を示す位置データと、右下の頂点の位置を示す位置データを含んでいる。
FIG. 3 is a diagram showing a configuration of template MIDI data stored in the template MIDI
MIDIデータ生成部113は、雛形MIDIデータを加工することにより、演奏用のMIDIデータを生成する構成部である。MIDIデータ生成部113の動作の詳細は、以下の動作説明において述べる。また、MIDIデータ生成部113は雛形MIDIデータ等を一時的に記憶するために、RAM(Random Access Memory)1131を有している。 The MIDI data generating unit 113 is a component that generates MIDI data for performance by processing the template MIDI data. Details of the operation of the MIDI data generation unit 113 will be described in the following operation description. The MIDI data generation unit 113 has a RAM (Random Access Memory) 1131 for temporarily storing template MIDI data and the like.
[1.2.データ処理装置の動作]
ユーザは、パネル型楽器1を用いた演奏を行う場合、スティック20をスタイラスペンのように用いて、タッチパネル102に対し一筆書きの筆記と同様の操作を行う。
[1.2. Operation of data processing apparatus]
When performing a performance using the panel-type musical instrument 1, the user uses the
タッチパネル102は、スティック20が接触していない場合は、位置信号を位置データ生成部108に出力することはない。ユーザが演奏動作を開始すると、スティック20がタッチパネル102に接触するため、タッチパネル102はその接触位置を示す位置信号を位置データ生成部108に出力する。位置データ生成部108は、位置信号を受け取ると、受け取った位置信号をサンプリングした時系列のデジタルデータ、すなわち位置データの生成を開始する。例えば、位置データ生成部108は、タッチパネル102上の座標(10,15)の位置に対応する位置信号を受け取った場合、位置データ(10,15)を生成する。その後、ユーザの演奏動作が行われる間、タッチパネル102による位置信号の出力および位置データ生成部108による位置データの生成が継続される。位置データ生成部108は位置データを生成すると、生成した位置データを順次、MIDIデータ生成部113および制御部107に送出する。
The
また、スティック20の圧力センサ201は、スティック20のヘッド部200がタッチパネル102に接触していない場合は、圧力信号を無線通信部202に出力することはない。ユーザが演奏動作を開始すると、スティック20がタッチパネル102に接触するため、圧力センサ201は、ユーザの演奏動作によりスティック20とタッチパネル102との間に生じた押圧強度を示す圧力信号を無線通信部202に出力する。圧力センサ201から出力された圧力信号は、無線通信部202を介し、アンテナ203から電波信号として送信され、パネル型楽器本体部10のアンテナ104により受信される。受信された電波信号は、無線通信部109から圧力信号として圧力データ生成部110に出力される。圧力データ生成部110は、圧力信号を受け取ると、受け取った圧力信号をサンプリングした時系列のデジタルデータ(以下、「圧力データ」と呼ぶ)の生成を開始する。その後、ユーザの演奏動作が行われる間、圧力センサ201による圧力信号の出力および圧力データ生成部110による圧力データの生成が継続される。圧力データ生成部110は、圧力データを生成すると、生成した圧力データを順次、MIDIデータ生成部113および制御部107に送出する。
The
MIDIデータ生成部113は、ユーザがスティック20をタッチパネル102から離している状態においては、位置データ生成部108および圧力データ生成部110から位置データおよび圧力データを受け取らない。MIDIデータ生成部113は、位置データおよび圧力データを受け取らない状態が一定時間以上、例えば10秒以上続いた後に、初めて位置データおよび圧力データを受け取ると、雛形MIDIデータ記憶部112から、その最初に受け取った位置データに対応する雛形MIDIデータを読み出し、RAM1131に記憶する。例えば、MIDIデータ生成部113が最初に受け取った位置データが(10,15)であった場合、図3に示した例によれば、MIDIデータ生成部113は、位置データ(10,15)を含む範囲を示す範囲データ(0,0)〜(19,19)に対応付けられた雛形MIDIデータを読み出す。
The MIDI data generation unit 113 does not receive position data and pressure data from the position
MIDIデータ生成部113は、位置データ生成部108および圧力データ生成部110から受け取った位置データおよび圧力データを、RAM1131に時系列で順次、記憶する。その記憶処理と並行して、MIDIデータ生成部113は、雛形MIDIデータ記憶部112から読み出した雛形MIDIデータに対し調整処理を施すことにより演奏用のMIDIデータを生成し、生成した演奏用のMIDIデータを音声データ生成部111に送出する処理を開始する。以下、その処理を具体的に説明する。
The MIDI data generation unit 113 sequentially stores the position data and pressure data received from the position
まず、MIDIデータ生成部113は、RAM1131に位置データが順次記憶される間、時系列で記憶されるそれらの位置データに基づき、常時、スティック20の速度の時系列変化を示す速度エンベロープを算出している。一方、MIDIデータ生成部113は、周期的に発するテンポクロックをカウントし、このカウント値により経過時間を把握し、雛形MIDIデータに含まれる各イベントデータに対応付けられた時間情報により指定されるタイミングでイベントデータを音声データ生成部111に送出する機能を有している。本実施形態において、MIDIデータ生成部113は、算出した速度エンベロープに応じて、イベントデータの送出タイミングを決定するためのテンポクロックを時々刻々と変化させる。その結果、MIDIデータ生成部113から音声データ生成部111に対して、スティック20の移動速度に応じたテンポでイベントデータの送出が行われる。
First, while the position data is sequentially stored in the
さらに、MIDIデータ生成部113は、RAM1131に圧力データが順次記憶される間、強さのパラメータであるベロシティを含むイベントデータに関して、時系列で記憶されるそれらの圧力データが示す圧力エンベロープに応じて、ベロシティの調整を行う。MIDIデータ生成部113は、ベロシティを含まないイベントデータに関してはそのまま、またベロシティを含むイベントデータに関してはベロシティの調整後のものを、上記のように速度エンベロープに応じたテンポ調整後のタイミングで、音声データ生成部111に順次送出する。
Further, while the pressure data is sequentially stored in the
音声データ生成部111は、イベントデータを受け取ると、受け取ったイベントデータに従って、PCM音源部1111もしくはFM音源部1112により音声データを生成し、生成した音声データを順次、D/Aコンバータ114に送出する。D/Aコンバータ114に送られた音声データは、D/Aコンバータ114によりアナログ音声信号に変換され、アンプ115において音量調整がなされた後、スピーカ105から音声として発音される。このようにしてスピーカ105から発音される音声は、ユーザの演奏動作により選択され、かつテンポ調整および音の強さ調整が施された楽曲の演奏を示す音声である。
When receiving the event data, the audio
上記のように、ユーザの演奏動作に応じた音声の発音が行われる一方で、制御部107は、位置データおよび圧力データに基づき、中央表示部100に、スティック20がタッチパネル102に接触した位置を示す画像を表示させる。例えば、位置データ生成部108により位置データ(10,15)が生成され、同時に圧力データ生成部110により圧力データ(30)が生成された場合、制御部107は座標(10,15)に位置する画素を、例えば濃い青に着色し、座標(10,15)に位置する画素の周囲の一定距離内に位置する画素を、座標(10,15)からの距離に応じて濃い青〜薄い青に着色するように示した描画データを生成し、生成した描画データを中央表示部100に送出する。中央表示部100は、制御部107から受け取った描画データに従い、画像の表示を行う。このようにして中央表示部100により表示される画像は、ユーザによる演奏動作によりスティック20がタッチパネル102上を移動した軌跡を示す画像である。
As described above, while the sound is generated according to the performance performance of the user, the
上述したように、ユーザはスティック20をスタイラスペンとして用いて、タッチパネル102に対し筆記動作と同様の操作を行うことにより、希望する楽曲をパネル型楽器本体部10に演奏させることができる。その際、ユーザは演奏動作の速度および押圧の強さに応じて、テンポおよび強さをリアルタイムに調整することができる。
As described above, by using the
[1.3.複数のデータ処理装置による演奏システム]
ユーザは、上記のようにパネル型楽器1を用いて一人で演奏動作を行うだけでなく、異なる場所にいる他のユーザと二重奏もしくは多重奏を行うことができる。図4は、異なる場所にいるユーザSとユーザTが、それぞれパネル型楽器1を用いて二重奏を行う場合の演奏システムの構成を示す図である。以下、ユーザSが用いるパネル型楽器本体部10をパネル型楽器本体部10S、ユーザTが用いるパネル型楽器本体部10をパネル型楽器本体部10Tと呼ぶ。
[1.3. Performance system with multiple data processing devices]
As described above, the user can perform not only a performance operation alone by using the panel-type musical instrument 1, but also a dual performance or a multiple performance with other users in different places. FIG. 4 is a diagram showing a configuration of a performance system in a case where a user S and a user T who are in different places perform a duo using the panel-type musical instrument 1, respectively. Hereinafter, the panel type musical instrument
パネル型楽器本体部10Sとパネル型楽器本体部10Tは、それぞれが有する有線通信部106によって、インターネット70を介して互いに接続されている。インターネット70は、インターネットプロトコルにより相互に接続された通信網群である。有線通信部106は、音声データ等の各種データをパケット化しインターネット70に送出するとともに、インターネット70からパケット化された各種データを受信し、それらのパケット化されたデータを再構築して音声データ等を生成する。以下、例として、有線通信部106はインターネットプロトコルの一種であるRTP(Realtime Transport Protocol)を用いて、他の機器との間でデータの送受信を行うものとする。RTPとは、音声データ、画像データ、テキストデータ等の複数種類のデータを、インターネットを介してリアルタイムに送受信するための通信プロトコルである。
The panel-type musical instrument
なお、本実施形態の演奏システムにおいて、パネル型楽器本体部10Sとパネル型楽器本体部10Tは、インターネット70の代わりに他の形態のデータ通信網により接続されていてもよい。例えば、パネル型楽器本体部10Sとパネル型楽器本体部10TがLAN(Local Area Network)や専用線により接続されていてもよい。また、パネル型楽器本体部10Sとパネル型楽器本体部10Tの間の通信経路の一部もしくは全てが無線接続されていてもよい。
In the performance system of this embodiment, the panel-type musical instrument
ユーザSは、二重奏を開始するに先立ち、まず、パネル型楽器本体部10Sおよびパネル型楽器本体部10Tのそれぞれが担当する楽器パートの指定を行う。すなわち、ユーザSの操作部103を用いた楽器パートのリスト表示の指示操作に応じて、制御部107は右表示部101に、楽器パートのリストを表示させる。ユーザSは右表示部101に表示されたリストから、希望する楽器パートを1または複数、選択する。ユーザSにより選択された楽器パートを示すデータは制御部107からMIDIデータ生成部113に送出され、RAM1131に記憶される。一方、ユーザSにより選択された楽器パートを示すデータは制御部107から有線通信部106にも送出され、有線通信部106からパネル型楽器本体部10Tに送信される。パネル型楽器本体部10Tの有線通信部106は、受信した楽器パートを示すデータをパネル型楽器本体部10TのMIDIデータ生成部113に送出する。MIDIデータ生成部113はユーザSにより選択された楽器パートを示すデータを受け取ると、そのデータにより示されない楽器パート、すなわちユーザSにより選択されなかった楽器パートを示すデータをRAM1131に記憶する。
Prior to starting the duo, the user S first designates the instrument part that each of the panel-
続いて、ユーザSは、演奏処理の開始を指示するために、スティック20をタッチパネル102に接触させる。その結果、位置データ生成部108および圧力データ生成部110はそれぞれ、位置データおよび圧力データを生成し、生成したデータをMIDIデータ生成部113、制御部107および有線通信部106に送出する。
Subsequently, the user S brings the
MIDIデータ生成部113は、位置データおよび圧力データを受け取ると、最初に受け取った位置データに基づき、雛形MIDIデータの読み出しおよびRAM1131への記憶を行う。続いて、MIDIデータ生成部113は読み出した雛形MIDIデータにより示される基準となるテンポおよび拍子に従い、例えば1小節分のメトロノーム音の発音を指示するノートオンメッセージを音声データ生成部111に送出する。その結果、スピーカ105からはメトロノーム音の発音が開始される。
When receiving the position data and the pressure data, the MIDI data generating unit 113 reads the template MIDI data and stores it in the
制御部107は、位置データ生成部108および圧力データ生成部110から位置データおよび圧力データを受け取ると、中央表示部100に対し、受け取った位置データおよび圧力データに応じた描画データを送出する。その結果、中央表示部100にはスティック20の移動の軌跡を示す画像が表示される。
When the
有線通信部106は、位置データおよび圧力データを受け取ると、受け取ったそれらのデータをパネル型楽器本体部10Tに順次、送信する。パネル型楽器本体部10Tの有線通信部106は、パネル型楽器本体部10Sから位置データおよび圧力データを受信すると、受信したそれらのデータをMIDIデータ生成部113および制御部107に送出する。
When receiving the position data and the pressure data, the wired
パネル型楽器本体部10TのMIDIデータ生成部113は、有線通信部106から最初の位置データおよび圧力データを受け取ると、パネル型楽器本体部10Sと同様に、その位置データおよび圧力データに基づき、雛形MIDIデータの読み出しおよびRAM1131への記憶を行う。さらに、MIDIデータ生成部113はメトロノーム音の発音を指示するノートオンメッセージを音声データ生成部111に送出する。その結果、パネル型楽器本体部10Tのスピーカ105からもメトロノーム音の発音が開始される。
When receiving the first position data and pressure data from the wired
1小節分のメトロノーム音の発音が終了するタイミングで、ユーザSおよびユーザTは、それぞれスティック20を用いてタッチパネル102に対する演奏動作を開始する。ユーザSの演奏動作を示す位置データおよび圧力データは、パネル型楽器本体部10Sからパネル型楽器本体部10Tに送信され、パネル型楽器本体部10Tにおいて、有線通信部106からMIDIデータ生成部113および制御部107に送出される。同様に、ユーザTの演奏動作を示す位置データおよび圧力データは、パネル型楽器本体部10Tからパネル型楽器本体部10Sに送信され、パネル型楽器本体部10Sにおいて、有線通信部106からMIDIデータ生成部113および制御部107に送出される。以下、パネル型楽器本体部10Sとパネル型楽器本体部10Tの動作は同じであるので、パネル型楽器本体部10Sの動作のみを説明する。
At the timing when the metronome sound for one measure ends, the user S and the user T each start a performance operation on the
パネル型楽器本体部10SのMIDIデータ生成部113および制御部107は、パネル型楽器本体部10Sの位置データ生成部108および圧力データ生成部110により生成された位置データおよび圧力データ(以下、それぞれ「自機位置データ」および「自機圧力データ」と呼ぶ)と、パネル型楽器本体部10Tから受信された位置データおよび圧力データ(以下、それぞれ「他機位置データ」および「他機圧力データ」と呼ぶ)を同時に受け取る。
The MIDI data generation unit 113 and the
MIDIデータ生成部113は、自機位置データに基づく速度エンベロープの算出と同時に、他機位置データに基づく速度エンベロープの算出を行う。続いて、MIDIデータ生成部113は生成した2つの速度エンベロープが示す速度の平均値を算出し、算出した速度の平均値に基づいて、雛形MIDIデータのテンポの調整処理を行う。また、MIDIデータ生成部113は、雛形MIDIデータに含まれるイベントデータのうち、ユーザSにより選択された楽器パートに関するものについては自機圧力データに基づくベロシティ調整を行い、その他のイベントデータについては、他機圧力データに基づくベロシティ調整を行う。MIDIデータ生成部113は、そのように調整を施した雛形MIDIデータを演奏用のMIDIデータとして、順次、音声データ生成部111に送出する。
The MIDI data generation unit 113 calculates the speed envelope based on the position data of the other apparatus simultaneously with the calculation of the speed envelope based on the position data of the own apparatus. Subsequently, the MIDI data generation unit 113 calculates an average value of the speeds indicated by the two generated speed envelopes, and performs a tempo adjustment process of the template MIDI data based on the calculated average value of the speeds. Further, the MIDI data generation unit 113 performs velocity adjustment based on its own pressure data for the event data included in the template MIDI data related to the instrument part selected by the user S, and for other event data, Velocity adjustment based on the pressure data of other aircraft. The MIDI data generation unit 113 sequentially sends the template MIDI data thus adjusted to the audio
一方、制御部107は、自機位置データおよび自機圧力データに基づき、ユーザSの演奏動作によるスティック20の移動の軌跡を、例えば青で示す描画データを生成する。また、制御部107は、他機位置データおよび他機圧力データに基づき、ユーザTの演奏動作によるスティック20の移動の軌跡を、青とは異なる色、例えば赤で示す描画データを生成する。制御部107は生成した2つの描画データを合成することにより、同時にユーザSおよびユーザTの演奏動作を画像として示す描画データを生成し、生成した描画データを中央表示部100に送出することにより、画像の表示を指示する。
On the other hand, the
上記のMIDIデータ生成部113の処理により、スピーカ105からは、ユーザSの演奏動作により選択された楽曲の演奏音声が、ユーザSおよびユーザTの演奏動作によりリアルタイムにテンポ調整が施されて発音される。その際、ユーザSにより選択された楽器パートの楽音に関してはユーザSの演奏動作により、またユーザSにより選択されなかった楽器パートの楽音に関してはユーザTの演奏動作により、リアルタイムに強さの調整が施されたものとなる。また上記の制御部107の処理により、中央表示部100には、ユーザSおよびユーザTの演奏動作によるスティック20の移動の軌跡が異なる色でリアルタイムに表示される。
Through the above-described processing of the MIDI data generating unit 113, the performance sound of the music selected by the performance operation of the user S is generated from the
従って、ユーザSおよびユーザTは、スティック20をスタイラスペンとして用いた筆記動作と同様の操作によって、互いに離れた場所においても二重奏を楽しむことができる。その際、ユーザSおよびユーザTは筆記動作の速度および押圧の強さに応じて、テンポおよび強さをリアルタイムに調整することができる。さらに、ユーザSおよびユーザTは、自分の演奏に加え、相手の演奏の様子を画像により視覚的に確認しつつ演奏動作を行うことができる。
Therefore, the user S and the user T can enjoy the duo even in a place away from each other by the same operation as the writing operation using the
なお、パネル型楽器本体部10Sおよびパネル型楽器本体部10Tは、位置データおよび圧力データに加え、MIDIデータもしくは音声データを送受信する構成としてもよい。
The panel-type musical instrument
例えば、MIDIデータがパネル型楽器本体部10Sとパネル型楽器本体部10Tの間で送受信される場合、パネル型楽器本体部10SのMIDIデータ生成部113は、ユーザSにより選択された楽器パートに関してのみ、雛形MIDIデータの調整処理を行うことにより演奏用のMIDIデータを生成する。MIDIデータ生成部113は、生成したMIDIデータを音声データ生成部111に送出すると同時に、有線通信部106を介してパネル型楽器本体部10Tに送信する。一方、ユーザSにより選択されなかった楽器パートに関しては、有線通信部106がパネル型楽器本体部10TからMIDIデータを受信し、受信したMIDIデータを音声データ生成部111に送出する。その結果、スピーカ105からは、ユーザSおよびユーザTの演奏動作に応じた音声が同時に発音される。
For example, when MIDI data is transmitted and received between the panel-type instrument
また、音声データがパネル型楽器本体部10Sとパネル型楽器本体部10Tの間で送受信される場合、パネル型楽器本体部10SのMIDIデータ生成部113は、ユーザSにより選択された楽器パートに関してのみ、雛形MIDIデータの調整処理を行うことにより演奏用のMIDIデータを生成する。MIDIデータ生成部113は、生成したMIDIデータを音声データ生成部111に送出する。音声データ生成部111は、MIDIデータ生成部113から受け取ったMIDIデータに従い音声データを生成すると、生成した音声データを有線通信部106を介して、パネル型楽器本体部10Tに送信する。一方、ユーザSにより選択されなかった楽器パートに関しては、有線通信部106がパネル型楽器本体部10Tから音声データを受信し、受信した音声データをD/Aコンバータ114に送出する。その結果、スピーカ105からは、ユーザSおよびユーザTの演奏動作に応じた音声が同時に発音される。
When audio data is transmitted / received between the panel-type instrument
なお、上述した説明においては、速度エンベロープに応じて楽曲のテンポを、また圧力データに応じて楽音の強さを調整する場合を例示したが、位置データおよび圧力データを用いて楽曲に調整を加えるものであれば、いずれのデータに基づき、いずれのパラメータを調整するものであってもよい。 In the above description, the case where the tempo of the music is adjusted according to the velocity envelope and the intensity of the musical sound is adjusted according to the pressure data is exemplified, but the music is adjusted using the position data and the pressure data. Any parameter can be adjusted based on any data.
また、上述した説明においては、位置データはタッチパネル102から出力される位置信号により生成され、圧力データはスティック20から出力される圧力信号により生成される場合を例示したが、後述する第3実施形態で例示するように、各位置の押圧強度を計測可能な圧力センサパネルから出力される信号により、位置データおよび圧力データを生成する構成としてもよい。
In the above description, the case where the position data is generated from the position signal output from the
また、パネル型楽器本体部10は、音声データの処理および通信処理が可能な汎用コンピュータに対し、タッチパネル102、アンテナ104および無線通信部109に相当する装置を接続し、上述したパネル型楽器本体部10の処理を指示するプログラムを汎用コンピュータに実行させることによっても実現することができる。その場合、制御部107、位置データ生成部108、圧力データ生成部110、音声データ生成部111およびMIDIデータ生成部113は、汎用コンピュータが有するCPU(central processing unit)やDSP(digital signal processor)等のプロセッサがプログラムに従った処理を行うことにより実現される。また、中央表示部100および右表示部101は、CPUが表示部に対し、複数の領域に分割された画像を表示させることにより実現される。
The panel-type musical instrument
[2.第2実施形態]
[2.1.データ処理装置の構成]
第2実施形態のデータ処理装置は、ユーザのスティックをスタイラスペンとして用いた筆記動作と同様の操作に応じて、例えば1小節分の演奏フレーズを示す雛形MIDIデータを順次選択し、選択した雛形MIDIデータに調整処理を施すことにより、ユーザによりアレンジされた演奏音声の発音を行う。
[2. Second Embodiment]
[2.1. Configuration of data processing apparatus]
The data processing apparatus according to the second embodiment sequentially selects, for example, model MIDI data indicating a performance phrase for one measure in response to an operation similar to a writing operation using a user's stick as a stylus pen, and selects the selected model MIDI. By performing adjustment processing on the data, the performance sound arranged by the user is pronounced.
第2実施形態は上述した第1実施形態と多くの点が共通しているため、第2実施形態が第1実施形態と異なる点のみを説明する。以下、第2実施形態におけるデータ処理装置をパネル型楽器2と呼ぶ。 Since the second embodiment has many points in common with the first embodiment described above, only the points of the second embodiment different from the first embodiment will be described. Hereinafter, the data processing apparatus in the second embodiment is referred to as a panel type musical instrument 2.
パネル型楽器2の外観および構成は、雛形MIDIデータ記憶部112に記憶されている雛形MIDIデータの構成を除き、第1実施形態におけるパネル型楽器1と全く同様である。従って、以下、図1および図2を用いて、パネル型楽器2の動作等の説明を行う。
The appearance and configuration of the panel-type musical instrument 2 are exactly the same as those of the panel-type musical instrument 1 in the first embodiment except for the configuration of the template MIDI data stored in the template MIDI
図5は、雛形MIDIデータ記憶部112が記憶しているデータの構成を示す図である。パネル型楽器2の雛形MIDIデータ記憶部112に記憶されている雛形MIDIデータは、パネル型楽器1の雛形MIDIデータ記憶部112に記憶されている雛形MIDIデータと異なり、楽曲に含まれる各小節に関し、複数の演奏フレーズを示す演奏制御データである。各演奏フレーズを示す雛形MIDIデータは、「曲名」、「曲調」、「楽器パート」、「基本音符長」、「音程変化」および「小節」の順に階層的に整理されて、雛形MIDIデータ記憶部112に記憶されている。
FIG. 5 is a diagram showing a configuration of data stored in the template MIDI
「基本音符長」とは、雛形MIDIデータが示す演奏フレーズに含まれる基本となる音符長による区分を示し、「全音符」、「2分音符」等の名称で区別される。例えば、「全音符」に区分される演奏フレーズは、「16分音符」に区分される演奏フレーズよりも各楽音の発音時間が平均して長く、静かな印象を与える演奏フレーズである。一方、「16分音符」に区分される演奏フレーズは、「全分音符」に区分される演奏フレーズよりも各楽音の発音時間が平均して短く、賑やかな印象を与える演奏フレーズである。 The “basic note length” indicates a division based on a basic note length included in the performance phrase indicated by the template MIDI data, and is distinguished by a name such as “whole note” or “half note”. For example, a performance phrase classified into “whole notes” is a performance phrase that gives a quiet impression because the sound generation time of each musical tone is longer on average than a performance phrase classified into “16th notes”. On the other hand, the performance phrase divided into “16th notes” is a performance phrase that gives a lively impression with the average pronunciation time of each musical tone being shorter than that of the performance phrase classified as “all notes”.
「音程変化」とは、演奏フレーズの音程の変化の傾向による区分を示し、「急上昇」、「緩上昇」、「無変化」、「緩下降」および「急下降」の名称で区別される。例えば、「急上昇」に区分される演奏フレーズは、演奏フレーズの開始から終了に向けて、急速に音程が上昇するような演奏フレーズである。 “Pitch change” indicates a classification according to the tendency of the change in pitch of the performance phrase, and is distinguished by the names “rapid rise”, “slow rise”, “no change”, “slow fall”, and “sudden fall”. For example, a performance phrase classified as “rapid rise” is a performance phrase whose pitch rises rapidly from the start to the end of the performance phrase.
上記のような区分により、例えば、楽曲「ABC」−曲調「ロック」−楽器パート「ギター」−基本音符長「全音符」−音程変化「急上昇」−小節「第1小節」という区分により示される雛形MIDIデータが1つ、特定される。以下、そのように特定される雛形MIDIデータを、「ABC/ロック/ギター/全音符/急上昇/第1小節」のように示す。なお、第1小節に区分される雛形MIDIデータは、楽曲のテンポ、拍子および基準となる基本音符長(以下、「基準基本音符長」と呼ぶ)を示すデータを含んでいる。 According to the above classification, for example, it is indicated by the classification of music “ABC” —musical tone “rock” —instrument part “guitar” —basic note length “all notes” —pitch change “rapid rise” —measure “first measure”. One template MIDI data is specified. Hereinafter, the template MIDI data specified as such is shown as “ABC / Rock / Guitar / Full note / Rapid rise / First measure”. Note that the template MIDI data divided into the first bar includes data indicating the tempo, time signature, and reference basic note length (hereinafter referred to as “reference basic note length”) of the music.
[2.2.データ処理装置の動作]
ユーザは、パネル型楽器2を用いた演奏動作を開始するに先立ち、アレンジ演奏を行う楽曲の曲名、曲調およびユーザがアレンジを行う楽器パートの指定を行う。すなわち、ユーザは操作部103を操作し、曲名、曲調および楽器パートの順でそれらの候補リストを右表示部101に表示させ、表示された候補リストから希望するものを選択する。その際、ユーザは複数の楽器パートを選択することもできる。
[2.2. Operation of data processing apparatus]
Prior to starting the performance operation using the panel-type musical instrument 2, the user designates the name and tone of the music to be arranged and the musical instrument part to be arranged by the user. That is, the user operates the
ユーザの操作に応じて、操作部103は選択された曲名、曲調および楽器パートを示すデータをMIDIデータ生成部113に送出する。MIDIデータ生成部113は、受け取った曲名、曲調および楽器パートを示すデータをRAM1131に記憶する。以下、例として、ユーザは曲名「ABC」、曲調「ロック」、楽器パート「ギター」および「サックス」を選択したものとする。また、曲名「ABC」および小節「第1小節」に区分される雛形MIDIデータには、テンポ「120」、拍子「4/4」および基準基本音符長「4分音符」が含まれているものとする。
In response to a user operation, the
続いて、ユーザは操作部103を操作して、パネル型楽器本体部10に対し演奏の開始を指示する。ユーザの操作に応じて、操作部103は演奏の開始を指示するデータをMIDIデータ生成部113に送出する。MIDIデータ生成部113は、演奏の開始を指示するデータに応じて、RAM1131に記憶した曲名「ABC」および曲調「ロック」に基づき、それらの区分に属する雛形MIDIデータのうち、小節「第1小節」に区分されるものをいずれか1つ読み出す。
Subsequently, the user operates the
MIDIデータ生成部113は、読み出した雛形MIDIデータに含まれるテンポ「120」および拍子「4/4」に従い、メトロノームの音色による発音を指示するノートオンメッセージを1小節分だけ生成し、生成したノートオンメッセージを順次、音声データ生成部111に送出する。その結果、スピーカ105からメトロノーム音が発音される。
The MIDI data generation unit 113 generates a one-measure note-on message instructing pronunciation by a metronome tone according to the tempo “120” and the time signature “4/4” included in the read template MIDI data, and the generated note On-messages are sequentially sent to the audio
ユーザは、上記のようにメトロノーム音が発音される間、演奏の第1小節における基本音符長および音程変化を指定する目的で、スティック20をスタイラスペンとして用いたタッチパネル102への筆記動作と同様の操作を行う。
While the metronome sound is sounded as described above, the user can specify the basic note length and the pitch change in the first measure of the performance in the same manner as the writing operation on the
パネル型楽器本体部10は、各小節に対応する演奏用のMIDIデータを生成するにあたり、一つ前の小節に対応する時間におけるスティック20のY方向の累積移動量に応じて基本音符長を決定し、スティック20のX方向の移動量に応じて音程変化を決定することにより、用いる雛形MIDIデータを選択する。従って、例えばユーザが賑やかな演奏フレーズで演奏を開始したいと考える場合、ユーザは第1小節の演奏が開始される前の1小節の間、すなわちメトロノーム音が発音されている間、スティック20をタッチパネル102上のY正方向およびY負方向に素早く往復させる動作を行う。また、例えばユーザが、上昇傾向で音程が変化する演奏フレーズで演奏を開始したいと考える場合、ユーザはメトロノームの音が発音されている間、スティック20をタッチパネル102上のX正方向に滑らせる動作を行う。
In generating musical performance MIDI data corresponding to each measure, the panel-type musical instrument
ユーザのスティック20を用いた動作に応じて、位置データ生成部108および圧力データ生成部110は、それぞれ位置データおよび圧力データを生成し、生成したデータをMIDIデータ生成部113に送出する。MIDIデータ生成部113は圧力データおよび位置データを受け取ると、それらをRAM1131に順次記憶する。MIDIデータ生成部113は、操作部103から演奏の開始を指示するデータを受け取った後、1小節分の時間が経過する直前に、過去の1小節分の時間にRAM1131に記憶した位置データに基づき、以下に示すような雛形MIDIデータの選択処理を行う。
The position
まず、MIDIデータ生成部113はRAM1131に記憶されている過去1小節分の位置データのY方向の累積移動量を算出する。すなわち、位置データが(X1,Y1)、(X2,Y2)、・・・(Xn,Yn)のように時系列に並んでいるとすると、MIDIデータ生成部113は、例えば式(1)の値を算出する。
なお、式(1)はY方向の累積移動量を算出するための算出式の例示であって、例えば隣り合うY座標の絶対値の和を算出するなど、様々な算出式が利用可能である。 Formula (1) is an example of a calculation formula for calculating the cumulative amount of movement in the Y direction. For example, various calculation formulas such as calculating the sum of absolute values of adjacent Y coordinates can be used. .
MIDIデータ生成部113は、先に読み出した小節「第1小節」に区分される雛形MIDIデータに含まれる基準基本音符長「4/4」に基づき、上記のように算出したY方向の累積移動量に応じて、第1小節における基本音符長を決定する。例えば、Y方向の累積移動量が大きい場合、MIDIデータ生成部113は第1小節の基本音符長を基準基本音符長「4分音符」よりも賑やかな演奏フレーズの区分を示す「16分音符」に決定する。 The MIDI data generation unit 113 performs the cumulative movement in the Y direction calculated as described above based on the reference basic note length “4/4” included in the template MIDI data divided into the previously read measure “first measure”. The basic note length in the first measure is determined according to the amount. For example, when the cumulative amount of movement in the Y direction is large, the MIDI data generation unit 113 sets the basic note length of the first measure to “16th note” indicating a lively phrase segment that is more lively than the reference basic note length “quarter note”. To decide.
続いて、MIDIデータ生成部113はRAM1131に記憶されている過去1小節分の最初の位置データおよび最後の位置データのX座標の差を算出する。すなわち、位置データが(X1,Y1)、(X2,Y2)、・・・(Xn,Yn)のように時系列に並んでいるとすると、MIDIデータ生成部113は、(Xn−X1)を算出する。この値は、過去1小節分の時間における、スティック20のX方向の移動量を示す値である。なお、X方向の移動量を算出する方法としては、例えば1小節分の時間の前半部分のX座標の平均値と後半部分のX座標の平均値の差を算出するなど、様々なものが考えられる。MIDIデータ生成部113は、上記のように算出した値に応じて、第1小節における音程変化を決定する。例えば、X方向の移動量が非常に大きい正の値である場合、MIDIデータ生成部113は第1小節の音程変化を「急上昇」に決定する。
Subsequently, the MIDI data generation unit 113 calculates the difference between the X coordinates of the first position data and the last position data for the past one bar stored in the
MIDIデータ生成部113は、以上のように第1小節における基本音符長および音程変化を決定すると、それらに対応する雛形MIDIデータを雛形MIDIデータ記憶部112から読み出し、RAM1131に記憶する。この場合、MIDIデータ生成部113は、RAM1131に記憶されているユーザにより選択された楽器パート「ギター」および「サックス」というデータに基づき、「ABC/ロック/ギター/16分音符/急上昇/第1小節」および「ABC/ロック/サックス/16分音符/急上昇/第1小節」の雛形MIDIデータを読み出す。また、MIDIデータ生成部113は、RAM1131に記憶されていない楽器パート、例えば「ベース」、「ドラム」等に関し、「ABC/ロック/ベース/4分音符/無変化/第1小節」、「ABC/ロック/ドラム/4分音符/無変化/第1小節」等の雛形MIDIデータを読み出す。これらのユーザに選択されなかった楽器パートの雛形MIDIデータに関しては、基準基本音符長と同じ基本音符長「4/4」、また音程変化「無変化」であるものが常に読み出される。以上がMIDIデータ生成部113における雛形MIDIデータの選択処理である。
When the MIDI data generating unit 113 determines the basic note length and the pitch change in the first measure as described above, the MIDI data generating unit 113 reads out the template MIDI data corresponding to the basic note length from the template MIDI
MIDIデータ生成部113は上記のように雛形MIDIデータを読み出すと、読み出した雛形MIDIデータに含まれるイベントデータの音声データ生成部111に対する送出処理を開始する。その際、MIDIデータ生成部113は圧力エンベロープに応じて、イベントデータに対するベロシティ調整を行う。ただし、第2実施形態においては、MIDIデータ生成部113は速度エンベロープに応じたテンポ調整処理は行わない。
When the MIDI data generation unit 113 reads the template MIDI data as described above, the MIDI data generation unit 113 starts sending the event data included in the read template MIDI data to the audio
音声データ生成部111はMIDIデータ生成部113から受け取ったイベントデータに従い、ギター、サックス、ベース、ドラム等の音声データを生成し、D/Aコンバータ114に送出する。その結果、スピーカ105からはそれらの楽器の演奏音声が発音される。
The audio
MIDIデータ生成部113は、上記のように、第1小節に関するノートオンメッセージの送出処理を行っている間も継続して位置データの記憶を行い、第2小節が開始する直前のタイミングで、過去1小節分の時間に記憶した位置データに基づいて、上述した雛形MIDIデータの選択処理を行う。続いて、MIDIデータ生成部113は選択した雛形MIDIデータに含まれるイベントデータの音声データ生成部111に対する送出処理を行うが、その際、ユーザに選択された楽器パート「ギター」および「サックス」の雛形MIDIデータに含まれるノートオンメッセージに関しては、上述したベロシティ調整処理に加え、音高の調整処理を行う。
As described above, the MIDI data generation unit 113 continuously stores the position data while performing the process of sending the note-on message related to the first measure, and at the timing immediately before the start of the second measure, Based on the position data stored in the time of one measure, the above-described template MIDI data selection processing is performed. Subsequently, the MIDI data generation unit 113 performs transmission processing of the event data included in the selected template MIDI data to the audio
例えば、第1小節の演奏用のMIDIデータ生成のために選択された、ある楽器パートの雛形MIDIデータが「C3」の音高で開始し「C4」の音高で終了しており、第2小節の演奏用のMIDIデータ生成のために選択された同じ楽器パートの雛形MIDIデータが「B3」の音高で開始し「B4」の音高で終了しているものとする。このような場合、MIDIデータ生成部113は第2小節の雛形MIDIデータに含まれるノートオンメッセージの音高を示すパラメータであるノートナンバーに12を加えることにより、ノートオンメッセージが発音指示する楽音の音高を1オクターブだけ高音側にシフトさせる。このような音高の調整処理により、スピーカ105から発音される演奏音声は、小節間のつながりが自然なものとなる。
For example, the template MIDI data of a certain instrument part selected for generating MIDI data for performance of the first measure starts with a pitch of “C3” and ends with a pitch of “C4”. It is assumed that the template MIDI data of the same instrument part selected for generating the MIDI data for the performance of the measure starts with the pitch “B3” and ends with the pitch “B4”. In such a case, the MIDI data generation unit 113 adds 12 to the note number that is a parameter indicating the pitch of the note-on message included in the template data of the second measure, thereby generating a musical sound that the note-on message instructs to pronounce. Shift the pitch one octave to the high pitch side. With such a pitch adjustment process, the performance sound produced from the
上述したMIDIデータ生成部113の処理により、パネル型楽器本体部10から発音される音声は、ユーザのスティック20を用いた演奏操作に応じて、賑やかさ、音程の変化傾向および楽音の強さが様々にアレンジされた演奏音声となる。その結果、ユーザは筆記動作と同様の操作により、容易に楽曲のアレンジ演奏を行うことができる。
As a result of the processing of the MIDI data generation unit 113 described above, the sound produced from the panel-type musical instrument
なお、第2実施形態においても、第1実施形態と同様に、ユーザの演奏動作を示す画像が中央表示部100に表示される。また、第2実施形態においても、第1実施形態と同様に、通信網等により接続された複数のパネル型楽器2を用いることにより、複数のユーザが二重奏もしくは多重奏を行うことができる。パネル型楽器2におけるそれらの動作は、パネル型楽器1におけるものと同様であるので、説明を省略する。
In the second embodiment as well, an image showing the performance performance of the user is displayed on the
また、上述した説明においては、スティック20のY方向の累積移動量を基本音符長、X方向の移動量を音程変化、タッチパネル102に対する押圧強度を楽音の強さに対応付けた場合を例示したが、位置データおよび圧力データに基づき生成されるどのような指標を用いるか、またその指標に応じて楽曲のどのパラメータに調整を加えるかは任意に変更可能である。
Further, in the above description, the case where the cumulative movement amount of the
また、上述した説明においては、1小節単位で雛形MIDIデータの選択を行ったが、雛形MIDIデータが示す演奏フレーズの長さは任意に変更可能である。例えば、MIDIデータ生成部113が1/4小節単位で演奏フレーズを選択および加工するように構成すれば、ユーザの演奏動作がより迅速かつ細やかに演奏に反映される。 In the above description, the template MIDI data is selected in units of one measure. However, the length of the performance phrase indicated by the template MIDI data can be arbitrarily changed. For example, if the MIDI data generation unit 113 is configured to select and process a performance phrase in units of 1/4 bars, the performance operation of the user is reflected more quickly and finely in the performance.
[3.第3実施形態]
[3.1.データ処理装置の構成]
第3実施形態のデータ処理装置は、ユーザの筆記動作に応じて、その筆記動作に応じた音声を発音すると同時に、手本となる筆記動作を示した時系列の位置データおよび圧力データと、ユーザの筆記動作により生成される時系列の位置データおよび圧力データとの類似度を評価し、評価結果を表示する。
[3. Third Embodiment]
[3.1. Configuration of data processing apparatus]
The data processing device according to the third embodiment generates time-series position data and pressure data indicating a writing operation as a model at the same time as generating a sound corresponding to the writing operation according to the user's writing operation, and the user The degree of similarity with time-series position data and pressure data generated by the writing operation is evaluated, and the evaluation result is displayed.
第3実施形態は上述した第1実施形態と多くの点が共通しているため、第3実施形態が第1実施形態と異なる点のみを説明する。以下、第3実施形態におけるデータ処理装置をパネル型楽器3と呼ぶ。また、パネル型楽器3が備える構成部のうち、パネル型楽器1が備える構成部と共通しているものに関しては、以下、同じ符号を用いる。 Since the third embodiment has many points in common with the first embodiment described above, only the points of the third embodiment different from the first embodiment will be described. Hereinafter, the data processing apparatus in the third embodiment is referred to as a panel-type musical instrument 3. In addition, among the components included in the panel-type musical instrument 3, the same reference numerals are used hereinafter for the components common to the components included in the panel-type musical instrument 1.
図6は、パネル型楽器3の外観を示す斜視図である。パネル型楽器3は、パネル型楽器本体部30のみから構成されている。すなわち、第1実施形態におけるスティック20に相当する構成部は備えていない。パネル型楽器本体部30は、パネル型楽器本体部10のアンテナ104に相当する構成部を備えていない。これは、パネル型楽器3はスティック20に相当する構成部を備えていないので、パネル型楽器本体部30はスティック20から送信される電波信号を受信する必要がないためである。また、パネル型楽器本体部30は、パネル型楽器本体部30のタッチパネル102の代わりに、圧力センサパネル316を備えている。その他の点において、パネル型楽器本体部30とパネル型楽器本体部30の外観は共通している。
FIG. 6 is a perspective view showing the appearance of the panel-type musical instrument 3. The panel-type musical instrument 3 is composed only of the panel-type musical instrument
圧力センサパネル316は、例えば長方形の透明なアクリルボードと、その透明なアクリルボードの四隅にそれぞれ配置された高精度の圧力センサから構成されている。各々の圧力センサは、例えば歪みゲージ等を有しており、取り付けられた位置における、圧力センサパネル316の面に対し垂直方向に加えられた圧力の大きさを圧力信号として出力する。以下、圧力センサパネル316の四隅に配置された圧力センサの各々から出力される圧力信号をそれぞれ、「圧力信号1」、「圧力信号2」、「圧力信号3」および「圧力信号4」と呼ぶ。なお、圧力センサパネル316に設けられる圧力センサの数および配置の方法は様々に変更可能である。
The
図7は、パネル型楽器本体部30の構成を機能により区分した機能ブロック図である。パネル型楽器本体部30は、パネル型楽器本体部10と異なり、上述したようにアンテナ104を備えておらず、また、タッチパネル102の代わりに圧力センサパネル316を備えている。さらに、位置データ生成部108および圧力データ生成部110の代わりに、それらの機能を併せ持つ位置圧力データ生成部317を備えている。また、パネル型楽器本体部30は、パネル型楽器本体部10が備えていた雛形MIDIデータ記憶部112およびMIDIデータ生成部113を備えていない一方で、雛形位置圧力データ記憶部318および指標算出部319を備えている。
FIG. 7 is a functional block diagram in which the configuration of the panel-type musical instrument
位置圧力データ生成部317は、圧力センサパネル316から出力される圧力信号に基づき、圧力センサパネル316上に加えられた圧力の位置を示す位置データとその圧力の押圧強度を示す圧力データの組である位置圧力データを生成する。圧力信号を位置圧力データに変換するための情報として、位置圧力データ生成部317は基準圧力データ群3171を記憶している。図8は、基準圧力データ群3171の構成を示す図である。基準圧力データ群3171は、圧力センサパネル316上の各位置に対し、所定の押圧強度の圧力、例えば1kPaの圧力を加えた場合の圧力信号1〜4の値を示す基準圧力データ1〜4を含んでいる。例えば、図8の例によれば、位置(0,0)に対し1kPaの圧力を加えた場合に、圧力センサパネル316の四隅に配置された圧力センサからは、0.385kPa、0.107kPa、0.256kPaおよび0.052kPaの押圧強度を示す圧力信号がそれぞれ出力されることが分かる。
The position pressure
位置圧力データ生成部317は、圧力センサパネル316から入力される圧力信号1〜4をサンプリングした時系列のデータ、すなわち圧力データ1〜4を生成する。続いて、位置圧力データ生成部317は基準圧力データ群3171から、基準圧力データ1〜4の比が、生成した圧力データ1〜4の比と最も近い基準圧力データを選択する。
The position pressure
例えば、圧力センサパネル316から受け取った圧力信号1〜4に基づいて生成された圧力データ1〜4がh、i、jおよびkであり、位置データ(x,y)に対応する基準圧力データ1〜4がH(x,y)、I(x,y)、J(x,y)およびK(x,y)であるとする。その場合、位置圧力データ生成部317は、例えば以下の式(2)の値を全ての(x,y)に関し算出する。
式(2)の値は、h〜kの比とH(x,y)〜K(x,y)の比が近いほど、0に近づく。従って、位置圧力データ生成部317は式(2)の値が最小となる(x,y)を選択する。なお、式(2)は、生成された圧力データの比と基準圧力データの比の近似度を示す指標の算出式の例示であり、他の算出式が用いられてもよい。
The value of Equation (2) approaches 0 as the ratio of h to k and the ratio of H (x, y) to K (x, y) are closer. Therefore, the position pressure
上記の処理により選択された(x,y)は、圧力センサパネル316に加えられた圧力の中心点を示す位置データである。続いて、位置圧力データ生成部317は、圧力センサパネル316から受け取った圧力信号1〜4が、選択した(x,y)に対応する基準圧力データの何倍の大きさであるかを算出する。すなわち、位置圧力データ生成部317は、選択した(x,y)に関し、例えばp=(h/H(x,y))を算出する。このように算出された値pは、(x,y)で示される点における圧力の大きさをkPaで示した数値である。位置圧力データ生成部317は、以上のように求めた数値を(x,y,p)のように組合せたデータ、すなわち位置圧力データを生成する。
(X, y) selected by the above processing is position data indicating the center point of the pressure applied to the
雛形位置圧力データ記憶部318は、手本となる文字の筆記動作を示すデータを記憶する構成部である。図9は、雛形位置圧力データ記憶部318に記憶されているデータの構成を示す図である。雛形位置圧力データ記憶部318には、ある文字および書体の組合せに関し位置圧力データを時系列に並べたデータである雛形位置圧力データ群が、複数の文字および書体の組合せに関し記憶されている。例えば、文字「創」、書体「行書体」に対応する雛形位置圧力データ群は、例えば優れた書道家が、墨を付けない毛筆を用いて、「創」という文字を行書体で圧力センサパネル316に対し書き付けた際に、位置圧力データ生成部317により生成された位置圧力データを順次、時系列に記憶したものである。
The template position pressure
指標算出部319は、位置圧力データ生成部317から時系列で受け取る位置圧力データの群(以下、「ユーザ位置圧力データ群」と呼ぶ)と、雛形位置圧力データ群との類似度を示す指標を生成する構成部である。指標算出部319は、ユーザ位置圧力データ群および雛形位置圧力データ群等を一時的に記憶するためのRAM3191を有している。指標算出部319が行う処理は、以下の動作説明において併せて説明する。
The
[3.2.データ処理装置の動作]
ユーザは、パネル型楽器本体部30を用いた筆記動作を開始するに先立ち、操作部103を操作し、文字および書体の候補リストを右表示部101に表示させ、表示された候補リストから希望する文字および書体を選択する。以下、ユーザにより文字「創」、書体「行書体」が選択されたものとする。
[3.2. Operation of data processing apparatus]
Prior to starting a writing operation using the panel-type musical instrument
操作部103はユーザにより選択された文字および書体を示すデータを指標算出部319に送出する。指標算出部319は文字および書体を示すデータを受け取り、それらのデータに対応する雛形位置圧力データ群を雛形位置圧力データ記憶部318から読み出し、RAM3191に記憶する。続いて、指標算出部319はRAM3191に記憶した雛形位置圧力データ群に含まれる位置圧力データを順次、音声データ生成部111および制御部107に送出する。
The
音声データ生成部111は、指標算出部319から位置圧力データを受け取ると、受け取った位置圧力データに応じた音声データを生成する。例えば、音声データ生成部111のFM音源部1112は、受け取った位置圧力データのX座標に応じて基本波形の周波数を変化させ、Y座標に応じて基本波形の形状をサイン波から矩形波のように、連続的に変化させる。また、FM音源部1112は位置圧力データに含まれる圧力データに応じて、音調調整やフィルタ処理等を行う。音声データ生成部111は、そのように生成した音声データをD/Aコンバータ114に送り、その結果、スピーカ105からは雛形位置圧力データ群に含まれる位置圧力データに応じて、様々に音高、音色および音量が変化する音声が発音される。
Upon receiving the position pressure data from the
一方、制御部107は指標算出部319から位置圧力データを受け取ると、受け取った位置圧力データに応じた線等を示す描画データを生成し、生成した描画データを中央表示部100に送出することにより、中央表示部100に対し画像の表示を指示する。その結果、中央表示部100には手本となる「創」という文字が動画として描かれる。
On the other hand, when the
続いて、ユーザは墨を付けない毛筆を用いて、中央表示部100に既に表示されている手本を参考としながら、中央表示部100のいずれかの場所、例えば中央表示部100の右半分に「創」という文字を書き付ける。ユーザが毛筆を圧力センサパネル316に接触させると、位置圧力データ生成部317は位置圧力データを制御部107および指標算出部319に送出する。制御部107は、指標算出部319から位置圧力データを受け取ると、上述した雛形位置圧力データ群に含まれる位置圧力データを受け取った場合と同様に、中央表示部100に線等の表示を指示する。
Subsequently, the user uses a brush that is not inked, referring to a model already displayed on the
一方、指標算出部319は、位置圧力データ生成部317から最初の位置圧力データを受け取ると、雛形位置圧力データ群により示される文字の位置と、ユーザの筆記動作により書かれる文字の位置とのズレが音声データの生成に影響を与えないようにするために、それらの位置の調整処理を行う。より具体的には、まず、指標算出部319は位置圧力データ生成部317からから最初に受け取った位置圧力データに含まれるX座標およびY座標と、先に読み出した雛形位置圧力データ群に含まれる最初の位置圧力データのX座標およびY座標との差を算出する。例えば、「創」の雛形位置圧力データ群に含まれる最初の位置データが(250,320)であり、ユーザの筆記動作により最初に生成された位置圧力データに含まれる位置データが(730,300)であったとすると、指標算出部319はX座標およびY座標の差として(−480,+20)を算出する。指標算出部319は、その後、位置圧力データ生成部317から受け取る位置圧力データに対し、算出した座標の差を用いて、位置データの調整処理を行う。例えば、指標算出部319は位置圧力データ生成部317から(725,270,25)という位置圧力データを受け取った場合、X座標から480を減算し、Y座標に20を加算することにより、調整後の位置圧力データとして(245,290,25)を生成する。指標算出部319は生成したX座標およびY座標の調整後の位置圧力データを、順次、RAM3191に記憶するとともに、音声データ生成部111に送出する。
On the other hand, when the
音声データ生成部111は、指標算出部319から位置圧力データを受け取ると、上述した雛形位置圧力データ群に含まれる位置圧力データを受け取った場合と同様に音声データを生成し、生成した音声データをD/Aコンバータ114に送出する。その結果、スピーカ105からはユーザの筆記動作に応じて、様々に音高、音質および音量が変化する音声が発音される。従って、ユーザは先にスピーカ105から発音された雛形位置圧力データ群による音声と、自分の筆記動作により発音される音声とを比較することにより、筆記動作のどの部分がどのように異なっているかを聴覚的に確認しながら筆記動作を行うことができる。
Upon receiving the position pressure data from the
指標算出部319は、先にRAM3191に記憶した雛形位置圧力データ群に含まれる位置圧力データの数と同じ数だけ、ユーザの筆記動作に応じた位置圧力データをRAM3191に記憶すると、雛形位置圧力データ群と、ユーザの筆記動作により時系列的に記憶された位置圧力データ、すなわちユーザ位置圧力データ群との間の類似度を示す指標算出の処理を行う。
The
例えば、雛形位置圧力データ群が(X1,Y1,P1)、(X2,Y2,P2)、・・・、(Xm,Ym,Pm)であり、ユーザ位置圧力データ群が(x1,y1,p1)、(x2,y2,p2)、・・・、(xm,ym,pm)であるとする。この場合、指標算出部319は例えば、以下の式(3)の値を算出する。
式(3)の値は、雛形位置圧力データ群に含まれるデータの値とユーザ位置圧力データ群に含まれるデータの値が近い程、0に近づく。従って、式(3)の値は、ユーザの筆記動作が、どの程度、手本となる書道家の筆記動作と近いかを示す指標である。なお、式(3)に示した算出式は、雛形位置圧力データ群とユーザ位置圧力データ群との類似度を示す指標を求める算出式の例示であって、他の様々な算出式が利用可能である。 The value of Equation (3) approaches 0 as the value of data included in the template position pressure data group and the value of data included in the user position pressure data group are closer. Therefore, the value of the expression (3) is an index indicating how close the writing operation of the user is to the writing operation of a calligrapher as a model. The calculation formula shown in Formula (3) is an example of a calculation formula for obtaining an index indicating the degree of similarity between the template position pressure data group and the user position pressure data group, and various other calculation formulas can be used. It is.
指標算出部319は、上記のように算出した指標を制御部107に送出する。制御部107は、指標算出部319から受け取った指標を示す描画データを生成し、右表示部101に送出する。右表示部101は、制御部107から受け取った描画データに従い指標を表示する。その結果、ユーザは自分の筆記動作がどの程度、手本の筆記動作に近いかを数量的に確認することができる。なお、制御部107は、右表示部101に描画データを送出する代わりに、例えば音声データ生成部111に音声データを送出することにより、スピーカ105からユーザに対し指標を通知する音声を発音させる構成としてもよい。
The
[3.3.複数のデータ処理装置による演奏システム]
第3実施形態においては、通信網等により接続された複数のパネル型楽器本体部30を用いることにより、例えば書道の教師が生徒に対し、遠隔教育を行うことができる。例えば書道の生徒であるユーザSが有するパネル型楽器本体部30Sと、書道の教師であるユーザTが有するパネル型楽器本体部30Tが、インターネット70を介して接続されているものとする。まず教師であるユーザTにより、手本となる筆記動作が行われる。パネル型楽器本体部30Tは、ユーザTの筆記動作を示すユーザ位置圧力データ群をパネル型楽器本体部30Sに送信する。以下、ユーザTの筆記動作により生成されたユーザ位置圧力データ群を「手本位置圧力データ群」と呼び、ユーザSの筆記動作により生成されるユーザ位置圧力データ群と区別する。
[3.3. Performance system with multiple data processing devices]
In the third embodiment, by using a plurality of panel-type musical instrument
パネル型楽器本体部30Sの有線通信部106は、パネル型楽器本体部30Tから受信した手本位置圧力データ群を制御部107および指標算出部319に送出する。制御部107は手本位置圧力データ群を受け取ると、受け取ったデータに応じた線等の描画データを中央表示部100に送出する。また、指標算出部319は、手本位置圧力データ群を受け取ると、受け取ったデータを音声データ生成部111に送出する。その結果、中央表示部100にはユーザTの筆記動作による毛筆の軌跡を示す画像が表示され、スピーカ105からはユーザTの筆記動作に応じて様々に音高、音質および音量が変化する音声が発音される。
The
ユーザTによる筆記動作が終了すると、続いて、ユーザSがパネル型楽器本体部30Sに対し筆記動作を行う。ユーザSの筆記動作に応じて、パネル型楽器本体部30Sの中央表示部100にはユーザSの筆記動作による毛筆の軌跡を示す画像が表示され、スピーカ105からはユーザSの筆記動作に応じて様々に音高、音質および音量が変化する音声が発音される。
When the writing operation by the user T is completed, the user S performs a writing operation on the panel-type musical instrument main body 30S. In accordance with the writing operation of the user S, an image showing the locus of the brush stroke by the writing operation of the user S is displayed on the
また、パネル型楽器本体部30Sの有線通信部106は、パネル型楽器本体部30Tに対し、ユーザSの描画動作により生成されたユーザ位置圧力データ群を送信する。パネル型楽器本体部30Tは、パネル型楽器本体部30Sから送信されたユーザ位置圧力データ群に基づき、中央表示部100にユーザSの筆記動作による毛筆の軌跡を示す画像を表示すると同時に、スピーカ105からユーザSの筆記動作に応じて音高、音質および音量が変化する音声を発音する。その結果、ユーザTは、ユーザSによる筆記動作における改善点等を視覚および聴覚を用いて、容易に把握することができる。
Further, the wired
なお、上述した説明においては、ユーザが墨を付けない毛筆を用いて筆記動作を行う場合を例として説明したが、ユーザは圧力センサパネル316の上に紙を置いて、その上から墨を付けた毛筆を用いて筆記動作を行うようにしてもよい。また、毛筆は筆記用具の例示であって、鉛筆、ペン、クレヨンなど、様々な筆記用具が利用可能である。
In the above description, the case where the user performs a writing operation using a brush that does not make ink is described as an example. However, the user places paper on the
[4.第4実施形態]
[4.1.データ処理装置の構成]
第4実施形態のデータ処理装置は、ユーザのスティックを用いたタッチパネルに対する擦る、叩くといった演奏動作に応じて、スティックとタッチパネルの接触した位置および押圧強度に応じた音高、音色および音量の楽音を発音する。
[4. Fourth Embodiment]
[4.1. Configuration of data processing apparatus]
The data processing apparatus according to the fourth embodiment generates a musical tone having a pitch, tone, and volume according to a position where the stick and the touch panel are in contact with each other and a pressing strength in accordance with a performance operation such as rubbing or hitting the touch panel using the user's stick. Pronounce.
第4実施形態は上述した第1実施形態と多くの点が共通しているため、第4実施形態が第1実施形態と異なる点のみを説明する。以下、第4実施形態におけるデータ処理装置をパネル型楽器4と呼ぶ。また、パネル型楽器4が備える構成部のうち、パネル型楽器1が備える構成部と共通しているものに関しては、以下、同じ符号を用いる。 Since the fourth embodiment shares many points with the first embodiment described above, only the differences of the fourth embodiment from the first embodiment will be described. Hereinafter, the data processing apparatus in the fourth embodiment is referred to as a panel-type musical instrument 4. In addition, among the components included in the panel-type musical instrument 4, the same reference numerals are used hereinafter for the components common to the components included in the panel-type musical instrument 1.
図10は、パネル型楽器4の外観を示す斜視図である。パネル型楽器4は、パネル型楽器本体部50およびスティック20から構成されている。パネル型楽器本体部50は、パネル型楽器本体部10が備えていない構成部として、上表示部520および左表示部521を備えている。上表示部520および左表示部521は、例えば液晶ディスプレイであり、上表示部520はタッチパネル102のX方向に関する情報として、例えば音高を示す鍵盤の画像を表示し、一方、左表示部521は、タッチパネル102のY方向に関する情報として、例えば音色を示す楽器名を表示する。
FIG. 10 is a perspective view showing the appearance of the panel-type musical instrument 4. The panel type musical instrument 4 includes a panel type musical instrument
パネル型楽器本体部50は、内部的な構成において、雛形MIDIデータ記憶部112を備えていない点がパネル型楽器本体部10と異なっている。また、パネル型楽器本体部50の備えるMIDIデータ生成部113は、第1実施形態および第2実施形態における場合のように雛形MIDIデータに調整処理を施すことは行わず、位置データおよび圧力データに応じて、イベントデータそのものを生成する。
The panel-type musical instrument
[4.2.データ処理装置の動作]
ユーザは、パネル型楽器4を用いた演奏動作を行うに先立ち、操作部103を操作して、パネル型楽器本体部50に対し、音域および音色の設定を行う。例として、ユーザはX方向に49鍵の鍵盤に対応する音域を、Y方向に関し「ピアノ」、「シンセパッド」、「ギター」、「サックス」、「ベース」および「ドラムセット」の音色を設定するものとする。ユーザの設定動作に応じて、制御部107は上表示部520に49鍵の鍵盤を示す画像を、左表示部521に「ピアノ」等の音色を示す文字を、また中央表示部100にX方向およびY方向の位置を示すグリッド線を、それぞれ表示させる。
[4.2. Operation of data processing apparatus]
Prior to performing a performance operation using the panel-type musical instrument 4, the user operates the
ユーザにより設定された音域および音色を示すデータは、操作部103からMIDIデータ生成部113にも送出される。MIDIデータ生成部113は、受け取った音域および音色を示すデータをRAM1131に記憶すると同時に、そのデータに基づき、音色の指定を行うMIDIデータであるプログラムチェンジメッセージを生成し、生成したプログラムチェンジメッセージを音声データ生成部111に送出する。音声データ生成部111は、受け取ったプログラムチェンジメッセージに応じて、1〜6番目の楽器パートの音色設定を「ピアノ」、「シンセパッド」、「ギター」、「サックス」、「ベース」および「ドラムセット」にそれぞれ変更する。
Data indicating the range and tone color set by the user is also sent from the
続いて、ユーザは、スティック20をスタイラスペンのように用いてタッチパネル102の表面を擦ったり、スティック20をドラムスティックのように用いてタッチパネル102の表面を叩いたりする。そのようなユーザの演奏動作に応じて、位置データ生成部108および圧力データ生成部110は、それぞれ位置データおよび圧力データを生成し、生成したそれらのデータをMIDIデータ生成部113に送出する。
Subsequently, the user rubs the surface of the
MIDIデータ生成部113は、位置データおよび圧力データを受け取ると、受け取った位置データに含まれるX座標に基づき、音高を示すパラメータであるノートナンバーを、受け取った位置データに含まれるY座標に基づき、楽器パートを指定するパラメータであるチャンネルナンバーを、また受け取った圧力データに基づき、音の強さを指定するパラメータであるベロシティを、それぞれ決定する。MIDIデータ生成部113は、上記のように決定したノートナンバー、チャンネルナンバーおよびベロシティを用いて、ノートオンメッセージを生成する。 When the MIDI data generating unit 113 receives the position data and the pressure data, based on the X coordinate included in the received position data, the MIDI data generating unit 113 determines a note number that is a parameter indicating a pitch based on the Y coordinate included in the received position data. The channel number, which is a parameter for designating the instrument part, and the velocity, which is a parameter for designating the sound intensity, are determined based on the received pressure data. The MIDI data generation unit 113 generates a note-on message using the note number, channel number, and velocity determined as described above.
MIDIデータ生成部113は、生成したノートオンメッセージを音声データ生成部111に送出する。音声データ生成部111はMIDIデータ生成部113からノートオンメッセージを受け取ると、例えば受け取ったノートオンメッセージに含まれるチャンネルナンバーにより指定される楽器パートの音色およびノートナンバーにより指定される音高の波形データに対し、ベロシティに応じた音量調整等を施すことにより、音声データを生成する。音声データ生成部111は生成した音声データをD/Aコンバータ114に送出し、その結果、スピーカ105からはユーザのスティック20を用いた演奏動作に応じた音高、音色および音量の楽音が発音される。
The MIDI data generation unit 113 sends the generated note-on message to the audio
なお、第4実施形態においても、第1実施形態と同様に、ユーザの演奏動作を示す画像が中央表示部100に表示される。また、第4実施形態においても、第1実施形態と同様に、通信網等により接続された複数のパネル型楽器4を用いることにより、複数のユーザが二重奏もしくは多重奏を行うことができる。パネル型楽器4におけるそれらの動作は、パネル型楽器1におけるものと同様であるので、説明を省略する。
In the fourth embodiment, as in the first embodiment, an image showing the performance performance of the user is displayed on the
なお、上述した説明においては、X方向に音高、Y方向に音色を割り当てる場合を例示したが、いずれの方向にいずれのパラメータを割り当てるかは任意に変更可能である。 In the above description, the case where the pitch is assigned in the X direction and the tone color is assigned in the Y direction is exemplified, but which parameter is assigned in which direction can be arbitrarily changed.
また、上述した説明においては、音声データ生成部111はピアノ等のように半音単位で変化する音声を示す音声データを生成する場合を例示したが、位置データに応じて、バイオリン等のように任意の音高の音声データを生成する構成にしてもよい。また、上述した説明においては、Y方向に互いに非連続な異なる音色を割り当てる場合を例示したが、例えばY方向の上部にバイオリンの音色を、下部にフルートの音色を割り当て、それらの音色を示す波形データをクロスフェードさせるなどして、上部から下部に向かい音色が連続的に変化するような構成にしてもよい。上記のように音高や音色を自由に割り当てることにより、ユーザはパネル型楽器4を用いて、従来のミュージックキーボード等では困難であった音楽表現を行うことが可能となる。
In the above description, the voice
また、上述した説明においては、スティック20を1本のみ用いる場合を例示したが、例えばパネル型楽器4は複数のスティック20を備える構成にしてもよい。その場合、例えば、それぞれのスティック20に異なる周波数帯を割り当て、それぞれのスティック20から送出される電波信号を区別可能にするとともに、例えばアンテナ104および無線通信部109を複数設け、それぞれのアンテナ104において受信される電波強度から、各々のスティック20の位置を特定するようにすればよい。
In the above description, the case where only one
[5.態様]
本発明はPDA等の電子文房具、玩具、楽器等、様々な電子機器に適用することが可能であるが、以下に本発明を楽器に適用した場合の実施態様例を示す。
[5. Aspect]
The present invention can be applied to various electronic devices such as an electronic stationery such as a PDA, a toy, a musical instrument, and the like. Examples of embodiments when the present invention is applied to a musical instrument are shown below.
[5.1.第1態様]
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、前記位置データおよび前記圧力データに基づき楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段とを備えることを特徴とするパネル型楽器。
[5.1. First aspect]
Acquisition means for acquiring position data indicating the indicated position on the plane and pressure data indicating the pressure intensity at the indicated position; and control of tone data indicating a tone waveform or tone generation based on the position data and the pressure data. A panel-type musical instrument comprising: data generation means for generating at least one of performance control data to be instructed; and output means for outputting data generated by the data generation means.
[5.2.第2態様]
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、前記位置データおよび前記圧力データに基づき楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段と、前記位置データおよび前記圧力データに基づき描画を行う描画手段とを備えることを特徴とするパネル型楽器。
[5.2. Second aspect]
Acquisition means for acquiring position data indicating the indicated position on the plane and pressure data indicating the pressure intensity at the indicated position; and control of tone data indicating a tone waveform or tone generation based on the position data and the pressure data. Data generation means for generating at least one of performance control data to be instructed, output means for outputting data generated by the data generation means, and drawing means for drawing based on the position data and the pressure data A panel-type instrument characterized by
[5.3.第3態様]
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、楽音の発音の制御を指示する雛形演奏制御データを記憶する記憶手段と、前記位置データ、前記圧力データおよび前記雛形演奏制御データを用いて楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段とを備えることを特徴とするパネル型楽器。
[5.3. Third aspect]
Acquisition means for acquiring position data indicating the indicated position on the plane and pressure data indicating the pressure intensity at the indicated position; storage means for storing model performance control data for instructing control of sound generation; and the position data; Data generating means for generating at least one of musical tone data indicating a waveform of musical tone or performance control data for instructing control of pronunciation of musical tone using the pressure data and the model performance control data; and generated by the data generating means A panel-type musical instrument comprising output means for outputting data.
[5.4.第4態様]
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、演奏フレーズを示す雛形演奏データを複数記憶する記憶手段と、前記位置データおよび前記圧力データに基づき前記記憶手段により記憶される複数の雛形演奏データから1以上の雛形演奏データを選択する選択手段と、前記位置データ、前記圧力データおよび前記選択手段により選択された雛形演奏データを用いて楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段とを備えることを特徴とするパネル型楽器。
[5.4. Fourth aspect]
Acquisition means for acquiring position data indicating the indicated position on the plane and pressure data indicating the pressure intensity at the indicated position; storage means for storing a plurality of model performance data indicating performance phrases; the position data and the pressure data; On the basis of the selection means for selecting one or more model performance data from a plurality of model performance data stored by the storage means, the position data, the pressure data, and the model performance data selected by the selection means are used to generate musical sounds. Data generation means for generating at least one of musical sound data indicating a waveform or performance control data for instructing control of sound generation, and output means for outputting the data generated by the data generation means Panel type instrument.
[5.5.第5態様]
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、前記位置データおよび前記圧力データに基づき楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段と、平面上の位置の軌跡を示す雛形位置データおよび当該軌跡上の押圧強度の変化を示す雛形圧力データを含み手本となる筆記動作を示す雛形データを記憶する記憶手段と、前記取得手段により取得される位置データおよび圧力データにより示される筆記動作と前記雛形データにより示される筆記動作との間の類似度を示す指標を算出する指標算出手段と、前記指標を通知する通知手段とを備えることを特徴とするパネル型楽器。
[5.5. Fifth aspect]
Acquisition means for acquiring position data indicating the indicated position on the plane and pressure data indicating the pressure intensity at the indicated position; and control of tone data indicating a tone waveform or tone generation based on the position data and the pressure data. Data generating means for generating at least one of performance control data to be instructed, output means for outputting data generated by the data generating means, model position data indicating a locus of a position on a plane, and pressure intensity on the locus Storage means for storing model data indicating a model writing operation including model pressure data indicating changes in the position, and the writing operation indicated by the position data and pressure data acquired by the acquisition unit and the model data. Index calculating means for calculating an index indicating the degree of similarity between the writing operation and a notifier for notifying the index Panel-type instrument, characterized in that it comprises and.
[5.6.第6態様]
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、前記位置データおよび前記圧力データに基づき楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記位置データ、前記圧力データおよび前記データ生成手段により生成されたデータの少なくとも1つを他の装置に送信する送信手段とを備えることを特徴とするパネル型楽器。
[5.6. Sixth aspect]
Acquisition means for acquiring position data indicating the indicated position on the plane and pressure data indicating the pressure intensity at the indicated position; and control of tone data indicating a tone waveform or tone generation based on the position data and the pressure data. Data generation means for generating at least one of the performance control data to be instructed, and transmission means for transmitting at least one of the position data, the pressure data, and the data generated by the data generation means to another device. A panel-type instrument characterized by
[5.7.第7態様]
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを他の装置から受信する受信手段と、前記位置データおよび前記圧力データに基づき楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段とを備えることを特徴とするパネル型楽器。
[5.7. Seventh Aspect]
Receiving means for receiving the position data indicating the indicated position on the plane and the pressure data indicating the pressure intensity at the indicated position from another device; and the tone data or tone data indicating the waveform of the tone based on the position data and the pressure data A panel-type musical instrument comprising: data generation means for generating at least one of performance control data for instructing sound generation control; and output means for outputting data generated by the data generation means.
[5.8.第8態様]
平面上の指示位置を座標により示す座標データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、前記座標データに含まれるX成分およびY成分のいずれか1つに応じて音色を決定する音色決定手段と、前記座標データに含まれるX成分およびY成分のうち前記音色決定手段が音色の決定に用いない成分に応じて音高を決定する音高決定手段と、前記圧力データに応じて音の強さを決定する音強決定手段と、前記音色決定手段により決定された音色、前記音高決定手段により決定された音高および前記音強決定手段により決定された音の強さに応じた楽音の波形を示す楽音データもしくは当該楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段とを備えることを特徴とするパネル型楽器。
[5.8. Eighth aspect]
An acquisition means for acquiring coordinate data indicating the indicated position on the plane by coordinates and pressure data indicating the pressure intensity at the indicated position; and a tone color according to any one of the X component and the Y component included in the coordinate data A timbre determining means for determining, a pitch determining means for determining a pitch according to a component that the timbre determining means does not use for determining a timbre among the X component and the Y component included in the coordinate data, and the pressure data Sound intensity determining means for determining the sound intensity in response, tone color determined by the tone color determining means, pitch determined by the pitch determining means, and sound intensity determined by the sound intensity determining means Data generating means for generating at least one of musical tone data indicating a waveform of a musical tone corresponding to the sound or performance control data for instructing control of pronunciation of the musical sound, and the data generating means Panel-type instrument according to an outputting means for outputting made data.
1・2・3・4…パネル型楽器、10・30・50…パネル型楽器本体部、20…スティック、70…インターネット、100…中央表示部、101…右表示部、102…タッチパネル、103…操作部、104・203…アンテナ、105…スピーカ、106…有線通信部、107…制御部、108…位置データ生成部、109・202…無線通信部、110…圧力データ生成部、111…音声データ生成部、112…雛形MIDIデータ記憶部、113…MIDIデータ生成部、114…D/Aコンバータ、115…アンプ、200…ヘッド部、201…圧力センサ、316…圧力センサパネル、317…位置圧力データ生成部、318…雛形位置圧力データ記憶部、319…指標算出部、520…上表示部、521…左表示部、1111…PCM音源部、1112…FM音源部、1131・3191…RAM、3171…基準圧力データ群。
1, 2, 3, 4... Panel type musical instrument, 10.
Claims (7)
平面上の指示位置を示す位置データを取得する取得手段と、
前記記憶手段より雛形演奏制御データを読み出し、当該読み出した雛形演奏制御データを出力する出力手段と
を備え、
前記出力手段は、前記記憶手段から読み出した第1の雛形演奏制御データを出力している間に前記取得手段により取得された位置データに基づき前記指示位置が移動する移動量を累積した累積移動量を算出し、該累積移動量に応じて前記記憶手段から第2の雛形演奏制御データを読み出し、前記第1の雛形演奏制御データの出力の完了と同時に前記第2の雛形演奏制御データの出力を開始する
ことを特徴とするデータ処理装置。 Storage means for storing a plurality of model performance control data for instructing control over the pronunciation of musical sounds in time series;
Obtaining means for obtaining position data indicating a designated position on a plane;
Read out the model performance control data from the storage means, and output means for outputting the read model performance control data,
The output means accumulates a movement amount by which the indicated position moves based on the position data acquired by the acquisition means while outputting the first model performance control data read from the storage means. The second model performance control data is read from the storage means according to the accumulated movement amount , and the output of the second model performance control data is output simultaneously with the completion of the output of the first model performance control data. A data processing apparatus characterized by starting.
前記出力手段は、1小節に各々対応する前記複数の雛形演奏制御データの中から前記第1および前記第2の雛形演奏制御データを読み出し出力する
ことを特徴とする請求項1に記載のデータ処理装置。 The storage means stores a plurality of model performance control data respectively corresponding to one measure constituting the music,
The data processing according to claim 1, wherein the output means reads out and outputs the first and second model performance control data from the plurality of model performance control data respectively corresponding to one measure. apparatus.
前記出力手段は、前記記憶手段から読み出した雛形演奏制御データに対し、当該雛形演奏制御データの読み出し以降に前記取得手段により取得された圧力データに従い該雛形演奏データのベロシティに対し変更を加えたのち、当該変更の加えられた雛形演奏制御データを出力する
ことを特徴とする請求項1または2に記載のデータ処理装置。 The acquisition means acquires pressure data indicating the pressing strength at the indicated position together with position data indicating the indicated position on the plane,
Said output means to read model performance control data from said storage means, make changes to the velocity of該雛type performance data in accordance with pressure data acquired by the acquisition unit after the reading the model performance control data The data processing apparatus according to claim 1, wherein the modified performance data is output after the change.
ことを特徴とする請求項3に記載のデータ処理装置。 Based on prior Symbol position data and the pressure data, the data processing apparatus according to claim 3, characterized in that it comprises a drawing means for drawing.
前記出力手段は、前記第1の雛形演奏制御データを出力している間に前記取得手段により取得された位置データにより示される位置の移動量に応じた基本音符長に対応付けて記憶されている雛形演奏制御データを前記第2の雛形演奏制御データとして前記記憶手段から読み出す
ことを特徴とする請求項1乃至4のいずれかに記載のデータ処理装置。 Before term memory means, respectively each of the corresponding plurality of model performance control data, and stored in association with the basic note length is a note length of the underlying included in the corresponding phrases to the phrase that constitutes the music,
The output means is stored in association with the basic note length corresponding to the amount of movement of the position indicated by the position data acquired by the acquisition means while outputting the first model performance control data. the data processing apparatus according to any one of claims 1 to 4, characterized in that read from said storage means stationery performance control data as said second model performance control data.
前記出力手段は、前記第1の雛形演奏制御データを出力している間に前記取得手段により取得された位置データにより示される位置の移動量に応じた音程変化の程度に対応付けて記憶されている雛形演奏制御データを前記第2の雛形演奏制御データとして前記記憶手段から読み出す
ことを特徴とする請求項1乃至4のいずれかに記載のデータ処理装置。 Before SL storage means stores each of the plurality of model performance control data respectively corresponding to the phrase that constitutes music, in association with the degree of pitch change of the tone contained in the corresponding phrases,
The output means is stored in association with the degree of pitch change corresponding to the amount of movement of the position indicated by the position data acquired by the acquisition means while outputting the first template performance control data. The data processing apparatus according to any one of claims 1 to 4 , wherein the model performance control data is read from the storage means as the second model performance control data.
前記記憶した複数の雛形演奏制御データの中から第1の雛形演奏制御データを読み出し、前記第1の雛形演奏制御データを出力する処理と、
前記第1の雛形演奏制御データを出力している間に、平面上の指示位置を示す位置データを取得する処理と、
前記第1の雛形演奏制御データを出力している間に取得した位置データに基づき前記指示位置が移動する移動量を累積した累積移動量を算出し、該累積移動量に応じて、前記記憶した複数の雛形演奏制御データの中から第2の雛形演奏制御データを読み出し、前記第1の雛形演奏制御データの出力の完了と同時に前記第2の雛形演奏制御データの出力を開始する処理と
をコンピュータに実行させるプログラム。 A process for storing a plurality of template performance control data for chronologically instructing the control of the sound generation;
A process of reading out the first model performance control data from the stored plurality of model performance control data and outputting the first model performance control data;
A process of acquiring position data indicating a designated position on a plane while outputting the first model performance control data;
Based on the position data acquired while outputting the first model performance control data, an accumulated movement amount is calculated by accumulating the movement amount by which the designated position moves , and the stored movement amount is stored according to the accumulated movement amount . A process of reading the second model performance control data from the plurality of model performance control data and starting outputting the second model performance control data simultaneously with the completion of the output of the first model performance control data. A program to be executed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003314447A JP4232582B2 (en) | 2003-09-05 | 2003-09-05 | Data processing apparatus having sound generation function and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003314447A JP4232582B2 (en) | 2003-09-05 | 2003-09-05 | Data processing apparatus having sound generation function and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005084251A JP2005084251A (en) | 2005-03-31 |
JP4232582B2 true JP4232582B2 (en) | 2009-03-04 |
Family
ID=34415054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003314447A Expired - Fee Related JP4232582B2 (en) | 2003-09-05 | 2003-09-05 | Data processing apparatus having sound generation function and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4232582B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4613890B2 (en) * | 2006-07-20 | 2011-01-19 | ヤマハ株式会社 | Electronic music equipment |
JP7299693B2 (en) * | 2018-12-07 | 2023-06-28 | シャープ株式会社 | Writing input device and writing input system |
-
2003
- 2003-09-05 JP JP2003314447A patent/JP4232582B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005084251A (en) | 2005-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10354625B2 (en) | Digital sight-singing piano with a fixed-solfège keyboard, continuous keys and adjustable tones by kneading piano keys | |
US5565641A (en) | Relativistic electronic musical instrument | |
Bresin | Articulation rules for automatic music performance | |
JP2013515288A (en) | Educational string instrument touch screen simulation | |
JP2017167499A (en) | Musical instrument with intelligent interface | |
CN114026634A (en) | Chord performance input device, electronic musical instrument, and chord performance input program | |
US7504572B2 (en) | Sound generating method | |
JP6977741B2 (en) | Information processing equipment, information processing methods, performance data display systems, and programs | |
CN110010106A (en) | A kind of musical performance is set the chessman on the chessboard according to the chess manual system automatically | |
JP4232582B2 (en) | Data processing apparatus having sound generation function and program thereof | |
JP2004271783A (en) | Electronic instrument and playing operation device | |
JP4614307B2 (en) | Performance data processing apparatus and program | |
Axford | Music Apps for Musicians and Music Teachers | |
JP5130842B2 (en) | Tuning support device and program | |
KR101007038B1 (en) | Electronical drum euipment | |
Nichols II | The vbow: An expressive musical controller haptic human-computer interface | |
CN106098037A (en) | A kind of generation method of music playing prompting platform | |
Moro | Beyond key velocity: continuous sensing for expressive control on the Hammond organ and digital keyboards | |
JP2590725B2 (en) | Music data input device | |
JP7107720B2 (en) | fingering display program | |
Fogliano | “ NEMI: New Ergonomic Music Instrument” A bridge between the Human-Centred Design and Digital Music Instrument | |
KR20130039944A (en) | A novel score and apparatus for displaying the same | |
KR101842282B1 (en) | Guitar playing system, playing guitar and, method for displaying of guitar playing information | |
JP4093001B2 (en) | Storage medium storing score display data, score display apparatus and program using the score display data | |
de Souza Nunes et al. | SIBILIM: A low-cost customizable wireless musical interface. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |