JPWO2006011342A1

JPWO2006011342A1 - 楽音生成方法

Info

Publication number: JPWO2006011342A1
Application number: JP2006528958A
Authority: JP
Inventors: 中村　俊介; 俊介中村
Original assignee: Kyushu Institute of Technology NUC
Current assignee: Kyushu Institute of Technology NUC
Priority date: 2004-07-29
Filing date: 2005-07-07
Publication date: 2008-05-01
Anticipated expiration: 2025-07-07
Also published as: JP3978506B2; US20080168893A1; WO2006011342A1; US7504572B2

Abstract

座標データの変化量をベクトルとして算出し、算出されたベクトルに対応して楽音データを生成して楽音を出力するため、入力する座標平面の大きさや位置に制限されることなく楽音を自由に得ることができる。
楽音生成装置１０は、座標データを入力する座標入力装置１２と、主制御装置１４と、音響装置１６と、表示装置１８を備える。主制御装置１４は、所定の時間間隔で前後して入力された２つの該座標データのベクトルを算出する動き算出部２０と、算出されたベクトルに基づいて楽音データを生成する楽音データ生成部２２と、座標データに基づいて、楽器データを生成する機能と表示色データを生成する機能とを兼ね備える、楽器データ生成部兼表示色データ生成部２４と、データ転送・保存部２６と、楽音データによって制御されるＭＩＤＩ音源２８を備える。

Description

本発明は、入力される座標データに基づいて楽音を生成する楽音生成装置および楽音生成システムに関する。

近年、コンピュータを利用した音楽演奏システムが急速に普及しつつある。音楽演奏システムは、一般的には、作曲や編曲を楽しむことを目的としたものであり、音楽の専門知識や習熟を必要とするものである。

これに対して、楽譜を図形や色に置き換えて画像として視覚的に表現するものや、音楽と画像の変化とを連動させるもの等、気軽に使用でき、娯楽性の高いシステムも提案されている。

このようなシステムとして、例えば、描かれた絵の座標情報を入力するペン型入力装置と、ペン型入力装置から入力された座標情報を表示する表示装置と、ペン型入力装置から入力された座標情報に対応した音声信号を出力する音源装置と、ペン型入力装置から入力された座標情報に基づいて表示装置と音源装置とを制御する主制御装置とを備えた音楽演奏システムが提案されている。この音楽演奏システムによれば、使用する楽器の音色を入力スクリーン上の色として置き換え、使用者が色のバリエーションの中から自由に選択し、表示スクリーン上に配置することにより、音を聞く楽しみに加えて見る楽しみも味わうことができるとされている（特許文献１参照。）。

しかしながら、上記音楽演奏システムにおいて、描くためにペンを置いた位置に対応した音声信号は、座標位置に割り当てられた音声信号である。そして、予め絵を描くときに座標位置に応じた音声信号が生成、記録され、つぎに描かれた絵を再度なぞることにより、座標位置に応じた音声信号が再生されるものである。すなわち、描いた絵によって生成された音声信号ではなく、描かれた絵をなぞる際に画面上のどこにペンを置いたかによって判断され、座標位置に応じた音声信号が再生されるものである。このため、実際には、自由に描いた絵に基づいて自由な音声を生成することはできず、画面の位置に規定されたペン操作を行わざるを得ないといえる。また、音楽を再現するためには完全に一致する画面位置でペンを動かさねばならない。

一方、座標系が設定された描画領域に、入力された画像を入力順に表示する画像表示ステップと、表示しつつある画像部分の座標系における座標に対応する楽音を発生させる楽音生成ステップとを有する楽音発生方法が提案されている。ここで、座標系は、楽音の音程を決定する第一の座標軸と、楽音の左右の音量バランスを決定する第二の座標軸とに設定されている。この楽音発生方法によれば、再現される描画と楽音とを入力時の描画と楽音とに一致させることができるとされている（特許文献２参照。）。なお、マウスのクリック操作によりテンポの要素が加わってフレーズが生成される。

しかしながら、上記楽音生成方法（特許文献２）において、生成される音声は、座標位置（座標点）に割り当てられた音程および音量を持つ１つの音である。いうなれば、特定の音程および音量の１つの音を一義的に得るには、平面座標上で特定の座標点を入力する必要がある。また、生成されるフレーズも、平面座標上での特定の座標点におけるマウス操作によって決まるものである。その意味において、上記楽音生成方法（特許文献２）は、上記音楽演奏システム（特許文献１）と同様に、いわば、自由に描いた描画に基づいて音声を生成するときの生成する音声の自由度は小さいといえる。

この点に関し、電子楽器における音色パラメータや効果のパラメータをタブレット入力で行い操作性を向上させることを目的として、タブレット上の操作点をサンプリングし、各サンプリング点Ｐ_k（ｋ＝０，１，２，…）を結ぶベクトルＶ_kを想定し、操作の初動時のベクトルＶ₀の方向に対する現在のベクトルの方向の回転角度に応じてパラメータを増減させ、その際パラメータ値を増加させるか減少させるかは操作点の回転方向によって決め、一方、操作点の回転方向はベクトルの傾きの差（変化）によって検出する電子楽器のパラメータ入力装置が提案されている（特許文献３参照。）。
特開平８−３３５０７６号公報特開２００３−２７１１６４号公報特開平６−１７５６５２号公報

しかしながら、上記電子楽器のパラメータ入力装置（特許文献３）において、ベクトルに基づいて制御する対象は音色パラメータ等の値の増減であり、音色パラメータ自体の設定変更は、タブレットとは別の入力手段であるモード設定スイッチ等のパラメータ入力装置により行うものとされている。このため、上記他の先行技術と同様に、自由に描いた描画に基づいて音声を生成するときの生成する音声の自由度は小さいといえる。

本発明は、上記の課題に鑑みてなされたものであり、座標入力手段により自由に描いた描画に基づいて生成される楽音の自由度が大きな楽音生成装置および楽音生成システムを提供することを目的とする。

上記目的を達成するために、本発明に係る楽音生成装置は、座標データを入力する座標入力手段と、所定の時間間隔で前後して入力された２つの該座標データのベクトルを算出するベクトル算出手段と、算出された該ベクトルに基づいて楽音データを生成する楽音データ生成手段と、該座標データに基づいて楽器データを生成する楽器データ生成手段と、生成された楽音データおよび楽器データに基づいて音源を制御して楽器の楽音を出力する楽音出力手段とを備えることを特徴とする。

また、本発明に係る楽音生成装置は、前記楽器データ生成手段が、前記座標データおよび音楽理論データベースに基づいて楽音データを生成することを特徴とする。

また、本発明に係る楽音生成装置は、前記楽音データが音の高さ、音の強さ、音の長さ、音の左右バランスおよび音の揺れの中から選ばれる１または２以上であることを特徴とする。

また、本発明に係る楽音生成装置は、前記座標入力手段により入力された前記座標データに対応して画像を表示する画像表示手段をさらに備えることを特徴とする。

また、本発明に係る楽音生成装置は、前記座標データに基づいて表示色データを生成する表示色データ生成手段をさらに備えることを特徴とする。

また、本発明に係る楽音生成装置は、前記座標データに基づいて楽器データを生成する楽器データ生成手段をさらに備え、該楽器データと前記表示色データとが対応付けられ、生成された該楽器データに基づいて音源を制御して楽器の楽音を出力することを特徴とする。

また、本発明に係る楽音生成装置は、別々に入力された座標データ群ならびに生成された楽音データ群、表示色データ群および楽器データ群からなるデータ群を記録し、該データ群に基づいて楽音および画像のうちのいずれか一方または双方を同時再生する記録再生手段をさらに備えることを特徴とする。

また、本発明に係る楽音生成システムは、上記楽音生成装置の複数基が通信ネットワークで結ばれ、該複数基の楽音生成装置それぞれで楽音および画像のうちのいずれか一方または双方を同時に生成することを特徴とする。

本発明に係る楽音生成装置は、座標データの変化量をベクトルとして算出し、算出されたベクトルに対応して楽音データを生成し、また、座標データに基づいて楽器データを生成し、生成された楽音データおよび楽器データに基づいて音源を制御して楽器の楽音を出力するため、入力する座標平面の大きさや位置に制限されることなく楽音を自由に得ることができる。

本発明の楽音生成装置の概略構成を示す図である。本発明の楽音生成装置における座標データとベクトルの関係を説明するための図である。本発明の楽音生成装置において表示色決定方法を説明するために用いる色相環を示す図である。本発明の楽音生成装置において楽器決定方法を説明するために用いる色相環を示す図である。本発明の楽音生成装置における楽音生成の処理手順のメインフローを示す図である。本発明の楽音生成装置における楽音生成の処理手順のうち、色選択処理のフローを示す本発明の楽音生成システムの一例のシステム構成を示す図である。本発明の楽音生成システムの他の一例のシステム構成を示す図である。

符号の説明

１０、１０ａ楽音生成装置
１２座標入力装置
１４主制御装置
１６音響装置
１８表示装置
２０動き算出部
２２楽音データ生成部
２４楽器データ生成部兼表示色データ生成部
２６データ転送・保存部
２８ＭＩＤＩ音源
３０タイマ
３０ａ、３０ｂリズム制御・同期部
３２座標バッファ部
３４ベクトル算出部
３６楽音データ決定部
３８音楽理論データベース
４０色・楽器対応照合・決定部
４２色・楽器対応データベース
４４データ転送部
４６データ保存部
４８サーバ部
５０通信ネットワーク

本発明に係る楽音生成装置の実施の形態について、以下に説明する。

まず、本発明の楽音生成装置の概略構成について、図１を参照して説明する。
本発明の楽音生成装置１０は、座標入力装置（座標入力手段）１２と、主制御装置１４と、音響装置（楽音出力手段）１６と、表示装置（画像表示手段）１８を備える。
座標入力装置１２は、連続的に、あるいは不連続に描かれる線や絵の座標データを入力するためのものであり、タッチパネルディスプレイやマウス等の適宜の方式のものを用いることができる。
主制御装置１４は、例えばパソコンであり、座標入力装置１２からの座標データ信号を処理して、音響装置１６に楽音信号を送り、また、表示装置１８に画像信号を送るものである。主制御装置１４の詳細な構成は後述する。
音響装置（楽音出力手段）１６は、例えばスピーカシステムであり、楽音信号によって楽音を発生するものである。
表示装置１８は、例えば液晶ディスプレイであり、画像信号によって画像を表示するものである。
なお、音響装置１６および表示装置１８は、主制御装置１４と一体化されたものであってもよい。また、必要に応じて表示装置１８を省略してもよい。

主制御装置１４について、さらに説明する。
主制御装置１４は、動き算出部（ベクトル算出手段）２０と、楽音データ生成部（楽音データ生成手段）２２と、楽器データ生成部兼表示色データ生成部（楽器データ生成手段兼表示色データ生成手段）２４と、データ転送・保存部２６と、音源として、例えばＭＩＤＩ音源２８と、タイマ３０を備える。

動き算出部２０は、座標入力装置１２で入力された座標データについて、所定時間間隔で前後して入力された２つの座標位置を結んで、大きさと向きを有するベクトルとして算出するものである。動き算出部２０は、座標バッファ部３２およびベクトル算出部３４を有する。
座標バッファ部３２は、入力された座標データを一時的に記憶するものであり、入力された座標データをそのまま取り込む第１座標バッファ部ならびに第１座標バッファ部の座標データを所定の時間間隔で順次シフトする第２座標バッファ部および第３座標バッファ部を含む。
ベクトル算出部３４は、第１座標バッファ部乃至第３座標バッファ部の座標データからベクトルを算出するものであり、スカラ量算出部と角度変化量算出部を含む。

楽音データ生成部２２は、ベクトル算出部３４で算出されたベクトルに基づいて楽音データを生成するものであり、この場合ＭＩＤＩデータを生成する。
楽音データ生成部２２は、ＭＩＤＩデータを生成する楽音データ決定部３６を有するとともに、この場合、音楽理論データベース３８をさらに有する。音楽理論データベース３８の詳細は、後述する。
楽音データ決定部３６は、スカラ量に基づいて音の強さパラメータを決定する音の強さパラメータ決定部と、角度変化量に基づいて音の高さパラメータを決定する音の高さパラメータ決定部を含む。なお、これとは逆に、スカラ量に基づいて音の高さパラメータを決定し、角度変化量に基づいて音の強さパラメータを決定する構成としてもよい。
また、楽音データ決定部３６では、例えば、所定時間間隔で得られるベクトルの変化量が閾値以下のときには、前の時刻の楽音データがそのまま継続して生成されるように構成することで、楽音の音の長さ（テンポ）が得られる。
なお、楽音データは、上記音の高さ、音の強さおよび音の長さのみでなく、音の左右バランスあるいは音の揺れ（モジュレーション）であってもよく、これら５つの中から選ばれる１または２以上とすることができる。

楽器データ生成部兼表示色データ生成部２４は、座標データに対応して、楽器データを生成する機能と表示色データを生成する機能とを兼ね備える、色・楽器対応照合・決定部４０および色・楽器対応データベース４２を有する。
色・楽器対応データベース４２は、座標データに基づいて、表示色データおよび楽器データを生成する。すなわち、表示装置１８で表示する表示色データおよび音響装置１６で発生する楽音の素材となる楽器データが、例えば座標位置に応じて色相環および色相環に対応した楽器分割領域の形で割り付けられており、色相環を入力画面に表示したうえで座標位置を変化させることで、新しい表示色データおよび楽器データが得られる。色・楽器対応照合・決定部４０で、入力された座標データを色・楽器対応データベース４２と照合して、表示色データおよび楽器データを同時に決定する。

データ転送・保存部２６は、楽音データ生成部２２および楽器データ生成部兼表示色データ生成部２４から送られてくる、座標データを含むそれぞれのデータを一時的に記憶するデータ転送部４４とともに、必要に応じてそれらのデータを保存するデータ保存部４６を含む。

ＭＩＤＩ音源２８は、複数の種類の楽器についての楽音が含まれており、データ転送部４２の楽音データおよび楽器データの信号によって制御されて、選択された楽器の楽音信号を生成する。楽音信号によって音響装置１６で楽音を発生する。
一方、データ転送部４２の表示色データを含む座標データの信号によって、入力装置１２において描かれた画像を表示装置１８で表示する。
音響装置１６と表示装置１８は、両者を同時に動作させ、あるいはいずれか一方のみを動作させることができる。

ここで、座標データの変化からベクトルを算出し、ベクトルの変化に基づいて楽音を生成する方法について、図２および表１〜３をさらに参照して説明する。

連続的にあるいは不連続に変化する座標データを所定時間間隔で動き算出部２０の座標バッファ部３２に取り込む。ここでは、例えば、座標平面上で、図２中左から右にペンを動かして、ある時刻における座標データ１（ｘ１，ｙ１，ｔ１）、座標データ１を取得した後、所定時間経過したときの座標データ２（ｘ２，ｙ２，ｔ２）、座標データ２を取得した後、所定時間経過したときの座標データ３（ｘ３，ｙ３，ｔ３）が順次得られる状態を示すものとする。ここで、（ｘｉ，ｙｊ）は座標値を、ｔｋは時刻をそれぞれ示す。上記のように、時刻ｔ１、時刻ｔ２および時刻ｔ３は、所定の等時間間隔である。最新の座標データ３は第１バッファ部に取り込まれる。それに先立ち、座標データ２が第１バッファ部から第２バッファ部へ、座標データ１が第２バッファ部から第１バッファ部へシフトされる。

ベクトル算出部３４の角度変化量算出部では、上記座標データ１および座標データ２から、すなわち、座標データ１および座標データ２の２つの座標位置を結んでベクトルａを得、同様に座標データ２および座標データ３からベクトルｂを得る。このとき、座標データ（ｘｉ，ｙｊ）の位置は、ペンの動きによって自由に変化し、このため、ベクトルｂは、ベクトルａと異なったものとなりうる。すなわち、例えば、図２に示すように時刻ｔ１から時刻ｔ２までの間にペンを一定の方向にゆっくり動かし、時刻ｔ２から時刻ｔ３までの間にペンを方向を変えて速く動かすと、ベクトルｂは、ベクトルａに対して、スカラ値が大きくなるとともに、ベクトルの方向が変わる。このときの、所定の時間間隔で前後して得られる２つのベクトルの方向の変化量を図２中、角度変化量θで示す。

楽音データ生成部２２の楽音データ決定部３６で、角度変化量θに応じて音の高さ（音の高さデータ、音の高さパラメータ）が生成される。
角度変化量θは、ペンの動きに応じて±１８０度の値をとりうる。音の高さは、ＭＩＤＩデータのノートナンバー（以下、ｎｏｔｅという。）を用いる。ｎｏｔｅは、例えば、０〜１２７の数字で全音（ピアノの白鍵）と半音（ピアノの黒鍵）が配列されたものである。
表１に示すように、角度変化量θの値に応じてｎｏｔｅを割り付けておくことで、ペンの動きに応じて全ての音の高さをとりうる。

ここで、楽音データ生成部２２の音楽理論データベース３８について合わせて説明する。
音楽理論データベース３８には、表１の角度変化量θに応じて全ての音の高さを指定できるデータのほかにさらに、例えば表２に示す角度変化量θに応じてコード上の音階（ここではＣコード）や、表３に示す民族風音階（ここでは沖縄音階）のデータが含まれる。
したがって、楽音を生成する際、音楽理論を適用する操作を行うことで、好みの旋律を得ることができる。

また、ベクトル算出部３４のスカラ量算出部では、ベクトルａおよびベクトルｂからそれぞれのスカラ量が算出される。そして、楽音データ生成部２２の楽音データ決定部３６で、ベクトルａおよびベクトルｂそれぞれのスカラ量に応じて音の強さ（音の強さデータ、音の強さパラメータ）が生成される。言い換えれば、ベクトルのスカラ量を変えることで音の強さを変えることができる。
座標平面の最大幅を１とし、ペンを動かして得られるスカラ量をＬとするとき、Ｌは０〜１の範囲内の値をとりうる。音の強さは、ＭＩＤＩデータのボリューム（以下、ｖｏｌｕｍｅという。）を用い、ｖｏｌｕｍｅは０〜１２７の数字をとるものとする。
そして、スカラ量Ｌとｖｏｌｕｍｅとの関係を、例えば次の式のように設定することで、スカラ量に応じて音の強さが生成される。
ｖｏｌｕｍｅ＝（１−Ｌ）^＊１２０
この場合、ペンをゆっくり動かすほどスカラ量Ｌの値が小さくなり大きな音の強さが得られることになる。

このとき、スカラ量Ｌが閾値以下のときには、その前の時刻におけるスカラ量に応じて生成された音の強さを継続するように設定することで、音の長さ（テンポ）を生成することができる。

つぎに、表示装置１８を用いてペンで描いた絵を表示するときに、表示色を選択する方法について図３を参照して説明する。

図３に示すように、座標平面の中心点を中心として３６０度の角度範囲で色相ｈが割り当てられた色相環が設定される。また、色相環は、座標平面の中心点に近いほど淡い色となり、座標平面の中心点から遠いほど鮮やかな色となるように彩度ｓが割り当てられている。
そして、色選択ボタン等の色設定手段を操作して座標平面に色相環を表示し、ペンを平面座標の現在の座標Ｐ（ｘ，ｙ）の位置に置いた状態から別の座標の位置に移動させて色相環の角度を変えることで表示色の色相を変えることができ、また、色相環の中心からの距離を変えることで表示色の彩度を変えることができる。なお、マウスを用いるときは、右ボタンをドラッグすることで、表示色を変えることができる。

このとき、ペンを動かさずに同一の座標に固定している時間の長さに応じて明度を変化させるように設定することで、所望の明度を得ることができる。

つぎに、表示色と楽器を対応させて、表示色に応じた楽器を選択する方法について、図４および表４〜表８を参照して説明する。

図４に示すように、図３の色相環を例えば１２分割して、各色Ａ〜Ｌに楽器を割り当てる。このとき、ＭＩＤＩ音源２８の例えば表４に示す音色マップの楽器番号（Program Nunber）を、表５に示すようにそのまま機械的に割り当ててもよく、また、表６に示すように好みの楽器番号を割り当ててもよい。あるいはまた、例えば表７に示すドラムセット番号１のような、別途用意したドラムセット番号を表８に示すように割り当ててもよい。
これにより、表示色の決定と合わせて楽器の種類を決定することができる。なお、画像表示を行わないときは、座標平面上の操作で楽器の決定のみ行うこともできる。

以上説明した、表示色を選択するためのデータおよび楽器を選択するためのデータは、色・楽器対応データベース４２に含まれており、色・楽器対応照合・決定部４０によって、入力される座標データと照合されて、表示色および楽器が決定される。

つぎに、本発明の楽音生成装置１０による楽音の発生および画像の表示の処理について、図５および図６のフローチャートを参照して説明する。

楽音生成装置１０を使用する操作者が、操作を開始すると（図５中、Ｓ１）、時刻、座標データ等の初期設定が行われる（図５中、Ｓ２）。
ついで、モード確認が行われ（図５中、Ｓ３）、操作者は希望により色選択を行う（図５中、Ｓ２２）。色選択の処理については後述する。色選択を行わない場合は、初期設定された色条件に基づいて、描画が行われることになる。
色選択を行わない場合、描画開始(ドラッグ開始)の判断が行われ（図５中、Ｓ４）、引き続き、描画の初期化が行われ、初期の連続２座標（Ｐｂｕｆ３、Ｐｂｕｆ２）が第３、第２バッファにシフトされる（図５中、Ｓ５）。描画を開始していないときは、モード確認のステップＳ３に戻る。

ついで、描画がリズム（音の長さ、テンポ）に合致したタイミングで行われているかが判断される（図５中、Ｓ６）。
描画がリズムに合致したタイミングで行われていると、描画中の現在の座標Ｐ（以下、現座標ということがある。）、すなわち、現座標データが取得され（図５中、Ｓ７）、引き続き、現座標Ｐと直前の座標（Ｐｂｕｆ２）とが比較される（図５中、Ｓ８）。
現座標Ｐと所定時間過去である直前の座標（Ｐｂｕｆ２）の値の差が閾値未満のときには、再び、描画がリズムに合致したタイミングで行われているかが判断されるステップＳ６に戻る。一方、現座標Ｐと直前の座標（Ｐｂｕｆ２）の値の差が閾値以上のときは、現座標Ｐが第１バッファに代入される（Ｐｂｕｆ１、図５中、Ｓ９）。ここで、座標の値が変わっているにもかかわらず直前の音が鳴っている場合、ｎｏｔｅｏｆｆをＭＩＤＩ音源２８に送信する。すなわち、例えば管楽器のように音が自然に消えることなく継続される楽器を選んでいるときは、次の音を鳴らすために、直前の音（今の音）が止められる（図５中、Ｓ１０）。

第１乃至第３バッファの座標データ（Ｐｂｕｆ１〜Ｐｂｕｆ３）から２つのベクトルの角度変化量θおよびそれぞれのベクトルのスカラ量Ｌが算出される（図５中、Ｓ１１）。
ついで、ベクトルの角度変化量θおよびスカラ量Ｌ、ならびに、初期設定され、あるいは選択された色、および色に対応して選択（指定）された楽器等から、ＭＩＤＩデータと画面表示データが生成される（図５中、Ｓ１２）。

楽音生成装置１０は、この実施例では、複数の操作者が交代で描画し、楽音を作成し、その後、これら複数の描画および楽音を同時に再生することを想定しているため、以下の処理を経る。
生成した各データは、リストに保存され、音が鳴っていた時間がデータに追加される（図５中、Ｓ１３）。
ついで、各バッファは、後ろにシフトされる（図５中、Ｓ１４）。さらに、生成したデータが規定量を超えたかどうかが判断される（図５中、Ｓ１５）。生成したデータが規定量を超えていないときは、操作者が描画を終了したかどうかが判断され（図５中、Ｓ１６）、操作者が描画を終了したとき、すなわち、ペンを離してドラッグを終了したときは、モード確認のステップＳ３に戻る。一方、操作者が描画を継続しているときは、タイミング確認のステップＳ６に戻り、さらに新たな座標が取得される。なお、操作者が１人のみの場合は、ステップＳ１５は省略され、ステップＳ１６に進む。
生成したデータが規定量を超えたかどうかが判断されるステップＳ１５で、生成したデータが規定量を超えるときは、さらに規定人数分に達したかどうかが判断され（図５中、Ｓ１７）、規定人数分に達したときは処理が終了され（図５中、Ｓ１８）、一方、規定人数分に達していないときは別の操作者による操作が行われる（図５中、省略。）。

一方、ＭＩＤＩデータと画面表示データが生成されると（図５中、Ｓ１２）、これらのデータに基づいて、リアルタイムで画面表示が行われ（図５中、Ｓ１９）、あるいはＭＩＤＩデータがＭＩＤＩ音源に送られて（図５中、Ｓ２０）、発音される（図５中、Ｓ２１）。一方、保存したデータに基づいて、画面表示や発音を行うこともできる。このとき、操作者が複数の場合は、同一の画面に複数の描画が行われ、同時演奏（セッション）が行われる。
なお、操作者が複数の場合、複数の描画および同時演奏を同時に行ってもよく、複数の描画および同時演奏のうちのいずれか一方のみを行ってもよい。

つぎに、色選択の処理について説明する。例えば、前記したペンダウン操作により色選択が開始されると（図６中、Ｓ２３）、現在の座標Ｐが取得される（図６中、Ｓ２４）。
ついで、前記した色相環の有効範囲の中心点Ｏと現在の座標Ｐの位置関係が算出され（図６中、Ｓ２５）、さらに、ペンを上げたかどうかが判断される（図６中、Ｓ２６）。
ペンを上げると、色相環の中心角に基づいて色相ｈが、色相環の中心点からの距離に基づいて彩度ｓが、それぞれ決定され（図６中、Ｓ２７）、色選択が終了し（図６中、Ｓ２８）、描画を行うメインルーチンに戻る。

一方、ペンを置いたままのときは、閾時間が経過したときの座標が先の座標Ｐと同一かどうかが判断される（図６中、Ｓ２９）。
そして、新たな座標が先の座標Ｐと異なるときは、新たな座標が現在の座標として取得される（（図６中、Ｓ２４）。一方、新たな座標が先の座標Ｐと同一のときは、明度が最大値かどうか判断され、明度が最大値でないときは明度を上げた後に（図６中、Ｓ３１）、また明度が最大値のときは明度を最小値に下げた後に（図６中、Ｓ３２）、それぞれペンを上げたかどうかが判断されるステップＳ２６に戻る。

なお、本発明の楽音生成装置１０において、複数人が別々に入力する代わりに、座標入力装置１２として複数人で座標データを入力できるデバイスを用い、主制御装置１４で複数の座標データを同時処理可能に構成してもよい。
また、本発明の楽音生成装置１０において、座標入力装置１２として３次元マウス等の３次元入力デバイスを用いることで、３次元ベクトルに基づいて楽音データを生成することができる。
また、本発明の楽音生成装置１０において、座標入力装置１２はカメラで捉えた物体の位置を座標データとして入力するものであってもよい。
また、本発明の楽音生成装置１０において、ベクトルのスカラ量の大きさ、言い換えればペンの動きの早さに応じて線のかすれを表現したり、選択スイッチ等を設けて、描く線の太さを変えることも可能である。

つぎに、本発明の楽音生成装置１０を複数基用いて構成する楽音生成システムについて、図７および図８を参照して説明する。
本発明の楽音生成システムは、上記の楽音生成装置１０の複数基が通信ネットワークで結ばれ、複数基の楽音生成装置１０それぞれで楽音および画像を同時に生成し、あるいは、必要に応じて録画再生するものである。この場合、リアルタイムでデータを交信してもよく、あるいは、タイムラグを置いて、例えば１つあるいは複数の楽音生成装置１０のデータを受信して録画した別の楽音生成装置１０で、録画した他のデータに自らのデータを重ねることもできる。また、楽音および画像を同時に生成する代わりに、楽音または画像のうちのいずれか一方を同時に生成してもよい。

楽音生成システムの一つの例は、図７に示すように、例えば２基の楽音生成装置１０が通信ネットワーク（図示せず。図８参照。）で直接に繋がれたものである。図７中、参照符号３０ａはタイマ３０を含むズム制御・同期部を示す。
それぞれの楽音生成装置１０で入力された座標データ群ならびに座標データに応じて生成された楽音データ群、表示色データ群および楽器データ群からなるデータ群がそれぞれの楽音生成装置１０のデータ保存部２６に記録されるとともに、それらのデータ群が例えばリアルタイムで交信されて、リズム制御・同期部３０ａで制御、同期されたデータ群に基づいて楽音および画像を同時に生成する。なお、この場合も、楽音および画像を同時に生成する代わりに、楽音または画像のうちのいずれか一方を同時に生成してもよい。

また、楽音生成システムの他の一つの例は、図８に示すように、例えば３基の楽音生成装置１０ａがサーバ部４８を介して通信ネットワーク５０で繋がれたものである。
この場合、データ保存部４６およびリズム制御・同期部３０ｂはサーバ部４８に設けられ、図７の楽音生成システムと同様に、３基の楽音生成装置１０のデータ群が例えばリアルタイムで交信されて、リズム制御・同期部３０ｂで制御、同期されたデータ群に基づいて楽音および画像を同時に生成する。なお、この場合も、楽音および画像を同時に生成する代わりに、楽音または画像のうちのいずれか一方を同時に生成してもよい。

本発明の楽音生成システムによれば、離隔した地にいる複数人でセッションを行うことができる。

本発明の楽音生成装置１０によれば、絵を描くことと演奏することが同時に行えるため、個人の楽しみを提供するほか、アーティストの新しい表現としても利用できる。
また、本発明の楽音生成装置１０は、音楽の演奏のためだけに用途を限定するものではない。例えば、サイン等の文字を書くペンの動きを音声化することにより、新たなサイン認証や視覚障害者のための視覚情報の伝達手段として活用することができる。あるいは、手の動きから簡単に音を作り出すことができるため、リハビリテーションや高齢者のボケ防止等のツールとしても適用が可能である。同様に、子供の情操教育、色と音の学習などにも適用できる。

【０００３】
【発明の開示】
【発明が解決しようとする課題】
［０００９］しかしながら、上記電子楽器のパラメータ入力装置（特許文献３）において、ベクトルに基づいて制御する対象は音色パラメータ等の値の増減であり、音色パラメータ自体の設定変更は、タブレットとは別の入力手段であるモード設定スイッチ等のパラメータ入力装置により行うものとされている。このため、上記他の先行技術と同様に、自由に描いた描画に基づいて音声を生成するときの生成する音声の自由度は小さいといえる。
［００１０］本発明は、上記の課題に鑑みてなされたものであり、実質的に描画的な操作のみで、楽音を自在に発音するとともに、描画する色を自在に選択することができる楽音生成方法を提供することを目的とする。
【課題を解決するための手段】
［００１１］上記目的を達成するために、本発明に係る楽音生成方法は、描画画面を設定し、ペンまたはマウスを用いて座標データを順次入力して描画するとともに、所定の時間間隔で前後して入力された３つの座標データから２つのベクトルを算出し、算出された２つのベクトルの角度変化量に基づいて音の高さが、スカラ量に基づいて音の強さが、およびスカラ量レベルに基づいて音の長さが、それぞれ決定された楽音データを生成し、発音する描画・発音ステップと、該描画画面に色相環を一時的に表示し、ペンまたはマウスを用いて座標位置を移動して、連続的に変化する表示色データのなかから表示する表示色データを決定、生成する表示色データ生成ステップと、を有し、ペンまたはマウスを用いた操作により、描画とともに楽音を出力し、かつ表示色を変更することを特徴とする。
また、本発明に係る楽音生成方法は、前記描画・発音ステップにおいて、前記ベクトルの角度変化量に基づいて所定の音階音のみの楽音データを生成することを特徴とする。
また、本発明に係る楽音生成方法は、前記表示色データ生成ステップにおいて、前記色相環に楽器が割り当てられており、表示色データとともに楽器データを生成することを特徴とする。
また、本発明に係る楽音生成方法は、別々に入力された座標データ群ならびに生成された楽音データ群、表示色データ群および楽器データ群からなるデータ群を記録し、該データ群に基づいて楽音および画像のうちのいずれか一方または双方を同時再生するステップをさらに有することを特徴とする。

３／１

【０００４】
【発明の効果】
［００１９］本発明に係る楽音生成方法は、描画画面を設定し、ペンまたはマウスを用いて座標データを順次入力して描画するとともに、所定の時間間隔で前後して入力された３つの座標データから２つのベクトルを算出し、算出された２つのベクトルの角度変化量に基づいて音の高さが、スカラ量に基づいて音の強さが、およびスカラ量レベルに基づいて音の長さが、それぞれ決定された楽音データを生成し、発音する描画・発音ステップと、描画画面に色相環を一時的に表示し、ペンまたはマウスを用いて座標位置を移動して、連続的に変化する表示色データのなかから表示する表示色データを決定、生成する表示色データ生成ステップと、を有し、ペンまたはマウスを用いた操作により、描画とともに楽音を出力し、かつ表示色を変更するため、実質的に描画的な操作のみで、楽音を自在に発音するとともに、描画する色を自在に選択することができる。
【図面の簡単な説明】
［００２０］［図１］本発明の楽音生成装置の概略構成を示す図である。
［図２］本発明の楽音生成装置における座標データとベクトルの関係を説明するための図である。
［図３］本発明の楽音生成装置において表示色決定方法を説明するために用いる色相環を示す図である。
［図４］本発明の楽音生成装置において楽器決定方法を説明するために用いる色相環を示す図である。
［図５］本発明の楽音生成装置における楽音生成の処理手順のメインフローを示す図である。
［図６］本発明の楽音生成装置における楽音生成の処理手順のうち、色選択処理のフローを示す。

４

【発明の名称】楽音生成方法

【０００１】
【技術分野】
［０００１］本発明は、入力される座標データに基づいて楽音を生成する楽音生成方法に関する。
【背景技術】
［０００２］近年、コンピュータを利用した音楽演奏システムが急速に普及しつつある。音楽演奏システムは、一般的には、作曲や編曲を楽しむことを目的としたものであり、音楽の専門知識や習熟を必要とするものである。
［０００３］これに対して、楽譜を図形や色に置き換えて画像として視覚的に表現するものや、音楽と画像の変化とを連動させるもの等、気軽に使用でき、娯楽性の高いシステムも提案されている。
［０００４］このようなシステムとして、例えば、描かれた絵の座標情報を入力するペン型入力装置と、ペン型入力装置から入力された座標情報を表示する表示装置と、ペン型入力装置から入力された座標情報に対応した音声信号を出力する音源装置と、ペン型入力装置から入力された座標情報に基づいて表示装置と音源装置とを制御する主制御装置とを備えた音楽演奏システムが提案されている。この音楽演奏システムによれば、使用する楽器の音色を入力スクリーン上の色として置き換え、使用者が色のバリエーションの中から自由に選択し、表示スクリーン上に配置することにより、音を聞く楽しみに加えて見る楽しみも味わうことができるとされている（特許文献１参照。）。
［０００５］しかしながら、上記音楽演奏システムにおいて、描くためにペンを置いた位置に対応した音声信号は、座標位置に割り当てられた音声信号である。そして、予め絵を描くときに座標位置に応じた音声信号が生成、記録され、つぎに描かれた絵を再度なぞることにより、座標位置に応じた音声信号が再生されるものである。すなわち、描いた絵によって生成された音声信号ではなく、描かれた絵をなぞる際に画面上のどこにペンを置いたかによって判断され、座標位置に応じた音声信号が再生されるものである。このため、実際には、自由に描いた絵に基づいて自由な音声を生成することは

【０００３】
【発明の開示】
【発明が解決しようとする課題】
［０００９］しかしながら、上記電子楽器のパラメータ入力装置（特許文献３）において、ベクトルに基づいて制御する対象は音色パラメータ等の値の増減であり、音色パラメータ自体の設定変更は、タブレットとは別の入力手段であるモード設定スイッチ等のパラメータ入力装置により行うものとされている。このため、上記他の先行技術と同様に、自由に描いた描画に基づいて音声を生成するときの生成する音声の自由度は小さいといえる。
［００１０］本発明は、上記の課題に鑑みてなされたものであり、実質的に描画的な操作のみで、楽音を自在に発音するとともに、描画する色を自在に選択することができる楽音生成方法を提供することを目的とする。
【課題を解決するための手段】
［００１１］上記目的を達成するために、本発明に係る楽音生成方法は、描画画面を設定し、ペンまたはマウスを用いて座標データを順次入力して描画するとともに、所定の時間間隔で前後して入力された３つの座標データから２つのベクトルを算出し、算出された２つのベクトルの角度変化量に基づいて音の高さが、スカラ量に基づいて音の強さが、およびスカラ量レベルに基づいて音の長さが、それぞれ決定された楽音データを生成し、発音する描画・発音ステップと、該描画画面に色相環を一時的に表示し、ペンまたはマウスを用いて座標位置を移動して、連続的に変化する表示色データのなかから表示する表示色データを決定、生成する表示色データ生成ステップと、を有し、ペンまたはマウスを用いた操作により、描画とともに楽音を出力し、かつ表示色を変更することを特徴とする。
また、本発明に係る楽音生成方法は、前記描画・発音ステップにおいて、前記ベクトルの角度変化量に基づいて所定の音階音のみの楽音データを生成することを特徴とする。
また、本発明に係る楽音生成方法は、前記表示色データ生成ステップにおいて、前記色相環に楽器が割り当てられており、表示色データとともに楽器データを生成することを特徴とする。
また、本発明に係る楽音生成方法は、別々に入力された座標データ群ならびに生成された楽音データ群、表示色データ群および楽器データ群からなるデータ群を記録し、該データ群に基づいて楽音および画像のうちのいずれか一方または双方を同時再生するステップをさらに有することを特徴とする。

【０００４】
【発明の効果】
［００１９］本発明に係る楽音生成方法は、描画画面を設定し、ペンまたはマウスを用いて座標データを順次入力して描画するとともに、所定の時間間隔で前後して入力された３つの座標データから２つのベクトルを算出し、算出された２つのベクトルの角度変化量に基づいて音の高さが、スカラ量に基づいて音の強さが、およびスカラ量レベルに基づいて音の長さが、それぞれ決定された楽音データを生成し、発音する描画・発音ステップと、描画画面に色相環を一時的に表示し、ペンまたはマウスを用いて座標位置を移動して、連続的に変化する表示色データのなかから表示する表示色データを決定、生成する表示色データ生成ステップと、を有し、ペンまたはマウスを用いた操作により、描画とともに楽音を出力し、かつ表示色を変更するため、実質的に描画的な操作のみで、楽音を自在に発音するとともに、描画する色を自在に選択することができる。
【図面の簡単な説明】
［００２０］［図１］本発明の楽音生成装置の概略構成を示す図である。
［図２］本発明の楽音生成装置における座標データとベクトルの関係を説明するための図である。
［図３］本発明の楽音生成装置において表示色決定方法を説明するために用いる色相環を示す図である。
［図４］本発明の楽音生成装置において楽器決定方法を説明するために用いる色相環を示す図である。
［図５］本発明の楽音生成装置における楽音生成の処理手順のメインフローを示す図である。
［図６］本発明の楽音生成装置における楽音生成の処理手順のうち、色選択処理のフローを示す

【０００５】
［図７］本発明の楽音生成システムの一例のシステム構成を示す図である。
［図８］本発明の楽音生成システムの他の一例のシステム構成を示す図である。
【符号の説明】
［００２１］１０、１０ａ楽音生成装置
１２座標入力装置
１４主制御装置
１６音響装置
１８表示装置
２０動き算出部
２２楽音データ生成部
２４楽器データ生成部兼表示色データ生成部
２６データ転送・保存部
２８ＭＩＤＩ音源
３０タイマ
３０ａ、３０ｂリズム制御・同期部
３２座標バッファ部
３４ベクトル算出部
３６楽音データ決定部
３８音楽理論データベース
４０色・楽器対応照合・決定部
４２色・楽器対応データベース
４４データ転送部
４６データ保存部
４８サーバ部
５０通信ネットワーク
【発明を実施するための最良の形態】
［００２２］本発明に係る楽音生成方法の実施の形態について、以下に説明する。
［００２３］まず、本発明に係る楽音生成方法を好適に実施することができる本発明の楽音生成装置の概賂構成について、図１を参照して説明する。

【００１７】
同時に生成してもよい。
［００６２］また、楽音生成システムの他の一つの例は、図８に示すように、例えば３基の楽音生成装置１０ａがサーバ部４８を介して通信ネットワーク５０で繋がれたものである。
この場合、データ保存部４６およびリズム制御・同期部３０ｂはサーバ部４８に設けられ、図７の楽音生成システムと同様に、３基の楽音生成装置１０のデータ群が例えばリアルタイムで交信されて、リズム制御・同期部３０ｂで制御、同期されたデータ群に基づいて楽音および画像を同時に生成する。なお、この場合も、楽音および画像を同時に生成する代わりに、楽音または画像のうちのいずれか一方を同時に生成してもよい。
［００６３］本発明の楽音生成システムによれば、離隔した地にいる複数人でセッションを行うことができる。
［００６４］本発明の楽音生成方法によれば、絵を描くことと演奏することが同時に行えるため、個人の楽しみを提供するほか、アーティストの新しい表現としても利用できる。
また、本発明の楽音生成方法は、音楽の演奏のためだけに用途を限定するものではない。例えば、サイン等の文字を書くペンの動きを音声化することにより、新たなサイン認証や視覚障害者のための視覚情報の伝達手段として活用することができる。あるいは、手の動きから簡単に音を作り出すことができるため、リハビリテーションや高齢者のボケ防止等のツールとしても適用が可能である。同様に、子供の情操教育、色と音の学習などにも適用できる。

Claims

座標データを入力する座標入力手段と、所定の時間間隔で前後して入力された２つの該座標データのベクトルを算出するベクトル算出手段と、算出された該ベクトルに基づいて楽音データを生成する楽音データ生成手段と、該座標データに基づいて楽器データを生成する楽器データ生成手段と、生成された楽音データおよび楽器データに基づいて音源を制御して楽器の楽音を出力する楽音出力手段とを備えることを特徴とする楽音生成装置。
前記楽器データ生成手段が、前記座標データおよび音楽理論データベースに基づいて楽音データを生成することを特徴とする請求項1記載の楽音生成装置。
前記楽音データが音の高さ、音の強さ、音の長さ、音の左右バランスおよび音の揺れの中から選ばれる１または２以上であることを特徴とする請求項１または２記載の楽音生成装置。
前記座標入力手段により入力された前記座標データに対応して画像を表示する画像表示手段をさらに備えることを特徴とする請求項１または２記載の楽音生成装置。
前記座標データに基づいて表示色データを生成する表示色データ生成手段をさらに備えることを特徴とする請求項４記載の楽音生成装置。
前記座標データに基づいて楽器データを生成する楽器データ生成手段をさらに備え、該楽器データと前記表示色データとが対応付けられ、生成された該楽器データに基づいて音源を制御して楽器の楽音を出力することを特徴とする請求項５記載の楽音生成装置。
別々に入力された座標データ群ならびに生成された楽音データ群、表示色データ群および楽器データ群からなるデータ群を記録し、該データ群に基づいて楽音および画像のうちのいずれか一方または双方を同時再生する記録再生手段をさらに備えることを特徴とする請求項６記載の楽音生成装置。
請求項６記載の楽音生成装置の複数基が通信ネットワークで結ばれ、該複数基の楽音生成装置それぞれで楽音および画像のうちのいずれか一方または双方を同時に生成することを特徴とする楽音生成システム。