JP3922207B2 - ネットセッション演奏装置及びプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、楽曲データ等を編集する際に好適な標準楽曲データを生成するネットセッション演奏装置及びプログラムに関する。
【０００２】
【従来の技術】
近年、音楽分野においては、楽器演奏によって奏でられる楽音に映像を融合させるといった試みがなされている。
ここで、図２２は、いわゆる“映像装置としてのピアノ”の構成を示した図である。このピアノ１０においては、鍵盤１１から載置台３０までスクリーン４０が張られている。このスクリーン４０には、映像のグリッドがプロジェクタ５０によって投影され、この映像が鍵盤１１に向かってゆっくりとスクロールしている。かかるピアノ１０を利用して演奏を行うユーザは、載置台３０に載置されているトラックボール６０を操作して該グリッドの上に光る点Ｐを描く。ユーザによって描かれた点Ｐは、鍵盤１１に向かってゆっくりと移動し、鍵盤１１に到達した瞬間、コンピュータ（図示略）等の制御によって点Ｐに対応する鍵が押下され、この鍵に対応する音が発音される。と同時に、今度はプロジェクタ５１により鍵盤１１から垂直方向に延びるスクリーン４１に対して、幾何学的な形の光ＬＩが天井に向かって飛んでいくかのように投影される（例えば、非特許文献１参照）。
【０００３】
【非特許文献１】
岩井俊雄著「岩井俊雄の仕事と周辺」株式会社 六曜社、２０００年１１月１日、ｐ．７２−７５
【０００４】
【発明が解決しようとする課題】
かかる“映像装置としてのピアノ”によれば、単に音によって演奏を表現するのみならず、音と映像を融合した形で演奏を表現することができる。
しかしながら、この“映像装置としてのピアノ”は、あくまで該ピアノを利用して演奏するユーザの演奏情報のみを可視化するものである。よって、例えば複数のユーザがそれぞれ該ピアノを利用して合奏等したとしても、各ユーザのピアノには自身の演奏情報に対応した画像（光）が投影されるのみであり、合奏相手がどのように演奏しているかについては、実際に合奏相手の演奏音を聞くことでしか把握することができないという問題があった。
【０００５】
本発明は、以上説明した事情を鑑みてなされたものであり、相手の演奏情報を受信した場合、該演奏情報に対応した楽音を発音するまでの間、該演奏情報に対応した画像を表示することができるネットセッション演奏装置及びプログラムを提供することを目的とする。
【０００８】
本発明に係るネットセッション演奏装置は、自装置において生成される演奏情報（以下、自演奏情報という）をネットワークを介して他の演奏装置に送信する一方、他の演奏装置において生成される演奏情報（以下、他演奏情報という）を前記ネットワークを介して受信するネットセッション演奏装置であって、前記自演奏情報には、発音すべき楽音に対応する演奏データが含まれ、前記自演奏情報に含まれる前記演奏データに従って楽音の発生を制御する第１の楽音発生制御手段と、前記第１の楽音発生制御手段において、前記楽音がどの小節で発音されたかを示す発音タイミング情報を検出し、該発音タイミング情報を前記他の演奏装置における発音予定位置データとして前記自演奏情報に付加する付加手段と、前記付加手段によって発音予定位置データが付加された前記自演奏情報をネットワークを介して他の演奏装置に送信する送信手段と、前記他の演奏装置からネットワークを介して前記他演奏情報を受信する受信手段と、前記他演奏情報を受信してから当該他演奏情報に付加されている発音予定位置データに示される前記発音タイミングが到来するまでの間のうちの所定時間、前記他演奏情報を可視画像として表示するための制御を行う他演奏表示制御手段と、前記他演奏情報を受信してから当該他演奏情報に付加されている発音予定位置データに示される前記発音タイミングが到来したとき、前記他演奏情報に含まれる演奏データに従って楽音を発生させる第２の楽音発生制御手段とを備え、前記他演奏表示制御手段は、前記発音タイミングが到来するまでの時間の経過状態がわかるように前記可視画像の表示を制御することを特徴とする。
【０００９】
かかる構成によれば、ネットセッションに参加する他の演奏装置において生成された他演奏情報を受信した場合、この他演奏情報に対応する楽音が前記第２の楽音発生制御手段によって発生される前に、前記他演奏情報を可視画像として表示させる。この可視画像は、前記他演奏表示制御手段によって前記楽音の発音タイミングが到来するまでの時間の経過状態がわかるように表示されるため（図７に示す玉ｍ１’〜ｍ３’等参照）、ユーザは表示される可視画像を参照することで、外部からどのような演奏情報（例えば、音高等）を受信したのかを該楽音が発音される前に把握することが可能となる。
【００１０】
ここで、上記構成にあっては、前記他演奏情報に含まれる演奏データを解析することにより、コード情報の検出を行うコード情報検出手段をさらに具備し、前記他演奏表示制御手段は、前記可視画像を表示させる際、前記コード情報検出手段によって検出される前記コード情報も表示させる態様が好ましい。
【００１１】
また、前記コード情報からお勧めコード情報を生成するお勧めコード情報生成手段をさらに具備し、前記他演奏表示制御手段は、前記コード情報に併せてお勧めコード情報も表示させる態様も好ましい。
さらに、前記演奏データには、少なくとも発音すべき楽音の音高を示す音高情報が含まれ、前記他演奏表示制御手段は、前記他演奏情報を可視画像として表示させる際、該楽音の音高がわかるように表示させる態様も好ましい。
【００１２】
また、前記演奏データには、少なくとも発音すべき楽音の音量を示す音量情報が含まれ、前記他演奏表示制御手段は、前記他演奏情報を可視画像として表示させる際、該楽音の音量に応じて前記可視画像の表示濃度を制御する態様が好ましい。
さらに、前記第１の楽音発生制御手段によって楽音を発生させるための制御が行われたとき、前記自演奏情報を可視画像として表示するための制御を行う自演奏表示制御手段をさらに具備するようにしても良い。
【００１３】
【発明の実施の形態】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
【００１４】
＜本実施形態＞
（１）実施形態の構成
図１は、本実施形態に係るネットセッションシステム１００の構成を示す図である。
ネットセッションシステム１００は、２台のクライアント端末（ネットセッション演奏装置）３００−１、３００−２が通信媒体（例えば、有線ケーブルや無線等）を介して接続された構成を有している。
【００１５】
ここで、ネットセッションとは、複数人のユーザが通信媒体等を介して離れた場所において自己のクライアント端末３００を利用して演奏し合う（セッションする）ことにより、１つの楽曲を作り上げていくといったものであり、本発明に係るネットセッションシステムは、かかるネットセッションを実現するためのシステムである（なお、特許請求の範囲等に記載されたネットセッションの意味内容を解釈する際には、上記定義を参照されたい）。
【００１６】
なお、以下の説明では、各クライアント端末３００−１、３００−２について特に区別する必要がない場合には、単にクライアント端末３００と呼ぶ。また、本実施形態では、説明の理解を容易にするため、クライアント端末３００が２台の場合を例に説明するが、クライアント端末３００が３台以上である場合にも適用可能である（詳細は後述）。
【００１７】
（クライアント端末３００の構成）
図２は、クライアント端末３００のハードウェア構成を示す図である。
コントローラ３１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成され、ＲＯＭやハードディスク等の記憶装置（図示略）に格納されている各種制御プログラム等を実行することにより、クライアント端末３００の各部を中枢的に制御する。
タイマ３２０は、現在発音位置（後述）を検出する際等に利用される計時手段である。
操作部３３０は、キーボード等により構成され、ネットセッションに参加するユーザ（メンバ）による操作内容を受け付ける手段である。
【００１８】
通信部３３５は、様々な通信インタフェース等により構成され、自端末（例えば、クライアント端末３００−１）において生成される演奏情報（以下、「自演奏情報」という）を通信媒体を介して他端末（例えば、クライアント端末３００−２）に送信する一方、他端末において生成される演奏情報（以下、「他演奏情報」という）を通信媒体（ネットワーク）を介して受信する。
演奏再生装置（楽音発生装置）３４０は、種々の音源（ＭＩＤＩ音源等）、スピーカ等により構成され、コントローラ３１０による制御の下、種々の楽音を発生させる。
【００１９】
表示装置３５０は、液晶ディスプレイ等により構成され、コントローラ３１０による制御の下、演奏再生装置３４０から発生される楽音及び発生される予定の楽音を可視画像として表示する（詳細は後述）。なお、本実施形態では、演奏再生装置３４０、表示装置３５０がクライアント端末３００に組み込まれている場合を想定するが、これら演奏再生装置３４０、表示装置３５０等をクライアント端末３００に組み込むことなく、別体構成としても良いのはもちろんである。
【００２０】
ここで、図３〜図５は表示装置３５０に表示される画面Ｐを例示した図である。
図３に示すように、画面Ｐの下欄には複数の鍵からなる鍵盤ＫＢが表示される。この状態において、ネットセッションに参加するメンバが自端末（例えば、クライアント端末３００−１）の操作部３３０を操作し、所定の楽音を所定の順番（例えば、Ｃ２（ド）→Ａ２（ミ）→Ｇ２（ソ））で発音すべき指示が入力されると、コントローラ３１０は該指示に従って所定の演奏情報を生成する。コントローラ３１０は、このようにして生成した演奏情報を演奏再生装置３４０にリアルタイムで転送し、この結果、該演奏情報に対応する各楽音が演奏再生装置３４０から順次発音される。
【００２１】
と同時に、表示装置３５０には該演奏情報に対応する可視画像が表示される（図４参照）。具体的には、まず楽音Ｃ２（ド）が発音されると、この楽音Ｃ２（ド）に対応する鍵Ｋ１の発音ラインＬ１から第１の色の玉ｍ１が現れ、楽音Ａ２（ミ）が発音されると、この楽音Ａ２（ミ）に対応する鍵Ｋ２の発音ラインＬ１から第１の色の玉ｍ２が現れ、Ｇ２（ソ）が発音されると、この楽音Ｇ２（ソ）に対応する鍵Ｋ３の発音ラインＬ１から第１の色の玉ｍ３が現れる。このようにして各楽音に対応する鍵Ｋ１、Ｋ２、Ｋ３の発音ラインＬ１から現れた第１の色の玉ｍ１、ｍ２、ｍ３は、所定の速度で画面Ｐの上端ラインＬ２に向かって動いていく。
【００２２】
一方、他端末（例えば、クライアント端末３００−２）において生成された他演奏情報は、通信媒体を介して通信部３３５によって受信される。コントローラ３１０は、通信部３３５から他演奏情報を受け取ると、この他演奏情報に対応する楽音を発音すべきタイミングが到来するまでの間、該他演奏情報に対応する可視画像を表示装置３５０に表示する制御を行う。なお、かかる表示を行うための制御等（表示タイミング等）については後述するため、以下においてはその概略のみを説明する。
【００２３】
例えば、クライアント端末３００−１がクライアント端末３００−２から所定の楽音を所定の順番（例えば、Ｄ１（レ）→Ｆ３（ファ）→Ｃ３（ド））で発生すべき演奏情報を受信した場合には、図５に示すようにＤ１（レ）に対応する鍵Ｋ１’の上端ラインＬ２から第２の色の玉ｍ１’が現れ、Ｆ３（ファ）に対応する鍵Ｋ２’の上端ラインＬ２から第２の色の玉ｍ２’が現れ、Ｃ３（ド）に対応する鍵Ｋ３’の上端ラインＬ２から第２の色の玉ｍ３’が現れる。このようにして各楽音に対応する鍵Ｋ１’、Ｋ２’、Ｋ３’の上端ラインＬ２から現れた第２の色の玉ｍ１’、ｍ２’、ｍ３’は、所定の速度で画面Ｐの発音ラインＬ１に向かって動いていく。
【００２４】
ここで、上記のように、自端末（クライアント端末３００−１）において生成される自演奏情報に対応する玉の色と、他端末（クライアント端末３００−２）から受信した他演奏情報に対応する玉の色とを変えているのは、自端末を利用してネットセッションを行うメンバの自演奏情報と、他端末を利用してネットセッションを行うメンバの他演奏情報とを明確に区別させるためである。例えば、上記第１の色として青色に設定し、上記第２の色として赤色に設定する。この結果、クライアント端末３００を利用してネットセッションを行うメンバは、表示装置３５０に表示される玉の色を参照することで、自身に対応する自演奏情報とネットセッションに参加する他のメンバに対応する他演奏情報とを明確に区別することが可能となる。
【００２５】
さて、上記のようにして上端ラインＬ２から現れた第２の色の玉は、やがて各楽音に対応する鍵Ｋ１’、Ｋ２’、Ｋ３’の発音ラインＬ１に到達する。と同時に、これら各鍵に対応する楽音が演奏再生装置３４０から順次発音される。
このように、本実施形態によれば、ネットセッションに参加する他のメンバの他演奏情報を受信してから、この他演奏情報に基づく楽音が実際に発音されるまでの間、該他演奏情報が可視画像として表示装置３５０に表示される。
【００２６】
クライアント端末３００を利用してネットセッションに参加するメンバは、この表示装置３５０に表示される可視画像を参照することで、ネットセッションに参加する他のメンバがどのような演奏を行っているのかを該楽音が発音される前に把握することができる。
以下、かかるクライアント端末３００によって実現される各種機能について説明する。
【００２７】
図６は、クライアント端末３００の機能構成を示すブロック図である。
演奏情報入力部４１１は、図２に示す操作部３３０の操作内容や当該クライアント端末３００に有線接続若しくは無線接続される電子楽器（図示略）等の操作内容を入力する。なお、かかる電子楽器等の操作内容には、ユーザによる電子楽器等の操作内容のみならず自動演奏による操作内容を含むようにしても良い。
【００２８】
演奏情報作成部４１２は、演奏情報入力部４１１を介して入力される操作内容を解析することにより、例えばＭＩＤＩ規格に準拠した演奏情報（演奏データ）を作成する。詳述すると、この演奏情報は、演奏制御等を指示するＭＩＤＩイベントと、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムから構成される。
【００２９】
この演奏情報を構成するＭＩＤＩイベントは、例えば発音すべき音の高さを示すノートナンバ情報と、発音の強弱を示すベロシティ情報等から構成されている。一例を挙げて説明すると、演奏情報作成部４１２は、上記操作内容を解析することにより、例えば「Ｃ３（ド）の音（ノートナンバ）を強さ１０（ベロシティ）で発音（ノートオン）せよ」といった演奏制御を指示するＭＩＤＩデータ等を作成する。
【００３０】
現在発音位置検出部４１３は、図２に示すタイマ３２０を利用することにより、現在の発音位置が「１小節」〜「４小節」のうちのどの小節に位置するかを検出する。
具体的には、１小節当たりの時間（例えば、４分音符４つで２秒）を決定した後、４小節分の時間（例えば、８秒）を予め決められた間隔（例えば、１６分音符の間隔）繰り返し計測することにより、現在の発音位置が「１小節」〜「４小節」のうちのどの小節に位置するかを検出する（図７参照）。現在発音位置検出部４１３は、このようにして順次検出する現在の発音位置を、現在発音位置データ（発音タイミング情報）として発音位置データ付加部４１４等に供給する。
【００３１】
ここで、１小節当たりの時間の設定については、例えばサーバ装置２００がセッション内容等に応じて任意に設定しても良いが、どのように設定するかはネットセッションシステム１００の運用等に応じて種々変更可能である。また、本実施形態では４小節を１タームとして繰り返し計測する態様を想定するが、どのような範囲を１タームとするかは適宜変更可能である。
【００３２】
発音位置データ付加部４１４は、演奏情報作成部４１２から順次供給される自演奏情報に、現在発音位置検出部４１３から取得した現在発音位置データ（及び必要であれば自端末を識別するための端末識別情報）を順次付加し、これを送信部４１５に順次転送する。
送信部４１５は、演奏情報作成部４１４から順次供給される現在発音位置データを含む自演奏情報を通信媒体を介して接続されている他のクライアント端末３００に送信する。
【００３３】
受信部４１６は、ネットセッションに参加する他のクライアント端末３００によって作成された他演奏情報を通信媒体を介して受信する。
受信演奏情報解析部４１７は、受信部４１６によって受信された他演奏情報を解析し、解析結果を再生制御部４１８、表示制御部４１９、コード解析部４２０に供給する。なお、この受信演奏情報解析部４１７の具体的な動作等については、実施形態の動作説明の項においてその詳細を明らかにする。
【００３４】
再生制御部４１８は、１ターム（上記例では、４小節）を単位として格納する２つ以上の再生バッファ等を備え、演奏情報作成部４１２から供給される自演奏情報及び受信演奏情報解析部４１７から供給される他演奏情報の演奏再生を制御する。なお、詳細は後述するが、この再生制御部４１８は、演奏情報作成部４１２から自演奏情報が供給された場合、該自演奏情報を演奏再生装置３４０にリアルタイムで転送する一方、受信演奏情報解析部４１７から他演奏情報が供給された場合には、該受信演奏情報解析部４１７による解析結果に従って、該他演奏情報を演奏再生装置３４０に所定のタイミングで転送する。
【００３５】
表示制御部４１９は、あるタイミング（例えば１００ｍｓ）を測定する表示タイマを有し、演奏情報作成部４１２から供給される自演奏情報及び受信演奏情報解析部４１７から供給される他演奏情報を表示装置３５０に表示するための制御を行う。なお、詳細は後述するが、かかる表示制御部４１９による制御の結果、表示装置３５０の表示画面Ｐには自演奏情報が図４に示すように表示される一方、他演奏情報が図５に示すように表示される。
【００３６】
コード解析部４２０は、受信演奏情報解析部４１７から供給される他演奏情報からコード構成を解析する。具体的には、１つ若しくは複数の他演奏情報に含まれるノートナンバ情報を解析することにより、“Ｃメジャー”、“Ｃマイナー”等のコード情報を取得し、取得したコード情報を表示制御部４１９に送る。表示制御部４１９は、コード解析部４２０からコード情報を受けとると、対応する他演奏情報と共に該コード情報を表示装置３５０に表示するための制御を行う（詳細は後述）。一方、コード解析部４２０は、上記解析の結果、コード情報が得られなかった場合には表示制御部４１９に何も送らない。
【００３７】
以上がクライアント端末３００に係る機能の詳細構成である。
以下、クライアント端末３００の動作について説明する。なお、以下においては、自端末としてクライアント端末３００−１を想定し、他端末としてクライアント端末３００−２を想定する。
【００３８】
（２）実施形態の動作
ａ．演奏情報送信時の動作
図８は、演奏情報送信時におけるクライアント端末３００の動作を示すフローチャートである。
クライアント端末３００−１は、図示せぬ電子楽器や操作部３３０等から所定の楽音等を発生すべき旨の入力を受け付けると、かかる入力内容を解析することにより、自演奏情報を作成し（ステップＳ１→ステップＳ２）、以下に示す送信処理（ステップＳ３）及び再生・表示処理（ステップＳ４）を並行して実行する。
【００３９】
ａ−１．送信処理
図９は、送信処理を説明するためのフローチャートである。
クライアント端末３００−１は、自演奏情報を作成すると、当該時点における現在発音位置を検出する（ステップＳａ１）。そして、クライアント端末３００−１は、ステップＳａ２に進むと、作成した自演奏情報に現在発音位置を示す現在発音位置データを発音予定位置データとして付加し（必要とあらば自端末を識別するための端末識別情報を付加し）、これを通信媒体経由でクライアント端末３００−２に送信する（ステップＳａ３）。
【００４０】
ａ−２．再生・表示処理
また、クライアント端末３００−１は、上記送信処理と並行し、図１０に示す再生・表示処理を実行する。
クライアント端末３００−１は、上記のようにして作成した自演奏情報をリアルタイムで演奏再生装置３４０に転送し、自演奏情報に対応する楽音を発音させると共に、自演奏情報に対応する可視画像の表示を開始する（ステップＳｂ１）。詳述すると、クライアント端末３００−１は、自演奏情報に含まれるノートナンバ情報を解析することにより、演奏再生装置３４０からリアルタイムで発音される楽音に対応する鍵Ｋ１（図１１参照）を特定すると共に、可視画像（図１１では玉ｍ１）を表示すべきＸ軸座標を特定する。そして、クライアント端末３００−１は、この玉ｍ１を鍵Ｋ１の発音ラインＬ１上に表示する（図１１に黒丸で示す玉ｍ１参照）。
【００４１】
クライアント端末３００−１は、ステップＳｂ２に進むと、上記表示タイマが更新されたか否かを検出し、更新されていない場合には（ステップＳｂ２；Ｎｏ）、かかるステップを繰り返し実行する。一方、クライアント端末３００−１は、上記表示タイマが更新されたことを検出すると（ステップＳｂ２；Ｙｅｓ）、玉ｍ１が発音ラインＬ１から上端ラインＬ２に向けて動いていくように玉ｍ１のＹ軸座標を修正する（ステップＳｂ３；図１１に白丸で示す玉ｍ１参照）。クライアント端末３００−１は、ステップＳｂ４に進むと、玉ｍ１が上端ラインＬ２に到達したか否かを判断する。クライアント端末３００−１は、未だ到達していないと判断すると（ステップＳｂ４；Ｎｏ）、ステップＳｂ２に戻り、上記処理を繰り返し実行する。
【００４２】
その後、クライアント端末３００−１は、ステップＳｂ４において玉ｍ１が上端ラインＬ２に到達したと判断すると（ステップＳｂ４；Ｙｅｓ）、処理を終了する。
以上説明した処理が行われることにより、自演奏情報に対応する楽音が演奏再生装置３４０からリアルタイムで発音されると同時に、該自演奏情報に対応する可視画像（玉）が表示装置３５０に表示される。この可視画像は、上端ラインＬ２に到達するまでの間、所定時間間隔で発音ラインＬ１から上端ラインＬ２に向かって動いていくように表示される。
【００４３】
なお、以上の説明においては、自演奏情報に含まれるノートナンバ情報を利用して自演奏情報に対応する可視画像を表示する場合について説明したが、該ノートナンバ情報のみならず、自演奏情報に含まれるベロシティ情報をも利用して上記可視画像を表示するようにしても良い。一例を挙げて説明すると、リアルタイムで発音される楽音の音量が大きいもの（ベロシティの値が大きいもの）については、表示濃度が濃くなるように制御し、該楽音の音量が小さいもの（ベロシティの値が小さいもの）については、表示濃度が薄くなるように制御する。このように、発音される楽音の音量に応じて表示濃度を制御することにより、クライアント端末３００を利用してネットセッションを行うユーザは、自己の演奏状態を聴覚のみならず視覚を通じて認識することが可能となる。
【００４４】
ｂ．演奏情報受信時の動作
ｂ−１．受信処理
図１２〜図１５は、受信処理を説明するための図である。
クライアント端末３００−１は、他のクライアント端末３００−２によって作成された他演奏情報を、通信媒体経由で受信すると、受信した他演奏情報から発音予定位置データを取り出す。そして、クライアント端末３００−１は、当該時点における現在発音位置を検出し、発音予定位置データに示される発音予定位置とを比較する。詳述すると、クライアント端末３００−１は、発音予定位置から現在発音位置を減算し、減算結果がある閾値（例えば２小節分）以上であるか否かを検出する。なお、この閾値は、本システムの運用形態等に応じて適宜設定可能だが、各ユーザが自身のクライアント端末３００を適宜操作して演奏する点を鑑みれば、「２（２小節分）」以上であることが望ましい。すなわち、本実施形態においては、この閾値に相当する時間だけ可視画像として表示された後に、該他演奏情報に基づく楽音が発音されるため、この閾値に相当する時間が２小節分程度あれば（すなわち、２小節分程度の時間的余裕があれば）、他演奏情報に合わせてどのような演奏をすべきかといった検討を十分に行うことができると考えられる。よって、本実施形態においては、当該閾値を「２（２小節分）」に設定している。
【００４５】
さて、クライアント端末３００−１は、減算結果がある閾値以上であると判断した場合には、受信した他演奏情報を再生制御部４１８によって現在再生されている再生バッファに書き込みを行う。一方、クライアント端末３００−１は、減算結果がある閾値を下回っていると判断した場合（減算結果が負の値の場合も含む）には、受信した他演奏情報を再生制御部４１８によって現在再生されている再生バッファの次の再生バッファに書き込む。
【００４６】
ここで、上述したように、再生制御部４１８は、１ターム（以下の説明では４小節とする）を単位として格納する２つ以上の再生バッファ等を備えている。かかる再生制御部４１８が、例えば２つの再生バッファを備える場合、当該再生制御部４１８は、図１２に示すように再生バッファ１及び再生バッファ２を繰り返し再生するといった制御を実行する。
【００４７】
ここで、上記閾値が「２（２小節分）」である場合を想定して説明すると、例えば現在発音位置が「２」であるときに（図１３参照）、発音予定位置が「３」である他演奏情報を受信した場合、上記減算結果は「１」（（発音予定位置）−（現在発音位置）））であり、閾値を下回っているため、現在再生している再生バッファ１ではなく、次の再生バッファ２に他演奏情報が書き込まれる。
【００４８】
この書き込みに際しては、該再生バッファ（ここでは再生バッファ２）における受信した他演奏情報に含まれる発音予定位置（ここでは「３」）に対応する位置に書き込みが行われる。上記例では、受信した他演奏情報に含まれる発音予定位置が「３」であるため、次の再生バッファ２の「３」の位置に、受信した他演奏情報が書き込まれる（図１４参照）。このようにして書き込まれた他演奏情報は、現時点（すなわち現在発音位置）から「５」つ分だけ時間が進んだときに発音される。
【００４９】
一方、例えば現在発音位置が「１」であるときに、発音予定位置が「３」である他演奏情報を受信した場合、上記減算結果は「２」となる。この減算結果は閾値「２」以上であるため、現在再生している再生バッファ１に他演奏情報が書き込まれる。この書き込みに際しては、上記と同様、該再生バッファ（ここでは再生バッファ１）における受信した他演奏情報に含まれる発音予定位置（ここでは「３」）に対応する位置に書き込みが行われる（図１５参照）。このようにして書き込まれた他演奏情報は、現時点（すなわち現在発音位置）から「２」つ分だけ時間が進んだときに発音される。
【００５０】
なお、以上の説明では、再生バッファ１を再生している間（すなわち現在発音位置が再生バッファ１の範囲内にある場合）に、他演奏情報を受信した場合について説明したが、再生バッファ２を再生している間に、他演奏情報を受信した場合にも同様に説明することができる。具体的には、現在再生している再生バッファを“再生バッファ２”とし、次のバッファを“再生バッファ１”とすれば同様に説明することができるため、これ以上の説明は割愛する。
【００５１】
ｂ−２．再生・表示処理
クライアント端末３００−１は、上記受信処理行うと、現在発音予定位置と発音予定位置との間隔が「２（２小節分）」になったか否かを検出する。クライアント端末３００−１は、現在発音位置と発音予定位置との間隔が「２小節」になったことを検出すると、図１６に示す再生・表示処理を実行する。
【００５２】
クライアント端末３００−１は、受信した他演奏情報に含まれるノートナンバ情報を解析することにより、他演奏情報に対応する可視画像の表示を開始する（ステップＳｄ１）。詳述すると、クライアント端末３００−１は、他演奏情報に含まれるノートナンバ情報を解析することにより、発音予定の楽音に対応する鍵Ｋ１’（図１７参照）を特定した後、可視画像（図１７では玉ｍ１’）を表示すべきＸ軸座標を特定する。そして、クライアント端末３００−１は、この玉ｍ１’を鍵Ｋ１’の上端ラインＬ２上に表示する（図１７に黒丸で示す玉ｍ１’参照）。
【００５３】
また、クライアント端末３００−１は、かかるノートナンバ情報を解析することにより、“Ｃメジャー”、“Ｃマイナー”等のコード情報が得られるか否かを検出し、得られた場合には玉ｍ１’の右隣等に“Ｃメジャー”等のコード情報を表示する。一方、かかるコード情報が得られなかった場合には図１７に示すように玉ｍ１’のみを表示する。なお、クライアント端末３００−１は、表示すべき玉ｍ１’が他のクライアント端末３００−２において作成された他演奏情報を表す可視画像であることをユーザに認識させるべく、自演奏情報に対応する玉ｍ１とは異なる色で玉ｍ１’を表示する（例えば、自演奏情報に対応する玉ｍ１の色が赤色であれば、玉ｍ１’の色を青色にする等）。
【００５４】
クライアント端末３００−１は、ステップＳｄ２に進むと、上記表示タイマが更新されたか否かを検出し、更新されていない場合にはステップＳｄ２を繰り返し実行する（ステップＳｄ２；Ｎｏ）。一方、クライアント端末３００−１は、上記表示タイマが更新されたことを検出すると（ステップＳｄ２；Ｙｅｓ）、玉ｍ１’が上端ラインＬ２から発音ラインＬ１に向けて動いていくように玉ｍ１’のＹ軸座標を修正する（ステップＳｄ３；図１７に白丸で示す玉ｍ１’参照）。クライアント端末３００−１は、ステップＳｄ４に進むと、玉ｍ１’が発音ラインＬ１に到達したか否かを判断する。クライアント端末３００−１は、未だ到達していないと判断すると（ステップＳｄ４；Ｎｏ）、以上説明した処理を繰り返し実行する。
【００５５】
その後、クライアント端末３００−１は、ステップＳｄ４において玉ｍ１’が発音ラインＬ１に到達したと判断すると（ステップＳｄ４；Ｙｅｓ）、すなわち現在発音位置が発音予定位置に到達したと判断すると、他演奏情報を演奏再生装置３４０に転送し、他演奏情報に対応する楽音を発音させた後（ステップＳｄ５）、処理を終了する。
【００５６】
以上説明した処理が行われることにより、他演奏情報に対応する楽音が演奏再生装置３４０から発音されるよりも所定時間（例えば、２小節）だけ前に、該他演奏情報に対応する可視画像（玉）が表示装置３５０に表示される。この可視画像は、上端ラインＬ２から発音ラインＬ１に向かって動いていくように表示され、発音ラインＬ１に到達すると同時に対応する楽音が発音される。
【００５７】
なお、演奏情報受信時に表示装置３５０に表示される可視画像についても、上記演奏情報送信時に表示装置３５０に表示される可視画像とほぼ同様、発生すべき楽音の音量が大きいもの（ベロシティの値が大きいもの）については、表示濃度が濃くなるように制御され、該楽音の音量が小さいもの（ベロシティの値が小さいもの）については、表示濃度が薄くなるように制御される。
【００５８】
以上説明したように、本実施形態によれば、ネットセッションに参加する他のメンバの他演奏情報を受信してから、この他演奏情報に基づく楽音が実際に発音されるまでの間、他演奏情報が可視画像として表示装置３５０に表示される。
よって、クライアント端末３００を利用してネットセッションに参加するメンバは、この表示装置３５０に表示される可視画像を参照することで、ネットセッションに参加する他のメンバがどのような演奏を行っているのかを上記楽音が発音される前に把握することができる。
【００５９】
また、自端末において生成される自演奏情報についても可視画像として表示装置３５０に表示される。従って、自端末を利用して演奏を行うユーザは聴覚のみならず視覚を通じて演奏を楽しむことができる。
また、自演奏情報に対応する可視画像と他演奏情報に対応する可視画像とは、異なる色に設定される。従って、ユーザは表示装置３５０に表示される可視画像の色を参照することで自演奏情報と他演奏情報とを明確に区別することが可能となる。
【００６０】
また、上記各演奏情報に対応する可視画像の表示濃度は、それぞれ各演奏情報に基づいて発音される楽音若しくは発音される予定の楽音の音量（ベロシティの値）に応じて制御される。従って、ユーザは表示装置３５０に表示される可視画像の濃度を参照することにより、臨場感ある演奏を行うことが可能となる。
【００６１】
また、他演奏情報についてはコード解析が行われ、“Ｃメジャー”等のコード情報が得られた場合には他演奏情報に対応する可視画像と共に該コード情報が表示装置３５０に表示される。かかるコード情報が表示装置３５０に表示されている場合には、ユーザは、このコードに併せて次に自分が演奏すべきコード等を把握することが可能となる。
【００６２】
（３）変形例
以上この発明の一実施形態について説明したが、上記実施形態はあくまで例示であり、上記実施形態に対しては、本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。変形例としては、例えば以下のようなものが考えられる。
【００６３】
（変形例１）
上述した本実施形態では、２台のクライアント端末３００が１対１で接続されている場合について説明したが、３台以上のクライアント端末３００についても適用可能である。なお、かかる場合には、自端末宛に送信される他演奏情報がネットセッションに参加するいずれの他端末によって作成されたものであるかを特定する必要がある。よって、このような場合には、例えば上記セッションを行う前に各クライアント端末３００がネゴシエーション等を行って各クライアント端末３００の端末識別情報等を交換する。そして、各クライアント端末３００は、自演奏情報を作成した場合、自身の端末識別情報等を付加して他端末宛に送信する。このような方法を採用することで、３台以上のクライアント端末３００を利用して上記セッションを行うことも可能である。
【００６４】
（変形例２）
また、他の変形例として、サーバを設けてセッションに参加する複数のクライアント端末３００を管理する方法を採用しても良い。
図１８は、変形例２に係るネットセッションシステム１００’の構成を示す図である。このネットセッションシステム１００’は、通信ネットワーク（例えば、インターネット等）２５０に接続されたサーバ装置２００と、該通信ネットワーク２５０に接続された複数のクライアント端末３００−ｋ（１≦ｋ≦ｎ）とを備えている。
【００６５】
サーバ装置２００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置などにより構成され、ネットセッションシステム１００’に参加するメンバ（すなわち、クライアント端末３００）の参加状態等を管理する機能を備えている。
【００６６】
ここで、図１９は、サーバ装置２００の機能構成を示すブロック図であり、図２０は、サーバ装置２００に格納されているセッションメンバ管理テーブルＴＡを例示した図である。
制御手段２１０は、記憶手段２３０に格納されている各種アプリケーションを実行することにより、サーバ装置２００の各部を中枢的に制御する。
【００６７】
通信手段２２０は、制御手段２１０による制御の下、クライアント端末３００から送信される特定のネットセッションに対する参加要求、該ネットセッションの変更要求、切断要求等受信する一方、これらの要求に応じてネットセッション参加の状態が変更された場合には参加の状態が変更されたことを、他のクライアント端末３００に送信する役割を担っている。
記憶手段２３０は、制御手段２１０によって実行される各種アプリケーションを記憶するほか、図２０に示すセッションメンバ管理テーブルＴＡを記憶する。
【００６８】
セッションメンバ管理テーブルＴＡには、当該セッションに参加する各メンバのニックネーム、各メンバが利用するクライアント端末３００を特定するための端末識別情報（ＩＰアドレス等）、各メンバが担当するパートを識別するパート識別情報など、該セッションに参加する各メンバに関する詳細情報（以下、総称して「参加情報」という）が対応づけられて登録されている。なお、このセッションメンバ管理テーブルＴＡは、各セッション毎に設けられるが、図２０では図面が煩雑になるのを防ぐため、１つのセッションメンバ管理テーブルＴＡのみを例示している。
【００６９】
このようなセッションメンバ管理テーブルＴＡは次のようにして利用される。まず、各クライアント端末３００は、ネットセッション参加時に、該サーバ装置２００へ接続し、どのようなクライアント端末３００が参加しているかといったことを表す参加情報を取得する。
【００７０】
そして、実際にネットセッションを行う際には、各クライアント端末３００は、サーバ装置２００へ接続することなく、通信ネットワーク２５０を介して直接他のクライアント端末３００と演奏情報の授受を行う。そして、各クライアント端末３００は、他のクライアント端末３００において生成された演奏情報（他演奏情報）を受信すると、上記参加情報をもとに、受信した演奏情報がネットセッションに参加するいずれのクライアント端末３００によって作成されたものであるか等を特定する。
【００７１】
一方、各クライアント端末３００は、自端末において演奏情報（自演奏情報）を作成すると、上記参加情報をもとに、同一セッションに参加する他の全てのクライアント端末３００に送信する。この結果、あるクライアント端末３００において作成された演奏情報が、同一セッションに参加する全ての他のクライアント端末３００に受信されることになる。
【００７２】
以上説明したように、各ネットセッションの参加状態を統括管理するサーバ装置を設けることによって複数台のクライアント端末３００を備えたネットセッションシステムを構築するようにしても良い。
【００７３】
なお、各クライアント端末３００は、他のメンバが複数存在する場合には、各メンバにそれぞれ異なる色を割り当てるなどして、いずれのメンバの演奏情報が表示装置３５０に表示されているのか等を区別できるようにすればよい。
また、本変形例に係るサーバ装置２００の機能をいずれかのクライアント端末３００（例えば、クライアント端末３００−１）に搭載し、クライアント端末３００によって構成されたネットセッションシステムを構築するようにしても良いのはもちろんである。
【００７４】
（変形例３）
また、上述した本実施形態では、ユーザに対し自演奏情報と他演奏情報とを明確に区別させるべく、自演奏情報に対応する可視画像と他演奏情報に対応する可視画像とを異なる色に設定したが、例えば自演奏情報に対応する可視画像の形状と他演奏情報に対応する可視画像の形状とを異なるようにしても良い。例えば、自演奏情報に対応する可視画像については玉形とする一方、第１の他演奏情報（第１の他のメンバによって作成された演奏情報）に対応する可視画像については星形とし、・・・第ｎの他演奏情報（第ｎの他のメンバによって作成された演奏情報）に対応する可視画像については５角形とする。このように、本発明においては、表示装置３５０に表示される可視画像がネットセッションに参加するいずれのユーザに対応しているのかを区別することができるあらゆる態様に適用可能である。
【００７５】
（変形例４）
また、上述した本実施形態では、各演奏情報にノートナンバ情報、ベロシティ情報等が含まれる場合を想定して説明したが、かかる演奏情報の中にはノートナンバ情報等の発音情報を含まない演奏情報も存在する。かかる場合を想定し、発音情報が含まれているか否かを事前に判別し、発音情報が含まれているものについてのみ、本実施形態において説明した各処理を実行するようにしても良い。
【００７６】
（変形例５）
図２１は、変形例５に係るクライアント端末３００の機能構成を示すブロック図であり、前掲図６に対応する図である。なお、図２１に示すクライアント端末３００は、演奏情報作成部４１２にコード生成部４１２ａが設けられている点を除けば前掲図６に示すクライアント端末３００と同様である。よって、以下ではかかる相違点についてのみ説明する。
【００７７】
コード生成部４１２ａは、単音から和音を生成する手段であり、操作部３３０等を介してコード生成モードが入力された後、ある楽音（例えば、「Ｃ」）に対応する操作子が操作されたことを検知すると、この操作内容に従って和音コード（例えば、「Ｃメジャー」）を生成し、該和音を発音するための演奏情報を作成する（以下、演奏アシスト機能という）。このように、演奏アシスト機能を搭載したクライアント端末３００にも適用可能である。
【００７８】
（変形例６）
また、上述した本実施形態では、コード解析部４２０によって“Ｃメジャー”等のコード情報が得られた場合、該コード情報を表示装置３５０に表示する場合について説明したが、かかるコード情報のみならず、このコードに併せて演奏するのが良いと考えられる「お勧めコード（例えば、Ｄマイナー等）」を示すお勧めコード情報を表示装置３５０に表示するようにしても良い。なお、お勧めコード情報については１つに限らず、複数あっても良いのはもちろんである。また、複数ある場合には、最も好ましいものから順番に表示すれば良い。
【００７９】
さらに、お勧めコード情報を表示するのみならず、表示画面Ｐに表示されている複数の鍵の中からこのお勧めコードを演奏するために操作すべき鍵を特定し、この鍵を点滅表示するようにしても良い。かかる構成を採用することにより、コードに関する知識のないユーザであっても、自分が操作すべき内容を事前に把握することができ、心地よいハーモニーを奏でることが可能となる。
なお、クライアント端末３００に電子楽器等が接続されている場合には、表示画面Ｐに表示されている鍵ではなく、この電子楽器の操作子（例えば、電子鍵盤楽器であれば鍵）を直接点滅させることにより、お勧めコードを演奏するために必要な操作を事前に教示するようにしても良い。
【００８０】
（変形例７）
以上説明した本実施形態及び各変形例に係るクライアント端末３００の諸機能は、ハードウェア、ソフトウェアのいずれによっても実現可能である。例えば、前掲図９に示す送信処理を実行するためのソフトウェアを記録媒体（例えばＣＤ−ＲＯＭ等）を介してインストールする、あるいは該ソフトウェアを備えたサーバからインターネット等を介してインストールする。このように、クライアント端末３００の諸機能をソフトウェアによって実現することも可能である。
【００８１】
【発明の効果】
以上説明したように、本発明によれば、相手の演奏情報を受信した場合、該演奏情報に対応した楽音を発音するまでの間、該演奏情報に対応した画像が表示されるため、相手がどのような演奏を行っているのかを該演奏情報に対応する楽音が発音される前に把握することが可能となる。
【図面の簡単な説明】
【図１】 本実施形態に係るネットセッションシステムの構成を示す図である。
【図２】 同実施形態に係るクライアント端末のハードウェア構成を示す図である。
【図３】 同実施形態に係る表示装置に表示される画面Ｐを例示した図である。
【図４】 同実施形態に係る表示装置に表示される画面Ｐを例示した図である。
【図５】 同実施形態に係る表示装置に表示される画面Ｐを例示した図である。
【図６】 同実施形態に係るクライアント端末の機能構成を示すブロック図である。
【図７】 同実施形態に係る現在発音位置の検出動作を説明するための図である。
【図８】 同実施形態に係る演奏情報送信時におけるクライアント端末の動作を示すフローチャートである。
【図９】 同実施形態に係る送信処理を説明するためのフローチャートである。
【図１０】 同実施形態に係る演奏情報送信時における再生・表示処理を説明するためのフローチャートである。
【図１１】 同実施形態に係る表示装置に表示される可視画像を説明するための図である。
【図１２】 同実施形態に係る受信処理を説明するための図である。
【図１３】 同実施形態に係る受信処理を説明するための図である。
【図１４】 同実施形態に係る受信処理を説明するための図である。
【図１５】 同実施形態に係る受信処理を説明するための図である。
【図１６】 同実施形態に係る演奏情報受信時における再生・表示処理を説明するためのフローチャートである。
【図１７】 同実施形態に係る表示装置に表示される可視画像を説明するための図である。
【図１８】 変形例２に係るネットセッションシステムの構成を示す図である。
【図１９】 同変形例に係るサーバ装置の機能構成を示すブロック図である。
【図２０】 同変形例に係るセッションメンバ管理テーブルＴＡを例示した図である。
【図２１】 変形例５に係るクライアント端末の機能構成を示すブロック図である。
【図２２】 従来における映像装置としてのピアノの構成を示した図である。
【符号の説明】
１００、１００’・・・ネットセッションシステム、３００・・・クライアント端末、３１０・・・コントローラ、３２０・・・タイマ、３３０・・・操作部、３３５・・・通信部、３４０・・・演奏再生装置、３５０・・・表示装置、４１１・・・演奏情報入力部、４１２・・・演奏情報作成部、４１３・・・現在発音位置検出部、４１４・・・発音位置データ付加部、４１５・・・送信部、４１６・・・受信部、４１７・・・受信演奏情報解析部、４１８・・・再生制御部、４１９・・・表示制御部、４２０・・・コード解析部。

Claims (7)

1. 自装置において生成される演奏情報（以下、自演奏情報という）をネットワークを介して他の演奏装置に送信する一方、他の演奏装置において生成される演奏情報（以下、他演奏情報という）を前記ネットワークを介して受信するネットセッション演奏装置であって、
   前記自演奏情報には、発音すべき楽音に対応する演奏データが含まれ、
   前記自演奏情報に含まれる前記演奏データに従って楽音の発生を制御する第１の楽音発生制御手段と、
   前記第１の楽音発生制御手段において、前記楽音がどの小節で発音されたかを示す発音タイミング情報を検出し、該発音タイミング情報を前記他の演奏装置における発音予定位置データとして前記自演奏情報に付加する付加手段と、
   前記付加手段によって発音予定位置データが付加された前記自演奏情報をネットワークを介して他の演奏装置に送信する送信手段と、
   前記他の演奏装置からネットワークを介して前記他演奏情報を受信する受信手段と、
   前記他演奏情報を受信してから当該他演奏情報に付加されている発音予定位置データに示される前記発音タイミングが到来するまでの間のうちの所定時間、前記他演奏情報を可視画像として表示するための制御を行う他演奏表示制御手段と、
   前記他演奏情報を受信してから当該他演奏情報に付加されている発音予定位置データに示される前記発音タイミングが到来したとき、前記他演奏情報に含まれる演奏データに従って楽音を発生させる第２の楽音発生制御手段とを備え、
   前記他演奏表示制御手段は、前記発音タイミングが到来するまでの時間の経過状態がわかるように前記可視画像の表示を制御することを特徴とするネットセッション演奏装置。
2. 前記他演奏情報に含まれる演奏データを解析することにより、コード情報の検出を行うコード情報検出手段をさらに具備し、
   前記他演奏表示制御手段は、前記可視画像を表示させる際、前記コード情報検出手段によって検出される前記コード情報も表示させることを特徴とする請求項１に記載のネットセッション演奏装置。
3. 前記コード情報からお勧めコード情報を生成するお勧めコード情報生成手段をさらに具備し、前記他演奏表示制御手段は、前記コード情報に併せてお勧めコード情報も表示させることを特徴とする請求項２に記載のネットセッション演奏装置。
4. 前記演奏データには、少なくとも発音すべき楽音の音高を示す音高情報が含まれ、前記他演奏表示制御手段は、前記他演奏情報を可視画像として表示させる際、該楽音の音高がわかるように表示させることを特徴とする請求項１〜３のいずれかに記載のネットセッション演奏装置。
5. 前記演奏データには、少なくとも発音すべき楽音の音量を示す音量情報が含まれ、前記他演奏表示制御手段は、前記他演奏情報を可視画像として表示させる際、該楽音の音量に応じて前記可視画像の表示濃度を制御することを特徴とする請求項１〜４のいずれかに記載のネットセッション演奏装置。
6. 前記第１の楽音発生制御手段によって楽音を発生させるための制御が行われたとき、前記自演奏情報を可視画像として表示するための制御を行う自演奏表示制御手段をさらに具備することを特徴とする請求項１〜５のいずれかに記載のネットセッション演奏装置。
7. 自装置において生成される自演奏情報には、発音すべき楽音に対応する演奏データが含まれ、前記自演奏情報をネットワークを介して他の演奏装置に送信する一方、前記他の演奏装置において生成される他演奏情報を前記ネットワークを介して受信するネットセッション演奏装置のコンピュータに、
   前記自演奏情報に含まれる前記演奏データに従って楽音の発生を制御する第１の楽音発生制御機能と、
   前記第１の楽音発生制御機能において、前記楽音がどの小節で発音されたかを示す発音タイミング情報を検出し、該発音タイミング情報を前記他の演奏装置における発音予定位 置データとして前記自演奏情報に付加する付加機能と、
   前記付加機能によって発音予定位置データが付加された前記自演奏情報をネットワークを介して他の演奏装置に送信する送信機能と、
   前記他の演奏装置からネットワークを介して前記他演奏情報を受信する受信機能と、
   前記他演奏情報を受信してから当該他演奏情報に付加されている発音予定位置データに示される前記発音タイミングが到来するまでの間のうちの所定時間、前記発音タイミングが到来するまでの時間の経過状態がわかるように前記他演奏情報を可視画像として表示するための制御を行う他演奏表示制御機能と、
   前記他演奏情報を受信してから当該他演奏情報に付加されている発音予定位置データに示される前記発音タイミングが到来したとき、前記他演奏情報に含まれる演奏データに従って楽音を発生させる第２の楽音発生制御機能と
   を実現させるためのプログラム。

Images