JP4333588B2 - セッション端末 - Google Patents

Description

本発明は、演奏者の演奏動作を予測し、予測結果に基づいて楽音発生を制御する技術に関する。

近年の通信ネットワークの発達により、地理的に離れ通信ネットワークを介して接続された複数の楽器端末によりセッション（合奏）を行うことができるセッションシステムが開発されている。このようなセッションシステムにおいては、セッションに参加している各参加者の楽器端末において生成される楽音信号（音高、音量、音色等）が逐次他の全ての参加者の楽器端末に送信されなければならない。このようにすることで初めて、各参加者の楽器端末では、楽曲を構成する全てのパートの楽音信号を聴くことができ、その演奏音に従ってセッションを行うことが可能となる。

ところで、セッションを行う場合、他のセッション参加者の音を聞きつつ自分の楽器を演奏するため、楽器端末間において各パートの発音タイミングの同期が取れている必要がある。ここで、同一の場所で行われる生演奏のセッションではセッション参加者が演奏した音は直ちにセッション参加者全員の耳に届くので、通常各パートの発音タイミングに問題は生じることは考えられない。ところが、例えば通信ネットワークを介して楽器端末Ａと楽器端末Ｂとを接続してセッションを行う場合、楽器端末Ａにおいて楽音信号を送信してから楽器端末Ｂに届くまでには必ずネットワーク上の遅延がかかるため、楽器端末Ｂの演奏者には相手の演奏音が遅れて聞こえることになる。楽器端末Ｂの演奏者はこの遅れて届いた音に合わせて演奏を行うことになるが、楽器端末Ｂの楽音信号が楽器Ａに届くまでには再び遅れが生じる。この結果、楽器端末ＡおよびＢにおいて同時に発音されなければならない各パートの音の発音タイミングにずれが生じる。インターネット等の汎用通信網を利用した場合の遅延は数１０ミリ秒〜１秒になることがあり、これでは正常なセッションを成立させることは困難である。このように、通信ネットワークを介してセッションを行う場合は、不可避的に発生するネットワーク遅延を考慮する必要がある。

このような背景の下、ネットワークに接続された２地点における楽器端末を用いて、１小節分遅らせて受信側で演奏を再生することで、ネットワーク遅延を吸収する技術が提案されている（特許文献１を参照）。特許文献１の技術は、相手の演奏が１小節遅れて聞こえてくるという新たなセッション形態として興味深いが、演奏をリアルタイムで同期させることはできず、自然なセッションを行うことはできない。

特開２００３−２８０６４４号公報

本発明は、上述した事情に鑑みてなされたものであり、通信遅延の発生する環境においてセッションを実現するセッション端末を提供することを目的とする。

上記課題を解決するため、本発明は、通信ネットワークを介して楽音信号を送受信するセッション端末において、所定位置に対する操作子の打撃によって音を出す楽器部と、前記楽器部の発音を楽音信号に変換する変換手段と、前記操作子の運動状態を検知する検知手段と、前記検知手段によって検知された前記操作子の運動状態に基づいて、前記操作子が前記所定位置に到達するまでの到達時間を予測し、その到達時間から発音開始時間情報を生成して出力する発音開始時間予測手段と、前記通信ネットワークを介して前記発音開始時間情報および前記楽音信号を送信する送信手段と、を有することを特徴とするセッション端末を提供する。

本発明の好ましい態様においては、前記楽器部は弦を有し、前記所定位置は前記弦の特定位置に設定され、前記操作子が前記弦の特定位置を打撃することによって音を出す。
また、本発明の別の好ましい態様においては、前記楽器部は、打楽器の打撃面を有し、前記打撃面を前記所定位置として、前記操作子が前記打撃面を打撃することにより音を出す。

また、本発明は、通信ネットワークを介して楽音信号を送受信するセッション端末において、再生処理されることにより音を発音する音データを記憶する記憶手段と、前記通信ネットワークを介して前記楽音信号を受信するとともに、前記楽音信号の発音から消音までを一つの発音単位とした場合に、前記各発音単位毎に各楽音信号に先立って送信され各楽音信号の発音タイミングを指示する発音開始時間情報であって操作子の運動状態を検知することによって予測された到達時間に基づいて算出された発音開始時間情報を受信する受信手段と、前記受信手段によって受信された前記発音開始時間情報とネットワーク遅延量とに基づいて前記音データを発音する発音タイミングを決定し、前記記憶手段から読み出した前記音データを前記発音タイミングにおいて発音し、前記発音開始時間情報に対応している楽音信号が前記受信手段によって受信された場合には、前記音データの発音に代えて前記楽音信号を発音する発音制御手段とを有することを特徴とするセッション端末を提供する。

本発明の好ましい態様においては、前記ネットワーク遅延量を取得するネットワーク遅延量取得手段を有する。
本発明の別の好ましい態様においては、前記音データは、ホワイトノイズに対し所定のフィルタ特性が付与された加工済ホワイトノイズデータである。
また、本発明の別の好ましい態様においては、前記発音制御手段は、前記音データの発音に代えて前記楽音信号を発音した後に、次に発音すべき楽音信号に対応する前記発音時間情報を前記受信手段が受信した場合には、前記楽音信号の発音を停止して、前記音データの発音を行う。
本発明のさらに別の好ましい態様においては、前記楽音制御手段は、前記音データの発音から前記楽音信号の発音に移行する際には、クロスフェード処理を行う。

以下、本発明の実施形態について説明する。本実施形態に係るセッションシステムは、以下の２つの特徴を有する。１つ目の特徴は、送信側の弦楽器端末（セッション端末）において、操作子（ピック）の運動状態をセンサにより検知し、その検知結果から撥弦するまでにかかる時間を予測して、相手側の端末に知らせる点にある。２つ目の特徴は、相手側端末においては、予測された時間から発音されるべきタイミングを計算し、そのタイミングに実際の演奏音の代替としてホワイトノイズを加工した加工済ホワイトノイズデータを発音することによって、ネットワークの遅延を補う点にある。

（１）構成
図１は、本実施形態に係るセッションシステムの全体構成を示すブロック図である。図に示すように、このシステムは、弦楽器端末１と、１台または複数台の楽器端末２とが通信ネットワークにより接続されて構成される。

図２は、弦楽器端末１の構成の一例を示す図である。弦楽器端末１は、アコースティックギターＡＧと、このアコースティックギターＡＧの本体に内蔵されているハードウェア回路ＨＣとを有している。図において、ＢＵＳは、以下に説明するハードウェア回路ＨＣの各構成要素間のデータ授受を仲介するバスである。１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、その他の各種演算プロセッサからなり、ハードウェア回路の各部を制御する制御部である。１２は、アコースティックギターＡＧが発音する楽音を集音するマイクロフォンである。制御部１０は、マイクロフォン１２で集音した楽音をデジタルオーディオデータに変換する。１３は、通信インターフェース等を有する通信部であり、制御部１０の指示の下、弦楽器端末１で生成したデジタルオーディオデータを、楽音信号として通信ネットワークを介して楽器端末２に送信する一方、楽器端末２から送信された楽音信号を受信する。１４は、タイマであり、基準となる時刻を生成するための計時機構である。

１５は、センサ装置を備えた位置検知部であり、図３に示すピック１ａの位置を検知するものである。ここで、図３を用いて、位置検知部１５がピック１ａの位置を検知する方法について説明する。位置検知部１５は、演奏者が弦をはじく箇所（以下、撥弦部とする）１ｂ付近の２箇所に備え付けられ、それぞれ磁気を検知してその磁気に比例する電気信号を出力する磁気センサ１５ａ，１５ａと、それぞれのセンサからの電気信号を解析するための解析回路１５ｄとを有する。また、ピック１ａには磁石１５ｂが埋め込まれている。演奏者に把持されたピック１ａに対し、磁気センサ１５ａ，１５ａはピック１ａに埋め込まれた磁石１５ｂの磁気を検知し、検知した位置に応じた強さの検出信号を出力する。それぞれの検出信号の強さは磁気センサ１５ａと磁石１５ｂまでの距離を反映するから、これらの検出信号によって磁石１５ｂから二つの磁気センサ１５ａ，１５ａまでの計２つの距離を算出することができる。この場合、解析回路は２つの磁気センサ１５ａの位置を予め把握しており、これらの位置と算出された距離とから、磁石１５ｂ（すなわちピック１ａ）の三次元空間内の一点を決定する。以下では、説明の便宜上、このように決定した三次元空間内の一点を「ピック１ａの位置」と称することとする。

図２に示す１６は、ＥＥＰＲＯＭやＨＤＤ等の記憶装置で構成された記憶部である。記憶部１６は、図４に示すような、ピック１ａが撥弦部１ｂに到達するときの速度の値とベロシティ値（音の強弱を表わす値）とを対応付けたテーブルを記憶している。制御部１０は速度からベロシティ値を決定するためにこのテーブルを参照する。例えば速度が「２．５ｍ／ｓ」ならば、制御部１０はこのテーブルを参照してベロシティ値を「１００」と決定する。

次に、楽器端末２の構成を、図５を参照して説明する。同図において、ＢＵＳは、以下に説明する各構成要素間のデータ授受を仲介するバスである。２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、その他の各種演算プロセッサからなる制御部である。２１は、楽器端末２に備え付けられた演奏操作子に対するセンサ信号の解析回路から構成され、演奏者の操作状況を検知して制御部２０に供給する演奏操作検知部である。２２は、ＤＳＰ（Digital signal processor）等の音声信号処理回路およびスピーカ等を有する発音部であり、制御部２０の制御の下に楽音を発音させる。２３は、通信インターフェースを有する通信部である。２４は、タイマであり、発音タイミング等を決定する上で基準となる時刻を生成するための計時機構である。

２６は、ＥＥＰＲＯＭやＨＤＤ等の記憶装置で構成される記憶部であり、ネットワークの遅延量と加工済ホワイトノイズデータとを格納する。ネットワークの遅延量とは、送信した楽音信号がセッション相手である弦楽器端末１に受信され、再び楽器端末２に戻ってくるまでの時間のことである。制御部２０は、弦楽器端末１に定期的にパケットを送信することによって遅延量を計算している。加工済ホワイトノイズデータは、ホワイトノイズに対し、平均的なギター音の周波数帯域になるように所定のバンドパスフィルタをかけて生成したデータであり、音程を有さない。

（２）動作
次に、本実施形態の動作について説明する。
まず、弦楽器端末１の動作について説明する。弦楽器端末１の演奏者が、演奏を開始するためにピック１ａを把持した手を撥弦部１ｂに向けて振り下ろすと、弦楽器端末１の制御部１０は、位置検知部１５が検知したピック１ａの位置に基づいて、ピック１ａが撥弦部１ｂに到達するまでの時間（以下、予測到達時間という）を予測する。そして、ピック１ａの位置に基づいてピック１ａの速度を算出し、記憶部１６に記憶されているテーブルを参照して速度に対応するベロシティ値を読み出し、予測到達時間とベロシティ値とを、楽器端末２に対して、通信部１３を介して送信する。そして、撥弦が行われると、マイクロフォン１２によって集音された演奏を楽音信号として通信部１３から送信する。

図６は、弦楽器端末１の予測到達時間の算出とベロシティ値の決定について、より詳細な動作を示すフローチャートである。まず、位置検知部１５は、ピック１ａの位置を所定の短い間隔毎に検出して把握する。そして、制御部１０は、最新の位置情報と１つ前の位置情報との２つの位置情報から速度を算出するとともに、最新の位置情報に基づいて、ピック１ａと撥弦部１ｂとの距離を認識する。以上の処理は、割り込み処理によって所定の間隔毎に行われる。

次に、ピック１ａと撥弦部１ｂとの距離が所定値になったか否かを判定する（Ｓ１０２）。この所定値を設けた理由は、ピック１ａと撥弦部１ｂとの距離が離れているときのピック１ａの速度は実際に撥弦されたときの速度との相関が低い（あるいは相関がない）ため、撥弦部１ｂにある程度近づいたときのピック１ａの速さから撥弦の速さを予測するためである。すなわち、本実施形態では、ピック１ａと撥弦部１ｂとの距離が所定値になったときのピック１ａの速度から撥弦の時刻および速度を予測するようにしている。ここで、ピック１ａと撥弦部１ｂとの距離が所定値になっていなければ（Ｓ１０２；ＮＯ）、所定距離になるまで待機する。

ピック１ａと撥弦部１ｂとの距離が所定値（以下、判定位置という）になった場合は（Ｓ１０２；ＹＥＳ）、その時点のピック１ａの速度を算出する（Ｓ１０３）。この場合、判定位置は撥弦部１ｂの上方と下方にそれぞれ一カ所ずつ設定されている。これはピック１ａを用いたストローク演奏において、振り下ろしの際に撥弦する場合と、振り上げの際に撥弦する場合があるからである。本実施形態においては、ピック１ａの位置情報の変化からピック１ａが振り下ろされているのか、あるいは振り上げられているのかを検出し、振り下ろされているときは上方の判定位置において判定を行い、振り上げられているときは下方の判定位置で判定を行う。

次に、ピック１ａの速度が、判定位置において所定の閾値を超えているか否かを判定し（Ｓ１０４）、閾値以上であった場合に到達時間予測処理を開始する（Ｓ１０４；ＹＥＳ）。通常、撥弦が行われるときのピック１ａの速度は一定以上の値をとっているため、これよりもゆっくりとピック１ａが動いている場合には（Ｓ１０４；ＮＯ）、演奏者には撥弦を行う意思がないか、または撥弦の体勢に入っていないと推定されるので、到達時間予測処理は行わない。また、ピック１ａがアコースティックギターＡＧの表面から所定距離以上離れている場合は、その位置からでは通常のストローク演奏では撥弦部１ｂを撥弦しないと推定されるので、このような場合も到達時間予測処理は行わない。この判定はピック１ａの位置情報に基づいて行われる。

次に、演奏者が演奏動作に入っている場合は、ステップＳ１０４の判定がＹＥＳとなり、ステップＳ１０５に進んで、その時点の位置情報と速度情報に基づき予測到達時間を算出する。例えば、最も単純には、ピック１ａの進行方向を撥弦部１ｂに対してほぼ直線とみなし、当該位置から撥弦部１ｂまでの距離をこの時点の速度で除することにより算出することができる。例えば、上述の所定距離を「１５ｃｍ」とし、この位置で検知したピック１ａの速度が「３ｍ／ｓ」であったならば、ピック１ａが撥弦部１ｂに到達するまでの時間（予測到達時間）は、「５０ｍｓ」と算出される。また、制御部１０は記憶部１６に記憶されているテーブルを参照して速度に対応するベロシティ値を決定する（Ｓ１０６）。そして、制御部１０は、予測到達時間とベロシティ値とを、通信部１３を介して楽器端末２に送信する（Ｓ１０７）。

次に、楽器端末２の動作を説明する。楽器端末２は弦楽器端末１から送信された楽音信号を発音するが、その発音に先立ち加工済ホワイトノイズデータの発音を行う。以下、加工済ホワイトノイズデータの発音処理について説明する。

まず、加工済ホワイトノイズデータの発音タイミングの決定について、図７を参照して説明する。はじめに、時刻ｔ₀において、弦楽器端末１が予測到達時間Ｔ₁とベロシティ値Ｖ₁とを楽器端末２に向けて送信したとする。この予測到達時間Ｔ₁とベロシティ値Ｖ₁とが、楽器端末２に到達するのは、時刻ｔ₀からネットワークの遅延時間ｄの１／２が経過した時刻ｔ₁である。楽器端末２は、時刻ｔ₁において予測到達時間Ｔ₁とベロシティ値Ｖ₁を知ることになるが、ここで加工済ホワイトノイズデータの発音タイミングについては以下のような関係が成り立つようにして制御を行う。

まず、セッションを成立させるためには、同じタイミングで演奏する音符について着目すれば、これらの音符は各演奏者が聞くときに、互いの演奏音が同時に発音されなければならない。今、弦楽器端末１から最初に出力される楽音信号の発音タイミングと同じタイミングで楽器端末２においても演奏を行うとすれば、この最初の音符に対する発音タイミングは楽器端末２において同時でなければならない。また、弦楽器端末１においては、楽器端末２から送信される最初の楽音信号の発音タイミングと弦楽器端末１自身の発音タイミングも同時でなければならない。

以上のような状況を実現するためには、楽器端末２がその楽音信号を出力する時刻は、弦楽器端末１において弦楽器端末１自身の発音がされると予想される時刻ｔ₃＝（ｔ₀＋Ｔ₁）より、ｄ／２だけ早い時刻でなければならない。したがって、時刻ｔ₂＝（ｔ₀＋Ｔ₁）−ｄ／２において楽器端末２の楽音信号を出力すればよいことが分かる。楽器端末２においては時刻ｔ₀は知り得ないが、予測到達時間Ｔ₁とベロシティ値Ｖ₁が到達した時刻ｔ₁は、ネットワークの遅延を考慮すればｔ₀＋ｄ／２であるから、この関係を用いて時刻ｔ₂を求めることができる。すなわち、
ｔ₂＝（ｔ₁−ｄ／２＋Ｔ₁）−ｄ／２
＝Ｔ₁＋ｔ₁−ｄ
という演算で時刻ｔ₂を求めることができる。

ところで、楽器端末２の演奏者は、コンピュータのようにタイマを用いて演奏する訳ではないので、上述した時刻ｔ₂を意識して演奏を行うことはできない。すなわち、通常のセッションにおいては、相手の音を聞きながらリズムをとり、互いの演奏を重ねるだけである。したがって、同一タイミングの音符を同時に演奏するためには、弦楽器端末１の発音が時刻ｔ₂においてなされれば、その音を聞いた楽器端末２の演奏者も時刻ｔ₂にその音符の演奏を行うことができる。

しかしながら、図７に示すように、弦楽器端末１における発音は時刻ｔ₃であり、その音が楽器端末２で発音されるのは、ｄ／２秒後の時刻ｔ₄である。そこで、本実施形態においては、時刻ｔ₂において加工済ホワイトノイズデータを発音し、あたかも、時刻ｔ₂において弦楽器端末１の楽音が発音されたと感じられるようにしている。

すなわち、制御部２０は、時刻ｔ₂が到来すると、発音部２２に対してベロシティ値Ｖ₁に対応した音量で、加工済ホワイトノイズデータを発音させる。

加工済ホワイトノイズデータが発音された場合、その周波数特性が一般のギターの周波数特性になっていれば、その音はギター音のアタック部の音に極めて近似して聞こえる。このため、楽器端末２の演奏者は、加工済ホワイトノイズデータの発音を弦楽器端末１から送信された楽音信号の発音と思いこみ、この音にあわせて楽器端末２で演奏を行う。この楽器端末２の演奏に対応した楽音信号は弦楽器端末１へ送信され、ネットワークの遅延の半分の時間の後、すなわちｄ／２秒後である時刻ｔ₃において弦楽器端末１において発音される。このとき、弦楽器端末１においては、ピック１ａが撥弦部１ｂに到達し、楽音が発生する。このようにして、弦楽器端末１にて演奏した楽音と楽器端末２にて演奏された楽音とが、弦楽器端末１において同時刻に発音される。

一方、楽器端末２は、加工済ホワイトノイズデータの発音を開始してからｄ秒経過した時刻ｔ₄において、弦楽器端末１の楽音信号を受信する。このタイミングで、楽器端末２は、加工済ホワイトノイズデータの発音を停止し、加工済ホワイトノイズデータに代えて受信した楽音信号の発音を開始する。このとき、加工済ホワイトノイズデータを急に消音するのではなく、加工済ホワイトノイズデータと楽音信号とをクロスフェードさせて徐々に切り替えをする。

このようにクロスフェードすることによって、楽器端末２の演奏者は、加工済ホワイトノイズデータと実際の楽音信号とが自然につながっているように感じることができ、相手の音を違和感なく聞くことができる。

続いて、弦楽器端末１の演奏者が時刻ｔ₁₀において再度撥弦を行うと、弦楽器端末１の制御部１０は、前回と同様に、到達時間予測処理（図６のＳ１０２〜Ｓ１０４の処理）を行い、その結果、新たな予測到達時間Ｔ₂とベロシティ値Ｖ₂を楽器端末２に送信する。これらは、時刻ｔ₁₁において楽器端末２に受信され、制御部２０は前回と同様に、加工済ホワイトノイズデータを発音すべき時刻ｔ₁₂を決定し、この時刻ｔ₁₂が到来したときに、加工済ホワイトノイズデータを発音させる。

このとき、仮に弦楽器端末１における最初の楽音が長い場合は、楽器端末２において未だその楽音信号を再生している。本実施形態においては、このような場合は、楽音信号の再生を中止して、加工済ホワイトノイズデータの発音に切り替える。楽音信号の再生を中止する際には、中止すべき時刻ｔ₁₂が事前の演算によって分かっているので、不自然にならないような消音処理を行う。例えば、比較的自然な減衰曲線となるようなダンプ処理を行う。

楽器端末２の演奏者は、加工済ホワイトノイズデータが発音されることによって、次の音が始まったことを認識することができ、タイミングずれを感じることなく、セッションを継続することができる。

以上のようにすることで、楽曲の進行は楽器端末２の方がｄ／２だけ早いが、楽音が聞こえるタイミングについては、楽器端末２においては自身の楽音と弦楽器端末１の楽音は同時に聞こえ、また、弦楽器端末１においては自身の楽音と楽器端末２の楽音は同時に聞こえるから、良好なセッションを行うことができる。

なお、本実施形態においては、遅延量ｄは、予測到達時間よりも小さいという前提に立っている。すなわち、そのような関係を満足するように、前述の判定位置が設定され、予測到達時間が遅延量ｄを超えない範囲で推定されるように構成されている。

また、楽器端末２における加工済ホワイトノイズデータの発音については、弦楽器端末１から楽音信号が来なくても停止するようにしてもよい。通常は、予測到達時間とベロシティ値を受信した時刻から予測到達時間（Ｔ₁またはＴ₂）経過後に弦楽器端末１の楽音信号が到来するはずであるが、誤動作等により、予測到達時間の算出処理が行われたにもかかわらず、実際には演奏がなされなかったことが発生した場合に加工済ホワイトノイズデータは発音され続けないように、加工済ホワイトノイズデータの発音時間を予測到達時間（あるいはそれに近い時間）に制限するように制御することもできる。

＜変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
（変形例１）
上記実施形態では、弦楽器端末１としてアコースティックギターを用いて、マイクロフォン１２で集音した楽音を他の楽器端末２に送信するようにしたが、弦楽器端末１としてＭＩＤＩ（Musical Instrument Digital Interface；登録商標）エレクトリックギターを用い、ここで生成されるＭＩＤＩ形式等のデジタルデータを送信するようにしてもよい。
また、上記実施形態では、楽器とセッション端末とが一体となっていたが、セッション端末と楽器を別体で構成してもよい。

（変形例２）
また、上記実施形態では、加工済ホワイトノイズデータを発音するタイミングを受信側の楽器端末２で算出したが、送信側の弦楽器端末１で、発音タイミングを算出し、その発音タイミングを楽器端末２に送信するようにしてもよい。

（変形例３）
また、上記実施形態では、ベロシティ値を参照してその値に応じた音量で加工済ホワイトノイズデータを発音したが、ベロシティ値を使用せずに一定音量の加工済ホワイトノイズデータを発音するようにしてもよい。また、加工済ホワイトノイズデータは、一種類であってもよく、楽器の種類に応じて複数使用するようにしてもよい。または、ベロシティ値に応じた加工済ホワイトノイズデータを複数用意し、それらをベロシティ値に応じて選択して使用することも可能である。

また、上記実施形態では、加工済ホワイトノイズデータと実際の楽音信号とをクロスフェードするようにしたが、クロスフェードせずに加工済ホワイトノイズデータの発音を停止させた後に直ちに楽音信号の発音を行うようにしてもよい。

また、上記実施形態では、音を止めるタイミングの遅れが生じるのを回避するために、次の予測到達時間を受信すると現状発音している楽音信号の発音を停止するようにしたが、楽音信号の発音を停止せずに前の楽音信号と加工済ホワイトノイズデータを両方平行して発音するようにしてもよい。楽器や演奏曲の種類によっては、楽音が重なって聞こえても不自然ではない場合もあるためである。加工済ホワイトノイズデータと実際の楽音信号とをクロスフェードさせるか、それとも重ねて発音するかを演奏者が設定できるようにしてもよい。

楽音信号の生成処理を開始する判定条件については、上記実施例に限定されることなく自由に設定することができ、判定位置の設定についても、ネットワーク遅延量に応じて適宜設定すればよい。

（変形例４）
また、上述したセンサの種類や数は任意である。上記実施形態では、ピック１ａに磁石１５ｂを設けたが、ピック１ａではなく演奏者の指先（例えば演奏者の聞き手人差し指など）に取り付けるようにすることも可能である。また、撥弦部１ｂ付近に磁気センサ１５ａを設けたが、磁気センサ１５ａを設ける位置はこれに限らず、ピック１ａの位置を検知できる位置であればよい。

また、センサの種類としては、例えば、ＣＣＤセンサや超音波センサを使用することも可能である。ＣＣＤセンサを使用する場合は、演奏者の姿をＣＣＤカメラでとらえ、ピック１ａの位置と撥弦部１ｂの位置を認識するようにしてもよい。具体的には、ピック１ａ（または演奏者の聞き手人差し指）と弦楽器端末１の撥弦部１ｂにＬＥＤを取り付け、その輝点をリアルタイムに追従するようにしてもよい。

超音波センサを使用する場合は、弦楽器端末１の撥弦部１ｂ付近に超音波受信器を、ピック１ａ（または演奏者の人差し指）に超音波発信器をそれぞれ取り付け、ピック１ａ（または指）と弦楽器端末１との位置関係から、ピック１ａと撥弦部１ｂの相対的位置関係を計算するようにしてもよい。

（変形例５）
また、予測到達時間や予測速度の算出アルゴリズムも、上記実施例で示したものに限らない。上記実施例においては、ピック１ａの加速度を検出せず、検知位置におけるピック１ａの進行方向は撥弦部１ｂに対し直線であるとしたが、検知位置での速度に加えて加速度を算出し、この加速度を用いて予測速度を計算してもよい。

（変形例６）
さらに、テーブルに格納されるデータ内容は、演奏者が自由に設定することも可能である。例えば、演奏者が使用可能なピックの種類（先端部の形状、全体の重量等）に合わせて、それぞれベロシティ値が異なるテーブルを複数個備えていてもよい。ピックが異なれば到達時間や到達時の速度は微妙に変化し得るからである。この場合、演奏者がピックの種類を指定すると、制御部１０はそのピックに応じたテーブルを読み出して使用する。

（変形例７）
遅延量の取得方法としては、例えば、セッションを開始する直前に、ＴＣＰ／ＩＰネットワークにおいて用いられるネットワーク診断プログラムであるｐｉｎｇ（Packet Internet Groper）を用いて測定することとしてもよい。さらに、このようにして測定した遅延量を用いて実際に演奏を行い、ピック１ａが実際に撥弦部１ｂに到達して生成される楽音の発生タイミングと、演奏相手から受信した自己の楽音信号に基づいて発音された楽音の発音タイミングを比較し、適切な値であるかチェックしてもよい。取得した遅延量が実際のネットワーク遅延状態を正しく反映したものであれば両者は同時に発音され、そうでないならば発音タイミングがずれることになる。なお、相手から受信した楽音信号を比較するのは、予測した楽音信号に基づいて発音された楽音であってもよい。

また、タイミングのずれの検知は、演奏者が実際に耳で音を用いて行い、手動で遅延量を補正してもよい。この場合、発音タイミングのずれが認識できなくなるまでこの作業を繰り返す。あるいは、この修正作業を弦楽器端末１に行わせてもよい。例えば、相手の楽器端末から楽音信号を受信した時刻とピック１ａが撥弦部１ｂに到達した時刻とを比較し、時刻にずれがある場合、遅延量を所定値だけ変更して楽音信号を送信して比較作業をおこなう。これを繰り返し、ずれがなくなったら遅延量の修正を終了する。

更に、上述の遅延量の修正作業を演奏前だけでなく、例えば演奏中に逐次行ってもよい。例えば、一定の時間間隔で、演奏を行っている楽音信号を用いて弦楽器端末１に上述した比較作業を実行させる。そして、時刻のずれがある閾値を越えたら遅延量を補正し、以後の楽音信号の送信タイミングの決定にあたっては補正後の遅延量を用いることとしてもよい。遅延量の補正方法の一例としては、撥弦部１ｂに達した時刻をα、加工済ホワイトノイズデータを発音した時刻をβ、時刻ｔにおける遅延量をΔTｎ、誤差許容量をCとすると、｜α−β｜＞Cとなったとき、新たな遅延量ΔTｎ+1をΔTｎ+1＝（ΔTｎ+ΔTｎ+1）／２に再設定する。このように遅延量ΔTを変動可能な構成とすれば、ネットワーク状態が時間的に変動する環境であっても、セッションを成立させることができる。

（変形例８）
また、本発明はギター等の弦楽器端末に好適であるが、これらに限られるものではない。例えば、太鼓やドラム等の打楽器端末にも適用可能である。この場合、例えば演奏動作を予測すべきスティックの先端部に磁石１５ｂを取り付け、打楽器本体の打撃面に磁気センサ１５ａを取り付けておけばよい。あるいは、判定面に光学シャッタを取り付け、判定面を通過するスティックのタイミングおよび速度を検知してもよい。要は、実際に演奏が行われ（すなわち、スティック等の操作子が打撃面へ到達して）楽音信号生成処理および発音処理が行われる前に、スティック等の操作子の位置や速度といった情報が取得できればよい。

本実施形態に係るセッションシステムの全体構成を示すブロック図である。 同実施形態の弦楽器端末１の構成図である。 同実施形態の弦楽器端末１の位置検知部１５の構成を示す図である。 同実施形態のピック１ａの速度値とこれに対応する速度スケール値を対応付けて記憶したテーブルのデータ構成図である。 同実施形態の楽器端末２のハードウェア構成図である。 同実施形態の弦楽器端末１の動作を示すフローチャートである。 同実施形態のタイムチャートである。

符号の説明

１…弦楽器端末、２…楽器端末、１０，２０…制御部、２１…演奏操作検知部、２２…発音部、１３，２３…通信部、１４，２４…タイマ、１５…位置検知部、１６，２６…記憶部、ＡＧ…アコースティックギター（楽器部）。

Claims (8)

1. 通信ネットワークを介して楽音信号を送受信するセッション端末において、
   所定位置に対する操作子の打撃によって音を出す楽器部と、
   前記楽器部の発音を楽音信号に変換する変換手段と、
   前記操作子の運動状態を検知する検知手段と、
   前記検知手段によって検知された前記操作子の運動状態に基づいて、前記操作子が前記所定位置に到達するまでの到達時間を予測し、その到達時間から発音開始時間情報を生成して出力する発音開始時間予測手段と
   前記通信ネットワークを介して前記発音開始時間情報および前記楽音信号を送信する送信手段と、
   を有することを特徴とするセッション端末。
2. 通信ネットワークを介して楽音信号を送受信するセッション端末において、
   再生処理されることにより音を発音する音データを記憶する記憶手段と、
   前記通信ネットワークを介して前記楽音信号を受信するとともに、前記楽音信号の発音から消音までを一つの発音単位とした場合に、前記各発音単位毎に各楽音信号に先立って送信され各楽音信号の発音タイミングを指示する発音開始時間情報であって操作子の運動状態を検知することによって予測された到達時間に基づいて算出された発音開始時間情報を受信する受信手段と、
   前記受信手段によって受信された前記発音開始時間情報とネットワーク遅延量とに基づいて前記音データを発音する発音タイミングを決定し、前記記憶手段から読み出した前記音データを前記発音タイミングにおいて発音し、前記発音開始時間情報に対応している楽音信号が前記受信手段によって受信された場合には、前記音データの発音に代えて前記楽音信号を発音する発音制御手段と
   を有することを特徴とするセッション端末。
3. 前記ネットワーク遅延量を取得するネットワーク遅延量取得手段を有することを特徴とする請求項２記載のセッション端末。
4. 前記音データは、ホワイトノイズに対し所定のフィルタ特性が付与された加工済ホワイトノイズデータであることを特徴とする請求項２記載のセッション端末。
5. 前記発音制御手段は、前記音データの発音に代えて前記楽音信号を発音した後に、次に発音すべき楽音信号に対応する前記発音時間情報を前記受信手段が受信した場合には、前記楽音信号の発音を停止して、前記音データの発音を行うことを特徴とする請求項２または請求項４記載のセッション端末。
6. 前記楽音制御手段は、前記音データの発音から前記楽音信号の発音に移行する際には、クロスフェード処理を行うことを特徴とする請求項２または４記載のセッション端末。
7. 前記楽器部は弦を有し、前記所定位置は前記弦の特定位置に設定され、前記操作子が前記弦の特定位置を打撃することによって音を出すことを特徴とする請求項１記載のセッション端末。
8. 前記楽器部は、打楽器の打撃面を有し、前記打撃面を前記所定位置として、前記操作子が前記打撃面を打撃することにより音を出すことを特徴とする請求項１記載のセッション端末。

Images