以下、この発明の実施の形態を添付図面に従って詳細に説明する。
まず、本発明に係るライブ配信システムの概要について図1を用いて説明する。図1は、この発明に係るライブ配信システムの全体構成の一実施例を示したブロック図である。なお、ライブ配信システムとしてはこの図1に示す以外のものを有する場合もあるが、ここでは必要最小限の資源を用いた場合について説明する。
図1に示すライブ配信システムは、1乃至複数の生放送送信装置O(以下、送信装置)と、1乃至複数の生放送聴取装置R(以下、聴取装置)と、これらの各装置と通信ネットワーク(図示せず)を介して接続される生放送中継装置T(以下、中継装置)とからなる。この実施例に示すライブ配信システムにおいてはインターネットや専用線等の周知の通信ネットワークを介して、聴取者は聴取装置Rを操作することにより中継装置Tを介して多数の演奏者それぞれがライブ配信中である多数の曲の中から選択的に所望の曲のライブ配信を受けることのできる一方で、演奏者は送信装置Oを演奏操作することにより中継装置Tを介して自身が演奏する曲のライブ配信を同時に多数の聴取者に対して行うことのできるようになっている。
送信装置Oは、例えば電子楽器等の専用電子音楽装置やパーソナルコンピュータ等の汎用電子音楽装置などである。電子楽器である場合には、演奏者による楽器演奏操作に応じて生成される該演奏曲の曲データを、ストリーミングにて中継装置Tに対してリアルタイムに送信する(所謂ネット楽器)。パーソナルコンピュータである場合には、演奏者による歌唱をマイクで収録することによって生成される音声データや、演奏者自身が実際に行っている楽器演奏シーンなどをカメラで撮影することによって生成される映像データなどを、ストリーミングにて中継装置Tに対しリアルタイムに送信する。なお、演奏者の演奏操作に応じて生成される上記したような曲データ,音声データ,映像データ等を、ここでは演奏情報と呼ぶ。また、送信装置Oは、演奏前に演奏者により入力された曲情報や感性表現語情報を中継装置Tに送信し登録することができる。さらに、送信装置Oは、中継装置Tから画面情報を受信して後述するような各画面(図6〜図8参照)を表示することができる。
前記曲情報は、演奏者によりライブ配信する曲に付された曲名等の情報である。感性表現語情報は演奏者によりライブ配信する曲に付されたその曲にこめられた演奏者の気持ちを言葉(語句)で示す情報、より詳しくは演奏者が現在演奏している曲はどのような気持ちを込めて演奏しているのか、或いは現在どのような気持ち(心境)にある聴取者に対してその曲を聴いてもらいたいと思って演奏しているのかを示す情報である。この感性表現語情報は、例えば癒されたい聴取者向けの曲であれば「癒してあげる」、爽快な気分になりたい聴取者向けの曲であれば「爽快にしてあげる」、元気付けてほしい聴取者向けの曲であれば「明るく元気に」などといったものであり、演奏者は演奏中(ライブ配信中)の曲を聴いた聴取者がうけるであろう曲のイメージや印象などを考慮して任意に入力し得る。
中継装置Tは例えばコンピュータ等のサーバ装置であって、各送信装置Oからストリーミングにて送信された演奏情報を各聴取装置Rへと中継するための機器、つまりは通信ネットワークを介した生放送(ライブ配信)を制御する機器である。この中継装置Tには送信装置Oから送信される曲情報及び感性表現語情報を各送信装置O固有の機器IDなどと共に登録しておくことができ、送信装置Oから演奏情報(機器IDを含む)が送信された場合には当該演奏情報に前記登録済みの曲情報及び感性表現語情報とを機器IDによって関連付けることができる。中継装置Tは、前記関連付けられた演奏情報を当該曲の配信を希望する聴取者(聴取装置R)に対して配信する。また、中継装置Oは後述するような各画面(図6〜図8参照)を表示するための画面情報や各画面の表示内容(具体的には、演奏者数、聴取者数、共感者数、同じ気持ちの演奏を求めている人の数、気持ち、曲名など)を更新する画面情報を送信装置Oや聴取装置Rに対して送信する。
さらに、中継装置Tは各送信装置Oから送信された感性表現語情報に基づき、生放送を行っている各演奏者の数を気持ち毎に集計し、その集計結果である気持ち毎の演奏者数を送信装置O及び聴取装置Rへと提示する。具体的には、演奏者により登録された感性表現語情報に基づき同じ気持ちの曲をライブ配信中である演奏者の数を気持ち毎に集計する。また、中継装置Tは、聴取者による曲選択に応じて各聴取装置Oから送信される選択情報(曲名及び気持ち)に基づいて、前記選択曲を聴いている同じ気持ちの聴取者の数を気持ち毎に集計する。そして、それらの集計結果を送信装置Oや聴取装置Rに送ることができる(上記の画面情報として)。
聴取装置Rは例えば電子楽器等の専用電子音楽装置やパーソナルコンピュータ等の汎用電子音楽装置などであって、中継装置Tから提示される気持ち毎の演奏者数やその気持ちの曲を聴いている聴取者数を各気持ち毎に表示する。聴取装置Rを操作するユーザ(聴取者)は、表示されたライブ配信中の曲の気持ちの中からユーザ自身の気持ちに合致する曲を聴取したい曲として選択することができる。そのために、聴取装置Rは、中継装置Tから画面情報を受信して後述する各画面(図6,図7参照)を表示する。そして、聴取装置Rは聴取者による曲選択に応じて中継装置Tに対し該選択された曲のライブ配信を要求し、演奏者の演奏操作に応じて生成される前記選択曲に関する演奏情報を中継装置Tを介してストリーミングにて受信する。また、聴取装置Rは、聴取者により入力された演奏者に演奏してほしい気持ち(ユーザ感性情報)や曲に共感した旨を表す共感情報を中継装置Tに送信して登録することもできる。
なお、この実施形態において、送信装置Oは聴取装置Rも兼ねることができる。すなわち、送信装置Oとして動作するときは例えば演奏者の演奏操作に応じて生成される曲データ,音声データ,映像データなどの演奏情報をストリーミング送信により中継装置Tへと送信する一方で、聴取装置Rとして動作するときは中継装置Tから前記演奏情報をストリーミング受信する。したがって、送信装置Oとして動作するときであっても、他の演奏者によってライブ配信されている曲(演奏情報)を中継装置Tを介して取得することもできる。
次に、上記した送信装置O,中継装置T,聴取装置Rのハード構成の一実施例について説明する。図2は、上記各装置いずれか1つの全体構成の一実施例を示すハード構成ブロック図である。ただし、上記各装置は同じようなハード構成を用いるものとして説明することができることから、ここでは代表として送信装置Oの図を1つだけ用いて説明する。
当該装置は、マイクロプロセッサユニット(CPU)1、リードオンリメモリ(ROM)2、ランダムアクセスメモリ(RAM)3からなるマイクロコンピュータによって制御される。CPU1は、この装置全体の動作を制御するものである。このCPU1に対して、データ及びアドレスバス1Dを介してROM2、RAM3、検出回路4,5、表示回路6、音源・効果回路7、記憶装置8、通信インタフェース(I/F)9がそれぞれ接続されている。
ROM2は、CPU1により実行あるいは参照される各種制御プログラムや各種データ等を格納する。RAM3は、CPU1が所定のプログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを一時的に記憶するメモリ等として使用される。RAM3の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、テンポラリメモリなどとして利用される。
演奏操作子4Aは楽音の音高を選択するための複数の鍵を備えた例えば鍵盤等のようなものであり、各鍵に対応してキースイッチを有しており、この演奏操作子4A(鍵盤等)は演奏者自身の手弾きによるマニュアル演奏のために使用することは勿論のこと、演奏操作に応じて発生され通信ネットワークXにおいてライブ配信される曲データ等(演奏情報)に関連付ける感性表現語情報の選択(後述する図8参照)や動作モード設定などのために使用することもできる。検出回路4は、演奏操作子4Aの各鍵の押圧及び離鍵を検出することによって検出出力を生じる。
設定操作子(スイッチ等)5Aは、演奏操作に応じて発生され通信ネットワークXにおいてライブ配信される曲データ等(演奏情報)に関連付ける感性表現語情報を選択する選択スイッチ、例えば当該電子楽器の動作モードを生放送送信モード又は生放送聴取モードに設定するモードスイッチ、生放送開始/終了指示を指示する生放送開始ボタンや生放送終了ボタン、あるいは演奏を行う際の音高、音色、効果等の楽音制御に関する各種設定(パラメータ)を決定するためのスイッチ類、後述する各画面に表示された項目のいずれかに操作の度に順次にカーソルを位置づけるインクリメントボタンやディクリメントボタン、前記カーソルが位置づけられた項目に決定するEnterボタンなどの各種の操作子を含んで構成される。
勿論、設定操作子5Aは上記した以外にも音高、音色、効果等を選択・設定・制御するための数値データ入力用のテンキーや文字データ入力用のキーボード、あるいはディスプレイ6Aに表示されたポインタなどを操作するマウス等の各種操作子を含んでいてもよい。検出回路5は、上記設定操作子5Aの操作状態を検出し、その操作状態に応じたスイッチ情報等をデータ及びアドレスバス1Dを介してCPU1に出力する。
表示回路6は例えば液晶表示パネル(LCD)やCRT等から構成されるディスプレイ6Aに、後述する各種画面(図6〜図8参照)を表示するのは勿論のこと、楽音制御に関する各種設定の設定状況、ROM2や記憶装置8に記憶されている各種データあるいはCPU1の制御状態などを表示する。また、演奏者自身の演奏操作態様や他の演奏者の演奏操作態様などを映像データに基づき動画等により表示できてもよい。なお、ディスプレイ6Aは画面上でタッチ操作可能な所謂タッチパネルであってもよい。
音源・効果回路7は複数のチャンネルで楽音信号の同時発生が可能であり、データ及びアドレスバス1Dを経由して与えられた、ユーザによる演奏操作に応じて生成される演奏情報(及び/又は通信ネットワークXを介してライブ配信される演奏情報)を入力し、これらの演奏情報に基づいて楽音を発生する。さらには、該発生した楽音に対して適宜に各種の音響効果を付与する。音源・効果回路7から発生される楽音は、アンプやスピーカなどを含むサウンドシステム7Aから発音される。こうした音源・効果回路7とサウンドシステム7Aの構成には、従来のいかなる構成を用いてもよい。例えば、音源・効果回路7はFM、PCM、物理モデル、フォルマント合成等の各種楽音合成方式のいずれを採用してもよく、また専用のハードウェアで構成してもよいし、DSP(Digital Signal Processor)やCPU1によるソフトウェア処理で構成してもよい。
記憶装置8は、各種データの他、CPU1が実行する各種制御プログラム等を記憶する。なお、上述したROM2に制御プログラムが記憶されていない場合、この記憶装置8(例えばハードディスク)に制御プログラムを記憶させておき、それをRAM3に読み込むことにより、ROM2に制御プログラムを記憶している場合と同様の動作をCPU1に実行させることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、記憶装置8はハードディスク(HD)に限られず、フレキシブルディスク(FD)、コンパクトディスク(CD‐ROM・CD‐RAM)、光磁気ディスク(MO)、あるいはDVD(Digital Versatile Disk)等の様々な形態の記憶媒体を利用する記憶装置であればどのようなものであってもよい。あるいは、フラッシュメモリなどの半導体メモリであってもよい。
通信インタフェース(I/F)9は、当該装置と1乃至複数の外部の他の装置Z(送信装置Oや聴取装置Rの場合には中継装置T、中継装置Tの場合には送信装置Oや聴取装置Rが相当する)との間で制御プログラムや、曲データ,音声データ,映像データなどの演奏情報やその他の各種情報を通信ネットワークXを介して送受信するためのインタフェースである。この通信インタフェース9は、例えばLAN,インターネット,電話回線等の通信ネットワークXに接続可能であればよく、また有線あるいは無線のものいずれかでなく双方を具えていてよい。なお、多数の他の装置Zが通信ネットワークXに接続されうることは言うまでもない。
なお、上述した実施例において、演奏操作子4Aは鍵盤楽器の形態に限らず、弦楽器や管楽器あるいは打楽器等どのようなタイプの形態でもよい。また、電子楽器は演奏操作子4Aやディスプレイ6Aあるいは音源・効果回路7などを1つの装置本体に内蔵したものに限らず、それぞれが別々に構成され、MIDIインタフェースや各種ネットワーク等のインタフェースを用いて各装置を接続するように構成されたものであってもよいことは言うまでもない。
なお、送信装置O(又は聴取装置R)は電子楽器に限らず、パーソナルコンピュータやカラオケ装置又は電子ゲーム装置あるいはその他のマルチメディア機器等のユーザ操作に応じて生成される曲データ,音声データ,映像データ等を、通信ネットワークXを介してストリーミングにより中継装置Tとの間でリアルタイムに送信(又は受信)できるものであればどのような装置・機器であってもよい。
なお、中継装置Tにおいては検出回路4及び演奏操作子4A、音源・効果回路7及びサウンドシステム7A等を有していなくてもよいし、また聴取装置Rにおいては検出回路4及び演奏操作子4Aを有していなくともよい。
上述したような通信ネットワークXに接続可能な送信装置Oは、それぞれが演奏者の演奏操作にあわせて生成される例えば曲データを通信ネットワークXを介してライブ配信することができ、他方、聴取装置Rは送信装置からライブ配信されている多数の曲の中から所望の曲の曲データをリアルタイムに取得して曲を再生することができるようになっている。そこで、こうした曲のライブ配信(生放送)に関する処理について、図3〜図5を用いて説明する。
図3は、「生放送送信処理」の一実施例を示すフローチャートである。当該処理は、電子楽器やパーソナルコンピュータ等を送信装置Oとして機能させるための処理であって、例えばユーザによる生放送送信モードの設定に応じて開始される。生放送送信モードに設定したユーザは、自らが演奏操作子4Aなどを操作することによって演奏した曲を通信ネットワークXを介してより多くの聴取者に対してリアルタイムにストリーミング配信(ライブ配信)する演奏者となる。
ステップS1は、中継装置Tから「現在演奏されている音楽の気持ち画面」(図6参照)の画面情報(気持ち一覧データ)の受信に応じて、当該画面をディスプレイ6Aに表示する。前記画面情報は、中継装置Tによって集計される気持ち毎の演奏者数及び聴取者数を含む。また、定期的に中継装置Tにアクセスした際に前記画面を更新するための画面情報を受信した場合には、当該画面の表示(気持ち、演奏者数、聴取者数)を更新する。これにより、表示される演奏者数や聴取者数がほぼリアルタイムに反映されるし、また新しい気持ちが新規に追加されたり、演奏している人がだれもいなくなってしまった気持ちが画面から削除されたりする。ステップS2は、前記表示された「現在演奏されている音楽の気持ち画面」において演奏者によりいずれかの気持ちが選択されたか否かを判定する。
「現在演奏されている音楽の気持ち画面」においていずれかの気持ちが選択されたと判定した場合には(ステップS2のYES)、中継装置Tから選択した気持ちに対応する「曲一覧画面」(図7参照)の画面情報(曲一覧データ)を取得して当該画面をディスプレイ6Aに表示する。この「曲一覧画面」表示も定期的に更新される。ステップS4は、演奏者により選択された気持ちを演奏者が曲に込める気持ちとして中継装置Tに送信して登録する。
ここで、前記「現在演奏されている音楽の気持ち画面」及び「曲一覧画面」について説明する。図6は、「現在演奏されている音楽の気持ち画面」の一実施例を示す概念図である。図7は、「曲一覧画面」の一実施例を示す概念図である。これらの画面は、演奏者側と聴取者側の両方の装置で表示されうる共通の画面であって、通信ネットワークX上において現在ライブ配信中の曲を各曲にこめられた演奏者の気持ち毎に分けて提示する。
図6に示すように、「現在演奏されている音楽の気持ち画面」Aは、各曲にこめられた演奏者の気持ちBを表示すると共に、各気持ちB毎に同じ気持ちがこめられた曲を演奏中の演奏者の数とそれらの曲を聴いている聴取者の数とを表示する。ここに示す例では、「励ましてあげる」、「痛めつけてあげる」、「もっとあげあげで」、「癒してあげる」といった4つの異なる気持ちが感性表現語により表示されており(勿論、より多数である場合には画面をスクロールすることにより他の気持ちを表示可能である)、そのうちの例えば「励ましてあげる」という気持ちをこめて曲を演奏している演奏者が「12人」いること、また「励ましてあげる」という気持ちがこめられた曲を聴いている聴取者が「43人」いることが示されている。すなわち、気持ちB毎にその気持ちがこめられた曲を提供している演奏者の数とその気持ちがこめられた曲のライブ配信をうけている聴取者の数とが表示されており、これらの演奏者数と聴取者数とは通信ネットワークXを介して曲をライブ配信している演奏者又は通信ネットワークXを介して曲のライブ配信をうけている聴取者の増減に応じてリアルタイムに更新されるようになっている。
上記「現在演奏されている音楽の気持ち画面」Aがディスプレイ6Aに表示されている際に、ユーザは例えば画面の近傍に設けられたインクリメントボタンやディクリメントボタンなどの操作子Cを使って、画面上のカーソルKを所望の気持ちに位置づけてからEnterボタンDを押下する、あるいはディスプレイ6Aがタッチパネルであれば画面上において前記所望の気持ちに直接触れることによって気持ちを選択することができ、該選択した気持ちがこめられた曲を一覧提示する「曲一覧画面」E(図7参照)に表示を変更することができるようになっている。ここでは一例として、上記「現在演奏されている音楽の気持ち画面」Aにおいて「励ましてあげる」が選択された場合の表示例を示した。
図7に示すように、「曲一覧画面」Eは上記「現在演奏されている音楽の気持ち画面」Aにおいて選択された演奏者の気持ち(ここでは「励ましてあげる」)を画面上部に表示すると共に、選択された気持ちがこめられているライブ配信中のそれぞれ演奏者が異なる1乃至複数の曲の曲名F(曲情報)を表示する。ここに示す例では、「今とてもハッピー」、「俺の歌を聴け」、「アラフォーGOGO!」、「無題」といった曲名の4つの曲が表示されている(勿論、より多数、例えば図7においては「励ましてあげる」曲を演奏している演奏者が12人おり曲名数が12曲である場合には画面をスクロールすることにより他の曲を表示可能である)。また、各曲名Fに対応してその曲のライブ配信をうけている聴取者の数とその曲にこめられた気持ちに共感を抱いた共感者の数とが表示されている。例えば「励ましてあげる」という気持ちがこめられた「アラフォーGOGO!」という曲名の曲を聴いている聴取者が「24人」いること、またその曲に共感した共感者が24人中「20人」いることが示されている。聴取者数は通信ネットワークXを介して当該曲のライブ配信をうけている聴取者の増減に応じてリアルタイムに更新され、共感者数は聴取者が任意にその曲に共感したことを表す共感情報を入力することによって更新される。
ユーザはインクリメントボタンやディクリメントボタンなどの操作子Cを使って、画面上のカーソルKを所望の曲名に位置づけてからEnterボタンDを押下するなどの操作を行うことによってライブ配信をうける曲を選択することができるようになっている(ただし、1つの装置が送信装置Oと聴取装置Rとを兼ねる場合には、生放送送信モードでない場合のみ上記曲選択操作が可能となっている)。なお、図示しない「気持ち一覧に戻る」ボタンの操作により「曲一覧画面」Eから「現在演奏されている音楽の気持ち画面」Aに戻ることができるようになっている。
図3の説明に戻って、「現在演奏されている音楽の気持ち画面」においていずれかの気持ちが選択されていないと判定した場合には(ステップS2のNO)、中継装置Tから「演奏が求められている気持ち画面」(図8参照)の画面情報(演奏が求められている気持ち一覧データ)を取得して当該画面をディスプレイ6Aに表示する(ステップS5)。ステップS6は、演奏者によりライブ配信中のどの曲にも未だ込められていない新規の気持ちを追加入力する操作がなされたか否かを判定する。演奏者による新規の気持ちを追加入力する操作としては、例えば図8に示す「演奏が求められている気持ち画面」に表示されている気持ちから選択する操作、あるいは図示を省略したが「新規の気持ちを追加する」ボタンを押す操作などがあり、これらの操作がなされていないと判定した場合には(ステップS6のNO)、ステップS1の処理に戻る。新規の気持ちを追加入力する操作がなされたと判定した場合には(ステップS6のYES)、追加する気持ちを表す言葉(語句)を入力し、該入力された気持ちを演奏者が曲に込めた気持ちとして記憶する。
前記「演奏が求められている気持ち画面」について、図8を用いて説明する。図8は、「演奏が求められている気持ち画面」の一実施例を示す概念図である。
図8に示すように、「演奏が求められている気持ち画面」Gは演奏を求めている聴取者の気持ちHを表示すると共に、同じ気持ちを持っている聴取者の数を表示する。ここに示す例では、「励まして欲しい」、「痛めつけて欲しい」、「もっとあげあげで」、「癒して欲しい」といった4つの異なる気持ちが感性表現語により表示されており(勿論、より多数である場合には画面をスクロールすることにより他の気持ちを表示可能である)、そのうちの例えば「励まして欲しい」という気持ちがこめられた曲のライブ配信を演奏者に望んでいる聴取者が「123人」いることが示されている。すなわち、聴取者の現在の心境(気持ち)に対応する気持ちH毎にその気持ちがこめられた曲のライブ配信を望んでいる聴取者の数が表示されており、この聴取者数は通信ネットワークXを介して曲のライブ配信をうけようとする聴取者による演奏を求める旨(ユーザ感性情報)の入力状況に応じてリアルタイムに更新されるようになっている。こうした演奏者に演奏してもらいたい同じ気持ちを持っている聴取者数の集計は、中継装置Tによって行われる。
演奏者はインクリメントボタンやディクリメントボタンなどの操作子Cを使って、画面上のカーソルKを所望の聴取者の気持ちに位置づけてからEnterボタンDを押下するなどの操作を行うことによってライブ配信する曲にこめる気持ちを決定することができるようになっている。
図3の説明に戻り、ステップS8は、演奏者による入力操作にあわせて演奏する曲の曲名を入力(記憶)する。ただし、演奏者にとって曲名入力操作は必須ではなく、演奏者が曲名の入力操作を行わなかった場合には曲名として「無題」が自動的に入力(記憶)される。ステップS9は、演奏者により例えば生放送開始ボタンが押されるなどの生放送開始指示がなされたか否かを判定する。生放送開始指示がなされていないと判定した場合には(ステップS9のNO)、当該ステップS9の処理を繰り返すことで生放送開始指示があるまで処理を進行させることなく待機状態とする。他方、生放送開始指示がなされたと判定した場合には(ステップS9のYES)、演奏者により入力された演奏する曲の気持ち(感性表現語情報)や曲名(曲情報)を中継装置Tに対して送信することによりこれらを登録する(ステップS10)。ステップS11は、演奏者による楽器の操作や自らが歌唱するなどの演奏操作に応じて生成される演奏情報を中継装置Tに対してストリーミング送信する。ステップS12は、中継装置Tから「曲詳細画面」(図示せず)の画面情報(曲詳細画面データ)を取得して当該画面をディスプレイ6Aに表示する。
前記「曲詳細画面」には、演奏者によって入力された前記ストリーミング送信している曲の気持ちや曲名の他、聴取装置Rを操作し前記ストリーミング送信した曲を聴いている聴取者からの共感情報やコメントなどが反映される。「曲詳細画面」は定期的に更新されるので、送信装置Oを操作してライブ配信を行なっている演奏者は「曲詳細画面」を演奏操作しながら見ることで、自身が演奏操作している曲が聴取者にどのように共感してもらえているか、どのように感じられているか、などの聴取者の当該曲に対する反応を確認しながらライブ配信を行うことができるようになる。なお、同じ気持ちの曲をライブ配信している他の演奏者の演奏操作による曲と自分の演奏操作による曲とで、聴取者の反応(具体的には聴取者数や共感数など)がどのように異なるのかを比較確認することのできるように、自分の演奏操作に関する曲詳細画面から曲一覧画面へと画面表示をすぐに切り替えることができるようになっていてよい。
ステップS13は、演奏者により例えば生放送終了ボタンが押されるなどの生放送終了指示がなされたか否かを判定する。生放送終了指示がなされていないと判定した場合には(ステップS13のNO)、ステップS10の処理に戻ってステップS10〜S13までの処理を繰り返す。生放送終了指示がなされたと判定した場合には(ステップS13のYES)、中継装置Tへの演奏情報のストリーミング送信を終了し、またライブ配信を終了した旨を中継装置Tに対して送信する(ステップS14)。当該処理終了後には、ステップS1の処理に戻る。
図4は、「生放送中継処理」の一実施例を示すフローチャートである。当該処理は中継装置Tにより実行される処理であって、中継装置Tの起動操作に応じて開始される。ステップS21は、送信装置Tからのアクセスがあったか否かを判定する。送信装置Tからのアクセスがあったと判定した場合には(ステップS21のYES)、ステップS22〜S24までの処理を行う。他方、送信装置Tからのアクセスがなかったと判定した場合には(ステップS21のNO)、聴取装置Rからのアクセスがあったか否かを判定する(ステップS25)。聴取装置Rからのアクセスがあったと判定した場合には(ステップS25のYES)、ステップS26〜S30までの処理を行う。
送信装置Tからのアクセスがあった場合の処理として、ステップS22は送信装置Tから送信された曲の気持ち(感性表現語情報)及び曲名(曲情報)の受信に応じて、「現在演奏されている音楽の気持ち画面」(図6参照)、「曲一覧画面」(図7参照)の各画面を更新するための画面情報を各装置に対し送信すると共に、「曲詳細画面」(図示せず)の画面情報を新規に作成しておく。具体的には、「現在演奏されている音楽の気持ち画面」に関し演奏者数を増加させたり、受信した曲の気持ちが新規であれば当該気持ちを追加したりする、「曲一覧画面」に関し曲名を追加したりするために、また「曲詳細画面」を表示することのできるように、各画面情報を更新あるいは新規に生成する。
ステップS23は、送信装置Oからストリーミング送信された演奏情報を受信することに応じて、当該受信した演奏情報を聴取装置Rにストリーミング配信するため、所定時間分バッファリングする。バッファ内に保持される演奏情報は送信装置Oからの演奏情報の送信に応じて随時に更新される。ステップS24は、送信装置Oからの特定の曲のストリーミング送信終了通知の受信に応じて、「現在演奏されている音楽の気持ち画面」(図6参照)、「曲一覧画面」(図7参照)の各画面情報を更新すると共に、当該曲に関する「曲詳細画面」(図示せず)の画面情報を消去する。具体的には、「現在演奏されている音楽の気持ち画面」に関し演奏者数を減少させたり、同じ気持ちの曲をライブ配信している他の演奏者が一人もいなくなっていれば当該気持ちを削除したりする、「曲一覧画面」に関し曲名を削除したりするために、また「曲詳細画面」を表示することのないように、各画面情報を更新あるいは削除する。
一方、聴取装置Rからのアクセスがあった場合の処理として、ステップS26は聴取装置Rから送信された「現在演奏されている音楽の気持ち画面」(図6参照)の表示又は更新要求の受信に応じて、当該画面の画面情報(気持ち一覧データ)を要求のあった聴取装置Rに対して送信する。ステップS27は聴取装置Rから送信された「曲一覧画面」(図7参照)の表示又は更新要求の受信に応じて、当該画面の画面情報(曲一覧データ)を要求のあった聴取装置Rに対して送信する。ステップS28は聴取装置Rから送信された「演奏が求められている気持ち画面」(図8参照)の表示又は更新要求の受信に応じて、当該画面の画面情報(演奏が求められている気持ち一覧データ)を要求のあった聴取装置Rに対して送信する。なお、ここに示したフローチャートには図示していないが、生放送送信装置Oから気持ち一覧、曲一覧、求められている気持ち一覧の要求があったときは、ステップS26〜S28と同様の処理を実行する。
ステップS29は、聴取装置Rから曲の再生要求を受信することに応じて、要求のあった聴取装置Rに対して指定された曲の「曲詳細画面」(図示せず)の画面情報(曲詳細画面データ)を送信すると共に、バッファリングした当該曲の演奏情報を送信する。また、「現在演奏されている音楽の気持ち画面」(図6参照)及び「曲一覧画面」(図7参照)の聴取者数を更新するための画面情報を全ての送信装置O及び聴取装置Rに対して送信する。ステップS30は、聴取装置Rから送信された共感情報や任意コメントを受信することに応じて、「曲一覧画面」(図7参照)の共感者数を更新するための画面情報を全ての送信装置O及び聴取装置Rに対して送信すると共に、前記受信した任意のコメントを「曲詳細画面」(図示せず)に追加表示した画面情報を当該曲の「曲詳細画面」を表示している送信装置Oに対して送信する。ステップS31は、聴取装置Rから曲再生を終了する旨を受信することに応じて、当該聴取装置Rに対する前記曲(演奏情報)のストリーミング配信を終了し、「現在演奏されている音楽の気持ち画面」(図6参照)及び「曲一覧画面」(図7参照)の聴取者数を更新するための画面情報を全ての送信装置O及び聴取装置Rに対して送信する。
図5は、「生放送聴取処理」の一実施例を示すフローチャートである。当該処理は電子楽器やパーソナルコンピュータ等を聴取装置Rとして機能させるための処理であって、例えばユーザによる生放送聴取モードの設定に応じて開始される。ステップS41は、通信ネットワークXを介して接続されている中継装置Tから「現在演奏されている音楽の気持ち画面」(図6参照)の画面情報(気持ち一覧データ)の受信に応じて、当該画面をディスプレイ6Aに表示する。また、定期的に中継装置Tにアクセスして前記画面を更新するための画面情報を受信した場合には、当該画面(気持ち、演奏者数、聴取者数)を更新する。これにより、表示される演奏者数や聴取者数がほぼリアルタイムに反映されるし、また新しい気持ちが新規に追加されたり、演奏している人がだれもいなくなってしまった気持ちが削除されたりする。
ステップS42は、前記表示された「現在演奏されている音楽の気持ち画面」においていずれかの気持ちが選択されたか否かを判定する。「現在演奏されている音楽の気持ち画面」においていずれかの気持ちが選択されたと判定した場合には(ステップS42のYES)、生放送中継装置Tから選択した気持ちに対応する曲の「曲一覧画面」(図7参照)の画面情報(曲一覧データ)を取得して、当該画面をディスプレイ6Aに表示する(ステップS43)。すなわち、選択された気持ちをキーワードとして曲の検索が行われる。なお、この「曲一覧画面」表示も定期的に更新される。
一方、「現在演奏されている音楽の気持ち画面」においていずれの気持ちも選択されていないと判定した場合には(ステップS42のNO)、演奏者に対して演奏を希望する気持ちが入力されたか否かを判定する(ステップS44)。演奏を希望する気持ちが入力されていないと判定した場合には(ステップS44のNO)、ステップS41の処理に戻る。演奏を希望する気持ちが入力されたと判定した場合には(ステップS44のYES)、中継装置Tに対して選択した気持ちに対応する曲の演奏を求める旨を通知する(ステップS45)。当該通知に基づき、中継装置Tにおいて「演奏が求められている気持ち画面」(図8参照)の画面情報の生成・更新が行われる。その後、ステップS41の処理に戻る。すなわち、ここで入力される気持ちは、聴取者として「癒されたい」、「爽快になりたい」、「明るく元気になりたい」などといったユーザ個人の現在の心境(気持ち)に対応する感性表現語情報であって、「演奏が求められている気持ち画面」(図8参照)に反映されるものである。
ステップS46は、「曲一覧画面」(図7参照)から聴取者による曲の選択が行われたか否かを判定する。すなわち、聴取者により「曲一覧画面」に表示されている現在ライブ配信されている曲の中から聴きたい曲の選択が行われたか否かを判定する。曲の選択が行われていないと判定した場合には(ステップS46のNO)、例えば「気持ち一覧に戻る」ボタン(図示せず)を操作するなどの「現在演奏されている音楽の気持ち画面」(図6参照)に戻る操作が行われたか否かを判定する(ステップS54)。前記戻る操作が行われたと判定した場合には(ステップS54のYES)、ステップS41の処理に戻って「現在演奏されている音楽の気持ち画面」を表示する。前記戻る操作が行われていないと判定した場合には(ステップS54のNO)、ステップS46の処理に戻る。
曲の選択が行われたと判定した場合には(ステップS46のYES)、中継装置Tに対して選択された曲のストリーミング配信を要求する(ステップS47)。ステップS48は、中継装置Tから前記選択した曲の「曲詳細画面」(図示せず)の画面情報(曲詳細画面データ)を取得して当該画面をディスプレイ6Aに表示する。当該画面は定期的に更新される。ステップS49は、中継装置Tから演奏情報を受信してストリーミング再生することによりライブ配信を受ける。ステップS50は、聴取者により共感情報や任意コメントが入力されたか否かを判定する。共感情報や任意コメントが入力されたと判定した場合には(ステップS50のYES)、入力された共感情報や任意コメントを中継装置Tに対して送信する(ステップS51)。すなわち、聴取者であるユーザが再生されている曲を聴いて共感した場合や、演奏者に対して任意のコメントを投稿したくなった場合、ユーザは例えば「共感した」ボタン(図示せず)を押す、任意のコメントを入力した後に「コメント投稿」ボタン(図示せず)を押すことによって、中継装置Tに対して共感情報やコメントを送信することができる。これらの送信された共感情報や任意コメントは、中継装置Tによって「曲詳細画面」(図示せず)に反映される。また、共感情報については「曲一覧画面」(図7参照)の共感者数としても反映される。
ステップS52は、聴取者により例えば「再生終了」ボタン(図示せず)が操作されるなどの再生終了指示(強制的な終了指示)がなされたか否かを判定する。再生終了指示がなされていないと判定した場合には(ステップS52のNO)、ステップS49の処理に戻る。再生終了指示がなされたと判定した場合には(ステップS52のYES)、ストリーミング再生を終了して、終了した旨を中継装置Tに対して送信する(ステップS53)。その後、ステップS46の処理に戻る。なお、再生中の曲を最後まで聴取した場合の再生終了時においては、自動的に当該曲のストリーミング配信を終了し、その旨を中継装置Tに対して送信する。
以上のように、本発明に係るライブ配信システムでは、通信ネットワークを介して各装置間において曲を送受信する際に、個々の聴取者の心境(気持ち)にあった曲を演奏者による演奏操作にあわせてライブ(リアルタイム)配信することのできるようにしている。すなわち、生演奏聴取装置を操作する聴取者が通信ネットワークを介してライブ配信される曲に望む感性表現語を入力することに応じて、生演奏中継装置により該入力された聴取者それぞれがライブ配信される曲に望む感性表現語を提示させることにより、生演奏送信装置を操作する演奏者はその提示を見て、聴取者が現在どのような曲を聴きたいかを把握することができる。
また、生演奏中継装置はライブ配信中の曲に関して演奏者数や聴取者数をそれぞれ集計して生演奏送信装置や生演奏聴取装置に配信することにより、聴取者は聴きたい曲を選ぶ際の参考とすることができる一方で、演奏者は提供する曲を決める際の参考とすることができる。そして、生演奏聴取装置において聴取者がライブ配信中の曲に共感したことを表明すると、生演奏中継装置は同じ感性表現語に分類されたライブ配信中の曲毎に聴取者数及びその曲に共感した共感者数をそれぞれ集計して生演奏送信装置や生演奏聴取装置に配信することにより、演奏者は自らが演奏中の曲に対する聴取者の反応を他の演奏者の曲と比べることができる。
このようにして、通信ネットワークを介して同時に多数の装置に対して、演奏者の演奏操作にあわせて演奏される曲をストリーミングにより送受信するライブ配信を行う場合に、演奏者は聴取者が曲に望む感性を随時に把握しながらライブ配信することができるようになる一方、聴取者は現在の心境にあった曲の配信をタイムリーにうけることができるようになる。