JP7216394B2 - ライブ演出システム、およびライブ演出方法 - Google Patents

Description

本発明は、ライブ演出システム、およびライブ演出方法に関する。

近年、頭部に表示装置を装着するヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）の開発が進められている。そして、このようなヘッドマウントディスプレイは、ＶＲ（ヴァーチャルリアリティ）に応用されつつあり、例えばゲームやスポーツの観戦への用途への開発が進められている。

また、近年、脳活動を測定した信号から信号処理や情報処理により操作命令を抽出して、機器操作やコンピュータ入力を行うブレイン‐コンピュータ・インタフェース（ＢＣＩ）技術が研究開発されている。なかでも脳波を用いた非侵襲ＢＣＩ技術は、外科手術を要せず日常で使用できる技術として期待されている。

ＢＣＩとして脳波を用いる例としては、ヘッドマウントディスプレイでＶＲライブ視聴時の脳波に応じてライブに視覚的効果を生成させるエンターテイメントシステムの開発が行われている（例えば非特許文献１参照）。非特許文献１に記載のシステムでは、ユーザの脳波に連動して仮想ライブ映像に視覚的エフェクトを出現させで仮想ライブシステムを実現している。

また、コンピュータ・インタフェースに心拍を用いる例としては、ユーザが画像を見た時の心拍に基づいて、画像に対する処理を行う画像処理装置が提案されている（例えば特許文献１参照）。

今後、ヘッドマウントディスプレイによる仮想ライブシステムは、自宅にいながらライブ参加ができ、コンサート施設の不足や、コンサート施設バリアフリー化の遅れの問題を解決することが期待されている。また、仮想ライブシステムは、新しいライブ・コンサートの形として期待される。

特開２０１５－５０６１４号公報

和田みなみ，渡部恵梨，堀江亮太、「没入型ヘッドマウントディスプレイと生体信号を用いた仮想ライブ体験システムの開発」、電子情報通信学会技術研究報告、Ｖｏｌ．１１６、ｎｏ，５２０、ＭＢＥ２０１６－１０２、ｐｐ．９５－９８、２０１７年３月

しかしながら、従来のライブ体験システムの視聴では、ライブに参加をすることで、演者と複数の観客の相互作用から生じる一体感を感じる体験が得られにくいという課題があった。

本発明は、上記の問題点に鑑みてなされたものであって、ライブの視聴において、演者と複数の観客の相互作用から生じる一体感を感じる体験を得ることができるライブ演出システム、およびライブ演出方法を提供することを目的とする。

上記目的を達成するため、本発明の一態様に係るライブ演出システムは、ｎ個（ｎは２以上の整数）の生体情報測定部であって、ライブに参加するｎ人それぞれが装着し、生体情報を測定する生体情報測定部と、仮想ライブの映像と音声を生成して、前記ライブに参加するｎ人それぞれが装着する再生装置に提供する提供部と、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報と閾値とを比較した結果に基づいて演出効果を生成し、生成した前記演出効果を、前記ｎ人の前記再生装置へ提供することで共有させる制御装置と、を備え、前記制御装置は、前記ライブの進行に応じて前記閾値および前記演出効果のうち少なくとも１つを変化させ、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報の平均値と閾値とを比較した結果に基づいて前記演出効果を生成する。
上記目的を達成するため、本発明の一態様に係るライブ演出システムは、ｎ個（ｎは２以上の整数）の生体情報測定部であって、ライブに参加するｎ人それぞれが装着し、生体情報を測定する生体情報測定部と、仮想ライブの映像と音声を生成して、前記ライブに参加するｎ人それぞれが装着する再生装置に提供する提供部と、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報と閾値とを比較した結果に基づいて演出効果を生成し、生成した前記演出効果を、前記ｎ人の前記再生装置へ提供することで共有させる制御装置と、を備え、前記制御装置は、前記ｎ人のうち上位の所定人数の前記生体情報が前記閾値を超えた場合に前記演出効果を生成する。

また、本発明の一態様に係るライブ演出システムにおいて、前記制御装置は、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報毎に、前記生体情報と前記閾値とを比較した結果に基づいて前記演出効果を生成するようにしてもよい。

また、本発明の一態様に係るライブ演出システムにおいて、前記制御装置は、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報の平均値と閾値とを比較した結果に基づいて前記演出効果を生成するようにしてもよい。

また、本発明の一態様に係るライブ演出システムにおいて、前記制御装置は、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報の最大値と閾値とを比較した結果に基づいて前記演出効果を生成するようにしてもよい。

また、本発明の一態様に係るライブ演出システムにおいて、前記制御装置は、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報のうち上位ｍ（ｍは２以上かつｎ以下の整数）個の平均値と閾値とを比較した結果に基づいて前記演出効果を生成するようにしてもよい。

また、本発明の一態様に係るライブ演出システムにおいて、前記制御装置は、前記ｎ個の生体情報測定部を装着した人がいる領域を複数の領域に分け、複数の前記領域毎に前記演出効果を生成するようにしてもよい。

また、本発明の一態様に係るライブ演出システムにおいて、前記閾値は複数であり、
前記生体情報に基づく値が第１の値以上且つ第２の値未満である第１の閾値の範囲の場合に第１の前記演出効果を生成し、前記生体情報に基づく値が第２の値以上である第２の閾値以上の場合に第２の前記演出効果を生成するようにしてもよい。

また、本発明の一態様に係るライブ演出システムにおいて、前記生体情報は、脳波であり、前記制御装置は、前記脳波から少なくともα波成分とβ波成分とを抽出し、前記β波成分を前記α波成分で除算してβ／α比を算出し、算出した前記β／α比と前記閾値とを比較した結果に基づいて前記演出効果を生成するようにしてもよい。

また、本発明の一態様に係るライブ演出システムにおいて、前記生体情報は、心拍であり、前記制御装置は、現時点より前の時点で計測した心拍数と、前記現時点で測定した心拍数との増加分が閾値以上に上昇したときに前記演出効果を生成するようにしてもよい。

また、本発明の一態様に係るライブ演出システムにおいて、前記演出効果は、画像、映像、音響信号、匂い、振動、光のうちのすくなくとも１つであるようにしてもよい。

上記目的を達成するため、本発明の一態様に係るライブ演出方法は、ライブに参加するｎ人（ｎは２以上の整数）それぞれが装着されるｎ個の生体情報測定部が、生体情報を測定するステップと、提供部が、仮想ライブの映像と音声を生成して、前記ライブに参加するｎ人それぞれが装着する再生装置に提供するステップと、制御装置が、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報と閾値とを比較した結果に基づいて演出効果を生成し、生成した前記演出効果を、前記ライブに参加する複数の人の前記再生装置へ提供することで共有させる共有させるステップと、前記制御装置が、前記ライブの進行に応じて前記閾値および前記演出効果のうち少なくとも１つを変化させるステップと、前記制御装置が、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報の平均値と閾値とを比較した結果に基づいて前記演出効果を生成させるステップと、を含む。
上記目的を達成するため、本発明の一態様に係るライブ演出方法は、ライブに参加するｎ人（ｎは２以上の整数）それぞれが装着されるｎ個の生体情報測定部が、生体情報を測定するステップと、提供部が、仮想ライブの映像と音声を生成して、前記ライブに参加するｎ人それぞれが装着する再生装置に提供するステップと、制御装置が、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報と閾値とを比較した結果に基づいて演出効果を生成し、生成した前記演出効果を、前記ライブに参加する複数の人の前記再生装置へ提供することで共有させる共有させるステップと、前記制御装置が、前記ｎ人のうち上位の所定人数の前記生体情報が前記閾値を超えた場合に前記演出効果を生成する、を含む。

本発明によれば、ライブの視聴において、演者と複数の観客の相互作用から生じる一体感を感じる体験を得ることができるライブ演出システム、およびライブ演出方法を提供することができる。

第１実施形態に係るライブ演出システムの概要を示す図である。 第１実施形態に係るライブ演出システムの構成例を示すブロック図である。 第１実施形態に係る脳波計、ＶＲＨＭＤおよびスピーカーをユーザが装着した例を示す図である。 脳波の周波数成分例を示す図である。 ＶＲＨＭＤで仮想ライブ映像の試聴時の脳波におけるβ／α比の例を示す図である。 視覚効果無しの場合であり、安静時のβ／α比と仮想ライブ映像の視聴時のβ／α比の例を示す図である。 視覚効果有りの場合であり、安静時のβ／α比と仮想ライブ映像の視聴時のβ／α比の例を示す図である。 １２人の被験者それぞれが安静時に注視点を１分間見ているときのβα比の平均値を示す図である。 第１実施形態に係る視覚効果画像を付加する処理手順例のシーケンス図である。 第１実施形態に係る複数の閾値の範囲と視覚効果画像の例を示す図である。 視覚効果画像が付加されていない仮想ライブ映像のみの画像である。 β／α比が１．３５以上１．４未満で再生される視覚効果画像の例を示す図である。 β／α比が１．４以上１．５未満で再生される視覚効果画像の例を示す図である。 β／α比が１．５以上１．６未満で再生される視覚効果画像の例を示す図である。 β／α比が１．６以上で再生される視覚効果画像の例を示す図である。 第１実施形態に係る脳波のβ／α比と視覚効果生成指示の生成結果を示す図である。 第２実施形態に係るライブ演出システムの構成例を示すブロック図である。 第２実施形態に係る視覚効果画像を付加する処理手順例のシーケンス図である。 第２実施形態に係る脳波のβ／α比と、脳波のβ／α比の平均値と、視覚効果生成指示の生成結果を示す図である。 第２実施形態の変形例に係る視覚効果画像を付加する処理手順例のシーケンス図である。 視覚効果を介した複数ユーザの脳波間に生じる集団的振る舞いの予想図である。 第３実施形態に係るライブ演出システムの構成例を示すブロック図である。 心拍変動から生成した視覚効果生成指示の生成例を示す図である。 第１実施形態のライブ演出システムの実装例を示す図である。 第２実施形態のライブ演出システムの実装例を示す図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

＜第１実施形態＞
第１実施形態では、ユーザの生体情報として脳波を用いる例を説明する。
まず、実施形態のライブ演出システムの概要について説明する。
図１は、本実施形態に係るライブ演出システム１の概要を示す図である。本実施形態では、ＶＲＨＭＤ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；ヴァーチャル・リアリティ・ヘッドマウントディスプレイ）と脳波計を装着した複数のユーザが同時にＶＲライブを試聴する。なお、視聴の際、複数のユーザは同じ空間にいなくてもよい。制御装置は、複数のユーザから取得した脳波に基づいて、複数視聴者の相互作用を解析する。そして、制御装置は解析した結果に基づいて視覚効果を生成して、ＶＲライブの画像に視覚効果を合成する。
なお、以下の説明において、脳波計は、少なくとも脳波のα波とβ波を計測する。

［ライブ演出システムの構成例］
次に、ライブ演出システムの構成例を説明する。
図２は、本実施形態に係るライブ演出システム１の構成例を示すブロック図である。図２に示すように、ライブ演出システム１は、脳波計１０ａ、１０ｂ，１０ｃ，・・・（生体情報測定部）、制御装置２０、ＶＲＨＭＤ３０ａ、３０ｂ，３０ｃ，・・・、スピーカー４０ａ、４０ｂ，４０ｃ，・・・を備えている。
また、制御装置２０は、脳波取得部２０１（生体情報取得部）、脳波処理部２０２、記憶部２０３、視覚効果処理部２０４、画像処理部２０５、素材格納部２０６、ライブ映像生成部２０７、および音声出力部２０８を備える。

なお、以下の説明において、脳波計１０ａ，１０ｂ，１０ｃ，・・・のうち１つを特定しない場合は、脳波計１０（生体情報測定部）という。また、ＶＲＨＭＤ３０ａ，３０ｂ，３０ｃ，・・・のうち１つを特定しない場合は、ＶＲＨＭＤ３０という。また、スピーカー４０ａ，４０ｂ，４０ｃ，・・・のうち１つを特定しない場合は、スピーカー４０という。

第１のユーザは、脳波計１０ａとＶＲＨＭＤ３０ａとスピーカー４０ａを装着する。第２のユーザは、脳波計１０ｂとＶＲＨＭＤ３０ｂとスピーカー４０ｂを装着する。第３のユーザは、脳波計１０ｃとＶＲＨＭＤ３０ｃとスピーカー４０ｃを装着する。

脳波計１０は、電極を有する。脳波計１０の電極は、ユーザの頭部の所定位置に装着される。脳波計１０は、計測した脳波に脳波計１０の識別情報を付加して制御装置２０に出力する。なお、脳波計１０と制御装置２０とは、有線によって接続されていてもよく、無線によって接続されていてもよい。

ＶＲＨＭＤ３０は、表示部、画像処理部、光学系等を有する。ＶＲＨＭＤ３０は、制御装置２０が出力する画像信号を生成する。なお、制御装置２０とＶＲＨＭＤ３０とは、有線によって接続されていてもよく、無線によって接続されていてもよい。

スピーカー４０は、制御装置２０が出力する音響信号を生成する。スピーカー４０は、ヘッドフォン、イヤフォン等であってもよい。スピーカー４０がヘッドフォンまたはイヤフォンの場合、ＶＲＨＭＤ３０とスピーカー４０とが一体に構成されていてもよい。なお、制御装置２０とスピーカー４０とは、有線によって接続されていてもよく、無線によって接続されていてもよい。

制御装置２０は、複数のユーザから取得した脳波に基づいて、複数視聴者の相互作用を解析する。制御装置２０は、解析した結果に基づいて視覚効果を生成して、ＶＲライブの画像に視覚効果を合成した画像をＶＲＨＭＤ３０に出力する。また、制御装置２０は、音響信号をスピーカー４０に出力する。

脳波取得部２０１は、複数の脳波計１０それぞれが出力した脳波を取得し、取得した脳波を脳波処理部２０２に出力する。なお、脳波には、当該脳波を出力した脳波計１０の識別情報が付与されている。

脳波処理部２０２は、脳波取得部２０１が出力する脳波に対してフーリエ変換を行って、α波の成分とβ波の成分を抽出する。脳波処理部２０２は、抽出したα波の成分とβ波の成分を用いてβ／α比を、脳波計１０毎に算出する。脳波処理部２０２は、算出した脳波計１０毎のβ／α比を視覚効果処理部２０４に出力する。

記憶部２０３は、β波とα波との比であるβ／α比における閾値を記憶する。記憶部２０３は、画像処理部２０５が視覚効果の生成に用いる画像を記憶する。

視覚効果処理部２０４は、記憶部２０３が記憶する閾値を用いて、脳波処理部２０２が出力する脳波計１０毎のβ／α比を統合的に判定して、判定した結果に基づいて視覚効果生成指示を生成する。視覚効果処理部２０４は、生成した視覚効果生成指示を画像処理部２０５に出力する。なお、視覚効果生成指示の生成方法については後述する。

画像処理部２０５は、視覚効果処理部２０４が出力する視覚効果生成指示に基づいて、記憶部２０３が記憶する画像を用いて、視覚効果画像（演出効果）を生成する。画像処理部２０５は、生成した視覚効果画像をライブ映像生成部２０７に出力する。なお、視覚効果画像については後述する。

素材格納部２０６は、ＶＲＨＭＤ３０に配信される仮想ライブ映像を作成する際に使用される素材のデータを格納する。素材のデータには、キャラクターの画像データ、ステージの画像データ、ステージ上の機材の画像データ、演奏に使用される音響信号が含まれる。

ライブ映像生成部２０７は、素材格納部２０６が格納する素材のデータを用いてリアルタイム演算によりライブ映像を生成し、生成したライブ映像に、画像処理部２０５が出力する視覚効果画像を付加した画像をＶＲＨＭＤ３０に配信する。

音声出力部２０８は、素材格納部２０６が格納する素材のデータに含まれる音響信号をスピーカー４０に配信する。

なお、上述した構成一例であり、これに限らない。例えば、ＶＲＨＭＤ３０が、脳波計１０と制御装置２０とスピーカー４０を備えていてもよい。または、ＶＲＨＭＤ３０が、制御装置２０を備えていてもよい。

［脳波計１０、ＶＲＨＭＤ３０およびスピーカー４０の装着例］
次に、脳波計１０、ＶＲＨＭＤ３０およびスピーカー４０をユーザが装着した例を説明する。
図３は、本実施形態に係る脳波計１０、ＶＲＨＭＤ３０およびスピーカー４０をユーザが装着した例を示す図である。図３に示すように、ＶＲＨＭＤ３０およびスピーカー４０は、ユーザの頭部に装着される。また、脳波計１０は、一方の電極がユーザの頭部の所定位置（国際１０－２０法のＦｐ１とＦｐ２との間の位置）に装着され、他方の電極がユーザの耳たぶに装着される。
なお、図３に示した脳波計１０とＶＲＨＭＤ３０とスピーカー４０の形状等は一例であり、これに限らない。また、上述した脳波電極の数や装着位置についても一例であり、これに限らない。

［脳波のβ／α比の処理］
次に、β波とα波との比であるβ／α比の処理について説明する。
まず、脳波の周波数成分例を説明する。
図４は、脳波の周波数成分例を示す図である。図４において、横軸は周波数［Ｈｚ］であり、縦軸は振幅である。
また、α波は約８～１３［Ｈｚ］帯の成分であり、β波は約１４～１９［Ｈｚ］帯の成分である。

次に、β／α比の例を説明する。
図５は、ＶＲＨＭＤで仮想ライブ映像の試聴時の脳波におけるβ／α比の例を示す図である。図５において、横軸は時間［ｓ］であり、縦軸はβ／α比である。図５に示す例では、１人の被験者のβ／α比を示している。また、図５の例は、１秒の窓を１／１６秒毎に更新している。符号ｇ１は、時刻に対するβ／α比の変化である。また、閾値を超えた後、２秒間、視覚効果画像をＶＲＨＭＤに配信する動画に付加した。
図５に示すように、β／α比は時刻の変化に対して揺らぎがある。

このため、特定の閾値を超えてからの２秒間と、比較するために閾値を超える前２秒間の合計４秒間を切り出して、β／α比の時系列に対して加算平均を行って分析を行った。
図６は、視覚効果無しの場合であり、安静時のβ／α比と仮想ライブ映像の視聴時のβ／α比の例を示す図である。なお、図６の閾値は１．１である。図７は、視覚効果有りの場合であり、安静時のβ／α比と仮想ライブ映像の視聴時のβ／α比の例を示す図である。

図６と図７において、横軸は時刻［ｓ］であり、縦軸はβ／α比である。図６（Ａ）と図７（Ａ）は、仮想ライブ映像の試聴時のβ／α比の加算平均である。図６（Ａ）の太線ｇ２１と図７（Ａ）の太線ｇ３１は平均値である。図６（Ｂ）と図７（Ｂ）は、安静時のβ／α比の加算平均である。図６（Ｂ）の太線ｇ２２と図７（Ｂ）の太線ｇ３２は平均値である。
図６（Ｃ）と図７（Ｃ）は、仮想ライブ映像の試聴時と安静時それぞれの平均値を重ねて表示した図である。なお、図７の閾値は１．４である。なお、図６（Ｂ）と図７（Ｂ）において、平常状態で線が少ないのは、平常時の計測を１分間として行ったためであり、さらに平常状態のため平均的にβ／α比が低かったためである。

図７（Ｃ）に示すように閾値を超えたときに視覚効果を付加した場合は、図６（Ｃ）に示すように視覚効果を与えない場合と比較して、安静時と仮想ライブ映像の視聴時とのβ／α比の差の開きが持続する時間が長くなる。

次に、閾値の求め方の例を説明する。
図８は、１２人の被験者それぞれが安静時に注視点を１分間見ているときのβ／α比の平均値を示す図である。図８において、横軸は被験者の番号であり、縦軸はβ／α比である。図８に示した例のように、１２人の被験者全員の安静時のβ／α比に著しい差が見られなかった。

ここで、図８の１２人の被験者に対して、安静時と仮想ライブ映像の試聴時のβ／α比について、閾値を１．０から１．５まで０．１毎にｔ検定を行った。この結果、閾値１．１と１．２と１．３では有意な差は確認できなかった。閾値１．４の場合は、視覚効果画像を付加した後、１秒間のβ／α比の平均が有意に高いことが確認できた（ｐ＜０．０５）。
この実験結果例では、閾値１．４以上の際に付加する視覚効果では、β／α比の閾値を超えた後の振る舞いが安静時のより高まることが期待できる。
このように、本実施形態では、例えば実験により閾値を予め設定しておく。そして本実施形態では、β／α比が閾値を超えたときに、仮想ライブ映像に視覚効果画像を付加する。

［視覚効果画像を付加する処理手順］
次に、視覚効果画像を付加する処理例を説明する。
図９は、本実施形態に係る視覚効果画像を付加する処理手順例のシーケンス図である。なお、図９に示す例では、視聴者が３人の例を示しているが、視聴者は２人以上であればよい。また、図９に示す例では、第１の視聴者が、ＶＲＨＭＤ３０ａ（図２）と脳波計１０ａ（図２）とスピーカー４０ａ（図２）を装着している。第２の視聴者が、ＶＲＨＭＤ３０ｂ（図２）と脳波計１０ｂ（図２）とスピーカー４０ｂ（図２）を装着している。第３の視聴者が、ＶＲＨＭＤ３０ｃ（図２）と脳波計１０ｃ（図２）とスピーカー４０ｃ（図２）を装着している。

（ステップＳ１）視聴者が装着する各機器（ＶＲＨＭＤ３０と脳波計１０とスピーカー４０）と制御装置２０とは、仮想ライブ映像の配信前に登録処理またはペアリング処理を行う。

（ステップＳ２）制御装置２０のライブ映像生成部２０７は、仮想ライブ映像をリアルタイムで生成し、生成した仮想ライブ映像をＶＲＨＭＤ３０ａとＶＲＨＭＤ３０ｂとＶＲＨＭＤ３０ｃに配信する。

（ステップＳ３）制御装置２０の脳波取得部２０１は、脳波計１０ａと脳波計１０ｂと脳波計１０ｃそれぞれから脳波を取得する。

（ステップＳ４）制御装置２０の脳波処理部２０２は、各視聴者の脳波からα波の成分とβ波の成分を抽出して、視聴者毎にβ／α比を算出する。続けて、脳波処理部２０２は、視聴者毎にβ／α比と閾値とを比較する。

（ステップＳ５）制御装置２０の視覚効果処理部２０４は、視聴者毎にβ／α比と閾値とを比較した結果、β／α比が閾値以上の視聴者がいた場合、その視聴者毎に視覚効果生成指示を生成する。例えば、第１の視聴者のβ／α比が閾値以上の場合、視覚効果処理部２０４は、第１の視聴者に対する視覚効果生成指示を生成する。また、第１の視聴者のβ／α比が閾値以上であり第３視聴者のβ／α比が閾値以上の場合、視覚効果処理部２０４は、第１の視聴者に対する視覚効果生成指示と第３の視聴者に対する視覚効果生成指示を生成する。なお、閾値は、例えば１．４である。

（ステップＳ６）制御装置２０の画像処理部２０５は、視覚効果処理部２０４が出力する視覚効果生成指示に基づいて視覚効果画像を生成する。例えば、第１の視聴者のβ／α比が視覚効果生成指示の場合、画像処理部２０５は、第１の視聴者に基づく視覚効果画像を生成する。また、第１の視聴者の視覚効果生成指示と第３視聴者の視覚効果生成指示の場合、画像処理部２０５は、第１の視聴者に基づく視覚効果画像と第３の視聴者に基づく視覚効果画像を生成する。

（ステップＳ７）制御装置２０のライブ映像生成部２０７は、仮想ライブ映像をリアルタイムに生成し、生成したライブ映像に画像処理部２０５が出力する視覚効果画像を付加した映像を、ＶＲＨＭＤ３０ａとＶＲＨＭＤ３０ｂとＶＲＨＭＤ３０ｃに配信する。

［閾値が複数の例］
なお、図９に示した例では、閾値が１つの例を示したが、閾値は２つ以上であってもよい。また、閾値は所定の範囲の値であってもよい。図１０は、本実施形態に係る複数の閾値の範囲と視覚効果画像の例を示す図である。
図１０に示すように、β／α比が第１の閾値の範囲内（例えば１．３５以上１．４未満）の場合、画像処理部２０５は、小さな星の画像（第１の視覚効果画像）を生成するようにしてもよい。β／α比が第２の閾値の範囲内（例えば１．４以上１．５未満）の場合、画像処理部２０５は、大きな星の画像（第２の視覚効果画像）を生成してもよい。β／α比が第３の閾値の範囲内（例えば１．５以上１．６未満）の場合、画像処理部２０５は、ハートの画像（第３の視覚効果画像）を生成するようにしてもよい。β／α比が第４の閾値の範囲内（例えば１．６以上）の場合、画像処理部２０５は、桜の花びらの画像（第４の視覚効果画像）を生成するようにしてもよい。

［視覚効果画像の例］
次に、視覚効果画像の例を、図１１～図１５を用いて説明する。
図１１は、視覚効果画像が付加されていない仮想ライブ映像のみの画像である。仮想ライブ映像は、ライブ映像をＣＧ（コンピュータグラフィック）で作成したものであり、演奏に合わせてライティングの画像が変化しアーティストの画像も変化する。

図１２は、β／α比が１．３５以上１．４未満で再生される視覚効果画像の例を示す図である。図１２に示す例では、β／α比が１．３５以上１．４未満のとき、符号ｇ１０１が示すように小さな星の画像が視覚効果画像として表示される。

図１３は、β／α比が１．４以上１．５未満で再生される視覚効果画像の例を示す図である。図１３に示す例では、β／α比が１．４以上１．５未満のとき、符号ｇ１１１が示すように、図１３より大きな星の画像が視覚効果画像として表示される。

図１４は、β／α比が１．５以上１．６未満で再生される視覚効果画像の例を示す図である。図１４に示す例では、β／α比が１．５以上１．６未満のとき、符号ｇ１２１が示すように、ハートの画像が視覚効果画像として表示される。

図１５は、β／α比が１．６以上で再生される視覚効果画像の例を示す図である。図１５に示す例では、β／α比が１．６以上のとき、符号ｇ１３１が示すように、桜の花びらの画像が視覚効果画像として表示される。

本実施形態では、複数の視聴者それぞれが装着するＶＲＨＭＤ３０に、β／α比の大きさに基づいて図１２～図１５の視覚効果画像が配信され共有される。

次に、本実施形態を適用した場合のβ／α比と視覚効果生成指示の生成結果例を説明する。
図１６は、本実施形態に係る脳波のβ／α比と視覚効果生成指示の生成結果を示す図である。図１６（Ａ）は第１方式の脳波のβ／α比を示す図であり、図１６（Ｂ）は視覚効果生成指示の生成結果を示す図である。図１６（Ａ）において、横軸は経過時間［ｓ］であり、縦軸はβ／α比である。図１６（Ｂ）において、横軸は経過時間［ｓ］であり、縦軸は視覚効果生成指示である。

なお、図１６に示す例では、視聴者毎に視覚効果画像の色を変えている。視聴者４（ｕｓｅｒ ４）のβ／α比に基づく視覚効果画像の色はピンクであり、視聴者５（ｕｓｅｒ ５）のβ／α比に基づく視覚効果画像の色は橙であり、視聴者６（ｕｓｅｒ ６）のβ／α比に基づく視覚効果画像の色は赤である。

また、図１６（Ｂ）において、「弱」とは、β／α比の閾値が１．３５以上１．４未満である。「中」とは、β／α比の閾値が１．４以上１．５未満である。「強１」とは、β／α比の閾値が１．５以上１．６未満である。「強２」とは、β／α比の閾値が１．６以上である。

図１６に示す例では、例えば経過時間が０～２０秒の期間、視聴者４のみβ／α比が閾値を超えているため、視聴者４のβ／α比に基づいて視覚効果生成指示が生成され、視聴者４に視覚効果画像が提供される。これに加えて、本実施形態では、この視聴者４のβ／α比に基づく視覚効果画像が、視聴者５と視聴者６にも提供される。この場合、経過時間が０～２０秒の期間、例えば視聴者５と視聴者６は、発生した視覚効果画像の色によって視聴者４によって視覚効果画像が付加されたことを知ることができる。

このように、本実施形態では、１人の視聴者によって発生した視覚効果画像を全被験者が共有することによって、β／α比の閾値を超えていない視聴者５や視聴者６のβ／α比に影響を与えている。ここで、３人の被験者は仮想ライブ映像を同時に視聴しているため、他の被験者の視覚効果画像が発生していることは、その被験者が仮想ライブ映像に集中していることになる。このため、実際のコンサート会場にいる場合と同様、他の視聴者に基づく視覚効果画像によって、他の視聴者が盛り上っている影響を受ける効果が期待できる。

例えば、図１６に示した実験に参加した視聴者にアンケートを行った結果、以下のような回答を得た。
アンケートの結果、「視覚効果画像を共有しない場合と比較して、本実施形態の方が面白さ、没入感、一体感を感じた」という回答が得られた。また、「すべての視聴者の視覚効果画像が同じタイミングで再生したことで一体感を感じた」、「他の視聴者の視覚効果画像が見ることができるので一体感を感じた」という意見が得られた。さらに、「他の人の視覚効果画像が出ると自分のも出ていた気がしたので一体感があった」という意見があり、他の人の視覚効果画像を見ることでコンサートに対する集中度（β／α比）が向上する可能性が示唆された。

以上のように、本実施形態では、複数の視聴者に仮想ライブ映像を配信した際、複数の視聴者それぞれから、精神的盛り上がりに応じたβ／α比を測定し、その上昇に連動して仮想ライブ映像に視覚効果画像（視覚的エフェクト）を出現させるようにした。そして、本実施形態では、各視聴者のβ／α比の上昇で出現した視覚効果画像を全視聴者が共有して視聴できるようにしたので、全視聴者に対して盛り上がりの伝播を実現することができる。
これにより、本実施形態によれば、各視聴者の一人では得られないβ／α比の上昇を誘発し、仮想ライブの一体感の実感を実現する。

なお、上述したβ／α比の閾値または閾値の範囲の値は一例であり、これにかぎられない。脳波計１０や使用環境や視聴者に応じた値であればよい。
また、図１１～図１５で示した仮想ライブ映像や視覚効果画像は一例であり、これに限らない。

また、上述した例では、視聴者の視覚効果画像の色を異なるようにする例を説明したが、これに限らない。複数の視聴者に対応する視覚効果画像の色は同じであってもよい。また、視聴者の視覚効果画像を異なるようにしてもよい。この場合、制御装置２０は、視聴者毎に視覚効果画像を紐付けてもよく、あるいは紐付けなくてもよい。紐付けない場合、制御装置２０は、β／α比が閾値を複数の視聴者が超えたとき、第１の視聴者に第１の視覚効果画像を割り当て、第２の視聴者に第２の視覚効果画像を割り当てるようにしてもよい。また、制御装置２０は、視聴者によって視聴位置を異ならせ視覚効果をその方向に生成するようにしてもよい。

［第１変形例］
なお、視覚効果処理部２０４は、複数視聴者の中に一人でも気持ちの高まりがあれば視覚効果画像を生成して、全ての視聴者に提供するようにしてもよい。具体的には、視覚効果処理部２０４は、視聴者の中のβ／α比の最大値が閾値を超えた場合に視覚効果画像を生成する。この処理は、一人の熱狂的な視聴者が、会場全体の盛り上がりを牽引する状況に相当する。なお、視聴者全員に対する閾値と、視聴者の中のβ／α比の最大値を比較する閾値とは同じであっても異なっていてもよい。

［第２変形例］
または、視覚効果処理部２０４は、視聴者の中から脳波を評価する人数を上位数名に限定するようにしてもよい。この場合、視覚効果処理部２０４は、複数の視聴者の上位数名に気持ちの高まりがあれば視覚効果画像を生成するようにしてもよい。具体的には、視覚効果処理部２０４は、上位数名のβ／α比が閾値を超えた場合に視覚効果画像を生成するようにしてもよい。この処理は、ファンクラブ会員のような一部の視聴者が、会場の盛り上がりを牽引する状況に相当する。

［第３変形例］
視覚効果処理部２０４は、ライブの序盤、中盤、および終盤に応じて「閾値」および「視覚効果画像」のうち少なくとも１つを変化させるようにしてもよい。
視覚効果処理部２０４は、上述した第１変形例から第３変形例の手法を組み合わせたり切り替えて使用するようにしてもよい。

＜第２実施形態＞
第１実施形態では、視聴者の脳波毎のβ／α比と閾値とを比較して、比較した結果に基づく視覚効果画像を全ての視聴者で共有する例を説明した。
本実施形態では、全ての視聴者の脳波のβ／α比を平均化し、平均化したβ／α比と閾値とを比較して、比較した結果に基づく視覚効果画像を全ての視聴者で共有する例を説明する。

図１７は、本実施形態に係るライブ演出システム１Ａの構成例を示すブロック図である。図１７に示すように、ライブ演出システム１Ａは、脳波計１０ａ、１０ｂ，１０ｃ，・・・、制御装置２０Ａ、ＶＲＨＭＤ３０ａ、３０ｂ，３０ｃ，・・・、スピーカー４０ａ、４０ｂ，４０ｃ，・・・を備えている。
また、制御装置２０Ａは、脳波取得部２０１、脳波処理部２０２Ａ、記憶部２０３、視覚効果処理部２０４Ａ、画像処理部２０５、素材格納部２０６、ライブ映像生成部２０７、および音声出力部２０８を備える。
なお、第１実施形態のライブ演出システム１と同様の機能を有する機能部には同じ符号を用いて、説明を省略する。

脳波処理部２０２Ａは、脳波取得部２０１が出力する脳波に対してフーリエ変換を行って、α波の成分とβ波の成分を抽出する。脳波処理部２０２Ａは、抽出したα波の成分とβ波の成分を用いてβ／α比を、脳波計１０毎に算出する。脳波処理部２０２Ａは、算出した全てのβ／α比の平均値を算出する。脳波処理部２０２Ａは、β／α比の平均値を視覚効果処理部２０４Ａに出力する。

視覚効果処理部２０４Ａは、記憶部２０３が記憶する閾値を用いて、脳波処理部２０２Ａが出力するβ／α比の平均値を統合的に判定して、判定した結果に基づいて視覚効果生成指示を生成する。視覚効果処理部２０４Ａは、生成した視覚効果生成指示を画像処理部２０５に出力する。

［視覚効果画像を付加する処理手順］
次に、視覚効果画像を付加する処理例を説明する。
図１８は、本実施形態に係る視覚効果画像を付加する処理手順例のシーケンス図である。なお、図１８に示す例では、視聴者が３人の例を示しているが、視聴者は２人以上であればよい。また、図１８に示す例では、第１の視聴者が、ＶＲＨＭＤ３０ａ（図２）と脳波計１０ａ（図２）とスピーカー４０ａ（図２）を装着している。第２の視聴者が、ＶＲＨＭＤ３０ｂ（図２）と脳波計１０ｂ（図２）とスピーカー４０ｂ（図２）を装着している。第３の視聴者が、ＶＲＨＭＤ３０ｃ（図２）と脳波計１０ｃ（図２）とスピーカー４０ｃ（図２）を装着している。
また、図９と同じ処理については同じ符号を用いて説明を省略する。

（ステップＳ１～Ｓ３）ライブ演出システム１Ａは、ステップＳ１～Ｓ３の処理を行う。

（ステップＳ１０１）制御装置２０Ａの脳波処理部２０２Ａは、各視聴者の脳波からα波の成分とβ波の成分を抽出して、視聴者毎にβ／α比を算出する。続けて、脳波処理部２０２Ａは、全てのβ／α比の平均値を算出する。

（ステップＳ１０２）制御装置２０Ａの脳波処理部２０２Ａは、β／α比の平均値と閾値とを比較する。

（ステップＳ１０３）制御装置２０Ａの視覚効果処理部２０４Ａは、β／α比の平均値と閾値とを比較した結果、β／α比の平均値が閾値以上の場合、視覚効果生成指示を生成する。なお、閾値は、例えば１．４である。

（ステップＳ６～Ｓ７）ライブ演出システム１Ａは、ステップＳ６～Ｓ７の処理を行う。

なお、図１８の処理においても、閾値は複数であってもよく、閾値は所定範囲の値であってもよい。

次に、本実施形態を適用した場合のβ／α比と視覚効果生成指示の生成結果例を説明する。
図１９は、本実施形態に係る脳波のβ／α比と、脳波のβ／α比の平均値と、視覚効果生成指示の生成結果を示す図である。図１９（Ａ）は第２方式の脳波のβ／α比を示す図であり、図１９（Ｂ）は図１９（Ａ）のβ／α比の平均値を示す図であり、図１９（Ｃ）は視覚効果生成指示の生成結果を示す図である。図１９（Ａ）と図１９（Ｂ）において、横軸は経過時間［ｓ］であり、縦軸はβ／α比である。図１９（Ｃ）において、横軸は経過時間［ｓ］であり、縦軸は視覚効果生成指示である。なお、３人の視聴者は、図１６に示した視聴者４～６と同じである。
なお、図１９に示す例では、全ての被験者提供するに視覚効果画像の色はピンクである。

本実施形態では、図１９（Ｂ）に示すように３人の視聴者のβ／α比が平均値化される。このため、図１９（Ｃ）に示すように閾値を超えている回数は、第１実施形態に示した図１６（Ｂ）と比較して少なくなっている。しかしながら、本実施形態では、３人の視聴者のβ／α比が閾値を超えるタイミングがそろったときに視覚効果画像が発生している。このため、本実施形態では、一体感を感じ、第１実施形態に比べて仮想ライブ映像により集中することが期待される。

例えば、図１９に示した実験に参加した視聴者にアンケートを行った結果、以下のような回答を得た。
アンケートの結果、「視覚効果画像が出現したとき一体感を感じた」、「視覚効果画像が出ると達成感があった」との回答が得られた。このように本実施形態では、視聴者全員が協力をして視覚効果画像を再生したという達成感を得られることで、一体感を感じたことが示唆される。このため、本実施形態は、全員が盛り上がらないと視覚効果画像が提供されないため、ライブ会場で演奏者が観客全員を盛り上げたいときに、全観客が協力して視覚効果画像を再生させることで、目標を達成させる場合などに適している。

このように、本実施形態では、複数の視聴者のβ／α比の上昇の統合演算の結果により出現する視覚効果画像（視覚的エフェクト）を全視聴者が見ることで全視聴者が一体となった盛り上がりを実現する。これにより、本実施形態によれば、各視聴者の一人では得られないβ／α比の上昇を誘発し、仮想ライブの一体感の実感を実現することができる。

［第１変形例］
上述した例では、全ての視聴者のβ／α比の平均値を求める例を説明したが、これに限らない。脳波処理部２０２Ａは、複数の視聴者のβ／αの極大値を求め、求めた極大値と閾値とを比較するようにしてもよい。
なお、「複数の視聴者のβ／αの極大値」とは、例えば、過去数秒の時間窓を設定し、その時間窓の中での最大値を求めたものである。複数の視聴者のβ／α比の瞬時値を用いると、複数の視聴者間でβ／α比が揃って上昇するときのタイミングの一致が厳しくなる。このため、時間窓での最大値を用いることで、複数の視聴者間でβ／α比が揃って上昇するタイミングの一致を緩和できる。

図２０は、本実施形態の変形例に係る視覚効果画像を付加する処理手順例のシーケンス図である。なお、図２０に示す例では、図１８と同様に視聴者が３人の例を示しているが、視聴者は２人以上であればよい。また、図９または図１８と同じ処理については同じ符号を用いて説明を省略する。

（ステップＳ１～Ｓ３）ライブ演出システム１Ａは、ステップＳ１～Ｓ３の処理を行う。

（ステップＳ２０１）制御装置２０Ａの脳波処理部２０２Ａは、各視聴者の脳波からα波の成分とβ波の成分を抽出して、視聴者毎にβ／α比を算出する。続けて、脳波処理部２０２Ａは、全てのβ／α比の極大値を算出する。

（ステップＳ２０２）制御装置２０Ａの脳波処理部２０２Ａは、β／α比の極大値と閾値とを比較する。

（ステップＳ２０３）制御装置２０Ａの視覚効果処理部２０４Ａは、β／α比の極大値と閾値とを比較した結果、β／α比の極大値が閾値以上の場合、視覚効果生成指示を生成する。なお、閾値は、例えば１．４である。

（ステップＳ６～Ｓ７）ライブ演出システム１Ａは、ステップＳ６～Ｓ７の処理を行う。

なお、図２０の処理においても、閾値は複数であってもよく、閾値は所定範囲の値であってもよい。

変形例によっても、第２実施形態と同様の効果を得ることができる。ライブの演出者や出演者は、第１実施形態の手法、第１実施形態の変形例の手法、第２実施形態の手法、第２実施形態の変形例の手法の中から、演出に応じて１つを選択して設定してもよく、ライブの途中で切り替えてもよい。

［第２変形例］
視覚効果処理部２０４Ａは、視聴者の中から脳波を評価する人数を上位数名に限定するようにしてもよい。この場合、視覚効果処理部２０４Ａは、複数の視聴者の上位数名の平均値が閾値を超えた場合に視覚効果画像を生成するようにしてもよい。この処理は、ファンクラブ会員のような一部の視聴者が、会場の盛り上がりを牽引する状況に相当する。

なお、第１実施形態と第２実施形態では、生体情報として脳波のβ／α比を用いる例を説明したが、これに限らない。脳波において用いる成分はα波の成分とβ波の成分に限らず、他の成分（例えばγ波の成分やθ波の成分（４～７Ｈｚ）も用いてもよい。なお、本実施形態では、α波の成分とβ波の成分との比を用いる例を説明したが、α波の成分とβ波の成分との差を用いてもよく、この場合は視聴者毎にこの差を正規化して用いてもよい。

なお、第１実施形態と第２実施形態では、閾値を予め設定しておく例を説明したが、これに限らない。例えば、仮想ライブ映像の配信中に、視聴者全員のβ／α比の平均値における極大値、または視聴者のうちの任意のβ／α比における極大値に基づいて閾値を脳波処理部２０２（または２０２Ａ）が設定するようにしてもよい。
視覚効果処理部２０４（または２０４Ａ）は、視覚効果画像の生成を、各視聴者のβ／α比や、複数の視聴者のβ／α上昇の統合演算結果に対して、確率的な決定を用いる等、閾値処理以外の方法で視覚効果生成を決定するようにしてもよい。さらに、視覚効果処理部２０４（または２０４Ａ）は、演出効果の生成に用いる閾値や確率的な決定を、楽曲の進行に合わせて変更してもよい。

＜複数の視聴者の脳波を用いた一体感のあるライブ演出のしくみ＞
ここで、複数の視聴者の脳波を用いた一体感のあるライブ演出のしくみについて説明する。
上述した複数の視聴者の脳波を用いた一体感のあるライブ演出のしくみでは、いずれの実施形態でも、以下の段階のフィードバック構造がある。
段階１；ライブの楽曲進行による各ユーザのβ／α比の上昇
段階２；各ユーザのβ／α比が統合的に判定され視覚効果が出現
段階３；視覚効果による各ユーザのβ／α比の上昇
段階４；視覚効果の出現
段階５；視覚効果の視聴による各ユーザのβ／α比の上昇
段階５以降、段階２に続く

これはダイナミカルシステム（力学系理論）の抽象的な数理モデルである「大域結合写像」の構造に相当する。大域結合写像は、個々の構成要素がそれらの変動を統合したフィードバックを入力として受ける集団のモデルであり、個々の要素の変動が一様に同期、部分的に同期、各パターンをカオス的に遍歴するといった集団的振る舞いが生成することが知られている。
実施形態では、各ユーザと脳反応によるβ／α比の変動が個々の構成要素とその変動に対応し、各ユーザのβ／α比を統合的に判定し視覚効果生成コマンドを生成することがフィードバックに相当する。
ライブ演出システム１（１Ａ）を使用する状況では、各ユーザのβ／α比の変動に大域結合写像で知られるような集団的振る舞いが生じる、視聴者の一人では得られないβ／α比上昇による仮想ライブの一体感の実感を実現することができる。

＜大域結合写像による数理モデル化とシミュレーション＞
次に、大域結合写像による数理モデル化とシミュレーションについて説明する。
上述した大域結合写像として集団的振る舞いが生成される具体例として、各ユーザのβ／α比の変動を「楽曲進行と視覚効果の入力により上昇し、上昇しきると減衰する」Ｉｎｔｅｇｒａｔｅ－Ａｎｄ－Ｆｉｒｅでモデル化し、これらβ／α比の平均値がフィードバック入力となる大域結合写像をモデル化し、数値シミュレーションを行った。

図２１は、視覚効果を介した複数ユーザの脳波間に生じる集団的振る舞いの予想図である。図２１において、横軸は、経過時間である。また、縦軸は、視聴に用いた楽曲信号、視覚効果画像の有無、および視聴者の番号を示している。また、符号ｇ３０１が示す領域は、各視聴者のβ／α比の経過時間における変化を示している。また、符号３０１における階調は、符号ｇ３２１に示すようにβ／α比である。また、符号ｇ３１１は、楽曲信号におけるサビの期間を表している。

図２１に示すように、ユーザのβ／α比が同期して上昇し持続する様子が見られた。また、楽曲進行で上昇した後、視覚効果を介して同期した上昇が繰り返される様子が見られた。
このように本発明で提案するシステムは大域結合写像による数理モデルをシミュレーションすることで、生成される集団的振る舞いを予想でき、「各ユーザから送信されたβ／α比を統合的に判定する」の設計に利用できる。
なお、上述した数理モデルは一例であり、数理モデルはこれに限らない。

＜第３実施形態＞
第１実施形態と第２実施形態では、生体情報として脳波を用いる例を説明したが、これに限らない。実施形態では、生体情報として、心拍を用いる例を説明する。

図２２は、本実施形態に係るライブ演出システム１Ｂの構成例を示すブロック図である。図２２に示すように、ライブ演出システム１Ｂは、生体情報測定部５０ａ、５０ｂ，５０ｃ，・・・、制御装置２０Ｂ、表示装置６０ａ、６０ｂ，６０ｃ，・・・、スピーカー４０ａ、４０ｂ，４０ｃ，・・・を備えている。以下、生体情報測定部５０ａ、５０ｂ，５０ｃ，・・・のうち１つを特定しない場合、生体情報測定部５０という。また、表示装置６０ａ、６０ｂ，６０ｃ，・・・のうち１つを特定しない場合、表示装置６０という。

また、制御装置２０Ｂは、生体情報取得部２０１Ｂ、生体情報処理部２０２Ｂ、記憶部２０３、視覚効果処理部２０４、画像処理部２０５、素材格納部２０６、ライブ映像生成部２０７、および音声出力部２０８を備える。
なお、第１実施形態のライブ演出システム１と同様の機能を有する機能部には同じ符号を用いて、説明を省略する。また、図２２は、第１実施形態のライブ演出システム１に本実施形態を適用した例であるが、本実施形態を第２実施形態のライブ演出システム１Ａに適用することも可能である。

生体情報測定部５０は、心拍計である。生体情報測定部５０は、例えばスマートウォッチが有するセンサであってもよい。生体情報測定部５０は、測定した生体情報に生体情報測定部５０の識別情報を付与して制御装置２０Ｂに出力する。なお、生体情報測定部５０と制御装置２０Ｂとは、有線によって接続されていてもよく、無線によって接続されていてもよい。

表示装置６０は、ＶＲＨＭＤであり、表示部、画像処理部、光学系等を有する。表示装置６０は、制御装置２０Ｂが出力する画像信号を生成する。なお、制御装置２０Ｂと表示装置６０とは、有線によって接続されていてもよく、無線によって接続されていてもよい。

生体情報取得部２０１Ｂは、複数の生体情報測定部５０それぞれが出力した生体情報を取得し、取得した生体情報を生体情報処理部２０２Ｂに出力する。なお、生体情報には、当該脳波を出力した生体情報測定部５０の識別情報が付与されている。

生体情報処理部２０２Ｂは、生体情報取得部２０１Ｂが出力する生体情報から心拍変動を算出する。生体情報処理部２０２Ｂは、算出した心拍変動を視覚効果処理部２０４Ｂに出力する。

記憶部２０３Ｂは、画像処理部２０５が視覚効果の生成に用いる画像を記憶する。

視覚効果処理部２０４Ｂは、記憶部２０３Ｂが記憶する閾値を用いて、生体情報処理部２０２Ｂが出力する心拍変動が上昇した場合に視覚効果生成指示を生成する。視覚効果処理部２０４Ｂは、生成した視覚効果生成指示を画像処理部２０５に出力する。

心拍変動の指標としては、数十秒から数分間の心拍数を用いて算出されるＲＲＩ（Ｒ－Ｒ Ｉｎｔｅｒｖａ；Ｒ波の間隔）、ＳＤＮＮ（Ｓｔａｎｄａｒｄ Ｄｅｖｉａｔｉｏｎ ｏｆ ｔｈｅ ＮＮ ｉｎｔｅｒｖａｌｓ；ＲＲＩの標準偏差）、ＲＲＶ（Ｒ－Ｒ Ｖａｒｉａｔｉｏｎ；ＲＲＩの分散とＲＲＩの平均値の２乗の比）、ＲＭＳＳＤ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ ｏｆ Ｓｕｃｃｅｓｓｉｖｅ Ｄｉｆｆｅｒｅｎｃｅｓ；隣接するＲＲＩの差の２乗）、ＮＮ５０（隣接するＲＲＩの差が５０ｍｓを超える総数）、ｐＮＮ５０（隣接するＲＲＩの差が５０ｍｓを超える割合）、ＬＦ（心拍変動のパワースペクトルの０．０５Ｈｚから０．１５Ｈｚの低周波帯の成分）、ＨＦ（心拍変動のパワースペクトルの０．１５～０．４０Ｈｚの高周波帯の成分）、ＨＦ／ＬＦ（ＬＦとＨＦとの比）などが考えられる。
なお、これらの心拍変動は、心電図を用いて計測してもよく、スマートウォッチなどの脈波計測から近似的に計算して用いてもよい。

ここで、心拍変動から視覚効果生成指示を生成する手法例を説明する
図２３は、心拍変動から生成した視覚効果生成指示の生成例を示す図である。図２３において、横軸は時間であり、縦軸は心拍による視覚効果の生成指示、心拍数である。
生体情報取得部２０１Ｂは、心拍数［ｂｐｍ］を例えば２０ｍｓ刻みで値を取得する。なお、例えば参考文献１のようにスマートウォッチから取得した情報に基づいて心拍数を算出する場合は、拍動が得られる度に心拍数が算出される。このような場合、サンプリング周期は、心拍間隔と同じで約１秒前後で一定ではない。

そして、生体情報処理部２０２Ｂは、前回した計測値と比較して心拍数の増加分が閾値より上昇したときに視覚効果生成指示を生成する。なお、心拍変動から視覚効果生成指示を生成する手法は、例えば以下の参考文献１参照。

参考文献１；和田みなみ，渡部恵梨，堀江亮太，「没入型ヘッドマウントディスプレイと生体信号を用いた仮想ライブ体験システムの開発」，電子情報通信学会技術研究報告，116（520，MBE2016-102）巻，pp．95-98，2017

なお、上述した心拍変動から視覚効果生成指示を生成する手法は一例であり、これに限らない。例えば心拍は、第２実施形態と同様に、視聴者全員の平均値であってもよく、あるいは視聴者全員のうちの任意の視聴者の心拍であってもよい。

制御装置２０Ｂは、第１実施形態と同様に視聴者毎に生成した視覚効果画像を全ての視聴者に提供する。これにより、本実施形態では、生体情報として心拍を用いることで、第１実施形態と同様の効果を得ることができる。
または、制御装置２０Ｂは、第２実施形態と同様に複数の視聴者の心拍に基づいて生成した視覚効果画像を全ての視聴者に提供する。これにより、本実施形態では、生体情報として心拍を用いることで、第２実施形態と同様の効果を得ることができる。

なお、上述した例では、生体情報として心拍を用いる例を説明したが、生体情報は例えば発汗等、心拍以外であってもよい。

なお、生体信号の特徴量の処理方法は、第１実施形態、第２実施形態、第３実施形態で説明した処理方法には限らない。例えば、生体信号の閾値処理をして演出効果を生成するとき、瞬時値だけではなく、瞬時値の値を時間で累積した値を用いて処理するようにしてもよい。ここで、累積値は、閾値を超えて演出効果を生成したら、閾値以下の値（ゼロなど）にリセットされる。

＜他の実施例＞
第１実施形態、第２実施形態、第３実施形態では、視聴者がＶＲＨＭＤを装着する例を説明したが、これに限らない。視聴者は、例えばスクリーンや実際にライブ会場にいてライブを実際に見るようにしてもよい。また、視聴者は、これら特記した会場ではなく『ネットワークを介して自宅のＰＣやスマートデバイスで視聴している視聴者』であってもよい。

［第１実施例］
ライブ演出システムの構成は、第３実施形態のライブ演出システム１Ｂ（図２２）と同様である。以下の例において、生体情報測定部５０は、脳波計である。表示装置６０は、例えばライブ映像が配信される会場に設置されているスクリーンである。また、生体情報処理部２０２Ｂと脳波処理部２０２（図２）（または脳波処理部２０２Ａ（図１７））と同様の処理を行い、視覚効果処理部２０４Ｂは、視覚効果処理部２０４と同様の処理を行う。なお、表示装置６０は、少なくとも１つあればよい。

この第１実施例では、ライブが行われる際に、コンサート会場から配信されるライブ映像を、各地の会場に集まっている視聴者がスクリーンによって視聴する。会場で視聴している視聴者は生体情報測定部５０を装着している。制御装置２０Ｂは、複数の生体情報測定部５０に基づいて視覚効果生成指示し、生成した視覚効果生成指示に基づいて視覚効果画像を生成する。制御装置２０Ｂは、生成した視覚効果画像を配信されたライブ映像に付与してスクリーンである表示装置６０に表示させる。

以上のように、第１実施例によれば、会場にいる視聴者の生体情報に基づいて、スクリーンに表示されるライブ映像に視覚効果画像を付与できるので、会場にいす視聴者との一体感を体験することが出来る。なお、第１実施例においても、生体情報は心拍であってもよい。

［第２実施例］
第１実施例では、ライブ会場が１つの例を説明したが、ライブ会場は複数であってもよい。この場合、例えば、表示装置６０ａが第１のライブ会場に設置され、表示装置６０ｂが第２のライブ会場に設置され、表示装置６０ｃが第３のライブ会場に設置される。制御装置２０Ｂは、第１実施形態と同様に、複数の視聴者毎に視覚効果画像を生成して全ての視聴者に提供してもよい。または、制御装置２０Ｂは、第２実施形態と同様に、複数のライブ会場にいる全ての視聴者の生体情報に基づいて視覚効果画像を生成して全ての視聴者に提供してもよい。あるいは、制御装置２０Ｂは、ライブ会場毎に処理するようにしてもよい。

ここで、ライブ会場毎に処理する例を説明する。以下の例では生体情報が脳波であるとする。まず、制御装置２０Ｂは、各ライブ会場にいる視聴者が装着する生体情報測定部５０から情報を取得することで、生体情報測定部５０とライブ会場とを紐付ける。
制御装置２０Ｂは、第１のライブ会場の視聴者それぞれの脳波を取得し、取得した脳波のβ／α比に平均値を算出する。制御装置２０Ｂは、算出したβ／α比に平均値に基づいて第１のライブ会場に対する視覚効果画像を生成する。同様に、制御装置２０Ｂは、第２のライブ会場から取得した脳波のβ／α比に平均値を算出し、算出したβ／α比に平均値に基づいて第２のライブ会場に対する視覚効果画像を生成する。制御装置２０Ｂは、第３のライブ会場から取得した脳波のβ／α比に平均値を算出し、算出したβ／α比に平均値に基づいて第３のライブ会場に対する視覚効果画像を生成する。

これにより、第２実施例によれば、複数のライブ会場にライブ映像を配信する場合、会場毎に異なる視覚効果画像を提供することができる。これにより、会場毎に一体感を生み出すことが出来、かつ会場毎に発生する視覚効果画像によって盛り上がりを競うことができる。

［第３実施例］
ライブ会場が１つであっても、１つの会場を複数のエリアに分けて処理を行うようにしてもよい。例えば、来場会場がアリーナクラスの場合もある。このような場合、制御装置２０Ｂは、アリーナ席のエリア（第１エリア）、１階席のエリア（第２エリア）、２階席のエリア（第３エリア）等にエリアを分割するようにしてもよい。
制御装置２０Ｂは、第１実施形態と同様に、この３つのエリアにいる視聴者毎に視覚効果画像を生成して全ての視聴者に提供してもよい。または、制御装置２０Ｂは、第２実施形態と同様に、複数のエリアにいる全ての視聴者の生体情報に基づいて視覚効果画像を生成して全ての視聴者に提供してもよい。あるいは、制御装置２０Ｂは、エリア毎に処理するようにしてもよい。

ここで、エリア毎に処理する例を説明する。以下の例では生体情報が脳波であるとする。まず、制御装置２０Ｂは、各エリアにいる視聴者が装着する生体情報測定部５０から情報を取得することで、生体情報測定部５０とエリアとを紐付ける。例えば、エリア毎に生体情報測定部５０をオン状態にすることで紐付けるようにしてもよい。

制御装置２０Ｂは、第１エリアの視聴者それぞれの脳波を取得し、取得した脳波のβ／α比に平均値を算出する。制御装置２０Ｂは、算出したβ／α比に平均値に基づいて第１エリアに対する視覚効果画像を生成する。同様に、制御装置２０Ｂは、第２エリアから取得した脳波のβ／α比に平均値を算出し、算出したβ／α比に平均値に基づいて第２エリアに対する視覚効果画像を生成する。制御装置２０Ｂは、第３エリアから取得した脳波のβ／α比に平均値を算出し、算出したβ／α比に平均値に基づいて第３エリアに対する視覚効果画像を生成する。

これにより、第３実施例によれば、配信先であるライブ会場にライブ映像を配信する場合、会場のエリア毎に異なる視覚効果画像を提供することができる。これにより、第３実施例では、会場毎に一体感を生み出すことが出来、かつエリア毎に発生する視覚効果画像によって盛り上がりを競うことができる。

［第４実施例］
第１実施例、第２実施例、および第３実施例では、ライブ映像をライブ会場に配信する例を説明したが、これに限らない。コンサート会場に、上述した第１実施形態、第２実施形態、および第３実施形態を適用してもよい。

この場合、コンサート会場に来ている観客が視聴者である。表示装置６０（図２２）は、コンサート会場に設置されるスクリーンであってもよく、ライティング装置等であってもよい。スピーカー４０は、コンサート会場に設置されるスピーカーである。観客に生体情報測定部５０を装着してもらうことで、制御装置２０Ｂが観客の生体情報を取得する。そして、制御装置２０Ｂは、取得した生体情報に基づいて視覚効果画像を生成する。この場合も、制御装置２０Ｂは、第１実施形態のように観客毎に視覚効果画像を生成してもよく、第２実施形態と同様に全ての観客の生体情報の脳波のβ／α比に平均値に基づいて視覚効果画像を生成するようにしてもよい。あるいは、制御装置２０Ｂは、コンサート会場を複数のエリアに分割して第３実施例と同様にエリア毎のβ／α比に平均値に基づいてエリア毎に視覚効果画像を生成するようにしてもよい。

これにより、第４実施例によれば、コンサート会場において観客の反応に基づく視覚効果画像を観客全てに提供することができる。これにより、観客の一体感を生み出すことができる。
また、第４実施例では、コンサート会場をエリアに分けた場合、エリア毎に異なる視覚効果画像を提供することができる。これにより、第４実施例では、エリア毎に一体感を生み出すことが出来、かつエリア毎に発生する視覚効果画像によって盛り上がりを競うことができる。

また、第１実施例～第４実施例では、ライブ会場、ライブビューイング会場、コンサート会場での使用について説明したが、これに限らない。これら多様な、各地のライブ会場、ライブビューイング会場、コンサート会場で視聴している視聴者、またはＰＣ（パーソナルコンピュータ（含むノートパソコン、タブレット端末）やスマートデバイスで視聴している個人視聴者、そして演者や演出者における、生体信号全による演出効果が、ネットワークを介して互いに共有され、「生体信号で世界を繋げるライブ」が可能となる。

［第５実施例］
上述した実施形態、実施例では、視聴者全てに生体情報測定部５０を装着する例を説明したが、これに限らない。例えば、視聴者の中から特定の人のみが生体情報測定部５０を装着するようにしてもよい。特定の人は、演出を行う人でもよく、またはコンサートの進行に影響を与える親衛隊的な人であってもよい。

この場合、制御装置２０Ｂは、生体情報測定部５０を装着している視聴者にアバターを割り当てるようにしてもよい。そして、生体情報測定部５０は、さらにジェスチャーセンサを備え、視聴者の動作を制御装置２０Ｂに出力するようにしてもよい。制御装置２０Ｂは、センサが出力する計測値に基づいて視聴者の動作を求め、求めた視聴者の動作に基づいてアバターを操作して視覚効果画像を生成するようにしてもよい。

［第６実施例］
上述した実施形態、実施例では、視聴者に生体情報測定部５０を装着する例を説明したが、演者が装着するようにしてもよい。
この場合、制御装置２０Ｂは、演者が装着する生体情報測定部５０の生体情報に基づいて視覚効果画像を生成し、観客が装着する生体情報測定部５０の生体情報に基づいて視覚効果画像を生成するようにしてもよい。なお、演者が装着する生体情報測定部５０は、ジェスチャーセンサを含む。

そして、制御装置２０Ｂは、演者にアバターを割り当て、ジェスチャーセンサの出力に基づいて演者に対応するアバターの動作を制御して視覚効果画像を生成するようにしてもよい。これにより、演者が操作する演者のキャラクターの動きや、演者の生体信号で生成された視覚効果を、視聴者が見ることができる。なお、制御装置２０Ｂは、演者の動作に応じてアバターやキャラクターを生成して、スクリーン等へ投影するだけではなく、人間の演者の映像に視覚効果を重ねるように投影するようにしてもよい。この場合、制御装置２０Ｂは、演者の動作を検出する撮影部を更に備え、撮影された画像を画像解析して、演者の映像に視覚効果を重ねるように投影するようにしてもよい。

また、制御装置２０Ｂは、視聴者に基づく視覚効果画像を視聴者のアバターから生成し、これを演者から見ることができるようにしてもよい。もしくは、制御装置２０Ｂは、視聴者と演者の生体信号を総合的に判断して視覚効果を生成するようにしてもよい。また、制御装置２０Ｂは、視聴者によって視聴位置を異ならせ視覚効果がその方向に生成するようにしてもよい。

［第７実施例］
なお、上述した実施形態、実施例では、生体情報に基づいて視覚効果画像を生成して、生成した視覚効果画像を視聴者や観客に提供する例を説明したが、これに限らない。
制御装置２０（または２０Ａ、２０Ｂ）は、生体情報に基づいて演出効果を生成し、生成した演出効果を視聴者や観客に提供するようにしてもよい。演出効果は、例えば、音響信号、匂い、振動、および光（ライティング）、拡張現実（ＡＲ）や複合現実（ＭＲ）による演出効果のうちの少なくとも１つである。

［第８実施例］
第１実施形態で説明したライブ演出システムの実装例を説明する。
図２４は、第１実施形態のライブ演出システムの実装例を示す図である。図２４に示すようにライブ演出システム１Ｃは、複数の脳波計１０（生体情報測定部）、複数の第１制御装置７０、複数のＶＲＨＭＤ３０、複数の第２制御装置８０、およびサーバ９０を備える。視聴者毎に、脳波計１０と第１制御装置と第２制御装置とＶＲＨＭＤ３０を備える。

第１制御装置７０は、スマートフォンやタブレット端末等の携帯端末である。制御装置２０の脳波取得部２０１と脳波処理部２０２の機能部の処理を行う。第１制御装置７０は、脳波計１０から受信した脳波データからα波成分とβ波成分を抽出してβ／α比を算出する。第１制御装置７０は、算出したβ／α比を、第２制御装置８０へ送信する。

第２制御装置８０は、例えばパーソナルコンピュータである。第２制御装置８０は、処理部８１と仮想ライブ部（クライアント）８２を備える。仮想ライブ部８２は、通信部を含んで構成されている。処理部８１は、制御装置２０（図１）の記憶部２０３、および視覚効果処理部２０４の機能部の処理を行う。仮想ライブ部８２は、画像処理部２０５、ライブ映像生成部２０７、および音声出力部２０８の機能部の処理を行う。処理部８１は、受信したβ／α比と閾値と比較して視覚効果生成指示を生成し、生成した視覚効果生成指示を仮想ライブ部８２に出力する。仮想ライブ部８２は、視覚効果生成指示をサーバ９０に送信する。

サーバ９０は、仮想ライブ部９１と記憶部９２を含んで構成させる。仮想ライブ部９１は、通信部を含んで構成されている。仮想ライブ部９１は、視覚効果生成指示を受信すると、視覚効果画像を再生し、視覚効果生成決定情報を全ての第２制御装置８０それぞれの仮想ライブ部８２に送信する。

第２制御装置８０の仮想ライブ部８２は、視覚効果生成決定情報を受信すると、視覚効果画像を再生する。なお、視聴者毎に視覚効果画像の色を分けるようにしてもよい。第２制御装置８０は、映像をＶＲＨＭＤ３０上で再生する。
第２制御装置８０は、映像の再生と並行して、第１制御装置７０から受信したβ／α比をサーバ９０に送信する。
サーバ９０は、視聴者毎のβ／α比を記憶部９２に記録する。

以上の処理により、サーバ９０側で第２制御装置８０から受信したβ／α比に基づいた視覚効果再生を決定し、かつ視聴者のβ／α比集中度の記録が可能となる。
なお、上述した各装置の構成と処理は一例であり、これに限らない。第１制御装置７０と第２制御装置８０とサーバ９０とは、図２に示したように１つの装置であってもよい。または、第１制御装置７０と第２制御装置８０が１つの装置であってもよい。あるいは、第２制御装置８０とサーバ９０とが１つの装置であってもよい。第２制御装置８０とサーバ９０とが１つの装置の場合、この装置が複数の第１制御装置７０からのβ／α比を受信して処理する。

［第９実施例］
第２実施形態で説明したライブ演出システムの実装例を説明する。
図２５は、第２実施形態のライブ演出システムの実装例である。図２５に示すようにライブ演出システム１Ｃは、複数の脳波計１０、複数の第１制御装置７０、複数のＶＲＨＭＤ３０、複数の第２制御装置８０Ｄ、およびサーバ９０Ｄを備える。視聴者毎に、脳波計１０と第１制御装置と第２制御装置とＶＲＨＭＤ３０を備える。なお、図２４に示したライブ演出システム１Ｃと同様の機能を有する構成要素には同じ符号を用いて、説明を省略する。

第２制御装置８０Ｄは、例えばパーソナルコンピュータである。第２制御装置８０Ｄは、処理部８１Ｄと仮想ライブ部（クライアント）８２を備える。仮想ライブ部８２は、通信部を含んで構成されている。処理部８１Ｄは、受信したβ／α比をサーバ９０Ｄに送信する。

サーバ９０Ｄは、仮想ライブ部９１Ｄと記憶部９２と処理部９３を含んで構成させる。仮想ライブ部９１Ｄは、通信部を含んで構成されている。処理部９３は、通信部を含んで構成されている。処理部９３は、第２制御装置８０Ｄから受信したβ／α比と閾値とを比較し、比較した結果に基づいて視覚効果生成指示を生成する。処理部９３は、生成した視覚効果生成指示を第２制御装置８０Ｄの仮想ライブ部８２Ｄに出力する。

第２制御装置８０Ｄの仮想ライブ部８２Ｄは、視覚効果生成指示に対応した視覚効果生成情報を、サーバ９０上の仮想ライブ部９１Ｄに送信する。
サーバ９０Ｄの仮想ライブ部９１Ｄは、視覚効果生成情報を受信すると、視覚効果画像を再生し、視覚効果生成決定情報を第２制御装置８０Ｄの仮想ライブ部８２Ｄに送信する。
第２制御装置８０Ｄの仮想ライブ部８２Ｄは、視覚効果生成決定情報を受信すると、視覚効果画像を再生する。第２制御装置８０Ｄは、映像をＶＲＨＭＤ３０上で再生する。

以上の処理により、サーバ９０Ｄ側で、第２制御装置８０Ｄの視聴者のβ／α比の統合演算に基づいた視覚効果再生を決定し、かつ視聴者のβ／α比集中度の記録が可能となる。
なお、上述した各装置の構成と処理は一例であり、これに限らない。第１制御装置７０と第２制御装置８０Ｄとサーバ９０Ｄとは、図１７に示したように１つの装置であってもよい。または、第１制御装置７０と第２制御装置８０Ｄが１つの装置であってもよい。あるいは、第２制御装置８０Ｄとサーバ９０Ｄとが１つの装置であってもよい。第２制御装置８０Ｄとサーバ９０Ｄとが１つの装置の場合、この装置が複数の第１制御装置７０からのβ／α比を受信して処理する。

以上のように、各実施形態、各実施例で説明した複数の視聴者が脳波を介してＶＲ環境のライブに参加することでライブ参加の一体感が得られるシステムは、複数の視聴者が脳波を介してＶＲ環境のライブに参加することでライブ参加の一体感が得られる。このため、複数の視聴者が脳波を介してＶＲ環境のライブに参加することでライブ参加の一体感が得られるシステムは、今後のエンターテイメントの新しい形を提供することができる。また、ライブ演出システム１（または１Ａ、１Ｂ）は、エンターテイメントに応用される効果が期待される。

また、ライブ演出システム１（または１Ａ、１Ｂ）は、視聴者や観客に脳波測定のみを要するため、四肢障がい者が能動的に参加でき、ライブ参加の一体感が得られる新しい仮想ライブのしくみを提供することができる。このため、ライブ演出システム１（または１Ａ、１Ｂ）は、バリアフリーなエンターテイメントの実現に応用される効果も期待される。

なお、上述した実施形態や実施例では、コンサートへの適用例を説明したが、ライブ演出システム１（または１Ａ，１Ｂ，１Ｃ，１Ｄ）の適用は、これに限らない。ライブ演出システム１（または１Ａ，１Ｂ，１Ｃ，１Ｄ）は、例えば、講演会（ＴＥＤスピーチをイメージ）や、新商品の発表会でのスピーチや、学校等での授業などへ適用することも可能である。

なお、本発明における制御装置２０（または２０Ａ、２０Ｂ）の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより制御装置２０（または２０Ａ、２０Ｂ）が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１，１Ａ，１Ｂ，１Ｃ，１Ｄ…ライブ演出システム、１０，１０ａ，１０ｂ，１０ｃ，・・・…脳波計、２０，２０Ａ…制御装置、２０１…脳波取得部、２０１Ｂ…生体情報取得部、２０２，２０２Ａ…脳波処理部、２０２Ｂ…生体情報処理部、２０３，２０３Ｂ…記憶部、２０４，２０４Ａ，２０４Ｂ…視覚効果処理部、２０５…画像処理部、２０６…素材格納部、２０７…ライブ映像生成部、２０８…音声出力部、３０，３０ａ，３０ｂ，３０ｃ，・・・…ＶＲＨＭＤ、４０，４０ａ，４０ｂ，４０ｃ，・・・…スピーカー、５０，５０ａ，５０ｂ，５０ｃ，・・・…生体情報測定部、７０…第１制御装置、８０，８０Ｄ…第２制御装置、８１，８１Ｄ…処理部、８２…仮想ライブ部、９０，９０Ｄ…サーバ、９１，９１Ｄ…仮想ライブ部、９２…記憶部、９３…処理部

Claims (13)

1. ｎ個（ｎは２以上の整数）の生体情報測定部であって、ライブに参加するｎ人それぞれが装着し、生体情報を測定する生体情報測定部と、
   仮想ライブの映像と音声を生成して、前記ライブに参加するｎ人それぞれが装着する再生装置に提供する提供部と、
   前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報と閾値とを比較した結果に基づいて演出効果を生成し、生成した前記演出効果を、前記ｎ人の前記再生装置へ提供することで共有させる制御装置と、
   を備え、
   前記制御装置は、前記ライブの進行に応じて前記閾値および前記演出効果のうち少なくとも１つを変化させ、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報の平均値と閾値とを比較した結果に基づいて前記演出効果を生成する、
   ライブ演出システム。
2. ｎ個（ｎは２以上の整数）の生体情報測定部であって、ライブに参加するｎ人それぞれが装着し、生体情報を測定する生体情報測定部と、
   仮想ライブの映像と音声を生成して、前記ライブに参加するｎ人それぞれが装着する再生装置に提供する提供部と、
   前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報と閾値とを比較した結果に基づいて演出効果を生成し、生成した前記演出効果を、前記ｎ人の前記再生装置へ提供することで共有させる制御装置と、
   を備え、
   前記制御装置は、前記ｎ人のうち上位の所定人数の前記生体情報が前記閾値を超えた場合に前記演出効果を生成する、ライブ演出システム。
3. 前記制御装置は、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報毎に、前記生体情報と前記閾値とを比較した結果に基づいて前記演出効果を生成する、請求項１または請求項２に記載のライブ演出システム。
4. 前記制御装置は、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報の平均値と閾値とを比較した結果に基づいて前記演出効果を生成する、請求項２に記載のライブ演出システム。
5. 前記制御装置は、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報の最大値と閾値とを比較した結果に基づいて前記演出効果を生成する、請求項１または請求項２に記載のライブ演出システム。
6. 前記制御装置は、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報のうち上位ｍ（ｍは２以上かつｎ以下の整数）個の平均値と閾値とを比較した結果に基づいて前記演出効果を生成する、請求項１または請求項２に記載のライブ演出システム。
7. 前記制御装置は、前記ｎ個の生体情報測定部を装着した人がいる領域を複数の領域に分け、複数の前記領域毎に前記演出効果を生成する、請求項１から請求項６のいずれか１項に記載のライブ演出システム。
8. 前記閾値は複数であり、
   前記生体情報に基づく値が第１の値以上且つ第２の値未満である第１の閾値の範囲の場合に第１の前記演出効果を生成し、前記生体情報に基づく値が第２の値以上である第２の閾値以上の場合に第２の前記演出効果を生成する、請求項１から請求項７のいずれか１項に記載のライブ演出システム。
9. 前記生体情報は、脳波であり、
   前記制御装置は、前記脳波から少なくともα波成分とβ波成分とを抽出し、前記β波成分を前記α波成分で除算してβ／α比を算出し、算出した前記β／α比と前記閾値とを比較した結果に基づいて前記演出効果を生成する、請求項１から請求項８のいずれか１項に記載のライブ演出システム。
10. 前記生体情報は、心拍であり、
    前記制御装置は、現時点より前の時点で計測した心拍数と、前記現時点で測定した心拍数との増加分が閾値以上に上昇したときに前記演出効果を生成する、請求項１から請求項８のいずれか１項に記載のライブ演出システム。
11. 前記演出効果は、画像、映像、音響信号、匂い、振動、光のうちのすくなくとも１つである、請求項１から請求項１０のいずれか１項に記載のライブ演出システム。
12. ライブに参加するｎ人（ｎは２以上の整数）それぞれが装着されるｎ個の生体情報測定部が、生体情報を測定するステップと、
    提供部が、仮想ライブの映像と音声を生成して、前記ライブに参加するｎ人それぞれが装着する再生装置に提供するステップと、
    制御装置が、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報と閾値とを比較した結果に基づいて演出効果を生成し、生成した前記演出効果を、前記ライブに参加する複数の人の前記再生装置へ提供することで共有させる共有させるステップと、
    前記制御装置が、前記ライブの進行に応じて前記閾値および前記演出効果のうち少なくとも１つを変化させるステップと、
    前記制御装置が、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報の平均値と閾値とを比較した結果に基づいて前記演出効果を生成させるステップと、
    を含むライブ演出方法。
13. ライブに参加するｎ人（ｎは２以上の整数）それぞれが装着されるｎ個の生体情報測定部が、生体情報を測定するステップと、
    提供部が、仮想ライブの映像と音声を生成して、前記ライブに参加するｎ人それぞれが装着する再生装置に提供するステップと、
    制御装置が、前記ｎ個の前記生体情報測定部それぞれが測定した前記生体情報と閾値とを比較した結果に基づいて演出効果を生成し、生成した前記演出効果を、前記ライブに参加する複数の人の前記再生装置へ提供することで共有させる共有させるステップと、
    前記制御装置が、前記ｎ人のうち上位の所定人数の前記生体情報が前記閾値を超えた場合に前記演出効果を生成する、
    を含むライブ演出方法。

Images