JP7188831B2 - ライブ配信システムおよびライブ配信方法 - Google Patents

Description

本発明は、ライブ配信システムおよびライブ配信方法に係り、特に、場所が異なる複数のライブ会場に対する一斉ライブ配信に関する。

例えば、特許文献１には、ユーザたちが互いに協力し、または、互いに競い合いなどしながら、歌手やキャラクターのコンサートの映像が表示される映像表示装置に所定の演出効果を出力するイベント演出システムが開示されている。このイベント演出システムは、演出制御サブシステムと、ユーザ端末と、映像表示装置とを有する。演出制御サブシステムは、イベント会場の演出制御を行う。ユーザ端末は、演出制御サブシステムと通信ネットワークを介して接続されている。映像表示装置は、イベント会場に設けられており、演出制御サブシステムによる演出効果の映像を表示する。ここで、演出効果は、イベント会場におけるユーザの各種作業によって発生したポイントを使用することで選定され、これが映像データに合成される。例えば、キャラクターが歌う映像の背後のレイヤーとして、コメントを表示した後に消滅するといった動作が付加され、このような演出効果を通じて、イベントが盛り上げられる。

特開２０１７－１５１９７８号公報

ところで、場所が異なる複数のライブ会場に対するライブ配信を一斉に行う場合、参加者の盛り上がり（ヒートアップ）の程度はライブ会場毎に異なることから、すべてのライブ会場で同一の演出効果を一律に行うと、会場によっては参加者に違和感を与えるおそれがある。例えば、参加者を一層盛り上げるような演出効果の高いものは、既に十分に盛り上がっているライブ会場では好ましいが、それよりも盛り上がりに欠けるライブ会場では好ましくない。そのようなライブ会場では、むしろ演出効果を控えめにした方が、そこの参加者にとっての没入感が得られ易い。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、ライブ配信が一斉に行われる複数のライブ会場において、参加者全員の没入感を高めることである。

かかる課題を解決すべく、第１の発明は、場所が異なる複数のライブ会場側の機器にネットワーク接続されており、ライブでの演者の動きに基づき生成されたライブ映像をライブ配信するライブ配信システムを提供する。このライブ配信システムは、モーション解析部と、ライブ映像生成部と、反応収集部と、演出効果制御部とを有する。モーション解析部は、ライブでのキャラクターの動きを演じる演者の動きを解析してデータ化する。ライブ映像生成部は、データ化された演者の動きをキャラクターの動きに変換することによってライブ映像を生成し、この生成されたライブ映像を複数のライブ会場に一斉にライブ配信する。反応収集部は、ライブ映像がライブ配信された複数のライブ会場のそれぞれにおける参加者の反応を、複数のライブ会場のそれぞれに設けられた検出機器から、ネットワークを介して、リアルタイムかつ一元的に収集する。演出効果制御部は、収集されたライブ会場毎の参加者の反応に基づいて、ライブ映像に付加する演出効果をライブ会場毎に個別に決定し、ネットワークを介して、複数のライブ会場のそれぞれに設けられた出力機器に送信する。

ここで、第１の発明において、上記演出効果制御部は、上記演出効果として、ライブ会場毎の演出効果映像を生成し、映像効果映像が合成されたライブ映像をライブ会場に配信してもよい。また、上記演出効果制御部は、上記演出効果として、ライブ会場毎の演出効果音響を決定し、ライブ会場側の音響機器に指示してもよい。さらに、上記演出効果制御部は、上記演出効果として、ライブ会場毎の演出効果照明を決定し、ライブ会場側の照明機器に指示してもよい。

第１の発明において、上記検出機器は、ライブ会場における参加者が所有する複数の携帯端末であって、上記参加者の反応は、複数の携帯端末に対する参加者のユーザ操作の数であってもよい。また、上記検出機器は、それぞれのライブ会場に設置されたカメラであって、上記参加者の反応は、カメラによって取得された画像中の動きであってもよい。また、上記検出機器は、それぞれのライブ会場に設置されたマイクであって、上記参加者の反応は、マイクによって取得された音であってもよい。さらに、上記検出機器は、それぞれのライブ会場に設置された温度センサであって、上記参加者の反応は、温度センサによって取得された温度の変化であってもよい。

第２の発明は、場所が異なる複数のライブ会場側の機器にネットワーク接続されたライブ配信システムが、ライブでの演者の動きに基づき生成されたライブ映像をライブ配信するライブ配信方法を提供する。このライブ配信方法は、以下の第１から第４のステップを有する。第１のステップでは、ライブでのキャラクターの動きを演じる演者の動きを解析してデータ化する。第２のステップでは、データ化された演者の動きをキャラクターの動きに変換することによってライブ映像を生成し、この生成されたライブ映像を複数のライブ会場に一斉にライブ配信する。第３のステップでは、ライブ映像がライブ配信された複数のライブ会場のそれぞれにおける参加者の反応を、複数のライブ会場のそれぞれに設けられた検出機器から、ネットワークを介して、リアルタイムかつ一元的に収集する。第４のステップでは、収集されたライブ会場毎の参加者の反応に基づいて、ライブ映像に付加する演出効果をライブ会場毎に個別に決定し、ネットワークを介して、複数のライブ会場のそれぞれに設けられた出力機器に送信する。

本発明によれば、ライブでの演者の動きに基づき生成されたライブ映像に付加する演出効果を、それぞれのライブ会場における参加者の反応に応じて、ライブ会場毎に個別に決定する。それぞれのライブ会場に適した演出効果を実行することで、特定のライブ会場の参加者に違和感を与えることなく、一斉ライブ配信における参加者全員の没入感を効果的に高めることができる。

本実施形態に係る仮想ライブシステムのブロック図 ライブ映像の一例を示す図 演出効果映像の一例を示す図 合成映像の一例を示す図

図１は、本実施形態に係る仮想ライブシステムのブロック図である。この仮想ライブシステムは、場所が異なる複数のライブ会場Ａ～Ｃにネットワーク接続されたライブ配信システム１を主体に構成されており、ライブ会場Ａ～Ｃに対して、仮想的なキャラクター（キャラクターのグループを含む。）の歌や踊りを映像化したライブ映像を一斉に配信する。これにより、多くの会場において、仮想的なキャラクターによるライブの同時開催が実現される。なお、本明細書において、「ライブ会場」とは、動画配信、ＶＲ配信（ＶＲ；virtual reality）、ＡＲ配信（ＡＲ；Augmented Reality）などの一斉ライブ配信が行われる場所を広く包含し、実在する会場のみならず、オンライン上の会場（参加人数は問わない。）も含まれる。

ライブ配信システム１は、モーション解析部２と、ライブ映像生成部３と、演出効果制御部４と、反応収集部５とを有する。モーション解析部２は、キャラクターの動きを演じる演者（アクター）に取り付けられた多数のモーションセンサの出力に基づいて、演者の動きを解析してデータ化する。ライブ映像生成部３は、データ化された演者の動きを仮想的なキャラクターの動きに変換することによって、例えば図２に示すような、仮想的なキャラクターに関するアニメ化されたライブ映像を生成する。このライブ映像は、インターネットなどのネットワークを介して、ライブ会場Ａ～Ｃに同時配信される。

それぞれのライブ会場Ａ～Ｃは、出力機器６と、検出機器７とを有している。出力機器６には、スクリーンに映像を投射するプロジェクタなどの表示装置６ａと、スピーカを主体とした音響機器６ｂと、ライトやレーザビームなどを発する照明機器５ｃとが存在する。表示装置５ａは、映像制御部５ａによって制御され、音響機器６ｂは、音響制御部５ｂによって制御され、照明機器６ｃは、照明制御部５ｃによってライブ会場毎に個別に制御される。

検出機器７は、特定のライブ会場においてライブ映像を視聴する参加者の反応を直接的または間接的に検出する。本実施形態において、検出機器７としては、参加者が所持している携帯端末７ａ、ライブ会場内における参加者全体を俯瞰したカメラ７ｂ、ライブ会場内における参加者全体の声を集音するマイク７ｃ、ライブ会場内の温度を検出する温度センサ７ｄが想定され、これらの内の少なくとも一つが用いられる。

検出機器７として、参加者が保持しているスマートフォンなどの携帯端末７ａを用いる場合、携帯端末７ａにおける所定のユーザ操作の数（例えば、タップ数）に基づいて、参加者の反応を検出・推定することができる。仮想ライブでは、キャラクターからの要求があった場合、参加者は、好きなキャラクターを応援すべく、携帯端末７ａのアプリ上でタップを高速で行う（タップ数の大小は応援の程度を示す。）。したがって、参加者によるタップの総数が多いほど、ライブ会場が盛り上がっている、すなわち、参加者の反応が高いとみなすことができる。

検出機器７として、ライブ会場に設置されたカメラ７ｂを用いる場合、カメラ７ｂによって撮像された画像中の動きに基づいて、参加者の反応を検出・推定することができる。一般に、ライブ会場が盛り上がるほど、人々の動きや、ペンライトに由来した輝点の動きが大きくなる傾向がある。そこで、カメラ７ｂによって撮像された画像の時系列的にモニタリングして、画像中の動き（例えばオプティカルフロー）が大きくなるほど、ライブ会場が盛り上がっている、すなわち、参加者の反応が高いとみなすことができる。

検出機器７として、ライブ会場に設置されたマイク７ｃを用いる場合、マイク７ｃによって取得された音の大小に基づいて、参加者の反応を検出・推定することができる。仮想ライブでは、キャラクターからの要求があった場合、参加者は大きな声で声援を送る。したがって、参加者による声援の音量が大きいほど、ライブ会場が盛り上がっている、すなわち、参加者の反応が高いとみなすことができる。

検出機器７として、ライブ会場に設置された温度センサ７ｄを用いる場合、温度センサ７ｄによって検出された温度変化に基づいて、参加者の反応を検出・推定することができる。ライブ会場が盛り上がるほど、ライブ会場が熱気で包まれ、室温が上昇する。そこで、温度センサ７ｄによって室温の上昇をモニタリングして、温度上昇の度合いが大きくなるほど、ライブ会場が盛り上がっている、すなわち、参加者の反応が高いとみなすことができる。

ライブ配信システム１は、ライブ会場Ａ～Ｃ側の検出機器７によって検出されたライブ会場毎の参加者の反応に応じて、ライブ会場毎に検出効果を制御する。具体的には、反応収集部４は、ライブ会場Ａ～Ｃにおいてライブ映像を視聴する参加者の反応を、それぞれのライブ会場Ａ～Ｃ内の検出機器７から、ライブ会場毎にリアルタイムで収集する。演出効果制御部５は、反応収集部４によって収集されたライブ会場毎の参加者の反応に基づいて、ライブ会場Ａ～Ｃにおいて演出すべき演出効果をライブ会場毎に決定する。演出効果制御部５としては、映像制御部５ａ、音響制御部５ｂ、および、照明制御部５ｃが設けられている。

映像制御部５ａは、演出効果として、ライブ会場毎の演出効果映像を生成し、映像効果映像を個別に合成したライブ映像をライブ会場Ａ～Ｃに配信する。図３は、演出効果映像の一例として、ライブ映像の背景レイヤーとして付加される流れ星を示す。単位時間当たりの流れ星の個数は、それぞれのライブ会場Ａ～Ｃにおける参加者の反応に応じてライブ会場毎に決定され、参加者の反応が高くなるほど多くなる。図４は、ライブ映像に流れ星の演出効果映像が合成された合成映像の一例を示す図である。参加者の反応が高いライブ会場Ａについては、合成画像における流れ星の数が多く、これによって、非常に盛り上がっている参加者に適した演出が行われる。参加者の反応が中程度のライブ会場Ｂについては、合成画像における流れ星の数が普通であり、これによって、普通に盛り上がっている参加者に違和感を与えることなく、それ相応の演出が行われる。参加者の反応が低いライブ会場Ｃについては、合成画像における流れ星の数が少なく、これによって、盛り上がりに欠ける参加者に違和感を与えることなく、それ相応の演出が行われる。

なお、ライブ映像に合成する演出効果映像は、流れ星に限定されるものではなく、既知の様々な映像を任意に用いることができる。例えば、演出効果映像として燃え上がる炎を用いる場合、参加者の反応に応じて、炎の大小や勢いを可変に制御してもよい。また、演出効果映像は、同種のものである必要はなく、参加者の反応に応じて異なる種類の演出効果映像を付加してもよい。さらに、映像制御部５ａによる演出効果としては、背景としての演出効果映像の付加のみならず、例えば、キャラクターの汗の量を変えるといった如く、ライブ映像のキャラクター自体に変化を付けてもよい。

音響制御部５ｂは、演出効果として、ライブ会場毎の演出効果音響を決定し、その実行をライブ会場側の音響機器６ｂに個別に指示する。例えば、参加者の反応が高くなるほど、音量を大きくしたり、音源の数を増やしたりするといった如くである。

照明制御部４ｃは、演出効果として、ライブ会場毎の演出効果照明を決定し、ライブ会場側の照明機器６ｃに個別に指示する。例えば、参加者の反応が高くなるほど、ライトの発光数を増やしたり、フラッシュの間隔を短くしたり、レーザビームの本数を増やすといった如くである。

このように、本実施形態によれば、ライブ会場で演出すべき演出効果を、それぞれのライブ会場における参加者の反応、換言すれば、ライブ会場における盛り上がりの程度に応じて、ライブ会場毎に個別に決定する。これにより、それぞれのライブ会場に適した演出効果を実行する。その結果、特定のライブ会場の参加者に違和感を与えることなく、ライブ配信が一斉に行われるすべてのライブ会場において、参加者全員の没入感を効果的に高めることができる。

１ ライブ配信システム
２ モーション解析部
３ ライブ映像生成部
４ 反応収集部
５ 演出効果制御部
５ａ 映像制御部
５ｂ 音響制御部
５ｃ 照明制御部
６ 出力機器
６ａ 表示機器
６ｂ 音響機器
６ｃ 照明機器
７ 検出機器
７ａ 携帯端末
７ｂ カメラ
７ｃ マイク
７ｄ 温度センサ

Claims (4)

1. 場所が異なる複数のライブ会場側の機器にネットワーク接続されており、ライブでの演者の動きに基づき生成されたライブ映像をライブ配信するライブ配信システムにおいて、
   ライブでのキャラクターの動きを演じる演者の動きを解析してデータ化するモーション解析部と、
   前記データ化された演者の動きをキャラクターの動きに変換することによってライブ映像を生成し、当該生成されたライブ映像を前記複数のライブ会場に一斉にライブ配信するライブ映像生成部と、
   前記ライブ映像がライブ配信された前記複数のライブ会場のそれぞれにおける参加者の反応を、前記複数のライブ会場のそれぞれに設けられた検出機器から、ネットワークを介して、リアルタイムかつ一元的に収集する反応収集部と、
   前記収集されたライブ会場毎の参加者の反応に基づいて、前記ライブ映像に付加する演出効果をライブ会場毎に個別に決定し、ネットワークを介して、前記複数のライブ会場のそれぞれに設けられた出力機器に送信する演出効果制御部と
   を有することを特徴とするライブ配信システム。
2. 前記演出効果は、前記ライブ映像に対して個別にレイヤー合成されるライブ会場毎の演出効果映像、ライブ会場側の音響装置に対して個別に指示されるライブ会場毎の演出効果音響、または、ライブ会場側の照明機器に対して個別に指示されるライブ会場毎の演出効果照明であることを特徴とする請求項１に記載されたライブ配信システム。
3. 場所が異なる複数のライブ会場側の機器にネットワーク接続されたライブ配信システムが、ライブでの演者の動きに基づき生成されたライブ映像をライブ配信するライブ配信方法において、
   ライブでのキャラクターの動きを演じる演者の動きを解析してデータ化する第１のステップと、
   前記データ化された演者の動きをキャラクターの動きに変換することによってライブ映像を生成し、当該生成されたライブ映像を前記複数のライブ会場に一斉にライブ配信する第２のステップと、
   前記ライブ映像がライブ配信された前記複数のライブ会場のそれぞれにおける参加者の反応を、前記複数のライブ会場のそれぞれに設けられた検出機器から、ネットワークを介して、リアルタイムかつ一元的に収集する第３のステップと、
   前記収集されたライブ会場毎の参加者の反応に基づいて、前記ライブ映像に付加する演出効果をライブ会場毎に個別に決定し、ネットワークを介して、前記複数のライブ会場のそれぞれに設けられた出力機器に送信する第４のステップと
   を有することを特徴とするライブ配信方法。
4. 前記演出効果は、前記ライブ映像に対して個別にレイヤー合成されるライブ会場毎の演出効果映像、ライブ会場側の音響装置に対して個別に指示されるライブ会場毎の演出効果音響、または、ライブ会場側の照明機器に対して個別に指示されるライブ会場毎の演出効果照明であることを特徴とする請求項３に記載されたライブ配信方法。
   
   

Images