JP7495558B1 - 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法 - Google Patents

仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法 Download PDF

Info

Publication number
JP7495558B1
JP7495558B1 JP2023102734A JP2023102734A JP7495558B1 JP 7495558 B1 JP7495558 B1 JP 7495558B1 JP 2023102734 A JP2023102734 A JP 2023102734A JP 2023102734 A JP2023102734 A JP 2023102734A JP 7495558 B1 JP7495558 B1 JP 7495558B1
Authority
JP
Japan
Prior art keywords
viewer
content
virtual space
avatar
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023102734A
Other languages
English (en)
Inventor
航 下江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
COVER CORP.
Original Assignee
COVER CORP.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by COVER CORP. filed Critical COVER CORP.
Priority to JP2023102734A priority Critical patent/JP7495558B1/ja
Application granted granted Critical
Publication of JP7495558B1 publication Critical patent/JP7495558B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

【課題】 仮想空間に参加している個々の視聴者ユーザーの興趣を高めること。【解決手段】仮想空間コンテンツを配信可能なサーバコンピュータを含む仮想空間コンテンツ配信システムであって、サーバコンピュータは、仮想空間コンテンツの配信中において、視聴者アバターの動作を該コンテンツに対応させるための調整手段を備え、視聴者アバターは、仮想空間コンテンツの第1コンテンツが配信されている期間においては該第1コンテンツに対応した動作を実行可能である一方、仮想空間コンテンツの第2コンテンツが配信されている期間においては該第2コンテンツに対応しない動作を実行可能である。【選択図】図31

Description

本発明は、仮想空間における仮想空間コンテンツを配信可能な仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法に関する。
従来、配信ユーザ(演者)の動きに連動して仮想空間において動作する該配信ユーザ(演者)のキャラクタオブジェクト(アバター)のアニメーションを、視聴者ユーザーの端末とコンピュータネットワークを介して接続されたサーバコンピュータにおいて生成し、かかるアニメーションを含む動画コンテンツをライブ配信するとともに、視聴する視聴者ユーザーについても、視聴者ユーザーからの要求に応じて、配信ユーザ(演者)のアバターが参加している仮想空間に観客として参加することが可能な配信システムが知られている(例えば、特許文献1参照)。
特開2012-120098号公報
しかしながら、特許文献1にあっては、視聴者ユーザーがアバターとして仮想空間に参加しているときに、該仮想空間において配信ユーザ(演者)のアバターによってパフォーマンス(ダンス)のコンテンツが上演されているときや、上演以外のコンテンツが実行されているときに、これらコンテンツに応じた動作やコンテンツに対応していない動作を適切に行うことができず、仮想空間に参加している個々の視聴者ユーザーの興趣が高まらないという問題があった。
本発明は、このような問題点に着目してなされたもので、仮想空間に参加している個々の視聴者ユーザーの興趣を高めることのできる仮想空間における仮想空間コンテンツを配信可能な仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法を提供することを目的とする。
請求項1の仮想空間コンテンツ配信システムは、
仮想空間(例えば、仮想ライブ会場)における仮想空間コンテンツ(例えば、仮想ライブ)を配信可能な仮想空間コンテンツ配信システムであって、
前記仮想空間コンテンツの映像を表示可能な端末(例えば、スマートフォンP、コンピュータPC)であって、前記仮想空間コンテンツの対象となる仮想空間に参加可能な視聴者アバターを該仮想空間において動作させる操作を行う視聴者ユーザーが利用可能な視聴者ユーザー端末(例えば、視聴者端末300)と、
前記視聴者ユーザー端末に通信ネットワーク(例えば、インターネット)を介して接続され、少なくとも前記仮想空間に関する処理(例えば、仮想空間更新処理、仮想空間更新データ生成処理等)と前記仮想空間コンテンツの配信に関する処理(例えば、仮想空間更新データ配信処理、生成音声配信処理等)とを実行可能なサーバコンピュータ(例えば、配信用サーバコンピュータ)と、
を含み、
前記サーバコンピュータは、前記仮想空間コンテンツの配信中において前記視聴者アバターが前記視聴者ユーザー端末における操作(例えば、図40(B)の画面においてケミライトメニューを選択する操作)にもとづいて動作(例えば、ケミライト動作)するときに、該動作を該仮想空間コンテンツに対応させるための視聴者アバター動作調整手段(例えば、配信用サーバコンピュータ100が振り始め情報、ケミライト動作情報、BPM情報等を配信する部分)を備え、
前記仮想空間コンテンツは、該仮想空間コンテンツの主コンテンツである第1コンテンツ(例えば、楽曲のコンテンツ)と、前記第1コンテンツとは異なる第2コンテンツ(例えば、MC(トーク)のコンテンツ)とを含み、
前記視聴者アバターは、前記第1コンテンツが配信されている期間(例えば、各演目期間)においては該第1コンテンツに対応した動作(例えば、楽曲のテンポに対応したケミライト動作)を実行可能である一方、前記第2コンテンツが配信されている期間(例えば、各MC期間)においては該第2コンテンツに対応しない動作(例えば、移動)を実行可能である
ことを特徴としている。
この特徴によれば、視聴者アバターによる動作が、第1コンテンツの配信時においては第1コンテンツに対応した動作に調整される一方、第2コンテンツの配信時においては第2コンテンツに対応しない動作が可能とされるので、仮想空間に参加している個々の視聴者ユーザーの興趣を高めることができる。
請求項2の仮想空間コンテンツ配信システムは、請求項1に記載の仮想空間コンテンツ配信システムであって、
前記第1コンテンツは、前記仮想空間に参加可能な演者アバター(例えば、演者アバター1)により上演される上演コンテンツ(例えば、歌唱やダンスと伴う楽曲コンテンツ)を含む
ことを特徴としている。
この特徴によれば、演者アバターの上演による上演コンテンツが含まれるとともに、視聴者アバターの動作が上演コンテンツに対応した動作に調整されるので、仮想空間コンテンツの興趣をより一層向上できる。
請求項3の仮想空間コンテンツ配信システムは、請求項2に記載の仮想空間コンテンツ配信システムであって、
前記上演コンテンツは、前記演者アバター(例えば、演者アバター1)により上演される楽曲コンテンツを含む
ことを特徴としている。
この特徴によれば、視聴者アバターの動作を楽曲コンテンツに対応した動作に調整することができる。
請求項4の仮想空間コンテンツ配信システムは、請求項2に記載の仮想空間コンテンツ配信システムであって、
前記上演コンテンツは、前記演者アバターにより上演されるダンスコンテンツを含む
ことを特徴としている。
この特徴によれば、視聴者アバターの動作をダンスコンテンツに対応した動作に調整することができる。
請求項5の仮想空間コンテンツ配信システムは、請求項2に記載の仮想空間コンテンツ配信システムであって、
前記上演コンテンツは、前記演者アバターによる喋りコンテンツを含む(例えば、変形例3-3に示すように、演者によっては、MC(トーク)を上演コンテンツに含めている部分)
ことを特徴としている。
この特徴によれば、視聴者アバターの動作を喋りコンテンツに対応した動作に調整することができる。
請求項6の仮想空間コンテンツ配信システムは、請求項2に記載の仮想空間コンテンツ配信システムであって、
前記第2コンテンツが配信されている期間は、前記上演コンテンツを含まないコンテンツが配信されている期間である(例えば、MC期間は、上演コンテンツである楽曲を含まない期間である部分)
ことを特徴としている。
この特徴によれば、上演コンテンツに対応しない動作が上演コンテンツの配信中に実行されてしまうことを適切に防ぐことができる。
請求項7の仮想空間コンテンツ配信システムは、請求項1または2に記載の仮想空間コンテンツ配信システムであって、
前記視聴者アバターは、前記視聴者ユーザー端末における操作にもとづいて動作態様が異なる複数の動作を行うことが可能であって(例えば、変形例3-4に示すように、左右方向のケミライト動作だけではなく、前後方向のケミライト動作やウエーブ動作を実行可能な部分)、
前記視聴者アバター動作調整手段は、前記視聴者アバターの複数の動作のいずれについても、前記第1コンテンツに対応させることが可能である(例えば、変形例3-4においては、左右方向のケミライト動作だけではなく、前後方向のケミライト動作やウエーブ動作をBPM情報によって同調させることが可能な部分)
ことを特徴としている。
この特徴によれば、視聴者アバターによる動作態様の異なる複数の動作についても第1コンテンツに対応した動作に調整することができるので、仮想空間に参加している個々の視聴者ユーザーの興趣を、より一層高めることができる。
請求項8の仮想空間コンテンツ配信システムは、請求項1または2に記載の仮想空間コンテンツ配信システムであって、
前記視聴者ユーザー端末は、前記サーバコンピュータから送信されてくる前記仮想空間の仮想空間データ(例えば、仮想空間更新データ)にもとづいて前記仮想空間コンテンツの映像を生成可能であって(例えば、視聴者アバター視点映像を生成可能な部分)、
前記視聴者アバター動作調整手段は、前記視聴者アバターの動作を前記第1コンテンツ(例えば、楽曲のコンテンツ)に対応した動作(例えば、ケミライト動作)とするための動作情報(例えば、振り始め情報、BPM情報)を前記視聴者ユーザー端末に対して送信し、
前記視聴者ユーザー端末は、前記仮想空間データと前記動作情報とにもとづいて、前記視聴者アバターが前記第1コンテンツに対応した動作をしている前記仮想空間コンテンツの映像を生成可能である(例えば、実施例3の視聴者端末300において視聴者視点映像生成処理1が実行されることで、同調したケミライト動作を含む視聴者アバター視点映像が生成される部分)
ことを特徴としている。
この特徴によれば、処理負荷が大きな映像生成が視聴者ユーザー端末側で行われるので、より多くの視聴者ユーザーを仮想空間に参加させることができるとともに、このような視聴者ユーザーをより多く参加させるためのシステム形態においても、視聴者アバターの動作を前記第1コンテンツに対応した動作に調整することができるので、仮想空間に参加している個々の視聴者ユーザーの興趣を高めることができる。
請求項9の仮想空間コンテンツ配信システムは、請求項8に記載の仮想空間コンテンツ配信システムであって、
前記視聴者アバター動作調整手段は、前記動作情報を、前記第1コンテンツの配信が開始される前に前記視聴者ユーザー端末に対して送信する(例えば、配信用サーバコンピュータ100が、振り始め情報とBPM情報とを、各演目が開始されるタイミングの所定期間前から送信を開始する部分)
ことを特徴としている。
この特徴によれば、第1コンテンツの開始時において、視聴者アバターの動作が第1コンテンツに対応していない状態が発生してしまうことを防ぐことができる。
請求項10の仮想空間コンテンツ配信システムは、請求項8に記載の仮想空間コンテンツ配信システムであって、
前記第1コンテンツは、第1期間(例えば、第1演目期間)において配信される第1期間コンテンツ(例えば、第1演目において上演される楽曲ID「GK-XXXX」の楽曲コンテンツ)と、該第1期間とは異なる第2期間(例えば、第2演目期間)において配信される第2期間コンテンツ(例えば、第2演目において上演される楽曲ID「GK-YYYY」の楽曲コンテンツ)と、を含み、
前記視聴者アバター動作調整手段は、前記第1期間コンテンツと前記第2期間コンテンツとで異なる前記動作情報を送信する(例えば、図35に示すように、第1演目において楽曲ID「GK-XXXX」の楽曲が進行しているときには、第1演目対応BPM情報が送信され、第2演目において楽曲ID「GK-YYYY」の楽曲が進行しているときには、第2演目対応BPM情報が送信される部分)
ことを特徴としている。
この特徴によれば、異なる期間に配信される各コンテンツの違いに対応した動作に視聴者アバターの動作を調整することができる。
請求項11の仮想空間コンテンツ配信プログラムは、
仮想空間(例えば、仮想ライブ会場)における仮想空間コンテンツ(例えば、仮想ライブ)を、少なくともサーバコンピュータ(例えば、配信用サーバコンピュータ100)を用いてネットワーク(例えば、インターネット)を介して配信するための仮想空間コンテンツ配信プログラム(例えば、配信用サーバコンピュータ100において仮想空間更新データの送信に関して動作するプログラム、および視聴者端末300において視聴者アバター視点映像を生成に関して動作するプログラム)であって、
前記仮想空間コンテンツの対象となる仮想空間に参加可能なアバター(例えば、視聴者アバター)は、視聴者ユーザーが利用可能な端末であって前記ネットワークを介して前記サーバコンピュータに接続された視聴者ユーザー端末(例えば、視聴者端末300)における操作によって前記仮想空間において動作する視聴者アバターを含み、
前記仮想空間コンテンツは、該仮想空間コンテンツの主コンテンツである第1コンテンツ(例えば、楽曲のコンテンツ)と、前記第1コンテンツとは異なる第2コンテンツ(例えば、MC(トーク)のコンテンツ)とを含み、
前記仮想空間コンテンツの配信中において前記視聴者アバターが前記視聴者ユーザー端末における操作にもとづいて動作するときに、該動作を該仮想空間コンテンツに対応させるための視聴者アバター動作調整ステップを含み(例えば、視聴者アバターのケミライト動作を、配信されている各楽曲のテンポに、振り始め情報とBPM情報とにもとづいて同調させる部分)、
前記視聴者アバターは、前記視聴者アバター動作調整ステップが実行されることによって、前記第1コンテンツが配信されている期間(例えば、各演目期間)においては該第1コンテンツに対応した動作(例えば、各楽曲のテンポに同調したケミライト動作)を実行可能である一方、前記第2コンテンツが配信されている期間(例えば、各MC期間)においては該第2コンテンツ(例えば、MC(トーク))に対応しない動作(例えば、移動)を実行可能である
ことを特徴としている。
この特徴によれば、視聴者アバターによる動作が、第1コンテンツの配信時においては第1コンテンツに対応した動作に調整される一方、第2コンテンツの配信時においては第2コンテンツに対応しない動作が可能とされるので、仮想空間に参加している個々の視聴者ユーザーの興趣を高めることができる。
請求項12の仮想空間コンテンツ配信方法は、
仮想空間(例えば、仮想ライブ会場)における仮想空間コンテンツ(例えば、仮想ライブ)を、少なくともサーバコンピュータ(例えば、配信用サーバコンピュータ100)を用いてネットワーク(例えば、インターネット)を介して配信するための仮想空間コンテンツ配信方法であって、
前記仮想空間コンテンツの対象となる仮想空間に参加可能なアバター(例えば、視聴者アバター)は、視聴者ユーザーが利用可能な端末であって前記ネットワークを介して前記サーバコンピュータに接続された視聴者ユーザー端末(例えば、視聴者端末300)における操作によって前記仮想空間において動作する視聴者アバターを含み、
前記仮想空間コンテンツは、該仮想空間コンテンツの主コンテンツである第1コンテンツ(例えば、楽曲のコンテンツ)と、前記第1コンテンツとは異なる第2コンテンツ(例えば、MC(トーク)のコンテンツ)とを含み、
前記仮想空間コンテンツの配信中において前記視聴者アバターが前記視聴者ユーザー端末における操作にもとづいて動作するときに、該動作を該仮想空間コンテンツに対応させるための視聴者アバター動作調整手順を含み例えば、視聴者アバターのケミライト動作を、配信されている各楽曲のテンポに、振り始め情報とBPM情報とにもとづいて同調させる部分)、
前記視聴者アバターは、前記視聴者アバター動作調整手順が実行されることによって、前記第1コンテンツが配信されている期間(例えば、各演目期間)においては該第1コンテンツに対応した動作(例えば、各楽曲のテンポに同調したケミライト動作)を実行可能である一方、前記第2コンテンツが配信されている期間(例えば、各MC期間)においては該第2コンテンツ(例えば、MC(トーク))に対応しない動作(例えば、移動)を実行可能である
ことを特徴としている。
この特徴によれば、視聴者アバターによる動作が、第1コンテンツの配信時においては第1コンテンツに対応した動作に調整される一方、第2コンテンツの配信時においては第2コンテンツに対応しない動作が可能とされるので、仮想空間に参加している個々の視聴者ユーザーの興趣を高めることができる。
尚、本発明は、本発明の請求項に記載された発明特定事項のみを有するものであって良いし、本発明の請求項に記載された発明特定事項とともに該発明特定事項以外の構成を有するものであっても良い。
本発明の実施例1における仮想空間コンテンツ配信システムのシステム構成例を示すブロック図である。 本発明の実施例1の仮想空間コンテンツ配信システムにおける配信用サーバコンピュータの構成例を示す図である。 本発明の実施例1の配信用サーバコンピュータが有するストレージに記憶されている各種データを示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムにおける演者端末の構成例を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムにおける視聴者端末の構成例を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムにおける管理者端末の構成例を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムにおけるイベントデータの構成例を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムにおける演者ユーザーデータの構成例を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムにおける視聴者ユーザーデータの構成例を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムを構成する各端末とサーバコンピュータとの間において送受されるデータを示す説明図である。 本発明の実施例1の仮想空間コンテンツ配信システムにおいて、演者ユーザーが利用するスタジオの設備を示す模式図である。 本発明の実施例1の仮想空間コンテンツ配信システムにおいて使用される仮想空間である仮想ライブ会場を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末における表示例を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末における表示例を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムを構成する演者端末における表示例を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末におけるズーム操作による表示例を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末におけるズーム操作による表示例を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末における表示例を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末におけるフライング演出期間の表示例を示す図である。 本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末において実行される視聴者用視点映像制御処理の一例を示すフロー図である。 本発明の実施例2の仮想空間コンテンツ配信システムにて配信される仮想ライブの内容を示す説明図である。 本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末との間において送受されるデータを示す説明図である。 本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータにおいて使用される参加者ユーザーテーブルを示す図である。 本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末との間において送受されるデータを示す説明図である。 本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末との間において送受されるデータを示す説明図である。 本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末との間において送受されるデータを示す説明図である。 本発明の実施例2の仮想空間コンテンツ配信システムにおいて仮想ライブの期間種別と仮想カメラ視点映像の生成主体との関係を示す説明図である。 本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末とにおける仮想カメラ視点映像並びに視聴者視点映像の生成状況を示す説明図である。 本発明の実施例2の変形例における視聴者視点映像生成処理を示すフロー図である。 本発明の実施例2の変形例において配信用サーバコンピュータから送信される仮想空間更新データの内容を示す図である。 本発明の実施例3の仮想空間コンテンツ配信システムにて配信される仮想ライブの内容を示す説明図である。 (A)、(B)は、本発明の実施例3の仮想ライブにおける視聴者ユーザーの動作態様を示す図である。 (A)は、本発明の実施例3の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータから視聴者端末に送受されるデータを示す説明図であり、(B)は、仮想ライブにおける各視聴者ユーザーの動作タイミングの違いを示す説明図である。 (A)は、本発明の実施例3の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータにおいて使用される参加者ユーザーテーブルを示す図であり、(B)は、配信用サーバコンピュータに記憶されている楽曲リストデータを示す図である。 本発明の実施例3の仮想ライブの各期間において配信用サーバコンピュータによる各情報の送信状況を示す説明図である。 本発明の実施例3の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末との間において送受されるデータを示す説明図である。 本発明の実施例3の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータにおいて実行される遅延動作者決定処理の内容を示すフロー図である。 本発明の実施例3の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末との間において送受されるデータを示す説明図である。 (A)は、本発明の実施例3の仮想空間コンテンツ配信システムを構成する視聴者端末において実行される視聴者視点映像生成処理1の内容を示すフロー図であり、(B)は、視聴者視点映像生成処理2の内容を示すフロー図である。 (A)、(B)は、本発明の実施例3の仮想空間コンテンツ配信システムを構成する視聴者端末における仮想ライブの視聴者視点映像の表示例である。 (A)、(B)は、本発明の実施例3の仮想空間コンテンツ配信システムを構成する視聴者端末における仮想ライブの視聴者視点映像の表示例である。 本発明の変形例における仮想ライブ会場を示す図である。 本発明の変形例における仮想ライブ会場への参加位置選択画面を示す図である。 (A)、本発明の変形例における視聴者ユーザーの移動可能範囲を示す図であり、(B)は、該変形例において視聴者端末に表示される表示例を示す図である。 本発明の変形例において、視聴者アバターの動作が調整される状況を示す説明図である。 本発明の変形例において、仮想ライブの期間と上演コンテンツと非上演コンテンツが行われる期間との関係を示す図である。 本発明の変形例において、仮想ライブの期間と視聴者アバターが可能な動作との関係を示す図である。 本発明の変形例において、配信用サーバコンピュータと視聴者端末との間において送受されるデータを示す説明図である。
本発明の仮想空間コンテンツ配信システムを実施するための形態について、実施例にもとづいて図面を用いて以下に説明する。尚、複数の図面において同一の又は類似する構成要素には同じ参照符号を付することで、重複する説明は省くものとする。また、本発明に係わる仮想空間コンテンツ配信プログラムは、仮想空間コンテンツ配信システムを構成する後述するサーバコンピュータや各端末から成るシステム全体で使用されるプログラムであってもよいし、仮想空間コンテンツ配信システムを構成する一部の装置である、例えば、サーバコンピュータや各端末だけで動作するものであってもよく、以下において説明する各処理については、いずれも、処理が行われる機器に記憶されているプログラムによって実行される。
図1は、本発明の1実施形態である実施例1における仮想空間コンテンツ配信システムのシステム構成例を示すブロック図であり、図1に示す本実施例1のシステムでは、演者ユーザーに対応した演者アバター1が、図12に示す仮想ライブ会場においてライブイベントを行う仮想ライブが仮想空間コンテンツとして配信される。尚、以下において配信とは、複数に対する送信であり、送信と同義である。
本実施例1の仮想空間コンテンツ配信システムは、図1に示すように、主に、仮想空間である図11に示す仮想ライブ会場に関する各種処理や仮想ライブの配信に関する各種処理を実行可能な配信用サーバコンピュータ100と、仮想ライブイベントを運営・管理するイベント運営機関のイベント管理者Mが、仮想ライブイベントの配信を管理するために使用する管理者端末150と、演者ユーザーが使用する演者端末200と、仮想ライブに仮想参加して仮想ライブを視聴する視聴者ユーザーが使用可能な視聴者端末300とから構成されており、配信用サーバコンピュータ100、管理者端末150、演者端末200、視聴者端末300は、オープンコンピュータネットワークであるインターネット網Nを介して、相互にデータ通信可能に接続されている。
尚、本実施例1では、管理者端末150や演者端末200についてもインターネット網Nを介して配信用サーバコンピュータ100に接続させた形態を例示しているが、本発明はこれに限定されるものではなく、例えば、図11に示すスタジオが、イベント運営機関が運営するスタジオであって、イベント運営機関が演者ユーザーにスタジオを提供している等の場合であって、これらスタジオに配信用サーバコンピュータ100が設置されている場合にあっては、管理者端末150や演者端末200を配信用サーバコンピュータ100にローカルにデータ通信接続した形態としたり、スタジオ施設内のローカルエリアネットワークLANを介して通信接続するようにしてもよい。
また、図1に示すように、視聴者ユーザーA、視聴者ユーザーB、視聴者ユーザーC…のように、視聴者ユーザーは複数であって、視聴者端末300としては、個々の視聴者ユーザーA、視聴者ユーザーB、視聴者ユーザーC…が使用可能な視聴者端末300a、視聴者端末300b、視聴者端末300c…を含む。尚、視聴者ユーザーは、通常、複数であるが、1人でもよいし、4人以上であってもよく、その数は仮想空間である仮想ライブ会場等に応じて適宜に決定すればよい。以下、視聴者ユーザーA、視聴者ユーザーB、視聴者ユーザーC…を総称して視聴者ユーザーと表記する場合があるとともに、視聴者端末300a、視聴者端末300b、視聴者端末300c…を総称して視聴者端末300と表記する場合がある。
また、本実施例1では、演者ユーザーを1人とした形態を例示しているが、本発明はこれに限定されるものではなく、仮想ライブは、単独で活動している複数の演者ユーザーが仮想参加する共演イベントであってもよいし、共同で活動している複数人のグループが仮想参加するグループイベントであってもよく、このように、複数の演者が出演する場合には、各演者ユーザー毎に演者端末200a、演者端末200b、演者端末200c…を設けるようにしてもよいし、複数人のグループで出演する場合であれば、1つの演者端末200を複数人で使用するようにしてもよい。
また、図1においては、配信用サーバコンピュータ100を単体として図示しているが、本発明はこれに限定されるものではなく、これら配信用サーバコンピュータ100を、仮想空間処理を主に行う第1サーバコンピュータと配信処理を主に行う第2サーバコンピュータ等の複数のサーバコンピュータで構成したり、あるいは、クラウドサーバ等にて構成して、イベントの規模や参加する聴者ユーザーの数等に応じてサーバコンピュータの数を適宜に変更可能としてもよい。
同様に、管理者端末150についても、図1においては単体として図示しているが、本発明はこれに限定されるものではなく、これら管理者端末150を、ライブに仮想参加する演者ユーザーや視聴者ユーザーの数等に応じて複数としてもよいことはいうまでもない。
<配信用サーバコンピュータ>
図2は、本実施例1に用いた配信用サーバコンピュータ100の構成を示す図である。本実施例1で用いた配信用サーバコンピュータ100は、上記のように、イベント運営機関が運営するスタジオに設置された比較的処理能力に優れた通常のサーバコンピュータであって、図2に示すように、データバス108に接続されたプロセッサ(CPU)101、メモリ(RAM)102、ハードディスク等のストレージ103、オープンコンピュータネットワークであるインターネットを介したTCP/IPプロトコルによる双方向に通信が可能な通信インターフェイス(I/F)104と、キーボード等の入力装置等を接続可能な入出力インターフェイス(I/F)105を有している。
尚、本実施例1では、ローカル操作を可能とするために、入出力インターフェイス(I/F)105を設けているが、通信インターフェイス(I/F)104を介してのリモート操作が可能である場合には、入出力インターフェイス(I/F)105を設けない形態としてもよい。
配信用サーバコンピュータ100のストレージ103には、図示しないサーバ機能を提供するためのオペレーションシステム(サーバOS)に加えて、図3に示すように、各種のデータやプログラムが記憶されている。具体的には、主に、ライブイベントを管理するイベント管理機能を提供するためのイベント管理プログラム110、仮想空間である仮想ライブ会場の仮想空間を提供するための仮想空間生成プログラム120、演者ユーザーを管理する演者ユーザー管理機能を提供するための演者ユーザー管理プログラム130と、視聴者ユーザーを管理する視聴者ユーザー管理機能を提供するための視聴者ユーザー管理プログラム132と、が記憶されている。
イベント管理プログラム110は、管理者端末150と協同して仮想ライブ会場(図12参照)で開催されるイベントである仮想ライブを管理するためのプログラムであって、該イベント管理プログラム110とともにストレージ103に記憶されているイベントデータ111(図7参照)、タイムスケジュールデータ(TSデータ)112、楽曲データ113を使用して仮想ライブイベントの進行を管理可能とされている。
本実施例1に用いたイベントデータ111を、図7に例示する。イベントデータ111は、イベントに固有に付与されたイベントIDに対応付けて、イベント名、タイムスケジュール(TS)データのファイル名、出演者である演者ユーザーに固有に付与された演者ID、楽曲リストのファイル名、後述する仮想観客領域の第3領域に仮想参加が許可された特別な視聴者ユーザーの情報が登録されている参加視聴者リストのファイル名と、後述する仮想観客領域の第4領域に仮想参加を予約した視聴者ユーザーの情報が登録されている参加視聴者リストのファイル名等の情報が記憶されている。
尚、タイムスケジュールデータ(TSデータ)112は、開催される仮想ライブイベントの進行順序や楽曲等の演目が時系列に記述されたデータとされており、該タイムスケジュールデータ(TSデータ)112に記述されたタイムスケジュールにもとづいて仮想ライブイベントが進行するように管理される。また、これらタイムスケジュールデータ(TSデータ)112やイベントデータ111等は、管理者端末150をイベント管理者Mが操作することによって変更、更新、追加することができる。
また、楽曲データ113は、演者ユーザーが歌唱する各楽曲の演奏パート(所謂カラオケ)のデータであって、イベント管理プログラム110によってタイムスケジュールデータ(TSデータ)112にもとづいて、後述する音声制御プログラム124によって再生されて、演者端末200や視聴者端末300に送信される(図11参照)。
仮想空間生成プログラム120は、図12に示す仮想空間である仮想ライブ会場を提供するためのプログラムであって、該仮想空間生成プログラム120とともにストレージ103に記憶されている仮想ライブ会場の構造等が記述された仮想空間データ121、仮想ライブ会場に配置される種々の物体(ステージ上の星の装飾物である仮想配置オブジェクト43や上空の星のオブジェである仮想空中オブジェクト50~52を含む)等を仮想空間内に配置するためのオブジェクトデータ122、並びに後述する演者ユーザーデータ131に含まれている演者アバターデータおよび視聴者ユーザーデータ133に含まれている視聴者アバターデータとを用いて、演者アバターや視聴者アバターが仮想参加している仮想ライブ会場を提供する機能を有する。
視点映像制御プログラム123は、図12に示すように、仮想ライブ会場に仮想的に設定された仮想カメラC1~C4並びに空中移動仮想カメラ(図示略)からの視点映像を生成する機能を提供するとともに、視聴者端末300と協同して仮想ライブ会場の第3領域にて仮想参加している視聴者アバター11~14、第4領域にて仮想参加している視聴者アバター21~32の各視点からの映像を視聴者端末300に表示する機能を提供するためのプログラムである。尚、仮想カメラC2は、仮想ライブ会場のステージ上にいる演者アバター1の視点からの映像とするために設定された仮想カメラであり、該仮想カメラC2からの視点映像が、演者端末200と協同して該演者端末200に接続された後述するプロジェクタ211によって、スタジオにもうけられているスクリーンSに投影されるようになっている。
音声制御プログラム124は、仮想ライブイベントにおいて配信される音声(楽曲を含む)に関する制御を行うためのプログラムであり、具体的には、楽曲データ113の再生機能や演者ユーザーが発した音声を再生した楽曲と合成して管理者端末150や視聴者端末300に配信する機能を提供する。
コメント制御プログラム125は、後述する視聴者端末300に記憶されている視聴者用コメント制御プログラムと協同して、仮想ライブイベントにおいて各視聴者ユーザーが視聴者端末300において入力した種々のコメントを、時系列に演者端末200並びに視聴者端末300に表示させる機能を提供する。
ギフト制御プログラム126は、後述する視聴者端末300に記憶されている視聴者用プログラムと協同して、視聴者ユーザーから演者ユーザーに贈られるギフトに関する制御を行うためのプログラムであり、具体的には、ギフトデータ134に記憶されている各種ギフトに設定された購入単価の情報にもとづいて視聴者ユーザーがギフトの購入を行う機能や、ギフトデータ134に含まれているギフトのオブジェクトデータを用いて購入したギフトを視聴者ユーザーが演者ユーザーに贈るための処理機能(贈るときの演出等の処理を含む)や、贈られたギフトの所有者を視聴者ユーザーから演者ユーザーに変更するための処理機能等を提供する。
演者ユーザー管理プログラム130は、該演者ユーザー管理プログラム130とともにストレージ103に記憶されている図8に示す演者ユーザーデータ131にもとづいて、演者ユーザーに関する情報の管理機能並びに認証機能等を提供する。
本実施例1で用いた演者ユーザーデータ131を、図8に例示する。演者ユーザーデータ131は、演者ユーザーに固有に付与された演者ユーザーIDに対応付けて、当該演者ユーザーのアカウント(電子メールアドレス)、名称、認証情報、仮想空間において使用するアバターのアバターデータのファイル名、所有しているアイテムが登録されているアイテムリストのファイル名、等の各種情報が記憶されている。尚、図8には図示していないが、各演者ユーザーが所有しているポイント等の仮想価値の情報を演者ユーザーデータ131として記憶するようにしてもよい。
演者ユーザーは、演者ユーザーID、アカウント、認証情報とを照合する等によって認証できるようになっているとともに、各演者ユーザーが視聴者から贈られることで所有することになったアイテム(ギフト)を、アイテムリストから特定できるようになっている。
視聴者ユーザー管理プログラム132は、該プログラムとともにストレージ103に記憶されている図9に示す視聴者ユーザーデータ133にもとづいて、視聴者ユーザーに関する情報の管理機能並びに認証機能等を提供する。
本実施例1に用いた視聴者ユーザーデータ133を、図9に例示する。視聴者ユーザーデータ133は、視聴者ユーザーに固有に付与された視聴者ユーザーIDに対応付けて、当該視聴者ユーザーのアカウント(電子メールアドレス)、認証情報、仮想空間において使用するアバターのアバターデータのファイル名、仮想空間において使用可能なポイントの所有数である所有ポイント、ポイントを使用して購入したアイテム(ギフト)が登録されているアイテムリストのファイル名、氏名、生年月日、電話番号等の個人情報等の各種情報が記憶されている。尚、図9には示していないが、コメントとともに表示されるニックネーム(コメントネーム)についても視聴者ユーザーデータ133に登録されていて、該ニックネーム(コメントネーム)がコメントとともに表示される。また、ポイントは、例えば、所定の運営会社から購入することで増やすことができる。
<演者端末>
図4は、本実施例1の仮想空間コンテンツ配信システムにおける演者端末200の構成例を示す図である。演者端末200は、本実施例1では、図11に示すように、演者ユーザーが演技動作を行うスタジオに隣接する調整室内に設けられていて、比較的処理能力に優れた通常のコンピュータを使用しており、図4に示すように、データバス208に接続されたプロセッサ(CPU)201、メモリ(RAM)202、ハードディスク等のストレージ203、オープンコンピュータネットワークであるインターネットを介したTCP/IPプロトコルによる双方向に通信が可能な通信インターフェイス(I/F)204、表示装置A210~表示装置C212が接続されたグラフィックスプロセッシングユニット(GPU)を含む画像処理部206、各種の入出力デバイスが接続された入出力インターフェイス(I/F)205を有している。
入出力インターフェイス(I/F)205には、入力デバイスとして、演者ユーザーが左右の手足及び腰に装着している複数の装着センサ220C1~220C5(図11参照)を含むモーションセンサ220、演者の顔の表情を入力するための撮像カメラで構成される表情入力装置221、演者ユーザーの頭部に装着されている集音マイクにより構成される音声入力装置222、演者ユーザーを補助する補助オペレータOが操作可能に設けられたキーボードやタッチパネル等の操作入力装置224等が接続される。尚、これら入力デバイスとして、演者ユーザーが把持することで種々の操作を行うことが可能なコントローラを設けることで、補助オペレータOによることなく、演者自身が種々の操作を行うことができるようにしてもよい。
尚、本実施例1では、演者ユーザーが楽曲に合わせた上演動作(歌唱やダンス等の楽曲動作を含む)を行うため、上演中における操作を補助オペレータOが補助する形態としているが、これら補助オペレータOを複数人としたり、或いは、操作内容を予め演者端末200において、例えば、シーケンスプログラム等に設定しておくことで、補助オペレータOを設けない形態としてもよい。
入出力インターフェイス(I/F)205には、出力デバイスとして演者ユーザーが装着している高機能イヤホン(イヤモニ)や調整室に配置されたスピーカー等を含む音声出力装置223が接続されることで、配信用サーバコンピュータ100から送信される再生楽曲の音が高機能イヤホン(イヤモニ)を介して演者ユーザーに対して出力されるとともに、スピーカーからは、演者の音声とともに楽曲音声が出力されることで、演者ユーザーが発した音声を含む楽曲の状況を、補助オペレータO等が調整室において確認することができるようになっている。
本実施例1では、演者ユーザーが装着している集音マイクから、再生された楽曲音声が入力されることによる不都合を回避するために高機能イヤホン(イヤモニ)を使用しているが、本発明はこれに限定されるものではなく、楽曲音声が入力されることによる不都合を回避できるのであれば、スタジオ内のスピーカー等から、楽曲音声を出力するようにしてもよい。
尚、本実施例1では、集音マイクを演者ユーザーが装着する形態を例示しているが、これら集音マイクを、スタジオの床、壁、又は天井に設置される設置型のものとしてもよい。
ここで、本実施例1の演者端末200で使用したモーションセンサ220について説明する。モーションセンサ220は、演者ユーザーの体の動き(動作)を適切に検出(計測)できるものであれば、任意のものを使用することができる。本実施例1では、演者の動作をより正確且つ短周期で検出可能とするために、演者ユーザーが体に装着する複数の装着センサ220C1~220C5を使用している。尚、モーションセンサ220を、レーザー光等を用いたLiDER等の演者が機器を装着しないタイプのものを使用してもよい。
尚、本実施例1では、演者ユーザーが上演動作をする際のセンサ等の装着による動作負担、特には、頭部の動作負担を軽減するために、演者ユーザーの頭部の動作を、後述するように、表情入力装置221を構成する撮像カメラにて撮像された画像を用いた画像認識によって検出し、頭部以外の動作を5つの装着センサ220C1~220C5を使用した形態を例示しているが、例えば、演者ユーザーの頭部等にも装着センサを設けたり、更に、より詳細な動作を検出するために、より多く(7以上)の装着センサを装着するようにしてもよい。
装着センサ220C1~220C5は、図11に示すように、隣接する調整室とガラス窓を隔てたスタジオルーム内に設置されているベースステーション220a及びベースステーション220bと協働して、自らの位置及び向きを検出する。
これらベースステーション220a及びベースステーション220bは、一例として、多軸レーザーエミッターを使用できる。ベースステーション220aは、同期用の点滅光を発した後に、例えば鉛直軸の周りでレーザー光を走査する。ベースステーション220bは、例えば水平軸の周りでレーザー光を走査する。
装着センサ220C1~220C5はそれぞれ、ベースステーション220a及びベースステーション220bからの点滅光及びレーザー光の入射を検知する光センサを複数備えていてもよい。
装着センサ220C1~220C5はそれぞれ、点滅光の入射タイミングとレーザー光の入射タイミングとの時間差、各光センサでの受光時間、各光センサが検知したレーザー光の入射角度、及び必要に応じてこれら以外の情報に基づいて、自らの位置及び向きを検出可能とされており、例えば、HTC CORPORATIONから提供されているViveTrackerや、ベースステーションを好適に使用することができる。
ベースステーション220a及びベースステーション220bは、一定のインターバルで点滅光の発光及びレーザー光の走査を行うので、各装着センサ220C1~220C5の検出情報は、当該インターバルごとに更新される。そして、これら装着センサ220C1~220C5の各々において算出された各モーションセンサの位置及び向きを示す検出情報は、近距離無線通信によって演者端末200に入力され、フェイスモーションの情報とともに、演者アバター情報として配信用サーバコンピュータ100に送信される(図10参照)。
尚、本実施例1では、ベースステーション220a及びベースステーション220bの2つのベースステーションを使用した形態を例示しているが、本発明はこれに限定されるものではなく、これらベースステーションを3つ以上としてもよい。
また、モーションセンサ220を、演者ユーザーに装着される複数のモーションセンサの各々に多数の赤外LED或いは可視光LEDを搭載し、これらのLEDからの光を、スタジオの床や壁に設けられた赤外線カメラで検知することで、当該モーションセンサの各々の位置及び向きを検出してもよい。
また、モーションセンサ220を、演者ユーザーの負担を軽減するために、装着センサ220C1~220C5に代えて、より軽量な反射マーカーを用いたモーションセンサを使用してもよい。つまり、演者ユーザーの身体の各部に粘着テープなどにより貼着された反射マーカーを撮影して撮影データを生成し、この撮影データを画像処理することにより、反射マーカーの位置及び向きを検出することで、演者ユーザーの動作を検出するものであってもよく、この場合にあっては、スタジオ内に演者ユーザーを撮影するカメラマンを配置して、該カメラマンが演者ユーザーを撮影することで、演者ユーザーの動作を、検出に適した方向から撮影することで、良好に検出できるようにしてもよい。
また、モーションセンサ220として、慣性センサが内蔵されたスーツ、例えば、Xsens.com社が上市しているMVNモーションキャプチャシステム用の慣性センサ内蔵スーツを使用し、慣性センサから出力されるセンサ信号を解析することにより、演者ユーザーの動作を検出するものであってもよい。
表情入力装置221は、演者ユーザーの顔を含む頭部の動作を適切に検出できるものであれば、任意のものを使用することができる。本実施例1では、具体的には、演者ユーザーの顔を含む頭部画像を連続的に撮像可能に配置された撮像カメラ(デジタルカメラ)にて構成されており、該撮像カメラにて撮像された演者ユーザーの頭の動きと顔の動き(表情)を、画像認識にて検知し、該検知した頭の動きと顔の動き(表情)であるフェイスモーションの情報が、図10に示すように、ボディモーションの情報とともに演者アバター情報として配信用サーバコンピュータ100に送信される。
尚、表情入力装置221は、本実施例1で使用した撮像カメラ(デジタルカメラ)に限定されるものではなく、例えば、表情入力装置221は、人物の顔の奥行きを検出可能な3Dカメラであってもよいし、例えば、LiDERデバイスが搭載されたスマートフォン等の携帯端末を使用することもできる。この場合、これらの携帯端末を演者ユーザーが装着するようにしてもよい。
本実施例1の演者端末200では、上記のように、3つの表示装置A210~表示装置C212を有しており、表示装置A210は、図11示すように、調整室に設けられている液晶モニター等であり、表示装置B211は、スタジオ内に設けられたスクリーンSに映像を投影するプロジェクタであり、表示装置C212は、スタジオ内にスクリーンSに隣接して設けられた縦型の大型ディスプレイである。
スタジオの調整室内に配置されている表示装置A210には、仮想カメラC1~C4の各視点からの映像や後述するフライング演出期間における空中移動仮想カメラからの視点映像と、コメントの内容と、補助オペレータOが演者ユーザーに伝達したいメッセージを入力するメッセージ入力ウインドウ等が表示される。
一方、スタジオ内に設けられた表示装置B211であるプロジェクタから投影されるスクリーンSには、演者の視点である仮想カメラC2(図12参照)の視点映像である、例えば、図15に示すように、第3領域や第4領域においてライブに仮想参加している視聴者のアバターを含む映像が表示されることで、演者ユーザーが、仮想ライブに仮想参加している視聴者ユーザーの状況を、映像によって確認できるようになっている。
また、スタジオ内に設けられた表示装置C212には、視聴者ユーザーのコメントや、補助オペレータOが入力したコメントやメッセージ等が表示されることで、演者ユーザーが、上演中においても視聴者ユーザーのコメントを確認したり、補助オペレータOからのメッセージを確認することができる。
ストレージ203には、演者端末200であるコンピュータを動作させるためのオペレーションシステム(OS)に加えて、プロセッサ(CPU)201等が実行することで仮想空間コンテンツである仮想ライブにおける演者ユーザーによる演者アバター1の動作制御機能を初めとする各種機能を、配信用サーバコンピュータ100と協働して提供するための演者用プログラムが記憶されている。
演者用プログラムは、図4に示すように、演者アバター制御プログラム、演者用視点映像制御プログラム、演者用視点映像制御プログラム、演者用音声制御プログラム、演者用コメント制御プログラム、演者認証用データ等を含む。
演者アバター制御プログラムは、主に、モーションセンサ220を用いて演者ユーザーのボディモーションをスキャンするとともに、表情入力装置221を用いて演者ユーザーのフェイスモーション(表情)をスキャンして、演者アバターを動作させるための演者アバター情報を生成して配信用サーバコンピュータ100に送信する機能を提供するプログラムである。
演者用視点映像制御プログラムは、配信用サーバコンピュータ100から配信される仮想空間更新データにもとづいて演者視点である仮想カメラC2の視点映像を生成、出力する機能を提供するプログラムである。
演者用音声制御プログラムは、配信用サーバコンピュータ100から配信される再生楽曲データにもとづく楽曲の再生音を、音声出力装置223を介して出力するとともに、音声入力装置222から入力される音声をデータ化して演者音声データとして配信用サーバコンピュータ100に送信し、楽曲の再生音と演者音声とからなるモニター音声を生成、出力する機能を提供するプログラムである。
演者用コメント制御プログラムは、配信用サーバコンピュータ100から配信される視聴者ユーザーによる各コメント等を表示する機能を提供するプログラムである。
演者認証用データは、配信用サーバコンピュータ100との通信接続において演者ユーザーが本人であることを認証するためのデータである。
尚、演者アバター制御プログラムには、演者アバターデータに含まれる演者アバターの骨格を示すリグデータ(スケルトンデータ」と呼ばれることもある。)を構成する骨( ボーン) の位置及び回転角度のパラメータ情報を生成可能なモーションパラメータ生成プログラム等が含まれているとともに、撮像カメラによって撮像された画像から演者ユーザーの頭部の位置と表情とを画像認識するための画像認識処理プログラム等が含まれている。
また、本実施例1では、演者端末200は、イベント運営機関が運営するスタジオに設置された演者端末200となるコンピュータを、複数の演者ユーザーが共同で利用し、ライブイベントを開催するときにおいて、個々の演者ユーザーが、演者認証用データを入力することで当該演者ユーザーの演者端末200として利用できるようにした形態を例示しているが、本発明はこれに限定されるものではなく、例えば、演者ユーザーが自宅等から仮想ライブに出演する場合であって、演者端末200が、演者ユーザーが自宅に設置している自分専用のコンピュータである場合のように、所有する演者ユーザーのみが利用する形態であってもよく、このような場合には、演者認証用データの記憶は必ずしも必要ない。
このように、本実施例1の仮想空間コンテンツ配信システムを構成する演者端末200を演者ユーザー等が使用することで、演者ユーザーは、仮想ライブ会場における仮想ステージG上に配置された演者アバター1を、自身の動作に連動して動作させることができるとともに、演者アバター1の表情に自身の表情を反映させることができる。また、自分の声を演者アバター1の声として、配信用サーバコンピュータ100を通じて視聴者に配信することができる。
<視聴者端末>
図5は、本実施例1の仮想空間コンテンツ配信システムにおける視聴者端末300の構成例を示す図である。視聴者端末300は、本実施例1では、視聴者ユーザーが携行するスマートフォンPや視聴者ユーザーが自宅等に設置している据え置き型の通常のコンピュータ(PC)とされており、図5に示すように、データバス308に接続されたプロセッサ(CPU)301、メモリ(RAM)302、ハードディスクや不揮発性メモリ等のストレージ303、オープンコンピュータネットワークであるインターネットを介したTCP/IPプロトコルによる双方向に通信が可能な通信インターフェイス(I/F)304、表示装置310が接続されたグラフィックスプロセッシングユニット(GPU)を含む画像処理部306、各種の入出力デバイスが接続された入出力インターフェイス(I/F)305を有している。
表示装置310は、後述するように、ストレージ303に記憶されている視聴者用プログラムに含まれる視聴者用視点映像制御プログラムによって、配信用サーバコンピュータ100から配信される仮想空間更新データ(図10参照)によって更新される仮想空間である仮想ライブ会場の仮想空間データにもとづいて生成される各視点映像や、後述するフライング演出期間において配信用サーバコンピュータ100から配信されるフライング視点映像を表示可能なものであればよく、視聴者端末300がスマートフォンPである場合は、該スマートフォンPが有するディスプレイが該当し、視聴者端末300が通常のコンピュータ(PC)であれば、コンピュータ(PC)を構成する据え置き型のディスプレイが該当する。尚、これらディスプレイは、平面視画像(2D画像)を表示するものに限らず、例えば、視聴者が装着可能なヘッドマウントディスプレイ(HMD)のように、右目画像と左目画像とを表示することで、立体視画像(3D画像)を表示可能なものであってもよい。
入出力インターフェイス(I/F)305には、入力デバイスとして、視聴者が各種の操作が可能とされた1または複数のデバイスからなる操作入力装置321と、配信用サーバコンピュータ100から配信されるライブ音声等を出力可能なイヤホンやスピーカー等の音声出力装置322が接続される。
尚、音声出力装置322は単独のデバイスではなく、上記したヘッドマウントディスプレイ(HMD)のように表示装置310と一体とされたものであってもよいことはいうまでもない。
操作入力装置321は、視聴者が視聴者アバターの移動等を含む動作操作、ズーム操作、コメントに関する操作、ギフト等に関する操作等、の各種操作を実行可能なものであれば任意のものを使用することができ、例えば、スマートフォンのディスプレイ表面に形成された透明タッチパネル、コンピュータを構成するキーボード、ゲームコントローラ等の少なくとも1つ以上で構成される。
尚、本実施例1では、視聴者として、後述するように、仮想ライブ会場における仮想観客領域が、図12に示すように、演者ユーザーによって特別に許可された視聴者ユーザーだけが仮想参加できる仮想ステージG近傍の第3領域と、一般の視聴者ユーザーが仮想参加できる第3領域周囲の第4領域とに区分けされており、第4領域に仮想参加する視聴者ユーザーは、上記したように、タッチパネル、キーボード、ゲームコントローラ等の操作入力装置321であればよいが、第3領域に仮想参加する視聴者ユーザーは、操作入力装置321として、例えば、上述した慣性センサが内蔵されたMVNモーションキャプチャスーツを所有していることで、演者ユーザーと同様に、視聴者アバターを自身の動作によって細かく動作させることのできる視聴者ユーザーである。
但し、第3領域に仮想参加が許可された視聴者ユーザーであっても、視聴者アバターの表情を変更することまではできないが、本発明はこれに限定されるものではなく、これら視聴者アバターの表情を、例えば、上記したように、視聴者ユーザーがスマートフォンのカメラ機能やコンピュータに接続したカメラを使用して視聴者ユーザーの顔の表情を認識させることで、演者ユーザーの変更レベルとは異なるレベルであっても、変更できるようにしてもよい。
尚、これら入出力インターフェイス(I/F)305に接続される各種の入出力デバイスは、内蔵のものであっても外付けのものあってもよく、外付けのデバイスの場合には、有線、無線のいずれの接続形態であってもよい。
ストレージ303には、視聴者端末300であるスマートフォンやコンピュータを動作させるためのオペレーションシステム(OS)に加えて、プロセッサ(CPU)301等が実行することで仮想空間コンテンツである仮想ライブにおける視聴者ユーザーに関するライブ視聴機能を初めとする各種機能を、配信用サーバコンピュータ100と協働して提供するための視聴者用プログラムが視聴アプリとして記憶されている。
視聴者用プログラムは、図5に示すように、表示装置310に表示する仮想ライブの各視点映像を生成する機能を提供する視聴者用視点映像制御プログラム、配信用サーバコンピュータ100から配信される仮想ライブのライブ音声(データ)に基づくライブ音声を音声出力装置322から出力する機能を提供する視聴者用音声制御プログラム、配信用サーバコンピュータ100から配信されるコメントデータにもとづくコメントを表示するとともに、視聴者が入力するコメントと配信用サーバコンピュータ100に送信する等のコメントに関する機能を提供する視聴者用コメント制御プログラム、配信用サーバコンピュータ100との通信接続において視聴者ユーザーが本人であることを認証するための視聴者認証用データ等を含む。
尚、図5には図示していないが、上記したプログラム以外に、ギフトに関する制御等を行うギフト制御プログラムや、後述する変形例3-1(図42,図43参照)に示すように、ライブイベントの開始前において事前に仮想ライブ会場において視聴者アバターが仮想参加する領域(位置)を予約するための領域指定プログラム等が含まれているが、これら以外の他のプログラムが含まれていてもよい。
視聴者が入力するコメントは、本実施例1では、テキスト形式の短文メッセージとされているが、これらテキスト形式の短文メッセージに限定されるものではなく、例えば、静止画形式のメッセージ、動画形式のメッセージ、及びこれら以外の任意の形式の電子的なメッセージであってもよい。尚、コメントは、表示装置310において各視点映像に重ねて表示される。
このように、本実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末300視聴者ユーザーが使用することで、仮想ライブ会場に仮想参加している視聴者アバターを移動や動作させて、視聴者アバターによる視点を変更することで表示装置310に表示される視点映像を変更することができるとともに、ズーム状態(視点の状態)についても変更することができ、視聴者アバターを動作させて演者アバター1を応援することができる。
尚、第3領域に仮想参加した視聴者アバターの場合は、第3領域内においてだけ移動が可能とされていて、第4領域には移動することはできない。一方、第4領域に仮想参加した視聴者アバターの場合は、第4領域内においてだけ移動が可能とされていて、第3領域には移動することはできない。但し、本発明はこれに限定されるものではなく、3領域に仮想参加した視聴者アバターの場合は第4領域に移動できるようにしてもよい。尚、視聴者アバターは、当然、仮想ステージG等には移動することができないので、演者アバター1の視認が仮想ステージG上に視聴者アバターが移動することによって阻害されてしまうことはない。
また、これら表示装置310に視点映像が表示されるともに、ライブ音声が出力されることで、自分が仮想ライブ会場に立ち会っているような感覚で、仮想ライブを楽しむことができる。
また、詳しい説明は省略するが、視聴者用コメント制御プログラムにより提供されるコメント機能によって、自分や他の視聴者ユーザーが入力したコメントを確認しながら仮想ライブを楽しむことができるとともに、ギフト制御プログラムによるギフト機能によって、自分が所有しているアイテムを演者アバター1に贈ることで、仮想ライブを盛り上げることもできる。
<管理者端末>
図6は、本実施例1の仮想空間コンテンツ配信システムにおける管理者端末150の構成例を示す図である。管理者端末150は、本実施例1では、演者端末200とともに、スタジオに隣接している調整室内に設けられた通常のコンピュータを使用しており、図6に示すように、データバス158に接続されたプロセッサ(CPU)151、メモリ(RAM)152、ハードディスク等のストレージ153、オープンコンピュータネットワークであるインターネットを介したTCP/IPプロトコルによる双方向に通信が可能な通信インターフェイス(I/F)154、表示装置160が接続されたグラフィックスプロセッシングユニット(GPU)を含む画像処理部156、各種の入出力デバイスが接続された入出力インターフェイス(I/F)155、を有している。
表示装置160は、後述するように、ストレージ153に記憶されている管理者用プログラムに含まれる管理者用視点映像制御プログラムによって、配信用サーバコンピュータ100から配信される仮想空間更新データ(図10参照)によって更新される仮想空間である仮想ライブ会場の仮想空間データにもとづいて生成される、後述する各仮想カメラC1~C4並びにフライング演出期間における空中移動仮想カメラの各視点映像を個別に表示可能であるとともに、配信用サーバコンピュータ100から配信されるコメントデータにもとづくコメントを表示可能なものであればよく、1または複数の据え置き型のディスプレイによって構成されている。
入出力インターフェイス(I/F)155には、入力デバイスとして、イベント管理者Mが各種の操作が可能とされた1または複数のデバイスからなる操作入力装置161と、配信用サーバコンピュータ100から配信されるライブ音声等を出力可能なイヤホンやヘッドホンやスピーカー等の音声出力装置162が接続される。
操作入力装置161は、イベント管理者Mが、仮想ライブのイベントに関する入力や設定等の各種操作を実行可能なものであれば任意のものを使用することができ、例えば、コンピュータを構成するキーボードや、ディスプレイ表面に形成された透明タッチパネルや視点切替コントローラ等の少なくとも1つ以上で構成される。
尚、これら入出力インターフェイス(I/F)155に接続される各種の入出力デバイスは、有線、無線のいずれの接続形態であってもよい。
ストレージ153には、管理者端末150であるコンピュータを動作させるためのオペレーションシステム(OS)に加えて、プロセッサ(CPU)151等が実行することで仮想空間コンテンツである仮想ライブの配信に関する配信管理機能を初めとする各種機能を、配信用サーバコンピュータ100と協働して提供するための管理者用プログラムが記憶されている。
管理者用プログラムは、図6に示すように、管理者用視点映像制御プログラム、管理者用音声制御プログラム、管理者用コメント制御プログラム、視聴者管理プログラム、演者管理プログラム等を含む。
管理者用視点映像制御プログラムは、表示装置160に表示する各仮想カメラからの視点映像を生成する機能並びに各視点の変更や切替機能を提供するプログラムである。
管理者用音声制御プログラムは、配信用サーバコンピュータ100から配信される仮想ライブの音声データに基づくライブ音声を音声出力装置162から出力する機能を提供するプログラムである。
管理者用コメント制御プログラムは、配信用サーバコンピュータ100から配信されるコメントデータにもとづくコメントを表示するとともに、配信を禁止するコメントや視聴者を選択して配信されないようにする等のコメントに関する機能を提供するプログラムである。
視聴者管理プログラムは、仮想ライブに仮想参加する視聴者ユーザーを管理するためのプログラムであり、演者管理プログラムは、仮想ライブに仮想参加する演者ユーザーを管理するためのプログラムである。
尚、図6には図示していないが、操作者である管理者が本人であるか否かを認証するための認証用プログラムや、仮想ライブのタイムスケジュールや楽曲順等を編集するためのスケジュール用プログラム等が含まれているが、これら以外のプログラムが含まれていてもよい。
このように、本実施例1の仮想空間コンテンツ配信システムを構成する管理者端末150をイベント管理者Mが操作することによって、イベントを実行するための種々の設定、例えば、演目や楽曲順、演出に関する設定や、タイムスケジュール、フライング演出期間において空中移動仮想カメラが移動する軌道等の各種設定を実施できるようになっており、このようにして設定された内容にもとづいて仮想ライブが管理されるようになっている。
<仮想ライブ会場>
本実施例1で使用した仮想空間である仮想ライブ会場を図12に示す。仮想ライブ会場は、図12に示すように、現実空間におけるライブ会場と同様に、演者ユーザーが演者アバター1として登壇する仮想ステージGと、観客となる視聴者ユーザーが視聴者アバターとして仮想参加する仮想観客領域とを有する仮想空間とされている。
仮想ステージGは、図12に示すように、比較的広い面積の台形状の床面を有しており、現実空間のライブ会場と同様に、演者アバター1が仮想ステージG上を移動できる。仮想ステージGの仮想客席方向とは逆方向側には、図12に示すように、中央部と右側部と左側部とに3分割された仮想ステージ壁が形成されており、これら仮想ステージ壁の前面に、仮想ディスプレイ40、41、42が設けられていて、該仮想ディスプレイ40、41、42に、演出用の画像や映像が仮想表示されるようになっている。
尚、仮想ディスプレイ40、41、42の間には、演者ユーザーに関係する星の仮想配置オブジェクト43が配置されているとともに、仮想ステージG上の領域であって仮想ステージ壁に囲まれた第1領域よりも上方の領域である第2領域には、図12に示すように、大きな星の仮想空中オブジェクト50~52が配置されている。尚、仮想空中オブジェクト50~52は、第2領域内を移動できるようになっている。
仮想ステージGの前側には、視聴者ユーザーが視聴者アバターとして仮想ライブ会場に仮想参加できる仮想観客領域が設けられている。この仮想観客領域は、図12に示すように、演者アバター1が登壇する仮想ステージGの中央に近い特別領域である第3領域と、第3領域を囲むように形成された領域であって仮想ステージGの中央からの距離が第3領域よりも大きい第4領域とが設けられている。
これら第3領域には、所定の上限数の範囲内で、仮想参加が許可された特別な視聴者ユーザーが仮想参加可能とされていて、本実施例1では、図12に示すように、例えば、所定の仮想参加実績を満たすとともに演者ユーザーによって仮想参加が許可された4人の視聴者ユーザーの視聴者アバター11~14が配置されている。
また、第4領域には、仮想ライブの開始前において仮想参加を予約した一般の視聴者ユーザーの視聴者アバター21~32が配置されている。尚、図12において、視聴者アバター21~32は、便宜上、簡素化して表示しているが、視聴者アバター11~14と同様のアバターである。
尚、第3領域に配置された各視聴者アバター11~14は、視聴者ユーザーが視聴者端末を操作することで、該第3領域内を移動することが可能とされているとともに、第4領域に配置された各視聴者アバター21~32も、視聴者ユーザーが視聴者端末を操作することで、該第4領域内を移動することが可能とされている。
仮想ライブ会場には、図12に示すように、4つの仮想カメラC1~C4が仮想配置(設定)されている。仮想カメラC1は、演者アバター1の正面位置に、演者アバター1に対面するように仮想配置された仮想カメラであり、仮想カメラC1による視点映像は、図13(a)に示すように、演者アバター1を正面近傍位置から見た視点映像となる。
仮想カメラC2は、演者アバター1の頭上に仮想配置(設定)されたカメラであり、該仮想カメラC2による視点映像は、図15に示すように、演者アバター1から仮想観客領域を見た演者視点映像となる。
仮想カメラC3は、演者アバター1の斜め後方の仮想ディスプレイ41上に仮想配置された仮想カメラであり、仮想カメラC3による視点映像は、図13(c)に示すように、演者アバター1の斜め後方から仮想観客領域を見た視点映像となる。
仮想カメラC4は、演者アバター1の斜め後方の仮想ディスプレイ42上に仮想配置された仮想カメラであり、仮想カメラC4による視点映像は、図13(b)に示すように、演者アバター1の斜め後方から仮想観客領域を見た視点映像となる。
また、本実施例1では、固定配置(設定)された仮想カメラC1~C4に加えて、仮想空間である仮想ライブ会場の空間内を空中移動可能に設定された空中移動仮想カメラ(図示略)が仮想配置されている。これら空中移動仮想カメラが移動する空中軌道並びに空中軌道上の個々の位置における視点方向(アングル)等は、管理者端末150によって予め設定されていて、後述するフライング演出期間において、演者アバター1が空中移動仮想カメラの空中軌道を追随するように仮想飛翔することで、仮想飛翔する演者アバター1を空中移動仮想カメラで捉えた視点映像が生成されるようになっている。
尚、本実施例1では、図12に示すように、固定配置(設定)された仮想カメラとして4つの仮想カメラC1~C4を仮想配置した形態を例示しているが、本発明はこれに限定されるものではなく、これら固定配置(設定)された仮想カメラを5以上としてもよいし、逆に、固定配置(設定)された仮想カメラを設けることなく、仮想ライブ会場に仮想参加した各アバターに対応した視点から見た視点映像だけが、演者端末200や視聴者端末300に表示されるようにしてもよい。
また、本実施例1では、空中移動仮想カメラを1つとした形態を例示しているが、本発明はこれに限定されるものではなく、これら空中移動仮想カメラを複数とした形態としてもよいし、逆に、空中移動仮想カメラを仮想配置しない形態としてもよい。
<スタジオ>
図11は、本実施例1において使用したスタジオを示す図であり、スタジオには、前述したようにガラス窓を隔てた調整室が隣接して設けられており、演者ユーザーがスタジオ内で歌唱に対応した各動作を行うとともに、補助オペレータOが調整室に設置されている演者端末200の操作等を補助する。装着センサ220C1~220C5を装着した演者ユーザーの周囲には、ベースステーション220aとベースステーション220bとがスタンドに搭載配置されているとともに、演者ユーザーのほほ正面位置には、表情入力装置221を構成する撮像カメラがスタンドに搭載配置されている。
演者ユーザーがスタジオ内で対峙する壁面にはスクリーンSが設けられており、スタジオの天井に配置されたプロジェクタ(表示装置B211)から、仮想カメラC2の視点映像がスクリーンSに投影されることで、図15に示すように、演者アバター1から仮想観客領域を見た視点映像がスクリーンSに表示されるようになっており、演者ユーザーが、仮想観客領域において仮想参加している視聴者アバターの様子(ライブに対する視聴者の反応)を逐次、把握しながらライブを進めることができるようになっている。
また、スクリーンSの側方位置には、表示装置C212としての縦型の大型ディスプレイが配置されていて、該大型ディスプレイに視聴者のコメントや補助オペレータOが演者ユーザーに伝達したいメッセージ等が表示されるようになっている。尚、表示装置C212には、ライブにおいて演者が歌唱する楽曲の歌詞や、セリフ等の情報(演者支援情報)が表示されるようにしてもよい。
<仮想空間コンテンツ配信システムの動作>
図10は、本実施例1の仮想空間コンテンツ配信システムの動作、具体的には、仮想ライブの映像や音声が配信される流れを説明する説明図である。
まず、映像系について説明する。配信用サーバコンピュータ100は、前述したように、仮想空間生成プログラム120および演者ユーザーや視聴者ユーザーのアバターデータ等にもとづいて仮想ライブ会場の仮想空間を提供可能とされており、これら演者ユーザーや視聴者ユーザーの各アバターの動作等が、演者端末200から送信される演者アバター情報や、視聴者端末300から送信される視聴者アバター情報によって仮想空間の状態が記述された仮想空間データが更新されることで、演者ユーザーの動作が演者アバター1の動作に反映されるとともに、視聴者ユーザーの動作(操作)が視聴者アバターの動作に反映される。
尚、図10には示していないが、演者端末200並びに視聴者端末300には、仮想ライブに仮想参加するために配信用サーバコンピュータ100と通信接続することに伴って、配信用サーバコンピュータ100から仮想ライブ会場の仮想空間データが事前に配信されて記憶されており、このようにして事前に記憶されている仮想空間データが、後述するように、配信用サーバコンピュータ100から逐次配信される仮想空間更新データによって順次更新されることで、仮想ライブ会場の最新の状態を、演者端末200並びに視聴者端末300にて特定できるようになっている。
具体的には、前述したスタジオにおける演者ユーザーの動作や表情は、前述した演者アバター制御プログラムによるボディモーションスキャン並びにフェイスモーションスキャンの各機能によって所定時間間隔にてスキャンされて演者アバター情報が生成されて配信用サーバコンピュータ100に送信される。
一方、第3領域に仮想参加が許可された視聴者ユーザーは、演者と同様に、モーションセンサを使用しているため、ボディモーションスキャン並びにフェイスモーションスキャンの各機能によって所定時間間隔にてスキャンされて視聴者アバター情報が生成されて配信用サーバコンピュータ100に送信される。
また、第4領域に仮想参加が許可された視聴者ユーザーは、視聴者端末300のタッチパネルやキーボードやコントローラを使用して、移動操作、視点方向の変更操作、視点状況(ズーム)の変更操作、手を挙げる操作、手をたたく操作、跳ねる操作等の各種の操作を行うことで、視聴者アバターに対応する動作をさせることができる。そして、これら各操作のうち、視聴者アバターの動作に関係する操作にもとづいて視聴者アバター情報が生成されて配信用サーバコンピュータ100に送信される。
尚、第3領域に仮想参加している視聴者ユーザーも、移動や視点状況(ズーム)の変更操作、手を挙げる操作、手をたたく操作、跳ねる操作等の各種の操作を、コントローラ等を使用して実行することができ、この場合、各動作に対応したメニュー項目が表示され、該各動作に対応したメニュー項目をコントローラ等を使用して選択することができる。
このように、視聴者端末300においては、視聴者アバターに行わせる各動作に対応した操作を受付けるアバター動作操作処理が実行される。尚、アバター動作操作処理においては、上記した各動作に対応したメニュー項目の表示や消去等の処理も含まれている。
このようにして演者端末200から送信される演者アバター情報や視聴者端末300から送信される視聴者アバター情報にもとづいて、配信用サーバコンピュータ100は、仮想空間データを更新する仮想空間更新処理を実行することで、仮想ライブ会場に仮想参加している各アバターに演者ユーザーの動作や視聴者ユーザーの動作(操作)を反映させる。
そして、更新前の仮想空間データと更新後の仮想空間データとにもとづいて仮想空間更新データを生成する仮想空間更新データ生成処理を実行した後、該生成した仮想空間更新データを演者端末200と視聴者端末300とに配信する。
仮想空間更新データが配信された演者端末200と視聴者端末300においては、図10に示すように、配信されてきた仮想空間更新データにもとづいて、事前記憶されている仮想空間データが更新されるとともに、該更新された仮想空間データを使用した演者視点映像生成処理や視聴者視点映像生成処理が実行されることで、更新された仮想空間データにもとづく演者視点映像や視聴者視点映像が生成されて、該生成された演者視点映像や視聴者視点映像が演者端末200と視聴者端末300において表示される(視聴者視点映像出力処理)。
このように、本実施例1では、視聴者アバターにより仮想ライブ会場に仮想参加している各視聴者ユーザーの視点映像は、各視聴者ユーザーの視聴者端末300側で生成されて表示されることで、これら各視聴者ユーザーの視聴者アバター視点映像を配信用サーバコンピュータ100で生成することにより配信用サーバコンピュータ100の処理負荷が著しく大きくなって、多くの視聴者ユーザーが仮想ライブに参加できなくなってしまうことを回避できるとともに、処理負荷が増大することによって配信が困難となってしまうことを回避できるようになっている。
本実施例1では、仮想ステージG上の演者アバター1に近い第3領域にて仮想参加している視聴者アバター13の視聴者ユーザーの視聴者端末300の表示装置310には、図13(d)に示すように、演者アバター1に近い視聴者アバター13から見た視点映像である演者アバター1のほぼ正面が大きく表示される視点映像が生成されて表示される一方、仮想ステージG上の演者アバター1から遠い第4領域であって、例えば、視聴者アバター13の後方位置において仮想参加している視聴者アバター28の視聴者ユーザーの視聴者端末300の表示装置310には、図13(e)に示すように、演者アバター1から遠い視聴者アバター28から見た視点映像である、第3領域にて仮想参加している視聴者アバター13や視聴者アバター14越しに、演者アバター1のほぼ正面が相対的に小さく見える視点映像が表示される。
また、上面視コ字状に設定されている第4領域の仮想ステージGの端側位置において仮想参加している視聴者アバター32の視聴者ユーザーの視聴者端末300の表示装置310には、図13(f)に示すように、演者アバター1の斜め前方位置の視聴者アバター32から見た視点映像である、第3領域にて仮想参加している視聴者アバター14越しに、演者アバター1が相対的に小さく見える視点映像が表示される。
尚、図13に示す表示例は、いずれも、視聴者端末300が据置型のコンピュータ(PC)であって表示装置310が、据置型のディスプレイである場合を例示しているが、例えば、視聴者端末300がスマートフォンPやタブレット等である場合には、仮想カメラC1の視点映像の場合には、図14(a)に示すように表示されるとともに、該視聴者端末300が視聴者アバター13の視聴者端末300である場合には、図14(b)に示すように表示される。
次に、音声系について説明すると、配信用サーバコンピュータ100においてタイムスケジュールデータ(TSデータ)112にもとづいて楽曲データ113が音声制御プログラム124によって再生され、再生楽曲(データ)として演者端末200に送信される(楽曲再生処理)。
演者端末200においては、配信用サーバコンピュータ100から送信された再生楽曲(データ)による楽曲音声が、演者ユーザーが装着している高機能イヤホン(イヤモニ)を通じて該演者ユーザーに対して出力されるとともに(再生楽曲出力処理)、該出力された再生楽曲に合わせて演者ユーザーが歌唱することで、集音マイク(音声入力装置222)から入力される演者音声がデータ化されて演者音声(データ)として配信用サーバコンピュータ100に送信される。
配信用サーバコンピュータ100は、演者端末200から受信した演者音声(データ)による演者音声と前述した楽曲再生処理にて再生した再生楽曲とから配信音声(データ)を生成し(配信音声生成処理)、該生成した配信音声(データ)を視聴者端末300に配信する(生成音声配信処理)。
視聴者端末300では、配信用サーバコンピュータ100から配信された配信音声(データ)により配信音声が、イヤホンやスピーカー等の音声出力装置322から出力されることで、視聴者は、あたかも仮想ライブ会場において演者アバター1が歌唱しているようにライブ音声を聞くことができる。
尚、演者端末200においては、上記したように、演者音声(データ)が配信用サーバコンピュータ100に送信されるとともに、図10に示すように、モニター音声生成処理とモニター音声出力処理とが実行されることにより、調整室に配置されているスピーカーから再生楽曲の楽曲音声と演者音声とが出力されることで、演者ユーザーの歌唱の状況等を補助オペレータO等が調整室において確認することができるようになっている。
<視聴者用視点映像制御処理>
次に、視聴者端末300において、視聴者用プログラムに含まれる視聴者用視点映像制御プログラムにもとづいて実行される視聴者用視点映像制御処理について、図20を用いて説明する。
視聴者用視点映像制御処理においては、先ず、演者アバター1が図19に示すように、仮想飛翔するフライング演出期間中であるか否かを判定する(ステップS1)。フライング演出期間中であるか否かは、配信用サーバコンピュータ100から、フライング演出期間中であることを示す演出状態データによって特定することができる。尚、配信用サーバコンピュータ100は、タイムスケジュールデータにもとづいてフライング演出期間となるときに、視聴者端末300に対してフライング演出期間中であることを示す演出状態データを送信する。
フライング演出期間中である場合(ステップS1でY)は、ステップS21に進む一方、フライング演出期間中でない場合(ステップS1でN)は、視点の移動操作(アバターの移動操作や動作操作による視点の変更を含む)やズーム操作を含む視点関係操作が無効とされているか否かを判定する(ステップS2)。
視点関係操作が無効とされている場合(ステップS2でY)は、ステップS7に進む。視点関係操作が無効とされていない場合(ステップS2でN)は、アバターの移動操作や動作操作等の視点が変化する操作が有るか否かを判定し(ステップS3)、操作がある場合(ステップS3でY)は操作に応じて視聴者視点を変更し、操作がない場合(ステップS3でN)は、ステップS5に進んで、ズーム操作があるか否かを判定する(ステップS5)。
ズーム操作がある場合(ステップS5でY)は、表示装置310に表示されている映像領域を操作に応じた映像領域に変更し、ズーム操作がない場合(ステップS5でN)は、動作追随設定の有無を判定する(ステップS7)。
この動作追随設定は、視聴者ユーザーが、自身が操作に使用するデバイスの種類や、操作についての習熟度に応じて、視聴者端末300において、例えば、ライブ開始前やライブ中に、任意に設定することができる。具体的には、例えば、使用するタッチパネル、キーボード、ゲームコントローラ等の操作入力装置321の操作に慣れていない場合や、アバターの移動操作や動作操作による視点の変更に慣れていない場合、後述するように、自身の視聴者アバターの仮想参加位置が演者アバター1から遠く、ズームアップで拡大表示していることで、演者アバター1の少しの動作でも演者アバター1が適切に表示されなくなってしまう等、演者アバター1の移動や動作に対応して視点を上手く変更できない場合等に設定される。
動作追随設定がない場合(ステップS7でN)は、ステップS11に進む一方、動作追随設定がある場合(ステップS7でY)は、更に、動作追随条件が成立したか否かを判定する(ステップS8)。
動作追随条件とは、本実施例1においては、表示装置310において演者アバター1が良好に表示されなくなることがほぼ確実である条件としており、具体的には、演者アバター1の頭部(顔でもよい)が、表示装置310の表示領域の周辺における所定範囲内に入っている場合には、演者アバター1の移動や動作によって表示領域外に頭部(顔)が移動して良好に表示されなくなってしまう可能性が著しく高いことから、動作追随条件が成立したものと判断するようにしている。
このように、本実施例1では、演者アバター1の頭部(顔)が表示領域に表示されなくなる前に動作追随条件が成立したと判断することで、演者アバター1の頭部(顔)が表示領域に表示されなくなってしまうことを大幅に低減できるようにしているが、本発明はこれに限定されるものではなく、これら動作追随条件を、表示領域外に頭部(顔)が移動したことを条件としてもよいし、これら以外の条件を動作追随条件としてもよい。つまり、これら動作追随条件としては、演者アバター1が表示領域に良好に表示されなくなってしまうことを防ぐことができる条件であれば、任意の条件を使用することができる。
動作追随条件が成立した場合(ステップS8でY)は、視点関係操作を無効化した後(ステップS12)、表示装置310の表示領域に表示される視点映像として、演者アバター1の頭部(顔)が表示領域の周辺における所定範囲に囲まれた非成立範囲内となる動作追随視点に視点が自動的に変更されて、該動作追随視点から見た視点映像が表示装置310の表示領域に表示される(ステップS13)。
一方、動作追随条件が成立していない場合(ステップS8でN)は、更に、視点関係操作が無効化されているか否かを判定し(ステップS9)、視点関係操作が無効化されている場合(ステップS9でY)は、無効化されている視点関係操作を有効化して(ステップS10)からステップS11に進み、視点関係操作が無効化されていない場合(ステップS9でN)はステップS10を経由することなくステップS11に進む。
ステップ11では、動作追随設定が設定されていないこと、若しくは、動作追随条件が成立していないことにより、視聴者アバターの視点映像が表示装置310の表示領域に継続表示される(ステップS11)。
また、前述したように、ライブにおいて演者アバター1が仮想飛翔するフライング演出期間となった場合は、ステップS1でYと判定されてステップS21に進み、フライング演出期間の開始タイミングであるか否かを判定する(ステップS21)。
フライング演出期間の開始タイミングである場合(ステップS21でY)は、フライング演出期間の開始前において表示装置310の表示領域に表示されていた視聴者アバターの視点映像または動作追随視点映像に代えて、配信用サーバコンピュータ100から配信されるフライング視点映像を表示し(ステップS22)、その後、視点関係操作を無効化して(ステップS23)、ステップS1に戻る。
尚、本実施例1では、フライング演出期間においては、全ての視聴者ユーザーの視聴者端末300に同一のフライング視点映像を表示することから、個々の視聴者ユーザーで異なる視聴者アバター視点映像のように、各視聴者端末300側でフライング視点映像を生成するのではなく、配信用サーバコンピュータ100側で生成して視聴者端末300に配信することで、視点の空中移動を伴うことで、視点映像の描画負荷が大きいフライング視点映像を、処理能力が低い視聴者端末300であっても、良好に表示できるようにしているが、本発明はこれに限定されるものではなく、これらフライング視点映像を、視聴者アバター視点映像と同様に、個々の視聴者端末300側で生成するようにしてもよい。
一方、フライング演出期間の開始タイミングでない場合(ステップS21でN)は、更に、フライング演出期間の終了タイミングであるか否かを判定する(ステップS24)。
フライング演出期間の終了タイミングであるか否かは、配信用サーバコンピュータ100から送信されるフライング視点映像のデータ中に含まれる終了を示すデータにもとづいて特定してもよいし、フライング視点映像とは異なる前述した演出状態データによって特定してもよい。
フライング演出期間の終了タイミングでない場合(ステップS24でN)、つまり、フライング演出期間中である場合には、ステップS26に進んで、フライング視点映像を更新した後、ステップ1に戻る一方、フライング演出期間の終了タイミングである場合(ステップS24でY)は、視点関係操作を有効化した後(ステップS25)、ステップS11に進んで、フライング演出期間中に表示装置310の表示領域に表示していたフライング視点映像に代えて、視聴者アバターの視点映像を表示装置310の表示領域に表示した後、ステップS1に戻る。
このように、本実施例1の視聴者端末300において図20に示す視聴者用視点映像制御処理が実行されることによって視聴者端末300に表示される各視点映像を、図16~図19を用いて説明する。
図16は、本実施例1の視聴者端末300においてズーム操作をした場合の表示装置310の表示内容を示す図であり、ズーム操作を何もしていないデフォルトの状態では、図16(a)に示すように、演者アバター1の上半身を中心とした映像領域の視点映像が表示されている。このデフォルト状態において、視聴者ユーザーがズームアップ操作、例えば、視聴者端末300がスマートフォンPである場合であれば、「+」の表示(図示略)に触れる操作を行い、視聴者端末300がコンピュータ(PC)である場合であれば、キーボードの「+」キーを操作した場合は、例えば、図16(b)に示すように、演者アバター1の頭部(顔)を中心とした映像領域の視点映像が表示される。
一方、視聴者ユーザーがズームダウン操作、例えば、視聴者端末300がスマートフォンPである場合であれば、「-」の表示(図示略)に触れる操作を行い、視聴者端末300がコンピュータ(PC)である場合であれば、キーボードの「-」キーを操作した場合は、例えば、図16(c)に示すように、演者アバター1の全身が含まれる映像領域の視点映像が表示される。
尚、図16では、ズームの機能を解り易くするために、視聴者アバターの視点ではなく、仮想カメラC1の視点映像を使用して説明したが、図17に示すように、視聴者アバターの視点についても同様にズームアップ、ズームダウンを行うことができる。
また、図20の視聴者用視点映像制御処理においては、詳述していないが、例えば、ライブが開始されるときに、演者アバター1が仮想ステージGに初めて登場する場合は、視聴者アバターの視点が演者アバター1に向いていないことから、登場する演者アバター1が視聴者端末300に表示されない期間が長くなってしまう可能性があるので、このように、演者アバター1が最初に登場する期間等を登場演出期間等とし、これらの演出期間において、視聴者端末300に表示される視点映像を、聴者アバターの視点映像ではなく、仮想カメラC1の視点映像等に自動的に切り替えて表示するとともに、これら仮想カメラC1の視点映像においてもズームアップ等を、個々の視聴者ユーザーが実行できるようにしてもよい。
図17は、視聴者アバターの視点映像の例として、第4領域に仮想参加している視聴者アバター28の視点映像を示している。図17に示すように、視聴者アバター28の視点映像には、第3領域に仮想参加している視聴者アバター13と視聴者アバター14の頭部が含まれており、これら視聴者アバター13と視聴者アバター14の頭部越しに演者アバター1を見る映像となる。
このため、視聴者アバター28の視聴者ユーザーは、例えば、ズームアップ操作を行って、図17(b)に示すように、演者アバター1の上半身が中心的に表示される映像領域に変更することで、視聴者アバター13と視聴者アバター14が表示されないようにして、ライブを楽しむことができる。
但し、図17(b)に示すようにズームアップした状態においては、例えば、ライブが進行して演者アバター1が移動したり大きく動作するようになると、これら演者アバター1の動作に合わせて視聴者アバター28の視点を視聴者ユーザーが上手く変更することができないと、図18(d)~(f)に示すように、演者アバター1が良好に表示されない状態となる場合があるため、視点の操作に注意を払うことによって、ライブに集中することが難しくなってしまい、ライブを良好に楽しむことができなくなる場合がある。
しかし、本実施例1では、上記のように、視聴者ユーザーが動作追随設定を行った場合には、図18(a)~(c)に示すように、演者アバター1の頭部が表示領域の周辺所定領域内に入ることで動作追随条件が成立して視点が自動的に動作追随視点に変更され、該動作追随視点の視点映像が表示されるようになるため、視聴者ユーザーは、視点の操作に注意を払う必要がなくなるので、ライブに集中できることで良好にライブを楽しむことができるようになる。
そして、ライブが進行してフライング演出期間となると、図19に示すように、個々の視聴者アバターの視点映像から空中移動仮想カメラから見たフライング視点映像に、視聴者ユーザーが操作しなくても自動的に変更される。
具体的には、演者アバター1が仮想飛翔をする前に、羽根のオブジェクトが演者アバター1の背中において大きくなる映像が表示される。そして、演者アバター1が仮想ライブ会場の第2領域に仮想配置されている星の仮想空中オブジェクト50を見あげるようにすることで視聴者アバターの視点も同様に移動する。このとき、演者アバター1の周囲には、光のエフェクト61が出現する。
その後、演者アバター1が仮想飛翔に移ると、表示装置310に表示される視点映像は、図19(b)までの視聴者アバターの視点映像から、図19(c)に示すように、空中移動仮想カメラから見たフライング視点映像に自動的に切り替わる。
そして、フライング演出期間において空中移動仮想カメラは、前述したように、予め設定された空中軌道にもとづいて第2領域内を空中移動し、これら空中移動する空中移動仮想カメラから見たフライング視点映像が、図19(d)に示すように表示装置310に表示される。
<実施例1の変形例>
上記した実施例1では、一般動作(第1動作)を、演者アバター1が仮想ステージGに移動せずに立っている動作とし、特別動作(第2動作)を、演者アバター1が仮想飛翔を行っている動作とし、特定動作(第3動作)を、演者アバター1が横方向に急移動する動作とした形態を例示しているが、本発明はこれに限定されるものではなく、配信するコネテンツに応じた動作であってよく、例えば、一般動作(第1動作)は、配信されるコンテンツにおいて、演者アバターが最も多くの期間に亘って実行している動作(通常動作)としてもよく、特別動作(第2動作)を、配信されるコンテンツにおいて、最も短い期間である特別期間において実行している動作や最も頻度が少ない動作とし、特定動作(第3動作)を、一般動作(第1動作)よりも実行される期間が短いが特別動作よりも実行されている期間が長い動作や一般動作(第1動作)よりも実行される頻度が少ないが特別動作よりも実行される頻度が多い操作としてもよい。尚、特別動作(第2動作)が、特定動作(第3動作)を含む場合があってもよい。
また、上記した実施例1では、特別動作(第2動作)に対応した視点への切替機能と、特定動作(第3動作)に追随する追随機能と、の双方の機能を有している形態を例示したが、本発明はこれに限定されるものではなく、これらのいずれか一方の機能のみを有する仮想空間コンテンツ配信システムであってもよい。
上記した実施例1では、視聴者ユーザーの視点を、演者アバターの動作に応じて変更、追随させる形態を例示したが、本発明はこれに限定されるものではなく、例えば、これら視点の変更、追随を、仮想ステージGにおける演出物であるスモークや花火(火柱)の仕掛け、特殊なライティング、仮想ステージGの変形等の特定の演出に応じて実行するようにしてもよい。
次に、実施例2の仮想空間コンテンツ配信システムについて、図21~図28を用いて以下に説明する。尚、実施例1と同一の構成については、同一の符号を付して説明を省略する。
実施例2の仮想空間コンテンツ配信システムの構成は、図1に示す実施例1の構成と同一であるが、仮想ライブの進行内容が異なることで、仮想カメラC1~C4や空中移動仮想カメラからの視点映像(以下、仮想カメラ視点映像と総称する)が配信される期間や、これら仮想カメラ視点映像を生成する主体が、実施例1とは異なる点が本実施例2の特徴部分である。
図21は、実施例2の仮想空間コンテンツ配信システムにおいて配信される仮想ライブの進行内容を示す図である。実施例2の仮想ライブは、まず、仮想ライブの開始前の期間として、「ライブ仮想空間参加可能期間」と「開演前説」の期間とが設けられていて、視聴者ユーザーは、該ライブ仮想空間参加可能期間において仮想ライブの対象の仮想空間である仮想ライブ会場に仮想参加することができる。
尚、「開演前説」の期間の終了間際に設定されている事前データDL完了チェックタイミングまでの期間は、事前データダウンロード(DL)期間とされていて、ライブ仮想空間参加可能期間中に仮想参加した視聴者ユーザーの視聴者端末300に対して、仮想ライブ会場の仮想空間データ(基本データ)、演者アバター1のアバターデータ、並びに仮想参加した他の視聴者ユーザーのアバターデータ等が、事前データとして配信用サーバコンピュータ100からダウンロード(DL)されるようになっている。
また、事前データダウンロード(DL)期間の終了タイミングである事前データDL完了チェックタイミングにおいては、事前データのダウンロード(DL)が、各視聴者端末300において完了しているか否かがチェックされる。
尚、「開演前説」の期間においては、当該仮想ライブについての説明等がビデオ映像等によって紹介される。よって、これら「開演前説」の期間中においても事前データをダウンロード(DL)可能な期間とすることで、ライブ仮想空間参加可能期間において終了間際に仮想参加した視聴者アバターのアバターデータについても、各視聴者端末300が配信用サーバコンピュータ100からダウンロード(DL)することができるようになっている。
また、実施例2の仮想ライブは、図21に示すように、「開演演出」→「第1MC」→「第1演目」→「第2MC」→「第2演目」…のように進行していく。「開演演出」は、仮想ステージGに演者アバター1が登場する演出である。「第1MC」は、仮想ステージGに登場した演者アバター1が、トークによって視聴者に対して挨拶を行うとともに、最初に上演する第1演目についての紹介を行う。「第1演目」は、演者アバター1(演者)の歌唱とダンスとを含むとともに、途中に、仮想ライブ会場を仮想飛翔する演者アバター1を空中移動仮想カメラから仮想撮像した映像によるフライング演出を含む演目である。「第2MC」は、演者アバター1(演者)がトークによって、主に、第2演目についての紹介を行う。「第2演目」は、演者アバター1(演者)の歌唱とダンスとを含むとともに、途中に、演者アバター1が衣装を交換する状況を仮想カメラC1によって仮想撮像した映像による衣装チェンジ演出と、演者アバター1が複数人に分身する状況を仮想カメラC1によって仮想撮像した映像による分身演出とを含む演目である。
これら各演出や演目等が実行される各期間における配信用サーバコンピュータ100の処理負荷としては、ライブ仮想空間参加可能期間が最も低い「低」である一方、特別演出である「フライング演出」、「衣装チェンジ演出」、「分身演出」が実行される期間が最も高い「高」である。「開演前説」、「開演演出」、「第1MC」、「フライング演出」までの「第1演目」の期間は、配信用サーバコンピュータ100の処理負荷は「中」であり、「フライング演出」後の「第1演目」の期間、「第2MC」、「衣装チェンジ演出」までの「第2演目」の期間も処理負荷は「中」であり、「衣装チェンジ演出」から「分身演出」までの「第2演目」の期間も「中」であり、「分身演出」後の「第2演目」の期間も「中」である。
次に、実施例2の仮想ライブにおける各期間について、視聴者端末300において視聴可能な視点映像について説明すると、仮想参加してから「開演前説」が開始されるまでのライブ仮想空間参加可能期間においては、視聴者アバター視点映像だけが表示可能とされている。
そして、「開演前説」が開始されるタイミングで、仮想カメラ視点映像、具体的には、仮想カメラC1の視点映像だけが表示可能とされている。このように、仮想ライブの開始前であるにも係わらず「開演前説」において視点映像を、仮想カメラ視点映像のみとするのは、これら開演前説には、仮想ライブに関する注意点等の説明も含まれているため、視聴者端末300において視聴者アバター視点映像を表示していることによって、仮想ステージGにて行われている開演前説を視聴しない視聴者ユーザーが発生してしまうことを防ぐことを目的としている。
尚、これら「開演前説」の仮想カメラ視点映像は、後述するように、配信用サーバコンピュータ100にて生成されて各視聴者端末300に配信されるので、事前データのダウンロードが未完了の視聴者端末300においても表示することができる。
上記した事前データDL完了チェックタイミングにおいて事前データのダウンロードが完了している視聴者端末300については、「第1MC」と「フライング演出」までの「第1演目」の期間、並びに「フライング演出」後の期間においては、仮想カメラ視点映像に加えて視聴者アバター視点映像を表示可能とされている。
一方、上記した事前データDL完了チェックタイミングにおいて事前データのダウンロードが完了していない視聴者端末300については、視聴者アバター視点映像を正確に生成することができないので、配信用サーバコンピュータ100において生成された仮想カメラ視点映像が配信されることによって、仮想ライブの全ての期間において仮想カメラ視点映像のみが表示可能とされ、視聴者アバター視点映像を表示させることはできないようになっている。
また、配信用サーバコンピュータ100の処理負荷が「高」である「フライング演出」、「衣装チェンジ演出」、「分身演出」の各映像のうち、「衣装チェンジ演出」、「分身演出」の仮想カメラC1の仮想カメラ視点映像は、これら「衣装チェンジ演出」、「分身演出」以外の第2演目期間中の仮想カメラ視点映像と同様に、配信用サーバコンピュータ100ではなく各視聴者端末300において生成することで、これら「衣装チェンジ演出」、「分身演出」の仮想カメラC1の仮想カメラ視点映像の生成するための配信用サーバコンピュータ100の処理負荷を低減できるようにしている。
尚、「フライング演出」の期間についても、配信用サーバコンピュータ100における処理負荷が高い期間であることから「衣装チェンジ演出」、「分身演出」と同様に、視聴者端末300において生成することが考えられるが、この場合、仮想ライブ会場内を移動する空中移動仮想カメラの移動軌跡の詳細な軌道データ等を各視聴者端末300に事前に配信して映像を生成する必要があることから、実施例2では配信用サーバコンピュータ100側で「フライング演出」の映像を生成、配信しているが、本発明はこれに限定されるものではなく、「フライング演出」の映像についても、配信用サーバコンピュータ100の処理負荷の低減を目的として、各視聴者端末300において生成するようにしてもよい。
ここで、実施例2の配信用サーバコンピュータ100において使用される参加者ユーザーテーブルについて、図23を用いて簡潔に説明する。
参加者ユーザーテーブルは、図7に示すイベントデータに登録されている個々の仮想ライブイベントにおいて、仮想ライブへの視聴者ユーザーの参加状況や事前データのダウンロード状況等を特定できるようにするために使用されるデータテーブルであって、図23に示すように、参加者ID(視聴者ユーザーID)に対応付けて、当該参加者(視聴者ユーザー)の参加状態を特定可能な参加識別データ(参加識別フラグ)と、当該参加者(視聴者ユーザー)の参加エリアと、事前データのダウンロード状態を特定可能な事前データDL識別データ(事前データDL識別フラグ)等のデータが記憶可能なテーブルである。
尚、参加者IDの項目には、イベントデータにおいて、当該仮想ライブに対応して記憶されている各参加者グループのファイルに記述されている参加予定者の視聴者ユーザーIDが全て登録されて使用される。
参加識別データ(参加識別フラグ)は、参加者ID(視聴者ユーザーID)の登録時において、非参加状態に対応する「0」が登録されており、各参加者(視聴者ユーザー)の参加が認証によって許可されたときに、参加を示す「1」に更新される。よって、該参加識別データ(参加識別フラグ)によって、参加予定視聴者ユーザーのうち、参加している視聴者ユーザーと、何らかの理由で参加できなかった視聴者ユーザーとを特定することができる。
参加エリアのデータは、各参加者(視聴者ユーザー)の参加エリアが、第3領域であるのか、第4領域であるのかを特定可能なデータとされており、各参加者(視聴者ユーザー)の参加が認証によって許可されたときに、登録されるデータである。
事前データDL識別データ(事前データDL識別フラグ)は、前述した事前データDL完了チェックタイミングにおいて事前データのダウンロード(DL)が完了しているか否かのチェックにもとづいて、完了している場合は、未完了を示す「0」から完了を示す「1」に更新される。よって、これら事前データDL識別データ(事前データDL識別フラグ)によって、仮想参加している各参加者(視聴者ユーザー)のうち、事前データのダウンロード(DL)が完了していない全ての参加者(視聴者ユーザー)を容易に特定することができる。
次に、実施例2において視聴者ユーザーが仮想ライブ会場に仮想参加することで事前データがダウンロードされる流れについて、図22を用いて説明する。
まず、視聴者ユーザーは、視聴者端末300にて実行している視聴者用プログラム(視聴アプリ)において、自分が仮想参加を予定している仮想ライブへの参加操作、例えば、参加メニューの選択やキーボードにおいて参加操作が割り当てられている特定キーの操作を実行する。
この参加操作の実行によって、視聴者端末300から配信用サーバコンピュータ100に対して、視聴者ユーザーIDや当該視聴者ユーザーを認証するための認証用データを含む参加要求が送信される。
参加要求を受信した配信用サーバコンピュータ100においては、ライブ仮想空間参加可能期間であることを条件に、参加者認証処理を実行する。参加者認証処理では、受信した参加要求に含まれる視聴者ユーザーIDが、参加対象の仮想ライブに対応している参加者ユーザーデータベースに、参加者IDとして登録されているか否かによって、当該視聴者ユーザーが該当する仮想ライブの参加予定者であるのか否かを判定するとともに、図9に示す視聴者ユーザーデータにおいて、当該視聴者ユーザーIDに対応付けて記憶されている認証情報ファイルデータから特定される認証情報ファイルに記述された認証用データと、参加要求に含まれる認証用データとを照合することで視聴者ユーザーの認証を行う。
視聴者ユーザーが参加予定者であって、認証用データによる認証が完了した場合には、参加者ユーザーテーブルの参加識別データ(参加識別フラグ)を、「参加」に対応する「1」に更新する。
そして、配信用サーバコンピュータ100は、参加要求の送信元の視聴者端末300に対して、参加対象の仮想ライブに対応する事前データをダウンロードさせるために事前データDL指示情報を送信(返信)する。視聴者端末300は、該事前データDL指示情報の受信によって、参加が許可されたことを確認することができる。
事前データDL指示情報の受信に応じて視聴者端末300は、ダウンロードする事前データを特定し、特定した事前データのダウンロードを要求する事前データDL要求を配信用サーバコンピュータ100に送信する。
この事前データDL要求の受信に応じて配信用サーバコンピュータ100は、事前データ送信処理を実行する。
この事前データ送信処理においては、事前データDL要求の送信元の視聴者端末300に対して要求された事前データを送信する。尚、事前データには、前述したように、仮想ライブ会場の仮想空間データ(基本データ)、演者アバター1のアバターデータ、並びに、既に仮想参加している他の視聴者ユーザーのアバターデータ等が含まれている。
尚、事前データ送信処理においては、事前データDL要求の送信元以外の視聴者端末300であって、参加者データテーブルによって既に参加が確認されている視聴者ユーザーの視聴者端末300に対して、事前データDL要求の送信元の視聴者ユーザーのアバターデータを、事前データとして追加配信する。これによって、仮想ライブに仮想参加している各視聴者ユーザーの視聴者端末300には、仮想空間データ(基本データ)と演者アバターのアバターデータとともに、仮想ライブに仮想参加している全ての視聴者ユーザーのアバターデータが事前に配信されて記憶されることになる。
そして、このようにして視聴者端末300に記憶された事前データは、前述した事前データDL完了チェックタイミング(図21参照)において全ての事前データのダウンロードが完了しているか否かが確認され、事前データのダウンロードが完了している場合に、参加者ユーザーテーブルの事前データDL識別データ(事前データDL識別フラグ)が、未完了を示す「0」から完了を示す「1」に更新される。
尚、事前データのダウンロードが完了していないことで、事前データDL識別データ(事前データDL識別フラグ)が、未完了を示す「0」のままである参加者(視聴者ユーザー)に対しては、前述したように、仮想カメラ視点映像のみが表示可能とされる。
次に、視聴者端末300に表示される各種視点映像が生成される主体が、仮想ライブの各期間において変化する状況について、図24~図27を用いて説明する。
まず、視聴者端末300において視聴者アバター視点映像だけが表示可能とされるライブ仮想空間参加可能期間中については、図24に示すように、配信用サーバコンピュータ100から送信される、演者ユーザーの動作に連動した動作を行う演者アバター1の動作を生成するための演者アバター用動作データを含む仮想空間更新データにもとづいて、事前データの受信によって既に視聴者端末300において記憶されている仮想空間データが逐次更新され、該更新された仮想空間データにもとづいて視聴者視点映像生成処理が視聴者端末300にて実行されて視聴者アバター視点映像が生成されて、映像出力処理によって出力(表示)される。尚、図24では、演者端末200を省略しているが、仮想空間更新データは、実施例1において図10に示されるように、演者端末200に対しても送信される。
また、視聴者端末300において仮想カメラ視点映像のみが表示可能とされる「開演前説」、「開演演出」、「フライング演出」の各期間については、図25に示すように、配信用サーバコンピュータ100において、仮想空間更新データ配信処理においては仮想空間更新データが演者端末200に対してだけ送信される。そして、仮想空間更新データ配信処理に次いで仮想カメラ視点映像が生成される仮想カメラ視点映像生成処理と、該仮想カメラ視点映像生成処理にて生成された仮想カメラ視点映像の映像データを、仮想ライブに参加している全ての視聴者端末300に配信する仮想カメラ視点映像データ配信処理が実行される。
これら仮想カメラ視点映像データ配信処理にて配信用サーバコンピュータ100から配信された仮想カメラ視点映像データは、該仮想カメラ視点映像データを受信した視聴者端末300において映像出力処理が実行されることによって表示される。
つまり、図27に示すように、仮想カメラ視点映像のみが表示可能とされる「開演前説」、「開演演出」、「フライング演出」の各期間については、仮想カメラ視点映像は、配信用サーバコンピュータ100において生成される。
また、視聴者端末300において視聴者アバター視点映像と仮想カメラ視点映像のいずれかを選択して表示可能な期間であるMC期間中及びフライング演出期間中を除く演目期間中においては、図26に示すように、配信用サーバコンピュータ100において仮想空間更新データ配信処理が実行されることによって、仮想ライブに参加している各視聴者ユーザーの視聴者端末300に対して仮想空間更新データが配信されることによって、視聴者端末300において仮想空間更新処理が実行される。
そして、視聴者端末300においては、表示対象の映像として視聴者アバター視点映像が選択されているか否かが判定され、視聴者アバター視点映像が選択されている場合には、図24に示す流れと同様に、視聴者視点映像生成処理が実行されることで視聴者アバター視点映像が生成されて、該生成された視聴者アバター視点映像が映像出力処理によって表示される。
一方、表示対象の映像として視聴者アバター視点映像が選択されていない場合、すなわち、表示対象の映像として仮想カメラ視点映像が選択されている場合には、視聴者端末300において仮想カメラ視点映像生成処理が実行されることで、仮想カメラ視点映像が生成され、該生成された仮想カメラ視点映像が映像出力処理によって表示される。
尚、この仮想カメラ視点映像において生成される仮想カメラ視点映像は、仮想カメラC1、C3、C4のいずれの視点映像とするかを、視聴者ユーザーが選択できるようにしてもよいし、配信用サーバコンピュータ100が全ての視聴者端末300に対して指示するようにしてもよい。
つまり、図27に示すように、視聴者端末300において仮想カメラ視点映像と視聴者アバター視点映像のいずれかが表示可能とされるMC期間中及びフライング演出期間中を除く演目期間中については、仮想カメラ視点映像は、視聴者端末300において生成される。このように、仮想カメラ視点映像と視聴者アバター視点映像とのいずれかを選択して視聴者端末300に表示可能な期間については、視聴者ユーザーの選択によって仮想カメラ視点映像と視聴者アバター視点映像との相互の切り替えが実行されるため、仮想カメラ視点映像データを配信用サーバコンピュータ100からの配信によって表示する場合に比較して、これら映像の切り替えを映像が途切れてしまう等の不具合を生じることなく、且つ、これら映像の切り替えに伴う配信用サーバコンピュータ100の処理負荷の増大を防ぎつつ実行することができる。
一方、視聴者端末300において仮想カメラ視点映像のみが表示可能な期間である、「開演前説」、「開演演出」、「フライング演出」の各期間については、仮想カメラ視点映像は、配信用サーバコンピュータ100においてのみ生成されて、各視聴者端末300に配信される。このように、視聴者端末300において仮想カメラ視点映像のみが表示可能な期間においては、仮想カメラ視点映像が配信用サーバコンピュータ100においてのみ生成されるため、仮想カメラ視点映像を生成する処理が視聴者端末300において重複して実行されることによって、システム全体の処理負荷が無駄に増大してしまうことを防ぐことができる。
ここで、視聴者端末300において視点映像が切り替わる際の状況について、仮想カメラ視点映像のみが表示可能な期間である、「フライング演出」の期間を例に、図28を用いて説明する。
例えば、図28に示すように、「第1MC」の期間および「フライング演出」までの第1演目の期間中において視聴者アバター視点映像が表示されている視聴者端末300において、仮想カメラ視点映像(空中移動仮想カメラからの視点映像)のみが表示可能な「フライング演出」の期間が開始されたときから、配信用サーバコンピュータ100が仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の配信を開始すると、これら配信が開始してから仮想カメラ視点映像が表示されるまでの期間において視聴者端末300において仮想カメラ視点映像(空中移動仮想カメラからの視点映像)が表示されない状態となってしまい、「フライング演出」の最初の映像を視聴者が視聴できなくなってしまう不具合が生じる畏れがある。
このため、実施例2の配信用サーバコンピュータ100は、図28に示すように、視聴者アバター視点映像から仮想カメラ視点映像(空中移動仮想カメラからの視点映像)に強制的に視点映像が変更される「フライング演出」の開始時において、該「フライング演出」の開始タイミングよりも前の特定タイミングにおいて、BF事前通知を視聴者端末300に送信することで、フライング演出期間の開始前において仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の事前配信を開始する配信開始(バッファリング開始)タイミングを視聴者端末300に通知する。
視聴者端末300は、BF事前通知の受信に応じて、配信用サーバコンピュータ100から仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の配信が開始されるタイミングを特定し、該タイミングになったときから受信した仮想カメラ視点映像(空中移動仮想カメラからの視点映像)のバッファリングを開始する。
これら仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の配信が開始されるタイミング、つまり、バッファリングを開始するタイミングは、視聴者端末300の映像記憶機能の違いを考慮して適宜に決定すればよいが、例えば、映像のフレーム数として数十フレームに該当する期間とすればよい。
このように、実施例2の配信用サーバコンピュータ100は、フライング演出期間の開始前から、フライング演出の仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の生成、配信を開始し、視聴者端末300は、該配信された仮想カメラ視点映像をバッファリングしているので、フライング演出期間が開始されたときに、該フライング演出期間の開始前に表示していた視聴者アバター視点映像から仮想カメラ視点映像に瞬時に映像を変更することができるので、「フライング演出」の最初の映像を視聴者が視聴できなくなってしまう不具合が生じることを防ぐことができる。
また、「フライング演出」の期間が終了するときにおいては、「フライング演出」の開始前において視聴者アバター視点映像が選択されていたことから、該「フライング演出」の期間の終了に応じて、フライング演出の仮想カメラ視点映像(空中移動仮想カメラからの視点映像)から視聴者アバター視点映像に視点映像が切り替わるが、この場合においても、「フライング演出」の期間が終了したときから視聴者アバター視点映像を生成して表示すると、「フライング演出」の開始時と同様に、視聴者アバター視点映像が生成されて表示されるまでの期間において視聴者端末300において視聴者アバター視点映像が表示されない状態となってしまう不具合が生じる畏れがある。
このため、実施例2の配信用サーバコンピュータ100は、これら「フライング演出」の期間が終了するときにおいても、図28に示すように、終了TM(タイミング)事前通知を視聴者端末300に送信することで、仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の配信が終了する「フライング演出」の期間終了タイミングを事前に視聴者端末300に通知する。
視聴者端末300は、終了TM(タイミング)事前通知の受信に応じて、配信用サーバコンピュータ100から仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の配信が停止されるタイミングを事前に特定し、該タイミングよりも前の所定タイミングとなったときから視聴者視点映像生成処理を開始して、視聴者アバター視点映像を事前生成する。
尚、配信用サーバコンピュータ100は、終了TM(タイミング)事前通知の送信時から、仮想空間更新データの配信を実行することで、視聴者端末300は、受信した仮想空間更新データによって仮想空間データを更新する仮想空間処理を実行しているので、上記した所定タイミングにおいて、その時点の仮想ライブ会場の状況を反映した視聴者アバター視点映像を生成することができる。
このように、実施例2の配信用サーバコンピュータ100は、フライング演出期間の終了前に終了TM(タイミング)事前通知を視聴者端末300に送信して、フライング演出期間の終了前に事前に視聴者アバター視点映像を視聴者端末300が生成できるようにしているので、視聴者端末300において視聴者アバター視点映像が表示されない状態となってしまう不具合が生じることを防ぐことができる。
尚、図28においては、「フライング演出」を例に説明したが、視聴者アバター視点映像から仮想カメラ視点映像に強制的に視点映像が変更される「開演前説」と「開演演出」の期間についても、同様の制御が行われる。
以上、実施例2の仮想空間コンテンツ配信システムでは、視聴者ユーザーが複数であって、各視聴者ユーザー毎に視聴者端末300が割り当てられており、視聴者端末300が、視聴者アバターに対応した仮想ライブ会場(仮想空間)の視点映像である視聴者アバター視点映像を表示するときには、該視聴者アバター視点映像を配信用サーバコンピュータ100から送信されてくる仮想空間更新データ(仮想空間データ)にもとづいて生成しており、これら処理負荷が大きな視聴者アバター視点映像の生成が視聴者端末300で行われるので、より多くの視聴者ユーザーを仮想ライブに参加させることができる。
また、実施例2の仮想空間コンテンツは、演者ユーザーが演者アバター1として仮想ライブ会場に参加可能なコンテンツであるとともに、演者アバター1が仮想ライブ会場において、歌唱やダンス等の楽曲動作(パフォーマンス)を行うコンテンツであるので、仮想空間コンテンツの興趣を向上できる。
また、実施例2の仮想空間更新データ(仮想空間データ)には、演者アバター1の動作を生成するための演者アバター用動作データを含まれているため、視聴者端末300において生成される視聴者アバター視点映像においても演者アバター1の動作を正確に反映させることができる。
また、実施例2の各視聴者端末300において共通して表示される共通視点映像、例えば、「開演前説」、「開演演出」、「フライング演出」の映像については、配信用サーバコンピュータ100において生成されて各視聴者端末300に配信されるので、重複した処理が各視聴者端末300において実行されることによって、システム全体の処理負荷が無駄に増大してしまうことを防ぐことができる。
また、実施例2の視聴者端末300において、視聴者アバター視点映像と仮想カメラ視点映像とのいずれかの視点映像を選択して表示可能な期間である、「MC期間」と「フライング演出」の期間以外の演目期間(特定期間)中においては、仮想カメラ視点映像が視聴者端末300において生成されて表示されるので、視点映像が切り替わるときに、映像が途切れる等の不具合が生じることを防ぐことができる。
また、実施例2の配信用サーバコンピュータ100における処理負荷が大きい特別期間となる、「衣装チェンジ演出」や「分身演出」の期間においては、仮想カメラ視点映像(共通視点映像)についても各視聴者端末300が生成して表示するため、配信用サーバコンピュータ100における処理負荷が一時的に極端に大きくなってしまうことを防ぐことができる。
また、実施例2の配信用サーバコンピュータ100は、仮想ライブ会場(仮想空間)の基本データ並びに仮想ライブ会場に仮想参加する演者アバター1および視聴者アバターの基本データを含む事前データを、仮想ライブが開始する前に各視聴者端末300に対して事前送信しているので、仮想ライブの開始時において視聴者アバター視点映像が良好に表示されない不具合の発生を防ぐことができる。
また、実施例2の配信用サーバコンピュータ100は、事前データの受信完了が確認できない視聴者端末300に対しては、仮想カメラ視点映像(共通視点映像)を送信しており、このようにすることで、仮想ライブの開始後において基本データ等の送信によって配信用サーバコンピュータ100における処理負荷が過度に増大してしまうことを防ぎつつ、視聴者ユーザーが仮想ライブを視聴できなくなってしまうことも防ぐことができる。
<実施例2の変形例>
図29は、実施例2についての変形例2-1における視聴者視点映像生成処理の処理内容を示すフロー図である。
上記した実施例2では、演者アバター1の動作を含む視聴者アバター視点映像を、常に一律に生成する形態を示したが、本発明はこれに限定されるものではなく、これら視聴者アバター視点映像を、視聴者端末300における視聴者ユーザーの選択によって、映像生成における処理負荷の異なる複数の態様で生成するようにしてもよい。
つまり、視聴者ユーザーが使用する視聴者端末300としては、実施例1において例示しているように、処理能力の高い据え置き型のパーソナルコンピュータ(PC)である場合もあれば、パーソナルコンピュータ(PC)よりも処理能力が相対的に低いスマ-トフォン端末やタブレット端末等である場合もあるように、処理能力の異なる端末が使用されることが想定されるが、このように処理能力の異なる端末において、視聴者アバター視点映像を、常に一律に生成してしまうと、低処理能力の端末においては、視聴者アバター視点映像を適切に生成することができず、視聴者アバター視点映像と音声とにズレが生じたり、或いは、視聴者アバター視点映像が不連続の不自然な映像になってしまう畏れがあるため、例えば、演者動作を含む視聴者アバター視点映像を生成する場合に、映像の生成に係わる処理負荷が高い高精細な演者動作を含む視聴者アバター視点映像を生成するのか、映像の生成に係わる処理負荷が低い低精細な演者動作を含む視聴者アバター視点映像を生成するのかを、視聴者が、使用する端末の処理能力に応じて適宜、選択できるようにしてもよい。
具体的には、視聴者端末300において実行される視聴者視点映像生成処理を、図29のフロー図に示す内容とすればよく、該視聴者視点映像生成処理においては、まず、視聴者端末300において視聴者ユーザーによって選択されている演者動作生成態様を特定する(ステップS101)。そして、特定した演者動作生成態様が、高処理負荷態様であるか否かを判定し(ステップS102)、高処理負荷態様が選択されている場合(ステップS102でY)は、高精細な演者動作を含む視聴者アバター視点映像を生成する(ステップS103)。一方、高処理負荷態様が選択されていない場合(ステップS102でN)は、低精細な演者動作を含む視聴者アバター視点映像を生成する(ステップS104)。
尚、図29においては、高処理負荷態様と低処理負荷態様の2態様とした形態を例示しているが、本発明はこれに限定されるものではなく、これら処理負荷態様を3態様以上としてもよい。
また、上記した実施例2(実施例1も同様)においては、視聴者ユーザーの視聴者アバターの移動を含む全ての動作を、仮想空間更新データの配信によって各視聴者アバターに反映させる形態を例示しているが、本発明はこれに限定されるものではなく、例えば、これら視聴者アバターの動作として、通常では実行不能な動作であって、特別な費用を支払った場合において可能となる動作、例えば、演者アバター1に対して自身の視聴者アバターをアピールすることが可能な特別動作を行う操作を視聴者端末300において可能とする場合にあっては、該特別動作は、演者ユーザーに向ける動作であって、他の視聴者ユーザーに向けるものではないので、これら特別動作を含む仮想空間更新データを、他の視聴者ユーザーの視聴者端末300に配信しないようにして、これら特別動作を実行可能とすることによって配信用サーバコンピュータ100の処理負荷が過大に増加してしまうことを防ぐことができるようにしてもよい。
このように、特別動作を含む仮想空間更新データを、他の視聴者ユーザーの視聴者端末300に配信しない場合には、図30の変形例2-2に示すように、視聴者ユーザーAが特別動作に対応する操作を実行することで視聴者ユーザーAの視聴者アバターが特別動作を行った場合は、配信用サーバコンピュータ100から視聴者ユーザーAの視聴者端末300には、視聴者ユーザーAの視聴者アバターが特別動作を実行していることに対応する仮想空間更新データAが送信されるが、視聴者ユーザーAとは異なる視聴者ユーザーBの視聴者端末300には、視聴者ユーザーAの視聴者アバターが特別動作を実行していない仮想空間更新データBが配信される。
よって、視聴者ユーザーAの視聴者端末300と、視聴者ユーザーBの視聴者端末300とには、異なる仮想空間更新データが配信用サーバコンピュータ100から配信されることになるので、仮想空間更新データの自由度を高めることができるとともに、視聴者ユーザーAの視聴者端末300と、視聴者ユーザーBの視聴者端末300とにおいて異なる視聴者アバター視点映像を生成させることができるようになる。
また、視聴者ユーザーAの視聴者端末300は、視聴者ユーザーBの視聴者端末300に配信される仮想空間更新データBとは異なる仮想空間更新データAにもとづいて、視聴者ユーザーBの視聴者アバターが可能な動作とは異なる特別動作を行う視聴者ユーザーAの視聴者アバターの映像を生成して表示することができるので、仮想空間コンテンツである仮想ライブに対する視聴者ユーザーAの興趣を向上できる。
また、上記した実施例2(実施例1も同様)においては、第4領域に仮想参加している視聴者ユーザーの視聴者アバターについても、アバターの態様が個々の視聴者ユーザーで異なる通常のアバターとした形態を例示しているが、本発明はこれに限定されるものではなく、例えば、仮想ライブにおける各種の視点映像を生成する際の処理負荷を低減することを目的として、第4領域に仮想参加している視聴者ユーザーの視聴者アバターを、アバターの態様が簡素化された簡易アバターとするようにしてもよい。
尚、図30においては、特別な費用を支払った場合において可能となる特別動作を実行する場合について例示しているが、例えば、上述したように、簡易アバターを使用するような場合にあっては、簡易アバターの移動以外の通常動作、例えば、手を振る動作、手を叩く動作、視聴者アバターの向きを変える動作等について、特別動作と同様に、他の視聴者ユーザーに配信される仮想空間更新データには、含まれないようにすることで、より一層、配信用サーバコンピュータ100の処理負荷を低減できるようにしてもよい。
次に、実施例3の仮想空間コンテンツ配信システムについて図31~図41を用いて以下に説明する。尚、実施例1や実施例2と同一の構成については、同一の符号を付して説明を省略する。
実施例3の仮想空間コンテンツ配信システムの構成は、図1に示す実施例1、2の構成と同一であるが、仮想ライブの進行内容が実施例1、2とは異なるとともに、実施例1、2においては視聴者アバターの動作として実行可能とされていないコンテンツ対応動作である、充填された薬剤を混合させることで発光する棒状のケミカルライトK(以下ケミライトKと略記する)を左右に振るケミライト動作(図33参照)を実行可能であって、これらケミライト動作に関係する制御が実施例1、2とは異なる点が本実施例3の特徴部分である。
図31は、実施例3の仮想空間コンテンツ配信システムにおいて配信される仮想ライブの進行内容を示す図である。実施例3の仮想ライブは、まず、仮想ライブの開始前の期間として、「ライブ仮想空間参加可能期間」と「開演前説」の期間とが設けられていて、視聴者ユーザーは、該ライブ仮想空間参加可能期間において仮想ライブの対象の仮想空間に仮想参加することができる。
尚、ライブ仮想空間参加可能期間と「開演前説」の期間の終了間際に設定されている事前データダウンロード終了タイミング(図示略)までの期間は、実施例2と同じく事前データダウンロード(DL)期間とされていて、ライブ仮想空間参加可能期間中に仮想参加した視聴者ユーザーの視聴者端末300に対して、仮想ライブ会場の仮想空間データ(基本データ)、演者アバター1のアバターデータ、並びに仮想参加した他の視聴者ユーザーのアバターデータ等が、事前データとして配信用サーバコンピュータ100からダウンロード(DL)されるようになっている。
また、「開演前説」の期間においては、実施例2と同様に、開始予定の仮想ライブについての説明等がビデオ映像等によって紹介される。
実施例3の仮想ライブは、図31に示すように、「開演演出」→「第1MC」→「第1演目」→「第2MC」→「第2演目」→「第3MC」→「第3演目」…のように進行していく。「開演演出」と「第1MC」、「第2(3)MC」は、実施例2の内容と同様である。「第1演目」、「第2演目」、「第3演目」…は、演者アバター1(演者)の歌唱とダンスとを含む。
「第1MC」、「第2MC」、「第3MC」の各期間の終了直前には、ケミライト動作において遅延動作を行う参加者(視聴者ユーザー)を決定するための遅延動作者決定処理(図37参照)の実行タイミングが設定されていることで、「第1演目」、「第2演目」、「第3演目」…の各演目において異なる参加者(視聴者ユーザー)が遅延動作を行う参加者(視聴者ユーザー)として決定されるようになっている。
実施例3の仮想ライブにおける各演出や演目等が実行される各期間において演者アバター1が実行可能な動作は、図31に示すように、手や足や頭等のアバターの一部を動かす通常動作以外に、演者アバター1が登場する開演演出においては、仮想ステージG上を移動する動作とトークに関する動作を実行可能とされている。尚、図31においては、演者アバター1や視聴者アバターが可能な動作である通常動作については記載スペースの都合上、記載を省略している。
また、「第1MC」、「第2MC」、「第3MC」…のMC期間中においては、「開演演出」と同様に、通常動作以外に、仮想ステージG上を移動する動作とトークに関する動作を実行可能とされており、「第1演出」、「第2演出」、「第3演出」…の演目期間中においては、通常動作以外に、歌唱の動作とダンスの動作が可能とされている。尚、ダンスの動作においては、仮想ステージG上を移動する動作が含まれる場合がある。
実施例3の仮想ライブにおける各期間において仮想ライブ会場に仮想参加した参加者(視聴者ユーザー)の視聴者アバターが実行可能な動作は、手や足や頭等のアバターの一部を動かす通常動作以外に、ライブ開始前期間(ライブ仮想空間参加可能期間および開演前説期間)、開演演出期間、各MC期間中においては、図32における視聴者アバター12や視聴者アバター13が実行しているように、個々の参加者(視聴者ユーザー)がケミライトKを振るタイミングや早さが同調していない非同調のケミライト動作が可能とされているとともに、図32(A)における視聴者アバター11や視聴者アバター14が実行しているように、仮想ライブ会場内を移動する動作が可能とされている。尚、図32においては、第4領域に参加している視聴者アバターについては、便宜的に簡略表示しているが、視聴者アバター11~14と同様のアバターとされているとともに、視聴者アバター11~14と同様の動作が可能とされている。
尚、非同調のケミライト動作は、後述するように、各視聴者端末300において視聴者ユーザーによってデフォルトとして個別に選択された速度1~速度5のいずれかの早さ(調子)にてケミライトKを左右に振る動作である。
また、「第1演目」、「第2演目」、「第3演目」…の各演目期間において仮想参加している参加者(視聴者ユーザー)の視聴者アバターが実行可能な動作は、通常動作以外に、図32(B)に示すように、視聴者アバター11~14の動作のように、個々の参加者(視聴者ユーザー)の視聴者アバターがケミライトKを振るタイミングや早さが、配信用サーバコンピュータ100から送信される各種情報(図33参照)によって同調している同調のケミライト動作が可能とされている。つまり、実施例3においては、演者アバターが演目を上演している各演目期間においては、視聴者アバターの移動が禁止されることで、これら視聴者アバターが各演目期間において移動することによって、仮想ライブに悪影響が生じてしまうこと、例えば、他の視聴者アバター等の衝突等によって、他の視聴者アバターの視聴に支障が出たり、該移動によって演者の集中力が低下してしまう等の支障が出てしまうことを防ぐことができる。
尚、ケミライト動作は、仮想ライブに仮想参加した全ての参加者(視聴者ユーザー)の視聴者アバターが実行可能な動作ではなく、ケミライトKの仮想アイテムを事前に購入した参加者(視聴者ユーザー)の視聴者アバターだけが可能な動作であるので、仮想ライブに仮想参加している視聴者アバターであっても、ケミライトKを所持していない視聴者アバターはケミライト動作を行うことができないため、各演目期間においてケミライト動作を行っていない視聴者アバターが存在することになる。
これら視聴者アバターの動作である移動が、視聴者ユーザーが視聴者端末300として使用しているパーソナルコンピュータ(PC)において禁止される状況について、図40、図41を用いて説明すると、演者アバター1が上演を行っていないライブ開始前期間や各MC期間において視聴者ユーザーが動作メニューを表示させる操作を実行した場合には、視聴者端末300においてアバター動作操作処理が実行されることで、図40(B)に示すように、「移動」および「ケミライト」の動作メニューがアクティブ(有効)状態にて表示されることで、「移動」および「ケミライト」のいずれの動作も実行可能であることが報知され、視聴者ユーザーは、「移動」および「ケミライト」のいずれの動作も、選択入力によって視聴者アバターに実行させることができる。
尚、図40、41においては、説明を容易化とするために、「移動」および「ケミライト」の動作以外の通常動作等の項目については省略しているとともに、これら移動」および「ケミライト」の項目以外の項目が含まれていてもよいことはいうまでもない。
一方、演者アバター1が上演を行っている演目期間中において、視聴者ユーザーが動作メニューを表示させる操作を実行した場合には、上述したように、移動が禁止されていることにより、アバター動作操作処理によって、図41に示すように、「ケミライト」の動作メニューのみがアクティブ(有効)状態にて表示され、「移動」の動作メニューが非アクティブ(無効)状態にて表示されることで、視聴者ユーザーは、「ケミライト」の動作を選択入力によって視聴者アバターに実行させることができるが、「移動」の動作を実行させることはできない。
尚、これら動作メニューの表示制御による視聴者アバターの動作制限については、視聴者端末300側においてアバター動作操作処理が実行されることで、その時点が、演目期間中であるのか否かをBPM情報や振り始め情報にもとづいて判定することで行うようにしてもよいし、仮想ライブ中の各時点において、視聴者アバターの各動作について、実行の可能・不可能を特定可能な動作制限情報を配信用サーバコンピュータ100が逐次生成して各視聴者端末300に配信することで、該動作制限情報にもとづいて視聴者端末300が動作制限を実行するようにしてもよいし、これら動作制限情報を送信せずに、視聴者端末300において動作に応じた操作を一旦受付けておき、配信用サーバコンピュータ100において、該受付けた動作の有効・無効を判断するようにしてもよい。
次に、上記のように、同調したケミライト動作を行うために、配信用サーバコンピュータ100から各視聴者端末300に送信される情報を図31と図33(A)に示す。具体的には、配信用サーバコンピュータ100からは、実施例1において説明した仮想空間更新データとともに、図33(A)に示すように、BPM(ビートパーミニッツ)情報、ケミライト動作情報、遅延動作情報が送信される。
また、これらBPM情報、ケミライト動作情報、遅延動作情報に加えて、図31並びに図35に示すように、ケミライト動作を行っている各視聴者アバターが、各演目の開始時においてケミライトKを振り始めるタイミングを特定可能な振り始め情報が、各演目の開始から所定期間(視聴者アバターの動作を停止する期間)前のタイミングにおいて配信用サーバコンピュータ100から各視聴者端末300に送信されるようになっており、該振り始め情報によって特定されるタイミング(実施例3では演目の開始タイミングとほぼ同じタイミング)にもとづいてケミライト動作を行っている各視聴者アバターがケミライトKを振り始めることで、各視聴者アバターのケミライト動作が同調するようになる。
実施例3の振り始め情報は、該振り始め情報の受信タイミングから所定期間後のタイミングを指定する情報、つまり、所定期間の大きさを特定可能な情報とされており、該振り始め情報を受信した各視聴者端末300は、その受信タイミングからタイマカウントを開始してタイマアップしたタイミングによって所定期間後のタイミングであるケミライトKの振り始めのタイミング(演目の開始タイミング)を特定することができる。
尚、実施例3においては、図31に示すように、演目の開始から所定期間前に振り始め情報が送信される以前の期間においては、視聴者Cアバターが実行している視聴者アバターの移動や、視聴者Aアバターや視聴者Bアバターが実行しているデフォルトの振り速度による非同調のケミライト動作が可能とされているが、振り始め情報の送信タイミングから該振り始め情報によって指定されたタイミングである同調したケミライト動作の開始タイミングである演目の開始タイミングまでの所定期間においては、視聴者アバターの動作が全て停止(禁止)されるようになっており、このようにすることで、各視聴者アバターが同調したケミライト動作を適切に開始できるようになるとともに、非同調のケミライト動作から、いきなり振り速度等が異なる同調したケミライト動作に移行することによる違和感が視聴者に生じてしまうことを回避できる。また、実施例3では、後述するBPM(ビートパーミニッツ)情報の配信が、楽曲に同調したケミライト動作が最初から適切に開始できるようにするために、演目の開始タイミングよりも所定期間前の振り始め情報の送信タイミングから事前に配信されるようになっているので、これらBPM情報が非同調のケミライト動作に誤って反映されてしまうことも防ぐことができる。
BPM(ビートパーミニッツ)情報は、一分の間に含まれる楽曲のビート数を表したもので、テンポが速い楽曲の場合にはBPMの数値が多くなり、テンポが遅い楽曲の場合にはBPMの数値が少なくなる。BPM(ビートパーミニッツ)情報は、これらBPMの数値に対応してビートとビートとの間隔とビートのタイミングを特定可能なデータとして記述されており、ビートのタイミングをBPM基準タイミング(図33参照)として該BPM情報から特定するとともに、これらビートとビートとの間隔においてケミライトKを左右に振る1サイクルの動作が完了するように動作することにより、ケミライト動作の早さを各演目において上演されている楽曲の早さ(テンポ)に一致せることができるとともに、各視聴者アバターのケミライト動作の早さを同じ早さに合わせることができる。
実施例3では、BPM情報は、上記したように、演目の開始タイミングよりも所定期間前の振り始め情報が送信タイミングから事前に配信されるが、これら所定期間において配信されるBPM情報は、視聴者アバターの非同期のケミライト動作には反映されず、これら事前に送信されるBPM情報から特定されるビートやビート間の期間から、視聴者端末300は、演目の開始タイミングよりも前において、事前に、同調したケミライト動作の態様を特定することができるので、このように、同調したケミライト動作の態様を視聴者端末300が事前に特定するために使用されることで、これら同調したケミライト動作が、演目の開始タイミングから的確に実行されるようになる。
ケミライト動作情報は、仮想ライブに仮想参加している視聴者アバターのうち、ケミライト動作を行っている視聴者アバターを特定するための情報である。つまり、上記したように、ケミライトKを事前購入していない視聴者アバターはケミライト動作が可能とされていないとともに、ケミライトKを事前購入していてもケミライト動作をしていない視聴者アバターも存在するため、仮想ライブに仮想参加している全ての視聴者アバターについて、ケミライト動作をしているか否かが記述されたデータをケミライト動作情報として各視聴者端末300に送信することで、各視聴者端末300において視聴者アバター視点映像や仮想カメラ視点映像を生成する際に、該ケミライト動作情報にもとづいてケミライト動作の実行の有無が各視聴者アバターについて特定されて視聴者アバターの動作に反映されるようになっている。
遅延動作情報は、ケミライト動作をしている視聴者アバターについて、図33(B)に示す遅延A、遅延Bの動作を行う視聴者アバターを特定可能とするための情報であって、ケミライト動作をしている全ての視聴者アバター(視聴者ユーザー)について、遅延なしのグループに属するか、遅延Aのグループに属するか、遅延Bのグループに属するかが記述されたデータとされている。
つまり、遅延動作情報によって「遅延なし」のグループに属することが特定される視聴者アバター(視聴者ユーザー)については、例えば、図33(B)において視聴者アバター13が行うケミライト動作のように、BPM情報によって特定されるビートタイミングに対応したBPM基準タイミングから遅れ(ズレ)ることなく1サイクル(ケミライトKを左右に1回振る動作サイクル)のケミライト動作を開始する。
また、遅延動作情報によって「遅延A」のグループに属することが特定される視聴者アバター(視聴者ユーザー)については、例えば、図33(B)において視聴者アバター12が行うケミライト動作のように、BPM情報によって特定されるビートタイミングに対応したBPM基準タイミングから0.1秒だけ遅れたタイミングで1サイクル(左右に振る動作サイクル)のケミライト動作を開始する。
また、遅延動作情報によって「遅延B」のグループに属することが特定される視聴者アバター(視聴者ユーザー)については、例えば、図33(B)において視聴者アバター11が行うケミライト動作のように、BPM情報によって特定されるビートタイミングに対応したBPM基準タイミングから0.2秒だけ遅れたタイミングで1サイクル(左右に振る動作サイクル)のケミライト動作を開始する。
このような遅延動作情報を送信して、BPM基準タイミングから0.1秒、0.2秒だけ遅れ(ズレ)たケミライト動作を視聴者アバター12、視聴者アバター11に行わせるようにする理由としては、例えば、振り始め情報とBPM情報とにもとづいて、視聴者アバターが行う全てのケミライト動作が完全に一致(同期)してしまうと、ケミライト動作が現実離れした動作となってしまうことで、仮想ライブの現実性が大きく低下してしまう畏れがあるため、視聴者アバターが行うケミライト動作の現実性を高めるために、一部の視聴者アバターについては、敢えてケミライト動作のタイミングを、同調を外れない所定範囲の秒数である0.2秒の範囲でずらすようにしている。
尚、実施例3では、ズレを生成する形態として、ズレのタイミングを視聴者端末300においてBPM情報から特定し易いことからBPM基準タイミングから遅延させた形態を例示しているが、本発明はこれに限定されるものではなく、例えば、遅延Bのグループのタイミングを、遅延ではなく、BPM基準タイミングの0.1秒前のタイミングとして、BPM基準タイミングからの差をより小さくするようにしてもよい。
また、実施例3では、ズレの最大値を、同調を外れない所定範囲である0.2秒とした形態を例示しているが、本発明はこれに限定されるものではなく、これらズレの最大値は、視聴者が同調していないと感じることがない適宜な期間とすればよく、一定の秒数に限られない。つまり、早いテンポの楽曲であれば、ズレの最大値は少ない秒数となり、遅いテンポの楽曲であれば、ズレの最大値は大きな秒数となるように、可変の秒数であってもよく、このような場合には、例えば、楽曲のテンポ(BPM)の逆数に所定の割合(例えば10%)を乗じて得られる数値に対応した秒数としてもよい。
また、実施例3では、ケミライト動作情報と遅延動作情報を個別の情報(データ)とした形態を例示しているが、本発明はこれに限定されるものではなく、これらを1つのデータとしてもよい。
また、実施例3では、ズレのタイミングを0.1秒後と0.2秒後の2つとすることで、よりケミライト動作の現実性を向上できるようにしているが、本発明はこれに限定されるものではなく、これらズレのタイミングを1つだけに簡素化してもよいし、逆に、3以上として更に現実性を向上できるようにしてしてもよい。
また、実施例3では、各演目においてズレのタイミング数を同一としているが、本発明はこれに限定されるものではなく、例えば、テンポが非常に速い楽曲の演目については、ズレのタイミング数を少なくまたは「無し」とし、テンポが遅い楽曲の演目については、ズレのタイミング数を多くする等のように、演目に応じてズレのタイミング数を変更するようにしてもよい。
次に、実施例3の配信用サーバコンピュータ100において使用される参加者ユーザーテーブルを図34(A)に示す。実施例3の参加者ユーザーテーブルは、実施例2の参加者ユーザーテーブルと同様に、参加者ID(視聴者ユーザーID)に対応付けて、当該参加者(視聴者ユーザー)の参加状態を特定可能な参加識別データ(参加識別フラグ)と、当該参加者(視聴者ユーザー)の参加エリアと、参加者(視聴者ユーザー)の視聴者アバターがその時点において存在している仮想ライブ会場における位置を特定可能な参加者座標と、仮想アイテムであるケミライトKの購入の有無を特定可能なケミライトアイテム購入のデータと、ケミライト動作中であるか否かを特定可能なケミライト動作ステータスのデータと、ケミライト動作のデフォルト速度の種類を特定可能なデフォルト速度のデータと、上述した「遅延なし」、「遅延A」、「遅延B」のいずれのグループに属しているのかを特定可能な遅延種別のデータ等が記憶可能なテーブルである。
参加者IDの項目には、イベントデータにおいて、当該仮想ライブに対応して記憶されている各参加者グループのファイルに記述されている参加予定者の視聴者ユーザーIDが全て登録される。また、参加識別データ(参加識別フラグ)は、参加者ID(視聴者ユーザーID)の登録時において、非参加状態に対応する「0」が登録されており、各参加者(視聴者ユーザー)の参加が認証によって許可されたときに、参加を示す「1」に更新される。よって、図34(A)に示す例において、参加識別データ(参加識別フラグ)が「0」となっている「MID-00007」の視聴者ユーザーは、何らかの理由で仮想ライブに参加していないことを特定することができる。
参加エリアのデータは、各参加者(視聴者ユーザー)の参加エリアが、第3領域であるのか、第4領域であるのかを特定可能なデータとされており、各参加者(視聴者ユーザー)の参加が認証によって許可されたときに、登録されるデータである。参加者座標のデータは、仮想空間更新処理において逐次更新されるデータであって、個々の参加者(視聴者ユーザー)の視聴者アバターが仮想ライブ会場内において位置している場所の座標データである。よって、該座標データから、個々の視聴者アバターがその時点において存在している仮想ライブ会場内の位置を簡便に特定することができる。
ケミライトアイテム購入のデータは、購入に応じて購入済みであることを示す「1」に、未購入を示す「0」からデータが更新される。よって、上述したように、ケミライトアイテム購入のデータが「1」の視聴者ユーザーの視聴者アバターだけが、ケミライト動作を行うことができ、これらケミライト動作の実行に対応した操作が実行されることに応じて、該操作の有効・無効が、ケミライトアイテム購入のデータにもとづいて配信用サーバコンピュータ100において判定される。
ケミライト動作ステータスのデータは、各参加者(視聴者ユーザー)の視聴者アバターがケミライト動作を実行しているか否かを特定可能なデータであって、ケミライト動作の実行に対応する操作が視聴者端末300において実行され、該操作が有効と判断されたときに、非実効を示す「0」から「1」に更新されるとともに、ケミライト動作の非実行(終了)に対応する操作が視聴者端末300において実行されたことに応じて、実行を示す「1」から非実効を示す「0」に更新される。
デフォルト振り速度のデータは、非同調のケミライト動作を行う場合においてケミライトKを振る速度を特定可能なデータであって、例えば、第1演目の開始前等の期間においてケミライト動作の実行操作をした場合において、視聴者ユーザーが選択した速度に対応したデータである。具体的には、実施例3においては、これらデフォルト速度として、低速である速度1(P1)から高速である速度5(P5)までの5段階の速度を視聴者ユーザーが選択することができ、これら視聴者ユーザーによって視聴者端末300において選択されたデフォルト速度の情報が、配信用サーバコンピュータ100に通知されて登録される。
よって、非同調のケミライト動作が可能な期間において視聴者アバターがケミライトKを振る場合の速度は、該視聴者アバターが対応する視聴者ユーザーの視聴者ユーザーIDに対応付けられているデフォルト速度のデータにもとづいた速度とされる。
遅延種別のデータは、各視聴者ユーザーの視聴者アバターが、上述した「遅延なし」、「遅延A」、「遅延B」のいずれのグループに属しているのかを特定可能なデータであって、「遅延なし」に属する場合には「N」が登録され、「遅延A」に属する場合には「A」が登録され、「遅延B」に属する場合には「B」が登録される。
ここで、視聴者アバターが「遅延なし」、「遅延A」、「遅延B」のいずれのグループに決定される流れについて、図31、図37を用いて説明する。
これら「遅延なし」、「遅延A」、「遅延B」のグループ割は、図37(A)に示す遅延動作者決定処理が配信用サーバコンピュータ100において実行されることにより行われる。
尚、配信用サーバコンピュータ100において遅延動作者決定処理が実行されるタイミングは、1回だけではなく、図31に示すように、各演目が開始される直前の複数のタイミングにおいて実行される。よって、実施例3では、各演目ことに「遅延なし」、「遅延A」、「遅延B」に属する視聴者アバターが変化する。
このように、各演目が開始される直前のタイミングで実行される遅延動作者決定処理においては、まず、図37(A)に示すように、ケミライト動作を実行している視聴者アバターを全て特定する(ステップS201)。具体的には、図34(A)に示す参加者ユーザーテーブルにおいて、その時点においてケミライト動作ステータスのデータとして「1」が登録されている参加者ID(視聴者ユーザーID)を全て特定すればよい。
そして、特定したケミライト動作を実行している視聴者アバターから、「遅延A」のケミライト動作を行う視聴者アバターと、「遅延B」のケミライト動作を行う視聴者アバターとを、図37(B)示す決定用テーブルの決定割合にて選出する(ステップS202)。
実施例3における決定割合は、図37(B)に示されるように、「遅延A」のケミライト動作を行う視聴者アバターを、ケミライト動作を行う視聴者アバター全体の20%、「遅延B」のケミライト動作を行う視聴者アバターを、ケミライト動作を行う視聴者アバター全体の10%とする形態を例示している。このように、ズレが大きくなる程、決定割合を少なくすることで、ズレの状態がより現実に違いズレとなることから好ましいが、これらの決定割合は、適宜に決定すればよい。但し、「遅延A」と「遅延B」とを合計した割合は、50%を超えないようにすることが好ましい。
尚、実施例3では、これら決定割合を1つとした形態を例示しているが、本発明はこれに限定されるものではなく、例えば、決定割合が異なる決定用テーブルを複数設けておき、演目の楽曲に応じて、使用する決定用テーブルを変更することで、決定割合を変えるようにしてもよい。
これら選出の具体的な方法は限定されないが、例えば、ステップS201において特定したケミライト動作を実行している視聴者アバターの総数Mに、「遅延B」に対応する決定割合である10%を乗じた決定数1と、「遅延B」に対応する決定割合である20%を乗じた決定数2とを算出し、ステップS201において特定したケミライト動作を実行している視聴者アバターから、決定数1に達するまで抽選を実施して「遅延B」のケミライト動作を行う視聴者アバターを決定し、未決定の視聴者アバターから決定数2に達するまで抽選を実施して「遅延A」のケミライト動作を行う視聴者アバターを決定し、残りの視聴者アバターを「遅延なし」のケミライト動作を行う視聴者アバターとして決定すればよい。
そして、参加者ユーザーテーブルの遅延動作種別のデータを、上記した決定結果にもとづいて更新する(ステップS203)。
そして、更新後の遅延動作種別のデータにもとづいて新たな遅延動作情報を生成して各視聴者端末300に配信する(ステップS204)。
次に、実施例3の配信用サーバコンピュータ100において使用される楽曲リストデータを図34(B)に示す。尚、楽曲リストデータは1つのファイルデータとして配信用サーバコンピュータ100に記憶されている。
楽曲リストデータは、図34(B)に示すように、演目種別に対応付けて「楽曲名」、「楽曲ID」、「BPM」等の情報が記憶されており、演目種別の情報にもとづいて、各演目においてどの楽曲が使用されるのかを特定可能とされている。
つまり、図34(B)に示す例においては、第1演目においては、楽曲ID「GK-XXXX」の楽曲が上演され、第2演目においては、楽曲ID「GK-YYYY」の楽曲が上演され、第3演目においては、楽曲ID「GK-ZZZZ」の楽曲が上演されることが特定できる。
また、BPMのデータから、第1演目において上演される楽曲は、1分間に82ビートと、比較的テンポが遅い楽曲であり、第2目において上演される楽曲は、1分間に123ビートと比較的テンポが早い楽曲であり、第3目において上演される楽曲は、1分間に136ビートと、更に早いテンポの楽曲であることが解る。尚、図34(B)では、BPMのデータを整数の数値としているが、本発明はこれに限定されるものではなく、これらの値を小数点以下の値を含む数値としてもよい。
よって、図35に示すように、第1演目においては、楽曲ID「GK-XXXX」のBPMである1分間に82ビートに対応したBPM情報が第1演目対応BPM情報として各視聴者端末300に配信され、第2演目においては、楽曲ID「GK-YYYY」のBPMである1分間に123ビートに対応したBPM情報が第2演目対応BPM情報として各視聴者端末300に配信され、第3演目においては、楽曲ID「GK-ZZZZ」のBPMである1分間に136ビートに対応したBPM情報が第3演目対応BPM情報として各視聴者端末300に配信される。つまり、各演目においては、上演される楽曲に対応した異なるBPM情報が配信される。
尚、これら第1演目対応BPM情報、第2演目対応BPM情報、第3演目対応BPM情報は、いずれも、図35に示すように、第1演目、第2演目、第3演目の開始タイミングの所定期間前の振り始め情報の送信タイミングから配信が開始されるが、該所定期間は、視聴者アバターの動作が停止される視聴者アバター動作停止期間Tとされることによって視聴者アバターの動作であるケミライト動作に反映されることはない。
ここで、実施例3において視聴者ユーザーが仮想ライブ会場に仮想参加する際の流れについて、図36を用いて説明する。
まず、視聴者ユーザーは、視聴者端末300にて実行している視聴者用プログラム(視聴アプリ)において、自分が仮想参加を予定している仮想ライブへの参加操作、例えば、参加メニューの選択やキーボードにおいて参加操作が割り当てられている特定キーの操作を実行する。
この参加操作の実行によって、視聴者端末300から配信用サーバコンピュータ100に対して、視聴者ユーザーIDや当該視聴者ユーザーを認証するための認証用データを含む参加要求が送信される。
参加要求を受信した配信用サーバコンピュータ100においては、ライブ仮想空間参加可能期間であることを条件に、参加者認証処理を実行する。参加者認証処理では、受信した参加要求に含まれる視聴者ユーザーIDが、参加対象の仮想ライブに対応している参加者ユーザーデータベースに、参加者IDとして登録されているか否かによって、当該視聴者ユーザーが該当する仮想ライブの参加予定者であるのか否かを判定するとともに、図9に示す視聴者ユーザーデータにおいて、当該視聴者ユーザーIDに対応付けて記憶されている認証情報ファイルデータから特定される認証情報ファイルに記述された認証用データと、参加要求に含まれる認証用データとを照合することで視聴者ユーザーの認証を行う。
視聴者ユーザーが参加予定者であって、認証用データによる認証が完了した場合には、参加者ユーザーテーブルの参加識別データ(参加識別フラグ)を、「参加」に対応する「1」に更新したのち、配信用サーバコンピュータ100は、参加要求の送信元の視聴者端末300に対して、参加完了情報を返信する。このようにして返信された参加完了情報の受信に応じて視聴者端末300においては、仮想参加が完了したことを示すメッセージが表示されることで、仮想参加が完了したことが報知される。これにより、視聴者ユーザーは、例えば、仮想参加が完了した仮想ライブにおいて購入可能な仮想アイテム(ケミライトKを含む)の購入等が可能となる。
配信用サーバコンピュータ100は、参加完了通知処理に次いで、事前データ送信処理を実行することで、事前データを新たに仮想参加した視聴者ユーザーの視聴者端末300に送信する。このようにして送信された事前データを受信した視聴者端末300は、受信した事前データを記憶し、その後、該記憶した事前データにもとづいて視聴者視点映像を生成して表示(出力)を開始する。これにより、視聴者ユーザーは、仮想参加した自身の視聴者アバターから見た仮想ライブ会場の映像を見ることがきる。
次に、仮想参加後における配信用サーバコンピュータ100と視聴者端末300との間の情報の流れについて、図38を用いて説明する。
尚、図38において、配信用サーバコンピュータ100における仮想空間更新処理までの流れについては、実施例1と同様であるので、ここでの説明を省略する。但し、視聴者端末300におけるアバター動作操作処理における操作には、ケミライト動作に係わる操作が含まれる。
配信用サーバコンピュータ100においては、仮想空間更新処理の後に参加者ユーザーテーブル更新処理が実行されることで、参加者ユーザーテーブル、具体的には、例えば、参加者座標のデータ、ケミライト動作ステータスのデータ、デフォルト振り速度のデータ等が更新される場合がある。
そして、配信用サーバコンピュータ100においては、BPM情報の送信期間中であるか否かが判定される。尚、BPM情報は後述するように、各演目期間の開始前においても配信(送信)される(図35参照)。
BPM情報の送信期間中である場合には、ケミライト動作情報、BPM情報、遅延動作情報を、演者端末200並びに各視聴者端末300に対して配信(送信)する。このようにして配信されたケミライト動作情報、BPM情報、遅延動作情報は、演者端末200並びに各視聴者端末300において更新記憶される。
尚、実施例3では、各演目期間中においても、視聴者端末300において新たにケミライト動作を視聴者アバターに実行させる操作が可能とされているが、これら各演目期間においては、図31に示すように、遅延操作者決定処理が実行されないため、該演目期間において新たにケミライト動作の実行操作を行った視聴者ユーザーに対しては、「遅延なし」が一義的に割り当てられ、これら新たにケミライト動作を行った視聴者ユーザーの情報が反映されたケミライト動作情報とともに、該視聴者ユーザーが「遅延なし」のグループに属していることを特定可能な遅延動作情報が、演者端末200および各視聴者端末300に対して送信される。但し、各演目期間中は、図31に示すように、配信用サーバコンピュータ100の処理負荷が相対的に高い状態であるので、上記したような処理を行うことに伴う処理負荷の増加によって配信用サーバコンピュータ100の処理負荷の更なる増大を防ぐために、視聴者端末300において新たにケミライト動作を視聴者アバターに実行させる操作を不能としてもよい。
次いで、配信用サーバコンピュータ100においては、実施例1と同様に、仮想空間更新データ生成処理並びに仮想空間更新データ配信処理が実行されることで、仮想空間更新データが、演者端末200並びに各視聴者端末300に対して配信(送信)される。
このようにして配信(送信)された仮想空間更新データの受信に応じて各視聴者端末300においては、仮想空間更新処理が実行されることで、受信した仮想空間更新データの更新内容が各視聴者端末300において記憶されている仮想空間データに反映された後、図39(A)に示す視聴者視点映像生成処理1が実行される。
図39(A)は、実施例3の視聴者端末300において実行される視聴者視点映像生成処理1の処理内容を示すフロー図であり、この視聴者視点映像生成処理1においては、まず、更新後の仮想空間データにもとづいて通常の視聴者視点映像を生成する処理を行う(ステップS300)。
次ぎに、配信用サーバコンピュータ100から受信して更新記憶したケミライト動作情報と遅延動作情報とにもとづいて、ケミライト動作を実行中の視聴者アバターとその遅延種別とを全て特定する(ステップS301)。
そして、ステップS301において特定した遅延種別と、受信したBPM情報とにもとづいた動作態様を、ケミライト動作を実行中の各視聴者アバターのケミライト動作に反映する(ステップS302)。
このようにステップS302における反映によって、BPM情報にもとづいた同調したケミライト動作を行っている視聴者アバターを含む視聴者アバター視点映像を生成する(ステップS303)。
これら視聴者視点映像生成処理1にて生成された、各視聴者アバターのケミライト動作が同調している視聴者アバター視点映像は、視聴者視点映像出力処理によって各視聴者端末300において出力(表示)される。
尚、BPM情報の配信期間中であっても、視聴者アバターの動作の停止期間である場合には、そもそも、振り始めタイミング前の期間であって視聴者アバターの動作が停止されることによって視聴者アバターがBPM情報の反映対象であるケミライト動作を行っていないので、視聴者視点映像は、動作を停止している視聴者アバターを含む視聴者アバター視点映像が生成されて表示されることになる。
一方、BPM情報の送信期間中でない場合には、ケミライト動作情報、デフォルト振り速度情報を演者端末200並びに各視聴者端末300に対して配信(送信)する。このようにして配信されたケミライト動作情報、デフォルト振り速度情報は、演者端末200並びに各視聴者端末300において更新記憶される。
尚、デフォルト振り速度情報は、参加者ユーザーテーブルにおけるデフォルト振り速度のデータにもとづく情報であって、ケミライト動作を実行している各視聴者アバターについてデフォルト速度を特定可能なデータが含まれていることで、該デフォルト振り速度情報を受信した各視聴者端末300において、ケミライト動作を実行している全ての視聴者アバターについて、各々の視聴者アバターがケミライト動作においてケミライトKを振る速度(速度1~速度5)を特定できるようになっている。
また、デフォルト振り速度は、例えば各MC期間において視聴者ユーザーによって変更される場合があるが、これらの変更は、デフォルト振り速度情報が逐次配信されることによって他の視聴者ユーザーの視聴者端末において更新される。
次いで、配信用サーバコンピュータ100においては、実施例1と同様に、仮想空間更新データ生成処理並びに仮想空間更新データ配信処理が実行されることで、仮想空間更新データが、演者端末200並びに各視聴者端末300に対して配信(送信)される。
このようにして配信(送信)された仮想空間更新データの受信に応じて各視聴者端末300においては、仮想空間更新処理が実行されることで、受信した仮想空間更新データの更新内容が各視聴者端末300において記憶されている仮想空間データに反映された後、図39(B)に示す視聴者視点映像生成処理2が実行される。
図39(B)は、実施例3の視聴者端末300において実行される視聴者視点映像生成処理2の処理内容を示すフロー図であり、この視聴者視点映像生成処理2においては、まず、更新後の仮想空間データにもとづいて通常の視聴者視点映像を生成する処理を行う(ステップS400)。
次ぎに、配信用サーバコンピュータ100から受信して更新記憶したケミライト動作情報とデフォルト振り速度情報とにもとづいて、ケミライト動作を実行中の視聴者アバターとそのデフォルト振り速度を全て特定する(ステップS401)。
そして、ステップS401において特定したデフォルト振り速度にもとづいた動作態様を、ケミライト動作を実行中の各視聴者アバターのケミライト動作に反映する(ステップS402)。
このようにステップS402における反映によって、デフォルト振り速度情報により特定される各視聴者ユーザーによって固有に選択された振り速度によってケミライトKが振られる非同調のケミライト動作を行っている視聴者アバターを含む視聴者アバター視点映像を生成する(ステップS403)。
これら視聴者視点映像生成処理2にて生成された、各視聴者アバターのケミライト動作が同調していない視聴者アバター視点映像は、視聴者視点映像出力処理によって各視聴者端末300において出力(表示)される。
以上、実施例3の仮想空間コンテンツ配信システムでは、視聴者アバターは、コンテンツ関連動作であるケミライト動作を実行可能であり、複数の視聴者アバターがケミライト動作を実行するときに、各視聴者アバターのケミライト動作のタイミングを同調させるためのコンテンツ関連動作調整手段となる、配信用サーバコンピュータ100がケミライト動作情報、BPM情報、遅延動作情報を配信する処理や、視聴者端末300が、これらケミライト動作情報、BPM情報、遅延動作情報を受信して更新記憶して、該記憶した情報にもとづいて視聴者視点映像生成処理1を実行することにより、各視聴者アバターによるケミライト動作が同調するようになるので、仮想空間に参加している個々の視聴者ユーザーの興趣を高めることができる。
また、実施例3の仮想空間コンテンツ配信システムでは、ケミライト動作を実行する複数の視聴者アバターのうちの一部の視聴者アバターの動作タイミングを、同調させた同調タイミングから0.2秒の範囲内において異なっている非同調タイミングとなる「遅延A」や「遅延B」の動作態様に調整することが可能であるので、仮想ライブ空間でのケミライト動作の現実性が向上して、視聴者ユーザーの興趣をより一層高めることができる。
また、実施例3の仮想空間コンテンツ配信システムでは、実施例1と同様に、視聴者端末300において、同調したケミライト動作を行う視聴者アバターの映像を含む視聴者アバター視点映像を生成して表示することができるので、より多くの視聴者ユーザーを仮想ライブに参加させることができるとともに、このような視聴者ユーザーをより多く参加させた場合にあっても、仮想ライブ空間に参加している個々の視聴者ユーザーの興趣を高めることができる。
また、実施例3の仮想空間コンテンツ配信システムでは、仮想空間コンテンツとして仮想ライブ空間に仮想参加可能な演者アバターにより上演される楽曲の歌唱やダンス等の上演コンテンツを含み、ケミライト動作を同調させるための情報であるBPM情報は、上演コンテンツである楽曲のテンポに対応した情報であるので、演者アバターにより上演される楽曲にケミライト動作を同調させることができるので、仮想空間コンテンツの興趣をより一層向上できる。
また、実施例3の仮想空間コンテンツ配信システムでは、配信用サーバコンピュータ100から、動作同調情報として楽曲のテンポに対応したBPM情報と、ケミライト動作の開始時期を特定可能な開始情報となる振り始め情報とを含むので、ケミライト動作を楽曲のテンポに対応させることができる。
また、実施例3の仮想空間コンテンツ配信システムでは、図35に示すように、第1上演コンテンツである第1演目の楽曲が進行しているときには、第1演目の楽曲のテンポ(BPM)に対応した第1演目対応BPM情報が配信用サーバコンピュータ100から配信され、第2上演コンテンツである第2演目の楽曲が進行しているときには、第2演目の楽曲のテンポ(BPM)に対応した第2演目対応BPM情報が配信用サーバコンピュータ100から配信されるので、上演コンテンツである楽曲のテンポの違いに対応した異なる振り早さのケミライト動作を行うことができる。
また、実施例3の仮想空間コンテンツ配信システムでは、BPM情報や振り始め情報が、各演目期間において楽曲が開始される所定期間前に配信用サーバコンピュータ100から事前に配信されるので、楽曲の開始時において、ケミライト動作が同調しない状態が発生してしまうことを防ぐことができる。
また、実施例3の仮想空間コンテンツ配信システムでは、視聴者端末300は、楽曲が開始される前に送信されるBPM情報については、視聴者アバターのケミライト動作に反映しないので、楽曲開始前のケミライト動作が不自然となってしまうことによる仮想空間コンテンツの興趣低下を防ぐことができる。
また、実施例3の仮想空間コンテンツ配信システムでは、ケミライト動作を行っている視聴者アバターのうち、20%の割合の視聴者アバターについては、ケミライト動作の開始タイミングを、BPM基準タイミングから0.1秒だけ遅れた第1非同調タイミングとする「遅延A」のグループに決定可能であるとともに、10%の割合の視聴者アバターについては、ケミライト動作の開始タイミングを、BPM基準タイミングから0.2秒だけ遅れた第2非同調タイミングとする「遅延B」のグループに決定可能であり、このように、遅延の態様が複数となることで、より一層、ケミライト動作の現実性を向上できる。
また、実施例3の仮想空間コンテンツ配信システムでは、仮想空間コンテンツである仮想ライブの主コンテンツ(第1コンテンツ)である歌唱とダンスとを伴う楽曲が上演される上演コンテンツと、上演コンテンツとは異なる非上演コンテンツであるMC(トーク)のコンテンツとを含み、視聴者アバターは、上演コンテンツが配信されている各演目期間においては上演コンテンツにおいて上演される楽曲に対応したケミライト動作を実行可能である一方、MC(トーク)が配信されているMC期間においては、MC期間におけるトークに対応しない移動動作を実行可能であり、このようにすることで、視聴者アバターによる動作が、上演コンテンツの配信時においては楽曲に同調したケミライト動作に調整される一方、各MC期間におけるトークのコンテンツの配信時においてはトークに対応しない移動動作が可能とされるので、仮想ライブ空間に参加している個々の視聴者ユーザーの興趣を高めることができる。
また、実施例3の仮想空間コンテンツ配信システムでは、主コンテンツ(第1コンテンツ)が、仮想ライブ空間に仮想参加可能な演者アバター1により上演される上演コンテンツであって、演者アバター1により上演される楽曲の歌唱やダンスが含まれているので、視聴者アバターのケミライト動作が上演コンテンツである楽曲やダンスに対応した動作に調整されるので、仮想空間コンテンツの興趣をより一層向上できる。
また、実施例3の仮想空間コンテンツ配信システムでは、MC(トーク)が配信されている各MC期間において配信されるコンテンツは、演者アバター1によって楽曲が上演される上演コンテンツを含まれていないので、上演コンテンツに対応しない移動動作が上演コンテンツの配信中である演目期間中に実行されてしまうことを適切に防ぐことができる。
また、実施例3の仮想空間コンテンツ配信システムでは、上演コンテンツは、第1期間となる第1演目期間において配信される楽曲ID「GK-XXXX」の楽曲(第1期間コンテンツ)と、第1期間とは異なる第2期間となる第2演目期間において配信される楽曲ID「GK-YYYY」の楽曲(第2期間コンテンツ)と、を含み、視聴者アバターのケミライト動作を同調させるための動作情報となるBPM情報としては、第1期間においては第1演目対応BPM情報が送信され、第2期間においては、第1演目対応BPM情報とは異なるテンポを特定可能な第2演目対応BPM情報が送信されるので、異なる期間に配信される各上演コンテンツである楽曲のテンポの違いに対応したケミライト動作に調整することができる。
また、実施例3の仮想空間コンテンツ配信システムは、仮想空間コンテンツとして、仮想ライブ空間に仮想参加する演者アバター1が楽曲を上演することで主コンテンツとなる上演コンテンツ(第1コンテンツと)と、演者アバター1が楽曲を上演せずにMC(トーク)を行うことで主コンテンツとならない非上演コンテンツ(第2コンテンツ)とを含み、上演コンテンツが配信されている各演目期間において視聴者アバターの動作のうち所定動作である移動を制限する一方、非上演コンテンツ(MC)が配信されている各MC期間においては移動を制限しない動作制限機能を備えているので、上演コンテンツが配信されている期間においては視聴者アバターの移動が制限されるので、これら移動によって上演コンテンツの興趣が低下してしまうことを防ぐことができる。一方、非上演コンテンツであるMC(トーク)が配信されている各MC期間においては、移動が制限されないので、視聴者アバターの動作が過度に制限されてしまうことも防ぐことができる。
また、実施例3の仮想空間コンテンツ配信システムでは、上演コンテンツが配信されている各演目期間と、上演コンテンツが配信されていない各MC期間においても、図40、図41に示すように、視聴者アバターの特定動作となるケミライト動作に対応した操作である「ケミライト」の項目を選択する操作が可能とされており、該操作が実行されたときには、各演目期間においては同調したケミライト動作が制限(禁止)されることなく可能とされ、各MC期間においては非同調のケミライト動作が制限(禁止)されることなく可能とされており、このようにすることで、視聴者ユーザーは、上演コンテンツの配信期間である各演目期間と、非上演コンテンツの配信期間である各MC期間のいずれにおいても、特定操作となる「ケミライト」の項目を選択する操作によって視聴者アバターにケミライト動作を行わせることができる。
また、実施例3の仮想空間コンテンツ配信システムでは、上演コンテンツが配信される各演目期間が開始される前の所定期間、つまり、振り始め情報が送信されてから各演目期間が開始されるまでの所定期間についても、演目期間とみなして該演目期間と同様に、移動を含む視聴者アバターの動作を全て制限(禁止)しており、このようにすることで、視聴者アバターの移動等の動作が、演目期間が開始される前の所定期間においても制限(禁止)されるので、これら移動等の動作が、演目期間が開始される時点まで行われることによって上演コンテンツの興趣が低下してしまうことをより的確に防ぐことができる。
尚、上記した実施例3では、演目期間が開始される前の所定期間においては、移動以外の視聴者アバターの動作を全て制限(禁止)した形態を例示しているが、これら制限(禁止)する動作を移動だけとしてもよい。
また、実施例3の仮想空間コンテンツ配信システムでは、上演コンテンツが配信される各演目期間においては、上演コンテンツである楽曲のテンポに対応したケミライト動作が可能とされているので、仮想ライブ空間に参加している視聴者ユーザーの興趣を高めることができる。
<実施例3の変形例>
上記実施例3では、実施例1,2と同じく、視聴者アバターは、仮想参加している第3領域内または第4領域内を自由に移動できる形態を例示したが、このようにすると、例えば、第4領域に参加している異なる視聴者アバター同志が仮想衝突したり同一仮想位置に重複することによって仮想空間データにエラー等が生じてしまう等の問題が生じる可能性がある。
このような問題を解消するために、例えば、図42、図43、図44に示す変形例3-1に示すようにしてもよい。具体的には、第3領域や第4領域を図42に示すように細かな領域に区切るとともに、これらの領域のうちのどの領域にて仮想ライブに仮想参加するのかを、図42に示すように、仮想ライブの事前参加受付け時(仮想参加予約時)や仮想ライブの仮想参加時等において視聴者ユーザーから受付けて、視聴者ユーザーが視聴者アバターで仮想参加する場合には、事前に選択した領域においてだけ参加が可能となるともに、該選択した領域内だけで移動できるように制限(禁止)することで、視聴者アバター同志が仮想衝突したり同一仮想位置に重複することによって仮想空間データにエラー等が生じてしまうことを防ぎつつ、視聴者アバターの移動が過度に制限されてしまうことも防ぐことができる。
これら移動の制限(禁止)としては、具体的には、例えば、図43の「H5」の領域を仮想参加位置として選択した視聴者ユーザーの場合には、図44に示すように、「H5」の周囲の領域である「G4~G6」や「H4」、「H6」、「I4~I6」の各領域への移動する操作を行った場合に、視聴者端末300において該移動が移動禁止領域への移動と判定されることで、例えば、図44(B)に示すように、「移動可能範囲を超えているため指示位置へは移動できません。」の警告表示が、視聴者端末300において表示されることによって該移動が制限(禁止)される一方、「H5」の領域内における移動に関しては、該警告表示が表示されずに移動が許可されることで、視聴者ユーザーは、仮想参加した「H5」の領域内において視聴者アバターを移動できるようにすればよい。
尚、これら移動を禁止する範囲については、上記した仮想参加した範囲に限定されるものではなく、例えば、仮想ライブに複数の人数のグループで仮想参加していて、仮想参加している位置が隣接しているような状況については、グループであることを示す情報にもとづいて、これらグループで参加している視聴者アバターが仮想参加している範囲については、移動可能範囲とするようにしてもよい。
また、上記した変形例3-1は、実施例3の変形例として記載しているが、実施例3だけではなく、実施例1、2にも適用可能である。
また、上記した実施例3では、振り始め情報の送信タイミングから演目開始タイミングまでの所定期間を視聴者アバター動作停止期間Tとして視聴者アバターの動作を禁止した形態を例示しているが、本発明はこれに限定されるものではなく、例えば、図45に示す変形例3-2に示すように、これら振り始め情報の送信タイミングから演目開始タイミングまでの所定期間において、非同調のケミライト動作を実行している視聴者アバターについて、振り始め情報の送信タイミングの時点の動作状態を、同調したケミライト動作の開始時の動作状態に移行させる調整動作を実行させる調整動作期間としてもよい。
尚、これら調整動作については、振り始め情報の送信タイミングの時点の視聴者アバターの姿勢と、ケミライト動作の開始時の姿勢とを比較して、その姿勢差を補う動作を、例えば公知のモーションモーフィングプログラム等を使用して生成することができる。
また、上記変形例3-2では、同調のケミライト動作が開始される演目開始タイミングを例に説明したが、これら調整動作期間を同調のケミライト動作が終了する演目終了タイミングにおいて実施するようにしてもよい。つまり、同調のケミライト動作が終了するときの視聴者アバターの姿勢と、非同調のケミライト動作を開始するときの視聴者アバターの姿勢との姿勢差を補う調整動作を、調整動作期間を設けて実行するようにしてもよい。
つまり、変形例3-2に示すように、同調したケミライト動作を開始または終了するときに、開始前の視聴者アバターの姿勢と同調したケミライト動作の開始時の姿勢との差、同調したケミライト動作の終了時の姿勢と終了後の視聴者アバターの姿勢との差、を調整するための調整動作を生成することで、視聴者アバターの動作が連続しない動作となって不自然となってしまうことを防ぐことができる。
また、上記実施例3では、図31に示すように、各MC期間を演目期間に含めない形態としているが、本発明はこれに限定されるものではなく、図46の変形例3-3に示すように、これらMC(トーク)についても、演者ユーザーによっては演目に含めるようにしてもよく、この場合には、これらMCの期間においても、演目期間として移動等の動作を禁止するようにしてもよい。尚、このようにMC(トーク)を演者の演目に含める場合にあっては、これらMC(トーク)の期間も演目期間に含まれることから、楽曲の場合と同様にBPM情報としてMC(トーク)に対応したMC用BPM情報が送信されることで、ケミライト動作がMC(トーク)に対応したテンポの動作に調整されることになる。
つまり、仮想空間コンテンツに含まれる第1コンテンツに、演者アバター1による喋り(トーク)のコンテンツが含まれることになるので、視聴者アバターのケミライト動作を喋り(トーク)に対応した動作に調整することができる。
尚、上記の変形例3-3のようにMC(トーク)を演者の演目に含める場合には、視聴者アバターの移動等の動作が常に禁止されてしまうことから、例えば、図46に示すように、ライブ開始前において視聴者が仮想参加してから仮想ライブが開始されるまでの待機期間や、MC期間のうちの特定のMC期間や、仮想ライブ中において演者が休息するための休息期間等において、過去の仮想ライブ等のアーカイブ動画コンテンツ等が、仮想ディスプレイ40、41、42に表示される期間を演目期間に含まれない期間として移動等の動作が可能とされるようにすればよく、この場合には、演者のMC(トーク)のコンテンツも、歌唱やダンスとともに上演コンテンツに含まれ、アーカイブ動画コンテンツ等、仮想ディスプレイ40、41、42に表示されるコンテンツ等が非上演コンテンツとなる。
また、上記実施例3では、各演目期間において視聴者アバターが制限(禁止)される動作として移動を例示しているが、本発明はこれに限定されるものではなく、これら移動だけはなく、図47の変形例3-4に示すように、ジャンプ(跳躍)や、他の視聴者アバターに作用する動作となる他の視聴者アバターとのハイタッチの動作を各演目期間において制限(禁止)するようにしてもよい。
つまり、上演コンテンツが配信される期間である各演目期間において制限(禁止)される視聴者アバターの動作には、仮想ライブ空間内に仮想参加している他の視聴者アバターに対して作用を及ぼす動作やジャンプ(跳躍)が含まれ、このようにすることで、他の視聴者アバターに対して作用を及ぼす動作やジャンプ(跳躍)によって上演コンテンツの興趣が低下してしまうことを防ぐことができる。尚、作用を及ぼす対象は、視聴者アバター以外に演者アバターが含まれていてもよい。
尚、これら演目中において制限(禁止)される視聴者アバターの動作としては、図47に示す動作に限らず、各演目期間おいて視聴者アバターに違和感を与えると考えられる動作を含めるようにすればよい。
同様に、上記実施例3では、各演目期間において視聴者アバターが実行可能なコンテンツ関連動作を、ケミライトKを左右に振るケミライト動作である1の動作のみとした形態を例示しているが、本発明はこれに限定されるものではなく、例えば、これらの動作が複数の動作、例えば、図47に示すように、ケミライトKを左右に振るケミライト動作に加えて、ケミライトKを前後に振るケミライト動作や、視聴者アバターが上方に挙げた両手を左右に揺らすウエーブ動作を含むようにして、これら3つの各コンテンツ関連動作を各コンテンツ関連動作が対応する演目において実行できるようにしてもよい。
これら演目中に実行可能とされるコンテンツ関連動作は、図47に示す3つの動作に限らず、各演目期間おいて全視聴者アバターに違和感を与えることがない動作として事前に許容されている動作であれば、コンテンツ関連動作に加えることができる。
尚、ケミライトKを前後に振るケミライト動作やウエーブ動作についても、ケミライトKを左右に振るケミライト動作と同様に、BPM情報と振り始め情報とにもとづいて、これらの動作を行う複数の視聴者アバター同士が、上演される楽曲に対応したテンポにて同調した動作を行うことができる。
つまり、ケミライト動作は、左右に振る動作と、前後に振る動作との動作態様が異なる複数のケミライト動作を含み、変形例3-4の仮想空間コンテンツ配信システムは、いずれのケミライト動作についても、複数の視聴者アバターのケミライト動作を同調させることが可能である。このように、ケミライト動作が複数の動作態様となるとともに、これら複数の動作態様のケミライト動作について同調させることが可能となるので、仮想ライブ空間に参加している個々の視聴者ユーザーの興趣を、より一層高めることができる。
また、これら複数のコンテンツ関連動作を実行可能とする場合にあっては、演目期間以外のライブ開始前の期間やMC期間中においては、例えば、図47に示すように、全ての種類のコンテンツ関連動作を実行できるようにしてよいとともに、1の演目において実行可能なコンテンツ関連動作についても、1種類ではなく、例えば、ウエーブ動作に対応する演目期間において、ケミライトKを左右に振るケミライト動作も可能とする等のように、複数のコンテンツ関連動作を実行可能としてもよい。
また、上記した実施例3では、遅延動作者決定処理を配信用サーバコンピュータ100において実行することで、同調したケミライト動作において遅延動作を行う視聴者アバターを配信用サーバコンピュータ100が決定する形態を例示しているが、本発明はこれに限定されるものではなく、例えば、図48の変形例3-5に示すように、これら遅延動作者決定処理を視聴者端末300において実行することで、遅延動作を行う視聴者アバターを視聴者端末300において決定するようにしてもよい。
つまり、変形例3-5においては、視聴者端末300において、各視聴者アバターのケミライト動作のタイミングが同調した視聴者アバター視点映像を生成可能であって、配信用サーバコンピュータ100は、ケミライト動作を実行している視聴者アバターを特定可能な関連動作実行情報としてケミライト動作情報を各視聴者端末300に配信可能であり、視聴者端末300は、ケミライト動作情報から特定されるケミライト動作を実行している視聴者アバターの一部について、ケミライト動作を非同調タイミングである「遅延A」や「遅延B」に調整可能であり、このようにすることで、配信用サーバコンピュータ100が遅延動作情報を配信する必要がなくなるので、これら遅延動作情報を配信するための配信用サーバコンピュータ100における処理負荷を低減することができる。
尚、変形例3-5において視聴者端末300が実行する遅延動作者決定処理の実行タイミングと処理内容は、図37に示す配信用サーバコンピュータ100が実行するタイミングと処理内容と同様とすればよく、この場合、決定用テーブルを事前データとして配信用サーバコンピュータ100から受信して記憶しておけばよいとともに、処理の実行時においてケミライト動作を実行している視聴者アバターについては、配信用サーバコンピュータ100から配信されるケミライト動作情報から特定すればよいとともに、決定結果については、参加者ユーザーテーブルではなく、ケミライト動作情報に含まれる全参加者の視聴者ユーザーIDに対応付けて、決定結果を記憶、更新するための遅延動作者テーブルに反映するようにし、これら遅延動作者テーブルから特定される決定結果にもとづいて、視聴者視点映像生成処理1を実行すればよい。
また、変形例3-5においては、遅延動作者決定処理が個々の視聴者端末300において個別に実行されるため、視聴者ユーザーAの視聴者端末300において、例えば「遅延A」の遅延動作者として決定される視聴者アバターが、視聴者ユーザーBの視聴者端末300においては、「遅延B」の遅延動作者として決定される場合となるように、個々の視聴者端末300において生成される同調したケミライト動作を含む視聴者ユーザー視点映像が、視聴者端末300毎に異なる映像となる。
また、実施例3においては、振り始め情報によってケミライト動作を開始するタイミングを、上演コンテンツである楽曲の開始タイミング(演目期間の開始タイミング)とした形態を例示しているが、本発明はこれに限定されるものではなく、これら振り始め情報によってケミライト動作を開始するタイミングを、演目期間の開始タイミングや楽曲の開始タイミングとは異なるタイミング、例えば、演目期間の開始タイミングから一定期間が経過したタイミングや、楽曲の開始タイミングからイントロ等の部分が経過して歌唱が開始されるタイミング等のタイミングとしてもよい。
以上、本発明を各実施例及び変形例にもとづいて説明したが、具体的な構成は上記した各実施例及び変形例に限定されるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
例えば、変形例3-1で示したように、視聴者アバターの仮想参加位置を各視聴者ユーザーに事前に選択させるようにする場合にあっては、例えば、第4領域において仮想ステージGに向かって右側となるA1~C6の領域を選択した視聴者ユーザーについては、フライング演出期間における視点映像として、仮想飛翔する演者アバター1の右側前方位置からの視点映像が生成されて表示され、第4領域において仮想ステージGに向かって中央となるD4~H6の領域を選択した視聴者ユーザーについては、フライング演出期間における視点映像として、仮想飛翔する演者アバター1の中央前方位置からの視点映像が生成されて表示され、第4領域において仮想ステージGに向かって左側となるI1~K6の領域を選択した視聴者ユーザーについては、フライング演出期間における視点映像として、仮想飛翔する演者アバター1の左側前方位置からの視点映像が生成されて表示されるように、視聴者ユーザーが選択した位置に応じて、特別動作である仮想飛翔における視点映像が、各視聴者ユーザーが選択した位置(領域)に対応した視点映像となるようにしてもよい。
また、上記各実施例及び変形例では、視聴者アバター視点映像を視聴者端末300側で生成して表示する形態を例示したが、本発明はこれに限定されるものではなく、例えば、仮想参加者が少ないライブイベント等の場合には、視聴者アバターからの視点映像についても配信用サーバコンピュータ100側で生成して配信するようにしてもよい。また、視聴者ユーザーが、自分が所有する端末の処理能力や利用可能なデータ通信環境に応じて、視聴者アバター視点映像を視聴者端末300側で生成するか配信用サーバコンピュータ100側で生成するかを選択できるようにしてもよいし、配信用サーバコンピュータ100が、通信接続している視聴者端末300の処理能力を特定して、該特定した処理能力にもとづいて、視聴者端末300側で生成するか配信用サーバコンピュータ100側で生成するかを決定するようにしてもよい。
また、上記各実施例及び変形例では、配信用サーバコンピュータ100を、仮想ライブを主催するイベント運営機関が運営するスタジオに設置した形態を例示しているが、本発明はこれに限定されるものではなく、これら配信用サーバコンピュータ100としては、サーバコンピュータを貸し出す企業がデータセンタ等において所有するサーバコンピュータを使用したり、上述したように、クラウドサービスによるサーバコンピュータを使用してもよく、これらサーバコンピュータの設置形態は、配信用サーバコンピュータ100の機能を得られる形態であれば、任意の形態とすることができる。
また、上記各実施例及び変形例では、演者ユーザーが一人で歌唱やダンス等の上演動作を行う形態を例示しているが、本発明はこれに限定されるものではなく、これら演者ユーザーが、複数人からなるグループであってもよく、これら複数人からなるグループで仮想ライブを行う場合には、複数人で1台の演者端末200を共有してもよいし、グループの各メンバー毎に演者端末200を設ける形態としてもよい。尚、演者ユーザーが、複数人のメンバーからなるグループである場合に、例えば、視点追随対象者指定処理を配信用サーバコンピュータ100や視聴者端末300の少なくとも一方で実行することで、視点を追随する対象とするメンバーを、視聴者ユーザーが選択できるようにしてもよい。
また、上記各実施例及び変形例では、演者ユーザーが一人で歌唱やダンス等の上演動作を行う形態を例示しているが、本発明はこれに限定されるものではなく、歌唱を行う歌唱者とダンス動作を行うアクターとが個別の人物とされていてもよく、この場合、歌唱者の演者端末とアクターの演者端末を個別として、歌唱者はアクターが上演動作を行うスタジオ以外の場所で歌唱するようにしてもよい。
また、上記各実施例及び変形例では、配信用サーバコンピュータ100、管理者端末150、演者端末200、視聴者端末300を接続するコンピュータ通信ネットワークとして、インターネット網を例示しているが、本発明はこれに限定されるものではなく、これら通信ネットワークは、特定のエリア内だけでデータ通信可能なローカルエリアネットワークで構成されていてもよいし、その一部にローカルエリアネットワークやローカルデータ通信が含まれていてもよい。
また、上記各実施例及び変形例では、視聴者端末300としてスマートフォンPやコンピュータ(PC)とした形態を例示しているが、本発明はこれに限定されるものではなく、これらコンピュータは、持ち運び可能なノートパソコンであってもよいし、タブレット端末、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の、少なくとも2D映像と音声とを出力可能な各種情報処理装置であってもよい。
また、上記各実施例及び変形例では、演者ユーザーが、スタジオで歌唱を含む上演を行う形態を例示したが、本発明はこれに限定されるものではなく、例えば、演者ユーザーが自宅等に設置されている演者端末200を使用して、自宅等から仮想ライブに出演するようにしてもよい。
また、上記各実施例及び変形例では、仮想空間コンテンツとして仮想ライブを例示したが、本発明はこれに限定されるものではなく、これら仮想空間コンテンツとしては、例えば、演者ユーザーが自分のファンと集うファンミーティングや、トークセッション等、視聴者ユーザーにとって有益なコンテンツであって、演者アバター1と視聴者アバターとが仮想参加する仮想空間に関するコンテンツであれば、どのようなコンテンツであってもよい。
また、上記各実施例及び変形例では、固定配置(設定)された仮想カメラとして4つの仮想カメラC1~C4や空中移動仮想カメラの視点切替を、管理者端末150における設定や操作によって事前に行える形態を例示しているが、本発明はこれに限定されるものではなく、例えば、これら視点切替を、管理者端末150においてイベント管理者Mが、操作入力装置161を構成する視点切替コントローラ等を使用して、リアルタイムに行うようにしてもよい。
また、上記各実施例及び変形例では、仮想カメラとして仮想空間内に固定配置(設定)された仮想カメラC1~C4を使用する形態を例示しているが、本発明はこれに限定されるものではなく、例えば、仮想カメラC1~C4に、加えるか若しくは代えて、移動可能な仮想移動カメラを仮想ライブ会場内に配置して、該仮想移動カメラの仮想空間内の位置や撮像方向等を、管理者端末150においてイベント管理者Mやカメラマン等が操作により制御して、仮想移動カメラの視点映像とするようにしてもよい。
また、上記各実施例及び変形例では、演者アバターの表情に反映させるために、演者ユーザーの顔の表情を検出可能とするために、スクリーンSに仮想カメラC2の視点映像を表示する形態を例示しているが、本発明はこれに限定されるものではなく、例えば、演者ユーザーの顔の表情を検出するセンサ機能を有する高機能ヘッドマウントディスプレイであれば、これら高機能ヘッドマウントディスプレイを装着して上演を行うようにしてもよく、このようにすることで、演者ユーザーの仮想ライブへの没入感を向上することができるようにしてもよい。また、演者アバターの表情に演者ユーザーの顔の表情を詳細に反映しなくてもよい場合は、通常のヘッドマウントディスプレイを演者ユーザーが装着して上演を行うようにしてもよい。
また、上記実施例3では、ケミライト動作のタイミングとして、BPM基準タイミングから0.1秒遅れた遅延Aや0.2秒遅れた遅延Bのタイミングを設ける形態を例示しているが、本発明はこれに限定されるものではなく、これら遅延Aや遅延Bのタイミングを設けることなく、ケミライト動作を行っている全ての視聴者アバターが、同一のBPM基準タイミングのみで同期してケミライト動作を行うようにしてもよい。つまり、本発明において同調とは、基準タイミングのみでの同期だけではなく、一部の視聴者アバターのケミライト動作のタイミングが、ほぼ同じタイミングとして認識できる所定範囲として0.2秒の範囲内において異なっている動作態様を含むものであり、よって、同調タイミングには、BPM基準タイミングである同期タイミングだけではなく、擬同期タイミングである遅延Aや遅延Bのタイミングが含まれる。
また、上記実施例3では、図31や図35に示すように、振り始め情報が送信されてから各演目期間の開始タイミングよりまでの期間を視聴者アバター動作停止期間Tとした形態を例示していが、本発明はこれに限定されるものではなく、これら視聴者アバター動作停止期間Tを設けない形態として、各MC期間中は、全期間において視聴者アバターは、ケミライト動作が可能とされていてもよい。
また、上記各実施例及び変形例では、仮想ライブの配信時においてリアルタイムに演者ユーザーが歌唱や歌唱動作(上演動作)を実行する形態とすることで、演者ユーザーが、仮想ライブに仮想参加している視聴者ユーザーの反応等を確認しながらライブを進行できるようにしているが、本発明はこれに限定されるものではなく、演者ユーザーの歌唱や歌唱動作(上演動作)は、リアルタイムではなく、予め、歌唱や歌唱動作(上演動作)を実行しておき、これら歌唱の音声や歌唱動作(上演動作)を演者アバター情報として配信用サーバコンピュータ100に記録しておき、該記録した歌唱の音声や歌唱動作(上演動作)をライブの進行に応じて再生することによって仮想ライブを開催するようにしてもよい。
また、演者ユーザーの歌唱や歌唱動作(上演)に替えて、コンピュータグラフィック等で作成した仮想の演者による歌唱や歌唱動作(上演動作)を演者アバター情報として配信用サーバコンピュータに記録しておき、該記録した歌唱の音声や歌唱動作(上演動作)をライブの進行に応じて再生することによって仮想ライブを開催するようにしてもよい。
このように、予め、歌唱や歌唱動作(上演動作)を実行して演者アバター情報を配信用サーバコンピュータ100に記録、再生して仮想ライブを配信する場合にあっては、該配信時における仮想空間コンテンツ配信システムの構成は、配信用サーバコンピュータ100、管理者端末150、視聴者端末300とで構成されることになり、仮想空間において演者アバター1を動作させる操作を行う演者ユーザーが利用可能な演者ユーザー端末である演者端末200を含まない構成となる。
1 演者アバター
100 配信用サーバコンピュータ
150 管理者端末
200 演者端末
300 視聴者端末

Claims (12)

  1. 仮想空間における仮想空間コンテンツを配信可能な仮想空間コンテンツ配信システムであって、
    前記仮想空間コンテンツの映像を表示可能な端末であって、前記仮想空間コンテンツの対象となる仮想空間に参加可能な視聴者アバターを該仮想空間において動作させる操作を行う視聴者ユーザーが利用可能な視聴者ユーザー端末と、
    前記視聴者ユーザー端末に通信ネットワークを介して接続され、少なくとも前記仮想空間に関する処理と前記仮想空間コンテンツの配信に関する処理とを実行可能なサーバコンピュータと、
    を含み、
    前記サーバコンピュータは、前記仮想空間コンテンツの配信中において前記視聴者アバターが前記視聴者ユーザー端末における操作にもとづいて動作するときに、該動作を該仮想空間コンテンツに対応させるための視聴者アバター動作調整手段を備え、
    前記仮想空間コンテンツは、該仮想空間コンテンツの主コンテンツである第1コンテンツと、前記第1コンテンツとは異なる第2コンテンツとを含み、
    前記視聴者アバターは、前記第1コンテンツが配信されている期間においては該第1コンテンツに対応した動作を実行可能である一方、前記第2コンテンツが配信されている期間においては該第2コンテンツに対応しない動作を実行可能である
    ことを特徴とする仮想空間コンテンツ配信システム。
  2. 前記第1コンテンツは、前記仮想空間に参加可能な演者アバターにより上演される上演コンテンツを含む
    ことを特徴とする請求項1に記載の仮想空間コンテンツ配信システム。
  3. 前記上演コンテンツは、前記演者アバターにより上演される楽曲コンテンツを含む
    ことを特徴とする請求項2に記載の仮想空間コンテンツ配信システム。
  4. 前記上演コンテンツは、前記演者アバターにより上演されるダンスコンテンツを含む
    ことを特徴とする請求項2に記載の仮想空間コンテンツ配信システム。
  5. 前記上演コンテンツは、前記演者アバターによる喋りコンテンツを含む
    ことを特徴とする請求項2に記載の仮想空間コンテンツ配信システム。
  6. 前記第2コンテンツが配信されている期間は、前記上演コンテンツを含まないコンテンツが配信されている期間である
    ことを特徴とする請求項2に記載の仮想空間コンテンツ配信システム。
  7. 前記視聴者アバターは、前記視聴者ユーザー端末における操作にもとづいて動作態様が異なる複数の動作を行うことが可能であって、
    前記視聴者アバター動作調整手段は、前記視聴者アバターの複数の動作のいずれについても、前記第1コンテンツに対応させることが可能である
    ことを特徴とする請求項1または2に記載の仮想空間コンテンツ配信システム。
  8. 前記視聴者ユーザー端末は、前記サーバコンピュータから送信されてくる前記仮想空間の仮想空間データにもとづいて前記仮想空間コンテンツの映像を生成可能であって、
    前記視聴者アバター動作調整手段は、前記視聴者アバターの動作を前記第1コンテンツに対応した動作とするための動作情報を前記視聴者ユーザー端末に対して送信し、
    前記視聴者ユーザー端末は、前記仮想空間データと前記動作情報とにもとづいて、前記視聴者アバターが前記第1コンテンツに対応した動作をしている前記仮想空間コンテンツの映像を生成可能である
    ことを特徴とする請求項1または2に記載の仮想空間コンテンツ配信システム。
  9. 前記視聴者アバター動作調整手段は、前記動作情報を、前記第1コンテンツの配信が開始される前に前記視聴者ユーザー端末に対して送信する
    ことを特徴とする請求項8に記載の仮想空間コンテンツ配信システム。
  10. 前記第1コンテンツは、第1期間において配信される第1期間コンテンツと、該第1期間とは異なる第2期間において配信される第2期間コンテンツと、を含み、
    前記視聴者アバター動作調整手段は、前記第1期間コンテンツと前記第2期間コンテンツとで異なる前記動作情報を送信する
    ことを特徴とする請求項8に記載の仮想空間コンテンツ配信システム。
  11. 仮想空間における仮想空間コンテンツを、少なくともサーバコンピュータを用いてネットワークを介して配信するための仮想空間コンテンツ配信プログラムであって、
    前記仮想空間コンテンツの対象となる仮想空間に参加可能なアバターは、視聴者ユーザーが利用可能な端末であって前記ネットワークを介して前記サーバコンピュータに接続された視聴者ユーザー端末における操作によって前記仮想空間において動作する視聴者アバターを含み、
    前記仮想空間コンテンツは、該仮想空間コンテンツの主コンテンツである第1コンテンツと、前記第1コンテンツとは異なる第2コンテンツとを含み、
    前記仮想空間コンテンツの配信中において前記視聴者アバターが前記視聴者ユーザー端末における操作にもとづいて動作するときに、該動作を該仮想空間コンテンツに対応させるための視聴者アバター動作調整ステップを含み、
    前記視聴者アバターは、前記視聴者アバター動作調整ステップが実行されることによって、前記第1コンテンツが配信されている期間においては該第1コンテンツに対応した動作を実行可能である一方、前記第2コンテンツが配信されている期間においては該第2コンテンツに対応しない動作を実行可能である
    ことを特徴とする仮想空間コンテンツ配信プログラム。
  12. 仮想空間における仮想空間コンテンツを、少なくともサーバコンピュータを用いてネットワークを介して配信するための仮想空間コンテンツ配信方法であって、
    前記仮想空間コンテンツの対象となる仮想空間に参加可能なアバターは、視聴者ユーザーが利用可能な端末であって前記ネットワークを介して前記サーバコンピュータに接続された視聴者ユーザー端末における操作によって前記仮想空間において動作する視聴者アバターを含み、
    前記仮想空間コンテンツは、該仮想空間コンテンツの主コンテンツである第1コンテンツと、前記第1コンテンツとは異なる第2コンテンツとを含み、
    前記仮想空間コンテンツの配信中において前記視聴者アバターが前記視聴者ユーザー端末における操作にもとづいて動作するときに、該動作を該仮想空間コンテンツに対応させるための視聴者アバター動作調整手順を含み、
    前記視聴者アバターは、前記視聴者アバター動作調整手順が実行されることによって、前記第1コンテンツが配信されている期間においては該第1コンテンツに対応した動作を実行可能である一方、前記第2コンテンツが配信されている期間においては該第2コンテンツに対応しない動作を実行可能である
    ことを特徴とする仮想空間コンテンツ配信方法。
JP2023102734A 2023-06-22 2023-06-22 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法 Active JP7495558B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023102734A JP7495558B1 (ja) 2023-06-22 2023-06-22 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023102734A JP7495558B1 (ja) 2023-06-22 2023-06-22 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法

Publications (1)

Publication Number Publication Date
JP7495558B1 true JP7495558B1 (ja) 2024-06-04

Family

ID=91321898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023102734A Active JP7495558B1 (ja) 2023-06-22 2023-06-22 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法

Country Status (1)

Country Link
JP (1) JP7495558B1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019192175A (ja) 2018-04-27 2019-10-31 株式会社コロプラ プログラム、情報処理装置、および方法
JP2020091504A (ja) 2018-10-31 2020-06-11 株式会社ドワンゴ 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
JP2020102236A (ja) 2020-02-18 2020-07-02 株式会社ActEvolve コンテンツ配信システム、受信装置及びプログラム
WO2021246183A1 (ja) 2020-06-03 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019192175A (ja) 2018-04-27 2019-10-31 株式会社コロプラ プログラム、情報処理装置、および方法
JP2020091504A (ja) 2018-10-31 2020-06-11 株式会社ドワンゴ 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
JP2020102236A (ja) 2020-02-18 2020-07-02 株式会社ActEvolve コンテンツ配信システム、受信装置及びプログラム
WO2021246183A1 (ja) 2020-06-03 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム

Similar Documents

Publication Publication Date Title
JP6724110B2 (ja) 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
WO2020138107A1 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP6420077B2 (ja) ゲームシステム
US20120272162A1 (en) Methods and systems for virtual experiences
CN112717423B (zh) 游戏对局的直播方法、装置、设备及存储介质
CN109803154B (zh) 棋类比赛的直播方法、设备及存储介质
US20240114214A1 (en) Video distribution system distributing video that includes message from viewing user
US20220222881A1 (en) Video display device and display control method for same
US11850509B2 (en) Interactive theater system with real-time feedback and dynamic special effects
WO2021246183A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2015151766A1 (ja) 投影撮影システム、カラオケ装置及びシミュレーション装置
JP2024019661A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP5632792B2 (ja) 参加型コンテンツ管理装置、視聴端末、参加型コンテンツ管理プログラム、及び視聴プログラム
JP2020144887A (ja) 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
US11206452B2 (en) Video display system, information processing apparatus, and video display method
JP2021132393A (ja) アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム
US20230368464A1 (en) Information processing system, information processing method, and information processing program
JP7495558B1 (ja) 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
JP6619859B1 (ja) プログラム、画像生成方法およびゲーム装置
JP2020127211A (ja) 3次元コンテンツ配信システム、3次元コンテンツ配信方法、コンピュータプログラム
WO2022190919A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2022190917A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
WO2024101001A1 (en) Information processing system, information processing method, and program for communication points regarding events
GB2624172A (en) Apparatus and methods for virtual events

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240411

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240523

R150 Certificate of patent or registration of utility model

Ref document number: 7495558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150