WO2020044874A1 - コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム - Google Patents

コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム Download PDF

Info

Publication number
WO2020044874A1
WO2020044874A1 PCT/JP2019/028802 JP2019028802W WO2020044874A1 WO 2020044874 A1 WO2020044874 A1 WO 2020044874A1 JP 2019028802 W JP2019028802 W JP 2019028802W WO 2020044874 A1 WO2020044874 A1 WO 2020044874A1
Authority
WO
WIPO (PCT)
Prior art keywords
distribution
distributor
participation
unit
video
Prior art date
Application number
PCT/JP2019/028802
Other languages
English (en)
French (fr)
Inventor
量生 川上
健太郎 松井
進之介 岩城
尚 小嶋
山口 直樹
Original Assignee
株式会社ドワンゴ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ドワンゴ filed Critical 株式会社ドワンゴ
Priority to CN201980048637.9A priority Critical patent/CN112585977B/zh
Priority to US17/257,548 priority patent/US11277585B2/en
Publication of WO2020044874A1 publication Critical patent/WO2020044874A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827Network arrangements for conference optimisation or adaptation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1831Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1093In-session procedures by adding participants; by removing participants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents

Definitions

  • the participation reception unit 544 acquires participation reception information from the distributor terminal 600 via the communication unit 110.
  • the participation reception unit 544 receives a request for participation of another person in the virtual space used by the distributor for distribution.
  • the other person in the present embodiment is another distributor using the distributor terminal 700.
  • the participation receiving unit 544 may receive a request for participation while the distributor is distributing, or may receive a request for participation before distribution starts.
  • the participation receiving unit 544 acquires information of another person who wants to participate, and displays the information on the distributor terminal 600 that is performing distribution for which participation is desired.
  • the information of another person is, for example, information indicating a user name, a virtual character, and the like.
  • the participation receiving unit 544 displays a screen for accepting or rejecting an operation of permitting or rejecting the participation of another person who wants to participate on the distributor terminal 600 that is distributing the participation request. If permitted by the distributor, others can participate in the distribution as participants.
  • the participation receiving unit 544 displays a screen for accepting or rejecting an operation of permitting or denying participation of a photographer (a photographer using the photographer terminal 900) who is photographing the distribution of another person who wants to participate with the virtual camera on the distributor terminal 600. Display.
  • the video generation unit 542 moves the virtual camera of the photographer into the virtual space of the distribution by the distributor terminal 600, and moves the virtual camera of the photographer to the distribution and other distribution. To share with. The detailed principle of sharing the virtual camera will be described later.
  • the link notification unit 546 causes the viewer terminals 300 and 800 that view one of the distribution and the other distribution to display a link for viewing the other distribution or the distribution by the photographer terminal 900 of the other distribution. Thereby, the viewer can grasp the existence of the other distribution. For example, the link notification unit 546 notifies the viewer terminal 300 of respective URLs of another distribution by the distributor terminal 700 and a distribution of the photographer terminal 900. The link notification unit 546 notifies the viewer terminal 800 of the URL of the distribution by the distributor terminal 600.
  • distributor terminals 600 and 700 display not the distribution screen shown in FIG. 11 but the video in the virtual space rendered from the viewpoint of each virtual character (that is, the virtual character 40 or the virtual character 50).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

仮想空間を共有する形態としての利便性を向上させることが可能なコンテンツ配信サーバ等を提供する。 コンテンツ配信サーバ100は、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付部144と、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得部141と、情報取得部141が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像に応じたライブコンテンツを配信する配信部143とを備える。

Description

コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
 本開示は、コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラムに関する。
 近年、ネットワークを介してライブコンテンツを配信するサービスがインターネット生放送として普及している。このようなインターネット生放送において、配信者が仮想空間内で仮想キャラクタ(アバター)として登場し、その映像をライブコンテンツとして配信する技術が提案されている。このようなライブコンテンツでは、モーションキャプチャ技術によって、配信者の動作が仮想キャラクタの動作として合成された映像が配信される。
 例えば、特許文献1は、HMD(Head Mount Display)を装着した演技者や観客がゲームや映画等に仮想キャラクタとして参加し、それを複数の視点で撮影した映像を多チャンネルで配信するシステムを開示している。
特開2002-271693号公報
 特許文献1には、演技者や同じ場所に集まった複数の観客が、それぞれ仮想キャラクタとして同じ仮想空間内に参加する構成が開示されている。しかしながら、このような構成では、演技者や同じ場所に集まった複数の観客でなければ、仮想キャラクタとして同じ仮想空間内に参加することができないため、ユーザが仮想空間を共有する形態としての利便性が低い。
 例えば、インターネット生放送では、複数の配信者が共同してライブコンテンツを作成し、複数の配信者が一緒に映った映像を配信することがある。例えば、同じ場所に集まった複数の配信者が一つのカメラで撮影された映像を配信する場合と、現実空間において離れた場所で撮影された複数の配信者の配信画面を分割形式又は重畳形式で配信される。しかし、配信者が現実空間において離れた場所にいる場合、それぞれの映像は分離した状態であり、一つの場所を共有しているような映像を配信することはできない。
 したがって、複数の配信者が現実空間において互いに離れた場所にいる場合であっても、ネットワークを介して複数の配信者が一つの場所を共有しているような配信を実現できることが好ましい。配信者が仮想空間内で仮想キャラクタとして登場するインターネット生放送においても、このような配信を実現する機能が求められている。配信者だけではなく、配信を視聴する視聴者が仮想キャラクタとして配信に参加できることが好ましい。そのような機能を実現する構成であれば、配信者と他の配信者、又は配信者と視聴者が同じ仮想空間内でコミュニケーションを取ることができる。かつ、その状態をライブコンテンツとして配信できるシステムが求められている。
 また、仮想空間を共有する形態の利便性を高度化すれば、単なる映像の合成という観点ではなく、複数の配信番組の合成、収録スタジオとなる仮想空間にユーザが出入りすること、収録スタジオとなる仮想空間から他の収録スタジオとなる仮想空間への移動等を可能にすることもできる。
 そこで、本開示はこのような事情に鑑み、仮想空間を共有する形態としての利便性を向上させることが可能なコンテンツ配信サーバ等を提供することを目的とする。
 上記目的を達成するため、本開示の第1の観点に係るコンテンツ配信サーバは、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付部と、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得部と、情報取得部が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像に応じたライブコンテンツを配信する配信部とを備えることを特徴とする。
 また、上記目的を達成するため、本開示の第2の観点に係るコンテンツ配信システムは、配信者が配信に使用する仮想空間内への他人の参加希望を受けつけて、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報をそれぞれの仮想キャラクタの動きとして合成した仮想空間内の映像に応じたライブコンテンツを配信するコンテンツ配信サーバと、配信者が使用する配信者端末と、ライブコンテンツを視聴する視聴者が使用する視聴者端末とを備えることを特徴とする。
 また、上記目的を達成するため、本開示の第3の観点に係るコンテンツ配信方法は、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付ステップと、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得ステップと、情報取得ステップにおいて取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像に応じたライブコンテンツを配信する配信ステップとを含むことを特徴とする。
 また、上記目的を達成するため、本開示の第4の観点に係るプログラムは、コンピュータを、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付手段、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得手段、情報取得手段が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像に応じたライブコンテンツを配信する配信手段として機能させる。
 本開示によれば、仮想空間を共有する形態としての利便性を向上させることが可能なコンテンツ配信サーバ等を提供することができる。
第1実施形態に係るコンテンツ配信システムの構成例を示す図である。 第1実施形態に係るコンテンツ配信サーバの構成例を示すブロック図である。 第1実施形態に係る配信者端末の構成例を示すブロック図である。 第1実施形態に係る視聴者端末の構成例を示すブロック図である。 第1実施形態に係る視聴者端末の構成例を示すブロック図である。 第1実施形態に係る視聴者端末に表示される配信画面の一例を示す図であり、(A)は視聴者が参加する前の配信画面を示し、(B)は視聴者が参加した後の配信画面を示している。 第1実施形態に係るコンテンツ配信サーバの制御処理の一例を示すフローチャートである。 第2実施形態に係るコンテンツ配信システムの構成例を示す図である。 第2実施形態に係るコンテンツ配信サーバの構成例を示すブロック図である。 第2実施形態に係る配信者端末の構成例を示すブロック図である。 第2実施形態に係る視聴者端末に表示される配信画面の一例を示す図であり、(A)は他の配信者が参加する前の配信者による配信画面を示し、(B)は他の配信者が参加する前の他の配信者による配信画面を示し、(C)は他の配信者が参加した後の配信画面を示している。 第2実施形態に係る仮想カメラによる撮影画面の一例を示す図であり、(A)は他の配信者が参加する前の撮影画面を示し、(B)は他の配信者が参加した後の撮影画面を示している。 第2実施形態に係るコンテンツ配信サーバの制御処理の一例を示すフローチャートである。
 以下、本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。なお、第1実施形態では、視聴者が配信に参加する例を説明し、第2実施形態では、他の配信者が配信に参加する例を説明する。
(第1実施形態)
 図1に示すように、本実施形態に係るコンテンツ配信システム1は、コンテンツ配信サーバ100と、一台以上の配信者端末200と、一台以上の視聴者端末300と、一台以上の視聴者端末400とを備える。コンテンツ配信サーバ100と、配信者端末200と、視聴者端末300と、視聴者端末400とは、それぞれネットワークNWを介して通信可能に接続される。ネットワークNWは、例えばWAN(World Area Network)である。
 コンテンツ配信サーバ100は、ネットワークNWを介して配信サービスを提供する。コンテンツ配信サーバ100は、配信者の動きを仮想キャラクタの動きとして合成した仮想空間内の映像に基づいてライブコンテンツを視聴者端末300、400に配信する。
 仮想空間の映像には、仮想キャラクタだけでなく、背景、仮想的な物体を示すオブジェクト等も含まれる。仮想空間は、基本的には、CG(Computer Graphics)によって生成される3次元空間である。なお、仮想空間は、2次元空間であってもよい。なお、配信者だけでなく、配信に参加する参加者がいる場合には、さらに、参加者の動きを参加者の仮想キャラクタの動きとして仮想空間内の映像が合成される。
 配信者端末200は、ライブコンテンツを配信する配信者によって使用される。配信者端末200は、HMDを備える通信端末であり、通信機能及びモーションキャプチャ機能を有する。配信者端末200は、モーションキャプチャ機能により、配信者の動き(ジェスチャ)や視線をモーション情報として取得する。モーション情報は、配信者に対応付けられた仮想キャラクタの動きと仮想空間内の映像における視点(すなわちレンダリング)に反映される。なお、モーション情報には、配信者の表情を示すデータが含まれていてもよい。
 視聴者端末300は、パーソナルコンピュータ、タブレット端末、スマートフォン等の通信機能を有する装置である。視聴者端末300は、仮想キャラクタとして配信に参加するための機能を備えていない通信端末である。視聴者端末300は、ライブコンテンツを視聴する視聴者によって使用される。
 視聴者端末400は、HMDを備える通信端末であり、通信機能及びモーションキャプチャ機能を有する。視聴者端末400は、モーションキャプチャ機能により、視聴者の動き(ジェスチャ)や視線をモーション情報として取得する。モーション情報は、視聴者に対応付けられた仮想キャラクタの動きと仮想空間内の映像における視点(すなわちレンダリング)に反映される。モーション情報には、視聴者の表情を示すデータが含まれていてもよい。
 このように、視聴者端末400は、視聴者端末300とは異なり、視聴者が仮想キャラクタとして配信に参加するための構成を有する。すなわち、本実施形態では、一台上の視聴者端末400のうち、いずれか一つ以上の視聴者端末400が、参加者が使用する通信端末となる。
<コンテンツ配信サーバの構成>
 以下、コンテンツ配信サーバ100の構成を詳細に説明する。図2に示すように、コンテンツ配信サーバ100は、他の装置と通信を行う通信部110と、各種データを記憶する記憶部120と、時刻を計時する計時部130と、装置全体の制御を行う制御部140とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
 通信部110は、有線通信又は無線通信を行うためのNIC(Network Interface Card controller)を備える通信インターフェースである。通信部110は、ネットワークNWを介して、配信者端末200及び視聴者端末300、400と通信を行う。
 記憶部120は、RAM(Random Access Memory)、ROM(Read Only Memory)等から構成される。記憶部120は、各種制御処理を実行するためのプログラム、各種データ等を記憶する。
 計時部130は、クロック信号を生成するための発振回路及び可変PLL(Phase Locked Loop)、クロック信号のパルス数をカウントするカウンタ回路等から構成される。計時部130はカウントされるパルス数に基づいて時刻を計時する。
 制御部140は、CPU(Central Processing Unit)等から構成される。制御部140は、記憶部120に記憶されているプログラムを実行することにより、コンテンツ配信サーバ100の全体の動作を制御する。制御部140は、計時部130がカウントするパルス数に基づいたタイミングで各種制御を実行する。また、制御部140は、計時部130が計時する時刻に基づいて、ライブコンテンツの開始時点からの経過時間をカウントしたり、予め定められた時間(例えば配信予定時間)を経過したか否かを判別したりする。
 以下、制御部140の機能的な構成を説明する。制御部140は、情報取得部141、映像生成部142、配信部143、参加受付部144、一覧情報配信部145として機能する。
 情報取得部141は、通信部110を介して、配信者端末200から配信者が使用する仮想キャラクタに関する情報と配信者の動きや視線を示すモーション情報とを取得する。また、情報取得部141は、通信部110を介して、配信に参加する視聴者(参加者)が使用する視聴者端末400から参加者が使用する仮想キャラクタに関する情報と参加者の動きや視線を示すモーション情報とを取得する。情報取得部141は、通信部110を介して配信者端末200と視聴者端末400から音声情報を取得する。
 ユーザは、例えば、使用する仮想キャラクタの情報を外部装置からダウンロードすることによって取得する。ユーザは、使用する仮想キャラクタの情報をコンテンツ配信サーバ100にアップロードすることによって、その仮想キャラクタを配信において使用することができる。なお、仮想キャラクタの情報は、コンテンツ配信サーバ100から提供されてもよい。例えば、ユーザは、コンテンツ配信サーバ100に予め記憶されている複数の仮想キャラクタの情報の中からいずれかを選択し、その仮想キャラクタが使用されてもよい。
 映像生成部142は、配信者及び参加者の動きをそれぞれの仮想キャラクタの動きとして合成した仮想空間内の映像を生成する。合成は、例えば、予め定められた仮想空間内の映像を背景として、そこにあたかも仮想キャラクタが存在するように映像を生成し、さらに、その仮想キャラクタにその仮想キャラクタを使用する配信者又は参加者の動きが反映されるように映像を生成することによって実現される。
 配信部143は、映像生成部142が生成した映像に基づいてライブコンテンツを配信する。生成した映像に基づくライブコンテンツとは、生成した映像データに対して各々の視点でレンダリングした映像を示す情報である。具体的には、ライブコンテンツは、生成した映像を配信者の仮想キャラクタの視点で見た場合の映像と、生成した映像を参加者の仮想キャラクタの視点で見た場合の映像と、生成した映像を配信用の仮想カメラの視点で見た場合の映像(配信画面)とを示す情報を含む。
 配信部143によって配信されるライブコンテンツは、映像を示す情報だけでなく、音声情報をも含む。配信部143は、情報取得部141が取得した音声情報と、予め記憶部120に記憶され、演出に使用される音声情報とを、ライブコンテンツとして配信する。
 参加受付部144は、配信者端末200から通信部110を介して、参加受付情報を取得する。参加受付部144は、参加受付情報を取得した場合に、その配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける。なお、本実施形態における他人は、視聴者である。参加受付部144は、配信者が配信している間に参加希望を受け付けてもよいし、配信開始前に参加希望を受け付けてもよい。
 参加受付部144は、参加希望する他人の情報を取得して、参加希望されている配信をしている配信者端末200に表示させる。他人の情報は、例えば、ユーザ名、仮想キャラクタ等を示す情報である。参加受付部144は、参加希望する他人の参加を許可又は拒否する操作を受け付ける画面を、参加希望されている配信をしている配信者端末200に表示させる。配信者が許可した場合、その他人は参加者として配信に参加することができる。
 この場合、参加が許可された視聴者端末400には、参加する場合に使用する参加用URLが送信されてもよい。また、参加受付部144は、参加用URLを参加希望する他人の通信端末に送信するための操作画面を配信者端末200に表示させてもよい。この場合、配信者による参加用URLの送信操作が、配信者による参加の許可操作(後述する許可情報送信操作)の代わりにされてもよい。
 一覧情報配信部145は、参加受付部144が一台以上の配信者端末200から取得した参加受付情報に基づいて、参加希望を受け付けている配信の一覧情報を配信する。具体的には、一覧情報配信部145は、通信部110を介して、他人の通信端末に、参加希望を受け付けている配信の一覧情報を示す画面を表示させる。本実施形態では、他人の通信端末は、視聴者端末300、400である。しかし、一覧情報配信部145は、配信に参加するための構成を備える視聴者端末400だけに当該画面を表示させてもよい。
<配信者端末の構成>
 以下、配信者端末200の構成を詳細に説明する。図3に示すように、配信者端末200は、他の装置と通信を行う通信部210と、ユーザの操作を受け付ける操作部220と、各種データを記憶する記憶部230と、各種画像を表示する表示部240と、音声入力を受け付ける音声入力部250と、モーション情報を入力するための動作入力部260と、各種音声を出力する音声出力部270と、装置全体の制御を行う制御部280とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
 通信部210は、有線通信又は無線通信を行うためのNICを備える通信インターフェースである。通信部210は、ネットワークNWを介して、コンテンツ配信サーバ100と通信を行う。
 操作部220は、操作ボタン、キーボード、ポインティングデバイス等から構成され、ユーザが指示を入力するために用いられるインターフェースである。
 記憶部230は、RAM、ROM等から構成される。記憶部230は、各種制御処理を実行するためのプログラム、入力データ等を記憶する。
 表示部240は、例えば、LCD(Liquid Crystal Display)、EL(Electro Luminescence)ディスプレイ等によって構成される。表示部240は、制御部280からの入力データに応じてテキスト、画像等を表示する。
 音声入力部250は、マイクロフォン等から構成される。音声入力部250は外部から入力された音声を受け付けて音声情報を取得する。
 動作入力部260は、ユーザの入力操作を受け付けて、ユーザのモーション情報として取得する。動作入力部260は、例えば、モーションキャプチャ技術によってモーション情報を取得するためのカメラ、センサ等を備える。モーション情報は、例えば、ユーザの視線、動き(ジェスチャ)を検知するセンサによって検知される。また、モーション情報は、仮想キャラクタの表情や所定の演出動作等を表現するためのボタン操作によって取得されてもよい。
 なお、ユーザのモーション情報を仮想キャラクタの動作、視線等に変換する処理は、配信者端末200において実行されてもよいし、コンテンツ配信サーバ100において実行されてもよいし、コンテンツ配信サーバ100及び配信者端末200の協働によって実行されてもよい。
 音声出力部270は、例えば、スピーカー、増幅器等によって構成される。音声出力部270は、制御部280からの入力データに応じて音声を出力する。
 制御部280は、CPU等から構成される。制御部280は、記憶部230に記憶されているプログラムを実行することにより、配信者端末200の全体の動作を制御する。
 以下、制御部280の機能的な構成を説明する。制御部280は、コンテンツ取得部281、表示制御部282、音声出力制御部283、入力情報送信部284、参加受付情報送信部285、許可情報送信部286として機能する。
 コンテンツ取得部281は、通信部210を介してコンテンツ配信サーバ100からライブコンテンツを示すデータを取得する。表示制御部282は、コンテンツ取得部281が取得したライブコンテンツを示すデータに基づいて、表示部240に仮想空間内の映像を表示させる。音声出力制御部283は、コンテンツ取得部281が取得したライブコンテンツを示すデータに基づいて音声出力部270に音声を出力させる。
 入力情報送信部284は、音声入力部250において取得した音声情報と動作入力部260において取得したモーション情報とをコンテンツ配信サーバ100に送信する。なお、入力情報送信部284は、仮想キャラクタにモーション情報を反映させた後の情報をコンテンツ配信サーバ100に送信してもよい。
 参加受付情報送信部285は、ユーザが設定した参加受付情報を、通信部210を介してコンテンツ配信サーバ100に送信する。参加受付情報は、配信への参加を募集することを示す情報であり、例えば、配信予定時間、募集人数、配信内容等の情報が含まれる。
 許可情報送信部286は、ユーザの許可情報送信操作に応じて、通信部210を介して許可情報をコンテンツ配信サーバ100に送信する。許可情報は、ユーザが許可情報を他人の参加希望に対して許可又は拒否することを示す情報である。
<視聴者端末の構成>
 以下、視聴者端末300の構成を詳細に説明する。図4に示すように、視聴者端末300は、他の装置と通信を行う通信部310と、ユーザの入力操作を受け付ける操作部320と、各種データを記憶する記憶部330と、各種画像を表示する表示部340と、音声を出力する音声出力部350と、装置全体の制御を行う制御部360とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
 通信部310は、有線通信又は無線通信を行うためのNICを備える通信インターフェースである。通信部310は、ネットワークNWを介して、コンテンツ配信サーバ100と通信を行う。
 操作部320は、操作ボタン、キーボード、ポインティングデバイス等から構成され、ユーザが指示を入力するために用いられるインターフェースである。
 記憶部330は、RAM、ROM等から構成される。記憶部330は、各種制御処理を実行するためのプログラム、入力データ等を記憶する。
 表示部340は、例えば、LCD、ELディスプレイ等によって構成される。表示部340は、制御部360からの入力データに応じてテキスト、画像等を表示する。
 音声出力部350は、スピーカー、アンプ等から構成される。音声出力部350は制御部360からの入力データに応じて音声を出力する。
 制御部360は、CPU等から構成される。制御部360は、記憶部330に記憶されているプログラムを実行することにより、視聴者端末300の全体の動作を制御する。
 以下、制御部360の機能的な構成を説明する。制御部360は、コンテンツ取得部361、表示制御部362、音声出力制御部363として機能する。
 コンテンツ取得部361は、通信部310を介してコンテンツ配信サーバ100からライブコンテンツを示すデータを取得する。表示制御部362は、コンテンツ取得部361が取得したライブコンテンツを示すデータに基づいて、表示部340に仮想空間内の映像を動画として表示させる。音声出力制御部363は、コンテンツ取得部361が取得したライブコンテンツを示すデータに基づいて音声出力部350に音声を出力させる。
 以下、視聴者端末400の構成を詳細に説明する。図5に示すように、視聴者端末400は、他の装置と通信を行う通信部410と、ユーザの入力操作を受け付ける操作部420と、各種データを記憶する記憶部430と、各種画像を表示する表示部440と、音声入力を受け付ける音声入力部450と、モーション情報を入力するための動作入力部460と、各種音声を出力する音声出力部470と、装置全体の制御を行う制御部480とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
 視聴者端末400の構成は、基本的に、配信者端末200の構成と同じである。例えば、視聴者端末400は、視聴者が配信に参加するために必要な情報として、視聴者のモーション情報を取得し、それを視聴者の仮想キャラクタの動作に反映するためにコンテンツ配信サーバ100に送信する機能を有している。
 ただし、視聴者端末400の制御部480は、参加受付情報送信部285及び許可情報送信部286を備えていない代わりに参加希望情報送信部485を備えている点で配信者端末200とは異なる。具体的には、視聴者端末400の制御部480は、コンテンツ取得部481、表示制御部482、音声出力制御部483、入力情報送信部484、参加希望情報送信部485として機能する。
 コンテンツ取得部481、表示制御部482、音声出力制御部483、入力情報送信部484の機能は、配信者端末200の制御部280のコンテンツ取得部281、表示制御部282、音声出力制御部283、入力情報送信部284の機能と基本的に同じである。なお、表示制御部482は、通信部410を介して、コンテンツ配信サーバ100から配信される一覧情報を取得し、参加希望を受け付けている配信の一覧情報を示す画面を表示部440に表示させる。
 参加希望情報送信部485は、通信部410を介して、参加希望を示す参加希望情報をコンテンツ配信サーバ100に送信する。具体的には、参加希望情報送信部485は、参加希望を受け付けている配信の一覧情報を示す画面に対して、ユーザが参加希望した場合に、その参加希望情報を送信する。
<配信画面の具体例>
 以下、配信されるライブコンテンツを示す情報に基づいて表示される配信画面の具体例を説明する。
 図6は、視聴者端末300に表示される配信画面の一例を示している。図6(A)は視聴者が参加する前の配信画面を示し、図6(B)は視聴者が参加した後の配信画面を示している。領域A1には、仮想空間内の映像において、仮想カメラ(不図示)の視点でレンダリングされた画像が動画として表示される。領域A2には、視聴者が投稿するコメント入力欄が表示され、その右には、投稿実行ボタンB1が表示される。
 図6(A)において、領域A1に示す映像では、配信者Aを示す仮想キャラクタ10が表示されている。配信者Aは、配信者端末200を使用して配信している配信者である。なお、この映像には、仮想物体であるテーブルを示すオブジェクト20も表示されている。
 ここで、一台以上の視聴者端末400のいずれか一つを使用する視聴者である視聴者Aの参加を配信者Aが許可した場合、その視聴者端末400は、視聴者Aが使用する仮想キャラクタを示す情報と視聴者Aのモーション情報をコンテンツ配信サーバ100に送信する。
 この結果、図6(B)に示すように、視聴者Aを示す仮想キャラクタ30が領域A1に表示され、配信画面に映り込む状態となる。なお、参加者である視聴者Aの仮想キャラクタ30は、参加が許可された場合に配信者Aが配信に使用している仮想空間内に入り込む。しかし、仮想キャラクタ30は、仮想カメラの撮影領域に入っていなければ、配信画面の領域A1には映らない。
 コンテンツ配信サーバ100の配信部143は、視聴者端末300に、参加者である視聴者Aと配信者Aを区別可能に表示させる。例えば、図6(B)の配信画面の領域A1において、配信者Aの仮想キャラクタ10の上方には、ユーザ名を示す「配信者A」の文字列が表示される。視聴者Aの仮想キャラクタ30の上方には、ユーザ名を示す「視聴者A」の文字列が表示される。
 なお、配信画面に登場する仮想キャラクタの区別方法は、このような区別方法に限られない。例えば、配信部143は、配信者と参加者とのいずれか一方又は両方の仮想キャラクタに、枠や着色を付与することによって両者を区別可能に表示させてもよい。配信部143は、配信者と参加者とのいずれか一方又は両方の仮想キャラクタの付近に、識別マークを付与することによって両者を区別可能に表示させてもよい。
 図6に示す配信画面は、基本的に視聴者端末300に表示される。しかし、参加者ではない視聴者が使用する視聴者端末400にも同様な配信画面が表示されてもよい。また、参加者ではない視聴者が使用する視聴者端末400には、領域A1の映像だけが表示されてもよい。配信者端末200と参加者が使用する視聴者端末400には、図6に示す配信画面ではなく、それぞれの仮想キャラクタ(すなわち仮想キャラクタ10又は仮想キャラクタ30)の視点でレンダリングされた仮想空間内の映像が表示される。
<処理の流れ>
 以下、図7を参照しながら、コンテンツ配信サーバ100が実行する制御処理の一例を説明する。この処理は、コンテンツ配信サーバ100が一台以上の配信者端末200から参加受付情報を取得している場合に実行される。
 まず、制御部140の一覧情報配信部145は、一台以上の配信者端末200から取得した参加受付情報に基づいて、視聴者端末300、400に、参加希望を受け付けている配信の一覧情報を示す画面を表示させる(ステップS101)。参加受付情報を複数の配信者端末200から取得している場合、一覧情報配信部145は、それらを一覧できる一覧情報を、通信部110を介して視聴者端末300、400に配信する。
 制御部140の参加受付部144は、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける(ステップS102)。具体的には、参加受付部144は、視聴者端末400の参加希望情報送信部485から送信される参加希望情報を、通信部110を介して取得する。
 制御部140の参加受付部144は、参加希望する他人(すなわち参加希望者)の情報を取得して、その参加希望されている配信をしている配信者端末200に表示させる(ステップS103)。また、参加受付部144は、参加希望する他人の参加を許可又は拒否する操作を受け付ける画面をその配信者端末200に表示させ、参加の許可又は拒否を受け付ける(ステップS104)。
 ここで、制御部140は、配信者が参加を許可したか否かを判別する(ステップS105)。具体的には、制御部140は、配信者端末200の許可情報送信部286から取得した許可情報に基づいて配信者が参加を許可したか否かを判別する。
 参加が拒否された場合(ステップS105;N)、制御部140の情報取得部141は、配信している配信者端末200から配信者の各種情報を取得する(ステップS107)。すなわち、コンテンツ配信サーバ100は、参加者がいない場合には、配信者の仮想キャラクタの情報とモーション情報のみを取得して、以降のステップS108、S109の処理を行う。
 一方、参加が許可された場合(ステップS105;Y)、制御部140の情報取得部141は、配信している配信者端末200から配信者の各種情報と、その配信に参加する視聴者の各種情報とを取得する(ステップS106)。すなわち、コンテンツ配信サーバ100は、配信者及び参加者のそれぞれの仮想キャラクタの情報とモーション情報を取得して、以降のステップS108、S109の処理を行う。
 制御部140の映像生成部142は、情報取得部141が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する(ステップS108)。
 制御部140の配信部143は、映像生成部142が生成した映像に基づいてライブコンテンツを配信する(ステップS109)。これにより、配信者端末200には、配信者の仮想キャラクタの視点の映像が表示され、配信に参加する視聴者の視聴者端末400には、その視聴者の仮想キャラクタの視点の映像が表示される。配信に参加しない視聴者の視聴者端末300、400には、配信画面が表示される。
 以上、コンテンツ配信サーバ100が実行する制御処理の一例を説明した。なお、処理の流れは、このような流れに限られない。例えば、配信者が配信している間に参加を受け付ける場合には、ステップS101より前にステップS107、S108、S109のように、配信者だけで配信する処理が実行されてもよい。配信者の参加の許可の意思決定を反映するための処理であるステップS104に代えて、先着順の所定数の参加希望者を自動的に参加させる処理が実行されてもよい。
<効果の説明>
 本実施形態に係るコンテンツ配信システム1において、コンテンツ配信サーバ100は、ネットワークを介して、視聴者から配信への参加希望を受け付ける。この場合、配信者と視聴者は、現実空間において離れた場所にいる場合であっても、それぞれの仮想キャラクタとして仮想空間を共有して配信を行うことができる。したがって、本実施形態に係るコンテンツ配信システム1によれば、仮想空間を共有する形態としての利便性を向上させることができる。
(第2実施形態)
 本実施形態では、第2実施形態に係るコンテンツ配信システム2について説明する。なお、以下の説明において、第1実施形態に係るコンテンツ配信システム1と共通する構成要素については同一の符号を付して説明する。また、コンテンツ配信システム2の構成とコンテンツ配信システム1の構成とは、技術的な矛盾が生じない限り、適宜組み合わせ可能である。
 例えば、コンテンツ配信システム1は、視聴者が配信に参加するための構成であり、コンテンツ配信システム2は、他の配信者が配信に参加するための構成である。そのため、これらの構成を組み合わせて、視聴者も他の配信者も参加できる構成を実現することも可能である。
 図8に示すように、本実施形態に係るコンテンツ配信システム2は、コンテンツ配信サーバ500と、配信者が使用する配信者端末600と、他の配信者が使用する配信者端末700と、一台以上の視聴者端末300と、一台以上の視聴者端末800と、一台以上の撮影者端末900とを備える。これらの装置は、それぞれネットワークNWを介して通信可能に接続される。ネットワークNWは、例えばWANである。
 コンテンツ配信サーバ500は、ネットワークNWを介して配信サービスを提供する。コンテンツ配信サーバ100は、配信者の動きを仮想キャラクタの動きとして合成した仮想空間内の映像に基づいてライブコンテンツを視聴者端末300、800に配信する。なお、配信者だけでなく、配信に参加する参加者がいる場合には、さらに、参加者の動きを参加者の仮想キャラクタの動きとして仮想空間内の映像が合成される。
 配信者端末600、700は、それぞれライブコンテンツを配信する配信者によって使用される。配信者端末600、700は、HMDを備える通信端末であり、通信機能及びモーションキャプチャ機能を有する。配信者端末600、700は、モーションキャプチャ機能により、配信者の動き(ジェスチャ)や視線をモーション情報として取得する。モーション情報は、配信者に対応付けられた仮想キャラクタの動きと仮想空間内の映像における視点(すなわちレンダリング)に反映される。なお、モーション情報には、配信者の表情を示すデータが含まれていてもよい。
 視聴者端末300、800は、パーソナルコンピュータ、タブレット端末、スマートフォン等の通信機能を有する装置である。視聴者端末300、800は、仮想キャラクタとして配信に参加するための機能を備えていない通信端末である。視聴者端末300、800は、ライブコンテンツを視聴する視聴者によって使用される。視聴者端末800の構成は、視聴者端末300と同じである。
 撮影者端末900は、仮想空間内で撮影する仮想カメラの位置、撮影方向、撮影条件等を制御する機能を有する通信端末である。撮影者端末900によって制御される仮想カメラの映像は、通常の固定されている配信画面とは異なる視点の映像を配信する配信画面として視聴者端末300、800に配信される。
 以下の説明では、配信者端末600を使用する配信者による配信を視聴者端末300の視聴者が視聴している状態を前提条件とする。また、配信者端末700を使用する配信者(他の配信者)による配信であって、配信者端末600の配信とは独立した配信(他の配信)を視聴者端末800の視聴者が視聴している状態を前提条件とする。撮影者端末900は、配信者端末700による他の配信に使用されている仮想空間内に配置された仮想カメラを制御して、その撮影映像を配信している状態を前提条件とする。
 配信者端末700を使用する配信者は、配信者端末600による配信に参加することを前提条件とする。すなわち、本実施形態では、配信者端末700が、参加者が使用する通信端末となる。
 なお、コンテンツ配信システム2は、1台の配信者端末600と1台の配信者端末700を備えている。しかし、配信をしている配信者端末600とその配信に参加する配信者端末700は、それぞれ複数台であってもよい。
 また、撮影者端末900は、配信者端末700の配信の仮想空間内だけでなく、配信者端末600の配信の仮想空間内に配置されていてもよい。コンテンツ配信システム2では、一つのコンテンツ配信サーバ500を使用して、配信者端末600、700がそれぞれ配信をしている。しかし、それぞれ異なる配信プラットフォームを提供する2つ以上のコンテンツ配信サーバ500のそれぞれによって配信者端末600、700がそれぞれの配信をしていてもよい。
<コンテンツ配信サーバの構成>
 以下、コンテンツ配信サーバ500の構成を詳細に説明する。図9に示すように、コンテンツ配信サーバ500は、他の装置と通信を行う通信部110と、各種データを記憶する記憶部120と、時刻を計時する計時部130と、装置全体の制御を行う制御部540とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
 制御部540は、CPU等から構成される。制御部540は、記憶部120に記憶されているプログラムを実行することにより、コンテンツ配信サーバ500の全体の動作を制御する。制御部540は、計時部130がカウントするパルス数に基づいたタイミングで各種制御を実行する。また、制御部540は、計時部130が計時する時刻に基づいて、ライブコンテンツの開始時点からの経過時間をカウントしたり、予め定められた時間(例えば配信予定時間)を経過したか否かを判別したりする。
 以下、制御部540の機能的な構成を説明する。制御部540は、情報取得部541、映像生成部542、配信部543、参加受付部544、一覧情報配信部545、リンク通知部546として機能する。
 情報取得部541は、通信部110を介して、配信者端末600から配信者が使用する仮想キャラクタに関する情報と配信者の動きや視線を示すモーション情報とを取得する。また、情報取得部541は、通信部110を介して、配信に参加する他の配信者(参加者)が使用する配信者端末700から参加者が使用する仮想キャラクタに関する情報と参加者の動きや視線を示すモーション情報とを取得する。情報取得部541は、通信部110を介して配信者端末600、700から音声情報を取得する。
 映像生成部542は、配信者及び参加者の動きをそれぞれの仮想キャラクタの動きとして合成した仮想空間内の映像を生成する。
 配信部543は、映像生成部542が生成した映像に基づいてライブコンテンツを配信する。生成した映像に基づくライブコンテンツとは、生成した映像データに対して各々の視点でレンダリングした映像を示す情報である。具体的には、ライブコンテンツは、生成した映像を配信者の仮想キャラクタの視点で見た場合の映像と、生成した映像を参加者の仮想キャラクタの視点で見た場合の映像と、生成した映像を配信用の仮想カメラの視点で見た場合の映像(配信画面)と、生成した映像を撮影者端末900によって制御される配信用の仮想カメラの視点で見た場合の映像(他の配信画面)を示す情報を含む。
 映像生成部542は、配信者又は参加者の仮想キャラクタを、その配信者による配信又は参加者による他の配信で使用される仮想空間内に移動させた映像を生成し、配信部543は、その配信と他の配信とを一本化した配信の映像を、ライブコンテンツとして配信する。なお、映像生成部542及び配信部543は、一本化せずに、両方の配信を併存させて配信する構成であってもよい。
 なお、配信部543は、配信者端末600の配信に他の配信者が参加した場合に、視聴者端末300、800に、配信者と他の配信者の両方が映るように合成した映像を表示させてもよい。
 映像生成部542は、他の配信者が参加者として配信者の配信に参加した場合に、配信者及び参加者の仮想キャラクタを別の仮想空間内に移動させた映像を生成し、配信部543は、その配信と他の配信とを一本化した配信の映像を、ライブコンテンツとして配信してもよい。別の仮想空間とは、配信者による配信で使用される仮想空間及び参加者による他の配信で使用される仮想空間とは異なる仮想空間である。
 配信部543によって配信されるライブコンテンツは、映像を示す情報だけでなく、音声情報をも含む。配信部543は、情報取得部541が取得した音声情報と、予め記憶部120に記憶され、演出に使用される音声情報とを、ライブコンテンツとして配信する。
 なお、仮想空間内に複数の仮想カメラが配置される場合に、配信部543は、所定条件に基づいて複数の仮想カメラによる撮影映像のいずれか一つ以上を切り替えて、それらの撮影映像をライブコンテンツとして配信してもよい。所定条件は、例えば、配信者や視聴者によって映像切替操作が実行されたこと、予め定められたタイミング(すなわちスケジュール設定上のタイミング)になったこと、仮想キャラクタの移動が生じたこと、参加者が参加したこと等のいずれか一つ以上の条件を含む。この場合、例えば、視聴者は、視聴者端末300、800において映像切替操作を行うことによって、仮想カメラの撮影者の撮影映像の配信と、参加を受け入れた配信者の配信画面と、参加者の配信画面と、配信者の配信と参加者の配信とを合成した映像の配信とをチャンネルとして選択切替できる。
 参加受付部544は、配信者端末600から通信部110を介して、参加受付情報を取得する。参加受付部544は、参加受付情報を取得した場合に、その配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける。なお、本実施形態における他人は、配信者端末700を使用する他の配信者である。参加受付部544は、配信者が配信している間に参加希望を受け付けてもよいし、配信開始前に参加希望を受け付けてもよい。
 参加受付部544は、参加希望する他人の情報を取得して、参加希望されている配信をしている配信者端末600に表示させる。他人の情報は、例えば、ユーザ名、仮想キャラクタ等を示す情報である。参加受付部544は、参加希望する他人の参加を許可又は拒否する操作を受け付ける画面を、参加希望されている配信をしている配信者端末600に表示させる。配信者が許可した場合、その他人は参加者として配信に参加することができる。
 また、他人の情報は、他の配信を視聴する視聴者(視聴者端末800を使用する視聴者)と他の配信を仮想カメラで撮影している撮影者(撮影者端末900を使用する撮影者)に関する情報を含む。
 参加受付部544は、参加希望する他人の配信を仮想カメラで撮影している撮影者(撮影者端末900を使用する撮影者)の参加を許可又は拒否する操作を受け付ける画面を配信者端末600に表示させる。撮影者の参加が許可された場合、映像生成部542は、その撮影者の仮想カメラを配信者端末600による配信の仮想空間内に移動させ、その撮影者の仮想カメラをその配信と他の配信とにおいて共有する。仮想カメラの共有の詳細な原理については後述する。
 参加が許可された配信者端末700には、参加する場合に使用する参加用URLが送信されてもよい。また、参加受付部544は、参加用URLを参加希望する他人の通信端末に送信するための操作画面を配信者端末600に表示させてもよい。この場合、配信者による参加用URLの送信操作が、配信者による参加の許可操作(後述する許可情報送信操作)の代わりにされてもよい。
 一方、撮影者の参加が拒否された場合、撮影者端末900は、仮想カメラの使用ができない状態にされ、かつ視聴者端末300、800と同じ機能のみを使用できる状態にされる。
 一覧情報配信部545は、参加受付部544が配信者端末600から取得した参加受付情報に基づいて、参加希望を受け付けている配信の一覧情報を配信する。具体的には、一覧情報配信部545は、通信部110を介して、他人の通信端末に、参加希望を受け付けている配信の一覧情報を示す画面を表示させる。本実施形態では、他人の通信端末は、他の配信をしている配信者端末700である。なお、本実施形態では、一台の配信者端末600だけが参加希望を受け付けるが、複数の配信者端末600が参加希望を受け付ける場合、配信の一覧情報は、それらの参加希望を一覧できる情報である。
 リンク通知部546は、配信又は他の配信のいずれか一方を視聴する視聴者端末300、800に、他方の配信又は他方の配信の撮影者端末900による配信を視聴するためのリンクを表示させる。これにより、視聴者は他方の配信の存在を把握することができる。例えば、リンク通知部546は、視聴者端末300には、配信者端末700による他の配信と撮影者端末900の配信とのそれぞれのURLを通知する。リンク通知部546は、視聴者端末800には、配信者端末600による配信のURLを通知する。
<配信者端末の構成>
 以下、配信者端末600の構成を詳細に説明する。なお、配信者端末700の構成は、配信者端末600の構成と同じである。
 図10に示すように、配信者端末600は、他の装置と通信を行う通信部210と、ユーザの操作を受け付ける操作部220と、各種データを記憶する記憶部230と、各種画像を表示する表示部240と、音声入力を受け付ける音声入力部250と、モーション情報を入力するための動作入力部260と、各種音声を出力する音声出力部270と、装置全体の制御を行う制御部680とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
 制御部680は、CPU等から構成される。制御部680は、記憶部230に記憶されているプログラムを実行することにより、配信者端末600の全体の動作を制御する。
 以下、制御部680の機能的な構成を説明する。制御部280は、コンテンツ取得部281、表示制御部282、音声出力制御部283、入力情報送信部284、参加受付情報送信部285、許可情報送信部286、参加希望情報送信部687として機能する。
 参加希望情報送信部687は、通信部210を介して、参加希望を示す参加希望情報をコンテンツ配信サーバ500に送信する。具体的には、参加希望情報送信部687は、参加希望を受け付けている配信の一覧情報を示す画面に対して、ユーザが参加希望した場合に、その参加希望情報を送信する。
 なお、本実施形態に係る配信者端末600、700は、ユーザが配信に使用する仮想空間内への他のユーザの参加を受け付けるための構成と、他のユーザの配信に使用される仮想空間内に参加するための構成とを備えている。しかし、配信者端末600、700は、このような構成に限られない。例えば、配信者端末600、700のいずれか一方(例えば配信者端末600)が、配信に使用される仮想空間内への参加を受け付けるための構成を備え、他方(例えば配信者端末700)が、他の配信者の配信に使用される仮想空間内に参加するための構成を備えていればよい。
<配信画面と撮影画面の具体例>
 以下、配信されるライブコンテンツを示す情報に基づいて表示される配信画面と撮影者による仮想カメラの撮影画面の具体例を説明する。
 図11は、視聴者端末300又は視聴者端末800に表示される配信画面の一例を示している。図11(A)は、他の配信者が参加する前の配信者による配信画面を示している。換言すると、図11(A)は、配信者端末600による配信を視聴する視聴者端末300に表示される配信画面である。
 図11(B)は、他の配信者が参加する前の他の配信者による配信画面を示している。換言すると、図11(B)は、配信者端末700による配信を視聴する視聴者端末800に表示される配信画面である。
 図11(C)は他の配信者が参加した後の配信画面を示している。換言すると、図11(C)は、配信者端末600、700による配信を視聴する視聴者端末300、800に表示される配信画面である。この例では、配信者端末700を使用する他の配信者Bが配信者端末600を使用する配信者Aの配信に参加して、配信者Bと配信者Aの配信が統合される場合を説明する。
 図11(A)、図11(B)、図11(C)の領域A3には、仮想空間内の映像において、仮想カメラ(不図示)の視点でレンダリングされた画像が動画として表示される。領域A4には、視聴者が投稿するコメント入力欄が表示され、その右には、投稿実行ボタンB1が表示される。
 図11(A)において、領域A3に示す映像では、配信者Aを示す仮想キャラクタ40が表示されている。配信者Aは、配信者端末600を使用して配信している配信者である。なお、この映像には、仮想物体であるテーブルを示すオブジェクト20も表示されている。
 図11(B)において、領域A3に示す映像では、配信者Bを示す仮想キャラクタ50が表示されている。配信者Bは、配信者端末700を使用して配信している配信者である。なお、この映像には、仮想カメラを示すオブジェクト60も表示されている。この仮想カメラを示すオブジェクト60は、撮影者端末900によって制御される仮想カメラである。
 ここで、配信者端末700を使用する配信者Bの参加を配信者Aが許可した場合、その配信者端末700は、配信者Bが使用する仮想キャラクタを示す情報と配信者Bのモーション情報をコンテンツ配信サーバ500に送信する。また、撮影者端末900を使用して、配信者Bによる配信を仮想カメラ(仮想カメラを示すオブジェクト60)によって撮影している撮影者の参加を配信者Aが許可した場合、仮想カメラを示すオブジェクト60も配信者Aが配信している仮想空間内に移動する。
 この結果、図11(C)に示すように、配信者Aを示す仮想キャラクタ40と、配信者Bを示す仮想キャラクタ50と、仮想カメラを示すオブジェクト60とが領域A3に表示され、配信画面に映り込む状態となる。なお、図11(C)では、配信者Bの仮想キャラクタ50及び仮想カメラを示すオブジェクト60は、配信者Aが配信に使用している仮想空間内に入り込んでいる。しかし、仮想キャラクタ50及び仮想カメラを示すオブジェクト60は、仮想カメラ(不図示)の撮影領域に入っていなければ、配信画面の領域A3には映らない。
 コンテンツ配信サーバ500の配信部543は、視聴者端末300、800に、参加者である配信者Bと配信者Aを区別可能に表示させる。例えば、図11(C)の配信画面の領域A3において、配信者Aの仮想キャラクタ40の上方には、ユーザ名を示す「配信者A」の文字列が表示される。配信者Bの仮想キャラクタ50の上方には、ユーザ名を示す「配信者B」の文字列が表示される。
 図11(A)、図11(B)では、このような文字列が表示されていない。すなわち、複数の配信者が仮想空間を共有する場合のみ、このような文字列が表示されている。しかし、配信部543は、図11(A)、図11(B)のように、1人の配信者が単独で仮想空間を使用している場合においても文字列を表示させるように構成されてもよい。
 なお、配信者端末600、700には、図11に示す配信画面ではなく、それぞれの仮想キャラクタ(すなわち仮想キャラクタ40又は仮想キャラクタ50)の視点でレンダリングされた仮想空間内の映像が表示される。
 図12は、仮想カメラ(仮想カメラを示すオブジェクト60)による撮影画面の一例を示す図である。図12(A)は他の配信者が参加する前の撮影画面を示している。すなわち、図12(A)は、図11(B)に示す配信画面に対応し、配信者Bが配信している仮想空間内において、仮想カメラを示すオブジェクト60の視点で撮影した撮影画面を示している。この撮影画面は、例えば、配信者Aと配信者Bによる2つの配信とは別のチャンネルの配信に使用される。
 図12(B)は他の配信者が参加した後の撮影画面を示している。すなわち、図12(B)は、図11(C)に示す配信画面に対応し、配信者Aが配信している仮想空間内に移動した後の仮想カメラを示すオブジェクト60の視点で撮影した撮影画面を示している。
図12(A)に示す撮影画面とは異なり、図12(B)に示す撮影画面には、配信者Aを示す仮想キャラクタ40とテーブルを示すオブジェクト20が映り込んでいる。
<処理の流れ>
 以下、図13を参照しながら、コンテンツ配信サーバ500が実行する制御処理の一例を説明する。この処理は、コンテンツ配信サーバ500が配信者端末600から参加受付情報を取得している場合に実行される。
 まず、制御部540の一覧情報配信部545は、配信者端末600から取得した参加受付情報に基づいて、他の配信者端末700に、参加希望を受け付けている配信の一覧情報を示す画面を表示させる(ステップS201)。
 制御部540の参加受付部544は、配信者が配信に使用する仮想空間内への他の配信者の参加希望を受け付ける(ステップS202)。具体的には、参加受付部544は、他の配信者端末700の参加希望情報送信部687から送信される参加希望情報を、通信部110を介して取得する。
 制御部540の参加受付部544は、参加希望する他人(すなわち他の配信者)及び他人の配信を撮影している撮影者の情報を取得して、その参加希望されている配信をしている配信者端末600に表示させる(ステップS203)。また、参加受付部544は、参加希望する他人及び撮影者の参加を許可又は拒否する操作を受け付ける画面をその配信者端末600に表示させ、参加の許可又は拒否を受け付ける(ステップS204)。
 ここで、制御部540は、配信者が他の配信者の参加を許可したか否かを判別する(ステップS205)。具体的には、制御部540は、配信者端末600の許可情報送信部286から取得した許可情報に基づいて配信者が参加を許可したか否かを判別する。
 他の配信者の参加が拒否された場合(ステップS205;N)、制御部540の情報取得部541は、配信している配信者端末600から配信者の各種情報を取得する(ステップS207)。すなわち、コンテンツ配信サーバ500は、参加者がいない場合には、配信者の仮想キャラクタの情報とモーション情報のみを取得して、以降のステップS208、S209の処理を行う。
 一方、他の配信者の参加が許可された場合(ステップS205;Y)、制御部540の情報取得部541は、配信している配信者端末600から配信者の各種情報と、その配信に参加する他の配信者の各種情報とを取得する(ステップS206)。すなわち、コンテンツ配信サーバ500は、配信者及び参加者のそれぞれの仮想キャラクタの情報とモーション情報を取得して、後述するステップS211、S212の処理を行う。
 制御部540は、配信者が他の配信の仮想空間内で撮影を行っている撮影者の参加を許可したか否かを判別する(ステップS208)。具体的には、制御部540は、配信者端末600の許可情報送信部286から取得した許可情報に基づいて配信者が参加を許可したか否かを判別する。
 撮影者の参加が拒否された場合(ステップS208;N)、制御部540は、配信状態を制御して、撮影者端末900を、仮想カメラの使用ができない状態で、かつ視聴者端末300、800と同じ機能のみを使用できる状態にする(ステップS210)。
 一方、撮影者の参加が許可された場合(ステップS208;Y)、制御部540の情報取得部541は、撮影者端末900を使用している撮影者の仮想カメラの情報を取得する(ステップS209)。コンテンツ配信サーバ500は、取得した仮想カメラの情報を配信者端末600による配信に使用されている仮想空間に反映させる。これにより、撮影者の仮想カメラを使用した撮影は、移動先の仮想空間で継続することが可能となる。
 制御部540の映像生成部542は、情報取得部541が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する(ステップS211)。また、撮影者の参加が許可されている場合、映像生成部542は、撮影者の仮想カメラを配信の仮想空間内に移動させ、撮影者の仮想カメラはその配信と他の配信とにおいて共有される。
 制御部540の配信部543は、映像生成部542が生成した映像に基づいてライブコンテンツを配信する(ステップS212)。例えば、配信者端末600には、配信者の仮想キャラクタの視点の映像が表示され、配信に参加する他の配信者端末700には、その視聴者の仮想キャラクタの視点の映像が表示される。配信に参加しない視聴者の視聴者端末300、800には、配信画面が表示される。参加を許可された撮影者端末900には、移動先の仮想空間における仮想カメラの撮影映像が表示され、その撮影映像も他の配信において使用される。なお、他の配信者の仮想キャラクタや仮想カメラの移動が生じた場合には、制御部540のリンク通知部546は、他方の配信又は他方の配信の撮影者端末900による配信を視聴するためのリンクを視聴者端末300、800に表示させてもよいし、移動先の配信を視聴するためのリンクを視聴者端末300、800に通知してもよい。
 以上、コンテンツ配信サーバ500が実行する制御処理の一例を説明した。なお、処理の流れは、このような流れに限られない。
 例えば、配信者が配信している間に参加を受け付ける場合には、ステップS201より前にステップS207、S211、S212のように、配信者だけで配信する処理が実行されてもよい。配信者の参加の許可の意思決定を反映するための処理であるステップS204に代えて、先着順の所定数の参加希望者を自動的に参加させる処理が実行されてもよい。
<効果の説明>
 本実施形態に係るコンテンツ配信システム2において、コンテンツ配信サーバ500は、ネットワークを介して、他の配信者から配信への参加希望を受け付ける。この場合、配信者と他の配信者は、現実空間において離れた場所にいる場合であっても、それぞれの仮想キャラクタとして仮想空間を共有して配信を行うことができる。また、コンテンツ配信システム2によれば、単なる映像の合成という観点ではなく、複数の配信番組の合成、収録スタジオとなる仮想空間に他の配信者が出入りすること、収録スタジオとなる仮想空間から他の収録スタジオとなる仮想空間への移動等を可能にすることもできる。したがって、本実施形態に係るコンテンツ配信システム2によれば、仮想空間を共有する形態としての利便性を向上させることができる。
 以上で実施形態の説明を終了するが、上記実施形態は一例に過ぎない。そのため、コンテンツ配信システム1、2の具体的な構成、処理の内容等は上記実施形態で説明したものに限られない。以下、上記実施形態の変形例について説明する。なお、実施形態に係るコンテンツ配信システム1、2と共通する構成要素については同一の符号を付して説明する。
(変形例)
 コンテンツ配信サーバ100、500が実行する制御処理の順序は、図7、図13に示す例に限られない。また、コンテンツ配信サーバ100、500が実行する制御処理の内容は、図7、図13に示す例に限られず、一部の処理が省略されてもよい。
 上記実施形態では、参加受付状況に応じて、コンテンツ配信サーバ100、500が配信するコンテンツの内容に変形を加えている。すなわち、配信段階でコンテンツの内容に変形を加えている。しかし、配信されるコンテンツの内容はすべて同じであってもよく、受信側で映像を表示させる段階でコンテンツに表示制御を実行してもよい。例えば、視聴者端末300、800等がプログラムを実行してコンテンツを表示する際に、参加受付状況に応じて表示制御を実行してもよい。例えば、視聴者端末300、800が、配信者による参加許可情報を受信して、それに応じた動作を行うことによって、このような変形が実現可能である。
 第2実施形態では、参加を受け付ける配信と参加する他の配信とが1対1の例を説明した。しかし、コンテンツ配信システム2の構成は、このような参加方法に限られない。例えば、ある配信者端末の仮想キャラクタが他の複数の配信者端末による配信の仮想空間に一斉に参加してもよい。ある配信者端末の配信に使用されている仮想空間に他の複数の配信者の仮想キャラクタが参加してもよい。また、コンテンツ配信システム2は、参加を受け付ける配信と参加する他の配信とが複数対複数であっても実現可能な構成であってもよい。すなわち、複数の配信番組が統合されてもよい。
 第2実施形態では、移動元の参加者(他の配信者)が配信している配信画面は、移動先に統合される例を説明した。しかし、移動元の参加者が配信している配信画面が参加によって変化せず、コンテンツ配信サーバ500の配信部543は、他の配信者の仮想キャラクタのみが表示された状態でその配信を継続するように構成されてもよい。また、視聴者端末300、800には、移動先のリンクが通知されるのではなく、統合後の配信画面が自動的に表示されるように表示制御されてもよい。
 上記実施形態では、コンテンツ配信サーバ100、500は、参加受付部144、544を備え、参加希望に基づく参加を受け付けるだけである。しかし、コンテンツ配信サーバ100、500は、参加者(すなわち視聴者又は他の配信者)が参加した後に、その退出を受け付ける退出受付部をさらに備えていてもよい。退出は、例えば、参加を許可した配信者が参加者を追い出す指示をコンテンツ配信サーバ100、500に送信することによって実現されてもよい。また、退出は、参加者がコンテンツ配信サーバ100、500に退出希望情報を送信することによって実現されてもよい。このような構成によれば、参加者は、配信者が配信に使用している仮想空間を出入りすることが可能となる。
 コンテンツ配信サーバ100、500は、参加希望に基づく参加を受け付ける構成に限られない。例えば、コンテンツ配信サーバ100、500は、配信者による招待を受け付ける構成であってもよい。例えば、配信者端末200、600を使用する配信者が視聴者又は他の配信者を招待するための招待情報をコンテンツ配信サーバ100、500に送信し、コンテンツ配信サーバ100、500は、その招待を受ける視聴者又は配信者が使用する通信端末に通知してもよい。これにより、招待に応じた参加を実現することが可能となる。
 上記実施形態に係るコンテンツ配信システム1では、コンテンツ配信サーバ100、500の映像生成部142、542が、配信者の動きを仮想キャラクタの動きとして合成した仮想空間内の映像を生成している。しかし、コンテンツ配信サーバ100、500は、映像生成部142、542を備えていない構成であってもよい。
 例えば、配信者端末200、600、700又は配信に参加する視聴者端末400がこのような映像生成を実行し、その映像データをコンテンツ配信サーバ100、500に送信し、コンテンツ配信サーバ100、500が配信者端末200、600、700や配信に参加する視聴者端末400から取得した映像データに基づくライブコンテンツを配信してもよい。また、映像生成部142、542が行う処理と実質的に同一の処理が、コンテンツ配信サーバ100、500と配信者端末200、600、700又は配信に参加する視聴者端末400とが協働することによって実行されてもよい。このような構成によれば、コンテンツ配信サーバ100、500で仮想空間内の映像を生成する場合に比べて、コンテンツ配信サーバ100、500の処理負担を軽減することができる。
 配信者端末200、600が映像生成を実行する構成で配信を行う場合、配信に参加する参加者の端末(例えば、配信者が使用する配信者端末700又は配信に参加する視聴者が使用する視聴者端末400)は、その参加者のモーション情報とキャラクタ情報を取得して、参加者の動きを仮想キャラクタに反映した映像を生成し、それをコンテンツ配信サーバ100、500に送信する。コンテンツ配信サーバ100、500は、その映像データを参加先の配信の配信主が使用する配信者端末200、600に送信する。配信主が使用する配信者端末200、600は、配信主である配信者のモーション情報とキャラクタ情報を取得して、仮想空間内の映像を生成し、それにコンテンツ配信サーバ100、500から取得した参加者の映像データを加えて両者の映像を合成する。これにより、参加者と配信主が一緒に映った映像データが生成される。配信主の配信者端末200、600は、その合成された映像データをコンテンツ配信サーバ100、500に送信し、コンテンツ配信サーバは、その映像データに基づくライブコンテンツを配信する。
 このように、コンテンツ配信サーバ100、500は、必ずしも、自装置で仮想空間内の映像を生成する映像生成部142、542を備えている必要はなく、配信者(又は参加者)の動きを仮想キャラクタの動きとして合成した仮想空間内の映像を取得して、その映像に応じたライブコンテンツを配信すればよい。
 また、コンテンツ配信サーバ100、500は、配信者と参加者のキャラクタ情報及びモーション情報を各々の端末から受信して、コンテンツ配信サーバ100、500から配信者側には参加者のモーション情報が送られ、参加者側には配信者のモーション情報が送られてもよい。このようにコンテンツ配信サーバ100、500が情報を仲介することにより、それぞれの端末において配信者の仮想キャラクタと参加者の仮想キャラクタが共存している仮想空間内の映像を生成させてもよい。なお、映像生成する端末は、配信者端末200、600と参加者の端末とのいずれか一つ以上であればよく、それ以外の端末はその生成された映像データをライブコンテンツとして受信して表示するだけであってもよい。
 上記実施形態に係るコンテンツ配信システム1、2では、配信者端末200、600、700、視聴者端末300、800と撮影者端末900とを異なる構成とし、それぞれを区別可能にしている。しかし、これらの各装置の構成要素を組み合わせて、これらのいずれか2つ以上の機能を有する構成としてもよい。
 コンテンツ配信サーバ100、500は、映像データそのものをライブコンテンツとして配信しなくてもよい。例えば、コンテンツ配信サーバ100、500の配信部143、543は、配信者の情報を仮想キャラクタの情報とした仮想空間内の映像を合成させるためのライブコンテンツを配信してもよい。この場合、合成に必要な情報が配信され、それを受信した視聴者端末300、800、配信者端末200、600、撮影者端末900等が、それぞれ受信データに応じて映像を合成(レンダリング)して、その映像を表示させる処理を実行する。
 コンテンツ配信サーバ100、500が映像データをライブコンテンツとして配信する場合、配信先のそれぞれの視点でレンダリングした映像を示すデータが配信されるため、配信先によって異なるライブコンテンツが配信されてもよい。この場合、それを受信した視聴者端末300、800、配信者端末200、600、撮影者端末900等は、その受信データに基づく映像を表示させるだけである。すなわち、この場合には、配信時に映像データが生成されている状態である。しかし、コンテンツ配信サーバ100、500が映像を合成させるためのライブコンテンツを配信する場合、それを受信した視聴者端末300、800、配信者端末200、600、撮影者端末900等は、その受信データに基づく合成処理を実行する。すなわち、この場合には、コンテンツ配信サーバ100、500は、同じライブコンテンツを配信するだけであり、それを受信した端末において表示する映像を生成するための処理が実行される。
 また、本開示に係るコンテンツ配信システムは、上記装置によらず、例えば、コンピュータがプログラムを実行することで、その機能を実現してもよい。コンテンツ配信システム1の機能を実現するためのプログラムは、USB(Universal Serial Bus)メモリ、CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)、HDD(Hard Disc Drive)等のコンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。
 以上、本開示の好ましい実施形態について説明したが、本開示は係る特定の実施形態に限定されるものではなく、本開示には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。また、上記実施形態及び変形例で説明した装置の構成は、技術的な矛盾が生じない限り、適宜組み合わせ可能である。
1,2…コンテンツ配信システム、100,500…コンテンツ配信サーバ、200,600,700…配信者端末、300,400,800…視聴者端末、900…撮影者端末

Claims (10)

  1.  配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付部と、
     前記配信者と前記参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得部と、
     前記情報取得部が取得した前記モーション情報を前記仮想キャラクタの動きとして合成した前記仮想空間内の映像に応じたライブコンテンツを配信する配信部と、
     を備えることを特徴とするコンテンツ配信サーバ。
  2.  前記情報取得部が取得した前記モーション情報及び前記仮想キャラクタの情報を、前記配信者が使用する配信者端末に送信し、該配信者端末に前記仮想空間内の映像を示す映像データを生成させ、
     前記配信部は、前記配信者端末から受信した前記映像データに基づいて前記ライブコンテンツを配信する、
     ことを特徴とする請求項1に記載のコンテンツ配信サーバ。
  3.  前記参加者は、前記配信を視聴する視聴者又は該配信とは異なる他の配信を行う他の配信者であり、
     前記参加者が仮想空間内で他の配信をしている前記他の配信者である場合、前記配信部は、前記視聴者の通信端末に、前記配信者と前記他の配信者の両方が映るように合成した映像を表示させる、
     ことを特徴とする請求項1又は2に記載のコンテンツ配信サーバ。
  4.  前記参加受付部は、前記参加希望する他人の配信を仮想カメラで撮影している撮影者の参加を許可又は拒否する操作を受け付ける画面を、前記配信者の通信端末に表示させる、
     ことを特徴とする請求項1から3のいずれか1項に記載のコンテンツ配信サーバ。
  5.  前記撮影者の参加が許可された場合、該撮影者の仮想カメラを前記配信の前記仮想空間内に移動させ、該撮影者の仮想カメラを該配信と前記他の配信とにおいて共有する、
     ことを特徴とする請求項4に記載のコンテンツ配信サーバ。
  6.  前記参加者が前記配信とは異なる他の配信を行う他の配信者である場合に、前記配信部は、前記配信者及び前記参加者の前記仮想キャラクタを別の前記仮想空間内に移動させた映像であって、前記配信と前記他の配信とを一本化した配信の映像を、前記ライブコンテンツとして配信する、
     ことを特徴とする請求項1から5のいずれか1項に記載のコンテンツ配信サーバ。
  7.  前記参加者が前記配信とは異なる他の配信を行う他の配信者である場合に、前記配信部は、前記配信者又は前記参加者の前記仮想キャラクタを前記配信または前記他の配信で使用される前記仮想空間内に移動させた映像であって、前記配信と前記他の配信とを一本化した配信の映像を、前記ライブコンテンツとして配信する、
     ことを特徴とする請求項1から5のいずれか1項に記載のコンテンツ配信サーバ。
  8.  配信者が配信に使用する仮想空間内への他人の参加希望を受けつけて、該配信者と該参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報をそれぞれの仮想キャラクタの動きとして合成した該仮想空間内の映像に応じたライブコンテンツを配信するコンテンツ配信サーバと、
     前記配信者が使用する配信者端末と、
     前記ライブコンテンツを視聴する視聴者が使用する視聴者端末と、
     を備えることを特徴とするコンテンツ配信システム。
  9.  配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付ステップと、
     前記配信者と前記参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得ステップと、
     前記情報取得ステップにおいて取得した前記モーション情報を前記仮想キャラクタの動きとして合成した前記仮想空間内の映像に応じたライブコンテンツを配信する配信ステップと、
     を含むことを特徴とするコンテンツ配信方法。
  10.  コンピュータを、
     配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付手段、
     前記配信者と前記参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得手段、
     前記情報取得手段が取得した前記モーション情報を前記仮想キャラクタの動きとして合成した前記仮想空間内の映像に応じたライブコンテンツを配信する配信手段、
     として機能させるプログラム。
PCT/JP2019/028802 2018-08-31 2019-07-23 コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム WO2020044874A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980048637.9A CN112585977B (zh) 2018-08-31 2019-07-23 内容发布服务器、内容发布系统、内容发布方法及存储介质
US17/257,548 US11277585B2 (en) 2018-08-31 2019-07-23 Content distribution server, content distribution system, content distribution method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-162628 2018-08-31
JP2018162628A JP6527627B1 (ja) 2018-08-31 2018-08-31 コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2020044874A1 true WO2020044874A1 (ja) 2020-03-05

Family

ID=66730700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028802 WO2020044874A1 (ja) 2018-08-31 2019-07-23 コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム

Country Status (4)

Country Link
US (1) US11277585B2 (ja)
JP (1) JP6527627B1 (ja)
CN (1) CN112585977B (ja)
WO (1) WO2020044874A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075152A1 (ja) * 2020-10-08 2022-04-14 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報配信システム
WO2022209130A1 (ja) * 2021-03-31 2022-10-06 ソニーグループ株式会社 情報処理装置、情報処理方法、およびシステム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020129448A1 (ja) * 2018-12-18 2020-06-25 グリー株式会社 動画配信システム、動画配信方法及び動画配信プログラム
JP6684952B1 (ja) 2019-06-28 2020-04-22 株式会社ドワンゴ コンテンツ配信装置、コンテンツ配信プログラム、コンテンツ配信方法、コンテンツ表示装置、コンテンツ表示プログラムおよびコンテンツ表示方法
US20210065421A1 (en) * 2019-08-28 2021-03-04 Gree, Inc. Moving image distribution system, moving image distribution method, and moving image distribution program
JP6937803B2 (ja) * 2019-08-29 2021-09-22 グリー株式会社 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP6731532B1 (ja) * 2019-08-31 2020-07-29 グリー株式会社 動画再生装置、動画再生方法、及び動画配信システム
JP6945693B2 (ja) * 2019-08-31 2021-10-06 グリー株式会社 動画再生装置、動画再生方法、及び動画配信システム
JP7360112B2 (ja) * 2019-09-27 2023-10-12 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、及び方法
JP2023523922A (ja) 2020-05-20 2023-06-08 ソニーグループ株式会社 仮想環境におけるミックステープデジタル資産
JP7198892B2 (ja) * 2020-07-06 2023-01-04 グリー株式会社 動画再生装置、動画再生方法、及び動画配信システム
US20230410381A1 (en) * 2020-09-30 2023-12-21 Itoki Corportaion Zen facilitation system and non-transitory computer-readable storage medium
JP2023088152A (ja) * 2021-12-14 2023-06-26 トヨタ自動車株式会社 端末装置、端末装置の動作方法、及びシステム
CN114125492B (zh) * 2022-01-24 2022-07-15 阿里巴巴(中国)有限公司 直播内容生成方法以及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000040161A (ja) * 1998-07-23 2000-02-08 Nippon Telegr & Teleph Corp <Ntt> 3次元共有仮想空間における放送型コンテンツ実現方法及びシステム及び3次元共有仮想空間における放送型コンテンツ実現プログラムを格納した記憶媒体
JP2002282554A (ja) * 2001-03-27 2002-10-02 Square Co Ltd ビデオゲーム装置およびその制御方法、ビデオゲームシステム、ならびにビデオゲームのプログラムおよびそのプログラムを記録したコンピュータ読取り可能な記録媒体。
JP2014225801A (ja) * 2013-05-16 2014-12-04 株式会社ニコン 会議システム、会議方法およびプログラム
JP2016034087A (ja) * 2014-07-31 2016-03-10 Front Row Holdings株式会社 映像表示システム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002244988A (ja) * 2001-02-16 2002-08-30 Fuji Xerox Co Ltd 協調作業支援システム
WO2007092629A2 (en) * 2006-02-09 2007-08-16 Nms Communications Corporation Smooth morphing between personal video calling avatars
US8281240B2 (en) * 2007-08-23 2012-10-02 International Business Machines Corporation Avatar aggregation in a virtual universe
US9576330B2 (en) * 2008-03-07 2017-02-21 Virtually Live (Switzerland) Gmbh Media system and method
KR101276199B1 (ko) * 2009-08-10 2013-06-18 한국전자통신연구원 시청자 참여의 iptv 원격 방송 시스템 및 그 서비스 제공 방법
JP5755064B2 (ja) * 2011-07-08 2015-07-29 株式会社ドワンゴ 会場設置ディスプレイシステム
EP3666352B1 (en) * 2011-10-28 2021-12-01 Magic Leap, Inc. Method and device for augmented and virtual reality
KR20140132846A (ko) * 2013-05-08 2014-11-19 영남대학교 산학협력단 학습형 역사 문화 체험 교육용 게임 방법
JP6274748B2 (ja) * 2013-05-10 2018-02-07 株式会社スクウェア・エニックス ビデオゲーム処理装置、ビデオゲーム処理サーバ、及びビデオゲーム処理プログラム
JP5762590B1 (ja) * 2014-03-12 2015-08-12 Gimme Five株式会社 無線通信システムおよびコンピュータプログラム
JP2017027163A (ja) * 2015-07-16 2017-02-02 株式会社コロプラ 仮想カメラの制御方法及び制御プログラム
JP6601136B2 (ja) * 2015-10-13 2019-11-06 富士通株式会社 反応出力システム、反応出力プログラム、反応出力方法
US10063604B2 (en) * 2016-02-17 2018-08-28 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Systems and methods for facilitating video communication using virtual avatars
KR101692267B1 (ko) * 2016-08-25 2017-01-04 지스마트 주식회사 Hmd 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법
JP6733508B2 (ja) * 2016-11-09 2020-08-05 株式会社デンソー 電圧測定システム
JP6266736B1 (ja) * 2016-12-07 2018-01-24 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US20180331841A1 (en) * 2017-05-12 2018-11-15 Tsunami VR, Inc. Systems and methods for bandwidth optimization during multi-user meetings that use virtual environments
US10967255B2 (en) * 2017-05-26 2021-04-06 Brandon Rosado Virtual reality system for facilitating participation in events
JP6487512B2 (ja) * 2017-09-22 2019-03-20 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像生成方法
EP3692540A4 (en) * 2017-10-03 2021-06-30 Infinite Computer Solutions Inc. COLLABORATION THROUGH ONLINE DIALOGUE IN HEALTH CARE SYSTEMS
US11200624B1 (en) * 2017-11-20 2021-12-14 Patriot Software, LLC Accounting software having cash basis and accrual basis ledgers
JP6349455B1 (ja) * 2017-12-27 2018-06-27 株式会社ドワンゴ サーバおよびプログラム
JP6378850B1 (ja) * 2018-03-22 2018-08-22 株式会社ドワンゴ サーバおよびプログラム
US11107281B2 (en) * 2018-05-18 2021-08-31 Valeo Comfort And Driving Assistance Shared environment for vehicle occupant and remote user
US10843077B2 (en) * 2018-06-08 2020-11-24 Brian Deller System and method for creation, presentation and interaction within multiple reality and virtual reality environments
US10777202B2 (en) * 2018-06-19 2020-09-15 Verizon Patent And Licensing Inc. Methods and systems for speech presentation in an artificial reality world
US11173342B2 (en) * 2018-11-01 2021-11-16 Zwift, Inc. Interactive network game with game conditions altered based upon group physical activity

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000040161A (ja) * 1998-07-23 2000-02-08 Nippon Telegr & Teleph Corp <Ntt> 3次元共有仮想空間における放送型コンテンツ実現方法及びシステム及び3次元共有仮想空間における放送型コンテンツ実現プログラムを格納した記憶媒体
JP2002282554A (ja) * 2001-03-27 2002-10-02 Square Co Ltd ビデオゲーム装置およびその制御方法、ビデオゲームシステム、ならびにビデオゲームのプログラムおよびそのプログラムを記録したコンピュータ読取り可能な記録媒体。
JP2014225801A (ja) * 2013-05-16 2014-12-04 株式会社ニコン 会議システム、会議方法およびプログラム
JP2016034087A (ja) * 2014-07-31 2016-03-10 Front Row Holdings株式会社 映像表示システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075152A1 (ja) * 2020-10-08 2022-04-14 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報配信システム
WO2022209130A1 (ja) * 2021-03-31 2022-10-06 ソニーグループ株式会社 情報処理装置、情報処理方法、およびシステム

Also Published As

Publication number Publication date
US11277585B2 (en) 2022-03-15
CN112585977A (zh) 2021-03-30
JP6527627B1 (ja) 2019-06-05
JP2020036253A (ja) 2020-03-05
CN112585977B (zh) 2023-03-28
US20210321061A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
WO2020044874A1 (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP6469279B1 (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP7368886B2 (ja) 情報処理システム、情報処理方法、および情報処理プログラム
JP6556301B1 (ja) コンテンツ配信サーバ、仮想キャラクタ提供サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP2019186799A (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
WO2018214746A1 (zh) 一种视频会议实现方法、装置、系统及计算机存储介质
KR20230039768A (ko) 촬영 방법, 장치, 전자기기 및 컴퓨터 판독 가능 저장매체
WO2020044873A1 (ja) コンテンツ配信サーバ、コンテンツ配信方法及びプログラム
JP2020017950A (ja) コンテンツ配信サーバ、仮想キャラクタ提供サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP2020039112A (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP2023153790A (ja) プログラム
JP2019185736A (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
WO2019107275A1 (ja) 情報処理装置およびゲーム画像配信方法
TWI470590B (zh) 影音娛樂系統及其方法
WO2020044875A1 (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP2020038601A (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP6487585B1 (ja) コンテンツ配信サーバ、仮想キャラクタ提供サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP2019185720A (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP2020071519A (ja) 案内装置及びガイドシステム
JP2020039109A (ja) コンテンツ配信サーバ、コンテンツ配信方法及びプログラム
KR101566861B1 (ko) 촬영 시스템 및 방법
JP2024095034A (ja) 表示端末、表示方法、及びプログラム
CN116614543A (zh) 虚拟互动方法、装置、设备和介质
JP2024025327A (ja) 合成画像生成システム、及び撮像支援方法
JP2019185750A (ja) コンテンツ配信サーバ、仮想キャラクタ提供サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19855976

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19855976

Country of ref document: EP

Kind code of ref document: A1