JP7225159B2 - 3D CONTENT DISTRIBUTION SYSTEM, 3D CONTENT DISTRIBUTION METHOD, COMPUTER PROGRAM - Google Patents

3D CONTENT DISTRIBUTION SYSTEM, 3D CONTENT DISTRIBUTION METHOD, COMPUTER PROGRAM Download PDF

Info

Publication number
JP7225159B2
JP7225159B2 JP2020063836A JP2020063836A JP7225159B2 JP 7225159 B2 JP7225159 B2 JP 7225159B2 JP 2020063836 A JP2020063836 A JP 2020063836A JP 2020063836 A JP2020063836 A JP 2020063836A JP 7225159 B2 JP7225159 B2 JP 7225159B2
Authority
JP
Japan
Prior art keywords
data
content
viewing
viewer
avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020063836A
Other languages
Japanese (ja)
Other versions
JP2020127211A5 (en
JP2020127211A (en
Inventor
量生 川上
進之介 岩城
尚 小嶋
寛明 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Virtual Cast Inc
Original Assignee
Virtual Cast Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtual Cast Inc filed Critical Virtual Cast Inc
Priority to JP2020063836A priority Critical patent/JP7225159B2/en
Publication of JP2020127211A publication Critical patent/JP2020127211A/en
Publication of JP2020127211A5 publication Critical patent/JP2020127211A5/ja
Application granted granted Critical
Publication of JP7225159B2 publication Critical patent/JP7225159B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、３次元コンテンツ配信システム、３次元コンテンツ配信方法、コンピュータプログラムに関する。 The present disclosure relates to a 3D content distribution system, a 3D content distribution method, and a computer program.

近年、ネットワークを介してライブコンテンツを配信するサービスがインターネット生 放送として普及している。このようなインターネット生放送において、配信者が仮想空間 内で仮想キャラクタ（アバター）として登場し、その映像をライブコンテンツとして配信 する技術が提案されている。このようなライブコンテンツでは、モーションキャプチャ技 術によって、配信者の動作が仮想キャラクタの動作として合成された映像が配信される。 In recent years, a service that distributes live content via a network has become popular as Internet live broadcasting. In such live Internet broadcasting, a technology has been proposed in which the distributor appears as a virtual character (avatar) in the virtual space and distributes the video as live content. In such live content, motion capture technology is used to distribute video in which the motion of the distributor is synthesized as the motion of a virtual character.

ネットワークを介してライブコンテンツを配信する構成とは異なり、視聴者が自分専用の再生画像を生成しようとする構成として例えば特許文献１は、放送局から視聴用端末へ、放送素材データとして背景、人物、仮想的なオブジェクトなどがそれぞれ別な専用チャネルで送信され、視聴者はそれらから自分の所望の素材を選んで、あくまでも自分専用の３次元映像を作る構成が開示されており、作られた３次元映像は他の視聴者と共有はされないものである。 Unlike a configuration in which live content is distributed via a network, for example, Patent Document 1 discloses a configuration in which a viewer tries to generate a playback image exclusively for himself or herself. , virtual objects, etc. are transmitted on separate dedicated channels, and viewers can select their desired materials from them to create their own 3D video. Dimensional images are not shared with other viewers.

また、同じく、視聴者が自分専用の再生画像を生成しようとする構成である特許文献２は、サッカーの試合などバーチャルな３次元コンテンツデータがあらかじめ用意され、そこには複数の選手、審判、ボールなど動くオブジェクトデータ、ゴールや地面など背景データが含まれていて、視聴者が自分の見たい視点（例えば特定の選手、あるいはフィールド外のカメラ）を選択すると、サーバはその視点から見た画像をレンダリングし、視聴者の端末へ送信する構成であり、特許文献１と同様にあくまでも自分専用の３次元映像を作る構成が開示されており、得られたレンダリング画像は他の視聴者と共有はされないものである。 Similarly, in Japanese Patent Application Laid-Open No. 2002-200013, which is a configuration in which a viewer attempts to generate a playback image for his or her own use, virtual three-dimensional content data such as a soccer game is prepared in advance, and there are a plurality of players, referees, and a ball. It contains moving object data such as goal and background data such as the ground, and when the viewer selects the viewpoint they want to see (e.g. a specific player or an off-field camera), the server displays the image seen from that viewpoint. It is a configuration for rendering and transmitting to the viewer's terminal, and similarly to Patent Document 1, a configuration for creating a 3D image exclusively for oneself is disclosed, and the obtained rendered image is not shared with other viewers. It is.

また特許文献３は、３Ｄ（３次元）仮想空間ではない、平面動画像コンテンツに関して、サーバにライブ演奏などの２次元動画コンテンツがあらかじめ用意されており、視聴者はサーバからこのデータを受信して再生しながら自分のアバター（観客の２次元画像）をこの再生映像に加えられ、再生後あるいは途中に、この視聴者が追加したアバターのデータはサーバへ送られて先の２次元動画コンテンツに追加更新され他の視聴者は再生時にこのアバターを見ることができる構成を開示している。この結果、各視聴者が再生の度に各視聴者のアバターがコンテンツに追加されて、コンテンツの画像がにぎやかな内容になる、としている。 Further, in Patent Document 3, two-dimensional video content such as a live performance is prepared in advance on a server regarding planar video content that is not a 3D (three-dimensional) virtual space, and viewers receive this data from the server. During playback, one's own avatar (two-dimensional image of the audience) is added to this playback video, and after or during playback, the avatar data added by this viewer is sent to the server and added to the previous two-dimensional video content. It has been updated and discloses a configuration that allows other viewers to see this avatar during playback. As a result, each viewer's avatar is added to the content each time the content is reproduced, and the image of the content becomes lively.

特開２００１－２８７６５号公報JP-A-2001-28765 特開２００８－１１７０４２号公報Japanese Patent Application Laid-Open No. 2008-117042 特許第５２３１０９３号公報Japanese Patent No. 5231093

インターネット生放送などでライブコンテンツを楽しむ視聴者が近年増加をしており、新たなニーズとして、生放送された時刻には視聴ができなかったライブコンテンツを、後から視聴して楽しみたい、後からの視聴再生においても、あたかもライブで視聴しているような臨場感、没入感を得たい、という点がある。 In recent years, the number of viewers who enjoy live content such as live Internet broadcasts has been increasing, and there is a new need to watch and enjoy live content that was not available at the time of the live broadcast. Also in playback, there is a point that it is desired to obtain a sense of realism and immersion as if watching live.

このような、「あたかもライブで視聴しているような臨場感、没入感を得たい」という欲求は、「生放送された時刻には視聴ができなかったライブコンテンツを、後から視聴して楽しみたい」という他の欲求と一見して相いれないように思えるし、先に示した特許文献１および特許文献２は、いずれも自分だけが視聴する映像を生成するに過ぎないのであるから、これらの欲求に応えてはいない。 Such a desire to ``get a sense of realism and immersion as if you were watching it live'' is a desire to ``want to watch and enjoy live content that could not be viewed at the time it was broadcast live. At first glance, it seems to be incompatible with the other desire of not meet the demand.

さらに特許文献３は、自分の分身である２次元画像のアバターが２次元画像のライブコンテンツの観客として画像に加えられ、この自分のアバターの画像、あるいは他の視聴者が加えたアバターの画像は全視聴者が視認をできるのであるが、ただ単に２次元画像であるコンテンツに自分の２次元アバター画像が重ね合わせられるだけであるので、自分が仮想的にライブコンテンツに参加できるのではないので、十分な連帯感、高揚感、没入感を得ることは難しい点は何ら解決されていない。 Furthermore, in Patent Document 3, a two-dimensional image avatar that is one's alter ego is added to the image as a spectator of two-dimensional image live content, and the image of this own avatar or the image of the avatar added by another viewer is All viewers can see it, but it is just a two-dimensional image of the content, and your two-dimensional avatar image is superimposed on it, so you cannot virtually participate in the live content. It doesn't solve the difficulty of getting enough connectedness, exhilaration, and immersion.

さらに、従来技術にかかる他の課題として、通信網や各端末ハードウエアの負担を小さくして、多数の視聴者とシェアをしながらライブコンテンツの視聴を楽しみたい、という点が挙げられる。 Furthermore, as another problem related to the conventional technology, there is a desire to reduce the burden on the communication network and hardware of each terminal, and to enjoy viewing live content while sharing it with many viewers.

先に示した特許文献１および特許文献２は、多数の視聴者とシェアをしながら楽しむためのライブコンテンツを提供する構成ではないし、同じく特許文献３は、２次元の平面動画像からなるコンテンツであるため、一般的な動画像の放送配信のために要する通信路や端末の負担が生じることとなる。 The above-mentioned Patent Documents 1 and 2 are not configured to provide live content to be enjoyed while being shared with a large number of viewers. As a result, a burden is imposed on communication channels and terminals required for general moving image broadcast distribution.

本発明は上記の状況に鑑みてなされたものであって、生放送された時刻には視聴ができなかったライブコンテンツを、後から視聴して楽しみたい、後からの視聴再生においても、あたかもライブで視聴しているような臨場感、没入感を得たい、あるいは通信網や各端末ハードウエアの負担を小さくして、多数の視聴者とシェアをしながらライブコンテンツの視聴を楽しみたい、という各課題を解決するための、３次元コンテンツ配信システム、３次元コンテンツ配信方法、コンピュータプログラムを提供することを発明の目的とする。 The present invention has been made in view of the above situation, and it is desirable to view and enjoy live content that could not be viewed at the time it was broadcast live. There are various challenges such as wanting to have a sense of realism and immersion as if watching live content, or wanting to enjoy watching live content while sharing it with many viewers by reducing the burden on communication networks and terminal hardware. An object of the invention is to provide a three-dimensional content distribution system, a three-dimensional content distribution method, and a computer program for solving the above.

上記の課題を解決するために、本発明は、下記の1)～11)に記載の3次元コンテンツ配信システム、３次元コンテンツ配信方法、コンピュータプログラムを提供する。
１）
仮想的な３次元バーチャル空間を用いたコンテンツを視聴用端末へ配信して視聴に供する、３次元コンテンツ配信システムであって、
（Ａ）３次元バーチャル空間に配置された各バーチャルオブジェクトの仕様に関する第１のデータ、および（Ｂ）当該各バーチャルオブジェクトの動作に関する第２のデータを少なくとも含んだコンテンツデータを記録する記録部と、
視聴用端末が視聴を行うための要求に応じて、少なくとも第１のデータおよび第２のデータを含んだデータを送信する第１の送信部と、
送信されたデータを受信して、視聴者がコンテンツを視聴しつつ自分の分身であるアバターを当該コンテンツに投入するために、アバターに所望の動作をさせるために視聴者の身体各所の動きをセンシングした結果による身体各所の動きを含むモーションデータとして操作部で生成された第２のデータを少なくとも含むデータを記録部へ送信する第２の送信部と、
を備えた３次元コンテンツ配信システム。
２）
仮想的な３次元バーチャル空間を用いたコンテンツを視聴用端末へ配信して視聴に供する、コンテンツ配信システムであって、
（Ａ）３次元バーチャル空間に配置された各バーチャルオブジェクトの仕様に関する第１のデータ、および（Ｂ）当該各バーチャルオブジェクトの動作に関する第２のデータを少なくとも含んだコンテンツデータを記録する記録部と、
視聴用端末が視聴を行うための要求に応じて、少なくとも第１のデータおよび第２のデータを含んだデータを送信する第１の送信部と、
送信されたデータを受信して、視聴者がコンテンツを視聴しつつ自分の分身であるアバターを当該コンテンツに投入するために、アバターに所望の動作をさせるために視聴者の身体各所の動きをセンシングした結果による身体各所の動きを含むモーションデータとして操作部で生成された第２のデータを少なくとも含むデータを記録部へ送信する第２の送信部と、
を備えるとともに、記録部は、第２の送信部が送信したデータに基づいてコンテンツデータを改変した新たなコンテンツデータを記録するよう構成された３次元コンテンツ配信システム。
３）
記録部がさらに、（Ｃ）３次元バーチャル空間に配置された仮想的カメラの視点に関する第３のデータを記録するよう構成された、１）または２）に記載の３次元コンテンツ配信システム。
４）
視聴を行っている視聴用端末からの変更要求に応じて第１のデータ、および第２のデータの内の少なくともいずれかを追加または修正し変更を行って新たなコンテンツデータを生成し、以後の視聴に供する変更受付部を備えた１）乃至３）のいずれか１項に記載の３次元コンテンツ配信システム。
５）
視聴を行っている視聴用端末からの変更要求に応じて第１のデータ、および第２のデータの内の少なくともいずれかを追加または修正し変更を行って新たなコンテンツデータを生成し、以後の視聴に供する変更受付部を備え、変更受付部はさらに、第３のデータを追加または修正する変更を行って新たなコンテンツテータを生成し、以後の視聴に供するよう構成された、３）に記載の３次元コンテンツ配信システム。
６）
仮想的な３次元バーチャル空間を用いたコンテンツを視聴用端末へ配信して視聴に供する、３次元コンテンツ配信方法であって、
（Ａ）３次元バーチャル空間に配置された各バーチャルオブジェクトの仕様に関する第１のデータ、および（Ｂ）当該バーチャルオブジェクトの動作に関する第２のデータを少なくとも含んだコンテンツデータを記録部に記録する記録ステップと、
視聴用端末が視聴を行うための要求に応じて、少なくとも第１のデータおよび第２のデータを含んだデータを送信する第１の送信ステップと、
送信されたデータを受信して、視聴者がコンテンツを視聴しつつ自分の分身であるアバターを当該コンテンツに投入するために、アバターに所望の動作をさせるために視聴者の身体各所の動きをセンシングした結果による身体各所の動きを含むモーションデータとして操作部で生成された第２のデータを少なくとも含むデータを記録部へ送信する第２の送信ステップと、
を備えた３次元コンテンツ配信方法。
７）
仮想的な３次元バーチャル空間を用いたコンテンツを視聴用端末へ配信して視聴に供する、３次元コンテンツ配信方法であって、
（Ａ）３次元バーチャル空間に配置された各バーチャルオブジェクトの仕様に関する第１のデータ、および（Ｂ）当該各バーチャルオブジェクトの動作に関する第２のデータを少なくとも含んだコンテンツデータを記録部に記録する記録ステップと、
視聴用端末が視聴を行うための要求に応じて、少なくとも第１のデータおよび第２のデータを含んだデータを送信する第１の送信ステップと、
送信されたデータを受信して、視聴者がコンテンツを視聴しつつ自身の分身であるアバターを当該コンテンツに投入するために、アバターに所望の動作をさせるために視聴者の身体各所の動きをセンシングした結果による身体各所の動きを含むモーションデータとして操作部で生成された第２のデータを少なくとも含むデータを記録部へ送信する第２の送信ステップと、
を備えるとともに、記録ステップは、第２の送信ステップ、で送信されたデータに基づいてコンテンツデータを改変した新たなコンテンツデータを記録するよう構成された３次元コンテンツ配信方法。
８）
記録ステップがさらに、（Ｃ）３次元バーチャル空間に配置された仮想的カメラの視点に関する第３のデータを記録するよう構成された６）または７）に記載の３次元コンテンツ配信方法。
９）
視聴を行っている視聴用端末からの変更要求に応じて第１のデータ、および第２のデータの内の少なくともいずれかを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の視聴に供する変更受付ステップを備えた、６）乃至８）の内のいずれか１項に記載の３次元コンテンツ配信方法。
１０）
視聴を行っている視聴用端末からの変更要求に応じて第１のデータ、および第２のデータの内の少なくともいずれかを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の視聴に供する変更受付ステップを備え、変更受付ステップはさらに、第３のデータを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の視聴に供するよう構成された、８）に記載の３次元コンテンツ配信方法。
１１）
６）乃至１０）のいずれか１項に記載の３次元コンテンツ配信方法が備える各ステップをコンピュータに実行させるコンピュータプログラム。 In order to solve the above problems, the present invention provides a three-dimensional content delivery system, a three-dimensional content delivery method, and a computer program described in 1) to 11) below.
1)
A three-dimensional content distribution system for distributing content using a virtual three-dimensional virtual space to a viewing terminal for viewing,
a recording unit that records content data including at least (A) first data relating to specifications of each virtual object placed in a three-dimensional virtual space, and (B) second data relating to operation of each virtual object;
a first transmission unit that transmits data including at least first data and second data in response to a viewing request from the viewing terminal;
Receives the transmitted data and senses the movements of various parts of the viewer's body to make the avatar perform desired actions in order for the viewer to view the content and insert the avatar, which is the alter ego of the viewer, into the content. a second transmission unit configured to transmit, to the recording unit, data including at least second data generated by the operation unit as motion data including movements of various parts of the body resulting from the operation;
3D content delivery system.
2)
A content distribution system for distributing content using a virtual three-dimensional virtual space to a viewing terminal for viewing,
a recording unit that records content data including at least (A) first data relating to specifications of each virtual object placed in a three-dimensional virtual space, and (B) second data relating to operation of each virtual object;
a first transmission unit that transmits data including at least first data and second data in response to a viewing request from the viewing terminal;
Receives the transmitted data and senses the movements of various parts of the viewer's body to make the avatar perform desired actions in order for the viewer to view the content and insert the avatar, which is the alter ego of the viewer, into the content. a second transmission unit configured to transmit, to the recording unit, data including at least second data generated by the operation unit as motion data including movements of various parts of the body resulting from the operation;
and wherein the recording unit records new content data obtained by altering the content data based on the data transmitted by the second transmission unit.
3 )
The 3D content distribution system according to 1) or 2) , wherein the recording unit is further configured to record (C) third data relating to the viewpoint of a virtual camera placed in the 3D virtual space.
4)
adding or modifying at least one of the first data and the second data in response to a change request from the viewing terminal performing viewing, and performing the change to generate new content data; The three-dimensional content distribution system according to any one of 1) to 3), which includes a change reception unit for viewing.
5)
adding or modifying at least one of the first data and the second data in response to a change request from the viewing terminal performing viewing, and performing the change to generate new content data; 3 ), further comprising a change receiving unit for viewing, wherein the change receiving unit is configured to perform changes such as adding or correcting the third data to generate new content data for subsequent viewing; 3D content delivery system.
6)
A three-dimensional content distribution method for distributing content using a virtual three-dimensional virtual space to a viewing terminal for viewing,
A recording step of recording content data including at least (A) first data relating to the specifications of each virtual object placed in the three-dimensional virtual space and (B) second data relating to the behavior of the virtual object in the recording unit. and,
a first transmission step of transmitting data including at least the first data and the second data in response to a viewing terminal request for viewing;
Receives the transmitted data and senses the movements of various parts of the viewer's body to make the avatar perform desired actions in order for the viewer to view the content and insert the avatar, which is the alter ego of the viewer, into the content. a second transmission step of transmitting, to the recording unit, data including at least the second data generated by the operation unit as motion data including movements of various parts of the body resulting from the operation;
A three-dimensional content distribution method comprising :
7)
A three-dimensional content distribution method for distributing content using a virtual three-dimensional virtual space to a viewing terminal for viewing,
Recording for recording, in a recording unit, content data containing at least (A) first data relating to specifications of each virtual object placed in a three-dimensional virtual space, and (B) second data relating to operation of each virtual object. a step;
a first transmission step of transmitting data including at least the first data and the second data in response to a viewing terminal request for viewing;
Receives the transmitted data and senses the movement of various parts of the viewer's body to make the avatar perform desired actions in order for the viewer to view the content and insert the avatar, which is the alter ego of the viewer, into the content. a second transmission step of transmitting, to the recording unit, data including at least the second data generated by the operation unit as motion data including movements of various parts of the body resulting from the operation;
and wherein the recording step records new content data obtained by modifying the content data based on the data transmitted in the second transmitting step.
8)
The 3D content distribution method according to 6) or 7), wherein the recording step is further configured to record (C) third data relating to the viewpoint of a virtual camera placed in the 3D virtual space.
9)
At least one of the first data and the second data is changed to add or modify in response to a change request from a viewing terminal that is performing viewing, thereby generating new content data, and subsequent The three-dimensional content delivery method according to any one of 6) to 8), comprising a step of accepting changes for viewing.
10)
At least one of the first data and the second data is changed to add or modify in response to a change request from a viewing terminal performing viewing, thereby generating new content data, and subsequent 8 ), comprising a change receiving step for viewing, wherein the change receiving step is further configured to make a change to add or modify the third data to generate new content data for subsequent viewing; 3D content delivery method.
11)
A computer program that causes a computer to execute each step included in the three-dimensional content delivery method according to any one of 6) to 10).

本発明にかかるコンテンツ配信受信システムの構成を模式的に示した図である。1 is a diagram schematically showing the configuration of a content delivery/receiving system according to the present invention; FIG. 図１のコンテンツ配信受信システムが有するコンテンツ配信サーバのブロック図である。2 is a block diagram of a content distribution server included in the content distribution and reception system of FIG. 1; FIG. 図１のコンテンツ配信受信システムが有する第１の配信者端末のブロック図である。2 is a block diagram of a first distributor terminal included in the content distribution/receiving system of FIG. 1; FIG. 図１のコンテンツ配信受信システムが有する第１の視聴者端末のブロック図である。2 is a block diagram of a first viewer terminal included in the content delivery/receiving system of FIG. 1; FIG. 図４の第１の視聴者端末の外観模式図である。FIG. 5 is a schematic external view of the first viewer terminal in FIG. 4; 本発明のコンテンツ配信受信システムが実行する、生放送中のコンテンツ視聴についてのシグナルフロー図である。FIG. 4 is a signal flow diagram for viewing content during live broadcasting, which is executed by the content distribution receiving system of the present invention; 本発明のコンテンツ配信受信システムが用いるアバターに関するデータを説明する模式図である。FIG. 3 is a schematic diagram for explaining data related to avatars used by the content delivery/receiving system of the present invention; 本発明のコンテンツ配信受信システムにおける、生放送中の仮想空間の模式図である。1 is a schematic diagram of a virtual space during a live broadcast in the content distribution receiving system of the present invention; FIG. 図８図示仮想空間における、各視点から見たレンダリングの模式図である。FIG. 9 is a schematic diagram of rendering viewed from each viewpoint in the virtual space shown in FIG. 8; 本発明のコンテンツ配信受信システムにおける、生放送後のコンテンツ再生に関するシグナルフロー図である。FIG. 4 is a signal flow diagram regarding content reproduction after live broadcasting in the content distribution receiving system of the present invention; 本発明のコンテンツ配信受信システムが実行する、生放送後の再生コンテンツへの仮想アイテムの追加についてのシグナルフロー図である。FIG. 4 is a signal flow diagram for adding virtual items to reproduced content after a live broadcast, executed by the content distribution receiving system of the present invention; 本発明のコンテンツ配信受信システムにおける、バーチャルオブジェクトが追加された仮想空間の模式図である。FIG. 4 is a schematic diagram of a virtual space to which a virtual object is added in the content delivery/receiving system of the present invention; 図１２図示仮想空間における、各視点から見たレンダリングの模式図である。FIG. 12 is a schematic diagram of rendering viewed from each viewpoint in the virtual space shown in FIG. 本発明のコンテンツ配信受信システムが実行する、生放送後の再生コンテンツにアバターを追加して、他の配信者が配信する動作についてのシグナルフロー図である。FIG. 4 is a signal flow diagram of an operation of adding an avatar to reproduced content after live broadcasting and distributing it by another distributor, which is executed by the content distribution receiving system of the present invention. 本発明のコンテンツ配信受信システムにおける、生放送後の再生コンテンツにアバターを追加して、他の配信者が配信した仮想空間の模式図である。FIG. 4 is a schematic diagram of a virtual space distributed by another distributor by adding an avatar to reproduced content after live broadcasting in the content distribution receiving system of the present invention; 図１５図示仮想空間における、各視点から見たレンダリングの模式図である。FIG. 15 is a schematic diagram of rendering viewed from each viewpoint in the virtual space shown in FIG. 本発明のコンテンツ配信受信システムにおける、仮想空間にバーチャルオブジェクトを追加する例を示す模式図である。FIG. 4 is a schematic diagram showing an example of adding a virtual object to a virtual space in the content delivery/receiving system of the present invention; 本発明のコンテンツ配信受信システムにおける、仮想空間にバーチャルオブジェクトを追加する例を示す模式図である。FIG. 4 is a schematic diagram showing an example of adding a virtual object to a virtual space in the content delivery/receiving system of the present invention;

以下、本開示に係る実施形態について説明する。なお、以下に説明する本実施形態は、それぞれ例示に過ぎず、本発明の趣旨を脱しない範囲で種々の変形が可能であり、これらもまた本発明が包含する。 Embodiments according to the present disclosure will be described below. It should be noted that the embodiments described below are merely examples, and various modifications are possible without departing from the gist of the present invention, which are also included in the present invention.

〔コンテンツ配信受信システム１の構成〕
図１は、本発明にかかるコンテンツ配信受信システム１の構成を模式的に示した図である。 [Configuration of Content Distribution Receiving System 1]
FIG. 1 is a diagram schematically showing the configuration of a content delivery/receiving system 1 according to the present invention.

コンテンツ配信受信システム１は、コンテンツ配信サーバ２、第１の配信者端末１１、第１の視聴者端末１２、第２の配信者端末２１、第２の視聴者端末２２を含んで構成され、これら各構成はインターネット通信網３あるいはその他の通信網によって相互にデータ交換が可能に接続されている。コンテンツ配信サーバ２は、汎用のコンピュータが、本システム１専用のコンピュータプログラムで動作するように構成されたサーバである。 The content distribution receiving system 1 includes a content distribution server 2, a first distributor terminal 11, a first viewer terminal 12, a second distributor terminal 21, and a second viewer terminal 22. Each component is connected to the Internet communication network 3 or other communication network so as to be able to exchange data with each other. The content distribution server 2 is a general-purpose computer configured to operate with a computer program dedicated to the system 1 .

第１の配信者端末１１は、後に説明を行う仮想空間３０を用いたライブコンテンツの配信であるインターネット生放送に用いられ、このライブコンテンツを主催する配信者が用
いる、例えばパーソナルコンピュータである。第１の視聴者端末１２は、上記のライブコンテンツを生放送が終わった後に、再生コンテンツとして視聴する視聴者が用いる、例えばパーソナルコンピュータであり、あるいはスマートフォン、ＰＤＡ（パーソナルデジタルアシスタント）など様々な情報端末を用いて実現してもよい。 The first distributor terminal 11 is, for example, a personal computer that is used for live Internet broadcasting, which is distribution of live content using a virtual space 30 to be described later, and used by a distributor that organizes this live content. The first viewer terminal 12 is, for example, a personal computer used by a viewer who views the live content as a reproduced content after the live broadcast ends, or various information terminals such as a smart phone and a PDA (personal digital assistant). may be implemented using

第２の配信者端末２１は、後に説明を行うように、一度、生放送配信がなされたライブコンテンツを、再生の形で再度インターネット生放送に供するライブコンテンツの配信に用いられ、このライブコンテンツを主催する配信者が使用するパーソナルコンピュータである。第２の視聴者端末２２は、上記のライブコンテンツを再生コンテンツあるいはインターネット生放送の形で視聴する視聴者が用いる、例えばパーソナルコンピュータであり、あるいはスマートフォン、ＰＤＡ（パーソナルデジタルアシスタント）など様々な情報端末を用いて実現してもよい点も同様である。 As will be described later, the second distributor terminal 21 is used to distribute live content that has once been live-broadcasted, and is used for live-broadcasting on the Internet again in the form of reproduction, and hosts this live content. It is a personal computer used by the distributor. The second viewer terminal 22 is used by a viewer who views the above live content in the form of reproduced content or live Internet broadcast, for example, a personal computer, or various information terminals such as a smart phone and a PDA (personal digital assistant). The point that may be realized by using the same is the same.

なお、図１図示構成および上記の説明は説明を簡潔明瞭にするため構成する端末等の数を説明で言及する範囲に制限したが、実施に当たってはもちろん、より多数の配信者端末、より多数の視聴者端末を含んで構成することが可能である。 In the configuration shown in FIG. 1 and the above description, the number of terminals and the like is limited to the range referred to in the description for the sake of simplicity and clarity. It is possible to include a viewer terminal.

〔コンテンツ配信サーバ２の構成〕
図２に図示するように、コンテンツ配信サーバ２は、サーバ内外のデータ送信端である入出力インターフェース２ａ、各サーバ２構成の動作の制御統制を行うＣＰＵ（セントラルプロセッシングユニット）を備える制御部２ｂを有している。 [Configuration of content distribution server 2]
As shown in FIG. 2, the content distribution server 2 includes an input/output interface 2a, which is a data transmission end inside and outside the server, and a control unit 2b having a CPU (Central Processing Unit) for controlling the operation of each server 2 configuration. have.

同じくサーバ２が有するコンテンツ情報記憶部２ｃは、最初にインターネット生放送がなされたコンテンツ（番組）の情報を、仮想空間の背景やバーチャルオブジェクト、仮想的カメラ（視点の位置と方向の情報を有し、仮想空間内を移動可能である）およびこの仮想空間を動きまわることができるアバター（仮想的な代理）について、その外観を含めた仕様や動き（モーション）などの情報である、バーチャルオブジェクトの仕様の情報、およびバーチャルオブジェクトのモーション情報を、コンテンツの開始から終了までの期間を対象として保持する。本システム１が有する特徴的な点として、コンテンツのデータをレンダリング済みデータ（描画済みのデータ。そのまま表示画面に表示がされる、いわゆる動画像のデータ）として保持するのではなく、仮想的な対象物であるバーチャルオブジェクトの仕様のデータ（外観、ボイスのキャラクタ、効果音データ、音楽データなど）と、同じくバーチャルオブジェクトのモーションデータ（動作のデータ、向いている方向のデータ、位置座標のデータなど）として保持する点にある。そして、コンテンツを視聴者端末その他が再生する際には、従来構成のようにレンダリング済みの描画データをただ画面表示するのではなく、上に示したバーチャルオブジェクトの仕様データと、バーチャルデータのモーションデータとから、「再生時に」、レンダリングを行って描画データを生成するように構成している。このように、「バーチャルオブジェクトの仕様データと、バーチャルデータのモーションデータとから、レンダリングを行って描画データを生成している」点は、実は、コンテンツをインターネットなどを経由して生放送する際の動作と同じである。つまり本システム１の構成を用いることで、コンテンツの再生を、コンテンツの生放送時と概略変わらない動作、構成、品質で行うことが可能となっており、従来技術構成との大きな相違点である。さらに、再生時に「バーチャルオブジェクトの仕様データと、バーチャルデータのモーションデータとから、レンダリングを行って描画データを生成している」という点を生かして、再生時にこれらデータを修正、追加、改変して、このコンテンツの修正版を生成することが容易となっている。 Similarly, the content information storage unit 2c of the server 2 stores information about the content (program) that was first live-broadcast on the Internet, including the background of the virtual space, the virtual objects, and the virtual camera (the position and direction of the viewpoint). The specifications of the virtual object, which is information such as the appearance and motion of the avatar (virtual surrogate) that can move around in the virtual space) and the avatar (virtual surrogate) that can move around in this virtual space. information and motion information of virtual objects for the period from the start to the end of the content. A characteristic feature of this system 1 is that content data is not stored as rendered data (data that has already been drawn, so-called moving image data that is displayed on the display screen as it is), but rather as a virtual object. Virtual object specification data (appearance, voice character, sound effect data, music data, etc.) and virtual object motion data (movement data, facing direction data, position coordinate data, etc.) It is in the point to hold as. When the content is played back on the viewer terminal or other device, instead of just displaying the rendered drawing data on the screen as in the conventional configuration, the specification data of the virtual object shown above and the motion data of the virtual data Therefore, rendering is performed to generate drawing data "at the time of playback". In this way, "rendering is performed from the specification data of the virtual object and the motion data of the virtual data to generate the drawing data" is actually the operation when the content is broadcast live via the Internet etc. is the same as In other words, by using the configuration of this system 1, it is possible to reproduce content with the same operation, configuration, and quality as when the content is live broadcasted, which is a major difference from the configuration of the prior art. Furthermore, at the time of playback, taking advantage of the fact that "rendering is performed from the specification data of the virtual object and the motion data of the virtual data to generate the drawing data", these data can be corrected, added, and modified at the time of playback. , making it easier to generate modified versions of this content.

サーバ２のコンテンツ記憶部は、このようにオリジナル生放送を改変した新たなバージョンのコンテンツを記憶して、以後の各視聴者端末からの再生要求に応じて送出を行う。記憶の方法として、新たなバージョンのコンテンツが生成された場合には、古いバージョンを破棄して新しいバージョンのみを記憶してもよいし、古いバージョンを残したまま新しいバージョンのコンテンツを記憶してもよい。 The content storage unit of the server 2 stores the new version of the content obtained by modifying the original live broadcast in this way, and transmits it in response to subsequent reproduction requests from each viewer terminal. As a method of storage, when a new version of the content is generated, the old version may be discarded and only the new version may be stored, or the new version of the content may be stored while the old version remains. good.

コンテンツ配信部２ｄは、コンテンツ情報記憶部２ｃが記憶する各コンテンツを、視聴を求めてきた各端末へ送信して視聴に供する。プログラム記憶部２ｆは、このサーバ２の各実行動作を実現するためのプログラムを記憶している。 The content distribution unit 2d transmits each content stored in the content information storage unit 2c to each terminal requesting viewing for viewing. The program storage unit 2f stores programs for realizing each execution operation of the server 2. FIG.

ユーザ管理部２ｇは、先に説明した各ライブコンテンツを主催する配信者が用いる配信者端末、そのライブコンテンツを視聴してコンテンツの視聴、改変や追加を行った視聴者が用いる視聴者端末、などの情報をＩＰ（インターネットプロトコル）アドレスや、動画像配信サービスのアカウント情報などのデータとして保持しており、従ってこのユーザ管理部２ｇが記憶する情報を用いることで、あるライブコンテンツがどの端末へ送信供給されたのか、どの端末がどのライブコンテンツを改変あるいは追加したのか、をデータとして記憶している。したがって、最初にインターネット生放送されたライブコンテンツがどのような流れで改変あるいは追加がなされたのか、ライブコンテンツの系統図情報をも保有している。 The user management unit 2g includes a distributor terminal used by a distributor who hosts each live content described above, a viewer terminal used by a viewer who views, modifies, or adds content by viewing the live content, and so on. information such as IP (Internet Protocol) addresses and account information for moving image distribution services. It stores as data which live content was supplied and which terminal modified or added which live content. Therefore, it also has system diagram information of the live content, such as how the live content that was first live-broadcasted on the Internet was modified or added.

バスライン２ｉは、これらサーバ２の各構成間を相互にデータ交換可能に接続する。 The bus line 2i connects each configuration of these servers 2 so that data can be exchanged with each other.

第１の配信者端末１１と第２の配信者端末２１とは共通の構成を有しており、以下では第１の配信者端末１１を例として説明を行う。 The first distributor terminal 11 and the second distributor terminal 21 have a common configuration, and the first distributor terminal 11 will be described below as an example.

〔第１の配信者端末１１の構成〕
図３に示すように、第１の配信者端末１１は、まず、端末内外の情報入出力端である入出力インターフェース１１ａ、端末１１の各構成の制御統制を行うＣＰＵ（セントラルプロセッシングユニット）を備えた制御部１１ｂを有している。 [Configuration of first distributor terminal 11]
As shown in FIG. 3, the first distributor terminal 11 includes an input/output interface 11a, which is an information input/output terminal inside and outside the terminal, and a CPU (Central Processing Unit) for controlling each component of the terminal 11. and a control unit 11b.

アバター操作部１１ｃは、配信者が自分の仮想的な分身であるアバターを仮想空間内に登場させて、所望の動作をさせるために、まず、先に説明をした、バーチャルオブジェクトの仕様データの一つであるアバターの仕様データとして、アバターの外観データ、アバターのボイスキャラクタデータ、アバターの効果音のデータ、アバターの音楽データなどが、この第１の配信者端末１１のデータ記憶部１１ｉに記憶されており、アバター操作部１１ｃは、操作者である配信者などの身体につけた加速度センサーや、３Ｄカメラで自分の動きを撮影したデータ、あるいはドップラーセンサで自分の身体各所の動きをセンシングしたデータを用い、これらモーションデータを取得して、先に説明をしたバーチャルオブジェクトのモーションデータの一つである、アバターのモーションデータとしてサーバ２に送信をしたり、あるいはデータ記憶部１１ｉに記憶を行う。具体的には、図７に示すように、アバター操作部１１ｃは、バーチャルオブジェクトの仕様データの一つである、アバターの外観データ７－１を含めた仕様データを自分で用意するか、システムが用意して選択に供する中から選ぶか、ネット上に配置された外観データあるいは仕様データのＵＲＬ（ユニフォームリソースロケーター）を指定するなどして決定する。そして、配信者自身の身体各所の動きをセンシングした結果であるモーションデータ７－２として、図７（Ｂ）に示すように、身体各所を節７－２ａとしてその位置情報、動きの情報を得る。節７－２ａをつなぐ枝７－２ｂの情報を更に生成して、節７－２ａ同士の関係を明確化するように構成してもよい。なお、バーチャルオブジェクトの仕様データの一つである、アバターの仕様データとは、例えば若い女性の外観を有するアバターを男性が操作する場合に、男性が発生した声をボイスチェンジして若い女性の声にするための、声の周波数特性データ（音声キャラクタデータ）、アバターが動く場合の特有の効果音、アバターが現れると特徴的にバックに流れる音楽のデータなどであり、ほかのデータを含めてももちろんよい。同じく、アバター以外のバーチャルオブジェクト（バーチャルアイテム、仮想アイテム、仮想オブジェクトなどともいう）について、その外観データばかりではなく、アイテムが発生する場合には音声キャラクタデータを仕様データとして付加してもよいし、同様に効果音データや音楽データをそれぞれのバーチャルオブジェクトに対して仕様データとして付加してもよい。以上の点は、本システム1で用いられるアバターを含めた種々のバーチャルオブジェクトに共通しており、今後説明を省略する場合もある。なお、本システム1が用いるバーチャルオブジェクトのデータを表1にまとめて示す。 The avatar operation unit 11c is used by the distributor to make the avatar, which is a virtual alter ego of himself/herself, appear in the virtual space and perform a desired action. As avatar specification data, avatar appearance data, avatar voice character data, avatar sound effect data, avatar music data, etc. are stored in the data storage unit 11i of the first distributor terminal 11. The avatar operation unit 11c receives an acceleration sensor attached to the body of the operator such as a broadcaster, data captured by a 3D camera of the user's movement, or data sensed by a Doppler sensor of the movement of various parts of the user's body. These motion data are acquired and transmitted to the server 2 as avatar motion data, which is one of the motion data of the virtual object described above, or stored in the data storage unit 11i. Specifically, as shown in FIG. 7, the avatar operation unit 11c prepares specification data including appearance data 7-1 of the avatar, which is one of the specification data of the virtual object, by itself, or the system It is determined by selecting from among those prepared and offered for selection, or by designating the URL (uniform resource locator) of appearance data or specification data placed on the net. Then, as motion data 7-2, which is the result of sensing movements of various parts of the body of the distributor himself/herself, as shown in FIG. . Information on the branch 7-2b connecting the nodes 7-2a may be further generated to clarify the relationship between the nodes 7-2a. Note that the avatar specification data, which is one of the specification data of the virtual object, is, for example, when a man operates an avatar that has the appearance of a young woman, the voice produced by the man is changed to the voice of a young woman. Voice frequency characteristic data (voice character data), unique sound effects when the avatar moves, music data that plays characteristically in the background when the avatar appears, etc., even if other data is included Of course it is. Similarly, for virtual objects other than avatars (also referred to as virtual items, virtual items, virtual objects, etc.), not only appearance data but also voice character data may be added as specification data when an item is generated. Similarly, sound effect data and music data may be added as specification data to each virtual object. The above points are common to various virtual objects including avatars used in the present system 1, and the explanation may be omitted hereafter. Table 1 summarizes the data of the virtual objects used by this system 1.

Figure 0007225159000001
Figure 0007225159000001

レンダリング部１１ｅは、端末１１の外部から送信をされた、あるいは端末１１内部に記憶されたバーチャルオブジェクトの仕様データ、およびバーチャルオブジェクトのモーションデータを用いてこれらバーチャルオブジェクトをレンダリング（描画）する構成であって、過去に記録されたコンテンツの再生時、および、現在端末１１から配信中のライブコンテンツのバーチャルオブジェクトに関するデータをサーバ２から受け取り、コンテンツの内容をリアルタイムに確認するモニタリングなどに用いられる。このために、レンダリング部１１ｅは、上に示したアバターの外観のデータ７－１を含めたアバターの仕様のデータとモーションデータ７－２、この後に説明するように、３次元仮想空間内に投げ込まれたバーチャルオブジェクトの仕様データとモーションデータ、３次元仮想空間の背景画像や仮想空間内に置かれたバーチャルオブジェクトの仕様データおよびモーションデータを用いて、仮想空間を可視化するための描画（レンダリング）を行い、得られた、内包するバーチャルオブジェクトを含めた仮想空間の映像は、第１の配信者端末１１の表示部１１ｆに表示される。先に説明をしたように、例えばアバターについてのレンダリングは、図７（Ｃ）に示すように、バーチャルオブジェクトの仕様データの一つであるアバター外観データ７－１に対して、その各所の位置や動きをモーションデータ７－２から得て、現在のアバターの位置や動きを示すアバターのレンダリング用データ７－３を生成する。なお、レンダリングは、動画データではなく静止画データであるアバターの外観データ７－１と、アバターのモーションデータ７－２を構成する節７－２ａや枝７－２ｂのデータとを用いて行うことができるので、外観データ７－１は静止画データであるのでデータ容量が小さいし、節７－２ａや枝７－２ｂのデータは画像データではなく限られた数の点の座標データもしくは運動ベクトルデータであるのでこれも容量が小さく、この結果、データの送信、受信、記憶やレンダリングに要する伝送路やハードウエアの負担は極めて小さいものとすることができる。さらに、アバターの外観データ７－１、や仕様データをロウデータ（具体的な生データ）そのものではなく、ＵＲＬ（ユニフォームリソースロケーター）でデータの保存先として指定すれば、より小さな文字列データで送信や記憶を行うことができる。これらの有利な点は、これら外観データや仕様データやモーションデータをシステムのどの構成で生成し、伝送し、記憶し、レンダリングするかによらず同様の効果を奏するものであるし、人のアバターに限らず、バーチャルオブジェクトをレンダリングしようとする際には共通の効果となる。なお、本願付図において各所に記載されているアバターの模式図は簡易的な表示を用いていて四肢の動きなどまでは書き込まれていないが、これらの図示は、図７（Ｃ）に示すようなレンダリング用アバターデータ７－３を意味している。なお、アバターを外観のみならず音声を含めて表示（本明細書では「表示」を、画像の表示のみならず、スピーカー、振動子などを用いた音声、効果音などの表示をも含む意味で用いることとする。）を行う場合、アバターが発する音声の情報、および音声のキャラクタ情報を、システム１が送受信あるいは記憶するデータの対象に含めるようにしてもよい。例えば先に説明したように、アバターが若い女性の外観とキャラクタを有していてそのアバターを操作する配信者などが男性である場合、男性のオリジナルの発声をまず記憶し、記憶した男性の音声をボイスチェンジして若い女性の発声としてアバターの表示に用いることとなる。そのボイスチェンジに用いる発声のキャラクタ情報（若い女性キャラクタの発声の周波数スペクトラム等）が、配信者などアバターを操作する者の発声情報とともに、アバター外観情報に、あるいは他の情報に含まれるようにする点は有効である。同じく、バーチャルオブジェクトをライブコンテンツに追加する際に、効果音（爆発音、衝突音、飛翔音、オノマトペなど）や、音楽を追加してもよく、それら効果音データ、音楽データをもシステム１が送受や記憶する対象のデータとしてもよい。それらもまたアバター仕様データあるいはその他のデータに追加がなされる。なお、仕様データには、振動に関するデータを含めてもよく、その場合、例えばアバターを操作するコントローラ（ボタンなどが付属した操作具）を振動させるようにしてもよいのであり、この点はシステム１の各所、各局面においても同様である。 The rendering unit 11e renders (draws) these virtual objects using specification data of virtual objects transmitted from outside the terminal 11 or stored inside the terminal 11 and motion data of the virtual objects. When reproducing content recorded in the past and receiving data on the virtual object of the live content currently being delivered from the terminal 11 from the server 2, it is used for monitoring to check the details of the content in real time. For this purpose, the rendering unit 11e renders the avatar specification data 7-2 including the avatar appearance data 7-1 shown above and the motion data 7-2 into the three-dimensional virtual space as will be described later. Drawing (rendering) to visualize the virtual space using the specification data and motion data of the virtual objects placed in the virtual space, the background image of the 3D virtual space, and the specification data and motion data of the virtual objects placed in the virtual space. The image of the virtual space including the contained virtual objects obtained by performing the above is displayed on the display unit 11 f of the first distributor terminal 11 . As described above, rendering of an avatar, for example, is performed by, as shown in FIG. The movement is obtained from the motion data 7-2 to generate avatar rendering data 7-3 indicating the current position and movement of the avatar. Rendering is performed using the avatar appearance data 7-1, which is still image data instead of video data, and the node 7-2a and branch 7-2b data that constitute the avatar motion data 7-2. Since the appearance data 7-1 is still image data, the data volume is small, and the data of the nodes 7-2a and branches 7-2b are not image data but coordinate data or motion vectors of a limited number of points. Since it is data, it also has a small capacity, and as a result, the load on transmission lines and hardware required for transmission, reception, storage, and rendering of data can be made extremely small. Furthermore, if the avatar's appearance data 7-1 and specification data are specified as the data storage destination by URL (uniform resource locator) instead of raw data (specific raw data) itself, it will be sent as smaller character string data and memory. These advantages are the same regardless of which configuration of the system generates, transmits, stores, or renders these appearance data, specification data, and motion data. This is a common effect when trying to render virtual objects. It should be noted that the schematic diagrams of the avatars described in various places in the drawings attached to this application use simple representations and do not include movements of the limbs, etc., but these illustrations are as shown in FIG. 7(C). It means rendering avatar data 7-3. In addition, the avatar is displayed not only by appearance but also by voice (in this specification, "display" means not only the display of images but also the display of voices and sound effects using speakers, vibrators, etc.). ), the information of the voice uttered by the avatar and the character information of the voice may be included in the data to be transmitted/received or stored by the system 1 . For example, as described above, if the avatar has the appearance and character of a young woman and the distributor operating the avatar is male, the original male utterance is first stored, and the stored male voice is stored. is voice-changed and used to display the avatar as the utterance of a young woman. The character information of vocalization used for the voice change (such as the frequency spectrum of the vocalization of a young female character) is included in the avatar appearance information or other information together with the vocalization information of the person who operates the avatar such as the distributor. Points are valid. Similarly, when adding virtual objects to live content, sound effects (explosive sounds, collision sounds, flying sounds, onomatopoeia, etc.) and music may be added. It may be data to be transmitted/received or stored. They too are supplemented with avatar specification data or other data. Note that the specification data may include data on vibration, and in that case, for example, a controller (operating tool attached with a button or the like) that operates the avatar may be vibrated. The same applies to each place and aspect of .

表示部１１ｆは、配信者自身がライブコンテンツを視聴したり、現在配信者が配信中のライブコンテンツの内容を確認するためにレンダリング画像をモニタリングしたり、各種操作を行ったりするために画面表示を行う構成であって、パーソナルコンピュータの表示パネルや、顔面に装着されるゴーグルタイプのＨＭＤ(ヘッドマウントディスプレイ)などで実現される。操作部１１ｇは配信者が各種動作の操作に用いるもので、例えばパーソナルコンピュータのキーボード、マウス、タッチパネルでもよいし、あるいは操作者のモーションデータで操作するデバイスであってもよい。プログラム記憶部１１ｈは、ライブコンテンツの配信や視聴に必要なコンピュータプログラムを記憶しており、汎用のコンピュータオペレーティングシステム（ＯＳ）、インターネット閲覧プログラム（ブラウザ）等を含んでいてもよい。データ記憶部１１ｉは、ライブコンテンツに用いられる仮想空間の背景のデータ、バーチャルデータの仕様データ、モーションデータなどを記憶する。 The display unit 11f displays a screen for the distributor to view the live content, monitor the rendered image to check the content of the live content currently being distributed by the distributor, and perform various operations. This configuration is realized by a display panel of a personal computer, a goggle-type HMD (head mounted display) worn on the face, or the like. The operation unit 11g is used by the distributor to operate various operations, and may be, for example, a keyboard, mouse, or touch panel of a personal computer, or a device operated by an operator's motion data. The program storage unit 11h stores computer programs necessary for distribution and viewing of live content, and may include a general-purpose computer operating system (OS), an Internet browsing program (browser), and the like. The data storage unit 11i stores virtual space background data, virtual data specification data, motion data, and the like used for live content.

コメント投稿部１１ｋは、ライブコンテンツの表示画面にかぶさって表示がされたり、あるいは仮想空間３０内のバーチャルオブジェクトの表面に表示がされたり、大きな文字の形をしたオブジェクトのようにそれ自体が独立したバーチャルオブジェクトとして表示される文字情報であるコメントをサーバ２に投稿するための構成である。バスライン１１ｍは配信者端末１１の各構成を、データを相互に交換可能に接続する。 The comment posting unit 11k may be displayed overlying the display screen of the live content, or may be displayed on the surface of a virtual object in the virtual space 30, or may be an independent object like a large character. This configuration is for posting a comment, which is character information displayed as a virtual object, to the server 2 . The bus line 11m connects each component of the distributor terminal 11 so that data can be exchanged with each other.

第１の視聴者端末１２と第２の視聴者端末２２とは共通の構成を有しており、以下では第１の視聴者端末１２を例として説明を行う。 The first viewer terminal 12 and the second viewer terminal 22 have a common configuration, and the first viewer terminal 12 will be described below as an example.

〔第１の視聴者端末１２の構成〕
図４に図示するように、第１の視聴者端末１２は、端末１２内外のデータ送受端である入出力インターフェース１２ａ、端末１２各所の制御統制を行うＣＰＵ（セントラルプロセッシングユニット）を備えた制御部１２ｂを有している。 [Configuration of the first viewer terminal 12]
As shown in FIG. 4, the first viewer terminal 12 includes an input/output interface 12a, which is a data transmission/reception end inside and outside the terminal 12, and a control unit equipped with a CPU (Central Processing Unit) for controlling various parts of the terminal 12. 12b.

アバター操作部１２ｃは、まず、先に説明をした、バーチャルオブジェクトの仕様データの一つであるアバターの仕様データとして、アバターの外観データ、アバターのボイスキャラクタデータ、アバターの効果音のデータ、アバターの音楽データなどが、データ記憶部１２ｉに記憶されており、アバター操作部１２ｃは、操作者である視聴者などが自分の仮想的な分身であるアバターを仮想空間内に登場させて、所望の動作をさせるために、自分の身体につけた加速度センサーや、３Ｄカメラで自分の動きを撮影したデータ、あるいはドップラーセンサで自分の身体各所の動きをセンシングしたデータを用い、これらモーションデータを取得して、そのままで、あるいはレンダリングした画像情報としてサーバ２に送信を行う。先に説明をしたように、図７を援用すると、アバター操作部１２ｃは、バーチャルデータの仕様データの一つである、アバターの外観データ７－１を含めたアバターの仕様データを自分で用意するか、システムが用意して選択に供する中から選ぶか、ネット上に配置された外観データを含めた仕様データのＵＲＬ（ユニフォームリソースロケーター）を指定するなどして決定する。そして、身体各所の動きをセンシングした結果であるモーションデータ７－２として、図７（Ｂ）に示すように、身体各所を節７－２ａとしてその位置情報、動きの情報を得る。節７－２ａをつなぐ枝７－２ｂの情報を更に生成して、節７－２ａ同士の関係を明確化するように構成してもよい。なお、アバターを外観のみならず音声を含めて表示（本明細書では「表示」を、画像の表示のみならず、スピーカー、振動子などを用いた音声、効果音などの表示をも含む意味で用いることとする。）を行う場合、アバターが発する音声の情報、および音声のキャラクタ情報を、アバターの外観データを含めて、アバターの仕様データとして、システム１が送受信あるいは記憶するデータの対象に含めるようにしてもよい。例えばアバターが若い女性の外観とキャラクタを有していてそのアバターを操作する配信者などが男性である場合、男性のオリジナルの発声をまず記憶し、記憶した男性の音声をボイスチェンジして若い女性の発声としてアバターの表示に用いることとなる。そのボイスチェンジに用いる発声のキャラクタ情報（若い女性キャラクタの発声の周波数スペクトラム等）が、視聴者などアバターを操作する者の発声情報とともに、アバターの外観情報を合わせたアバター仕様情報に含まれるようにする点は有効である。同じく、バーチャルオブジェクトをライブコンテンツに追加する際に、効果音（爆発音、衝突音、飛翔音、オノマトペなど）や、音楽を追加してもよく、それら効果音データ、音楽データをもシステム１が送受や記憶する対象のデータとしてもよい。それらもまた外観情報あるいはその他のデータとともに、アバターの仕様データに追加がなされる。 First, the avatar operation unit 12c receives avatar appearance data, avatar voice character data, avatar sound effect data, and avatar specification data as avatar specification data, which is one of the virtual object specification data described above. Music data and the like are stored in the data storage unit 12i, and the avatar operation unit 12c causes an avatar, which is a virtual alter ego of the viewer or the like, to appear in the virtual space to perform a desired action. In order to do this, use the accelerometer attached to your body, the data of your movement taken with a 3D camera, or the data of your body's movement sensed with a Doppler sensor, acquire these motion data, The image information is transmitted to the server 2 as it is or as rendered image information. As described above, referring to FIG. 7, the avatar operation unit 12c prepares avatar specification data including avatar appearance data 7-1, which is one of the specification data of virtual data. Alternatively, the user can select from among those prepared by the system for selection, or determine by designating the URL (uniform resource locator) of specification data including appearance data placed on the net. As motion data 7-2, which is the result of sensing movements of various parts of the body, as shown in FIG. 7(B), position information and movement information of various parts of the body are obtained as joints 7-2a. Information on the branch 7-2b connecting the nodes 7-2a may be further generated to clarify the relationship between the nodes 7-2a. In addition, the avatar is displayed not only by appearance but also by voice (in this specification, "display" means not only the display of images but also the display of voices and sound effects using speakers, vibrators, etc.). ), the information of the voice uttered by the avatar and the character information of the voice, including the appearance data of the avatar, are included in the data to be transmitted and received or stored by the system 1 as avatar specification data. You may do so. For example, if the avatar has the appearance and character of a young woman and the distributor who operates the avatar is male, the original utterance of the male is first stored, and the memorized male voice is voice-changed to become a young female. will be used to display the avatar as the utterance of Character information of vocalization used for the voice change (such as the frequency spectrum of the vocalization of a young female character) should be included in the avatar specification information that combines the appearance information of the avatar together with the vocalization information of the person who operates the avatar such as the viewer. It is valid that Similarly, when adding virtual objects to live content, sound effects (explosive sounds, collision sounds, flying sounds, onomatopoeia, etc.) and music may be added. It may be data to be transmitted/received or stored. They too are added to the avatar specification data, along with appearance information or other data.

アイテム投稿部１２ｅは、視聴者が自己のアバターを、自分が視聴しているライブコンテンツに登場させるため、アバターの外観データを含めた、バーチャルオブジェクトの仕様データや、先に説明したバーチャルオブジェクトのモーションデータをサーバ２へ投稿したり、あるいは自分が再生視聴しているライブコンテンツに新たなバーチャルオブジェクトを投稿するために用いられる。 The item posting unit 12e sends the specification data of the virtual object including the appearance data of the avatar and the above-described motion of the virtual object so that the viewer can make his or her own avatar appear in the live content that the viewer is viewing. It is used to post data to the server 2 or to post a new virtual object to the live content that you are playing back and watching.

表示部１２ｆは、視聴者自身がライブコンテンツを視聴したり、各種操作を行うために画面表示を行う構成であって、パーソナルコンピュータの表示パネルや、顔面に装着されるゴーグルタイプのＨＭＤ(ヘッドマウントディスプレイ)などで実現される。 The display unit 12f is configured to display a screen for the viewer to view live content and perform various operations. display), etc.

操作部１２ｇは視聴者が各種動作の操作に用いるもので、パーソナルコンピュータのキーボード、マウス、タッチパネルでもよいし、あるいは操作者のモーションデータで操作するデバイスであってもよい。プログラム記憶部１２ｈは、ライブコンテンツの視聴に必要なコンピュータプログラムを記憶しており、汎用のコンピュータオペレーティングシステム（ＯＳ）、インターネット閲覧プログラム（ブラウザ）等を含んでいてもよい。データ記憶部１２ｉは、先に説明をしたデータおよびその他の各種データを記憶する。 The operation unit 12g is used by the viewer to operate various operations, and may be a keyboard, mouse, or touch panel of a personal computer, or may be a device operated by the operator's motion data. The program storage unit 12h stores computer programs necessary for viewing live content, and may include a general-purpose computer operating system (OS), an Internet browsing program (browser), and the like. The data storage unit 12i stores the data described above and other various data.

コメント投稿部１２ｋは、ライブコンテンツの表示画面にかぶさって、あるいは仮想空間３０内のバーチャルオブジェクトの表面に表示されたり、巨大な文字状のバーチャルオブジェクトのようにそれ自体が独立したバーチャルオブジェクトとして表示される文字情報であるコメントをサーバ２に投稿するための構成である。バスライン１２ｍは視聴者端末１２の各構成を、データを相互に交換可能に接続する。 The comment posting section 12k is displayed over the display screen of the live content, displayed on the surface of the virtual object in the virtual space 30, or displayed as an independent virtual object like a giant letter-shaped virtual object. This is a configuration for posting a comment, which is character information, to the server 2 . A bus line 12m connects each component of the viewer terminal 12 so that data can be exchanged with each other.

図５は、第１の視聴者端末１２をパーソナルコンピュータで実現した場合の外観を模式的に示したもので、各種映像、静止画像、動画像や文字情報を表示する表示パネル１２－１は、視聴者が本システム１のサービスを利用するために、あらかじめ知らされているＵＲＬ（ユニフォームリソースロケータ）を入力してサーバ２に接続を行うと、サーバ２から必要なデータとジャバスクリプト(JavaScript（登録商標）)プログラムが送付されて動画配信サービスのポータル画面（図示しない）が表示される。 FIG. 5 schematically shows the appearance of the first viewer terminal 12 implemented by a personal computer. In order for the viewer to use the service of this system 1, when the viewer inputs the URL (uniform resource locator) that has been notified in advance and connects to the server 2, the necessary data and Javascript (JavaScript (registered Trademark)) program is sent, and a portal screen (not shown) of the video distribution service is displayed.

視聴者は、自分がインターネット生放送として視聴をしたい、あるいは再生コンテンツとして視聴をしたいライブコンテンツを表示リスト（図示しない）からあらかじめ選択しており、そのライブコンテンツが表示されている場合を想定した状況を、図５は示している。
図５において、表示パネル１２－１内に、ライブコンテンツ動画を表示する動画表示エリア１２－１ａがあり、そこには、このライブコンテンツの配信者である第１の配信者のアバター１２－１ｂ、このライブコンテンツが用いる仮想空間に配置されたバーチャルオブジェクトである樹木１２－１ｎ、家屋１２－１ｏが表示されている。また、更にコメント１２－１ｒが表示パネル１２－１内に表示されたており、「アップしてくれてありがとう!!」、という内容のコメント１２－１ｒが表示パネル１２－１の右端から現れて左端にスクロール移動して消えていく。コメント１２－１ｒが表示される範囲はライブコンテンツ動画を表示する動画表示エリア１２－１ａよりも大きく、そこからはみ出すよう設定されているので、視聴者はこれらコメント１２－ｒが、コンテンツのオリジナルな内容ではなく別な投稿者から投稿されたことが明瞭に理解できる。 The viewer selects in advance from a display list (not shown) the live content that he/she wants to view as a live Internet broadcast or as a playback content, and assumes that the live content is being displayed. , FIG. 5 shows.
In FIG. 5, a display panel 12-1 has a moving image display area 12-1a for displaying live content moving images. A tree 12-1n and a house 12-1o, which are virtual objects placed in the virtual space used by this live content, are displayed. Further, a comment 12-1r is displayed in the display panel 12-1, and a comment 12-1r with the content "Thank you for uploading!!" appears from the right end of the display panel 12-1. Scroll to the left and disappear. The range in which the comments 12-1r are displayed is larger than the video display area 12-1a in which the live content video is displayed, and is set so as to protrude therefrom. You can clearly understand that it was posted by another contributor, not the content.

同様に、表示パネル１２－１内には、動画配信サービスのポータル（入口）ページ（図示しない）に戻るためのホームボタン表示１２－１ｅ、視聴するコンテンツが生放送ではなく再生コンテンツである場合に用いる停止ボタン表示１２－１ｆ、ポーズボタン表示１２－１ｇ、および再生ボタン表示１２－１ｈがそれぞれ表示されている。 Similarly, the display panel 12-1 includes a home button display 12-1e for returning to the portal (entrance) page (not shown) of the video distribution service, which is used when the content to be viewed is not a live broadcast but a reproduced content. A stop button display 12-1f, a pause button display 12-1g, and a play button display 12-1h are displayed.

表示パネル１２－１内のコメント投稿ボタン表示１２－１ｉは、視聴者が視聴しているコンテンツに対して先に説明をしたコメントを投稿するためのボタンである。 A comment posting button display 12-1i in the display panel 12-1 is a button for posting the previously explained comment on the content that the viewer is viewing.

シークバー表示１２－１ｋは、コンテンツが再生コンテンツである場合に、再生開始時刻を左端に、再生終了時刻を右端に対応させ、シークボタン表示１２－１ｍの位置が現在の再生時刻を示しており、このシークボタン表示１２－１ｍの位置をマウスポインタ１２－３で動かして再生したい時刻へ移動させることができる。先に説明した操作部１２ｇとして、マウスポインタ１２－３、マウスカーソル１２－２があり、キーボード１２－４も視聴者端末１２は備えている。 In the seek bar display 12-1k, when the content is reproduced content, the left end corresponds to the reproduction start time and the right end corresponds to the reproduction end time, and the position of the seek button display 12-1m indicates the current reproduction time. By moving the position of the seek button display 12-1m with the mouse pointer 12-3, it is possible to move to the desired time of reproduction. A mouse pointer 12-3 and a mouse cursor 12-2 are provided as the operation unit 12g described above, and the viewer terminal 12 is also provided with a keyboard 12-4.

〔生放送中のコンテンツ視聴〕
次に、第１の配信者端末１１から投稿されて配信されているインターネット生放送であるライブコンテンツが、第１の視聴者端末１２によって視聴されるまでの動作を、図６の
シグナルフローグラフ、図８の第１の仮想空間模式図、図９の各視点から見たレンダリング結果の図、をそれぞれ用いて説明する。 [Viewing content during live broadcast]
Next, the signal flow graph in FIG. 8, and the drawing of the rendering result seen from each viewpoint in FIG. 9, respectively.

ライブコンテンツを主催して配信しようとする配信者は、第１の配信者端末１１を用いてサーバ２へコンテンツ配信の申し込みを行う（ステップＳ１０１）。サーバ２が配信を許諾すると、許諾する旨がサーバ２から第１の配信者端末１１へ通知され（ステップＳ１０２）、サーバ２は、視聴が可能なコンテンツとしてこのライブコンテンツを配信サービスサイトの適切なページにリストとして掲示を行ったり、リストをログイン中の視聴者端末へ配信したりする（ステップＳ１０３）。 A distributor who hosts and intends to distribute live content applies for content distribution to the server 2 using the first distributor terminal 11 (step S101). When the server 2 approves the distribution, the server 2 notifies the first distributor terminal 11 of the approval (step S102), and the server 2 distributes the live content as viewable content to an appropriate distribution service site. The list is posted on the page, and the list is distributed to the logged-in viewer terminals (step S103).

配信が許諾されたので、第1の配信者端末１１は、インターネット生放送用ライブコンテンツとして、図８に示す仮想空間３０内の各バーチャルオブジェクトである、第1の配信者のアバター表示１２－１ｂと、その他バーチャルオブジェクトに関する仕様のデータ、およびモーションデータをサーバ２へ送信する（Ｓ１０４）とともに、これらバーチャルオブジェクトに関する仕様のデータ、およびモーションデータはサーバ２に記憶がなされる。 Since the distribution is permitted, the first distributor terminal 11 displays the first distributor's avatar display 12-1b, which is each virtual object in the virtual space 30 shown in FIG. 8, as live content for Internet live broadcasting. , other specification data relating to the virtual object and motion data are transmitted to the server 2 (S104), and the specification data and motion data relating to the virtual object are stored in the server 2. FIG.

先に説明したように、配信者はモーションデータを生成してアバター１２－１ｂの動作を制御するので、仮想空間３０内でアバター１２－１ｂは移動をしたり、向きを変えたり、姿勢を変えるなどの動作を行うことができる。同じく「表１ バーチャルオブジェクトの関連データ」を用いて先に説明をしたように、アバターを含めたバーチャルオブジェクトの外観のみならず音声を含めて表示（本明細書では「表示」を、画像の表示のみならず、スピーカー、振動子などを用いた音声、効果音などの表示をも含む意味で用いることとする。）を行う場合、アバターを含めたバーチャルオブジェクトが発する音声の情報、および音声のキャラクタ情報をバーチャルオブジェクトの仕様情報として、システム１が送受信あるいは記憶するデータの対象に含めるようにしてもよい。 As described above, the distributor generates motion data and controls the actions of the avatar 12-1b, so the avatar 12-1b moves, turns, and changes posture within the virtual space 30. and other operations can be performed. Similarly, as described above using "Table 1 Virtual Object-Related Data", it is possible to display not only the appearance of virtual objects including avatars but also audio (in this specification, "display" is used to refer to image display). In addition, it is also used in the sense that it includes the display of voices and sound effects using speakers, vibrators, etc.), voice information emitted by virtual objects including avatars, and voice characters The information may be included in the data transmitted/received or stored by the system 1 as the specification information of the virtual object.

仮想空間３０内に配置された仮想的カメラ３２は図示のように中央に必ずしもおく必要はなく設置場所は任意であるし、移動してもよく、複数を設置してもよい。また再生を行う視聴者が、ライブコンテンツの改変あるいは追加動作の一環としてライブコンテンツの途中からこれら仮想的カメラの追加や移動をしてもよい。これら仮想カメラの運用は本明細書の他の箇所おいても共通であるが、以後の説明では煩雑さを避けるため、仮想カメラは各仮想空間に一つだけとした例示にとどめる。 The virtual camera 32 arranged in the virtual space 30 does not necessarily need to be placed in the center as shown in the drawing, and the installation location is arbitrary, and it may be moved, and a plurality of cameras may be installed. Also, the viewer who performs playback may add or move these virtual cameras from the middle of the live content as part of the operation of modifying or adding the live content. The operation of these virtual cameras is common to other parts of this specification, but in order to avoid complication in the following description, only one virtual camera is used in each virtual space.

リストにより、放送中のこのライブコンテンツの存在を知った視聴者は、第1の視聴者端末１２からサーバ２に対してインターネット生放送であるこのライブコンテンツの視聴を申し込み(ステップＳ１０５)、この結果、サーバ２から第1の視聴者端末１２に対して、第1の配信者のアバター１２－１ｂのモーションデータ７－２やアバターの外観データ７－１を含む、仮想空間３０内にあるバーチャルオブジェクトの仕様のデータおよびモーションデータを送信して（ステップＳ１０６）、レンダリングを第１の視聴者端末１２で行う。レンダリングの結果を、図９（Ａ）（第１の配信者アバターの視点から見た画像）と図９（Ｂ）（第１の仮想的カメラの視点から見た画像）として例示する。 A viewer who has learned of the existence of this live content being broadcast from the list applies to the server 2 from the first viewer terminal 12 to view this live content, which is an Internet live broadcast (step S105), and as a result, From the server 2 to the first viewer terminal 12, a virtual object in the virtual space 30 including the motion data 7-2 of the avatar 12-1b of the first distributor and the appearance data 7-1 of the avatar The specification data and motion data are transmitted (step S 106 ), and rendering is performed at the first viewer terminal 12 . The rendering results are illustrated as FIG. 9(A) (image viewed from the viewpoint of the first broadcaster avatar) and FIG. 9(B) (image viewed from the viewpoint of the first virtual camera).

また、第１の配信者端末１１が配信するライブコンテンツは、第１の視聴者端末１２に限らず、第２の視聴者端末２２を含めた本動画配信システムを利用する他の利用者もまた、申し込みを行って視聴することができる。 In addition, the live content distributed by the first distributor terminal 11 is not limited to the first viewer terminal 12, but also other users using this video distribution system including the second viewer terminal 22 , you can apply and watch.

〔生放送後のコンテンツの再生〕
次に、第１の配信者端末１１がインターネット生放送を行った結果、サーバ２にバーチャルオブジェクトの仕様のデータ、およびモーションデータとして記憶されているライブコンテンツを、生放送の時刻よりも後に、第１の視聴者端末１２から申し込んで再生する動作を、図１０を参照して説明する。 [Playback of content after live broadcast]
Next, as a result of live Internet broadcasting performed by the first distributor terminal 11, the live contents stored as virtual object specification data and motion data in the server 2 are transmitted to the first distributor after the time of the live broadcasting. The operation of requesting and reproducing from the viewer terminal 12 will be described with reference to FIG.

まず、サーバ２に記憶済みのライブコンテンツを再生しようとする視聴者は、サーバ２があらかじめ用意をしたライブコンテンツの全体を示すリストから所望のライブコンテンツを選択し、サーバ２へ再生を申し込む。サーバ２では指定されたライブコンテンツである、バーチャルオブジェクトの仕様のデータ、およびモーションデータを第１の視聴者端末１２へ送信するので、視聴者は、第１の視聴者端末１２を用いてレンダリング（描画）を行って、図９（Ａ），（Ｂ）で示した画像が第１の視聴者端末１２の表示パネル１２－１に表示され、この結果、視聴者は仮想空間利用のライブコンテンツが視聴できる。この時、図９（Ａ），図９（Ｂ）に示すように、視聴者は、第１の配信者アバター１２－１ｂの視点から見たレンダリング画像も視聴できるし、切り替え操作に応じて第１の仮想的カメラ３２から見たレンダリング画像をも視聴できるので、単にテレビ放送画面や映画の画面を受け身で見ているのとは異なり、複数の異なる視点を能動的に自らの意志で切り替えながらコンテンツの内容を見ることができる。ここでこのライブコンテンツは３Ｄ（３次元）仮想空間を用いているので、見る視点を切り替え操作しながら多数の方向からの視聴により仮想空間３０内を視聴者は視聴をすることができ、２Ｄ（２次元）コンテンツを視聴するのでは得られない臨場感、没入感、連帯感を視聴者は得ることができる。このような臨場感などは、再生コンテンツの視聴であるにもかかわらず、あたかも生放送のライブコンテンツを視聴しているかのような感覚として視聴者へ伝わる。また、他の側面から説明を行うと、先に説明をした点であるが、本システム１が有する特徴的な点として、コンテンツのデータをレンダリング済みデータ（描画済みのデータ。そのまま表示画面に表示がされる、いわゆる動画像のデータ）として保持するのではなく、仮想的な対象物であるバーチャルオブジェクトの仕様のデータ（外観、ボイスのキャラクタ、効果音データ、音楽データなど）と、同じくバーチャルオブジェクトのモーションデータ（動作のデータ、向いている方向のデータ、位置座標のデータなど）として保持する点にある。そして、コンテンツを視聴者端末その他が再生する際には、従来構成のようにレンダリング済みの描画データをただ画面表示するのではなく、上に示したバーチャルオブジェクトの仕様データと、バーチャルデータのモーションデータとから、「再生時に」、レンダリングを行って描画データを生成している。このように、「バーチャルオブジェクトの仕様データと、バーチャルデータのモーションデータとから、レンダリングを行って描画データを生成している」点は、実は、コンテンツをインターネットなどを経由して生放送する際の動作と同じである。つまり本システム１の構成を用いることで、コンテンツの再生を、コンテンツの生放送時と変わらない動作、構成、品質で行うことが可能となっており、従来技術構成との大きな相違点である。さらに、再生時に「バーチャルオブジェクトの仕様データと、バーチャルデータのモーションデータとから、レンダリングを行って描画データを生成している」という点を生かして、再生時にこれらデータを修正、追加、改変してこのコンテンツの修正版とすることが容易となっており、この点を以下に説明する。 First, a viewer who intends to reproduce the live contents stored in the server 2 selects desired live contents from a list showing all the live contents prepared in advance by the server 2, and requests the server 2 to reproduce the contents. Since the server 2 transmits the virtual object specification data and motion data, which are the designated live contents, to the first viewer terminal 12, the viewer can use the first viewer terminal 12 for rendering ( 9A and 9B are displayed on the display panel 12-1 of the first viewer terminal 12. As a result, the viewer can see the live content using the virtual space. can watch. At this time, as shown in FIGS. 9(A) and 9(B), the viewer can also view the rendered image viewed from the viewpoint of the first distributor avatar 12-1b. Since a rendered image viewed from one virtual camera 32 can also be viewed, it is different from simply passively viewing a television broadcast screen or a movie screen, while actively switching between a plurality of different viewpoints at one's own will. You can see the contents of the content. Here, since this live content uses a 3D (three-dimensional) virtual space, the viewer can view the inside of the virtual space 30 by viewing from many directions while switching the viewing viewpoint. The viewer can obtain a sense of realism, a sense of immersion, and a sense of solidarity that cannot be obtained by viewing two-dimensional) content. Such a sense of realism is conveyed to the viewer as if he or she were watching live content, even though the content is being played back. In addition, to explain from another aspect, as described above, a characteristic feature of the present system 1 is that content data is rendered data (drawn data. It is displayed as it is on the display screen). Instead of storing it as so-called moving image data, which is a virtual object, the specification data of the virtual object (appearance, voice character, sound effect data, music data, etc.) and the virtual object motion data (movement data, facing direction data, position coordinate data, etc.). When the content is played back on the viewer terminal or other device, instead of just displaying the rendered drawing data on the screen as in the conventional configuration, the specification data of the virtual object shown above and the motion data of the virtual data Rendering is performed "during playback" to generate drawing data. In this way, "rendering is performed from the specification data of the virtual object and the motion data of the virtual data to generate the drawing data" is actually the operation when the content is broadcast live via the Internet etc. is the same as In other words, by using the configuration of this system 1, it is possible to reproduce content with the same operation, configuration, and quality as when the content is live broadcasted, which is a major difference from the configuration of the prior art. Furthermore, at the time of playback, taking advantage of the fact that "rendering is performed from the specification data of the virtual object and the motion data of the virtual data to generate the drawing data", these data can be corrected, added, and modified at the time of playback. Modified versions of this content are now readily available and are discussed below.

〔生放送後の再生コンテンツへの仮想アイテムの追加〕
次に、図６乃至図９を用いて説明した、第1の配信者端末１１が先にインターネット生放送したライブコンテンツを第１の視聴者端末１２が再生視聴している状態で、第1の視聴者端末１２を用いる視聴者が、自分の所望の内容へライブコンテンツを改変あるいは追加を行う動作を、図１１乃至図１４を用いて説明する。 [Adding virtual items to playback content after live broadcast]
Next, while the first viewer terminal 12 is reproducing and viewing the live content previously broadcast live on the Internet by the first distributor terminal 11 as described with reference to FIGS. The operation of the viewer using the user terminal 12 to modify or add live content to his/her desired content will be described with reference to FIGS. 11 to 14. FIG.

先に説明をしたライブコンテンツの再生の手順と同様に、第１の視聴者端末１２からサーバ２に対してライブコンテンツ再生の申し込みが行われる（ステップＳ３０１）。 Similar to the live content reproduction procedure described above, the first viewer terminal 12 requests the server 2 to reproduce the live content (step S301).

申し込みを受け付けたサーバ２は、対象であるライブコンテンツを、バーチャルオブジェクトの仕様のデータ、およびモーションデータとして、第1の視聴者端末１２へ送信して、先の説明のようにレンダリングおよびコンテンツの視聴に供する（ステップＳ３０２）。 The server 2 that has accepted the application transmits the target live content as virtual object specification data and motion data to the first viewer terminal 12 for rendering and content viewing as described above. (step S302).

視聴者は、先に説明をしたように、送信されたライブコンテンツをただ視聴することもできるが、例えばダンスシーンであれば自分もアバターの形でライブに参加し、すでにライブに参加している各アバターの操作者とともに踊ることで連帯感も得たいと感じることもあるであろうし、自分のアバターをライブコンテンツに投入して自分が決めた所望の視点からライブコンテンツを視聴しなおしたい、と思うこともありうる。 As explained earlier, viewers can simply watch the transmitted live content, but in the case of a dance scene, for example, they also participate in the live in the form of an avatar and have already participated in the live. There may be times when you want to gain a sense of solidarity by dancing with the operators of each avatar, or you may want to put your own avatar into live content and rewatch it from your own desired perspective. I can think.

そこで視聴者は、ライブコンテンツを再生しつつ、自分のアバター１２－１ｃを新たにライブコンテンツに投入するべく、サーバ２へ申し込んで、必要なデータであるアバターの外観情報を含めた、バーチャルオブジェクトの仕様のデータやモーションデータを、追加アイテムデータとしてサーバ２へ送信する（ステップＳ３０３）。ここで視聴者のアバター１２－１ｃは、先に図７で説明をしたような、アバターの外観データ７－１を含めた仕様データ、アバターのモーションデータ７－２などを用いてレンダリングしたデータ７－３として追加がなされるし、他のバーチャルオブジェクトを視聴者端末１２から追加する場合も同様であるので、このライブコンテンツを以後再生して視聴する他の視聴者は、この視聴者のアバター１２－１ｃおよび追加された他のバーチャルオブジェクトを、視聴者が操作した所望の動き、姿勢で視聴することとなり、最初に視聴者端末１２を用いて各バーチャルオブジェクトを追加した視聴者はあたかもライブコンテンツに参加したような感覚を得ることができる。 Therefore, while reproducing the live content, the viewer applies to the server 2 in order to newly insert his/her own avatar 12-1c into the live content, and obtains the virtual object including the avatar's appearance information, which is necessary data. The specification data and motion data are transmitted to the server 2 as additional item data (step S303). Here, the viewer's avatar 12-1c is data 7 rendered using specification data including avatar appearance data 7-1, avatar motion data 7-2, etc., as described above with reference to FIG. -3 is added, and the same applies when adding other virtual objects from the viewer terminal 12. Therefore, other viewers who play and view this live content after that can use this viewer's avatar 12 -1c and other added virtual objects will be viewed in the desired movement and posture operated by the viewer, and the viewer who first added each virtual object using the viewer terminal 12 will feel as if he/she is in the live content. You can feel like you are participating.

これを受けてサーバ２は、仮想空間３０内に新たに視聴者のアバター１２－１ｃあるいはその他のバーチャルオブジェクトを追加して、追加分を含めた、このコンテンツのあらゆるバーチャルオブジェクトの仕様のデータ、およびモーションデータを第1の視聴者端末１２へ送信する（ステップＳ３０４）とともに、サーバ２が記憶しているライブコンテンツのデータにも、アバター１２－１ｃ、およびその他追加されたバーチャルオブジェクトのデータを追加するので、以後、このライブコンテンツを再生する他の視聴者端末は、視聴者のアバター１２－１ｃおよび追加されたバーチャルオブジェクトが含まれているライブコンテンツを視聴することとなる。なお、新たに追加されたアバターなどバーチャルオブジェクトについて、追加を行った時刻情報、追加を行った端末あるいはユーザアカウントの情報などを、システム１が送受信や記憶を行う対象のデータとする点は大変有効である。このような時刻の情報、端末やユーザの情報は、サーバ２が記憶をしていてもよいし、それと並行に、あるいは単独に、追加がなされたバーチャルオブジェクトの仕様の情報などに書き込まれていてもよい。このように追加をした時刻情報、追加を行った端末あるいはユーザアカウントの情報などを、システム１が送受信や記憶を行う対象のデータとする点は、本システム１の他の局面においても有効である点は同じであり、今後は記載を省略する場合がある。 In response to this, the server 2 adds a new viewer's avatar 12-1c or other virtual object in the virtual space 30, and specifies data of all virtual objects of this content, including the addition, and The motion data is transmitted to the first viewer terminal 12 (step S304), and the avatar 12-1c and other added virtual object data are added to the live content data stored in the server 2. Therefore, after that, other viewer terminals that reproduce this live content view the live content including the viewer's avatar 12-1c and the added virtual object. For newly added virtual objects such as avatars, it is very effective to use the time information at which the addition was made, the terminal or user account information at which the addition was made, etc. as data to be transmitted, received, and stored by the system 1. is. Such time information, terminal and user information may be stored in the server 2, or may be written in the added virtual object specification information in parallel or independently. good too. The fact that the added time information, the added terminal or user account information, and the like are used as data to be transmitted, received, and stored by the system 1 are also effective in other aspects of the present system 1. The point is the same, and the description may be omitted in the future.

図１２、図１３では、第１の視聴者のアバター１２－１ｃのほかに、新たに、信号機３３、第２の仮想カメラ３４といったバーチャルオブジェクトが追加された状態を示している。 12 and 13 show a state in which virtual objects such as a traffic light 33 and a second virtual camera 34 are newly added in addition to the avatar 12-1c of the first viewer.

なお、ライブコンテンツの改変は本来のライブコンテンツの主催者の許諾を要するようにしてもよいし、ライブコンテンツを改変する場合に、改変後のデータと改変前のデータの双方をサーバ２が引き続き記憶し、以後、各視聴者は操作に応じていずれかのライブコンテンツを再生できるようにしてもよい。そのように構成すれば、視聴者は自分が改変したライブコンテンツがほかの多数の視聴者に再生が可能となる点で満足感が得られるとともに、その様な改変を良しとしない視聴者もまた、改変前のコンテンツを視聴することができ、連帯感の高揚と、自分好みの鑑賞という、本来両立が困難な課題が両立できる。 Alteration of the live content may require the permission of the organizer of the original live content, and when altering the live content, the server 2 continues to store both the data after alteration and the data before alteration. However, after that, each viewer may be allowed to reproduce any of the live contents according to the operation. With such a configuration, viewers can be satisfied with being able to play back the live content that they have modified to many other viewers, and viewers who do not like such modifications can also be satisfied. , it is possible to view the content before modification, and it is possible to achieve both the enhancement of a sense of solidarity and the appreciation of one's own preferences, which are originally difficult to achieve at the same time.

また、自分がウオッチあるいはリスペクトをしているライブコンテンツの主催者、演者などのほかに、自分がウオッチあるいはリスペクトをしている視聴者が改変したライブコンテンツを特に選んで視聴することもできるし、先に説明したようにサーバ２にはあるライブコンテンツの改変の系統樹データも用意できるので、自分にとって好ましいライブコンテンツの改変系統をトレースしていき、より自分にあったバージョンのコンテンツにたどり着く楽しみも視聴者は享受することができる。 In addition, in addition to the organizers and performers of live content that you watch or respect, you can also specifically select and view live content modified by viewers that you watch or respect, As explained earlier, you can also prepare genealogical tree data for modification of live content on Server 2, so you can trace the modification lineage of live content that suits you, and enjoy finding a version of content that suits you. viewers can enjoy.

〔生放送後の再生コンテンツにアバターを追加して、他の配信者が配信する〕
上記の説明では、最初にインターネット生放送を行ったライブコンテツを、以後、個々の視聴者が自分の好みに合わせて改変や追加を行う例であったが、再生されるライブコンテンツ（生放送と同じでもよいし、その後に改変や追加がされていてもよい）を再度、同じ配信者あるは異なる配信者がインターネットで放送し、その放送を視聴する視聴者から、同様にライブコンテツの改変や追加がなされるようにしてもよい。 [Add an avatar to the playback content after the live broadcast and distribute it by other distributors]
In the above explanation, it was an example of live content that was first broadcast live on the Internet, and then individual viewers would modify or add to it according to their own tastes. It may be modified or added after that) is broadcast again on the Internet by the same distributor or a different distributor, and the viewers who watch the broadcast similarly modify or add live content. may be made.

図１４、図１５、図１６にその一例を図示したが、各図では第２の配信者のアバター３５が追加されている。各動作の詳細は、先の説明と同様である。 Examples are shown in FIGS. 14, 15, and 16, in which the avatar 35 of the second distributor is added in each figure. Details of each operation are the same as those described above.

〔変形例その１ ～各構成の配置の任意性〕
先の本実施形態の説明では、視聴者が改変あるいは追加を行った仮想空間についての各視点映像のレンダリングを、この視聴者が用いる視聴者端末で行うこととした。しかしながらこのように構成をする点は本発明の実施に当たり必須なものでも本質的なものでもない。すなわち、このレンダリングをサーバあるいは他の各種端末で行ってもよい。そのようにレンダリングを行うためには、あらかじめバーチャルオブジェクトの仕様のデータ、およびモーションデータがレンダリングを行おうとするサーバ、あるいは端末もしくはその双方に送信されていればよく、詳細な構成あるいは手順は先に説明した本実施形態の構成から明らかであるので、重複を避けることとする。 [Modification 1 ~ Arbitrariness of Arrangement of Each Configuration]
In the above description of the present embodiment, the viewer terminal used by the viewer renders each viewpoint video for the virtual space modified or added by the viewer. However, such a configuration is neither essential nor essential for implementing the present invention. That is, this rendering may be performed by a server or various other terminals. In order to perform such rendering, the data of the specification of the virtual object and the motion data should be transmitted in advance to the server to be rendered, the terminal, or both. Since it is clear from the configuration of the present embodiment described, duplication is avoided.

〔変形例その２ ～バーチャルオブジェクトの仮想空間への投げ込み〕
先の説明では、ライブコンテンツを再生する視聴者が自分の好みにより、仮想空間へ新たなバーチャルオブジェクトを追加する例として、自分の分身であるアバター１２－１ｂ、１２－１ｃを追加する例、信号機３３を追加する例を説明した。 [Modification 2 - throwing a virtual object into the virtual space]
In the above description, as an example of adding a new virtual object to the virtual space according to the viewer's preference while playing the live content, the example of adding the avatars 12-1b and 12-1c that are the alter-ego of the viewer, the traffic light An example of adding 33 has been described.

ところで、実世界でライブの演奏、演劇公演などでは、演者に対して祝儀（「おひねり」とも呼ばれる）を渡したり、花を差し入れしたりすることで演者もますます盛り上がることができる。これに対応させて、コンテンツ配信においてもこのような祝儀に当たる仮想的なオブジェクト（バーチャルオブジェクト）を新たに仮想空間内に表示させて、演者への賛同、称賛などを表そうとする提案がある。 By the way, in live performances, theater performances, etc. in the real world, the performers can get even more excited by giving them gifts (also called ``ohineri'') or giving them flowers. In response to this, there is a proposal to newly display a virtual object (virtual object) corresponding to such a gift in the virtual space in content distribution as well, in order to express the approval and praise of the performer.

公知の特許文献である特開２０１２－１２００９８号公報には、実写ライブ番組の表示画面に貼り付ける仮想的アイテムとして、例えば「デコレーション」として花や文字、ロゴなどをコンテンツの視聴者が購入し、表示画面上で自由な位置に配置することによって表示画面を飾ることが開示されている。 In Japanese Patent Application Laid-Open No. 2012-120098, which is a publicly known patent document, as virtual items to be pasted on the display screen of live-action live programs, for example, viewers of content purchase flowers, letters, logos, etc. as "decorations", It is disclosed to decorate the display screen by arbitrarily placing it on the display screen.

本発明の実施形態システム１では、発明の一環として、仮想空間を用いたライブコンテンツを再生する視聴者が、演者への称賛、賛同を示すバーチャルオブジェクトを投げ込んで、以後、このライブコンテンツを再生する他の視聴者が、投げ込まれたバーチャルオブジェクトを視認することができ、この結果、バーチャルオブジェクトを投げ込んだ視聴者の賛同や称賛の意志が広く認識されたり、以後にこのライブコンテンツを視聴する視聴者が同じく賛同や称賛の感覚を味わうことが可能となる。生放送中のライブコンテンツに対してバーチャルオブジェクトを投げ込むのと異なり、再生コンテンツに対して投げ込むことは、リアルタイムの投げ込み（賛同や称賛）ではないものの、再生であれば何度でも視聴できて視聴者の層や数も広がるし、評判が評判を呼んで多数の投げ込みが行われうるし、それらが累積もされるので、視聴者側も、贈られる演者側もメリットがある。 In the embodiment system 1 of the present invention, as part of the invention, a viewer playing live content using a virtual space throws in a virtual object indicating praise and approval of the performer, and then plays this live content. Other viewers can visually recognize the thrown virtual object, and as a result, the intention of approval and praise of the viewer who threw the virtual object will be widely recognized, and viewers who watch this live content after that can also feel a sense of approval and admiration. Unlike throwing virtual objects into live content during a live broadcast, throwing into playback content is not real-time throwing (approval or praise), but if it is played back, it can be viewed any number of times and viewers can enjoy it. The number of layers and numbers will expand, and reputation will attract reputation, and many submissions will be made.

図１７、図１８記載の模式図は、このようなバーチャルオブジェクト（仮想的アイテム）である、リボン型バーチャルオブジェクト１２－１ｄを、コンテンツを再生する視聴者が視聴者端末を用いて、仮想空間３０に投げ込んだ態様を示している。 17 and 18, a viewer who reproduces content uses a viewer terminal to display a ribbon-shaped virtual object 12-1d, which is such a virtual object (virtual item), in the virtual space 30. It shows the mode thrown into.

リボン型バーチャルオブジェクト１２－１ｄは、外観の画像データを含めた仕様データ、位置のデータや向きのデータを含めたモーションデータなどを含んでいるもので、先に説明を行った、配信者や視聴者のアバター１２－１ｂ、１２－１ｃが仮想空間３０に追加されたのと同様の方法で、視聴者などが視聴者端末などを用いて仮想空間３０に追加することができる。 The ribbon-type virtual object 12-1d includes specification data including appearance image data, motion data including position data and direction data, and the like, and is used by the distributor and viewer as described above. A viewer or the like can be added to the virtual space 30 using a viewer terminal or the like in the same manner as the person's avatars 12-1b and 12-1c were added to the virtual space 30. FIG.

より詳細には、リボン型バーチャルオブジェクト１２－１ｄは、配信者あるいは視聴者のアバター（代理人）の外観の情報を含めた仕様情報と、モーションデータ（動作情報）と同様の手順、構成で、そのバーチャルオブジェクトの仕様のデータ、およびモーションデータが送信や記憶がなされるように、本実施例システム1では構成がなされている。 More specifically, the ribbon-shaped virtual object 12-1d has specification information including information on the appearance of the avatar (agent) of the distributor or viewer, and motion data (action information) in the same procedure and configuration as The system 1 of the present embodiment is configured so that the specification data and motion data of the virtual object are transmitted and stored.

従って、投げ込みに用いるバーチャルオブジェクトであるリボン型バーチャルオブジェクト１２－１ｄに、アバターと同様に外観の情報、ボイスキャラクタの情報、効果音や音楽の情報を含めた仕様情報と、動作情報（位置の情報、動きの方向・速度の情報、姿勢の情報など）を持たせることが可能である。 Therefore, the ribbon-type virtual object 12-1d, which is a virtual object used for throwing, is provided with specification information including appearance information, voice character information, sound effect and music information, and motion information (position information) in the same manner as the avatar. , motion direction/speed information, posture information, etc.).

このような外観の情報を含めた仕様情報と、動作情報を付加した投げ込み用バーチャルオブジェクトとすることにより、リボン型バーチャルオブジェクト１２－１ｄは、ユーザの興味や関心を高める多様な演出が可能となる。なお、投げ込みを行うバーチャルオブジェクトとして、このリボン型バーチャルオブジェクト１２－１ｄとは異なる様々な外観などのデータを有するバーチャルオブジェクトとして実施が可能である。 The ribbon-type virtual object 12-1d can perform a variety of presentations that increase the interest of the user by adding the specification information including the appearance information and the motion information to the virtual object for throwing. . It should be noted that the virtual object to be thrown can be implemented as a virtual object having data such as various appearances different from the ribbon-type virtual object 12-1d.

リボン型バーチャルオブジェクト１２－１ｄを用いる例として、図１７（Ａ）図示の模式図は、仮想空間３０中に投げ込まれた仮想アイテムであるリボン型バーチャルオブジェクト１２－１ｄが上から下へ落下して仮想空間の地面に着地する演出を意味している。バーチャルオブジェクトの投げ込みは、例えば劇場において「おひねり」を舞台に投げ込んだり、結婚式においてブーケを投げたりする感覚とも共通性があり、このように上から下へ落下して仮想空間３０の地面に着地する演出は、自然な感覚の演出であり視聴者の共感を得やすい。 As an example using the ribbon-shaped virtual object 12-1d, the schematic diagram shown in FIG. It means the effect of landing on the ground in virtual space. Throwing a virtual object has similarities to the feeling of throwing a "ohineri" on the stage at a theater, or throwing a bouquet at a wedding ceremony. The production of landing is a production with a natural feeling, and it is easy to gain the sympathy of the viewers.

同じく、図１７（Ｂ）図示模式図は、バーチャルオブジェクトの投げ込みを行う対象者を、例えば第１の配信者１２－１ｂと決めて視聴者端末を用いてその様に所定の操作を行うと、仮想空間３０に投げ込まれたリボン型バーチャルオブジェクト１２－１ｄは、投げ込みの対象である第１の配信者１２－１ｂへ向かって仮想空間内を移動していく、という演出である。先に説明した「おひねり」の例からも自然な演出となりうる。 Similarly, in the schematic diagram of FIG. 17(B), when the target person to whom the virtual object is to be thrown is determined to be, for example, the first distributor 12-1b, and a predetermined operation is performed using the viewer terminal, The effect is that the ribbon-shaped virtual object 12-1d thrown into the virtual space 30 moves in the virtual space toward the first distributor 12-1b that is thrown into the virtual space. It can be a natural production from the example of "Ohineri" explained earlier.

同じく図１８（Ａ）は、仮想空間３０内に投げ込まれたリボン型バーチャルオブジェクト１２－１ｄが、自動で仮想空間３０内を動き回ったり（飛び回ることを含む）、あるいは投げ込んだ者の操作に応じて仮想空間内を動き回る演出である。投げ込まれた後のバーチャルオブジェクトが仮想空間内で静止している場合と比較して大変目立つ演出となり、投げ込みのアピールに役立つ。 Similarly, in FIG. 18A, a ribbon-shaped virtual object 12-1d thrown into the virtual space 30 automatically moves (including jumps around) in the virtual space 30, or moves according to the operation of the thrower. It is a production that moves around in the virtual space. Compared to the case where the virtual object after being thrown is stationary in the virtual space, the effect is very conspicuous, and it is useful for appealing the throw.

図１８（Ｂ）図示模式図は、多数の視聴者から投げ込まれたリボン型バーチャルオブジェクト１２－１ｄの数が多数にのぼったり、あるいは同一人が多数のバーチャルオブジェクトを連続的に投げ込んだ場合に、これら投げこまれたオブジェクトがいったん積みあがったのち、崩れる演出である。人気のあるライブコンテンツ、人気のあるシーン、人気のある演者に対してはバーチャルオブジェクトの投げ込みが集中することが予想され、このような演出は実現可能性が高く、演出上の効果も大きい。 FIG. 18(B) is a schematic diagram showing that when a large number of ribbon-shaped virtual objects 12-1d are thrown by a large number of viewers, or when the same person continuously throws a large number of virtual objects, The effect is that these thrown objects pile up and then collapse. It is expected that virtual objects will concentrate on popular live content, popular scenes, and popular performers.

すでに説明を行った点を含めて、バーチャルオブジェクトを投げ込む場合の演出上の望ましい工夫を挙げると、まず投げ込む対象をライブコンテンツ全般とするほかに、特定の演者など対象を決めて操作の上で投げ込むことがよい方法である。対象を特定して投げ込まれたバーチャルオブジェクトは、対象者のそばに置かれるとか、対象者名を表記しておかれてもよい。
また仮想的カメラの視野内に、投げ込まれたバーチャルオブジェクトが置かれることも望ましい。 Including the points that have already been explained, if you want to give a desirable idea for the production when throwing virtual objects, first, in addition to the live content as a whole, you can throw it after deciding the target such as a specific performer. is a good method. A virtual object thrown with a specified target may be placed near the target, or may have the target person's name written on it.
It is also desirable to place the thrown virtual object within the field of view of the virtual camera.

（発明の効果の説明）
生放送された時刻には視聴ができなかったライブコンテンツを、後から視聴して楽しみたい、後からの視聴再生においても、あたかもライブで視聴しているような臨場感、没入感を得たい、あるいは通信網や各端末ハードウエアの負担を小さくして、多数の視聴者とシェアをしながらライブコンテンツの視聴を楽しみたい、という各課題を解決するよう構成する。 (Explanation of the effects of the invention)
People who want to enjoy live content that they could not view at the time of the live broadcast later on and enjoy it, or who want to have a sense of realism and immersion as if they were watching it live, even when viewing and playing back later, or It is configured to solve each problem of wanting to enjoy viewing live content while sharing it with a large number of viewers by reducing the burden on the communication network and each terminal hardware.

本発明は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。 The present invention can be embodied in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and their modifications are intended to be included in the invention described in the claims and their equivalents as well as included in the scope and gist of the invention.

１ コンテンツ配信受信システム
２ コンテンツ配信サーバ
２ａ 入出力インターフェース
２ｂ 制御部
２ｃ コンテンツ情報記憶部
２ｄ コンテンツ配信部
２ｆ プログラム記憶部
２ｇ ユーザ管理部
２ｉ バスライン
３ インターネット通信網
７－１ アバターの外観データ
７－２ アバターのモーションデータ（動作のデータ、動作の情報）
７－２ａ モーションデータの節
７－２ｂ モーションデータの枝
７－３ アバターのレンダリング用データ
１１ 第１の配信者端末
１１ａ 入出力インターフェース
１１ｂ 制御部
１１ｃ アバター操作部
１１ｅ レンダリング部
１１ｆ 表示部
１１ｇ 操作部
１１ｈ プログラム記憶部
１１ｉ データ記憶部
１１ｋ コメント投稿部
１１ｍ バスライン
１２ 第１の視聴者端末
１２ａ 入出力インターフェース
１２ｂ 制御部
１２ｃ アバター操作部
１２ｅ アイテム投稿部
１２ｆ 表示部
１２ｇ 操作部
１２ｈ プログラム記憶部
１２ｉ データ記憶部
１２ｋ コメント投稿部
１２ｍ バスライン
１２－１ 表示パネル
１２－１ａ 動画表示エリア
１２－１ｂ 第１の配信者のアバター
１２－１ｃ 第１の視聴者のアバター
１２－１ｄ リボン型バーチャルオブジェクト
１２－１ｅ ホームボタン表示
１２－１ｆ 停止ボタン表示
１２－１ｇ ポーズボタン表示
１２－１ｈ 再生ボタン表示
１２－１ｉ コメント投稿ボタン表示
１２－１ｋ シークバー表示
１２－１ｍ シークボタン表示
１２－１ｎ 樹木
１２－１ｏ 家屋
１２－１ｒ コメント
１２－２ マウスカーソル
１２－３ マウスポインタ
１２－４ キーボード
２１ 第２の配信者端末
２２ 第２の視聴者端末
３０ 仮想空間
３１ 背景
３２ 第１の仮想的カメラ
３３ 信号
３４ 第２の仮想カメラ
３５ 第２の配信者のアバター 1 content distribution receiving system 2 content distribution server 2a input/output interface 2b control unit 2c content information storage unit 2d content distribution unit 2f program storage unit 2g user management unit 2i bus line 3 internet communication network 7-1 avatar appearance data 7-2 Avatar motion data (motion data, motion information)
7-2a Motion data node 7-2b Motion data branch 7-3 Avatar rendering data 11 First distributor terminal 11a Input/output interface 11b Control unit 11c Avatar operation unit 11e Rendering unit 11f Display unit 11g Operation unit 11h Program storage unit 11i Data storage unit 11k Comment posting unit 11m Bus line 12 First viewer terminal 12a Input/output interface 12b Control unit 12c Avatar operation unit 12e Item posting unit 12f Display unit 12g Operation unit 12h Program storage unit 12i Data storage unit 12k Comment posting section 12m Bus line 12-1 Display panel 12-1a Video display area 12-1b First distributor's avatar 12-1c First viewer's avatar 12-1d Ribbon type virtual object 12-1e Home button Display 12-1f Stop button display 12-1g Pause button display 12-1h Playback button display 12-1i Comment posting button display 12-1k Seek bar display 12-1m Seek button display 12-1n Tree 12-1o House 12-1r Comment 12 -2 mouse cursor 12-3 mouse pointer 12-4 keyboard 21 second distributor terminal 22 second viewer terminal 30 virtual space 31 background 32 first virtual camera 33 signal 34 second virtual camera 35 second broadcaster avatar of

Claims (11)

仮想的な３次元バーチャル空間を用いたコンテンツをコンテンツ配信サーバから視聴用端末へ配信して視聴に供する、コンテンツ配信システムであって、
前記コンテンツ配信サーバは、
（Ａ）前記３次元バーチャル空間に配置された各バーチャルオブジェクトの外観を含む仕様データに関する第１のデータ、および（Ｂ）当該各バーチャルオブジェクトの身体各所の動きを含むモーションデータに関する第２のデータを少なくとも含んだコンテンツデータを記録する記録部と、
前記視聴用端末が視聴を行うための要求に応じて、少なくとも前記第１のデータおよび前記第２のデータを含んだデータを前記視聴用端末に送信する第１の送信部と、を備え、
前記視聴用端末は、
前記送信されたデータを受信して、視聴者が前記コンテンツを視聴しつつ自分の分身であるアバターを当該コンテンツに投入するために、前記アバターに所望の動作をさせるために前記視聴者の前記身体各所の動きをセンシングした結果による前記身体各所の動きを含むモーションデータとして操作部で生成された前記第２のデータを少なくとも含むデータを前記コンテンツ配信サーバの前記記録部へ送信する第２の送信部と、を備えた
コンテンツ配信システム。 A content distribution system for distributing content using a virtual three-dimensional virtual space from a content distribution server to a viewing terminal for viewing,
The content distribution server is
(A) first data relating to specification data including the appearance of each virtual object placed in the three-dimensional virtual space; and (B) second data relating to motion data including movements of various parts of the body of each virtual object. a recording unit that records at least content data including
a first transmission unit configured to transmit data including at least the first data and the second data to the viewing terminal in response to a viewing request from the viewing terminal ;
The viewing terminal is
The body of the viewer receives the transmitted data and causes the avatar to perform a desired action in order to insert the avatar, which is the alter ego of the viewer, into the content while the viewer is viewing the content. a second transmission unit configured to transmit, to the recording unit of the content distribution server, data including at least the second data generated by the operation unit as motion data including movements of various parts of the body as a result of sensing movements of various parts; with
content delivery system. 仮想的な３次元バーチャル空間を用いたコンテンツをコンテンツ配信サーバから視聴用端末へ配信して視聴に供する、コンテンツ配信システムであって、
前記コンテンツ配信サーバは、
（Ａ）前記３次元バーチャル空間に配置された各バーチャルオブジェクトの外観を含む仕様データに関する第１のデータ、および（Ｂ）当該各バーチャルオブジェクトの身体各所の動きを含むモーションデータに関する第２のデータを少なくとも含んだコンテンツデータを記録する記録部と、
前記視聴用端末が視聴を行うための要求に応じて、少なくとも前記第１のデータおよび前記第２のデータを含んだデータを前記視聴用端末に送信する第１の送信部と、を備え、
前記視聴用端末は、
前記送信されたデータを受信して、視聴者が前記コンテンツを視聴しつつ自分の分身であるアバターを当該コンテンツに投入するために、前記アバターに所望の動作をさせるために前記視聴者の前記身体各所の動きをセンシングした結果による前記身体各所の動きを含むモーションデータとして操作部で生成された前記第２のデータを少なくとも含むデータを前記コンテンツ配信サーバの前記記録部へ送信する第２の送信部と、
を備えるとともに、前記記録部は、前記第２の送信部が送信したデータに基づいて前記コンテンツデータを改変した新たなコンテンツデータを記録するよう構成されたコンテンツ配信システム。 A content distribution system for distributing content using a virtual three-dimensional virtual space from a content distribution server to a viewing terminal for viewing,
The content distribution server is
(A) first data relating to specification data including the appearance of each virtual object placed in the three-dimensional virtual space; and (B) second data relating to motion data including movements of various parts of the body of each virtual object. a recording unit that records at least content data including
a first transmission unit configured to transmit data including at least the first data and the second data to the viewing terminal in response to a viewing request from the viewing terminal ;
The viewing terminal is
The body of the viewer receives the transmitted data and causes the avatar to perform a desired action in order to insert the avatar, which is the alter ego of the viewer, into the content while the viewer is viewing the content. a second transmission unit configured to transmit, to the recording unit of the content distribution server, data including at least the second data generated by the operation unit as motion data including movements of various parts of the body as a result of sensing movements of various parts; and,
and wherein the recording unit records new content data obtained by modifying the content data based on the data transmitted by the second transmission unit. 前記記録部がさらに、（Ｃ）前記３次元バーチャル空間に配置された仮想的カメラの視点に関する第３のデータを記録するよう構成された、請求項１または２に記載のコンテンツ配信システム。 3. The content distribution system according to claim 1, wherein said recording unit is further configured to record (C) third data relating to a viewpoint of a virtual camera arranged in said three-dimensional virtual space. 前記コンテンツ配信サーバは、前記視聴を行っている視聴用端末からの変更要求に応じて前記第１のデータ、および前記第２のデータの内の少なくともいずれかを追加または修正し変更を行って新たなコンテンツデータを生成し、以後の前記視聴に供する変更受付部を備えた請求項１乃至３のいずれか１項に記載のコンテンツ配信システム。 The content distribution server adds or modifies at least one of the first data and the second data in response to a change request from the viewing terminal performing the viewing, and performs a new change. 4. The content distribution system according to claim 1, further comprising a change reception unit that generates content data that is suitable for viewing and listening thereafter. 前記コンテンツ配信サーバは、前記視聴を行っている視聴用端末からの変更要求に応じて前記第１のデータ、および前記第２のデータの内の少なくともいずれかを追加または修正し変更を行って新たなコンテンツデータを生成し、以後の前記視聴に供する変更受付部を備え、
前記変更受付部はさらに、前記第３のデータを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の前記視聴に供するよう構成された、請求項３に記載のコンテンツ配信システム。 The content distribution server adds or modifies at least one of the first data and the second data in response to a change request from the viewing terminal performing the viewing, and performs a new change. a change reception unit that generates content data that is suitable for viewing,
4. The content delivery system according to claim 3, wherein said change receiving unit is further configured to change said third data by adding or correcting said third data to generate new content data for said subsequent viewing. . 仮想的な３次元バーチャル空間を用いたコンテンツをコンテンツ配信サーバから視聴用端末へ配信して視聴に供する、コンテンツ配信方法であって、
前記コンテンツ配信サーバが、（Ａ）前記３次元バーチャル空間に配置された各バーチャルオブジェクトの外観を含む仕様データに関する第１のデータ、および（Ｂ）当該バーチャルオブジェクトの身体各所の動きを含むモーションデータに関する第２のデータを少なくとも含んだコンテンツデータを記録部に記録する記録ステップと、
前記コンテンツ配信サーバが、前記視聴用端末が視聴を行うための要求に応じて、少なくとも前記第１のデータおよび前記第２のデータを含んだデータを前記視聴用端末に送信する第１の送信ステップと、
前記視聴用端末が、前記送信されたデータを受信して、視聴者が前記コンテンツを視聴しつつ自分の分身であるアバターを当該コンテンツに投入するために、前記アバターに所望の動作をさせるために前記視聴者の前記身体各所の動きをセンシングした結果による前記身体各所の動きを含むモーションデータとして操作部で生成された前記第２のデータを少なくとも含むデータを前記コンテンツ配信サーバの前記記録部へ送信する第２の送信ステップと、
を備えたコンテンツ配信方法。 A content distribution method for distributing content using a virtual three-dimensional virtual space from a content distribution server to a viewing terminal for viewing,
The content distribution server provides (A) first data relating to specification data including the appearance of each virtual object placed in the three-dimensional virtual space, and (B) motion data including movement of various parts of the body of the virtual object. a recording step of recording content data including at least the second data in a recording unit;
a first transmission step in which the content distribution server transmits data including at least the first data and the second data to the viewing terminal in response to a request for viewing by the viewing terminal; and,
In order for the viewing terminal to receive the transmitted data and allow the avatar to perform a desired action in order for the viewer to view the content and insert the avatar, which is the alter ego of the viewer, into the content. Sending data including at least the second data generated by the operation unit as motion data including the movements of the various parts of the body as a result of sensing the movements of the various parts of the body of the viewer to the recording unit of the content distribution server. a second transmitting step of
Content delivery method with 仮想的な３次元バーチャル空間を用いたコンテンツをコンテンツ配信サーバから視聴用端末へ配信して視聴に供する、コンテンツ配信方法であって、
前記コンテンツ配信サーバが、（Ａ）前記３次元バーチャル空間に配置された各バーチャルオブジェクトの外観を含む仕様データに関する第１のデータ、および（Ｂ）当該各バーチャルオブジェクトの身体各所の動きを含むモーションデータに関する第２のデータを少なくとも含んだコンテンツデータを記録部に記録する記録ステップと、
前記コンテンツ配信サーバが、前記視聴用端末が視聴を行うための要求に応じて、少なくとも前記第１のデータおよび前記第２のデータを含んだデータを前記視聴用端末に送信する第１の送信ステップと、
前記視聴用端末が、前記送信されたデータを受信して、視聴者が前記コンテンツを視聴しつつ自身の分身であるアバターを当該コンテンツに投入するために、前記アバターに所望の動作をさせるために前記視聴者の前記身体各所の動きをセンシングした結果による前記身体各所の動きを含むモーションデータとして操作部で生成された前記第２のデータを少なくとも含むデータを前記コンテンツ配信サーバの前記記録部へ送信する第２の送信ステップと、
を備えるとともに、前記記録ステップは、前記第２の送信ステップ、で送信されたデータに基づいて前記コンテンツデータを改変した新たなコンテンツデータを記録するよう構成されたコンテンツ配信方法。 A content distribution method for distributing content using a virtual three-dimensional virtual space from a content distribution server to a viewing terminal for viewing,
The content distribution server provides (A) first data relating to specification data including the appearance of each virtual object placed in the three-dimensional virtual space, and (B) motion data including movements of various parts of the body of each virtual object. a recording step of recording, in a recording unit, content data including at least second data relating to
a first transmission step in which the content distribution server transmits data including at least the first data and the second data to the viewing terminal in response to a request for viewing by the viewing terminal; and,
For the viewing terminal to receive the transmitted data and allow the avatar to perform a desired action in order for the viewer to view the content and insert the avatar, which is the alter ego of the viewer, into the content. Sending data including at least the second data generated by the operation unit as motion data including the movements of the various parts of the body as a result of sensing the movements of the various parts of the body of the viewer to the recording unit of the content distribution server. a second transmitting step of
and wherein the recording step records new content data obtained by modifying the content data based on the data transmitted in the second transmitting step. 前記記録ステップがさらに、（Ｃ）前記３次元バーチャル空間に配置された仮想的カメラの視点に関する第３のデータを記録するよう構成された請求項６または７に記載のコンテンツ配信方法。 8. The content delivery method according to claim 6 or 7, wherein said recording step is further configured to (C) record third data relating to a viewpoint of a virtual camera arranged in said three-dimensional virtual space. 前記コンテンツ配信サーバは、前記視聴を行っている視聴用端末からの変更要求に応じて前記第１のデータ、および前記第２のデータの内の少なくともいずれかを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の前記視聴に供する変更受付ステップを備えた、請求項６乃至８の内のいずれか１項に記載のコンテンツ配信方法。 The content distribution server adds or modifies at least one of the first data and the second data in response to a change request from the viewing terminal that is performing the viewing. 9. The content distribution method according to any one of claims 6 to 8, further comprising a change reception step for generating content data that is suitable for said subsequent viewing. 前記コンテンツ配信サーバは、前記視聴を行っている視聴用端末からの変更要求に応じて前記第１のデータ、および前記第２のデータの内の少なくともいずれかを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の前記視聴に供する変更受付ステップを備え、
前記変更受付ステップはさらに、前記第３のデータを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の前記視聴に供するよう構成された、請求項８に記載のコンテンツ配信方法。 The content distribution server adds or modifies at least one of the first data and the second data in response to a change request from the viewing terminal that is performing the viewing. a change acceptance step for generating content data that is suitable for viewing and listening thereafter;
9. The content delivery method according to claim 8, wherein said change accepting step is further configured to change said third data by adding or correcting said third data to generate new content data for said subsequent viewing. . 仮想的な３次元バーチャル空間を用いたコンテンツを視聴用端末へ配信して視聴に供するためのコンピュータプログラムであって、
前記コンピュータプログラムは、
（Ａ）前記３次元バーチャル空間に配置された各バーチャルオブジェクトの外観を含む仕様データに関する第１のデータ、および（Ｂ）当該バーチャルオブジェクトの身体各所の動きを含むモーションデータに関する第２のデータを少なくとも含んだコンテンツデータを記録部に記録する記録ステップと、
前記視聴用端末が視聴を行うための要求に応じて、少なくとも前記第１のデータおよび前記第２のデータを含んだデータを前記視聴用端末に送信する第１の送信ステップと、
視聴者が前記コンテンツを視聴しつつ自分の分身であるアバターを当該コンテンツに投入するために、前記アバターに所望の動作をさせるために前記視聴者の前記身体各所の動きをセンシングした結果による前記身体各所の動きを含むモーションデータとして操作部で生成された前記第２のデータを少なくとも含むデータを、前記視聴用端末から受信する受信ステップと、
をコンピュータに実行させるコンピュータプログラム。 A computer program for distributing content using a virtual three-dimensional virtual space to a viewing terminal for viewing,
Said computer program comprises:
(A) first data relating to specification data including the appearance of each virtual object placed in the three-dimensional virtual space; and (B) second data relating to motion data including movements of various parts of the body of the virtual object a recording step of recording the included content data in a recording unit;
a first transmission step of transmitting data including at least the first data and the second data to the viewing terminal in response to a viewing request from the viewing terminal;
The body as a result of sensing movements of various parts of the body of the viewer in order to cause the avatar to perform a desired action in order to insert the avatar that is the alter ego of the viewer into the content while viewing the content. a receiving step of receiving, from the viewing terminal, data including at least the second data generated by the operation unit as motion data including movements of various parts;
A computer program that causes a computer to execute
JP2020063836A 2020-03-31 2020-03-31 3D CONTENT DISTRIBUTION SYSTEM, 3D CONTENT DISTRIBUTION METHOD, COMPUTER PROGRAM Active JP7225159B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020063836A JP7225159B2 (en) 2020-03-31 2020-03-31 3D CONTENT DISTRIBUTION SYSTEM, 3D CONTENT DISTRIBUTION METHOD, COMPUTER PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020063836A JP7225159B2 (en) 2020-03-31 2020-03-31 3D CONTENT DISTRIBUTION SYSTEM, 3D CONTENT DISTRIBUTION METHOD, COMPUTER PROGRAM

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018150863A Division JP6707111B2 (en) 2018-07-25 2018-07-25 Three-dimensional content distribution system, three-dimensional content distribution method, computer program

Publications (3)

Publication Number Publication Date
JP2020127211A JP2020127211A (en) 2020-08-20
JP2020127211A5 JP2020127211A5 (en) 2021-09-02
JP7225159B2 true JP7225159B2 (en) 2023-02-20

Family

ID=72084351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020063836A Active JP7225159B2 (en) 2020-03-31 2020-03-31 3D CONTENT DISTRIBUTION SYSTEM, 3D CONTENT DISTRIBUTION METHOD, COMPUTER PROGRAM

Country Status (1)

Country Link
JP (1) JP7225159B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205635B (en) * 2021-12-10 2024-05-28 北京字跳网络技术有限公司 Live comment display method, device, equipment and medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002093497A1 (en) 2001-05-14 2002-11-21 Netdimension Corporation Information distribution system and information distribution method
JP2012226669A (en) 2011-04-21 2012-11-15 Nippon Hoso Kyokai <Nhk> Participation type content management device, viewing terminal,participation type content management program, and viewing program
JP6276882B1 (en) 2017-05-19 2018-02-07 株式会社コロプラ Information processing method, apparatus, and program for causing computer to execute information processing method
JP2018094326A (en) 2016-12-16 2018-06-21 株式会社バンダイナムコエンターテインメント Event control system, and event notification system and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002093497A1 (en) 2001-05-14 2002-11-21 Netdimension Corporation Information distribution system and information distribution method
JP2012226669A (en) 2011-04-21 2012-11-15 Nippon Hoso Kyokai <Nhk> Participation type content management device, viewing terminal,participation type content management program, and viewing program
JP2018094326A (en) 2016-12-16 2018-06-21 株式会社バンダイナムコエンターテインメント Event control system, and event notification system and program
JP6276882B1 (en) 2017-05-19 2018-02-07 株式会社コロプラ Information processing method, apparatus, and program for causing computer to execute information processing method

Also Published As

Publication number Publication date
JP2020127211A (en) 2020-08-20

Similar Documents

Publication Publication Date Title
JP6707111B2 (en) Three-dimensional content distribution system, three-dimensional content distribution method, computer program
JP6724110B2 (en) Avatar display system in virtual space, avatar display method in virtual space, computer program
CN112334886B (en) Content distribution system, content distribution method, and recording medium
JP6810108B2 (en) Servers, methods, programs, video broadcasting systems
JP2003164672A (en) System and method which offer users experience as spectator of games networked
JP7159244B2 (en) CONTENT DELIVERY SYSTEM, CONTENT DELIVERY METHOD, COMPUTER PROGRAM
JP2020144887A (en) Avatar display system in virtual space, avatar display method in virtual space, and computer program
JP2023169282A (en) Computer program, server device, terminal device, and method
JP7225159B2 (en) 3D CONTENT DISTRIBUTION SYSTEM, 3D CONTENT DISTRIBUTION METHOD, COMPUTER PROGRAM
JP2020102782A (en) Content distribution system, distribution device, reception device, and program
US20210402297A1 (en) Modifying computer simulation video template based on feedback
US11845012B2 (en) Selection of video widgets based on computer simulation metadata
US20210402309A1 (en) Generating video clip of computer simulation from multiple views
US12041218B2 (en) Three-dimensional content distribution system, three-dimensional content distribution method and computer program
JP2020102236A (en) Content distribution system, receiving device and program
JP7146847B2 (en) Server, method, program, video broadcasting system
JP7162387B1 (en) Performance video display program
JP2020102053A (en) Content distribution system, receiving device and program
JP7445272B1 (en) Video processing method, video processing system, and video processing program
WO2022190917A1 (en) Information processing device, information processing terminal, information processing method, and program
JP6401492B2 (en) Online karaoke system server
JP2023531929A (en) Video template selection based on computer simulation metadata
JP2022156250A (en) Content providing system, server device and program
JP2020108177A (en) Content distribution system, distribution device, reception device, and program
GB2624172A (en) Apparatus and methods for virtual events

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230208

R150 Certificate of patent or registration of utility model

Ref document number: 7225159

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150