JP6581742B1 - Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造 - Google Patents

Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造 Download PDF

Info

Publication number
JP6581742B1
JP6581742B1 JP2019059898A JP2019059898A JP6581742B1 JP 6581742 B1 JP6581742 B1 JP 6581742B1 JP 2019059898 A JP2019059898 A JP 2019059898A JP 2019059898 A JP2019059898 A JP 2019059898A JP 6581742 B1 JP6581742 B1 JP 6581742B1
Authority
JP
Japan
Prior art keywords
data
avatar
raw
unit
distribution server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019059898A
Other languages
English (en)
Other versions
JP2020162004A (ja
Inventor
進之介 岩城
進之介 岩城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Priority to JP2019059898A priority Critical patent/JP6581742B1/ja
Priority to JP2019157622A priority patent/JP7324659B2/ja
Application granted granted Critical
Publication of JP6581742B1 publication Critical patent/JP6581742B1/ja
Priority to CN201980094819.XA priority patent/CN113646752B/zh
Priority to US17/598,825 priority patent/US11995768B2/en
Priority to PCT/JP2019/041677 priority patent/WO2020194821A1/ja
Publication of JP2020162004A publication Critical patent/JP2020162004A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】３Ｄ空間を３Ｄのまま残すことができ、かつ、データをコンパクトにすることができるＶＲ生写真配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびＶＲ生写真データのデータ構造を提供すること。【解決手段】モーションデータにアバターのデータをレンダリングした３ＤＣＧの映像と、アバターが存在する３次元空間の３ＤＣＧの映像とを少なくとも含むＶＲ映像を生放送で配信するＶＲ生放送配信システムであって、配信者または視聴者からのＶＲ生写真の撮影指示を入力する撮影指示入力部と、撮影指示に基づいて、アバターを含む３次元空間全体の外観のデータを構築する外観データ構築部と、外観データ構築部により構築したアバターを含む３次元空間全体の外観のデータを、ＶＲ生写真のデータとして配信するＶＲ生写真データ配信部と、ＶＲ生写真を表示する表示部と、を備える。【選択図】図２

Description

本発明は、ＶＲ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびＶＲ生写真データのデータ構造に関する。
仮想環境を含むビデオゲームにおいては、ユーザがゲームを休止し、３次元（以下、３Ｄとも称する。）プリントのための３Ｄスナップショットを撮影することができる。例えば、特許文献１においては、３Ｄスナップショットが選択されると、ゲーム内ジオメトリを補足的ジオメトリで補足する技術が用いられている。この技術では、仮想ゲーム環境の構成要素を、モデルの最終プリント物理形態においてモデルを支持するように計算し、３Ｄプリンタジオメトリ内の構造形状を有するように修正している。
特開２０１６−１６３９９６号公報
ところで、従来のようにカメラで撮影した配信者等の映像を生放送する代わりに、配信者のモーションデータにアバターのデータをレンダリングさせて、３Ｄ空間にいるアバターの映像を生放送で配信するサービスが提供されている。
また、このようなサービスで用いることが可能な自作のアバターのデータなどを公開し、シェアすることができるプラットホームも提供されている。
上述のようなサービスにおいては、単に３Ｄ空間にいるアバターの映像を配信するだけではなく、生放送中に記念撮影をして、写真を視聴者に配布するということが考えられている。
この写真は、特許文献１のような３Ｄスナップショットではなく、３Ｄ空間を３Ｄのまま残して配布することが想定されている。３Ｄの写真を配布することにより、アバターおよびアバターがいる部屋の様子だけでなく、その部屋がある家を外側から見たり、さらにその周囲の景色等を自由な角度から見たりすることが可能となる。
しかしながら、このような３Ｄの写真を配布しようとすると、３Ｄ空間全体はデータ量が大きくなるので、配布するデータをコンパクトにまとめる必要があるという課題があった。
そこで、本発明は、３Ｄ空間を３Ｄのまま残すことができ、かつ、データをコンパクトにすることができるＶＲ生写真配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびＶＲ生写真データのデータ構造を提供することを課題とする。
前記課題を解決するため、本発明に係るＶＲ生放送配信システムの一態様は、
配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした３次元コンピュータグラフィックスの映像と、前記アバターが存在する３次元空間の３次元コンピュータグラフィックスの映像とを少なくとも含むＶＲ（バーチャル・リアリティ）映像を生放送で配信するＶＲ生放送配信システムであって、
前記配信者端末および前記視聴者端末に備えられ、配信者または視聴者からのＶＲ生写真の撮影指示を入力する撮影指示入力部と、
前記配信者端末および前記配信サーバの少なくともいずれか一方に備えられ、
前記撮影指示に基づいて、前記アバターを含む前記３次元空間全体の外観のデータを構築する外観データ構築部と、
前記配信者端末および前記配信サーバの少なくともいずれか一方に備えられ、
前記外観データ構築部により構築した前記アバターを含む前記３次元空間全体の外観のデータを、前記ＶＲ生写真のデータとして配信するＶＲ生写真データ配信部と、
前記配信者端末および前記視聴者端末に備えられ、
前記ＶＲ生写真を表示する表示部と、を備える。
本明細書において、「アバターを含む前記３次元空間全体の外観のデータ」は、アバターとそれ以外の家具等のオブジェクトとの区別をせずに、３次元空間に存在するすべての物の表面の座標データとテクスチャ（色含む）データを含む概念である。
前記態様によれば、撮影指示入力部により、配信者または視聴者からのＶＲ生写真の撮影指示が入力されると、外観データ構築部は、撮影指示に基づいて、アバターを含む前記３次元空間全体の外観のデータを構築する。ＶＲ生写真データ配信部は、外観データ構築部により構築したアバターを含む前記３次元空間全体の外観のデータを、ＶＲ生写真のデータとして配信する。配信者端末および視聴者端末においては、表示部によりＶＲ生写真が表示される。このように、ＶＲ生写真の画像は、キャプチャされたＶＲ映像の１コマを切り取ったものでなく、ＶＲ生写真データに基づいて生成したＶＲ画像であるため、視聴者および配信者は、ＶＲ生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することが可能となる。また、ＶＲ生写真画像は、３Ｄのまま保存されたＶＲ生写真データに基づいているため、視聴者および配信者は、ＶＲ生写真の画角を変化させ、いわゆる引きの画像を視聴することが可能となる。さらに、ＶＲ生写真画像は、以上のようなＶＲ生写真データに基づいているため、３Ｄ空間をキャプチャされた写真としてではなく、３Ｄのデータのまま残して、配布することが可能となる。３Ｄ空間全体はデータ量が大きいが、ＶＲ生写真データは、アバターを含む３次元空間に存在するすべての物の表面の座標データとテクスチャ（色含む）データを切り出して生成し、配信するので、配信サーバの負荷を減らすことが可能となる。
本発明に係るＶＲ生放送配信システムの他の態様においては、前記ＶＲ生写真データ配信部は、前記３次元空間のうち、所定の基準位置から所定距離以上離れた遠景については、データ容量を下げたデータを前記ＶＲ生写真データに含めて配信するようにしてもよい。データ容量を下げたデータとしては、例えば、２次元の画像のデータが挙げられる。この態様によれば、配信するＶＲ生写真データの簡略化を行うことができ、配信サーバの負荷をより一層減らすことが可能となる。
前記課題を解決するため、本発明に係る配信サーバの一態様は、
配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした映像、および前記アバターが存在する３次元空間の映像を含むＶＲ映像を生放送で配信するＶＲ生放送配信システムにおける配信サーバであって、
前記配信者端末または前記視聴者端末からのＶＲ生写真の撮影指示に基づいて、前記アバターを含む前記３次元空間全体の外観のデータを構築する外観データ構築部と、
前記外観データ構築部により構築した前記アバターを含む前記３次元空間全体の外観のデータを、前記ＶＲ生写真のデータとして配信するＶＲ生写真データ配信部と、を備える。
この態様によれば、外観データ構築部は、撮影指示に基づいて、アバターのデータからアバターの外観のデータを構築する。ＶＲ生写真データ配信部は、外観データ構築部により構築したアバターを含む前記３次元空間全体の外観のデータを、ＶＲ生写真のデータとして配信する。このように、ＶＲ生写真の画像は、キャプチャされたＶＲ映像の１コマを切り取ったものでなく、ＶＲ生写真データに基づいて生成したＶＲ画像であるため、視聴者および配信者は、ＶＲ生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することが可能となる。また、ＶＲ生写真画像は、３Ｄのまま保存されたＶＲ生写真データに基づいているため、視聴者および配信者は、ＶＲ生写真の画角を変化させ、いわゆる引きの画像を視聴することが可能となる。さらに、ＶＲ生写真画像は、以上のようなＶＲ生写真データに基づいているため、３Ｄ空間をキャプチャされた写真としてではなく、３Ｄのデータのまま残して、配布することが可能となる。３Ｄ空間全体はデータ量が大きいが、ＶＲ生写真データは、アバターを含む３次元空間に存在するすべての物の表面の座標データとテクスチャ（色含む）データを切り出して生成し、配信するので、配信サーバの負荷を減らすことが可能となる。
本発明に係る配信サーバの他の態様においては、前記ＶＲ生写真データ配信部は、前記３次元空間のうち、所定の基準位置から所定距離以上離れた遠景については、データ容量を下げたデータを前記ＶＲ生写真のデータに含めて配信するようにしてもよい。この態様によれば、配信するＶＲ生写真データの簡略化を行うことができ、配信サーバの負荷をより一層減らすことが可能となる。
本発明に係る配信サーバの他の態様においては、前記ＶＲ映像をキャプチャしたキャプチャ映像を前記配信者端末から受信する映像受信部と、前記キャプチャ映像を前記視聴者端末に配信する映像配信部と、を備えてもよい。この態様によれば、ＶＲ映像の生放送においては、ＶＲ映像をキャプチャしたキャプチャ映像が配信されるので、配信サーバの負荷を減らすことが可能となる。
本発明に係る配信サーバの他の態様においては、前記視聴者端末から送信される視聴者のコメントを受信するコメント受信部と、前記受信したコメントを記憶するコメント記憶部と、前記受信したコメントを前記視聴者端末に配信するコメント配信部と、を備えてもよい。この態様によれば、視聴者が入力したコメントが物体化されてＶＲ映像の生放送に配信され、さらにＶＲ生写真として閲覧することが可能となる。
前記課題を解決するため、本発明に係る配信サーバの制御方法の一態様は、
配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした３次元コンピュータグラフィックスの映像と、前記アバターが存在する３次元空間の３次元コンピュータグラフィックスの映像とを少なくとも含むＶＲ（バーチャル・リアリティ）映像を生放送で配信するＶＲ生放送配信システムにおける配信サーバの制御方法であって、
前記配信者端末または前記視聴者端末からのＶＲ生写真の撮影指示に基づいて、外観データ構築部により、前記アバターを含む前記３次元空間全体の外観のデータを構築するステップと、
ＶＲ生写真データ配信部により、前記外観データ構築部により構築した前記アバターを含む前記３次元空間全体の外観のデータを、前記ＶＲ生写真のデータとして配信するステップと、を備える。
前記配信サーバの制御方法の一態様によれば、外観データ構築部は、撮影指示に基づいて、アバターのデータからアバターの外観のデータを構築する。ＶＲ生写真データ配信部は、外観データ構築部により構築したアバターを含む前記３次元空間全体の外観のデータを、ＶＲ生写真のデータとして配信する。このように、ＶＲ生写真の画像は、キャプチャされたＶＲ映像の１コマを切り取ったものでなく、ＶＲ生写真データに基づいて生成したＶＲ画像であるため、視聴者および配信者は、ＶＲ生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することが可能となる。また、ＶＲ生写真画像は、３Ｄのまま保存されたＶＲ生写真データに基づいているため、視聴者および配信者は、ＶＲ生写真の画角を変化させ、いわゆる引きの画像を視聴することが可能となる。さらに、ＶＲ生写真画像は、以上のようなＶＲ生写真データに基づいているため、３Ｄ空間をキャプチャされた写真としてではなく、３Ｄのデータのまま残して、配布することが可能となる。３Ｄ空間全体はデータ量が大きいが、ＶＲ生写真データは、アバターを含む３次元空間に存在するすべての物の表面の座標データとテクスチャ（色含む）データを切り出して生成し、配信するので、配信サーバの負荷を減らすことが可能となる。
前記課題を解決するため、本発明に係る配信サーバのプログラムの一態様は、
配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした３次元コンピュータグラフィックスの映像と、前記アバターが存在する３次元空間の３次元コンピュータグラフィックスの映像とを少なくとも含むＶＲ（バーチャル・リアリティ）映像を生放送で配信するＶＲ生放送配信システムにおける配信サーバのプログラムであって、前記プログラムは、コンピュータに、
前記配信者端末または前記視聴者端末からのＶＲ生写真の撮影指示に基づいて、外観データ構築部により、前記アバターを含む前記３次元空間全体の外観のデータを構築するステップと、
ＶＲ生写真データ配信部により、前記外観データ構築部により構築した前記アバターを含む前記３次元空間全体の外観のデータを、前記ＶＲ生写真のデータとして配信するステップと、を実行させる。
前記配信サーバのプログラムの一態様によれば、外観データ構築部は、撮影指示に基づいて、アバターのデータからアバターの外観のデータを構築する。ＶＲ生写真データ配信部は、外観データ構築部により構築したアバターを含む前記３次元空間全体の外観のデータを、ＶＲ生写真のデータとして配信する。このように、ＶＲ生写真の画像は、キャプチャされたＶＲ映像の１コマを切り取ったものでなく、ＶＲ生写真データに基づいて生成したＶＲ画像であるため、視聴者および配信者は、ＶＲ生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することが可能となる。また、ＶＲ生写真画像は、３Ｄのまま保存されたＶＲ生写真データに基づいているため、視聴者および配信者は、ＶＲ生写真の画角を変化させ、いわゆる引きの画像を視聴することが可能となる。さらに、ＶＲ生写真画像は、以上のようなＶＲ生写真データに基づいているため、３Ｄ空間をキャプチャされた写真としてではなく、３Ｄのデータのまま残して、配布することが可能となる。３Ｄ空間全体はデータ量が大きいが、ＶＲ生写真データは、アバターを含む３次元空間に存在するすべての物の表面の座標データとテクスチャ（色含む）データを切り出して生成し、配信するので、配信サーバの負荷を減らすことが可能となる。
前記課題を解決するため、本発明に係るＶＲ生写真データのデータ構造の一態様は、
配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした３次元コンピュータグラフィックスの映像と、前記アバターが存在する３次元空間の３次元コンピュータグラフィックスの映像とを少なくとも含むＶＲ（バーチャル・リアリティ）映像を生放送で配信するＶＲ生放送配信システムにおいて、前記配信者端末または前記配信サーバから配信されるＶＲ生写真データのデータ構造であって、
前記アバターを含む前記３次元空間全体の外観のデータを少なくとも備える。
前記ＶＲ生写真データのデータ構造の一態様によれば、ＶＲ生写真の画像は、ＶＲ生写真データに基づいて生成したＶＲ画像であるため、視聴者および配信者は、ＶＲ生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することが可能となる。また、ＶＲ生写真画像は、３Ｄのまま保存されたＶＲ生写真データに基づいているため、視聴者および配信者は、ＶＲ生写真の画角を変化させ、いわゆる引きの画像を視聴することが可能となる。さらに、ＶＲ生写真画像は、以上のようなＶＲ生写真データに基づいているため、３Ｄ空間をキャプチャされた写真としてではなく、３Ｄのデータのまま残して、配布することが可能となる。３Ｄ空間全体はデータ量が大きいが、ＶＲ生写真データは、アバターを含む３次元空間に存在するすべての物の表面の座標データとテクスチャ（色含む）データを切り出して生成し、配信するので、配信サーバの負荷を減らすことが可能となる。
本発明によれば、ＶＲ生写真として、３Ｄ空間を３Ｄのまま残すことができ、かつ、データをコンパクトにすることができる。
本発明に係る第１実施形態のＶＲ生放送配信システムを概略的に示す図である。 第１実施形態における配信サーバの構成を概略的に示すブロック図である。 第１実施形態におけるデータサーバの構成を概略的に示すブロック図である。 第１実施形態における配信者端末の構成を概略的に示すブロック図である。 第１実施形態における視聴者端末の構成を概略的に示すブロック図である。 ＶＲ生写真データのデータ構造を概略的に示す図である。 ＶＲ生写真データの生成処理を示すフローチャートである。 視聴者端末および配信者端末において表示されるＶＲ生写真画像の一例を示す図である。 ＶＲ生写真における引きの画像の一例を示す図である。 本発明の第２実施形態における配信サーバの構成を概略的に示すブロック図である。 第２実施形態における配信者端末の構成を概略的に示すブロック図である。 本発明の第３実施形態における配信サーバの構成を概略的に示すブロック図である。 第３実施形態における配信者端末の構成を概略的に示すブロック図である。 第３実施形態における視聴者端末の構成を概略的に示すブロック図である。 第５実施形態における配信サーバの構成を概略的に示すブロック図である。 第５実施形態における配信者端末の構成を概略的に示すブロック図である。
（第１実施形態）
以下、本発明の第１実施形態について図面を参照しつつ説明する。図１は、本実施形態のＶＲ生放送配信システムを概略的に示す図である。図２は、本実施形態における配信サーバの構成を概略的に示すブロック図である。図３は、本実施形態におけるデータサーバの構成を概略的に示すブロック図である。図４は、本実施形態における配信者端末の構成を概略的に示すブロック図である。図５は、本実施形態における視聴者端末の構成を概略的に示すブロック図である。
（ＶＲ生放送配信システム）
図１に示すように、本実施形態におけるＶＲ生放送配信システム１００は、配信サーバ１と、データサーバ２と、配信者端末３と、視聴者端末４と、インターネット等のネットワーク５とを備える。配信サーバ１は、ネットワーク５を介して、配信者端末３、および視聴者端末４と通信可能となっている。また、配信者端末３は、配信サーバ１だけでなく、データサーバ２ともネットワーク５を介して通信可能となっている。
複数台の配信者端末３および視聴者端末４をネットワーク５に接続することが可能であるが、本実施形態では、説明の簡略化のために、１台の配信者端末３をネットワーク５に接続した例について説明する。
図２に示すように、配信サーバ１は、記憶部１０と、制御部１１と、通信部１２とを備える。記憶部１０は、例えばＨＤＤ（Hard Disk Drive）等から構成される。記憶部１０には、本発明の配信サーバ１のプログラムが記憶される。また、記憶部１０は、ＶＲ映像データ記憶領域１０Ａ、ＶＲ生写真データ記憶領域１０Ｂ、およびコメントデータ記憶領域１０Ｃを備えている。
ＶＲ映像データ記憶領域１０Ａには、配信者端末３から送信されるアバターの３次元コンピュータグラフィックス（以下、３ＤＣＧとも称する。）の映像を含むＶＲ映像をキャプチャした映像のデータが記憶される。ＶＲ生写真データ記憶領域１０Ｂには、配信者端末３から送信されるＶＲ生写真のデータが記憶される。コメント記憶部としてのコメントデータ記憶領域１０Ｃには、視聴者端末４から送信されるコメントのデータが記憶される。ＶＲ映像、ＶＲ映像をキャプチャした映像、ＶＲ生写真、およびコメントの詳細については後述する。
制御部１１は、ＣＰＵ等から構成され、配信サーバ１の全体の動作を制御する。上述した各データを記憶部１０に記憶させる動作も制御部１１の制御により行われる。また、制御部１１は、映像配信部としてのＶＲ映像データ配信部１１Ａ、ＶＲ生写真データ配信部１１Ｂ、およびコメント配信部としてのコメントデータ配信部１１Ｃの機能を備えている。
ＶＲ映像データ配信部１１Ａは、記憶部１０のＶＲ映像データ記憶領域１０Ａに記憶させたＶＲ映像をキャプチャした映像のデータを、配信者端末３および視聴者端末４に通信部１２を介して配信する。
ＶＲ生写真データ配信部１１Ｂは、記憶部１０のＶＲ生写真データ記憶領域１０Ｂに記憶させたＶＲ生写真のデータを、配信者端末３および視聴者端末４に通信部１２を介して配信する。
コメントデータ配信部１１Ｃは、記憶部１０のコメントデータ記憶領域１０Ｃに記憶されたコメントのデータを、配信者端末３に通信部１２を介して配信する。
通信部１２は、ネットワーク５を用いたデータの通信を行うインターフェースである。本実施形態では、一例として、ネットワーク５にインターネットを用いており、通信部１２は、インターネットによりデータの通信を行うインターフェースである。配信サーバ１は、ネットワーク５を介して、配信者端末３、および視聴者端末４と通信可能となっている。
＜データサーバ＞
図３に示すように、データサーバ２は、記憶部２０と、制御部２１と、通信部２２とを備える。記憶部２０は、例えばＨＤＤ（Hard Disk Drive）等から構成される。記憶部２０には、データサーバ２のプログラムが記憶される。また、記憶部２０は、アバターデータ記憶領域２０Ａ、および３Ｄ空間データ記憶領域２０Ｂを備えている。
アバターデータ記憶領域２０Ａには、配信者端末３または視聴者端末４、あるいは配信者端末３と視聴者端末４以外のユーザの端末（図示せず）から送信されるバーチャルキャラクターのアバターのデータが記憶される。３Ｄ空間データ記憶領域２０Ｂには、配信者端末３または視聴者端末４、あるいは配信者端末３と視聴者端末４以外のユーザの端末から送信される３Ｄ空間データが記憶される。アバターのデータ、および３Ｄ空間データの詳細については後述する。
制御部２１は、ＣＰＵ等から構成され、データサーバ２の全体の動作を制御する。上述した各データを記憶部２０に記憶させる動作も制御部２１の制御により行われる。また、制御部２１は、データ配信部２１Ａとしての機能を備えている。
データ配信部２１Ａは、記憶部２０のアバターデータ記憶領域２０Ａに記憶されたバーチャルキャラクターのアバターのデータ、および、記憶部２０の３Ｄ空間データ記憶領域２０Ｂに記憶された３Ｄ空間データを、配信者端末３に通信部２２を介して配信する。
通信部２２は、ネットワーク５を用いたデータの通信を行うインターフェースである。本実施形態では、一例として、ネットワーク５にインターネットを用いており、通信部２２は、インターネットによりデータの通信を行うインターフェースである。データサーバ２は、ネットワーク５を介して、配信者端末３または視聴者端末４、あるいは配信者端末３と視聴者端末４以外のユーザの端末と通信可能となっている。
＜配信者端末＞
図４に示すように、配信者端末３は、記憶部３０と、制御部３１と、キャプチャ部３２と、表示部３３と、入力部３４と、通信部３５とを備える。記憶部３０は、例えばＨＤＤ（Hard Disk Drive）等から構成される。記憶部３０には、配信者端末３のプログラムが記憶される。また、記憶部３０は、アバターデータ記憶領域３０Ａ、３Ｄ空間データ記憶領域３０Ｂ、コメントデータ記憶領域３０Ｃ、およびＶＲ生写真データ記憶領域３０Ｄを備えている。配信者端末３の一例としては、パーソナルコンピュータ、またはヘッドマウントディスプレイ等の装置が挙げられる。
アバターデータ記憶領域３０Ａには、配信者端末３のユーザ（以下、配信者とも称する。）がデータサーバ２から取得したバーチャルキャラクターのアバターのデータが記憶される。３Ｄ空間データ記憶領域３０Ｂには、配信者がデータサーバ２から取得した３Ｄ空間データが記憶される。コメントデータ記憶領域３０Ｃには、配信サーバ１から配信されるコメントデータが記憶される。ＶＲ生写真データ記憶領域３０Ｄには、配信サーバ１から配信されるＶＲ生写真データが記憶される。
制御部３１は、ＣＰＵ等から構成され、配信者端末３の全体の動作を制御する。上述した各データを記憶部３０に記憶させる動作も制御部３１の制御により行われる。また、制御部３１は、モーションデータ生成部３１Ａ、レンダリング部３１Ｂ、ＶＲ映像表示制御部３１Ｃ、配信映像表示制御部３１Ｄ、およびＶＲ生写真生成部３１Ｅとしての機能を備えている。
モーションデータ生成部３１Ａは、配信者が手や指等に装着したコントローラ（図示せず。以下、同様。）、および配信者が頭部に装着したＶＲ用ヘッドセット（図示せず。以下、同様。）を用いてモーションキャプチャを行うことにより、配信者の身体各部の座標を計測し、配信者の身体動作を３次元時系列のデータとして表すモーションデータを生成する。
レンダリング部３１Ｂは、アバターデータ記憶領域３０Ａに記憶されたアバターのデータと、モーションデータ生成部３１Ａにおいて生成されたモーションデータとを連動させるレンダリング処理を行う。
ＶＲ映像表示制御部３１Ｃは、３Ｄ空間データ記憶領域３０Ｂに記憶された３Ｄ空間データと、コメントデータ記憶領域３０Ｃに記憶されたコメントデータと、レンダリングされたアバターのデータとを用いて、３Ｄ空間内に存在するアバターの３ＤＣＧによるＶＲ映像を表示させる制御を行う。ＶＲ映像は、表示部３３および表示部３３に接続されたＶＲ用のヘッドセットに表示される。
また、ＶＲ映像表示制御部３１Ｃは、配信サーバ１から配信され、ＶＲ生写真データ記憶領域３０Ｄに記憶されるＶＲ生写真データに基づいて、ＶＲ生写真の映像を表示部３３、および表示部３３に接続されたＶＲ用ヘッドセットに表示させる。
配信映像表示制御部３１Ｄは、配信サーバ１から配信され、ＶＲ映像がキャプチャされた映像を、表示部３３および表示部３３に接続されたＶＲ用のヘッドセットに表示させる。
ＶＲ生写真生成部３１Ｅは、撮影指示入力部としての入力部３４または入力部３４に接続されたコントローラ（図示せず）に備えられたシャッターボタンが押下またはクリックされた際に、表示されている３Ｄ空間、アバター、およびコメントのＶＲ映像のデータに基づいて、ＶＲ生写真データを生成する。また、ＶＲ生写真生成部３１Ｅは、視聴者端末４に備えられたシャッターボタンが押下またはクリックされた際にも、ＶＲ生写真データを生成する。
キャプチャ部３２は、表示部３３および表示部３３に接続されたＶＲ用ヘッドセットに表示されるＶＲ映像を、映像データとしてキャプチャし、通信部３５を介して配信サーバ１に送信する。
表示部３３は、ディスプレイおよび表示回路を備え、表示部３３には、ＶＲ用ヘッドセットが接続可能となっている。
入力部３４は、キーボード、およびマウス等のポインティングデバイスと、データ入力用のインターフェースとを備え、入力部３４には、モーションキャプチャを行うためのコントローラが接続される。
通信部３５は、ネットワーク５を用いたデータの通信を行うインターフェースである。本実施形態では、一例として、ネットワーク５にインターネットを用いており、通信部３５は、インターネットによりデータの通信を行うインターフェースである。配信者端末３は、ネットワーク５を介して、配信サーバ１、およびデータサーバ２と通信可能となっている。
＜視聴者端末＞
図５に示すように、視聴者端末４は、記憶部４０と、制御部４１と、表示部４２と、入力部４３と、通信部４４とを備える。視聴者端末４の一例としては、パーソナルコンピュータ等の装置が挙げられる。
記憶部４０は、例えばＨＤＤ（Hard Disk Drive）等から構成される。記憶部４０には、視聴者端末４のプログラムが記憶される。また、記憶部４０は、ＶＲ生写真データ記憶領域４０Ａを備えている。ＶＲ生写真データ記憶領域４０Ａには、配信サーバ１から配信されたＶＲ生写真データが記憶される。
制御部４１は、ＣＰＵ等から構成され、視聴者端末４の全体の動作を制御する。上述したＶＲ生写真データを記憶部４０に記憶させる動作も制御部４１の制御により行われる。また、制御部４１は、ＶＲ映像表示制御部４１Ａ、配信映像表示制御部４１Ｂ、およびコメントデータ制御部４１Ｃとしての機能を備えている。
ＶＲ映像表示制御部４１Ａは、ＶＲ生写真データ記憶領域４０Ａに記憶されたＶＲ生写真データに基づいて、ＶＲ生写真の映像を表示部３３に表示させる制御を行う。
配信映像表示制御部４１Ｂは、配信者端末３においてキャプチャされて配信サーバ１に配信され、再び配信サーバ１から配信されるコメント入りの３Ｄ空間内に存在するアバターのＶＲ映像を、表示部４２に表示させる。
コメントデータ制御部４１Ｃは、視聴者としての視聴者端末４のユーザが、入力部４３により入力したコメントのデータを、配信サーバ１に通信部４４を介して送信する。
表示部４２は、ディスプレイおよび表示回路を備え、３Ｄ空間およびコメントを含むアバターのＶＲ映像、並びに、ＶＲ生写真の映像を表示する。
入力部４３は、キーボード、およびマウス等のポインティングデバイスと、データ入力用のインターフェースとを備える。
通信部４４は、ネットワーク５を用いたデータの通信を行うインターフェースである。本実施形態では、一例として、ネットワーク５にインターネットを用いており、通信部４４は、インターネットによりデータの通信を行うインターフェースである。視聴者端末４は、ネットワーク５を介して、配信サーバ１と通信可能となっている。
＜ＶＲ映像配信＞
（１）データの選択
次に、本実施形態におけるＶＲ映像配信について説明する。ＶＲ映像を配信するに当たっては、まず、配信者が、配信者端末３を用いてアバター用プラットホームにアクセスし、バーチャルキャラクターのアバターの選択とアバターのデータの取得を行う。
アバター用プラットホームは、ウェブブラウザによりアクセスすることができる。アバターの作成者は、配信者端末３および視聴者端末４と同様の端末装置を用いてウェブブラウザにアクセスし、作成したアバターのデータをデータサーバ２にアップロードする。
アバターのデータは、ポリゴンデータと、バーチャルキャラクターの外表面を形作るテクスチャデータと、ボーンデータとを含む。これらのデータは、ＶＲＭ等の所定のファイル形式でデータサーバ２の記憶部２０におけるアバターデータ記憶領域２０Ａに保存される。
アップロードされたアバターのデータは、アバター用プラットホームにおいては、アイコンまたはアイキャッチ画像で一覧表示されている。配信者端末３のユーザは、ウェブブラウザによりアバター用プラットホームにアクセスし、一覧表示されたアイコンまたはアイキャッチ画像から、所望のアバターを選択し、アバターのデータを配信者端末３にダウンロードすることができる。この場合、配信者端末３の制御部３１は、ダウンロードしたアバターのデータを、記憶部３０のアバターデータ記憶領域３０Ａに記憶させる。
アバター用プラットホームにおいては、アバターのデータだけでなく、バーチャルキャラクターのアバターが存在する部屋等を表現した３Ｄ空間のデータ、および、部屋等に置かれる花等のアクセサリのデータを選択することができる。これらのデータも、ＶＲＭ等の所定のファイル形式でデータサーバ２の記憶部２０におけるアバターデータ記憶領域２０Ａに保存される。
配信者は、ウェブブラウザによりアバター用プラットホームにアクセスし、一覧表示されたアイコンまたはアイキャッチ画像から、所望の３Ｄ空間のデータ、あるいはアクセサリのデータを選択し、これらのデータを配信者端末３にダウンロードすることができる。この場合、配信者端末３の制御部３１は、ダウンロードしたデータを、記憶部３０の空間データ記憶領域３０Ｂに記憶させる。
（２）ＶＲ映像配信
配信者は、ＶＲ映像配信を行うために、ＶＲ用スタジオアプリケーションと、ＶＲ用スタジオアプリケーションにて生成したスタジオの様子をキャプチャして映すためのエンコーダアプリケーションとを、予め配信者端末３にダウンロードし、インストールしておく。
ＶＲ用スタジオアプリケーションは、ＶＲ空間にスタジオを作るアプリケーションであり、エンコーダアプリケーションは、ＶＲ用スタジオアプリケーションによって作成されたスタジオの様子をキャプチャして配信プラットホームに映すエンコーダのアプリケーションである。
配信者は、ＶＲ映像配信を行う場合には、ＶＲ用スタジオアプリケーションを起動させる。この際、配信者端末３には、ＶＲ用ヘッドセットとコントローラを接続しておく。
配信者は、予めダウンロードしておいたアバターのデータを選択し、また、３Ｄ空間のデータ、および必要な場合には、アクセサリのデータを選択する。
以上のような選択が行われると、配信者端末３のレンダリング部３１Ｂは、アバターデータ記憶領域３０Ａに記憶されたアバターデータと、モーションデータ生成部３１Ａにおいて生成されたモーションデータとを連動させるレンダリング処理を行う。また、配信者端末３のＶＲ映像表示制御部３１Ｃは、空間データ記憶領域３０Ｂに記憶された空間データと、レンダリングされたアバターデータとを用いて、３Ｄ空間内に存在するアバターのＶＲ映像を表示させる制御を行う。ＶＲ映像は、表示部３３および表示部３３に接続されたＶＲ用のヘッドセットに表示される。
アバターの動きは、配信者の頭部に装着したＶＲ用ヘッドセットに加え、配信者における両手のコントローラの位置が反映される。また、コントローラにトラックパッドが備えられている場合には、トラックパッドを操作することにより、アバターの表情を変更することもできる。
ＶＲ用ヘッドセットおよびコントローラの動きは、配信者端末３のモーションデータ生成部３１Ａによりモーションデータとして生成される。モーションデータは、ＶＲ用ヘッドセットおよびコントローラを装着したユーザの様々な動作を、動作毎に記憶したデータであり、具体的には、ボーンデータを構成するジョイントの位置と、ジョイントに接続されるボーンの位置とについての時系列変化を示すデータである。
したがって、モーションデータをアバターのデータに適用することにより、配信者の動きに応じて、アバターに、歩く、走る、手を振る、ステップを踏むなどの様々な動作をさせることができる。
配信者端末３のレンダリング部３１Ｂは、アバターのデータと、以上のようなモーションデータとを連動させるレンダリング処理を行い、配信者端末３のＶＲ映像表示制御部３１Ｃは、レンダリングされたアバターデータを用いて、３Ｄ空間内に存在するアバターのＶＲ映像を表示させる。
次に、配信者が、ＶＲ用スタジオアプリケーションにおいて表示される配信ボタンを押下すると、以上のようにしてＶＲ空間に表示されるアバター、３Ｄ空間、およびアクセサリの映像は、配信者端末３のキャプチャ部３２によりキャプチャされる。キャプチャ部３２は、エンコーダアプリケーションにより以上のようなキャプチャ動作を行う。キャプチャされたアバター等の映像は、配信者端末３の配信映像表示制御部３１Ｄにより、配信者端末３から配信サーバ１に配信される。配信映像表示制御部３１Ｄは、配信者端末３から配信プラットホームにアクセスすることにより動作する。配信プラットホームは、ウェブブラウザによりアクセス可能となっている。
配信サーバ１のＶＲ映像配信部１１Ａは、配信者端末３から配信されたアバター等の映像を、視聴者端末４に配信する。視聴者端末４の配信映像表示制御部４１Ｂは、配信サーバ１から配信されるアバター等の映像を表示部４２に表示させる。このようにして、視聴者は、配信者端末３のユーザの動きに対応して動くアバター等の映像を視聴することができる。
また、視聴者は、アバター等の映像を視聴しながら、視聴者端末４の入力部４３により、コメントを入力することができる。入力されたコメントは、視聴者端末４のコメントデータ制御部４１Ｃにより、通信部４４を介して配信サーバ１に送信される。
配信サーバ１のコメントデータ配信部１１Ｃは、視聴者端末４から受信したコメントデータを記憶部１０のコメントデータ記憶領域１０Ｃに記憶させ、さらに、配信者端末３に配信する。
配信者端末３の制御部３１は、配信サーバ１から受信したコメントデータを、記憶部３０のコメントデータ記憶領域３０Ｃに記憶させ、配信者端末３のＶＲ映像表示制御部は、コメントデータに基づいて物体化させたコメントをＶＲ空間内に例えば移動するように表示させる。
ＶＲ空間に表示されるアバター、３Ｄ空間、アクセサリ、およびコメントの映像は、配信者端末３のキャプチャ部３２によりキャプチャされる。キャプチャされたコメントを含むアバター等の映像は、配信者端末３の配信映像表示制御部３１Ｄにより、配信者端末３から配信サーバ１に配信される。
配信サーバ１のＶＲ映像配信部１１Ａは、配信者端末３から配信されたコメントを含むアバター等の映像を、視聴者端末４に配信する。視聴者端末４の配信映像表示制御部４１Ｂは、配信サーバ１から配信されるコメントを含むアバター等の映像を表示部４２に表示させる。このようにして、視聴者は、配信者端末３のユーザの動きに対応して動くアバター等の映像と共に、視聴者によって入力され物体化されたコメントを視聴することができる。
＜ＶＲ生写真生成＞
次に、本実施形態におけるＶＲ生写真の生成について説明する。本実施形態においては、アバター等のＶＲ映像の配信中に、ＶＲ生写真を生成することができる。ＶＲ生写真とは、キャプチャされたＶＲ映像の１コマを切り取るのではなく、シャッターボタンが押下された瞬間における３Ｄ空間にあるすべての物の表面の座標データとテクスチャ（色含む）データを切り出し、３Dジオラマのような感覚で３D空間全体のＶＲ生写真が生成される。つまり、ＶＲ生写真を生成する際には、アバターとそれ以外の家具等のオブジェクトとの区別はされない。
本実施形態におけるＶＲ生写真データ６０は、図６に示すように、シャッターボタンが押下された瞬間における３Ｄ空間にあるすべての物の表面の座標データ６０Ａと、同瞬間におけるテクスチャ（色含む）データ６０Ｂとを含む。このように、ＶＲ生写真データ６０には、ポリゴンデータ、モーションデータおよびボーンデータは含まれていない。
次に、図７のフローチャートに基づいて、本実施形態におけるＶＲ生写真データの生成処理と配信処理について説明する。図７は、本実施形態におけるＶＲ生写真データの生成処理と配信処理を示すフローチャートである。
本実施形態においては、ＶＲ用スタジオアプリケーションは、配信者端末３だけでなく、視聴者端末４においてもダウンロードされ、インストールされているものとする。ＶＲ用スタジオアプリケーションを配信者端末３または視聴者端末４において起動させると、ＶＲ用スタジオアプリケーションには、シャッターボタンが表示される。このシャッターボタンを配信者端末３または視聴者端末４のユーザが押下することにより（図７：Ｓ１；ＹＥＳ）、ＶＲ生写真の生成が開始される。
シャッターボタンは、配信者端末３のＶＲ用スタジオアプリケーションのみに設け、視聴者端末４のユーザからのリクエスト、あるいは、配信者端末３のユーザの声かけにより、配信者端末３のユーザがシャッターボタンを押下するようにしてもよい。
上述したシャッターボタンが押下されると、配信者端末３の外観データ構築部としてのＶＲ生写真データ生成部３１Ｅは、アバターを含む前記３Ｄ空間全体の外観のデータを切り出し、配信者端末３の記憶部３０におけるＶＲ生写真データ記憶領域３０Ｄに記憶させる（図７：Ｓ２）。
配信者端末３のＶＲ生写真データ生成部３１Ｅは、ＶＲ生写真データ記憶領域３０Ｄに記憶させたアバターを含む前記３Ｄ空間全体の外観のデータを、ＶＲ生写真データとして生成し、配信サーバ１に通信部３５を介して送信する（図７：Ｓ３）。
配信サーバ１のＶＲ生写真データ配信部１１Ｂは、配信者端末３から送信されたＶＲ生写真データを、記憶部１０のＶＲ生写真データ記憶領域１０Ｂに記憶させ（図７：Ｓ４）、さらに、通信部１２を介して、ＶＲ生写真データを視聴者端末４および配信者端末３に配信する（図７：Ｓ５，Ｓ６）。
視聴者端末４の制御部４１は、配信サーバ１からＶＲ生写真データを、視聴者端末４の記憶部４０におけるＶＲ生写真データ記憶領域４０Ａに記憶させる。また、視聴者端末４のＶＲ映像表示制御部４１Ａは、ＶＲ生写真データ記憶領域４０Ａに記憶されたＶＲ生写真データに基づいて、アバターのＶＲ生写真画像を生成し、表示部４２に表示させる。また、ＶＲ映像表示制御部４１Ａは、ＶＲ生写真データに基づいて、３Ｄ空間、および存在する場合にはアクセサリおよびコメントのＶＲ生写真画像を生成し、表示部４２に表示させる。
配信者端末３のＶＲ映像表示制御部３１Ｃは、配信者端末３の記憶部３０におけるＶＲ生写真データ記憶領域３０Ｄに記憶させたＶＲ生写真データに基づいて、アバターを含む３Ｄ空間全体のＶＲ生写真画像を生成し、表示部３３および表示部３３に接続したＶＲ用ヘッドセットに表示させる。
図８は、視聴者端末４および配信者端末３において表示されるＶＲ生写真画像５０の一例を示す図である。図８に示すように、ＶＲ生写真画像５０は、アバター５１、３Ｄ空間としての部屋５２、およびアクセサリとしての花５３の画像を含んでいる。図８に示す例においては、コメントの画像は省略している。
ＶＲ生写真画像５０は、上述したように、キャプチャされたＶＲ映像の１コマを切り取ったものでなく、ＶＲ生写真データに基づいて生成したＶＲ画像であるため、視聴者および配信者は、ＶＲ生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することができる。
さらに、視聴者および配信者は、ＶＲ生写真の画角を変化させ、いわゆる引きの画像を視聴することもできる。図９は、ＶＲ生写真における引きの画像の一例を示す図である。図９に示す例では、部屋５２がある建物５４の全体の画像をＶＲ生写真として表示している。
また、本実施形態によれば、３Ｄ空間をキャプチャされた写真としてではなく、３Dのデータのまま残して、配布することができる。３D空間全体はデータ量が大きいが、本実施形態では、アバターのデータから、ボーンデータおよびモーションデータを用いずに、ポリゴンデータとテクスチャデータだけを切り出してＶＲ生写真データを生成し、配信するので、配信サーバ１の負荷を減らすことができる。
（第２実施形態）
次に、本発明の第２実施形態について添付図面を参照しつつ説明する。第１実施形態においては、配信者端末３においてＶＲ生写真データを生成する態様について説明したが、ＶＲ生写真データは、配信サーバ１において生成し、配信するようにしてもよい。
図１０は、本実施形態における配信サーバの構成を概略的に示すブロック図である。図１１は、本実施形態における配信者端末の構成を概略的に示すブロック図である。図１０に示すように、本実施形態の配信サーバ１は、制御部１１において、ＶＲ生写真生成部１１Ｄの機能を有しているところが第１実施形態と異なる。さらに、本実施形態の配信者端末３は、図１１に示すように、制御部３１において、ＶＲ生写真生成部３１Ｅの機能を有していないところが第１実施形態と異なる。
本実施形態においては、配信者端末３または視聴者端末４においてシャッターボタンが押下されると、配信者端末３の制御部３１は、ＶＲ映像表示制御部３１Ｃによって生成されたアバターのデータから、シャッターボタンが押下された瞬間におけるポリゴンデータとテクスチャデータを切り出し、配信サーバ１に送信する。
配信者端末３の制御部３１は、さらに、シャッターボタンが押下された瞬間のアバターを含む３Ｄ空間全体のデータを配信サーバ１に送信する。
配信サーバ１のＶＲ生写真生成部１１Ｄは、配信者端末３から受信したアバターを含む３Ｄ空間全体のデータを、記憶部１０のＶＲ生写真データ記憶領域１０Ｂに記憶させる。また、ＶＲ生写真生成部１１Ｄは、配信者端末３から受信した空間データ、および存在する場合にはアクセサリデータを、記憶部１０のＶＲ生写真データ記憶領域１０Ｂに記憶させる。
配信サーバ１のＶＲ生写真生成部１１Ｄは、ＶＲ生写真データ記憶領域１０Ｂに記憶させたアバターを含む３Ｄ空間全体のデータからなるＶＲ生写真データを、配信者端末３および視聴者端末４に通信部１２を介して送信する。
視聴者端末４の制御部４１は、配信サーバ１から送信されたＶＲ生写真データを、視聴者端末４の記憶部４０におけるＶＲ生写真データ記憶領域４０Ａに記憶させる。また、視聴者端末４のＶＲ映像表示制御部４１Ａは、ＶＲ生写真データ記憶領域４０Ａに記憶されたＶＲ生写真データに基づいて、アバターを含む３Ｄ空間全体のＶＲ生写真画像を生成し、表示部４２に表示させる。
配信者端末３のＶＲ映像表示制御部３１Ｃは、配信サーバ１から送信されたＶＲ生写真データを、配信者端末３の記憶部３０におけるＶＲ生写真データ記憶領域３０Ｄに記憶させる。また、ＶＲ映像表示制御部３１Ｃは、ＶＲ生写真データ記憶領域３０Ｄに記憶させたＶＲ生写真データに基づいて、アバターを含む３Ｄ空間全体のＶＲ生写真画像を生成し、表示部３３および表示部３３に接続したＶＲ用ヘッドセットに表示させる。
以上のように、ＶＲ生写真データを生成する主体は、配信者端末３ではなく、配信サーバ１であってもよい。この場合でも、配信サーバ１は、３Ｄ空間をキャプチャした写真としてではなく、３ＤのデータのままでＶＲ生写真データとして配布することができる。３Ｄ空間全体はデータ量が大きいが、本実施形態では、アバターを含む３Ｄ空間全体のデータだけを切り出してＶＲ生写真データを生成し、配信するので、配信サーバ１の負荷を減らすことができる。
（第３実施形態）
次に、本発明の第３実施形態について添付図面を参照しつつ説明する。上述した実施形態においては、ＶＲ映像を生放送する態様について説明したが、生放送後の任意の時間にＶＲ映像を再生する、いわゆる３Ｄタイムシフト再生を行うようにしてもよい。
図１２は、本実施形態における配信サーバの構成を概略的に示すブロック図である。図１３は、本実施形態における配信者端末の構成を概略的に示すブロック図である。図１４は、本実施形態における視聴者端末の構成を概略的に示すブロック図である。
図１２に示すように、本実施形態における配信サーバ１は、記憶部１０において、タイムシフトデータ記憶領域１０Ｄを備えているところが第１実施形態と異なる。また、本実施形態における配信サーバ１は、制御部１１において、タイムシフトデータ配信部１１Ｅの機能を備えているところが第１実施形態と異なる。
図１３に示すように、本実施形態における配信者端末３は、記憶部１０において、タイムシフトデータ記憶領域３０Ｅを備えているところが第１実施形態と異なる。
図１４に示すように、本実施形態における視聴者端末４は、記憶部４０において、タイムシフトデータ記憶領域４０Ｂを備えているところが第１実施形態と異なる。また、本実施形態における視聴者端末４は、制御部４１において、レンダリング部４１Ｄ、およびＶＲ生写真生成部４１Ｅの機能を備えているところが第１実施形態と異なる。
本実施形態においては、視聴者は、３Ｄタイムシフト再生を行うために、ＶＲ用スタジオアプリケーションを、予め視聴者端末４にダウンロードしておく。
配信者は、ＶＲ映像の生放送を行う際に、予めダウンロードしておいたアバターのデータを選択し、また、３Ｄ空間のデータおよびアクセサリのデータをしておいた場合には、それらのデータを選択する。このように選択されたデータは、ＶＲ映像の生放送に用いられるだけでなく、本実施形態においては、３Ｄタイムシフト再生のために配信サーバ１に送信される。本実施形態における配信者端末３の制御部３１は、このように選択されたアバターのデータ、並びに、必要な場合には３Ｄ空間のデータおよびアクセサリのデータを、配信サーバ１に通信部３５を介して送信する。
配信サーバ１の制御部１１は、配信者端末３から送信されたアバターのデータ、３Ｄ空間のデータおよびアクセサリのデータを、記憶部１０のタイムシフトデータ記憶領域１０Ｄに記憶させる。
配信者端末３のモーションデータ生成部３１Ａは、ＶＲ映像の生放送を行う際に、ＶＲ用ヘッドセットとコントローラの操作に応じてモーションデータを生成する。生成されたモーションデータは、ＶＲ映像の生放送に用いられるだけでなく、本実施形態においては、配信サーバ１に送信される。配信者端末３の制御部３１は、モーションデータ生成部３１Ａにより生成されたモーションデータを、配信サーバ１に通信部３５を介して送信する。
配信サーバ１の制御部１１は、配信者端末３から送信されたモーションデータを、記憶部１０のタイムシフトデータ記憶領域１０Ｄに記憶させる。
以上のようにして、配信サーバ１における記憶部１０のタイムシフトデータ記憶領域１０Ｄには、ＶＲ映像の生放送に用いられたアバターのデータ、並びに、配信者が選択した場合には３Ｄ空間のデータおよびアクセサリのデータが記憶される。また、タイムシフトデータ記憶領域１０Ｄには、ＶＲ映像の生放送に用いられたモーションデータが記憶される。
３Ｄタイムシフト再生は、配信者端末３および視聴者端末４にインストールされたＶＲ用スタジオアプリケーションに設けられた３Ｄタイムシフト再生ボタンが押下された場合に実行される。
＜配信者端末３における３Ｄタイムシフト再生＞
配信者が、３Ｄタイムシフト再生を希望し、ＶＲ用スタジオアプリケーションに設けられた３Ｄタイムシフト再生ボタンを押下すると、配信者端末３の制御部３１は、配信サーバ１に対して、３Ｄタイムシフト再生のリクエストを送信する。
配信サーバ１の制御部１１は、配信者端末３から３Ｄタイムシフト再生のリクエストを受信すると、記憶部１０のタイムシフトデータ記憶領域１０Ｄに記憶させたアバターのデータ、およびモーションデータ等から成るタイムシフトデータを、配信者端末３に通信部１２を介して送信する。
配信者端末３の制御部１１は、配信サーバ１から送信されたアバターデータ、およびモーションデータ等から成るタイムシフトデータを、記憶部３０のタイムシフトデータ記憶領域３０Ｅに記憶させる。
配信者端末３のレンダリング部３１Ｂは、タイムシフトデータ記憶領域３０Ｅに記憶させたアバターデータと、モーションデータとを連動させるレンダリング処理を行う。また、配信者端末３のＶＲ映像表示制御部３１Ｃは、タイムシフトデータ記憶領域３０Ｅに記憶させた３Ｄ空間データと、レンダリングされたアバターデータとを用いて、３Ｄ空間内に存在するアバターのＶＲ映像を表示させる制御を行う。ＶＲ映像は、表示部３３および表示部３３に接続されたＶＲ用のヘッドセットに表示される。
タイムシフトデータ記憶領域３０Ｅに記憶させたモーションデータは、ＶＲ映像の生放送の際に、配信者の頭部に装着したＶＲ用ヘッドセット、および配信者における両手のコントローラの位置が反映されたデータである。したがって、ＶＲ映像の生放送のアバターの動作等を３Ｄタイムシフト再生として再現することができる。
＜視聴者端末４における３Ｄタイムシフト再生＞
視聴者が、３Ｄタイムシフト再生を希望し、ＶＲ用スタジオアプリケーションに設けられた３Ｄタイムシフト再生ボタンを押下すると、視聴者端末４の制御部４１は、配信サーバ１に対して、３Ｄタイムシフト再生のリクエストがあったことを送信する。
配信サーバ１の制御部１１は、視聴者端末４から３Ｄタイムシフト再生のリクエストを受信すると、記憶部１０のタイムシフトデータ記憶領域１０Ｄに記憶させたアバターのデータ、およびモーションデータ等から成るタイムシフトデータを、視聴者端末４に通信部１２を介して送信する。
視聴者端末４の制御部４１は、配信サーバ１から送信されたアバターデータ、およびモーションデータ等から成るタイムシフトデータを、記憶部４０のタイムシフトデータ記憶領域４０Ｂに記憶させる。
視聴者端末４のレンダリング部４１Ｄは、タイムシフトデータ記憶領域４０Ｂに記憶させたアバターデータと、モーションデータとを連動させるレンダリング処理を行う。また、視聴者端末４のＶＲ映像表示制御部４１Ａは、タイムシフトデータ記憶領域４０Ｂに記憶させた３Ｄ空間データと、レンダリングされたアバターデータとを用いて、３Ｄ空間内に存在するアバターのＶＲ映像を表示させる制御を行う。ＶＲ映像は、表示部４２に表示される。
タイムシフトデータ記憶領域４０Ｂに記憶させたモーションデータは、ＶＲ映像の生放送の際に、配信者の頭部に装着したＶＲ用ヘッドセット、および配信者における両手のコントローラの位置が反映されたデータである。したがって、ＶＲ映像の生放送のアバターの動作等を３Ｄタイムシフト再生として再現することができる。
＜３Ｄタイムシフト再生中のＶＲ生写真生成＞
次に、本実施形態における３Ｄタイムシフト再生中のＶＲ生写真の生成について説明する。本実施形態においては、３Ｄタイムシフト再生中に、ＶＲ生写真を生成することができる。
配信者端末３または視聴者端末４においてＶＲ用スタジオアプリケーションに設けられたシャッターボタンが押下されると、ＶＲ生写真の生成が開始される。
＜配信者端末３における３Ｄタイムシフト再生中のＶＲ生写真生成＞
配信者端末３においてシャッターボタンが押下されると、配信者端末３のＶＲ生写真生成部３１Ｅは、シャッターボタンが押下された瞬間におけるアバターを含む３Ｄ空間全体のデータを切り出し、配信者端末３の記憶部３０におけるＶＲ生写真データ記憶領域３０Ｄに記憶させる。
配信者端末３のＶＲ映像表示制御部３１Ｃは、配信者端末３の記憶部３０におけるＶＲ生写真データ記憶領域３０Ｄに記憶させたＶＲ生写真データに基づいて、アバターを含む３Ｄ空間全体のＶＲ生写真画像を生成し、表示部３３および表示部３３に接続したＶＲ用ヘッドセットに表示させる。また、ＶＲ映像表示制御部３１Ｃは、ＶＲ生写真データに基づいて、３Ｄ空間、および存在する場合にはアクセサリおよびコメントのＶＲ生写真画像を生成し、表示部３３および表示部３３に接続したＶＲ用ヘッドセットに表示させる。
＜視聴者端末４における３Ｄタイムシフト再生中のＶＲ生写真生成＞
３Ｄタイムシフト再生中に、視聴者端末４においてシャッターボタンが押下されると、視聴者端末４のＶＲ生写真生成部４１Ｅは、シャッターボタンが押下された瞬間におけるアバターを含む３Ｄ空間全体のデータを切り出し、視聴者端末４の記憶部４０におけるＶＲ生写真データ記憶領域４０Ａに記憶させる。
視聴者端末４のＶＲ映像表示制御部４１Ａは、視聴者端末４の記憶部４０におけるＶＲ生写真データ記憶領域４０Ａに記憶させたＶＲ生写真データに基づいて、アバターを含む３Ｄ空間全体のＶＲ生写真画像を生成し、表示部４２に表示させる。
３タイムシフト再生中に生成されたＶＲ生写真画像は、上述したように、キャプチャされたＶＲ映像の１コマを切り取ったものでなく、ＶＲ生写真データに基づいて生成したＶＲ画像であるため、視聴者および配信者は、ＶＲ生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することができる。
さらに、視聴者および配信者は、ＶＲ生写真の画角を変化させ、いわゆる引きの画像を視聴することもできる。
また、本実施形態によれば、配信者端末３および視聴者端末４のそれぞれにタイムシフトデータを保存し、タイムシフトデータに基づくアバターのデータから、ボーンデータおよびモーションデータを用いずに、ポリゴンデータとテクスチャデータだけを切り出してＶＲ生写真データを生成し、配信するので、配信サーバ１の負荷を減らすことができる。
（第４実施形態）
次に、本発明の第４実施形態について説明する。上述した実施形態においては、ＶＲ生写真データを配信する際に、部屋や建物等の３Ｄ空間のデータを簡略化することなく配信する態様について説明した。しかし、３Ｄ空間のデータのうち、簡略化可能なデータについては簡略化して配信してもよい。
例えば、３Ｄ空間のデータには、上述したような建物だけでなく、建物の周囲の背景が含まれる場合がある。背景については、配信者の位置を所定の基準位置として、所定の基準位置からの距離が所定値以内の近景と、配信者端末３のユーザからの距離が所定値を超える遠景とに分けることができる。
配信者からの距離が所定値以内の近景については、視聴者からも比較的によく見える背景であるため、上述した実施形態のようにデータを簡略化することなく配信する。しかし、配信者からの距離が所定値を超える遠景については、視聴者からあまりよく見えない背景であるため、データを簡略化することが可能となる。
第１実施形態のように配信者端末３のＶＲ生写真生成部３１Ｅが、３Ｄ空間データをＶＲ生写真データとして配信サーバ１に配信する場合は、ＶＲ生写真生成部３１Ｅがデータの簡略化を行う。ＶＲ生写真生成部３１Ｅは、配信者からの距離が所定値を超える遠景の３Ｄ空間データを、例えば２Ｄ平面のＶＲ生写真データとして配信サーバ１に配信する。
第２実施形態のように配信サーバ１のＶＲ生写真生成部１１Ｄが、３Ｄ空間データをＶＲ生写真データとして配信者端末３および視聴者端末４に配信する場合は、ＶＲ生写真生成部１１Ｄがデータの簡略化を行う。ＶＲ生写真生成部１１Ｄは、配信者からの距離が所定値を超える遠景の３Ｄ空間データを、例えば２Ｄ平面のＶＲ生写真データとして配信サーバ１に配信する。
簡略化され得るデータとしては、上述の背景のデータ以外にも、物体化された３Ｄコメント、部屋内の備品等のアクセサリ、あるいは、投下されたアイテム等が挙げられる。
本実施形態によれば、ＶＲ生写真データが簡略化されたデータを含むので、配信サーバ１の負荷をより一層減らすことができる。
（第５実施形態）
次に、本発明の第５実施形態について添付図面を参照しつつ説明する。上述した実施形態では、配信者端末３においてレンダリングを行い、ＶＲ生写真データを生成する態様について説明した。しかしながら、本発明はこのような態様に限定される訳ではなく、本実施形態のように、配信サーバ１においてレンダリングを行い、ＶＲ生写真データを生成するようにしてもよい。
図１５は、本実施形態における配信サーバの構成を概略的に示すブロック図である。図１６は、本実施形態における配信者端末の構成を概略的に示すブロック図である。
図１５に示すように、本実施形態の配信サーバ１においては、記憶部１０に、アバターデータ記憶領域１０Ｅと、３Ｄ空間データ記憶領域１０Ｆとが設けられている。また、本実施形態の配信サーバ１においては、制御部１１は、レンダリング部１１Ｆ、ＶＲ映像表示制御部１１Ｇ、およびＶＲ生写真生成部１１Ｈの機能を有している。
図１６に示すように、本実施形態の配信者端末３においては、記憶部１０には、アバターデータ記憶領域３０Ａと、３Ｄ空間データ記憶領域３０Ｂとが設けられていない。制御部１１は、レンダリング部３１ＢとＶＲ生写真生成部３１Ｅの機能が備えられていない。
配信者端末３のユーザである配信者がデータサーバ２から取得したバーチャルキャラクターのアバターのデータは、配信者端末３またはデータサーバ２から配信サーバ１に送信される。また、配信者端末３の配信者がデータサーバ２から取得した３Ｄ空間データは、配信者端末３またはデータサーバ２から配信サーバ１に送信される。
配信者端末３のモーションデータ生成部３１Ａは、配信者が手や指等に装着したコントローラ、および配信者が頭部に装着したＶＲ用ヘッドセットを用いてモーションキャプチャを行うことにより、配信者の身体各部の座標を計測し、配信者の身体動作を３次元時系列のデータとして表すモーションデータを生成する。また、配信者端末３のモーションデータ生成部３１Ａは、生成したモーションデータを配信サーバ１に送信する。
配信者端末３またはデータサーバ２から配信サーバ１に送信されるアバターデータは、配信サーバ１の記憶部１０におけるアバターデータ記憶領域１０Ｅに記憶される。また、配信者端末３またはデータサーバ２から配信サーバ１に送信される３Ｄ空間データは、配信サーバ１の記憶部１０における３Ｄ空間データ記憶領域１０Ｆに記憶される。
配信サーバ１のレンダリング部１１Ｆは、アバターデータ記憶領域３０Ａに記憶されたアバターのデータと、配信者端末３から送信されたモーションデータとを連動させるレンダリング処理を行う。
配信サーバ１のＶＲ映像表示制御部１１Ｇは、３Ｄ空間データ記憶領域１０Ｆに記憶された３Ｄ空間データと、コメントデータ記憶領域１０Ｃに記憶されたコメントデータと、レンダリングされたアバターのデータとを用いて、３Ｄ空間内に存在するアバターの３ＤＣＧによるＶＲ映像を表示させるためのデータを生成する。また、ＶＲ映像表示制御部１１Ｇは、生成したＶＲ映像を表示させるためのデータを、配信者端末３に送信する。
配信者端末３のＶＲ映像表示制御部３１Ｃは、配信サーバ１から送信されるＶＲ映像を表示させるためのデータを表示させるための制御を行い、ＶＲ映像は、配信者端末３の表示部３３および表示部３３に接続されたＶＲ用のヘッドセットに表示される。
配信サーバ１のＶＲ生写真生成部１１Ｈは、配信者端末３の入力部３４または入力部３４に接続されたコントローラ（図示せず）に備えられたシャッターボタンが押下またはクリックされた際に、表示されている３Ｄ空間、アバター、およびコメントのＶＲ映像のデータに基づいて、ＶＲ生写真データを生成する。また、ＶＲ生写真生成部３１Ｅは、視聴者端末４に備えられたシャッターボタンが押下またはクリックされた際にも、ＶＲ生写真データを生成する。さらに、配信サーバ１のＶＲ生写真生成部１１Ｈは、ＶＲ生写真データを配信者端末３および視聴者端末４に送信する。
配信者端末３のＶＲ映像表示制御部３１Ｃは、配信サーバ１のＶＲ写真生成部１１Ｊから送信され、ＶＲ生写真データ記憶領域３０Ｄに記憶されるＶＲ生写真データに基づいて、ＶＲ生写真の映像を表示部３３、および表示部３３に接続されたＶＲ用ヘッドセットに表示させる。
同様に、視聴者端末４の制御部４１は、配信サーバ１から送信されるＶＲ生写真データを、視聴者端末４の記憶部４０におけるＶＲ生写真データ記憶領域４０Ａに記憶させる。また、視聴者端末４のＶＲ映像表示制御部４１Ａは、ＶＲ生写真データ記憶領域４０Ａに記憶されたＶＲ生写真データに基づいて、アバターのＶＲ生写真画像を生成し、表示部４２に表示させる。また、ＶＲ映像表示制御部４１Ａは、ＶＲ生写真データに基づいて、３Ｄ空間、および存在する場合にはアクセサリおよびコメントのＶＲ生写真画像を生成し、表示部４２に表示させる。
以上のように、配信サーバ１においてレンダリングを行い、ＶＲ生写真データを生成する場合でも、視聴者は、配信者端末３のユーザの動きに対応して動くアバター等の映像と共に、視聴者によって入力され物体化されたコメントを視聴することができる。また、視聴者および配信者は、ＶＲ生写真画像を回転させたり、あるいは、アングルを変えたりして視聴することができる。
（変形例）
以上の実施形態は例示であり、この発明の範囲から離れることなく様々な変形が可能である。
上述した実施形態においては、ＶＲ用スタジオアプリケーションによりＶＲ生写真用のシャッターボタンを表示する態様について説明したが、ＶＲ生写真用のシャッターボタンを、ＶＲ生写真撮影開始カウントダウン用の３Dアイテムとして、３Ｄ空間内に表示するようにしてもよい。例えば、看板のような３Dアイテムを３Ｄ空間内に表示させ、この３Dアイテムに「撮影準備中」とか「撮影まで後〇秒」とか「シャッターチャンス」などといった文字を表示させてもよい。あるいは、文字以外の表現でもよい。例えば、３Ｄ空間中のランプ等のアイテムを表示させ、このアイテムを点滅させてもよい。
さらに、配信者端末３において表示されるＶＲ用スタジオの３Ｄ空間内に、配信者用の操作パネルを表示させ、操作パネルにシャッターボタンあるいは撮影カウントダウン開始ボタンを設けてもよい。また、配信者が使用するコントローラにシャッターボタンあるいは撮影カウントダウン開始ボタンを設けてもよい。
ＶＲ用スタジオアプリケーションが、配信者の所定の動作またはポーズを入力として検知して、画面上に「撮影準備中」とか「撮影まで後〇秒」とか「シャッターチャンス」などといった文字を表示させてもよい。あるいは、アイコンなどでこれらの状況を報知してもよい。
上述した実施形態においては、ＶＲ生写真を配信者端末３または視聴者端末４において視聴する態様について説明したが、例えば、配信者が、ＶＲ生写真のデータをアバター用プラットホームにアップロードできるようにしてもよい。
上述した実施形態においては、全ての視聴者端末４にＶＲ生写真データを配信する態様について説明したが、視聴者のうち、課金した視聴者、あるいは当選した視聴者等に対してのみ、ＶＲ生写真データを提供するようにしてもよい。また、直接にＶＲ生写真データを配信するのではなく、ＶＲ生写真を閲覧可能なＵＲＬを教えるなどの方法でもよい。
上述した実施形態においては、ＶＲ生写真を配信者端末３および視聴者端末４においてそれぞれ独立して視聴する態様について説明したが、配信者が、ＶＲ映像の生放送中に、放送画面にＶＲ生写真を映すようにしてもいい。
ＶＲ生写真は、多少の加工またはエフェクトを加えたり、あるいはバーチャルキャラクターに名前をつけて、その名前のサインをＶＲ生写真に加えたりしてもよい。また、ＶＲ生写真にタイムスタンプを付加してもよい。さらに、３Ｄ空間内の備品の一部をランダムで変更してＶＲ生写真データを生成してもよい。また、誰の番組かがわかるように、番組タイトル、またはウォーターマーク等をＶＲ生写真データに埋め込んでもよい。
上述した実施形態では、配信サーバ１およびデータサーバ２を物理的に別々に存在するサーバとして構成した態様について説明した。しかしながら、本発明はこのような態様に限定される訳ではなく、これらのサーバを全て一つのサーバで構成してもよいし、いずれか２種類のサーバを一つのサーバで構成してもよい。
以上の態様に係る各サーバのプログラム、並びに配信者端末３および視聴者端末４のアプリケーションプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、通信網を介した配信の形態で前述のプログラムを提供してコンピュータにインストールすることも可能である。
以上、本発明の実施形態に係るＶＲ生放送配信システム、配信サーバ、配信サーバの制御方法、およびＶＲ生写真データのデータ構造について説明したが、本発明は、これに限定されるものではなく、本発明の要旨を逸脱しない範囲で、種々の変更が可能である。
１ 配信サーバ
２ データサーバ
３ 配信者端末
４ 視聴者端末
５ ネットワーク
１０ 記憶部
１０Ａ ＶＲ映像データ記憶領域
１０Ｂ ＶＲ生写真データ記憶領域
１０Ｃ コメントデータ記憶領域
１１ 制御部
１１Ａ ＶＲ映像データ配信部
１１Ｂ ＶＲ生写真データ配信部
１１Ｃ コメントデータ配信部
１２ 通信部
６０ ＶＲ生写真データ
６１ アバターデータ
６１Ａ ポリゴンデータ
６１Ｂ テクスチャデータ
６２ オブジェクトデータ
６２Ａ ３Ｄ空間データ
６２Ｂ アクセサリデータ
６２Ｃ コメントデータ

Claims (8)

  1. 配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした３次元コンピュータグラフィックスの映像と、前記アバターが存在する３次元空間の３次元コンピュータグラフィックスの映像とを少なくとも含むＶＲ（バーチャル・リアリティ）映像を生放送で配信するＶＲ生放送配信システムであって、
    前記配信者端末および前記視聴者端末に備えられ、配信者または視聴者からのＶＲ生写真の撮影指示を入力する撮影指示入力部と、
    前記配信者端末および前記配信サーバの少なくともいずれか一方に備えられ、
    前記撮影指示に基づいて、前記アバターを含む前記３次元空間全体の外観のデータを構築する外観データ構築部と、
    前記配信者端末および前記配信サーバの少なくともいずれか一方に備えられ、
    前記外観データ構築部により構築した前記アバターを含む前記３次元空間全体の外観のデータを、前記ＶＲ生写真のデータとして配信するＶＲ生写真データ配信部と、
    前記配信者端末および前記視聴者端末に備えられ、
    前記ＶＲ生写真を表示する表示部と、
    を備えるＶＲ生放送配信システム。
  2. 前記ＶＲ生写真データ配信部は、前記３次元空間のうち、所定の基準位置から所定距離以上離れた遠景については、データ容量を下げたデータを前記ＶＲ生写真のデータに含めて配信する、
    請求項１に記載のＶＲ生放送配信システム。
  3. 配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした映像、および前記アバターが存在する３次元空間の映像を含むＶＲ映像を生放送で配信するＶＲ生放送配信システムにおける配信サーバであって、
    前記配信者端末または前記視聴者端末からのＶＲ生写真の撮影指示に基づいて、前記アバターを含む前記３次元空間全体の外観のデータを構築する外観データ構築部と、
    前記外観データ構築部により構築した前記アバターを含む前記３次元空間全体の外観のデータを、前記ＶＲ生写真のデータとして配信するＶＲ生写真データ配信部と、を備える、
    配信サーバ。
  4. 前記ＶＲ生写真データ配信部は、前記３次元空間のうち、所定の基準位置から所定距離以上離れた遠景については、データ容量を下げたデータを前記ＶＲ生写真のデータに含めて配信する、
    請求項３に記載の配信サーバ。
  5. 前記ＶＲ映像をキャプチャしたキャプチャ映像を前記配信者端末から受信する映像受信部と、
    前記キャプチャ映像を前記視聴者端末に配信する映像配信部と、を備える、
    請求項３または請求項４に記載の配信サーバ。
  6. 前記視聴者端末から送信される視聴者のコメントを受信するコメント受信部と、
    前記受信したコメントを記憶するコメント記憶部と、
    前記受信したコメントを前記視聴者端末に配信するコメント配信部と、を備える、
    請求項３ないし請求項５のいずれか１項に記載の配信サーバ。
  7. 配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした３次元コンピュータグラフィックスの映像と、前記アバターが存在する３次元空間の３次元コンピュータグラフィックスの映像とを少なくとも含むＶＲ（バーチャル・リアリティ）映像を生放送で配信するＶＲ生放送配信システムにおける配信サーバの制御方法であって、
    前記配信者端末または前記視聴者端末からのＶＲ生写真の撮影指示に基づいて、外観データ構築部により、前記アバターを含む前記３次元空間全体の外観のデータを構築するステップと、
    ＶＲ生写真データ配信部により、前記外観データ構築部により構築した前記アバターを含む前記３次元空間全体の外観のデータを、前記ＶＲ生写真のデータとして配信するステップと、を備える、
    配信サーバの制御方法。
  8. 配信者端末と、視聴者端末と、配信サーバとを備え、モーションデータにアバターのデータをレンダリングした３次元コンピュータグラフィックスの映像と、前記アバターが存在する３次元空間の３次元コンピュータグラフィックスの映像とを少なくとも含むＶＲ（バーチャル・リアリティ）映像を生放送で配信するＶＲ生放送配信システムにおける配信サーバのプログラムであって、前記プログラムは、コンピュータに、
    前記配信者端末または前記視聴者端末からのＶＲ生写真の撮影指示に基づいて、外観データ構築部により、前記アバターを含む前記３次元空間全体の外観のデータを構築するステップと、
    ＶＲ生写真データ配信部により、前記外観データ構築部により構築した前記アバターを含む前記３次元空間全体の外観のデータを、前記ＶＲ生写真のデータとして配信するステップと、を実行させる、
    配信サーバのプログラム。
JP2019059898A 2019-03-27 2019-03-27 Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造 Active JP6581742B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019059898A JP6581742B1 (ja) 2019-03-27 2019-03-27 Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造
JP2019157622A JP7324659B2 (ja) 2019-03-27 2019-08-30 Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造
CN201980094819.XA CN113646752B (zh) 2019-03-27 2019-10-24 Vr直播发布系统、发布服务器、发布服务器的控制方法、发布服务器程序的计算机可读存储介质、以及vr原始照片数据的处理方法
US17/598,825 US11995768B2 (en) 2019-03-27 2019-10-24 VR live broadcasting distribution system, distribution server, control method for distribution server control method, program for distribution server, and data structure of VR picture data
PCT/JP2019/041677 WO2020194821A1 (ja) 2019-03-27 2019-10-24 Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019059898A JP6581742B1 (ja) 2019-03-27 2019-03-27 Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019157622A Division JP7324659B2 (ja) 2019-03-27 2019-08-30 Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造

Publications (2)

Publication Number Publication Date
JP6581742B1 true JP6581742B1 (ja) 2019-09-25
JP2020162004A JP2020162004A (ja) 2020-10-01

Family

ID=68053511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019059898A Active JP6581742B1 (ja) 2019-03-27 2019-03-27 Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造

Country Status (4)

Country Link
US (1) US11995768B2 (ja)
JP (1) JP6581742B1 (ja)
CN (1) CN113646752B (ja)
WO (1) WO2020194821A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541932A (zh) * 2020-04-30 2020-08-14 广州华多网络科技有限公司 直播间的用户形象展示方法、装置、设备及存储介质
CN112423020A (zh) * 2020-05-07 2021-02-26 上海哔哩哔哩科技有限公司 动作捕捉数据分发、获取方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6581742B1 (ja) 2019-03-27 2019-09-25 株式会社ドワンゴ Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造
JP6995416B1 (ja) 2021-06-09 2022-01-14 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP7015597B1 (ja) 2021-06-25 2022-02-03 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222698A (ja) * 1997-02-12 1998-08-21 Matsushita Electric Ind Co Ltd ３次元仮想空間の通信装置、および通信方法
JP3633452B2 (ja) * 2000-07-14 2005-03-30 日本電気株式会社 ３次元仮想空間における動きのある３次元広告システム及び方法並びに記録媒体
JP4137923B2 (ja) * 2005-07-11 2008-08-20 富士通株式会社 画像表示方法および装置
JP4637889B2 (ja) * 2007-10-10 2011-02-23 ヤフー株式会社 仮想空間放送装置
JP4755672B2 (ja) * 2008-06-17 2011-08-24 ヤフー株式会社 コンテンツ編集装置、方法及びプログラム
US20100231590A1 (en) * 2009-03-10 2010-09-16 Yogurt Bilgi Teknolojileri A.S. Creating and modifying 3d object textures
US8572177B2 (en) * 2010-03-10 2013-10-29 Xmobb, Inc. 3D social platform for sharing videos and webpages
KR20130022434A (ko) * 2011-08-22 2013-03-07 (주)아이디피쉬 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
GB2536061B (en) * 2015-03-06 2017-10-25 Sony Interactive Entertainment Inc System, device and method of 3D printing
US20180348531A1 (en) * 2017-05-31 2018-12-06 Colopl, Inc. Method executed on computer for controlling a display of a head mount device, program for executing the method on the computer, and information processing apparatus therefor
JP6581742B1 (ja) 2019-03-27 2019-09-25 株式会社ドワンゴ Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541932A (zh) * 2020-04-30 2020-08-14 广州华多网络科技有限公司 直播间的用户形象展示方法、装置、设备及存储介质
CN112423020A (zh) * 2020-05-07 2021-02-26 上海哔哩哔哩科技有限公司 动作捕捉数据分发、获取方法及系统

Also Published As

Publication number Publication date
CN113646752B (zh) 2024-04-19
JP2020162004A (ja) 2020-10-01
WO2020194821A1 (ja) 2020-10-01
CN113646752A (zh) 2021-11-12
US11995768B2 (en) 2024-05-28
US20220180601A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
JP6581742B1 (ja) Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造
US11861059B2 (en) System and method for generating a virtual reality scene based on individual asynchronous motion capture recordings
KR102215166B1 (ko) 제공장치, 제공방법 및 컴퓨터 프로그램
US20210211632A1 (en) Three-dimensional content distribution system, three-dimensional content distribution method and computer program
US12002223B2 (en) Digital representation of multi-sensor data stream
US20190138796A1 (en) Information processing device, information processing system, facial image output method, and program
US11956408B2 (en) Information processing system, information processing method, and storage medium
JP6011567B2 (ja) 情報処理装置、その制御方法、及びプログラム
KR101752691B1 (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
JP6572368B2 (ja) 生成装置および生成方法、プログラム
JP7324659B2 (ja) Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造
JP2020074108A (ja) 情報処理システム、その制御方法、及びプログラム
JP7250721B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
JP6638326B2 (ja) 情報処理システム、その制御方法、及びプログラム
JP6931375B2 (ja) 送信装置および送信方法、プログラム
US20210400255A1 (en) Image processing apparatus, image processing method, and program
WO2023081213A1 (en) Video processing systems and methods
JP2021189544A (ja) コンピュータプログラム、及び方法
JP2021182443A (ja) 送信装置および送信方法、プログラム
JP6209835B2 (ja) 情報処理システム、サーバ装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190327

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190327

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190830

R150 Certificate of patent or registration of utility model

Ref document number: 6581742

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250