JP6644928B1 - 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム - Google Patents

配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6644928B1
JP6644928B1 JP2019066719A JP2019066719A JP6644928B1 JP 6644928 B1 JP6644928 B1 JP 6644928B1 JP 2019066719 A JP2019066719 A JP 2019066719A JP 2019066719 A JP2019066719 A JP 2019066719A JP 6644928 B1 JP6644928 B1 JP 6644928B1
Authority
JP
Japan
Prior art keywords
avatar
viewer
distributor
motion
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019066719A
Other languages
English (en)
Other versions
JP2020166575A (ja
Inventor
進之介 岩城
進之介 岩城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Priority to JP2019066719A priority Critical patent/JP6644928B1/ja
Priority to CN201980094223.XA priority patent/CN113678111A/zh
Priority to US17/419,987 priority patent/US11500456B2/en
Priority to PCT/JP2019/041893 priority patent/WO2020202616A1/ja
Priority to JP2020001429A priority patent/JP7309627B2/ja
Application granted granted Critical
Publication of JP6644928B1 publication Critical patent/JP6644928B1/ja
Publication of JP2020166575A publication Critical patent/JP2020166575A/ja
Priority to US17/953,452 priority patent/US11861058B2/en
Priority to JP2023109350A priority patent/JP2023129445A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00—Indexing scheme for animation
    • G06T2213/12—Rule based animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Abstract

【課題】視聴者が配信者からのリアクションを得やすくする。【解決手段】視聴者アバターによる配信者アバターに対する応援を検出し、配信者アバターが応援に対するリアクションをする時に、応援した視聴者アバターに対してはリアクションモーションを行い、応援していない視聴者アバターに対してはリアクションモーションではない通常モーションを行う。配信者の指示するタイミングで、応援した視聴者アバターに対するモーションと応援していない視聴者アバターに対するモーションとを異ならせる。応援した視聴者アバターに対するモーションと応援していない視聴者アバターに対するモーションのいずれかは事前に決められたモーションである。【選択図】図３

Description

本発明は、ＶＲ空間でライブ配信する技術に関する。
近年、仮想現実（ＶＲ）空間でコンピュータグラフィックスキャラクタ（以下、「アバター」と称する）になりきり、ライブ配信できるサービスが広まっている。
このサービスでは、配信者はヘッドマウントディスプレイ（ＨＭＤ）を装着し、両手にコントローラを持って、配信者自身の動きをアバターに反映させてライブ配信する。
視聴者はライブ配信を視聴するだけでなく、視聴者もＨＭＤを装着してライブ配信に参加できる。視聴者は、配信者のＶＲ空間に自身のアバターを参加させて、配信者とコミュニケーションを取ることができる。
特開２０１８−７８２８号公報 特開２０１８−９４３２６号公報
視聴者は、ライブ配信を盛り上げるために、自身の視聴者アバターに応援アクションをさせるが、配信者は、全ての視聴者に対してリアクションを返すことはできない。視聴者は、配信者からのリアクションが得られないと応援することをやめてしまい、ライブ配信の盛り上がりが期待できなくなるおそれがある。
特許文献１には、プレイヤのアバターがアイドルキャラクタのライブステージに訪れた多数のファンの一人としてＶＲ空間内の客席に配置され、プレイヤは視線を送ってアイドルキャラクタを応援することが記載されている。特許文献１では、応援すると付与されるポイント等の発動条件を満たしたプレイヤのアバターに対して、アイドルキャラクタが個別に特別ファンサービスが行われる。特許文献１は、ポイントの獲得をプレイヤ間で競わせることで、ライブステージを盛り上げるものである。特別ファンサービスが行われる対象は、客席内の１人のプレイヤに対してのみであり、応援するとアイドルキャラクタからのリアクションが必ず得られるものでない。
本発明は、上記に鑑みてなされたものであり、視聴者が配信者からのリアクションを得やすくすることを目的とする。
本発明に係る配信サーバは、配信者端末と視聴者端末との間でデータの送受信を中継する配信サーバであって、前記配信者端末によって操作される配信者アバターと前記視聴者端末によって操作される視聴者アバターが同じ仮想空間内に存在しており、前記配信者端末から前記配信者アバターのモーションを受信して配信し、前記視聴者端末から前記視聴者アバターのモーションを受信して配信する配信部と、前記視聴者端末から前記配信者アバターへの応援信号を受信する応援検出部と、応援に対する前記配信者アバターのリアクションモーションを送信する時に、前記応援信号を送信した第１の視聴者端末に配信する前記配信者アバターのモーションと前記応援信号を送信していない第２の視聴者端末に配信する前記配信者アバターのモーションとを異ならせるリアクション部と、を備えることを特徴とする。
本発明に係る視聴者端末は、配信者端末との間でデータを送受信する視聴者端末であって、前記配信者端末によって操作される配信者アバターと当該視聴者端末によって操作される視聴者アバターが同じ仮想空間内に存在しており、前記配信者端末から前記配信者アバターのモーションを受信し、前記視聴者アバターのモーションを送信するとともに、送受信したモーションに基づいて前記配信者アバターと前記視聴者アバターを制御するＶＲ機能部と、前記配信者アバターへの応援を受け付けて、前記視聴者アバターに応援モーションをさせる応援指示部と、応援に対する前記配信者アバターのリアクション時に、応援した場合と応援していない場合とで前記配信者アバターのモーションを異ならせるリアクション部と、を備えることを特徴とする。
本発明に係る配信者端末は、視聴者端末との間でデータを送受信する配信者端末であって、当該配信者端末によって操作される配信者アバターと前記視聴者端末によって操作される視聴者アバターが同じ仮想空間内に存在しており、前記配信者アバターのモーションを送信し、前記視聴者端末から前記視聴者アバターのモーションを受信するとともに、送受信したモーションに基づいて前記配信者アバターと前記視聴者アバターを制御するＶＲ機能部と、前記視聴者端末から前記配信者アバターへの応援信号を受信する応援検出部と、応援に対する前記配信者アバターのリアクションモーションを送信する時に、前記応援信号を送信した第１の視聴者端末に配信する前記配信者アバターのモーションと前記応援信号を送信していない第２の視聴者端末に配信する前記配信者アバターのモーションとを異ならせるリアクション部と、を備えることを特徴とする。
本発明によれば、視聴者が配信者からのリアクションを得やすくすることができる。
ライブ配信サービスを提供するための全体的なシステム構成例を示す図である。 アバターを操作するための装置を説明する図である。 ライブ配信サービスを提供するための各装置の構成例を示す機能ブロック図である。 配信者がライブ配信を開始し、視聴者が番組に参加する処理の流れを示すシーケンス図である。 視聴者が参加したＶＲ空間の様子を示す図である。 視聴者が配信者を応援したときに、通常モーションをリアクションモーションに差し替える処理の流れを示すシーケンス図である。 配信者が視聴者に対してリアクションしたＶＲ空間の様子を示す図である。 ライブ配信サービスを提供するための各装置の構成例を示す機能ブロック図である。 視聴者端末が通常モーションをリアクションモーションに差し替える処理の流れを示すフローチャートである。 視聴者が配信者を応援したときに、通常モーションをリアクションモーションに差し替える処理の流れを示すシーケンス図である。 ライブ配信サービスを提供するための各装置の構成例を示す機能ブロック図である。 配信者端末が通常モーションをリアクションモーションに差し替える処理の流れを示すフローチャートである。 視聴者が配信者を応援したときに、通常モーションをリアクションモーションに差し替える処理の流れを示すシーケンス図である。
以下、本発明の実施の形態について図面を用いて説明する。
［第１の実施形態］
図１を参照し、第１の実施形態のライブ配信サービスの全体的なシステム構成例を説明する。
本実施形態のライブ配信サービスは、配信者がＶＲ空間でアバターになりきり、生放送番組を配信できるライブ配信サービスである。また、本ライブ配信サービスでは、視聴者も配信者と同じＶＲ空間において視聴者アバターとして番組に参加できる。ライブ配信サービスは、ネットワークに接続されたサーバ１、配信者端末３、および視聴者端末５を用いて提供される。図１では、視聴者端末５の数を５台としているが、実際には視聴者端末５の数はもっと多く、視聴者端末５の数は任意である。
サーバ１は、ネットワークを介して、配信者端末３からＶＲ空間でのライブ配信映像を受信し、視聴者端末５へライブ配信映像を配信する。具体的には、サーバ１は、配信者端末３から配信者アバターのモーションデータを受信し、モーションデータを視聴者端末５へ配信する。視聴者端末５は、受信したモーションデータを配信者アバターに反映させてＶＲ空間をレンダリングする。ＶＲ空間が視聴者端末５においてレンダリングされて表示される場合、視聴者端末５は、ＶＲ空間のレンダリングに必要なモデルデータを保持しておく。例えば、視聴者端末５は、ＶＲ空間内に存在するアバターなどのモデルデータをサーバ１から受信してもよいし、モデルデータを事前に保持しておいてもよい。
視聴者が番組に参加したときは、サーバ１は、視聴者端末５から視聴者アバターのモーションデータを受信し、モーションデータを配信者端末３および他の視聴者端末５へ配信する。配信者端末３および他の視聴者端末５は、受信したモーションデータを視聴者アバターに反映させてＶＲ空間をレンダリングする。視聴者アバターのモデルデータは、視聴者が参加したときにサーバ１から受信してもよいし、配信者端末３および視聴者端末５が事前に保持しておいてもよい。
番組に参加した視聴者は視聴者アバターを通じて配信者を応援することができる。配信者アバターは、応援した視聴者アバターに対してリアクションを返す。
サーバ１は、配信者アバターが応援に対するリアクションをする時に、配信者アバターに行わせるモーションを応援した視聴者アバターに対するモーションと応援していない視聴者アバターに対するモーションとで異ならせる。具体的には、サーバ１は、応援した視聴者の視聴者端末５に対しては、配信者アバターのモーションの一部をリアクションモーションに変えたモーションデータを配信するとともに、応援していない視聴者の視聴者端末５に対しては、通常のモーションデータを配信する。つまり、配信者アバターがリアクションするとき、応援した視聴者と応援していない視聴者とでは、見ている配信者アバターのモーションが異なる。
配信者端末３は、配信者がライブ配信に用いる端末である。配信者端末３としては、例えば、ＨＭＤが接続されたパーソナルコンピュータを用いることができる。
図２に示すように、配信者は、ＨＭＤ１００を装着し、コントローラ１０１を両手に持って、配信者アバターを制御する。
ＨＭＤ１００は、配信者の頭の動きを検知する。ＨＭＤ１００が検知した頭の動きを配信者アバターに反映させる。配信者は、頭を動かしてＶＲ空間内を見渡すことができる。ＨＭＤ１００は、配信者が向いた方向のＶＲ空間をレンダリングする。ＨＭＤ１００が右眼用画像と左眼用画像に視差を持たせることで、配信者は、３次元のＶＲ空間を見ることができる。
コントローラ１０１は、配信者の手の動きを検知する。コントローラ１０１が検知した手の動きを配信者アバターに反映させる。
配信者端末３は、検知した配信者の動きを配信者アバターに反映させるモーションデータをサーバ１へ送信する。モーションデータは、サーバ１によって視聴者端末５に配信される。また、配信者端末３は、配信者の番組に参加した視聴者アバターのモーションデータをサーバ１から受信する。配信者端末３は、受信したモーションデータを視聴者アバターに反映させてＶＲ空間をレンダリングする。
コントローラ１０１は、ボタン等の操作手段を備えている。配信者がボタンを操作すると、配信者アバターに所定の動きをさせることができる。本実施形態に関連する操作としては、例えば、視聴者の応援に対するリアクションを返すタイミングを指定する操作がある。視聴者アバターが配信者アバターを応援したとき、配信者がリアクションを返すタイミングを指定すると、配信者端末３は、リアクション信号をサーバ１へ送信する。サーバ１は、リアクション信号に応じて、応援した視聴者アバターに対するリアクションモーションと、応援していない視聴者アバターに対するモーションとを異ならせて、配信者アバターに応援に対するリアクションをさせる。
視聴者端末５は、視聴者がライブ配信を見るために用いる端末である。視聴者端末５としては、配信者端末３と同様に、ＨＭＤが接続されたパーソナルコンピュータを用いることができる。
視聴者は、配信者の番組に参加することができる。具体的には、視聴者が番組へ参加する操作を行うと、視聴者が制御可能な視聴者アバターが配信者アバターの存在するＶＲ空間内に登場する。視聴者も、図２に示すように、ＨＭＤ１００を装着し、コントローラ１０１を両手に持って、視聴者アバターを制御する。番組に参加した視聴者の視点はＶＲ空間内の視聴者アバターの視点となる。つまり、ＨＭＤ１００は、視聴者アバターの視点でＶＲ空間をレンダリングする。
視聴者は、コントローラ１０１等を操作することで、配信者を応援することができる。視聴者が配信者を応援すると、視聴者端末５は、応援信号をサーバ１へ送信する。
次に、図３を参照し、サーバ１、配信者端末３、および視聴者端末５の構成例について説明する。
図３に示すサーバ１は、配信部１１、リアクション部１２、応援検出部１３、およびリアクションデータ蓄積部１４を備える。
配信部１１は、ライブ配信サービスに必要なデータの送受信を行う。具体的には、配信部１１は、配信者端末３から配信者の音声および配信者アバターのモーションデータを受信し、音声およびモーションデータを視聴者端末５へ配信する。また、配信部１１は、番組に参加した視聴者の視聴者端末５から視聴者アバターのモーションデータを受信し、モーションデータを配信者端末３および視聴者端末５へ配信する。配信部１１は、視聴者の音声を受信して配信してもよい。配信部１１は、視聴者が入力したコメント（文字情報）を受信して配信してもよい。
リアクション部１２は、所定のタイミングで、応援した視聴者の視聴者端末５へ送信される通常モーションをリアクションモーションに差し替える。通常モーションは、ＨＭＤ１００およびコントローラ１０１で検知した配信者の動きに応じたモーションである。リアクションモーションは、後述のリアクションデータ蓄積部１４に蓄積されたリアクションモーションである。リアクション部１２は、リアクションデータ蓄積部１４からリアクションモーションを読み出し、応援した視聴者アバターに対する個別のリアクションモーションにして応援した視聴者の視聴者端末５へ送信する。例えば、配信者アバターに行わせるリアクションの例としては、配信者アバターが視聴者アバターに対して視線（顔）を向けてウインクするモーションがある。視聴者は、視聴者アバターの目線でＶＲ空間がレンダリングされるので、視聴者は、応援に対して配信者アバターが自分に視線を向けたと感じることができる。配信者アバターが視聴者アバターに視線を向けた際、視線方向にビームまたはハートマークなどのエフェクトを表示してもよい。
リアクションの例としては、他にも、配信者アバターの体の向きを視聴者アバターに向ける、配信者アバターを視聴者アバターに近づける、などがある。視聴者の応援量（例えばギフトを送った量）に応じてリアクションを変えてもよい。リアクションモーションは、後述のリアクションデータ蓄積部１４に蓄積されたモーションデータから選択する。リアクションモーション時に、配信者アバターは、応援していない視聴者アバターの方向を向かないようにしてもよい。
リアクション部１２は、配信者アバターにリアクションをさせるタイミングを配信者端末３から受信するリアクション信号に応じて決定する。あるいは、リアクション信号によらず、リアクション部１２は、応援を検出後に所定の時間経過したタイミングをリアクションタイミングとしてもよい。リアクション部１２は、配信者アバターの動きに応じてリアクションタイミングを決定してもよい。例えば、配信者アバターが両手を上に挙げたときをリアクションタイミングとする。
配信者がリアクションモーションを送信してもよい。この場合、応援した視聴者の視聴者端末５には配信者端末３から受信したリアクションモーションを送信し、応援していない視聴者の視聴者端末５にはリアクションモーションを通常モーションに差し替えて送信する。
応援検出部１３は、配信者を応援した視聴者を検出し、視聴者を応援した配信者の配信者アバターに対してリアクションモーションをするようにリアクション部１２へ通知する。例えば、応援検出部１３は、視聴者端末５から応援信号を受信することで視聴者の応援を検出する。応援検出部１３は、視聴者アバターの動きに基づいて配信者に対する応援を検出してもよい。例えば、応援検出部１３は、視聴者アバターが配信者アバターに対して大きく手を振ったときに、視聴者が配信者を応援したと検出する。あるいは、応援検出部１３は、視聴者による声援を検出したときに、視聴者が配信者を応援したと検出してもよい。
リアクションデータ蓄積部１４は、リアクションモーションのデータを蓄積する。リアクションデータ蓄積部１４は、複数種類のリアクションモーションを蓄積してもよい。
配信者端末３は、ＶＲ機能部３１およびリアクション指示部３２を備える。
ＶＲ機能部３１は、ＶＲ空間をレンダリングする機能、配信者の動きをＶＲ空間内の配信者アバターに反映する機能などのＶＲ空間でのライブ配信に必要な機能を有する。例えば、ＶＲ機能部３１は、ＨＭＤ１００で検出した配信者の頭の動きおよびコントローラ１０１で検出した配信者の手の動きに基づいて配信者アバターのモーションを決定し、サーバ１へモーションデータを送信する。
リアクション指示部３２は、配信者からリアクション操作を受け付けて、リアクション信号をサーバ１へ送信する。例えば、コントローラ１０１のボタンが操作されると、リアクション信号をサーバ１へ送信する。応援に対してリアクションを返すタイミングをサーバ１が判断する場合、配信者端末３は配信者からリアクション操作を受け付ける必要はない。
視聴者端末５は、ＶＲ機能部５１および応援指示部５２を備える。
ＶＲ機能部５１は、ＶＲ空間をレンダリングする機能、視聴者の動きをＶＲ空間内の視聴者アバターに反映する機能などのＶＲ空間でのライブ配信の視聴に必要な機能を有する。
応援指示部５２は、視聴者から応援操作を受け付けて、応援信号をサーバ１へ送信する。応援指示部５２は、必要に応じて、視聴者アバターに応援モーションをさせる。
視聴者の応援には、例えば、ギフトを送る、手を振るなどの行為が考えられる。視聴者がギフトを送ると、応援指示部５２からサーバ１へ応援信号が送られる。コントローラ１０１のボタンに応援操作を割り当てておき、視聴者がそのボタンを操作すると、応援信号を送信するとともに、視聴者アバターに応援モーションをさせてもよい。
サーバ１、配信者端末３、および視聴者端末５が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはサーバ１、配信者端末３、および視聴者端末５が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
次に、図４のシーケンス図を参照し、ライブ配信の開始と視聴者の参加について説明する。
配信者が配信者端末３を用いてライブ配信を開始する操作を行うと、配信者端末３は、ライブ配信を開始することをサーバ１へ通知する（ステップＳ１１）。
ライブ配信が開始すると、配信者端末３は、配信者の操作および動きを検出し、配信者アバターを制御するためのモーションデータをサーバ１へ送信する（ステップＳ１２）。サーバ１は、モーションデータをライブ配信を見ている視聴者端末５Ａ〜５Ｃへ配信する。ライブ配信中は、配信者端末３からサーバ１へのモーションデータの送信およびサーバ１から視聴者端末５Ａ〜５Ｃへのモーションデータの配信が継続して行われる。
視聴者Ａが視聴者端末５Ａを用いて番組に参加する操作を行うと、視聴者端末５Ａは、番組に参加することをサーバ１へ通知する（ステップＳ１３）。
視聴者Ａが番組に参加すると、視聴者端末５Ａは、視聴者の操作および動きを検出し、視聴者アバターを制御するためのモーションデータをサーバ１へ送信する（ステップＳ１４）。サーバ１は、モーションデータを配信者端末３および他の視聴者端末５Ｂ，５Ｃへ配信する。番組に参加中は、視聴者端末５Ａからサーバ１へのモーションデータの送信およびサーバ１から配信者端末３と視聴者端末５Ｂ，５Ｃへのモーションデータの配信が継続して行われる。
以下、視聴者Ａの場合と同様に、視聴者Ｂが視聴者端末５Ｂを用いて番組に参加する操作を行うと、視聴者端末５Ｂは、番組に参加することをサーバ１へ通知し（ステップＳ１５）、視聴者Ｂの視聴者アバターを制御するためのモーションデータのサーバ１への送信を開始する（ステップＳ１６）。
視聴者Ｃが視聴者端末５Ｃを用いて番組に参加する操作を行うと、視聴者端末５Ｃは、番組に参加することをサーバ１へ通知し（ステップＳ１７）、視聴者Ｃの視聴者アバターを制御するためのモーションデータのサーバ１への送信を開始する（ステップＳ１８）。
図５に、視聴者が参加したＶＲ空間の様子を示す。同図に示すように、ＶＲ空間には、ステージ上の配信者アバター３００だけでなく、ステージ下に番組に参加した視聴者アバター５００Ａ〜５００Ｅが存在する。視聴者は、配信者アバター３００だけでなく、番組に参加した視聴者Ａ〜Ｅの視聴者アバター５００Ａ〜５００Ｅも見ることができる。
配信者は、配信者アバター３００の位置を視点としてＶＲ空間を見ることができる。視聴者Ａ〜Ｅは、視聴者アバター５００Ａ〜５００Ｅのそれぞれの位置を視点としてＶＲ空間を見ることができる。つまり、配信者端末３は、配信者アバター３００の顔の位置および顔の向きに基づいてＶＲ空間をレンダリングし、視聴者端末５は、視聴者アバター５００Ａ〜５００Ｅのそれぞれの顔の位置および顔の向きに基づいてＶＲ空間をレンダリングする。図５の場合、視聴者Ａ〜Ｅは、それぞれ違った位置から違った角度で配信者アバター３００を見ることになる。
番組に参加していない視聴者の視点は、例えば、配信者がＶＲ空間で任意の位置に設定した仮想カメラの位置とする。
次に、図６のシーケンス図を参照し、視聴者による応援と配信者によるリアクションについて説明する。
視聴者Ａが視聴者端末５Ａを操作して配信者を応援すると、視聴者端末５Ａはサーバ１へ応援信号を送信し、サーバ１は視聴者Ａから応援があったことを配信者端末３へ通知する（ステップＳ２１）。このとき、視聴者Ｂ，Ｃは、配信者を応援していないとする。
配信者は視聴者Ａが自分を応援してくれたことを確認すると、配信者端末３を操作してリアクション信号をサーバ１へ送信する（ステップＳ２２）。配信者はリアクション信号を送信するリアクション操作を行うが、配信者自身がリアクションする必要はない。配信者端末３は、配信者の動きに応じた通常モーションをサーバ１へ送信する（ステップＳ２３）。なお、サーバ１でリアクションタイミングを決める場合は、ステップＳ２２のリアクション信号を送信する処理は不要である。
サーバ１は、リアクション信号を受信すると、応援信号を送信した視聴者端末５Ａに対しては通常モーションをリアクションモーションに差し替えて送信し（ステップＳ２４）、応援信号を送信していない視聴者端末５Ｂ，５Ｃに対しては通常モーションを送信する（ステップＳ２５，Ｓ２６）。応援信号を送信した視聴者端末５が複数存在する場合は、応援信号を送信した視聴者端末５のそれぞれに対して専用のリアクションモーションを送信する。
図７に、配信者がリアクションしたＶＲ空間の様子を示す。同図では、視聴者Ａ，Ｅ（視聴者アバター５００Ａ，５００Ｅ）が応援したものとする。
配信者アバター３００が応援に対するリアクションを返すタイミングで、応援した視聴者アバター５００Ａ，５００Ｅに対しては、視聴者アバター５００Ａ，５００Ｅのそれぞれに対して配信者アバター３００は個別にリアクションする。具体的には、サーバ１は、配信者アバター３００がリアクションする際、視聴者アバター５００Ａの視聴者端末５Ａに対して視聴者アバター５００Ａ専用のリアクションモーションを送信し、視聴者アバター５００Ｅの視聴者端末５Ｅに対して視聴者アバター５００Ｅ専用のリアクションモーションを送信する。視聴者アバター５００Ｂ，５００Ｃ，５００Ｄの視聴者端末５Ｂ，５Ｃ，５Ｄに対しては共通の通常モーションを送信する。視聴者Ａの見るＶＲ空間では配信者アバターは視聴者アバター５００Ａに近づいた配信者アバター３００Ａの状態である。視聴者Ｅの見るＶＲ空間では配信者アバターは視聴者アバター５００Ｅに近づいた配信者アバター３００Ｅの状態である。視聴者Ｂ，Ｃ，Ｄの見るＶＲ空間では配信者アバターはステージ中央に存在する配信者アバター３００の状態である。つまり、配信者アバターがリアクションするとき、視聴者Ａは視聴者アバター５００Ａ専用のリアクションモーションをした配信者アバター３００Ａが見え、視聴者Ｅは視聴者アバター５００Ｅ専用のリアクションモーションをした配信者アバター３００Ｅが見え、視聴者Ｂ，Ｃ，Ｄは通常モーションの配信者アバター３００が見える。配信者アバターのリアクションが終わると、視聴者端末５Ａ〜５Ｅには共通の配信者アバターの通常モーションが配信される。
なお、リアクションモーションでは、配信者アバター３００の位置を動かさなくても、視線を向ける、視聴者アバター５００Ａ，５００Ｅのそれぞれに対して手を振るなどのモーションでもよい。この場合も、応援した視聴者アバター５００Ａ，５００Ｅのそれぞれには専用のリアクションモーションが送信される。
このように、配信者アバター３００が応援に対してリアクションする時に、応援した視聴者アバター５００Ａ，５００Ｅに対しては、専用のリアクションモーションを配信者アバター３００Ａ，３００Ｅにさせて、応援していない視聴者アバター５００Ｂ，５００Ｃ，５００Ｄに対するモーションと異ならせることで、視聴者Ａ，Ｅのそれぞれは配信者アバターのリアクションを得られる。
［第２の実施形態］
第２の実施形態は、配信者アバターの通常モーションをリアクションモーションへ差し替える処理を視聴者端末が行う。全体的なシステム構成は第１の実施形態と同様である。
図８を参照し、第２の実施形態のライブ配信サービスで用いられるサーバ１、配信者端末３、および視聴者端末５の構成例について説明する。
サーバ１は、配信部１１を備える。配信部１１は、第１の実施形態のサーバ１の配信部１１と同様に、ライブ配信サービスに必要なデータの送受信を行う。
配信者端末３は、ＶＲ機能部３１を備える。ＶＲ機能部３１は、第１の実施形態の配信者端末３のＶＲ機能部３１と同様に、ＶＲ空間でのライブ配信に必要な機能を有する。
視聴者端末５は、ＶＲ機能部５１、応援指示部５２、リアクション部５３、およびリアクションデータ蓄積部５４を備える。
ＶＲ機能部５１は、第１の実施形態の視聴者端末５のＶＲ機能部３１と同様に、ＶＲ空間でのライブ配信に必要な機能を有する。また、ＶＲ機能部５１は、リアクション部５３の指示により、サーバ１から受信した配信者アバターの通常モーションをリアクションモーションに差し替えて、ＶＲ空間をレンダリングする。
応援指示部５２は、視聴者から応援操作を受け付けて、リアクション部５３へ通知する。応援指示部５２は、必要に応じて、視聴者アバターに応援モーションをさせる。第１の実施形態とは、応援信号をサーバ１へ送信しない点で相違する。なお、応援指示部５２は、第１の実施形態と同様に、応援信号をサーバ１へ送信してもよい。
リアクション部５３は、応援指示部５２が応援操作を入力すると、所定のタイミングで、サーバ１から配信される配信者アバターのモーションをリアクションモーションに差し替える。所定のタイミングは、リアクション部５３が判定する。所定のタイミングとして、例えば、配信者アバターの応援モーションが終了したタイミングが考えられる。リアクションタイミングを決めるために、サーバ１または配信者端末３からリアクション信号を受信してもよい。
リアクションデータ蓄積部５４は、第１の実施形態のサーバ１のリアクションデータ蓄積部１４と同様に、リアクションモーションのデータを蓄積する。
次に、図９のフローチャートを参照し、視聴者端末５の処理について説明する。
応援指示部５２が応援操作を入力すると、視聴者アバターに配信者アバターを応援させるとともに、リアクション部５３に配信者を応援したことを通知する（ステップＳ３１）。配信者に視聴者が応援したことを知らせてもよい。
リアクション部５３は、リアクションタイミングであるか否か判定する（ステップＳ３２）。
リアクションタイミングになると、リアクション部５３は、サーバ１から配信される配信者アバターのモーションをリアクションデータ蓄積部１４に蓄積したリアクションモーションに差し替える（ステップＳ３３）。
次に、図１０のシーケンス図を参照し、視聴者による応援に対するリアクションについて説明する。
視聴者端末５Ａは、視聴者Ａから応援操作を入力する（ステップＳ４１）。
配信者端末３は、通常モーションをサーバ１へ送信し（ステップＳ４２）、サーバ１は、通常モーションを視聴者端末５Ａ〜５Ｃへ配信する（ステップＳ４３〜Ｓ４５）。
視聴者端末５Ａは、リアクションタイミングになると、サーバ１から配信される通常モーションをリアクションモーションに差し替える（ステップＳ４６）。
このように、視聴者端末５Ａで、応援を検出し、視聴者端末５Ａ自身で配信者アバターのモーションをリアクションモーションに差し替えることでも、視聴者は、配信者アバターのリアクションを得られる。
［第３の実施形態］
第３の実施形態は、配信者アバターの通常モーションをリアクションモーションへ差し替える処理を配信者端末が行う。第３の実施形態では、サーバ１を介さずに配信者端末３は視聴者端末５に対して直接ライブ配信を行っている。もちろん、サーバ１を介してライブ配信を行ってもよい。なお、第２の実施形態においても、サーバ１を介さずにライブ配信を行ってもよい。
図１１を参照し、第３の実施形態のライブ配信サービスで用いられる配信者端末３、および視聴者端末５の構成例について説明する。図１１では、視聴者端末５の数を１台としているが、実際には、配信者端末３は複数の視聴者端末５に対してライブ配信を行う。
配信者端末３は、ＶＲ機能部３１、リアクション指示部３２、リアクション部３３、応援検出部３４、およびリアクションデータ蓄積部３５を備える。
ＶＲ機能部３１は、第１の実施形態の配信者端末３のＶＲ機能部３１と同様に、ＶＲ空間でのライブ配信に必要な機能を有する。
リアクション指示部３２は、配信者からリアクション操作を受け付けて、リアクション部３３へ通知する。
リアクション部３３は、リアクション指示部３２からの指示に応じて、応援した視聴者の視聴者端末５へ送信される通常モーションをリアクションモーションに差し替える。
応援検出部３４は、配信者を応援した視聴者を検出し、視聴者を応援した配信者をリアクション部３３へ通知する。
リアクションデータ蓄積部３５は、第１の実施形態のサーバ１のリアクションデータ蓄積部１４と同様に、リアクションモーションのデータを蓄積する。
次に、図１２のフローチャートを参照し、配信者端末３の処理について説明する。
応援検出部３４が、視聴者からの応援を検出するとリアクション部３３へ通知し（ステップＳ５１）、リアクション部３３は、リアクション指示部３２からの指示を待つ（ステップＳ５２）。
リアクション指示部３２がリアクション操作を受け付けてリアクション部３３へ通知すると、リアクション部３３は、応援した視聴者の視聴者端末５に対してはリアクションデータ蓄積部３５に蓄積したリアクションモーションを送信し（ステップＳ５３）、応援していない視聴者の視聴者端末５に対しては通常モーションを送信する（ステップＳ５４）。
次に、図１３のシーケンス図を参照し、視聴者による応援に対するリアクションについて説明する。
視聴者Ａが視聴者端末５Ａを操作して配信者を応援すると、視聴者端末５Ａは配信者端末３へ応援信号を送信する（ステップＳ６１）。
配信者は視聴者Ａが自分を応援してくれたことを確認すると、配信者端末３にリアクション操作を入力する（ステップＳ６２）。
配信者端末３は、応援信号を送信した視聴者端末５Ａに対してはリアクションモーションを送信し（ステップＳ６３）、他の視聴者端末５Ｂ，５Ｃに対しては通常モーションを送信する（ステップＳ６４，Ｓ６５）。
以上がリアルタイム配信での実施各態様であるが、リアルタイム配信に限らず、過去に配信をした、あるいは配信のために用意されたＶＲ空間での番組配信（「タイムシフト配信」とも呼ぶ）においても各実施形態は適用可能である。タイムシフト配信では、配信者アバターのモーションデータを含むＶＲ空間レンダリングのためのデータをサーバあるいは他の構成に蓄積をしておく。サーバは、視聴者端末からの要求に応じてＶＲ空間での番組の再生に必要なデータ（例えば、配信者の音声や配信者アバターのモーションデータ等）を視聴者端末へ配信する。視聴者端末は、受信したデータに基づいてＶＲ空間をレンダリングし、番組を再生する。タイムシフト配信では、一時停止、巻き戻し、早送りなどの操作ができてもよい。
タイムシフト配信される番組のデータは事前に蓄積されたものであるが、各実施形態を適用することで、視聴者の応援に対するリアクションを配信者アバターにさせることができる。第２の実施形態のようにリアクションモーションデータが視聴者端末に蓄積されている場合、視聴者端末は視聴者による応援操作を検知すると、即座に、あるいは所定の時間経過後に、視聴者端末に予め蓄積した配信者アバターのリアクションモーションデータを読み出し、サーバから配信される配信者アバターのモーションデータをリアクションモーションデータに差し替える。これにより、配信者が視聴者の応援に答えたかのような演出を視聴者に見せることができる。配信者アバターのモーションを差し替え禁止する区間が設定されてもよい。例えば、配信者アバターが歌っている間はモーションの差し替えを禁止しておき、間奏中にリアクションモーションをさせる。タイムシフト配信で、視聴者が番組に参加していない場合、配信者アバターのリアクションモーションは、視聴者端末がＶＲ空間をレンダリングする際の仮想カメラに向けたものとしてもよい。
タイムシフト配信を第１の実施形態および第３の実施形態に適用する場合も上記と同様に、リアクションモーションデータを蓄積したサーバまたは配信者端末が視聴者の応援を検知して、その視聴者端末に対してのみ配信者アバターのモーションをリアクションモーションに差し替えて送信する。
以上説明したように、本実施形態によれば、視聴者アバターによる配信者アバターに対する応援を検出し、配信者アバターが応援に対するリアクションをする時に、応援した視聴者アバターに対してはリアクションモーションを行い、応援していない視聴者アバターに対してはリアクションモーションではない通常モーションを行うことにより、応援した視聴者アバターに対して個別にリアクションモーションが行われるので、視聴者は配信者からのリアクションをより確実に得ることができる。
なお、各実施形態では、差し替えたデータを含むＶＲ空間のモーションデータ、外観データ、ボーンデータなどをサーバ１または配信者端末３から視聴者端末５へ送り、データを受信した視聴者端末５にてレンダリングを行う構成で説明したが、リアルタイム配信およびタイムシフト配信を用いた実施のいずれの場合においても、サーバ１または配信者端末３がＶＲ空間をレンダリングしてもよい。例えば、サーバ１がモーションを差し替える第１の実施形態では、配信者端末３あるいは視聴者端末５からサーバ１に仮想カメラの位置および撮影方向等の情報を送信し、サーバ１が仮想カメラの情報に基づいてＶＲ空間をレンダリングして画像を生成し、生成した画像を視聴者端末５へ送信するようにしてもよい。いずれの構成においても、応援が検知された視聴者端末５では、モーションをリアクションモーションに差し替えた上でレンダリングした画像を視聴することができる。第３の実施形態も同様に、配信者端末３がＶＲ空間をレンダリングして画像を送信してもよい。
１…サーバ １１…配信部 １２…リアクション部 １３…応援検出部 １４…リアクションデータ蓄積部 ３…配信者端末 ３１…ＶＲ機能部 ３２…リアクション指示部 ３３…リアクション部 ３４…応援検出部 ３５…リアクションデータ蓄積部 ５…視聴者端末 ５１…ＶＲ機能部 ５２…応援指示部 ５３…リアクション部 ５４…リアクションデータ蓄積部 １００…ＨＭＤ １０１…コントローラ

Claims (11)

  1. 配信者端末と視聴者端末との間でデータの送受信を中継する配信サーバであって、
    前記配信者端末によって操作される配信者アバターと前記視聴者端末によって操作される視聴者アバターが同じ仮想空間内に存在しており、
    前記配信者端末から前記配信者アバターのモーションを受信して配信し、前記視聴者端末から前記視聴者アバターのモーションを受信して配信する配信部と、
    前記視聴者端末から前記配信者アバターへの応援信号を受信する応援検出部と、
    応援に対する前記配信者アバターのリアクションモーションを送信する時に、前記応援信号を送信した第１の視聴者端末に配信する前記配信者アバターのモーションと前記応援信号を送信していない第２の視聴者端末に配信する前記配信者アバターのモーションとを異ならせるリアクション部と、を備える
    ことを特徴とする配信サーバ。
  2. 配信者端末との間でデータを送受信する視聴者端末であって、
    前記配信者端末によって操作される配信者アバターと当該視聴者端末によって操作される視聴者アバターが同じ仮想空間内に存在しており、
    前記配信者端末から前記配信者アバターのモーションを受信し、前記視聴者アバターのモーションを送信するとともに、送受信したモーションに基づいて前記配信者アバターと前記視聴者アバターを制御するＶＲ機能部と、
    前記配信者アバターへの応援を受け付けて、前記視聴者アバターに応援モーションをさせる応援指示部と、
    応援に対する前記配信者アバターのリアクション時に、応援した場合と応援していない場合とで前記配信者アバターのモーションを異ならせるリアクション部と、を備える
    ことを特徴とする視聴者端末。
  3. 視聴者端末との間でデータを送受信する配信者端末であって、
    当該配信者端末によって操作される配信者アバターと前記視聴者端末によって操作される視聴者アバターが同じ仮想空間内に存在しており、
    前記配信者アバターのモーションを送信し、前記視聴者端末から前記視聴者アバターのモーションを受信するとともに、送受信したモーションに基づいて前記配信者アバターと前記視聴者アバターを制御するＶＲ機能部と、
    前記視聴者端末から前記配信者アバターへの応援信号を受信する応援検出部と、
    応援に対する前記配信者アバターのリアクションモーションを送信する時に、前記応援信号を送信した第１の視聴者端末に配信する前記配信者アバターのモーションと前記応援信号を送信していない第２の視聴者端末に配信する前記配信者アバターのモーションとを異ならせるリアクション部と、を備える
    ことを特徴とする配信者端末。
  4. 前記リアクション部は、前記配信者アバターを制御する配信者の指示するタイミングで、前記第１の視聴者端末に配信する前記配信者アバターのモーションと前記第２の視聴者端末に配信する前記配信者アバターのモーションとを異ならせる
    ことを特徴とする請求項１に記載の配信サーバ。
  5. 前記リアクション部は、前記第１の視聴者端末に配信する前記配信者アバターのモーションと前記第２の視聴者端末に配信する前記配信者アバターのモーションのいずれか一方は当該配信サーバが保持するモーションデータを用いる
    ことを特徴とする請求項１に記載の配信サーバ。
  6. 前記リアクション部は、前記視聴者アバターの応援量に応じて前記第１の視聴者端末へ配信する前記配信者アバターのモーションを変える
    ことを特徴とする請求項１に記載の配信サーバ。
  7. 配信者端末と視聴者端末との間でデータの送受信を中継する配信サーバによる配信方法であって、
    前記配信者端末によって操作される配信者アバターと前記視聴者端末によって操作される視聴者アバターが同じ仮想空間内に存在しており、
    前記配信者端末から前記配信者アバターのモーションを受信して配信し、前記視聴者端末から前記視聴者アバターのモーションを受信して配信するステップと、
    前記視聴者端末から前記配信者アバターへの応援信号を受信するステップと、
    応援に対する前記配信者アバターのリアクションモーションを送信する時に、前記応援信号を送信した第１の視聴者端末に配信する前記配信者アバターのモーションと前記応援信号を送信していない第２の視聴者端末に配信する前記配信者アバターのモーションとを異ならせるステップと、を有する
    ことを特徴とする配信方法。
  8. 配信者端末との間でデータを送受信する視聴者端末による情報処理方法であって、
    前記配信者端末によって操作される配信者アバターと当該視聴者端末によって操作される視聴者アバターが同じ仮想空間内に存在しており、
    前記配信者端末から前記配信者アバターのモーションを受信し、前記視聴者アバターのモーションを送信するとともに、送受信したモーションに基づいて前記配信者アバターと前記視聴者アバターを制御するステップと、
    前記配信者アバターへの応援を受け付けて、前記視聴者アバターに応援モーションをさせるステップと、
    応援に対する前記配信者アバターのリアクション時に、応援した場合と応援していない場合とで前記配信者アバターのモーションを異ならせるステップと、を有する
    ことを特徴とする情報処理方法。
  9. 視聴者端末との間でデータを送受信する配信者端末による配信方法であって、
    当該配信者端末によって操作される配信者アバターと前記視聴者端末によって操作される視聴者アバターが同じ仮想空間内に存在しており、
    前記配信者アバターのモーションを送信し、前記視聴者端末から前記視聴者アバターのモーションを受信するとともに、送受信したモーションに基づいて前記配信者アバターと前記視聴者アバターを制御するステップと、
    前記視聴者端末から前記配信者アバターへの応援信号を受信するステップと、
    応援に対する前記配信者アバターのリアクションモーションを送信する時に、前記応援信号を送信した第１の視聴者端末に配信する前記配信者アバターのモーションと前記応援信号を送信していない第２の視聴者端末に配信する前記配信者アバターのモーションとを異ならせるステップと、を有する
    ことを特徴とする配信方法。
  10. 配信者端末との間でデータを送受信する視聴者端末の各部としてコンピュータを動作させるプログラムであって、
    前記配信者端末によって操作される配信者アバターと当該視聴者端末によって操作される視聴者アバターが同じ仮想空間内に存在しており、
    前記配信者端末から前記配信者アバターのモーションを受信し、前記視聴者アバターのモーションを送信するとともに、送受信したモーションに基づいて前記配信者アバターと前記視聴者アバターを制御する処理と、
    前記配信者アバターへの応援を受け付けて、前記視聴者アバターに応援モーションをさせる処理と、
    応援に対する前記配信者アバターのリアクション時に、応援した場合と応援していない場合とで前記配信者アバターのモーションを異ならせる処理と、
    をコンピュータに実行させることを特徴とするプログラム。
  11. 視聴者端末との間でデータを送受信する配信者端末の各部としてコンピュータを動作させるプログラムであって、
    当該配信者端末によって操作される配信者アバターと前記視聴者端末によって操作される視聴者アバターが同じ仮想空間内に存在しており、
    前記配信者アバターのモーションを送信し、前記視聴者端末から前記視聴者アバターのモーションを受信するとともに、送受信したモーションに基づいて前記配信者アバターと前記視聴者アバターを制御する処理と、
    前記視聴者端末から前記配信者アバターへの応援信号を受信する処理と、
    応援に対する前記配信者アバターのリアクションモーションを送信する時に、前記応援信号を送信した第１の視聴者端末に配信する前記配信者アバターのモーションと前記応援信号を送信していない第２の視聴者端末に配信する前記配信者アバターのモーションとを異ならせる処理と、
    をコンピュータに実行させることを特徴とするプログラム。
JP2019066719A 2019-03-29 2019-03-29 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム Active JP6644928B1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2019066719A JP6644928B1 (ja) 2019-03-29 2019-03-29 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム
US17/419,987 US11500456B2 (en) 2019-03-29 2019-10-25 Communication device, communication method, and communication program
PCT/JP2019/041893 WO2020202616A1 (ja) 2019-03-29 2019-10-25 コミュニケーション装置、コミュニケーション方法及びコミュニケーションプログラム
CN201980094223.XA CN113678111A (zh) 2019-03-29 2019-10-25 通信装置、通信方法及通信程序
JP2020001429A JP7309627B2 (ja) 2019-03-29 2020-01-08 配信装置、視聴者端末、配信方法、情報処理方法、およびプログラム
US17/953,452 US11861058B2 (en) 2019-03-29 2022-09-27 Communication device, communication method, and communication program
JP2023109350A JP2023129445A (ja) 2019-03-29 2023-07-03 コミュニケーション装置、コミュニケーション方法及びコミュニケーションプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019066719A JP6644928B1 (ja) 2019-03-29 2019-03-29 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020001429A Division JP7309627B2 (ja) 2019-03-29 2020-01-08 配信装置、視聴者端末、配信方法、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP6644928B1 true JP6644928B1 (ja) 2020-02-12
JP2020166575A JP2020166575A (ja) 2020-10-08

Family

ID=69412196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019066719A Active JP6644928B1 (ja) 2019-03-29 2019-03-29 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム

Country Status (4)

Country Link
US (2) US11500456B2 (ja)
JP (1) JP6644928B1 (ja)
CN (1) CN113678111A (ja)
WO (1) WO2020202616A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021170168A (ja) * 2020-04-14 2021-10-28 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、及び方法
JP2021189544A (ja) * 2020-05-26 2021-12-13 グリー株式会社 コンピュータプログラム、及び方法
US11750873B2 (en) * 2020-04-30 2023-09-05 Gree, Inc. Video distribution device, video distribution method, and video distribution process

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6644928B1 (ja) * 2019-03-29 2020-02-12 株式会社ドワンゴ 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム
US20200265526A1 (en) * 2019-10-02 2020-08-20 Mark Ogunsusi Method and system for online matchmaking and incentivizing users for real-world activities
CN117044192A (zh) * 2021-03-24 2023-11-10 雅马哈株式会社 图像生成装置、图像生成方法
WO2023233849A1 (ja) * 2022-06-03 2023-12-07 ソニーグループ株式会社 情報処理装置、情報処理方法及び記録媒体

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324709A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 擬似出張用情報送信方法、擬似出張用情報送信装置、擬似出張用情報送信プログラムおよび擬似出張用情報再生方法、擬似出張用情報再生装置、擬似出張用情報再生プログラム
US20040103146A1 (en) * 2002-11-26 2004-05-27 Seung-Hun Park Method and system for physically exercising with plurality of participants using network
JP5122407B2 (ja) * 2008-09-08 2013-01-16 株式会社タイトー コンテンツ編集サーバ及びコンテンツ編集プログラム
US8812358B2 (en) * 2009-03-19 2014-08-19 Motorola Mobility Llc Method of providing a shared virtual lounge experience
US8392839B2 (en) * 2009-08-27 2013-03-05 International Business Machines Corporation System and method for using partial teleportation or relocation in virtual worlds
US20110244954A1 (en) * 2010-03-10 2011-10-06 Oddmobb, Inc. Online social media game
US8667402B2 (en) * 2010-03-10 2014-03-04 Onset Vi, L.P. Visualizing communications within a social setting
US20110225519A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Social media platform for simulating a live experience
KR20120035529A (ko) * 2010-10-06 2012-04-16 삼성전자주식회사 휴대용 단말기에서 적응적 제스처 인식 장치 및 방법
US20120156652A1 (en) * 2010-12-16 2012-06-21 Lockheed Martin Corporation Virtual shoot wall with 3d space and avatars reactive to user fire, motion, and gaze direction
US20170262877A1 (en) * 2011-11-05 2017-09-14 Neil S. Davey Virtual communication platform
CN104184760B (zh) * 2013-05-22 2018-08-07 阿里巴巴集团控股有限公司 通讯过程中的信息交互方法、客户端及服务器
JP5726987B2 (ja) 2013-11-05 2015-06-03 株式会社 ディー・エヌ・エー コンテンツの配信システム、配信プログラム及び配信方法
CN107111894B (zh) * 2014-09-08 2022-04-29 西姆克斯有限责任公司 用于专业和教育训练的增强或虚拟现实模拟器
US10354256B1 (en) * 2014-12-23 2019-07-16 Amazon Technologies, Inc. Avatar based customer service interface with human support agent
WO2016145321A1 (en) * 2015-03-11 2016-09-15 Ventana 3D, Llc Holographic interactive retail system
US11071919B2 (en) * 2015-06-30 2021-07-27 Amazon Technologies, Inc. Joining games from a spectating system
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
JP6809830B2 (ja) * 2016-07-13 2021-01-06 株式会社バンダイナムコエンターテインメント プログラム及び電子機器
CN106540450A (zh) * 2016-10-21 2017-03-29 苏州天平先进数字科技有限公司 一种基于虚拟人物的用户互动方法
JP6266736B1 (ja) * 2016-12-07 2018-01-24 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN110300994B (zh) * 2017-02-23 2023-07-04 索尼公司 图像处理装置、图像处理方法以及图像系统
US10453172B2 (en) * 2017-04-04 2019-10-22 International Business Machines Corporation Sparse-data generative model for pseudo-puppet memory recast
DK179867B1 (en) * 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
CN107248185A (zh) * 2017-05-31 2017-10-13 珠海金山网络游戏科技有限公司 一种虚拟仿真偶像实时直播方法及系统
JP2018110377A (ja) * 2017-10-31 2018-07-12 株式会社ドワンゴ 配信システム、配信サーバ、端末およびプログラム
JP6454883B1 (ja) * 2018-02-22 2019-01-23 株式会社バーチャルキャスト コンテンツ配信システム、コンテンツ配信方法およびコンテンツ配信プログラム
JP6469279B1 (ja) * 2018-04-12 2019-02-13 株式会社バーチャルキャスト コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
US10375313B1 (en) * 2018-05-07 2019-08-06 Apple Inc. Creative camera
JP6745301B2 (ja) * 2018-07-25 2020-08-26 株式会社バーチャルキャスト コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム
US11103773B2 (en) * 2018-07-27 2021-08-31 Yogesh Rathod Displaying virtual objects based on recognition of real world object and identification of real world object associated location or geofence
US11244381B2 (en) * 2018-08-21 2022-02-08 International Business Machines Corporation Collaborative virtual reality computing system
US11328175B2 (en) * 2018-09-12 2022-05-10 [24]7.ai, Inc. Method and apparatus for facilitating training of agents
US11257496B2 (en) * 2018-09-26 2022-02-22 [24]7.ai, Inc. Method and apparatus for facilitating persona-based agent interactions with online visitors
US10911718B2 (en) * 2018-11-02 2021-02-02 Cisco Technology, Inc. Enhancing meeting participation by an interactive virtual assistant
US10930275B2 (en) * 2018-12-18 2021-02-23 Microsoft Technology Licensing, Llc Natural language input disambiguation for spatialized regions
US10789952B2 (en) * 2018-12-20 2020-09-29 Microsoft Technology Licensing, Llc Voice command execution from auxiliary input
JP7094216B2 (ja) * 2018-12-28 2022-07-01 グリー株式会社 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP6644928B1 (ja) * 2019-03-29 2020-02-12 株式会社ドワンゴ 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム
CN116360601A (zh) * 2019-09-27 2023-06-30 苹果公司 用于提供扩展现实环境的电子设备、存储介质和方法
US20220036433A1 (en) * 2020-07-31 2022-02-03 Confer With Limited Shared Virtual Shopping Basket

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021170168A (ja) * 2020-04-14 2021-10-28 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、及び方法
JP7398655B2 (ja) 2020-04-14 2023-12-15 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、及び方法
US11750873B2 (en) * 2020-04-30 2023-09-05 Gree, Inc. Video distribution device, video distribution method, and video distribution process
JP2021189544A (ja) * 2020-05-26 2021-12-13 グリー株式会社 コンピュータプログラム、及び方法
JP7356662B2 (ja) 2020-05-26 2023-10-05 グリー株式会社 コンピュータプログラム、及び方法

Also Published As

Publication number Publication date
US11500456B2 (en) 2022-11-15
US11861058B2 (en) 2024-01-02
US20220083126A1 (en) 2022-03-17
US20230075863A1 (en) 2023-03-09
JP2020166575A (ja) 2020-10-08
WO2020202616A1 (ja) 2020-10-08
CN113678111A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
JP6644928B1 (ja) 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム
JP6858737B2 (ja) 視聴プログラム、配信プログラム、視聴プログラムを実行する方法、配信プログラムを実行する方法、情報処理装置、および情報処理システム
JP6759451B2 (ja) 人による追跡装置のオクルージョンの影響を低減するシステム及び方法
US20190060756A1 (en) Spectator View Perspectives in VR Environments
JP2023129445A (ja) コミュニケーション装置、コミュニケーション方法及びコミュニケーションプログラム
US11065540B2 (en) Game execution device and game program
JP2019186799A (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP6807455B2 (ja) 情報処理装置および画像生成方法
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
KR101643102B1 (ko) 객체 상태 전송 방식 방송 서비스 제공 방법 및 방송 재생 방법
US11206452B2 (en) Video display system, information processing apparatus, and video display method
US11790588B2 (en) Display control device, display control method, and display system
JP7094404B2 (ja) 視聴プログラム、配信プログラム、視聴プログラムを実行する方法、配信プログラムを実行する方法、情報処理装置、および情報処理システム
JP6665273B1 (ja) コンテンツ配信システム、受信装置及びプログラム
JP2019185720A (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
WO2022113327A1 (ja) 方法、コンピュータ可読媒体、コンピュータシステム、および情報処理装置
JP2020102236A (ja) コンテンツ配信システム、受信装置及びプログラム
JP2021068427A (ja) 表示制御装置、表示制御方法、および表示システム
JP2020108177A (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
JP2019146956A (ja) ゲーム実行装置およびゲームプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190329

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190329

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200108

R150 Certificate of patent or registration of utility model

Ref document number: 6644928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350