JP7133590B2 - 動画処理方法、サーバ装置及びコンピュータプログラム - Google Patents
動画処理方法、サーバ装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7133590B2 JP7133590B2 JP2020136660A JP2020136660A JP7133590B2 JP 7133590 B2 JP7133590 B2 JP 7133590B2 JP 2020136660 A JP2020136660 A JP 2020136660A JP 2020136660 A JP2020136660 A JP 2020136660A JP 7133590 B2 JP7133590 B2 JP 7133590B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- gift
- user
- terminal device
- gift object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
制御するサーバ装置及びコンピュータプログラムに関する。
ている。この種の動画配信サービスにおいては、当該動画を配信する配信ユーザのアバタ
ー(アバタ―オブジェクト)が表示されたり、当該動画を視聴する視聴ユーザと配信ユー
ザとがメッセージやチャット等を通じてコミュニケーションを図ることができるような環
境が提供されている。
は、視聴ユーザが取得したアイテムを動画内のアバターオブジェクト(配信ユーザ)へプ
レゼントとして提供する行為(ギフティング)を電子的に実現させる旨が開示されている
。
ーザからアバターオブジェクト(配信ユーザ)に対してギフティングされたギフトを、配
信ユーザの動作に基づいて、アバターオブジェクトが動画上で把持することができる環境
が提供されている(非特許文献1)。
られる。
アバター)との間の直接的なコミュニケーションを通して、アバターオブジェクトに対す
る視聴ユーザの親近感や関与感を醸成するものである。しかしながら、特許文献1及び非
特許文献1に開示される技術においては、ギフティングに対応するギフトを動画上に表示
させる環境、又はアバターオブジェクトが当該ギフトを動画上で把持できる環境を提供す
るにとどまることから、視聴ユーザによるギフティング機会は未だ限定的となっている。
対価を支払うことでギフトを購入した上で、当該ギフトを配信ユーザ(アバターオブジェ
クト)にギフティングする態様を意味することからすれば、動画配信サービスの運営面の
観点で、視聴ユーザによるギフティング機会を増加させることはサービス提供者にとって
の課題といえる。
ティング機会を増加させる動画処理方法、サーバ装置及びコンピュータプログラムを提供
する。
は複数のプロセッサにより実行される動画処理方法であって、配信ユーザの動作に基づく
前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成する生成工程
と、前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェク
トに対して第1のギフトオブジェクトを付与することを要求する要求信号を、前記視聴ユ
ーザの端末装置から通信回線を介して受信する受信工程と、前記要求信号に基づいて前記
アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記動画上
に表示させる第1表示工程と、前記配信ユーザの動作に基づいて、前記動画上に表示され
た1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定
アクションを実行したと判定された場合に、前記所定アクションを実行された前記第1の
ギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させる第2
表示工程と、を含むものである。
ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動
画を生成し、前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオ
ブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、前
記視聴ユーザの端末装置から通信回線を介して受信し、前記要求信号に基づいて前記アバ
ターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記動画上に表
示させ、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第
1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクションを実行した
と前記配信サーバの端末装置によって判定された場合に、前記所定アクションを実行され
た前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表
示させるものである。
ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動
画を生成するための情報を、前記動画を生成する前記配信ユーザの端末装置又は視聴ユー
ザの端末装置へ送信し、前記動画を視聴する前記視聴ユーザの操作に基づいて生成され、
前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する
要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信し、前記要求信号に基
づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトに関
する情報を、前記第1のギフトオブジェクトを前記動画上に表示させる前記配信ユーザの
端末装置又は前記視聴ユーザの端末装置へ送信し、前記配信ユーザの動作に基づいて、前
記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバター
オブジェクトが所定アクションを実行したと前記配信サーバの端末装置によって判定され
た場合に、前記所定アクションを実行された前記第1のギフトオブジェクトとは異なる第
2のギフトオブジェクトに関する情報を、前記第2のギフトオブジェクトを前記動画上に
表示させる前記配信ユーザの端末装置又は前記視聴ユーザの端末装置へ送信するものであ
る。
より、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーショ
ンを含む動画を生成し、前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記
アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求
信号を、サーバ装置又は前記視聴ユーザの端末装置から通信回線を介して受信し、前記要
求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジ
ェクトを、前記動画上に表示させ、前記配信ユーザの動作に基づいて、前記動画上に表示
された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが
所定アクションを実行したと判定された場合に、前記所定アクションを実行された前記第
1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させる
、ように前記プロセッサを機能させるものである。
より、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーショ
ンを含む動画を生成するための情報を、前記動画を生成するサーバ装置又は視聴ユーザの
端末装置へ送信し、前記動画を視聴する前記視聴ユーザの操作に基づいて生成され、前記
アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求
信号を、サーバ装置又は前記視聴ユーザの端末装置から通信回線を介して受信し、前記要
求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジ
ェクトに関する情報を、前記第1のギフトオブジェクトを前記動画上に表示させる前記サ
ーバ装置又は前記視聴ユーザの端末装置へ送信し、前記配信ユーザの動作に基づいて、前
記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバター
オブジェクトが所定アクションを実行したと判定された場合に、前記所定アクションを実
行された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトに関する情
報を、前記第2のギフトオブジェクトを前記動画上に表示させる前記サーバ装置又は前記
視聴ユーザの端末装置へ送信する、ように前記プロセッサを機能させるものである。
より、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーショ
ンを含む動画を生成するために、当該動画に関する情報をサーバ装置又は前記配信ユーザ
の端末装置から受信し、前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記
アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求
信号を、通信回線を介して発信し、前記要求信号に基づいて前記アバターオブジェクトに
対して付与された前記第1のギフトオブジェクトを前記動画上に表示させるために、前記
第1のギフトオブジェクトに関する情報を前記サーバ装置又は前記配信ユーザの端末装置
から受信し、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前
記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクションを実行
したと前記配信サーバの端末装置によって判定された場合に、前記所定アクションを実行
された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上
に表示させるために、前記第2のギフトオブジェクトに関する情報を前記サーバ装置又は
前記配信ユーザの端末装置から受信する、ように前記プロセッサを機能させるものである
。
より、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーショ
ンを含む動画を、サーバ装置又は前記配信ユーザの端末装置から受信し、前記動画を視聴
する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギ
フトオブジェクトを付与することを要求する要求信号を、通信回線を介して発信し、前記
要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブ
ジェクトを表示させた前記動画を、前記サーバ装置又は前記配信ユーザの端末装置から受
信し、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1
のギフトオブジェクトに対して前記アバターオブジェクトが所定アクションを実行したと
前記配信サーバの端末装置によって判定された場合に、前記所定アクションを実行された
前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを表示させた前記動
画を、前記サーバ装置又は前記配信ユーザの端末装置から受信する、ように前記プロセッ
サを機能させるものである。
通した構成要素には同一の参照符号が付されている。また、或る図面に表現された構成要
素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。
さらにまた、添付した図面が必ずしも正確な縮尺で記載されている訳ではないということ
に注意されたい。さらにまた、アプリケーションという用語は、ソフトウェア又はプログ
ラムと称呼されるものであってもよく、コンピュータに対する指令であって、ある種の結
果を得ることができるように組み合わされたものであればよい。
本件出願において開示される動画配信システム1は、簡潔にいえば、配信を行う配信ユ
ーザが、その端末装置を用いて、この配信ユーザの動作に関するデータ及び/又は配信ユ
ーザによって発せられた発話や歌唱に関する音声データに基づいて生成されたアバターオ
ブジェクトのアニメーションを含む動画を、通信回線を介して、動画を視聴する視聴ユー
ザの端末装置へと配信することを可能にするものである。
。図1に示すように、動画配信システム1は、通信回線(図示せず)に接続される複数の
端末装置10と、通信回線に接続される1又はそれ以上のサーバ装置20と、を含むこと
ができる。各端末装置10は、通信回線を介して、1又はそれ以上のサーバ装置20に接
続される。
ラネット及び/又はイーサネット(登録商標)等をこれらに限定することなく含むことが
できる。
図1に示すように、複数の端末装置10は、1又はそれ以上の配信ユーザの端末装置1
0(ここでは端末装置10A)と、1又はそれ以上の視聴ユーザの端末装置10(ここで
は端末装置10B乃至10D)と、を含むことができる。各端末装置10は、共通した構
成を有することにより、動画を配信するための端末装置(配信ユーザの端末装置10)及
び動画を視聴するための端末装置(視聴ユーザの端末装置10)のいずれにもなり得るも
のである。
された動画配信用アプリケーションを実行することにより、その配信ユーザの動作に関す
るデータ及び/又は配信ユーザによって発せられた発話や歌唱に関する音声データを取得
し、取得したデータに従って変化させた仮想的なキャラクター(アバターオブジェクト)
のアニメーションを含む動画を生成して、当該動画を、通信回線を介してサーバ装置20
(配信サーバ装置20C)に送信することができる。当該動画は、サーバ装置20(配信
サーバ装置20C)により通信回線を介して、インストールされた動画視聴用アプリケー
ションを実行する、動画を受信するための端末装置10(視聴ユーザの端末装置10)に
配信される。
ーバ装置20が、通信回線を介して、視聴ユーザの操作に基づいてこの配信ユーザ(アバ
ターオブジェクト)に対してギフトオブジェクト(第1のギフトオブジェクト)を付与す
ること(ギフティング)を要求する1又は複数の要求信号(1つの視聴ユーザ端末装置1
0から複数の要求信号が発信される場合、及び複数の視聴ユーザ端末装置10から要求信
号が発信される場合の両方を含む)を、動画を視聴する視聴ユーザの端末装置10から受
信すると、各端末装置10は、サーバ装置20(情報処理サーバ装置20B)から当該要
求信号を受信して、アバターオブジェクトのアニメーションを含む動画上に、当該第1の
ギフトオブジェクトを表示させることができる。当該動画上に第1のギフトオブジェクト
を表示させる具体的な方法については後述する。
、配信ユーザの動作に基づいて、動画上に表示された1又は複数の第1のギフトオブジェ
クトに対してアバターオブジェクトが所定アクションを実行したと端末装置10が判定し
た場合に、当該端末装置10は、当該所定アクションを実行された第1のギフトオブジェ
クトとは異なる第2のギフトオブジェクトを動画上に表示させることができる。なお、所
定アクションの詳細、所定アクションの判定方法の詳細、及び動画上に第2のギフトオブ
ジェクトを表示させる具体的な方法については後述する。
して動作する場合には、インストールされた動画視聴用アプリケーションを実行すること
により、配信ユーザの端末装置10により配信された動画を、サーバ装置20(配信サー
バ装置20C)を介して受信することができる。
用アプリケーションを実行することにより、視聴ユーザの操作に基づいて配信ユーザ(ア
バターオブジェクト)に対して第1のギフトオブジェクトを付与すること(ギフティング
)を要求する要求信号をサーバ装置20(ギフトAPIサーバ装置20A)に送信するこ
とができる。
用アプリケーションを実行することにより、視聴ユーザから配信ユーザ(アバターオブジ
ェクト)に対するコメントに関する情報をサーバ装置20(コメントAPIサーバ装置2
0D)に送信することができる。
された1つのアプリケーションとして、又は、それぞれ別々のアプリケーションとして、
各端末装置10にインストール及び実行されるものとすることができる。
スマートフォン、タブレット、携帯電話(フィーチャーフォン)及び/又はパーソナルコ
ンピュータ等を、これらに限定することなく含むことができるものである。
図1に示すように、サーバ装置20は、後述する複数のサーバ装置が組み合わされた動
画配信システムと呼ぶこともできる。
アニメーションを含む動画を各視聴ユーザの端末装置10に配信することができる。
を付与すること(ギフティング)を要求する1又は複数の要求信号(1つの視聴ユーザ端
末装置10から複数の要求信号が発信される場合、及び複数の視聴ユーザ端末装置10か
ら要求信号が発信される場合の両方を含む)を、各視聴ユーザの端末装置10から受信す
ることができる。また、サーバ装置20は、当該要求信号に関する情報を、配信ユーザの
端末装置10へ発信した上で、配信ユーザの端末装置10がアバターオブジェクトのアニ
メーションを含む動画上に当該要求信号に対応する第1のギフトオブジェクトを表示させ
た動画を生成する。サーバ装置20は、当該動画(第1のギフトオブジェクトが表示され
た動画)を配信ユーザの端末装置10から受信することもできる。
フトオブジェクトに対してアバターオブジェクトが所定アクションを実行したと端末装置
10(配信ユーザの端末装置10)が判定した場合において、当該端末装置10が、当該
所定アクションを実行された第1のギフトオブジェクトとは異なる第2のギフトオブジェ
クトを動画上に表示させると、サーバ装置20は、当該第2のギフトオブジェクトが表示
された動画を当該端末装置10から受信することもできる。
するコメントに関する情報を、視聴ユーザの端末装置10から受信することができ、且つ
当該コメントを同一の動画を視聴する視聴ユーザに対して配信することができる。
信回線(図示しない無線回線及び/又は有線回線を含む)を介して接続された、ギフトA
PIサーバ装置20A、情報処理サーバ装置20B、配信サーバ装置20C、及びコメン
トAPIサーバ装置20Dを含むことができる。
に対して第1のギフトオブジェクトを付与すること(ギフティング)を要求する1又は複
数の要求信号を、各視聴ユーザの端末装置10から受信することができる。この際、ギフ
トAPIサーバ装置20Aは、当該要求信号から、ギフティング行為がなされた視聴ユー
ザの識別情報(各視聴ユーザの端末装置10のシリアル番号や各視聴ユーザに付与される
ID情報等)、ギフティングされた第1のギフトオブジェクトに関する情報(種類、名称
、色、大きさ等に関する情報等)、及びギフティング対象のアバターオブジェクトたる配
信ユーザの識別情報(配信ユーザの端末装置10のシリアル番号や配信ユーザに付与され
るID情報等)を少なくとも読み出して、読み出した情報を自動的に、又は情報処理サー
バ装置20Bから問い合わせを受けたときに、情報処理サーバ装置20Bに送信すること
ができる。
バ装置20Aから当該ギフトAPIサーバ装置20Aが読み出した情報を受信して、当該
情報を配信ユーザの端末装置10へ発信することができる。また、情報処理サーバ装置2
0Bは、配信ユーザ毎のテーブル(データベース)を有することができ、ギフトAPIサ
ーバ装置20Aが読み出した第1のギフトオブジェクトに関する情報を、配信ユーザ毎の
テーブルに記憶してもよい。
フトオブジェクトに関する情報を参照して、アバターオブジェクト(配信ユーザ)に対し
て、どの視聴ユーザがどのような第1のギフトオブジェクトを付与したかに関する全て又
は一部のコメント情報をコメントAPIサーバ装置20Dに送信することができる。
ーオブジェクトが所定アクションを実行したと判定され第2のギフトオブジェクトが動画
上に表示された旨に関する情報を、配信ユーザの端末装置10から受信して、第2のギフ
トオブジェクトが動画上に表示されることに関するコメント情報をコメントAPIサーバ
装置20Dに送信するような機能を含んでいてもよい。
トオブジェクトが表示された動画及び第2のギフトオブジェクトが表示された動画、を含
む)を、各視聴ユーザの端末装置10に配信することができる。
ントを受信することができ、受信した当該コメントを、同一の動画を視聴している各視聴
ユーザに対して配信することができる。
アバターオブジェクト(配信ユーザ)に対してどの視聴ユーザがどんな第1のギフトオブ
ジェクトを付与したかに関する全て又は一部の情報に対応するコメントを、同一の動画を
視聴している各視聴ユーザに対して配信することができる。
する、第2のギフトオブジェクトが動画上に表示されることに関するコメント情報に基づ
いて、当該コメント情報に対応するコメントを同一の動画を視聴している各視聴ユーザに
対して配信することもできる。
ギフトAPIサーバ装置20A、情報処理サーバ装置20B、配信サーバ装置20C、及
びコメントAPIサーバ装置20Dからなる4つのサーバ装置を有する構成が示されてい
る。しかし、これら4つのサーバ装置のうちの少なくとも1つのサーバ装置が残りのサー
バ装置のいずれかと統合されるようにしてもよい。例えば、情報処理サーバ装置20Bと
配信サーバ装置20Cとを統合してもよい。
次に、端末装置10及びサーバ装置20の各々が有するハードウェア構成の一例につい
て説明する。
各端末装置10のハードウェア構成例について図2を参照して説明する。図2は、図1
に示した端末装置10(サーバ装置20)のハードウェア構成の一例を模式的に示すブロ
ック図である(なお、図2において、括弧内の参照符号は、後述するようにサーバ装置2
0に関連して記載されたものである。)
、入出力インタフェイス13と、入力装置14と、補助記憶装置15と、出力装置16と
、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続さ
れている。
いる命令及びデータに対して演算を行い、その演算の結果を主記憶装置12に記憶させる
ものである。さらに、中央処理装置11は、入出力インタフェイス13を介して、入力装
置14、補助記憶装置15及び出力装置16等を制御することができる。端末装置10は
、1又はそれ以上のこのような中央処理装置11を含むことが可能である。
5及び通信網30(サーバ装置20等)から、入出力インタフェイス13を介して受信し
た命令及びデータ、並びに、中央処理装置11の演算結果を記憶するものである。主記憶
装置12は、RAM(ランダムアクセスメモリ)、ROM(リードオンリーメモリ)及び
/又はフラッシュメモリ等をこれらに限定することなく含むことができる。
した特定のアプリケーション(動画配信用アプリケーション、動画視聴用アプリケーショ
ン等)やウェブブラウザ等を構成する命令及びデータ(コンピュータプログラム)を記憶
しておき、中央処理装置11により制御されることにより、これらの命令及びデータ(コ
ンピュータプログラム)を、入出力インタフェイス13を介して主記憶装置12に送信す
ることができる。補助記憶装置15は、磁気ディスク装置及び/又は光ディスク装置等を
これらに限定することなく含むことができる。
ボード、マウス及び/又はセンサ等をこれらに限定することなく含むものである。センサ
は、後述するように、1又はそれ以上のカメラ等及び/又は1又はそれ以上のマイク等を
含むセンサをこれらに限定することなく含むことができる。
に限定することなく含むことができる。
憶された特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)
を順次主記憶装置12にロードし、ロードした命令及びデータを演算することにより、入
出力インタフェイス13を介して出力装置16を制御し、或いはまた、入出力インタフェ
イス13及び通信網30を介して、他の装置(例えばサーバ装置20及び他の端末装置1
0等)との間で様々な情報の送受信を行うことができる。
ことにより、動画を生成するために必要な動作、動画を発信(配信)及び/又は受信する
ために必要な動作、ギフティング行為に必要な動作、後述する所定アクションが実行され
たかに関する判定、コメントを発信するために必要な動作(その他、後に詳述する様々な
動作を含む)を実行することができる。
又はそれ以上のマイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニッ
ト(GPU)を含むものであってもよい。
各サーバ装置20のハードウェア構成例について同じく図2を参照して説明する。各サ
ーバ装置20(ギフトAPIサーバ装置20A、情報処理サーバ装置20B、配信サーバ
装置20C、及びコメントAPIサーバ装置20D)のハードウェア構成としては、例え
ば、前述した各端末装置10のハードウェア構成と同一のものを用いることが可能である
。したがって、各サーバ装置20が有する構成要素に対する参照符号は、図2において括
弧内に示されている。
と、入出力インタフェイス23と、入力装置24と、補助記憶装置25と、出力装置26
と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続
されている。
記憶装置25及び出力装置26は、それぞれ、前述した各端末装置10に含まれる、中央
処理装置11、主記憶装置12、入出力インタフェイス13、入力装置14、補助記憶装
置15及び出力装置16と略同一なものとすることができる。
憶された特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)
を順次主記憶装置22にロードし、ロードした命令及びデータを演算することにより、入
出力インタフェイス23を介して出力装置26を制御し、或いはまた、入出力インタフェ
イス23及び通信回線30を介して、他の装置(例えば各端末装置10等)との間で様々
な情報の送受信を行うことができる。
た動画を各視聴ユーザの端末装置10に配信するために必要な動作、各視聴ユーザの端末
装置10から発信されるギフティング行為を受信するために必要な動作、端末装置10に
動画を生成させるために必要な要求情報を生成するために必要な動作、動画を発信(配信
)及び/又は受信するために必要な動作等(後に詳述する様々な動作を含む)を実行する
ことができる。
1又はそれ以上のマイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニ
ット(GPU)を含むものであってもよい。
次に、端末装置10及びサーバ装置20の各々が有する機能の詳細の一例について説明
する。
端末装置10の機能の一例について図3乃至図8を参照しつつ説明する。図3は、図1
に示した端末装置10の機能の一例を模式的に示すブロック図である。図4は、配信ユー
ザのアバターオブジェクトのアニメーションを含む動画上に第1のギフトオブジェクトが
表示された一例を示す図である。図5は、配信ユーザのアバターオブジェクトのアニメー
ションを含む動画上に第1のギフトオブジェクトが表示され、且つ2つの第1コリジョン
領域が重複する場合を示す図である。図6及び図7は、配信ユーザのアバターオブジェク
トのアニメーションを含む動画上に第2のギフトオブジェクトが表示された一例を示す図
である。図8は、配信ユーザのアバターオブジェクトのアニメーションを含む動画上にエ
フェクトオブジェクトが表示された一例を示す図である。
120、記憶部130、ユーザインタフェイス部140、ギフト記憶部150、及び通信
部160を含む。
動画生成部100は、配信ユーザの動作に関するデータ及び/又は配信ユーザによって
発せられた発話や歌唱に関する音声データに基づいて、この配信ユーザのアバターオブジ
ェクトのアニメーションを含む動画を生成することができる。これを実現するために、動
画生成部100は、例えば、取得部(図示せず)及び処理部(図示せず)を含むことがで
きる。
上の第1のセンサ(図示せず)と、配信ユーザにより発せられた発話及び/又は歌唱に関
する音声データを取得する1又はそれ以上の第2のセンサ(図示せず)と、を含むことが
できる。
線を撮像する近赤外線カメラと、を少なくとも含むことができる。また、第1のセンサは
、後述するモーションセンサやトラッキングセンサ等を含むことができる。前述のRGB
カメラや近赤外線カメラとしては、例えばiphone X(登録商標)のトゥルーデプ
ス(True Depth)カメラに含まれたものを用いることが可能である。第2のセ
ンサは、音声を記録するマイクロフォンを含むことができる。
た第1のセンサ(第1のセンサに含まれるカメラ)を用いて配信ユーザの顔や手足等を撮
像する。これにより、取得部は、RGBカメラにより取得された画像をタイムコード(取
得した時間を示すコード)に対応付けて単位時間にわたって記録したデータ(例えばMP
EGファイル)を生成することができる。さらに、取得部は、近赤外線カメラにより取得
された所定数(例えば51個)の深度を示す数値(例えば浮動小数点の数値)を上記タイ
ムコードに対応付けて単位時間にわたって記録したデータ(例えばTSVファイル[デー
タ間をタブで区切って複数のデータを記録する形式のファイル])を生成することができ
る。
なす赤外線レーザーを演者たる配信ユーザの顔や手足等に放射し、近赤外線カメラが、配
信ユーザの顔に投影され反射した赤外線ドットを捉え、このように捉えた赤外線ドットの
画像を生成する。取得部は、予め登録されているドットプロジェクタにより放射されたド
ットパターンの画像と、近赤外線カメラにより捉えられた画像とを比較して、両画像にお
ける各ポイント(各特徴点)(例えば51個のポイント・特徴点の各々)における位置の
ずれを用いて各ポイント(各特徴点)の深度(各ポイント・各特徴点と近赤外線カメラと
の間の距離)を算出することができる。取得部は、このように算出された深度を示す数値
を上記のようにタイムコードに対応付けて単位時間にわたって記録したデータを生成する
ことができる。
サを用いて配信ユーザにより発せられた発話及び/又は歌唱に関する音声を取得する。こ
れにより、取得部は、タイムコードに対応付けて単位時間にわたって記録したデータ(例
えばMPEGファイル)を生成することができる。一実施形態では、取得部は、第1のセ
ンサを用いて配信ユーザの顔や手足に関するデータを取得することと同時に、第2のセン
サを用いて配信ユーザにより発せられた発話及び/又は歌唱に関する音声データを取得す
ることができる。この場合には、取得部は、RGBカメラにより取得された画像と、第2
のセンサを用いて配信ユーザにより発せられた発話及び/又は歌唱に関する音声データと
を、同一のタイムコードに対応付けて単位時間にわたって記録したデータ(例えばMPE
Gファイル)を生成することができる。
ァイル及びTSVファイル等)、及び/又は、配信ユーザにより発せられた発話及び/又
は歌唱に関する音声データ(MPEGファイル等)を、処理部に出力することができる。
明したが、第1のセンサは、例えば、(A)赤外線レーザーにより放射され配信ユーザの
顔や手足等に反射した赤外線を検出するカメラ、(B)可視光線を撮像する複数のRGB
カメラ、及び、(C)可視光線を撮像する単一のカメラ、のうちのいずれかを含むもので
あってもよい。上記(A)の場合には、取得部は、前述したものと同様の手法により、配
信ユーザの顔や手足等における各特徴点について深度を算出することができる。上記(B
)の場合には、取得部は、複数のRGBカメラにより撮像された複数の画像を用いて、配
信ユーザの顔や手足等における各特徴点について奥行(深度)を計算することができる。
上記(C)の場合には、取得部は、単一のカメラにより撮像された画像から、配信ユーザ
の顔や手足等における各特徴点の奥行(深度)を、ディープラーニング等を利用して算出
することができる。また、上記(C)の場合には、取得部は、単一のカメラにより撮像さ
れた画像に対する分析処理(画像処理等)により、配信ユーザの顔や手足等における各特
徴点の奥行(深度)を算出してもよい。
いて、配信ユーザの体の各部位の位置や向きに関する検出情報を取得し、当該検出情報を
処理部に出力することができる。なお、モーションセンサやトラッキングセンサを用いて
取得される配信ユーザの体の各部位の位置や向きに関する検出情報の詳細については後述
する。
関する各種情報)に基づいて、仮想的なキャラクター(アバターオブジェクト)のアニメ
ーションを含む動画を生成することができる。アバターオブジェクトの動画自体について
は、処理部は、図示しないキャラクターデータ記憶部に記憶された様々な情報(例えば、
ジオメトリ情報、ボーン情報、テクスチャ情報、シェーダ情報及びブレンドシェイプ情報
等)を用いて、図示しないレンダリング部にレンダリングを実行させることにより、アバ
ターオブジェクトの動画を生成することもできる。
や歌唱に関する音声データに基づいて、この配信ユーザのアバターオブジェクトのアニメ
ーションを含む動画を生成するために、他の任意の周知な技術を利用することも可能であ
る。
ターオブジェクトのアニメーションを含む動画上に第1のギフトオブジェクトを表示させ
る旨の要求情報をサーバ装置20(情報処理サーバ20B)から受信すると、動画生成部
100は、通信部160を介して当該要求情報を受信し、当該要求情報に対応する後述の
ギフト記憶部150に記憶される第1のギフトオブジェクトに関する識別情報(名称・形
状・色等)を参照して、アバターオブジェクトのアニメーションを含む動画上に第1のギ
フトオブジェクトを表示させる(第1のギフトオブジェクトを表示させた動画を生成する
)。
トを動画上に表示させるために、第1のギフトオブジェクトの各々には、その形状に対応
する第1コリジョン領域が予め設定され、各第1のギフトオブジェクトとこれに対応する
第1コリジョン領域に関する情報は、後述するギフト記憶部150において、各第1のギ
フトオブジェクトに関する情報(大きさ・形状・色等)とともに記憶されている。さらに
、第1のギフトオブジェクトを動画上のどの位置に表示させるかを特定するために、第1
のギフトオブジェクトの各々には、三次元直交座標系の位置座標がギフティング時に設定
される。当該位置座標の設定に際しては、動画上に既に表示されているアバターオブジェ
クトや第1のギフトオブジェクト等の各種オブジェクトと動画上において重複しない位置
座標が設定される。動画上において重複しない位置座標とは、動画上に表示される複数の
第1のギフトオブジェクトの各々に設定される複数の第1コリジョン領域が相互に重複し
ないこと、及び動画上においてアバターオブジェクト(アバターオブジェクトの各部位)
に設定される第2コリジョン領域や他のオブジェクト(例えば、第2のギフトオブジェク
ト)に設定される第3コリジョン領域に対して第1コリジョン領域が重複しないことを意
味し、この条件を満たすように、動画生成部100は、第1のギフトオブジェクトの各々
に三次元直交座標(X軸を横方向、Y軸を奥行方向、及びZ軸を縦方向)に関する位置座
標を設定する。なお、当該位置座標とは、第1のギフトオブジェクトの中心位置に対応す
るX軸、Y軸、及びZ軸に関する位置座標(例えば、図5において第1のギフトオブジェ
クト410Aの中心位置Z0に対応する位置座標)、及び/又は第1コリジョン領域の外
縁を形成する複数の位置に対応するX軸、Y軸、及びZ軸に関する位置座標(例えば、図
5において第1のギフトオブジェクト410Aに対応する第1コリジョン領域の外縁を形
成する位置Z1~Z12に対応する位置座標)を意味する。このように設定された位置座
標(及び第1コリジョン領域)に基づいて、各第1のギフトオブジェクトはアバターオブ
ジェクトのアニメーションを含む動画上に表示される。また、このように設定された位置
座標に基づいて、複数の第1コリジョン領域が重複しているか否かを判断することができ
る。なお、第1のギフトオブジェクトの各々に設定される位置座標、第1コリジョン領域
、及び第2コリジョン領域は三次元直行座標系にて設定される旨説明したが、動画が二次
元で表現される場合においては、二次元直行座標系にて設定されてもよい。
1のギフトオブジェクトに対してアバターオブジェクトが所定アクションを実行したと判
定した場合、動画生成部100は、当該判定に関する信号を判定部120から受信して、
アバターオブジェクトのアニメーションを含む動画上に、第1のギフトオブジェクトとは
異なる第2のギフトオブジェクトを表示させる(第2のギフトオブジェクトを表示させた
動画を生成する)。
トに対してアバターオブジェクトが所定アクションを実行したと判定部120が判定する
ことを契機として第2のギフトオブジェクトを動画上に表示させるために、第2のギフト
オブジェクトの各々には、その形状に対応する第3コリジョン領域が予め設定され、各第
2のギフトオブジェクトとこれに対応する第3コリジョン領域に関する情報は、後述する
ギフト記憶部150において、第2のギフトオブジェクトに関する情報(大きさ・形状・
色等)とともに記憶されている。さらに、第2のギフトオブジェクトを動画上のどの位置
に表示させるかを特定するために、第2のギフトオブジェクトの各々には、三次元直交座
標系の位置座標が設定される。当該位置座標の設定に際しては、動画上に既に表示されて
いるアバターオブジェクトや第1のギフトオブジェクト等の各種オブジェクトと動画上に
おいて重複しない位置座標が設定される。動画上において重複しない位置座標とは、前述
と同様、動画上に表示される複数の第1のギフトオブジェクトの各々に設定される複数の
第1コリジョン領域やアバターオブジェクトに設定される第2コリジョン領域に対して第
3コリジョン領域が重複しないことを意味し、この条件を満たすように、動画生成部10
0は第2のギフトオブジェクトの各々に三次元直交座標((X軸を横方向、Y軸を奥行方
向、Z軸を縦方向)に関する位置座標を設定する。なお、当該位置座標とは、前述の第1
のギフトオブジェクトと同様、第2のギフトオブジェクトの中心位置に対応するX軸、Y
軸、及びZ軸に関する位置座標、及び/又は第3コリジョン領域の外縁を形成する複数の
位置に対応するX軸、Y軸、及びZ軸に関する位置座標を意味する。このように設定され
た位置座標(及び第3コリジョン領域)に基づいて、各第2のギフトオブジェクトはアバ
ターオブジェクトのアニメーションを含む動画上に表示される。なお、第2のギフトオブ
ジェクトの各々に設定される位置座標及び第3コリジョン領域は三次元直行座標にて設定
される旨説明したが、動画が二次元で表現される場合においては、二次元直行座標系にて
設定されてもよい。
契機として第2のギフトオブジェクトを動画上に表示させるに際して、所定アクションが
実行された第1のギフトオブジェクトに対しては様々な方法が採用されうる。例えば、動
画上に第2のギフトオブジェクトが表示されるに際して所定アクションが実行された第1
のギフトオブジェクトを当該動画上から消去する構成が採用される。また、所定アクショ
ンが実行された第1のギフトオブジェクトは動画上から消去せず、当該第1のギフトオブ
ジェクトの形態(例えば、形状、大きさ、色、等)が時間経過とともに次第に変化する(
例えば、第1のギフトオブジェクトの大きさだけが変化する場合、第1のギフトオブジェ
クトの一部の色が変化する場合、等)ことで第2のギフトオブジェクトが生成される(第
2のギフトオブジェクトが動画上に表示される)構成としてもよい。また、前述の両方の
構成が採用されるようにしてもよい(例えば、所定アクションが実行された第1のギフト
オブジェクトが2つであった場合、当該2つのうちの一方の第1のギフトオブジェクトは
動画上から消去され、他方の第1のギフトオブジェクトの形態が次第に変化して第2のギ
フトオブジェクトが生成されるような構成としてもよい)。
ブジェクトがアバターオブジェクトによって把持されると認識して、図4に示すように、
当該第1のギフトオブジェクトがアバターオブジェクトによって把持された状態の動画を
生成することができる。ここで所定の条件とは、配信ユーザの動作に基づいて、第1のギ
フトオブジェクトに設定された第1コリジョン領域と、アバターオブジェクトの手(又は
指)に設定された第2コリジョン領域とが、動画内において少なくとも一部において重な
りあう(重複する)と判断され、且つアバターオブジェクトの手(又は指)が折れ曲がっ
ていると判断された場合をいう。この各判断は、動画生成部100によって実行されても
よいし、別の構成要素によって実行された上で各判断結果が少なくとも動画生成部100
に送信される構成であってもよい。なお、アバターオブジェクトの手(又は指)が折れ曲
がっていると判断する方法は、後述するコントローラの信号に基づいて実行することがで
きる。なお、アバターオブジェクトによって把持される点に関しては、第2のギフトオブ
ジェクトも同様である。つまり、第2のギフトオブジェクトに設定された第3コリジョン
領域と、前述の第2コリジョン領域とが、動画内において少なくとも一部において重なり
あう(重複する)と判断され、且つアバターオブジェクトの手(又は指)が折れ曲ってい
ると判断された場合に、第2のギフトオブジェクトはアバターオブジェクトによって把持
される。
リジョン領域とが重複するか否かに関する判断は、各コリジョン領域の外縁に対応するX
軸、Y軸、及びZ軸に関する複数の位置座標に基づいて実行される。
第2のギフトオブジェクトを動画上に表示させるに際し、動画上にどのような第2のギフ
トオブジェクトを表示させるかについては、動画生成部100は、後述するギフト記憶部
150に記憶される設定条件を参照して決定する。当該設定条件とは、例えば、第一に、
所定アクションが実行された第1のギフトオブジェクトの種類、所定アクションが実行さ
れた第1のギフトオブジェクトの種類毎の付与数、及び後述する特定位置(図4において
は、特定位置Y1又はY2)から構成される種々の組合せに応じて、どのような第2のギ
フトオブジェクトが対応するかを関連付けた条件である。また設定条件とは、第二に、少
なくとも1つのギフトオブジェクトを別の第1のギフトオブジェクトに接触させる場合に
おいては、所定アクションが実行された第1のギフトオブジェクトの種類と数(付与数)
から構成される種々の組合せに応じて、どのような第2のギフトオブジェクトが対応する
かを関連付けた情報である。
すると、所定アクションが実行された第1のギフトオブジェクトの種類が「男の子のぬい
ぐるみ」(図4における参照符号410A)、所定アクションが実行された第1のギフト
オブジェクトの種類毎(「男の子のぬいぐるみ」410A)の付与数が「1つ」、特定位
置が「Y1]の場合、第2のギフトオブジェクトとしては、図6に示すように、複数の「
小さなクマのぬいぐるみ」(図6における参照符号420)と予め設定されている。同様
に、図4の場合において、所定アクションが実行された第1のギフトオブジェクトの種類
が「男の子のぬいぐるみ」(図4における参照符号410B)、所定アクションが実行さ
れた第1のギフトオブジェクトの種類毎(「男の子のぬいぐるみ」410B)の付与数が
「1つ」、特定位置が「Y2」の場合、第2のギフトオブジェクトとしては、1つの「大
きな象のぬいぐるみ」(図示せず)、と予め設定されている。これらの設定条件に関する
各種条件は、適宜に変更すればよく、例えばテーブルの形式でギフト記憶部150に記憶
される。
つ説明すると、所定アクションが実行された第1のギフトオブジェクトの種類と数が「男
の子のぬいぐるみ」410Aが「1つ」、及び「男の子のぬいぐるみ」410Bが「1つ
」の場合、第2のギフトオブジェクトとしては、図7に示すように、1つの「小さな男の
子のぬいぐるみ」(図7における参照符号430)と予め設定されている。前述と同様、
これらの設定条件に関する各種条件は、適宜に変更すればよく、例えば、第1のギフトオ
ブジェクト同士の接触時間や第1のギフトオブジェクト同士が接触する際の衝突速度を条
件としてもよい(具体的には、衝突速度はαkm/h以上の時には、第2のギフトオブジ
ェクトとして「チーターのぬいぐるみ」を表示させ、αkm/h未満の時には、第2のギ
フトオブジェクトとして「亀のぬいぐるみ」を表示させる)し、所定アクションが実行さ
れた複数の第1のギフトオブジェクトの接触時の相対位置(例えば、図5に示される場合
において、接触時において「男の子のぬいぐるみを」410Aが「男の子のぬいぐるみ」
410Bよりも上側の場合と下側の場合とで、表示させる第2のギフトオブジェクトの種
類が異ならせる)を条件としてもよい。また、これらの設定条件は、例えばテーブルの形
式でギフト記憶部150に記憶される。
クト(例えば、図6に関する複数の「小さなクマのぬいぐるみ」420、及び図7に関す
る「「小さな男の子のぬいぐるみ」430)が、動画上のどの位置に表示されるかに関す
る条件も含むことができる。具体的には、図6の場合においては、第2のギフトオブジェ
クトとしての複数の「小さなクマのぬいぐるみ」420の各々には、動画上の複数箇所に
渡って別々に配されるように、X軸、Y軸、及びZ軸に関する個別の位置座標に関する情
報が予め設定される(つまり、第2のギフトオブジェクトが表示される位置は、所定アク
ションが実行された第1のギフトオブジェクトが存在していた位置とは異なる位置にも表
示される)。他方、図7の場合においては、第2のギフトオブジェクトとしての「小さな
男の子のぬいぐるみ」430には、第1のギフトオブジェクト(例えば、「男の子のぬい
ぐるみ」410A)が存在していた位置座標と同一の位置座標に関する情報が予め設定さ
れる。
とを契機として第2のギフトオブジェクトを動画上に表示させるに際し、図8に示すよう
に、当該第2のギフトオブジェクトが動画上に表示される途中の状態(第2のギフトオブ
ジェクトが表示される直前の状態)を示すエフェクトオブジェクト500を動画上に表示
させてもよい。この場合において、動画生成部100は、所定アクション(図8において
は、第1のギフトオブジェクトである「男の子のぬいぐるみ」410Aを、別の第1のギ
フトオブジェクトである「男の子のぬいぐるみ」410Bに接触させること)を実行した
と判定部120が判定した時点を契機にエフェクトオブジェクト500を動画上に表示さ
せ、第2のギフトオブジェクトを動画上に実際に表示させた時点を契機に当該エフェクト
オブジェクト500を動画上から消去させる。また、動画生成部100は、2つの第1コ
リジョン領域(例えば、図5における第1コリジョン領域411A及び411B)が重複
している位置座標を参照して、その重複している位置座標にエフェクトオブジェクト50
0を表示することができる。
表示部110は、動画(第1のギフトオブジェクトを表示させた動画及び第2のギフト
オブジェクトを表示させた動画を含む)の配信及び/又は視聴に必要とされる様々な情報
を表示することができる。例えば、表示部110は、配信される動画、受信した動画、及
び/又は生成した動画等を、表示することができる。また、表示部110は、サーバ装置
20から各端末装置10に配信される各種のコメントも、受信した動画とともに表示する
ことができる。さらにまた、ギフト記憶部150に記憶されているギフト情報(第1のギ
フトオブジェクトに関する情報)を、視聴ユーザの操作に応じて適宜表示することもでき
る。
判定部120は、動画生成部100によって、アバターオブジェクトのアニメーション
を含む動画上に1又は複数の第1のギフトオブジェクトが表示された状態(1又は複数の
第1のギフトオブジェクトを表示させた動画が生成された状態)において、配信ユーザの
動作に基づいて、当該動画上に表示された第1のギフトオブジェクトに対してアバターオ
ブジェクトが所定アクションを実行したか否かを判定する。ここで、所定アクションとは
、例えば、アバターオブジェクトが第1のギフトオブジェクトを当該動画内の特定位置に
移動させるアクションや、アバターオブジェクトが少なくとも1つの第1のギフトオブジ
ェクトを別の第1のギフトオブジェクトに接触、摺動、又は衝突させるアクションを含む
ことができる。なお、前述のアクションは、いずれも配信ユーザの動作に基づくものであ
る。
クトの形態に対応する)第1コリジョン領域が予め設定され、アバターオブジェクトの手
(又は指)には第2コリジョン領域が予め設定され、前述の所定の条件が満たされると、
第1のギフトオブジェクトはアバターオブジェクトによって把持される。なお、アバター
オブジェクトは、その両手において原則2つの第1のギフトオブジェクトを把持すること
ができるが、必ずしもこれに限定されない。例えば、アバターオブジェクトは、その両手
において3つ以上の第1のギフトオブジェクトを把持するようにしてもよいし、動画内に
複数のアバターオブジェクトが表示される場合においては、4つ以上の第1のギフトオブ
ジェクトがアバターオブジェクトによって把持されうる。
ブジェクト410A(又は410B)を第1の位置X1(又は第1の位置X1’)におい
て把持する状態を起点として、配信ユーザの動作に基づいて、当該把持した状態を維持し
たまま第1のギフトオブジェクト410A(又は410B)を第1の位置X1(又は第1
の位置X1’)とは異なる位置である第2の位置Y1(又は第2の位置Y2)へと移動さ
せる場合に、動画内の特定位置に移動させるアクションが実行されたと判定する。この場
合、第2の位置Y1(又は第2の位置Y2)が特定位置となる。なお、第1の位置X1(
又は第1の位置X1’)は、動画上におけるあらゆる位置において適宜変更される。また
、第2の位置Y1(又は第2の位置Y2)は、動画上におけるいずれかの位置においてX
YZ座標系で予め設定しておけばよい。
クト410A及び410Bを両手に把持する状態を起点として、図5に示すように、配信
ユーザの動作に基づいて2つの第1のギフトオブジェクト410A及び410Bを接触さ
せると、判定部120は所定アクションが実行されたと判定する。ここで、2つの第1の
ギフトオブジェクト410A及び410Bが接触するとは、当該2つの第1のギフトオブ
ジェクト410A及び410Bの各々に設定される第1コリジョン領域411A及び41
1Bが少なくとも一部において重なりあう(重複する)ことを意味する。また、2つの第
1のギフトオブジェクト410A及び410Bが接触するとは、両者が摺動又は衝突する
態様も含まれる。
る第1コリジョン領域411A及び411Bが少なくとも一部において重なりあう(重複
する)ことは、前述にて説明したとおり、第1コリジョン領域411A及び411Bに対
応するX軸、Y軸、及びZ軸に関する位置座標に基づいて判定される。
記憶部130は、動画(第1のギフトオブジェクトを表示させた動画及び第2のギフト
オブジェクトを表示させた動画を含む)の配信及び/又は視聴に必要とされる様々な情報
を記憶することができる。
ユーザインタフェイス部140は、動画(第1のギフトオブジェクトを表示させた動画
及び第2のギフトオブジェクトを表示させた動画を含む)の配信及び/又は視聴に必要と
される様々な情報を、配信ユーザ又は視聴ユーザの操作を介して入力することができる。
例えば、ユーザインタフェイス部140は、アバターオブジェクトに対するギフティング
に関する視聴ユーザの操作(予め用意された複数の第1のギフトオブジェクトの中からい
ずれかを選択してアバターオブジェクトに付与するコマンドを選択する等の操作を含む)
の内容を示す操作データや、視聴ユーザから配信ユーザ(アバターオブジェクト)に対す
るコメント情報(例えば、配信ユーザに対する視聴ユーザの「両手に持っている2つの男
の子のぬいぐるみをぶつけてみて!」との所定アクションのヒントとなるようなコメント
情報)の内容を示すデータを視聴ユーザから入力して、これら各種データを通信部160
へ出力することができる。なお、前述の操作データとは、例えば、視聴ユーザが配信ユー
ザに対してどのような第1のギフトオブジェクト(第1のギフトオブジェクトの種類)を
ギフティングしたかに関する情報を含むことができる。
ギフト記憶部150は、動画配信用アプリケーション及び動画視聴用アプリケーション
が端末装置10にインストールされると、これらのアプリケーションに予め設定されるギ
フト情報を記憶することができる。なお、ギフト情報とは、第1のギフトオブジェクト及
び第2のギフトオブジェクトの名称・形状・色等の識別情報や、視聴ユーザが第1のギフ
トオブジェクトをギフティングした場合に当該視聴ユーザに対して請求される第1のギフ
トオブジェクト毎の金額に関する情報を含むことができる。
トに対応する前述の第1コリジョン領域及び第3コリジョン領域に関する情報も含まれる
。
とを契機として第2のギフトオブジェクトを動画上に表示させる際に、動画生成部100
が参照する前述の設定条件を記憶する。
通信部160は、動画(第1のギフトオブジェクトを表示させた動画及び第2のギフト
オブジェクトを表示させた動画を含む)の配信及び/又は視聴に必要とされる様々な情報
を、サーバ装置20との間において通信することができる。例えば、通信部160は、端
末装置10が配信ユーザの端末装置10として動作する場合には、アバターオブジェクト
のアニメーションを含む動画上に第1のギフトオブジェクトを表示させる旨の要求情報を
サーバ装置20(情報処理サーバ装置20B)から受信して、生成された当該動画をサー
バ装置20(配信サーバ装置20C)に送信することができる。
って動画生成部100が動画上に第2のギフトオブジェクトを表示させた場合、当該第2
のギフトオブジェクトを表示させた動画をサーバ装置20(配信サーバ装置20C)に送
信することができる。このように、通信部160は、動画生成部100が生成する様々な
動画を動画生成部100から受信して、これらの様々な動画をサーバ装置20(配信サー
バ装置20C)に送信することができる。
には、配信ユーザの端末装置10によって生成された動画をサーバ装置20から受信する
ことができる。また、同じく端末装置10が視聴ユーザの端末装置10として動作する場
合には、視聴ユーザから配信ユーザ(アバターオブジェクト)に対するギフティングに関
する情報、及び視聴ユーザから配信ユーザ(アバターオブジェクト)に対するコメントに
関する情報をサーバ装置20(コメントAPIサーバ装置20D)に送信することができ
る。
前述の動画生成部100、表示部110、判定部120、記憶部130、ユーザインタ
フェイス部140、ギフト記憶部150、及び通信部160を含むスタジオユニット(図
示せず)を端末装置10として用いることもできる。
であって、前述した端末装置10及びサーバ装置20と同様に、主に、中央処理装置と、
主記憶装置と、入出力インタフェイスと、入力装置と、補助記憶装置と、出力装置と、を
含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されて
いる。また、スタジオユニットは、インストールされた特定のアプリケーションを実行す
る情報処理装置として機能することにより、スタジオユニットが設置されたスタジオルー
ム(図示せず)に居る配信ユーザの動作に関するデータ及び/又は配信ユーザによって発
せられた発話や歌唱に関するデータに基づいて、アバターオブジェクトのアニメーション
を含む動画を生成することができる。
配される。また、スタジオルームにおいては、配信ユーザが種々のパフォーマンスを行い
、スタジオユニットが、当該配信ユーザの動作、表情、及び発話(歌唱を含む)等を検出
している。
って動作、表情、及び発話(歌唱を含む)等がキャプチャされる対象となっている。この
場合において、配信ユーザは、必ずしも人間である必要はなく、例えば、自立運動可能な
ロボットであってもよい。また、スタジオルーム内の配信ユーザは、1であってもよいし
、2以上であってもよい。
首、足甲、腰、頭頂等)に装着される種々のモーションセンサ(図示せず)と、配信ユー
ザの手に把持されるコントローラ(図示せず)と、装着具(図示せず)を介して配信ユー
ザの頭部に取付けられるカメラ(図示せず)と、を有することができる。また、スタジオ
ユニットには、配信ユーザの音声データを取得するために、前述の装着具やスタジオルー
ム内のいずれかの場所(例えば、壁、床、天井等)にマイクが設けられている。さらに、
スタジオユニットは、上記の構成に加えて、複数のベースステーション(図示せず)、ト
ラッキングセンサ(図示せず)、及びディスプレイ(図示せず)を有することができる。
及び向きを検出することができる。一実施形態において、複数のベースステーションは、
多軸レーザーエミッタ―であり、同期用の点滅光を発した後に、1つのベースステーショ
ンは例えば鉛直軸の周りでレーザー光を走査し、他のベースステーションは、例えば水平
軸の周りでレーザー光を走査するように構成される。モーションセンサは、ベースステー
ションからの点滅光及びレーザー光の入射を検知する光センサを複数備え、点滅光の入射
タイミングとレーザー光の入射タイミングとの時間差、各光センサでの受光時間、各光セ
ンサが検知したレーザー光の入射角度、等を検出することができる。モーションセンサは
、例えば、HTC CORPORATIONから提供されているVive Tracke
rであってもよいし、ZERO C SEVEN Inc.から提供されているXsen
s MVN Analyzeであってもよい。
各モーションセンサの位置及び向きを示す検出情報を取得する。モーションセンサは、配
信ユーザの手首、足甲、腰、頭頂等の部位に装着されることにより、モーションセンサの
位置及び向きを検出して、配信ユーザにおける体の各部位の動きを検出することができる
。なお、モーションセンサの位置及び向きを示す検出情報は、動画内(動画に含まれる仮
想空間内)における配信ユーザにおける体の各部位毎のXYZ座標系における位置座標値
として算出される。X軸は動画内における横方向、Y軸は動画内における奥行方向、Z軸
は動画内における縦方向に対応する。したがって、配信ユーザにおける体の各部位の動き
も、全てXYZ座標系における位置座標値として検出される。
外LEDからの光を、スタジオルームの床や壁に設けられた赤外線カメラで検知すること
で、当該モーションセンサの位置及び向きを検出してもよい。また、赤外LEDに代えて
可視光LEDを使用し、この可視光LEDからの光を可視光カメラで検出することで、当
該モーションセンサの位置及び向きを検出してもよい。
もできる。反射マーカーは、配信ユーザに粘着テープ等により貼付される。このように反
射マーカーが貼付された配信ユーザを撮影して撮影データを生成し、この撮影データを画
像処理することにより、反射マーカーの位置及び向き(前述と同様に、XYZ座標系にお
ける位置座標値)を検出するような構成としてもよい。
出力し、これを動画生成部100が取得する。
報を定めるためのトラッキング情報を生成する。当該トラッキング情報は、三次元直交座
標系での位置及び各軸回りの角度として算出され、動画生成部100は当該トラッキング
情報を取得する。
れる。当該カメラは、配信ユーザの顔を連続的に撮像することで、配信ユーザの顔の撮像
データを取得し、動画生成部100はこの撮像データを当該カメラから取得する。なお、
当該カメラは、配信ユーザの顔の奥行きを検出可能な3Dカメラであってもよい。
な位置に配置され、配信ユーザは、各種情報を取得して動画生成部100によって生成さ
れた動画を、ディスプレイを通して視認することが可能となっている。
びコントローラ等からの情報を取得して、アバターオブジェクトのアニメーションを含む
動画を生成することができる。
にて説明した動画生成部100、表示部110、判定部120、記憶部130、ユーザイ
ンタフェイス部140、ギフト記憶部150、及び通信部160(又はこれらの機能を有
する別の構成要素)を含むことができる。これにより、前述の所定アクションに関する判
定や、アバターオブジェクトのアニメーションを含む動画上に第1のギフトオブジェクト
及び/又は第2のギフトオブジェクトを表示させること等を実行することができる。以上
のとおり説明したスタジオユニットの構成要素は一例であって、他に適用可能な様々な構
成要素を含みうる。
サーバ装置20の機能の一例について図9を参照しつつ説明する。図9は、図1に示し
たサーバ装置20の機能の一例を模式的に示すブロック図である。
理部220、及びコメント処理部230を含むことができる。
記憶部200は、動画(第1のギフトオブジェクトを表示させた動画及び第2のギフト
オブジェクトを表示させた動画を含む)の配信及び/又は視聴に必要とされる様々な情報
を記憶することができる。
通信部210は、動画(第1のギフトオブジェクトを表示させた動画及び第2のギフト
オブジェクトを表示させた動画を含む)の配信及び/又は視聴に必要とされる様々な情報
を、配信ユーザの端末装置10及び/又は視聴ユーザの端末装置10との間において通信
することができる。例えば、通信部210は、動画(第1のギフトオブジェクトを表示さ
せた動画及び第2のギフトオブジェクトを表示させた動画を含む)を、配信ユーザの端末
装置10から受信して各視聴ユーザの端末装置10へ配信することができる。
ギフティングに関する情報、及び視聴ユーザから配信ユーザ(アバターオブジェクト)に
対するコメントに関する情報を視聴ユーザの端末装置10から受信すると、ギフティング
に関する情報はギフト処理部220へ、コメントに関する情報はコメント処理部230へ
と各々出力する。
クトに関する情報をギフト処理部220から入手して、アバターオブジェクトのアニメー
ションを含む動画上に当該第1のギフトオブジェクトを表示させる旨の要求情報を配信ユ
ーザの端末装置10へ送信することができる。なお、通信部210がギフト処理部220
から入手する第1のギフトオブジェクトに関する情報とは、配信ユーザの端末装置10に
おける動画生成部100がギフト記憶部150に記憶される多数の第1のギフトオブジェ
クトに関する情報の中から、どの第1のギフトオブジェクトの情報を参照すればよいかを
特定できる程度の情報であればよい。例えば、視聴ユーザの端末装置10から、第1のギ
フトオブジェクトとして「男の子のぬいぐるみ」がギフティングされた場合、通信部21
0は、ギフト処理部220から、当該「男の子のぬいぐるみ」たる第1のギフトオブジェ
クトの名称(又は名称に類する文字列等)のみであってもよい。
クトに対してアバターオブジェクトが所定アクションを実行したと判定され第2のギフト
オブジェクトが動画上に表示された旨に関する情報を受信して、当該情報をコメント処理
部230へ出力することもできる。
ギフト処理部220は、通信部210からギフティングに関する情報を受信すると、ギ
フティング行為がなされた視聴ユーザの識別情報(各視聴ユーザの端末装置10のシリア
ル番号や各視聴ユーザに付与されるID情報等)、ギフティングされた第1のギフトオブ
ジェクトに関する情報(第1のギフトオブジェクトの名称・大きさ・形状・色等の識別情
報)、及びギフティング対象のアバターオブジェクトたる配信ユーザの識別情報(配信ユ
ーザの端末装置10のシリアル番号や配信ユーザに付与されるID情報等)を読み出す。
置10における動画生成部100がギフト記憶部150に記憶される多数の第1のギフト
オブジェクトに関する情報の中から、どの第1のギフトオブジェクトの情報を参照すれば
よいかを特定できる程度の情報(例えば、前述のとおり、第1のギフトオブジェクトの名
称又は名称に類する文字列等)のみを読み出せばよく、第1のギフトオブジェクトの大き
さ、形状、色等の識別情報は必ずしも読み出さなくてもよい。また、各第1のギフトオブ
ジェクトに対応する第1コリジョン領域に関する情報は、ギフト処理部220にて読み出
されることはなく、前述したギフト記憶部150にて記憶されている。
て、当該記憶部200にて記憶される。
コメント処理部230は、視聴ユーザから配信ユーザ(アバターオブジェクト)に対す
るコメント情報(例えば、配信ユーザに対する視聴ユーザの『両手に持っている2つの「
男の子のぬいぐるみ」をぶつけてみて!』との所定アクションのヒントとなるようなコメ
ント情報を含む)を、通信部210を介して視聴ユーザの端末装置10から受信すること
ができ、視聴ユーザからの当該コメント情報を、同一の動画を視聴している各視聴ユーザ
に対して配信することができる。
記憶部200に記憶された情報)を参照して、どの視聴ユーザがどんな第1のギフトオブ
ジェクトをアバターオブジェクトに対してギフティングしたかに関する全て又は一部の情
報に対応するコメント情報(例えば、『視聴ユーザXが「男の子のぬいぐるみ」をギフテ
ィングしたよ!』とのコメント情報)を作成して、当該コメント情報を同一の動画を視聴
している各視聴ユーザに対して配信することもできる。
が動画上に表示された旨に関する情報を受信すると、その旨に対応するコメント情報(例
えば、『たくさんの「小さなクマのぬいぐるみ」出現!』とのコメント情報)を作成して
、当該コメント情報を同一の動画を視聴している各視聴ユーザに対して配信することもで
きる。
クト)に対するコメント情報を、通信部210を介して視聴ユーザの端末装置10から受
信しているか否かにかかわらず、ギフト処理部220によって読み出された各種情報を参
照して、ギフティングされた第1のギフトオブジェクトに対する所定アクションのヒント
となるようなコメント情報(例えば、『2つの「男の子のぬいぐるみ」を上下にくっつけ
て並べてみて!』とのコメント情報)を自ら作成して、当該コメント情報を同一の動画を
視聴している各視聴ユーザに対して配信することもできる。
次に、上記構成を有する動画配信システム1においてなされる全体的な動作について、
図10を参照して説明する。図10は、図1に示した動画配信システム1において行われ
る動作の一例を示すフロー図である。
、その端末装置10(ここでは端末装置10A)が動画配信用アプリケーションを起動し
て実行する。
/又は配信ユーザによって発せられた発話や歌唱に関する音声データに基づいて配信ユー
ザのアバターオブジェクトのアニメーションを含む動画を生成する。これにより、端末装
置10Aの表示部110には、配信ユーザのアバターオブジェクト400のアニメーショ
ンを含む動画(例えば、図4において第1のギフトオブジェクト410A及び410Bが
表示される前の状態の動画)が表示される。
送信する。配信サーバ装置20Cは、端末装置10Aから受信した動画を、動画視聴用ア
プリケーションを実行している各視聴ユーザの端末装置10(ここでは、端末装置10B
、端末装置10C、及び端末装置10D)に配信する。これにより、各視聴ユーザの端末
装置10の表示部110にも、同じ動画が表示される。
40に対する視聴ユーザの操作に基づいて、配信ユーザ(アバターオブジェクト)に対し
て第1のギフトオブジェクトを付与することを要求する要求信号をサーバ装置20(ギフ
トAPIサーバ装置20A)に発信する。
に関する要求信号を受信したサーバ装置20(ギフトAPIサーバ装置20A)は、ギフ
ティング行為がなされた視聴ユーザの識別情報、ギフティングされた第1のギフトオブジ
ェクトに関する情報、及びギフティング対象のアバターオブジェクトたる配信ユーザの識
別情報を読み出す。
出された情報に基づいて、アバターオブジェクトのアニメーションを含む動画上に当該第
1のギフトオブジェクトを表示させる旨の要求情報を配信ユーザの端末装置10へ送信す
る。この際、情報処理サーバ装置20Bは、ギフトAPIサーバ装置20Aから、第1の
ギフトオブジェクトに関する情報の少なくとも一部(例えば、前述のとおり、第1のギフ
トオブジェクトの名称又は名称に類する文字列等)を取得して、アバターオブジェクトの
アニメーションを含む動画上に当該第1のギフトオブジェクトを表示させる旨の要求情報
を生成する。
置20から送信された要求情報に基づいて、アバターオブジェクトのアニメーションを含
む動画上に当該要求情報に対応する第1のギフトオブジェクトを表示させる。なお、配信
ユーザの端末装置10Aが、当該要求情報に対応する第1のギフトオブジェクトを動画上
に表示させるに際し、配信ユーザの端末装置10Aは、前述のギフト記憶部150に記憶
される第1のギフトオブジェクトの名称・形状・色・第1コリジョン領域等の識別情報を
参照する。
は複数の第1のギフトオブジェクトに対してアバターオブジェクトが所定アクションを実
行したと判定すると、第2のギフトオブジェクトを動画上に表示させる。なお、当該所定
アクションに関する判定は、前述のとおり配信ユーザの端末装置10Aの判定部120に
よって実行される。また、所定アクションが実行された第1のギフトオブジェクトの処理
方法、及び第2のギフトオブジェクトの動画上への表示方法等については、前述のとおり
である。
プは終了する。
前述の一実施形態においては、動画(第1のギフトオブジェクトを表示させた動画及び
第2のギフトオブジェクトを表示させた動画を含む)の生成は配信ユーザの端末装置10
によって実行されていたが、別の実施形態では、例えば、サーバ装置20又は視聴ユーザ
の端末装置10によって実行されてもよい。この場合においては、サーバ装置20及び/
又は視聴ユーザの端末装置10にレンダリング部(図示せず)を設けておき、配信ユーザ
の端末装置10は、サーバ装置20及び/又は視聴ユーザの端末装置10が動画(第1の
ギフトオブジェクトを表示させた動画及び第2のギフトオブジェクトを表示させた動画を
含む)を生成することができるように、様々な情報(例えば、第1のギフトオブジェクト
に関する各種の識別情報や第2のギフトオブジェクトに関する各種の識別情報)のみを生
成するような構成としてもよい。
配信ユーザの端末装置10の各機能は前述の一実施形態から適宜に変更される別の実施形
態が採用されうる。例えば、一実施形態において動画生成部100は端末装置10に具備
されていたが、サーバ装置20に具備されてもよいし、端末装置10でも視聴ユーザの端
末装置10に具備されてもよい。
おいては配信ユーザの端末装置10によって実行されていたが、別の実施形態では、サー
バ装置20又は端末装置10でも視聴ユーザの端末装置10で実行されてもよい。この場
合、サーバ装置20又は視聴ユーザの端末装置10には、判定部120と同様の機能が具
備される。
る動画処理方法、サーバ装置及びコンピュータプログラムを提供することができる。さら
に、第1のギフトオブジェクトを第2のギフトオブジェクトに変化させることで、動画上
に表示されるギフトオブジェクトのバリエーションを増やすことができる。また、様々な
実施形態のうち複数の第1のギフトオブジェクトを1つの第2のギフトオブジェクトに変
化させる場合においては、視聴ユーザの端末装置10における表示部110の限られた領
域内に表示された第1のギフトオブジェクトの数をスムーズに削減させることができるた
め(この場合において、動画上に表示される第2のギフトオブジェクトの大きさは第1の
ギフトオブジェクトよりも小さくすることが好ましい)、視聴ユーザのギフティング意欲
を効率的に向上させることが可能となる。さらにまた、第1のギフトオブジェクトを配信
ユーザ(アバターオブジェクト)の所定アクションを介して第2のギフトオブジェクトに
変化させる実施形態とすることで、配信ユーザに対して何らかのアクションを実行させる
きっかけを創出することができる。さらにまた、様々な実施形態によれば、視聴ユーザは
、配信ユーザに対して、所定アクションに関連するアドバイスをコメント情報(例えば、
配信ユーザに対する視聴ユーザの「両手に持っている2つの男の子のぬいぐるみをぶつけ
てみて!」とのコメント情報)として発信することができるため、配信ユーザと視聴ユー
ザとの間のコミュニケーションが活性化される。
第1の態様による動画処理方法は、「コンピュータにより読み取り可能な命令を実行す
る一又は複数のプロセッサにより実行される動画処理方法であって、配信ユーザの動作に
基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成する生
成工程と、前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブ
ジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、前記
視聴ユーザの端末装置から通信回線を介して受信する受信工程と、前記要求信号に基づい
て前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記
動画上に表示させる第1表示工程と、前記配信ユーザの動作に基づいて、前記動画上に表
示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクト
が所定アクションを実行したと判定された場合に、前記所定アクションを実行された前記
第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させ
る第2表示工程と、を含む」ものである。
前記配信ユーザの動作に基づいて、前記アバターオブジェクトが前記第1のギフトオブジ
ェクトを特定位置に移動させるアクション」である。
前記配信ユーザの動作に基づいて、前記アバターオブジェクトが少なくとも1つの前記第
1のギフトオブジェクトを、別の前記第1のギフトオブジェクトに接触させるアクション
」である。
ェクトの各々には、第1コリジョン領域が設定され、少なくとも2つの前記第1コリジョ
ン領域が、前記動画内で少なくとも一部において重なりあうと判定された場合に、少なく
とも2つの前記第1のギフトオブジェクトが接触していると認識される」ものである。
1コリジョン領域が前記動画内で少なくとも一部において重なりあうか否かの判定は、前
記動画内における横方向のX軸、奥行方向のY軸、及び縦方向のZ軸に基づく各前記第1
コリジョン領域の位置座標に基づいて実行される」ものである。
ェクトの各々には、第1コリジョン領域が設定され、前記アバターオブジェクトの手には
、第2コリジョン領域が設定され、前記第1コリジョン領域と前記第2コリジョン領域が
、前記動画内で少なくとも一部において重なりあうと判定された場合で、且つ前記配信ユ
ーザの動作に基づいて、前記アバターオブジェクトの指が曲がっていると判定された場合
に、前記第1のギフトオブジェクトが前記アバターオブジェクトによって把持されている
と認識され、前記動画内の第1の位置で前記アバターオブジェクトによる前記第1のギフ
トオブジェクトを把持される状態が開始され、前記第1の位置とは異なる前記動画内の第
2の位置まで前記把持される状態が維持される場合に、前記特定位置に移動させるアクシ
ョンが実行されたと認識される」ものである。
と前記第2コリジョン領域が前記動画内で少なくとも一部において重なりあうか否かの判
定は、前記動画内における横方向のX軸、奥行方向のY軸、及び縦方向のZ軸に基づく前
記第1コリジョン領域の位置座標並びに前記第2コリジョン領域の位置座標に基づいて実
行される」ものである。
ェクトは、前記特定位置、前記第1のギフトオブジェクトの種類、及び前記第1のギフト
オブジェクトの種類毎の付与数に基づいて決定され前記動画上に表示される」ものである
。
第2のギフトオブジェクトは、前記第1のギフトオブジェクトの種類、及び前記第1のギ
フトオブジェクトの種類毎の付与数に基づいて決定され前記動画上に表示される」もので
ある。
ジェクトは、さらに前記第1のギフトオブジェクト同士の接触時間に基づいて決定され前
記動画上に表示される」ものである。
前記第2のギフトオブジェクトは、さらに前記第1のギフトオブジェクト同士が接触する
際の衝突速度に基づいて決定され前記動画上に表示される」ものである。
において「前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを実行
したと判定された場合に、前記所定アクションを実行された前記第1のギフトオブジェク
トを前記動画上から消去させる」ものである。
において「前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを実行
したと判定された場合に、前記所定アクションを実行された前記第1のギフトオブジェク
トを前記第2のギフトオブジェクトに変化させて、前記第2のギフトオブジェクトを前記
動画上に表示させる」ものである。
において「前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを実行
したと判定された場合に、前記所定アクションを実行された複数の前記第1のギフトオブ
ジェクトのうち少なくとも1つの前記第1のギフトオブジェクトを前記動画上から消去さ
せ、且つ他の少なくとも1つの前記第1のギフトオブジェクトを前記第2のギフトオブジ
ェクトに変化させる」ものである。
かにおいて「前記第2のギフトオブジェクトは、前記動画上から消去される前又は前記第
2のギフトオブジェクトに変化される前に前記第1のギフトオブジェクトが前記動画内に
存在していた位置とは異なる位置に表示される」ものである。
において「前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを開始
し、前記第2のギフトオブジェクトが前記動画上に表示される途中の状態を示すエフェク
トオブジェクトを、前記動画上に表示させる工程を含む」ものである。
において「前記生成工程、前記第1表示工程、及び前記第2表示工程が、前記配信ユーザ
の端末装置により実行される」ものである。
記視聴ユーザの端末装置及び/又は前記配信ユーザの端末装置に通信回線を介して接続さ
れるサーバ装置により実行され、前記動画上に表示された前記第1のギフトオブジェクト
に対して前記アバターオブジェクトが所定アクションを実行したことが、前記配信ユーザ
の端末装置により判定される」ものである。
において「前記生成工程、前記受信工程、前記第1表示工程、及び前記第2表示工程が、
前記視聴ユーザの端末装置及び/又は前記配信ユーザの端末装置に通信回線を介して接続
されるサーバ装置により実行される」ものである。
れた前記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクション
を実行したことが、前記配信ユーザの端末装置により判定される」ものである。
において「前記生成工程、前記第1表示工程、及び前記第2表示工程が、前記視聴ユーザ
の端末装置により実行される」ものである。
記視聴ユーザの端末装置及び/又は前記配信ユーザの端末装置に通信回線を介して接続さ
れるサーバ装置により実行され、前記動画上に表示された前記第1のギフトオブジェクト
に対して前記アバターオブジェクトが所定アクションを実行したことが、前記配信ユーザ
の端末装置により判定される」ものである。
において「前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフ
ィックスプロセッシングユニット(GPU)である」ものである。
において「前記通信回線がインターネットを含む」ものである。
が、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーション
を含む動画を生成し、前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記ア
バターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信
号を、前記視聴ユーザの端末装置から通信回線を介して受信し、前記要求信号に基づいて
前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記動
画上に表示させ、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数
の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクションを
実行したと前記配信サーバの端末装置によって判定された場合に、前記所定アクションを
実行された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動
画上に表示させる」ものである。
が、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーション
を含む動画を生成するための情報を、前記動画を生成する前記配信ユーザの端末装置又は
視聴ユーザの端末装置へ送信し、前記動画を視聴する前記視聴ユーザの操作に基づいて生
成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを
要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信し、前記要求
信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェ
クトに関する情報を、前記第1のギフトオブジェクトを前記動画上に表示させる前記配信
ユーザの端末装置又は前記視聴ユーザの端末装置へ送信し、前記配信ユーザの動作に基づ
いて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記
アバターオブジェクトが所定アクションを実行したと前記配信サーバの端末装置によって
判定された場合に、前記所定アクションを実行された前記第1のギフトオブジェクトとは
異なる第2のギフトオブジェクトに関する情報を、前記第2のギフトオブジェクトを前記
動画上に表示させる前記配信ユーザの端末装置又は前記視聴ユーザの端末装置へ送信する
」ものである。
前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプ
ロセッシングユニット(GPU)である」ものである。
において「前記通信回線がインターネットを含む」ものである。
ることにより、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニ
メーションを含む動画を生成し、前記動画を視聴する視聴ユーザの操作に基づいて生成さ
れ、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求
する要求信号を、サーバ装置又は前記視聴ユーザの端末装置から通信回線を介して受信し
、前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフ
トオブジェクトを、前記動画上に表示させ、前記配信ユーザの動作に基づいて、前記動画
上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジ
ェクトが所定アクションを実行したと判定された場合に、前記所定アクションを実行され
た前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表
示させる、ように前記プロセッサを機能させる」ものである。
ることにより、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニ
メーションを含む動画を生成するための情報を、前記動画を生成するサーバ装置又は視聴
ユーザの端末装置へ送信し、前記動画を視聴する前記視聴ユーザの操作に基づいて生成さ
れ、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求
する要求信号を、サーバ装置又は前記視聴ユーザの端末装置から通信回線を介して受信し
、前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフ
トオブジェクトに関する情報を、前記第1のギフトオブジェクトを前記動画上に表示させ
る前記サーバ装置又は前記視聴ユーザの端末装置へ送信し、前記配信ユーザの動作に基づ
いて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記
アバターオブジェクトが所定アクションを実行したと判定された場合に、前記所定アクシ
ョンを実行された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトに
関する情報を、前記第2のギフトオブジェクトを前記動画上に表示させる前記サーバ装置
又は前記視聴ユーザの端末装置へ送信する、ように前記プロセッサを機能させる」もので
ある。
様において「前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラ
フィックスプロセッシングユニット(GPU)である」ものである。
いずれかにおいて「前記通信回線がインターネットを含む」ものである。
ることにより、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニ
メーションを含む動画を生成するために、当該動画に関する情報をサーバ装置又は前記配
信ユーザの端末装置から受信し、前記動画を視聴する視聴ユーザの操作に基づいて生成さ
れ、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求
する要求信号を、通信回線を介して発信し、前記要求信号に基づいて前記アバターオブジ
ェクトに対して付与された前記第1のギフトオブジェクトを前記動画上に表示させるため
に、前記第1のギフトオブジェクトに関する情報を前記サーバ装置又は前記配信ユーザの
端末装置から受信し、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は
複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクショ
ンを実行したと前記配信サーバの端末装置によって判定された場合に、前記所定アクショ
ンを実行された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前
記動画上に表示させるために、前記第2のギフトオブジェクトに関する情報を前記サーバ
装置又は前記配信ユーザの端末装置から受信する、ように前記プロセッサを機能させる」
ものである。
ることにより、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニ
メーションを含む動画を、サーバ装置又は前記配信ユーザの端末装置から受信し、前記動
画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して
第1のギフトオブジェクトを付与することを要求する要求信号を、通信回線を介して発信
し、前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギ
フトオブジェクトを表示させた前記動画を、前記サーバ装置又は前記配信ユーザの端末装
置から受信し、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の
前記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクションを実
行したと前記配信サーバの端末装置によって判定された場合に、前記所定アクションを実
行された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを表示させ
た前記動画を、前記サーバ装置又は前記配信ユーザの端末装置から受信する、ように前記
プロセッサを機能させる」ものである。
様において「前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラ
フィックスプロセッシングユニット(GPU)である」ものである。
いずれかにおいて「前記通信回線がインターネットを含む」ものである。
ーザのアバターオブジェクトのアニメーションを含む動画を生成し、前記動画を視聴する
視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフト
オブジェクトを付与することを要求する要求信号を、サーバ装置又は前記視聴ユーザの端
末装置から通信回線を介して受信し、前記要求信号に基づいて前記アバターオブジェクト
に対して付与された前記第1のギフトオブジェクトを、前記動画上に表示させ、前記配信
ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジ
ェクトに対して前記アバターオブジェクトが所定アクションを実行したと判定された場合
に、前記所定アクションを実行された前記第1のギフトオブジェクトとは異なる第2のギ
フトオブジェクトを前記動画上に表示させる」ものである。
ーザのアバターオブジェクトのアニメーションを含む動画を生成するための情報を、前記
動画を生成するサーバ装置又は視聴ユーザの端末装置へ送信し、前記動画を視聴する前記
視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフト
オブジェクトを付与することを要求する要求信号を、サーバ装置又は前記視聴ユーザの端
末装置から通信回線を介して受信し、前記要求信号に基づいて前記アバターオブジェクト
に対して付与された前記第1のギフトオブジェクトに関する情報を、前記第1のギフトオ
ブジェクトを前記動画上に表示させる前記サーバ装置又は前記視聴ユーザの端末装置へ送
信し、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1
のギフトオブジェクトに対して前記アバターオブジェクトが所定アクションを実行したと
判定された場合に、前記所定アクションを実行された前記第1のギフトオブジェクトとは
異なる第2のギフトオブジェクトに関する情報を、前記第2のギフトオブジェクトを前記
動画上に表示させる前記サーバ装置又は前記視聴ユーザの端末装置へ送信する」ものであ
る。
ことにより、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメ
ーションを含む動画を生成するために、当該動画に関する情報をサーバ装置又は前記配信
ユーザの端末装置から受信し、前記動画を視聴する視聴ユーザの操作に基づいて生成され
、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求す
る要求信号を、通信回線を介して発信し、前記要求信号に基づいて前記アバターオブジェ
クトに対して付与された前記第1のギフトオブジェクトを前記動画上に表示させるために
、前記第1のギフトオブジェクトに関する情報を前記サーバ装置又は前記配信ユーザの端
末装置から受信し、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複
数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクション
を実行したと前記配信サーバの端末装置によって判定された場合に、前記所定アクション
を実行された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記
動画上に表示させるために、前記第2のギフトオブジェクトに関する情報を前記サーバ装
置又は前記配信ユーザの端末装置から受信する」ものである。
ーザのアバターオブジェクトのアニメーションを含む動画を、サーバ装置又は前記配信ユ
ーザの端末装置から受信し、前記動画を視聴する視聴ユーザの操作に基づいて生成され、
前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する
要求信号を、通信回線を介して発信し、前記要求信号に基づいて前記アバターオブジェク
トに対して付与された前記第1のギフトオブジェクトを表示させた前記動画を、前記サー
バ装置又は前記配信ユーザの端末装置から受信し、前記配信ユーザの動作に基づいて、前
記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバター
オブジェクトが所定アクションを実行したと前記配信サーバの端末装置によって判定され
た場合に、前記所定アクションを実行された前記第1のギフトオブジェクトとは異なる第
2のギフトオブジェクトを表示させた前記動画を、前記サーバ装置又は前記配信ユーザの
端末装置から受信する」ものである。
本件出願に開示された技術は、例えば、次のような分野において適用することが可能な
ものである。
(1)アバターオブジェクトが登場するライブ動画を配信するアプリケーション・サー
ビス
(2)文字及びアバターオブジェクトを用いてコミュニケーションすることができるア
プリケーション・サービス(チャットアプリケーション、メッセンジャー、メールアプリ
ケーション等)
10(10A~10D) 端末装置
20 サーバ装置
20A ギフトAPIサーバ装置
20B 情報処理サーバ装置
20C 配信サーバ装置
20D コメントAPIサーバ装置
100 動画生成部
110 表示部
120 判定部
130 記憶部
140 ユーザインタフェイス部
150 ギフト記憶部
160 通信部
400 アバターオブジェクト
410A、410B 第1のギフトオブジェクト
411A、411B 第1コリジョン領域
420、430 第2のギフトオブジェクト
500 エフェクトオブジェクト
Claims (23)
- コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される動画処理方法であって、
配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成する生成工程と、
前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信する受信工程と、
前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記動画上に表示させる第1表示工程と、
前記第1のギフトオブジェクトに関する情報に基づいて、所定アクションの実行を誘導するコメント情報を作成するコメント情報作成工程と、
前記コメント情報を前記動画上に表示させるコメント情報表示工程と、
前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させる第2表示工程と、
を含む動画処理方法。 - 前記所定アクションは、前記配信ユーザの動作に基づいて、前記アバターオブジェクトが前記第1のギフトオブジェクトを特定位置に移動させるアクション、又は、前記配信ユーザの動作に基づいて、前記アバターオブジェクトが少なくとも1つの前記第1のギフトオブジェクトを、別の前記第1のギフトオブジェクトに接触させるアクションである、請求項1に記載の動画処理方法。
- 前記所定アクションは、前記アバターオブジェクトが前記第1のギフトオブジェクトを把持していると判定されている場合に実行可能とされ、
前記第1のギフトオブジェクトに設定される第1コリジョン領域と、前記アバターオブジェクトの手に設定される第2コリジョン領域とが、前記動画内で少なくとも一部において重なりあうと判断され、且つ前記アバターオブジェクトの手又は指が曲がっていると判断される場合に、前記アバターオブジェクトが前記第1のギフトオブジェクトを把持していると判定される、請求項1又は2に記載の動画処理方法。 - 前記動画上に表示される前記第2のギフトオブジェクトは、前記所定アクションが実行された前記第1のギフトオブジェクトの種類に予め関連付けられている、請求項1乃至3のいずれか一項に記載の動画処理方法。
- 前記動画上に表示される前記第2のギフトオブジェクトは、前記所定アクションの種類に予め関連付けられている、請求項1乃至4のいずれか一項に記載の動画処理方法。
- 前記動画上に表示される前記第2のギフトオブジェクトは、前記所定アクションが実行された前記第1のギフトオブジェクトの数に予め関連付けられている、請求項1乃至5のいずれか一項に記載の動画処理方法。
- 前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを実行したと判定された場合に、前記所定アクションを実行された前記第1のギフトオブジェクトを前記動画上から消去させたうえで、前記第2のギフトオブジェクトを前記動画上に表示させる請求項1乃至6のいずれか一項に記載の動画処理方法。
- 前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを実行したと判定された場合に、前記所定アクションを実行された前記第1のギフトオブジェクトを時間経過とともに前記第2のギフトオブジェクトに変化させて、前記第2のギフトオブジェクトを前記動画上に表示させる、請求項1乃至6のいずれか一項に記載の動画処理方法。
- 前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを実行したと判定された場合に、前記所定アクションを実行された複数の前記第1のギフトオブジェクトのうち少なくとも1つの前記第1のギフトオブジェクトを前記動画上から消去させ、且つ他の少なくとも1つの前記第1のギフトオブジェクトを時間経過とともに前記第2のギフトオブジェクトに変化させる、請求項1乃至6のいずれか一項に記載の動画処理方法。
- 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項1乃至9のいずれか一項に記載の動画処理方法。
- 前記通信回線がインターネットを含む、請求項1乃至10のいずれか一項に記載の動画処理方法。
- 1又は複数のプロセッサを具備し、
該プロセッサが、
配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成し、
前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信し、
前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記動画上に表示させ、
前記第1のギフトオブジェクトに関する情報に基づいて、所定アクションの実行を誘導するコメント情報を作成し、
前記コメント情報を前記動画上に表示させ、
前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと前記配信ユーザの端末装置によって判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させる、サーバ装置。 - 1又は複数のプロセッサを具備し、
該プロセッサが、
配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成するための情報を、前記動画を生成する前記配信ユーザの端末装置又は視聴ユーザの端末装置へ送信し、
前記動画を視聴する前記視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信し、
前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトに関する情報を、前記第1のギフトオブジェクトを前記動画上に表示させる前記配信ユーザの端末装置又は前記視聴ユーザの端末装置へ送信し、
前記第1のギフトオブジェクトに関する情報に基づいて作成され且つ所定アクションの実行を誘導するコメント情報を、前記コメント情報を前記動画上に表示させる前記配信ユーザの端末装置又は前記視聴ユーザの端末装置へ送信し、
前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと前記配信ユーザの端末装置によって判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトに関する情報を、前記第2のギフトオブジェクトを前記動画上に表示させる前記配信ユーザの端末装置又は前記視聴ユーザの端末装置へ送信する、サーバ装置。 - 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項12又は13に記載のサーバ装置。
- 前記通信回線がインターネットを含む、請求項12乃至14のいずれか一項に記載のサーバ装置。
- 1又は複数のプロセッサに実行されることにより、
配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成し、
前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、サーバ装置又は前記視聴ユーザの端末装置から通信回線を介して受信し、
前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記動画上に表示させ、
前記第1のギフトオブジェクトに関する情報に基づいて、所定アクションの実行を誘導するコメント情報を作成し、
前記コメント情報を前記動画上に表示させ、
前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させる、
ように前記プロセッサを機能させるコンピュータプログラム。 - 1又は複数のプロセッサに実行されることにより、
配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成するための情報を、前記動画を生成するサーバ装置又は視聴ユーザの端末装置へ送信し、
前記動画を視聴する前記視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、サーバ装置又は前記視聴ユーザの端末装置から通信回線を介して受信し、
前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトに関する情報を、前記第1のギフトオブジェクトを前記動画上に表示させる前記サーバ装置又は前記視聴ユーザの端末装置へ送信し、
前記第1のギフトオブジェクトに関する情報に基づいて作成され且つ所定アクションの実行を誘導するコメント情報を、前記コメント情報を前記動画上に表示させる前記サーバ装置又は前記視聴ユーザの端末装置へ送信し、
前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトに関する情報を、前記第2のギフトオブジェクトを前記動画上に表示させる前記サーバ装置又は前記視聴ユーザの端末装置へ送信する、
ように前記プロセッサを機能させるコンピュータプログラム。 - 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項16又は17に記載のコンピュータプログラム。
- 前記通信回線がインターネットを含む、請求項16乃至18のいずれか一項に記載のコンピュータプログラム。
- 1又は複数のプロセッサに実行されることにより、
配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成するために、当該動画に関する情報をサーバ装置又は前記配信ユーザの端末装置から受信し、
前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、通信回線を介して発信し、
前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを前記動画上に表示させるために、前記第1のギフトオブジェクトに関する情報を前記サーバ装置又は前記配信ユーザの端末装置から受信し、
前記第1のギフトオブジェクトに関する情報に基づいて作成され且つ所定アクションの実行を誘導するコメント情報を前記動画上に表示させるために、前記コメント情報を前記サーバ装置又は前記視聴ユーザの端末装置から受信し、
前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと前記配信ユーザの端末装置によって判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させるために、前記第2のギフトオブジェクトに関する情報を前記サーバ装置又は前記配信ユーザの端末装置から受信する、
ように前記プロセッサを機能させるコンピュータプログラム。 - 1又は複数のプロセッサに実行されることにより、
配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を、サーバ装置又は前記配信ユーザの端末装置から受信し、
前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、通信回線を介して発信し、
前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを表示させた前記動画を、前記サーバ装置又は前記配信ユーザの端末装置から受信し、
前記第1のギフトオブジェクトに関する情報に基づいて作成され且つ所定アクションの実行を誘導するコメント情報を表示させた前記動画を、前記サーバ装置又は前記視聴ユーザの端末装置から受信し、
前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと前記配信ユーザの端末装置によって判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを表示させた前記動画を、前記サーバ装置又は前記配信ユーザの端末装置から受信する、
ように前記プロセッサを機能させるコンピュータプログラム。 - 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項20又は21に記載のコンピュータプログラム。
- 前記通信回線がインターネットを含む、請求項20乃至22のいずれか一項に記載のコンピュータプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020136660A JP7133590B2 (ja) | 2020-08-13 | 2020-08-13 | 動画処理方法、サーバ装置及びコンピュータプログラム |
US17/016,131 US11682154B2 (en) | 2019-10-31 | 2020-09-09 | Moving image processing method of a moving image viewed by a viewing user, a server device controlling the moving image, and a computer program thereof |
JP2022101777A JP7430353B2 (ja) | 2020-08-13 | 2022-06-24 | 動画処理方法、サーバ装置及びコンピュータプログラム |
US18/298,309 US20230245369A1 (en) | 2019-10-31 | 2023-04-10 | Moving image processing method of a moving image viewed by a viewing user, a server device controlling the moving image, and a computer program thereof |
JP2024008210A JP2024040211A (ja) | 2020-08-13 | 2024-01-23 | 動画処理方法、サーバ装置及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020136660A JP7133590B2 (ja) | 2020-08-13 | 2020-08-13 | 動画処理方法、サーバ装置及びコンピュータプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019198441A Division JP6751193B1 (ja) | 2019-10-31 | 2019-10-31 | 動画処理方法、サーバ装置及びコンピュータプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022101777A Division JP7430353B2 (ja) | 2020-08-13 | 2022-06-24 | 動画処理方法、サーバ装置及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021072096A JP2021072096A (ja) | 2021-05-06 |
JP7133590B2 true JP7133590B2 (ja) | 2022-09-08 |
Family
ID=75713325
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020136660A Active JP7133590B2 (ja) | 2019-10-31 | 2020-08-13 | 動画処理方法、サーバ装置及びコンピュータプログラム |
JP2022101777A Active JP7430353B2 (ja) | 2020-08-13 | 2022-06-24 | 動画処理方法、サーバ装置及びコンピュータプログラム |
JP2024008210A Pending JP2024040211A (ja) | 2020-08-13 | 2024-01-23 | 動画処理方法、サーバ装置及びコンピュータプログラム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022101777A Active JP7430353B2 (ja) | 2020-08-13 | 2022-06-24 | 動画処理方法、サーバ装置及びコンピュータプログラム |
JP2024008210A Pending JP2024040211A (ja) | 2020-08-13 | 2024-01-23 | 動画処理方法、サーバ装置及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP7133590B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7223241B1 (ja) | 2022-07-13 | 2023-02-16 | 株式会社Mixi | 情報処理装置、情報処理方法、及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6431233B1 (ja) | 2018-05-08 | 2018-11-28 | グリー株式会社 | 視聴ユーザからのメッセージを含む動画を配信する動画配信システム |
JP2019008751A (ja) | 2017-06-28 | 2019-01-17 | 株式会社コロプラ | 情報処理方法、プログラム及び情報処理装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018142494A1 (ja) | 2017-01-31 | 2018-08-09 | 株式会社 ニコン | 表示制御システム、及び、表示制御方法 |
JP7038482B2 (ja) | 2017-03-31 | 2022-03-18 | 株式会社バンダイナムコエンターテインメント | コンピュータシステム、ゲームシステム及びプログラム |
-
2020
- 2020-08-13 JP JP2020136660A patent/JP7133590B2/ja active Active
-
2022
- 2022-06-24 JP JP2022101777A patent/JP7430353B2/ja active Active
-
2024
- 2024-01-23 JP JP2024008210A patent/JP2024040211A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019008751A (ja) | 2017-06-28 | 2019-01-17 | 株式会社コロプラ | 情報処理方法、プログラム及び情報処理装置 |
JP6431233B1 (ja) | 2018-05-08 | 2018-11-28 | グリー株式会社 | 視聴ユーザからのメッセージを含む動画を配信する動画配信システム |
Non-Patent Citations (2)
Title |
---|
すずかけの民,物体が当たった時だけアバタが勝手に動く研究をしてます(物理エンジン使用)3月8日もインタラクション20,[オンライン],twitter,2019年03月07日,https://twitter.com/suzukake0/status/1103634455103565824 |
野澤 慧,CASE 01 バーチャルキャスト バーチャルキャラクターでコミュニケーション,CG WORLD,日本,株式会社ボーンデジタル,2018年09月01日,第241巻,pp.046~051 |
Also Published As
Publication number | Publication date |
---|---|
JP7430353B2 (ja) | 2024-02-13 |
JP2022132299A (ja) | 2022-09-08 |
JP2024040211A (ja) | 2024-03-25 |
JP2021072096A (ja) | 2021-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11948260B1 (en) | Streaming mixed-reality environments between multiple devices | |
US10713834B2 (en) | information processing apparatus and method | |
JP2024040211A (ja) | 動画処理方法、サーバ装置及びコンピュータプログラム | |
JP7117890B2 (ja) | プログラム、情報処理装置、および方法 | |
JP2023090719A (ja) | プログラム | |
JP6751193B1 (ja) | 動画処理方法、サーバ装置及びコンピュータプログラム | |
JP6691631B1 (ja) | 動画処理方法、サーバ装置及びコンピュータプログラム | |
JP2024028853A (ja) | 動画処理方法、サーバ装置及びコンピュータプログラム | |
JP7278442B2 (ja) | プログラム、情報処理装置、および方法 | |
US11682154B2 (en) | Moving image processing method of a moving image viewed by a viewing user, a server device controlling the moving image, and a computer program thereof | |
JP7133465B2 (ja) | 動画配信システム、動画配信方法および動画配信プログラム | |
JP7117889B2 (ja) | プログラム、情報処理装置、および方法 | |
JP6718933B2 (ja) | プログラム、情報処理装置、および方法 | |
JP7157551B2 (ja) | プログラム、情報処理装置、および方法 | |
US20220203239A1 (en) | Video processing method, server device, and computer program | |
JP7114326B2 (ja) | プログラム、情報処理装置、および方法 | |
JP2023100732A (ja) | コンピュータプログラム、サーバ装置、端末装置、及び方法 | |
TWM592332U (zh) | 一種擴增實境多螢幕陣列整合系統 | |
JP2019192172A (ja) | プログラム、情報処理装置、および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211111 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220329 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20220519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220624 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220624 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220705 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7133590 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |