JP7133590B2 - 動画処理方法、サーバ装置及びコンピュータプログラム - Google Patents

動画処理方法、サーバ装置及びコンピュータプログラム Download PDF

Info

Publication number
JP7133590B2
JP7133590B2 JP2020136660A JP2020136660A JP7133590B2 JP 7133590 B2 JP7133590 B2 JP 7133590B2 JP 2020136660 A JP2020136660 A JP 2020136660A JP 2020136660 A JP2020136660 A JP 2020136660A JP 7133590 B2 JP7133590 B2 JP 7133590B2
Authority
JP
Japan
Prior art keywords
moving image
gift
user
terminal device
gift object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020136660A
Other languages
English (en)
Other versions
JP2021072096A (ja
Inventor
貴志 安川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GREE Inc
Original Assignee
GREE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GREE Inc filed Critical GREE Inc
Priority to JP2020136660A priority Critical patent/JP7133590B2/ja
Priority to US17/016,131 priority patent/US11682154B2/en
Publication of JP2021072096A publication Critical patent/JP2021072096A/ja
Priority to JP2022101777A priority patent/JP7430353B2/ja
Application granted granted Critical
Publication of JP7133590B2 publication Critical patent/JP7133590B2/ja
Priority to US18/298,309 priority patent/US20230245369A1/en
Priority to JP2024008210A priority patent/JP2024040211A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本件出願に開示された技術は、視聴ユーザが視聴する動画の動画処理方法、当該動画を
制御するサーバ装置及びコンピュータプログラムに関する。
従来から、ネットワークを介して端末装置に動画を配信する動画配信サービスが知られ
ている。この種の動画配信サービスにおいては、当該動画を配信する配信ユーザのアバタ
ー(アバタ―オブジェクト)が表示されたり、当該動画を視聴する視聴ユーザと配信ユー
ザとがメッセージやチャット等を通じてコミュニケーションを図ることができるような環
境が提供されている。
さらに、視聴ユーザと配信ユーザとのコミュニケーションツールとして、特許文献1に
は、視聴ユーザが取得したアイテムを動画内のアバターオブジェクト(配信ユーザ)へプ
レゼントとして提供する行為(ギフティング)を電子的に実現させる旨が開示されている
また、VirtualCast(登録商標)等の動画配信サービスにおいては、視聴ユ
ーザからアバターオブジェクト(配信ユーザ)に対してギフティングされたギフトを、配
信ユーザの動作に基づいて、アバターオブジェクトが動画上で把持することができる環境
が提供されている(非特許文献1)。
なお、上記特許文献1及び非特許文献1は、引用によりその全体が本明細書に組み入れ
られる。
特開2012-120098号公報
"VirtualCast"、[online]、[2019年9月10日検索]、インターネット(URL: https://virtualcast.jp/)
特許文献1及び非特許文献1に開示されるギフティングは、視聴ユーザと配信ユーザ(
アバター)との間の直接的なコミュニケーションを通して、アバターオブジェクトに対す
る視聴ユーザの親近感や関与感を醸成するものである。しかしながら、特許文献1及び非
特許文献1に開示される技術においては、ギフティングに対応するギフトを動画上に表示
させる環境、又はアバターオブジェクトが当該ギフトを動画上で把持できる環境を提供す
るにとどまることから、視聴ユーザによるギフティング機会は未だ限定的となっている。
また、ギフティングとは、視聴ユーザが動画配信サービスを提供するサービス提供者に
対価を支払うことでギフトを購入した上で、当該ギフトを配信ユーザ(アバターオブジェ
クト)にギフティングする態様を意味することからすれば、動画配信サービスの運営面の
観点で、視聴ユーザによるギフティング機会を増加させることはサービス提供者にとって
の課題といえる。
したがって、本件出願において開示された幾つかの実施形態は、視聴ユーザによるギフ
ティング機会を増加させる動画処理方法、サーバ装置及びコンピュータプログラムを提供
する。
一態様による動画処理方法は、コンピュータにより読み取り可能な命令を実行する一又
は複数のプロセッサにより実行される動画処理方法であって、配信ユーザの動作に基づく
前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成する生成工程
と、前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェク
トに対して第1のギフトオブジェクトを付与することを要求する要求信号を、前記視聴ユ
ーザの端末装置から通信回線を介して受信する受信工程と、前記要求信号に基づいて前記
アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記動画上
に表示させる第1表示工程と、前記配信ユーザの動作に基づいて、前記動画上に表示され
た1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定
アクションを実行したと判定された場合に、前記所定アクションを実行された前記第1の
ギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させる第2
表示工程と、を含むものである。
一態様によるサーバ装置は、1又は複数のプロセッサを具備し、該プロセッサが、配信
ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動
画を生成し、前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオ
ブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、前
記視聴ユーザの端末装置から通信回線を介して受信し、前記要求信号に基づいて前記アバ
ターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記動画上に表
示させ、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第
1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクションを実行した
と前記配信サーバの端末装置によって判定された場合に、前記所定アクションを実行され
た前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表
示させるものである。
一態様によるサーバ装置は、1又は複数のプロセッサを具備し、該プロセッサが、配信
ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動
画を生成するための情報を、前記動画を生成する前記配信ユーザの端末装置又は視聴ユー
ザの端末装置へ送信し、前記動画を視聴する前記視聴ユーザの操作に基づいて生成され、
前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する
要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信し、前記要求信号に基
づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトに関
する情報を、前記第1のギフトオブジェクトを前記動画上に表示させる前記配信ユーザの
端末装置又は前記視聴ユーザの端末装置へ送信し、前記配信ユーザの動作に基づいて、前
記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバター
オブジェクトが所定アクションを実行したと前記配信サーバの端末装置によって判定され
た場合に、前記所定アクションを実行された前記第1のギフトオブジェクトとは異なる第
2のギフトオブジェクトに関する情報を、前記第2のギフトオブジェクトを前記動画上に
表示させる前記配信ユーザの端末装置又は前記視聴ユーザの端末装置へ送信するものであ
る。
一態様によるコンピュータプログラムは、1又は複数のプロセッサに実行されることに
より、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーショ
ンを含む動画を生成し、前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記
アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求
信号を、サーバ装置又は前記視聴ユーザの端末装置から通信回線を介して受信し、前記要
求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジ
ェクトを、前記動画上に表示させ、前記配信ユーザの動作に基づいて、前記動画上に表示
された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが
所定アクションを実行したと判定された場合に、前記所定アクションを実行された前記第
1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させる
、ように前記プロセッサを機能させるものである。
一態様によるコンピュータプログラムは、1又は複数のプロセッサに実行されることに
より、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーショ
ンを含む動画を生成するための情報を、前記動画を生成するサーバ装置又は視聴ユーザの
端末装置へ送信し、前記動画を視聴する前記視聴ユーザの操作に基づいて生成され、前記
アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求
信号を、サーバ装置又は前記視聴ユーザの端末装置から通信回線を介して受信し、前記要
求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジ
ェクトに関する情報を、前記第1のギフトオブジェクトを前記動画上に表示させる前記サ
ーバ装置又は前記視聴ユーザの端末装置へ送信し、前記配信ユーザの動作に基づいて、前
記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバター
オブジェクトが所定アクションを実行したと判定された場合に、前記所定アクションを実
行された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトに関する情
報を、前記第2のギフトオブジェクトを前記動画上に表示させる前記サーバ装置又は前記
視聴ユーザの端末装置へ送信する、ように前記プロセッサを機能させるものである。
一態様によるコンピュータプログラムは、1又は複数のプロセッサに実行されることに
より、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーショ
ンを含む動画を生成するために、当該動画に関する情報をサーバ装置又は前記配信ユーザ
の端末装置から受信し、前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記
アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求
信号を、通信回線を介して発信し、前記要求信号に基づいて前記アバターオブジェクトに
対して付与された前記第1のギフトオブジェクトを前記動画上に表示させるために、前記
第1のギフトオブジェクトに関する情報を前記サーバ装置又は前記配信ユーザの端末装置
から受信し、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前
記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクションを実行
したと前記配信サーバの端末装置によって判定された場合に、前記所定アクションを実行
された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上
に表示させるために、前記第2のギフトオブジェクトに関する情報を前記サーバ装置又は
前記配信ユーザの端末装置から受信する、ように前記プロセッサを機能させるものである
一態様によるコンピュータプログラムは、1又は複数のプロセッサに実行されることに
より、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーショ
ンを含む動画を、サーバ装置又は前記配信ユーザの端末装置から受信し、前記動画を視聴
する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギ
フトオブジェクトを付与することを要求する要求信号を、通信回線を介して発信し、前記
要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブ
ジェクトを表示させた前記動画を、前記サーバ装置又は前記配信ユーザの端末装置から受
信し、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1
のギフトオブジェクトに対して前記アバターオブジェクトが所定アクションを実行したと
前記配信サーバの端末装置によって判定された場合に、前記所定アクションを実行された
前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを表示させた前記動
画を、前記サーバ装置又は前記配信ユーザの端末装置から受信する、ように前記プロセッ
サを機能させるものである。
図1は、一実施形態に関する動画配信システムの構成の一例を示すブロック図である。 図2は、図1に示した端末装置(サーバ装置)のハードウェア構成の一例を模式的に示すブロック図である。 図3は、図1に示した端末装置の機能の一例を模式的に示すブロック図である。 図4は、配信ユーザのアバターオブジェクトのアニメーションを含む動画上に第1のギフトオブジェクトが表示された一例を示す図である。 図5は、配信ユーザのアバターオブジェクトのアニメーションを含む動画上に第1のギフトオブジェクトが表示され、且つ2つの第1コリジョン領域が重複する場合を示す図である。 図6は、配信ユーザのアバターオブジェクトのアニメーションを含む動画上に第2のギフトオブジェクトが表示された一例を示す図である。 図7は、配信ユーザのアバターオブジェクトのアニメーションを含む動画上に第2のギフトオブジェクトが表示された一例を示す図である。 図8は、配信ユーザのアバターオブジェクトのアニメーションを含む動画上にエフェクトオブジェクトが表示された一例を示す図である。 図9は、図1に示したサーバ装置の機能の一例を模式的に示すブロック図である。 図10は、図1に示した動画配信システムにおいて行われる動作の一例を示すフロー図である。
以下、添付図面を参照して本発明の様々な実施形態を説明する。なお、図面において共
通した構成要素には同一の参照符号が付されている。また、或る図面に表現された構成要
素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。
さらにまた、添付した図面が必ずしも正確な縮尺で記載されている訳ではないということ
に注意されたい。さらにまた、アプリケーションという用語は、ソフトウェア又はプログ
ラムと称呼されるものであってもよく、コンピュータに対する指令であって、ある種の結
果を得ることができるように組み合わされたものであればよい。
1.動画配信システムの構成
本件出願において開示される動画配信システム1は、簡潔にいえば、配信を行う配信ユ
ーザが、その端末装置を用いて、この配信ユーザの動作に関するデータ及び/又は配信ユ
ーザによって発せられた発話や歌唱に関する音声データに基づいて生成されたアバターオ
ブジェクトのアニメーションを含む動画を、通信回線を介して、動画を視聴する視聴ユー
ザの端末装置へと配信することを可能にするものである。
図1は、一実施形態に関する動画配信システム1の構成の一例を示すブロック図である
。図1に示すように、動画配信システム1は、通信回線(図示せず)に接続される複数の
端末装置10と、通信回線に接続される1又はそれ以上のサーバ装置20と、を含むこと
ができる。各端末装置10は、通信回線を介して、1又はそれ以上のサーバ装置20に接
続される。
なお、通信回線とは、携帯電話網、無線LAN、固定電話網、インターネット、イント
ラネット及び/又はイーサネット(登録商標)等をこれらに限定することなく含むことが
できる。
1-1.端末装置10
図1に示すように、複数の端末装置10は、1又はそれ以上の配信ユーザの端末装置1
0(ここでは端末装置10A)と、1又はそれ以上の視聴ユーザの端末装置10(ここで
は端末装置10B乃至10D)と、を含むことができる。各端末装置10は、共通した構
成を有することにより、動画を配信するための端末装置(配信ユーザの端末装置10)及
び動画を視聴するための端末装置(視聴ユーザの端末装置10)のいずれにもなり得るも
のである。
各端末装置10は、配信ユーザの端末装置10として動作する場合には、インストール
された動画配信用アプリケーションを実行することにより、その配信ユーザの動作に関す
るデータ及び/又は配信ユーザによって発せられた発話や歌唱に関する音声データを取得
し、取得したデータに従って変化させた仮想的なキャラクター(アバターオブジェクト)
のアニメーションを含む動画を生成して、当該動画を、通信回線を介してサーバ装置20
(配信サーバ装置20C)に送信することができる。当該動画は、サーバ装置20(配信
サーバ装置20C)により通信回線を介して、インストールされた動画視聴用アプリケー
ションを実行する、動画を受信するための端末装置10(視聴ユーザの端末装置10)に
配信される。
さらに、各端末装置10が配信ユーザの端末装置10として動作する場合において、サ
ーバ装置20が、通信回線を介して、視聴ユーザの操作に基づいてこの配信ユーザ(アバ
ターオブジェクト)に対してギフトオブジェクト(第1のギフトオブジェクト)を付与す
ること(ギフティング)を要求する1又は複数の要求信号(1つの視聴ユーザ端末装置1
0から複数の要求信号が発信される場合、及び複数の視聴ユーザ端末装置10から要求信
号が発信される場合の両方を含む)を、動画を視聴する視聴ユーザの端末装置10から受
信すると、各端末装置10は、サーバ装置20(情報処理サーバ装置20B)から当該要
求信号を受信して、アバターオブジェクトのアニメーションを含む動画上に、当該第1の
ギフトオブジェクトを表示させることができる。当該動画上に第1のギフトオブジェクト
を表示させる具体的な方法については後述する。
さらにまた、各端末装置10が配信ユーザの端末装置10として動作する場合において
、配信ユーザの動作に基づいて、動画上に表示された1又は複数の第1のギフトオブジェ
クトに対してアバターオブジェクトが所定アクションを実行したと端末装置10が判定し
た場合に、当該端末装置10は、当該所定アクションを実行された第1のギフトオブジェ
クトとは異なる第2のギフトオブジェクトを動画上に表示させることができる。なお、所
定アクションの詳細、所定アクションの判定方法の詳細、及び動画上に第2のギフトオブ
ジェクトを表示させる具体的な方法については後述する。
一方、各端末装置10は、動画を視聴するための端末装置(視聴ユーザの端末装置)と
して動作する場合には、インストールされた動画視聴用アプリケーションを実行すること
により、配信ユーザの端末装置10により配信された動画を、サーバ装置20(配信サー
バ装置20C)を介して受信することができる。
さらに、各端末装置10は、視聴ユーザの端末装置として動作する場合には、動画視聴
用アプリケーションを実行することにより、視聴ユーザの操作に基づいて配信ユーザ(ア
バターオブジェクト)に対して第1のギフトオブジェクトを付与すること(ギフティング
)を要求する要求信号をサーバ装置20(ギフトAPIサーバ装置20A)に送信するこ
とができる。
さらに、各端末装置10は、視聴ユーザの端末装置として動作する場合には、動画視聴
用アプリケーションを実行することにより、視聴ユーザから配信ユーザ(アバターオブジ
ェクト)に対するコメントに関する情報をサーバ装置20(コメントAPIサーバ装置2
0D)に送信することができる。
なお、前述した動画配信用アプリケーション及び動画視聴用アプリケーションは、統合
された1つのアプリケーションとして、又は、それぞれ別々のアプリケーションとして、
各端末装置10にインストール及び実行されるものとすることができる。
各端末装置10は、このような動作を実行することができる任意の端末装置であって、
スマートフォン、タブレット、携帯電話(フィーチャーフォン)及び/又はパーソナルコ
ンピュータ等を、これらに限定することなく含むことができるものである。
1-2.サーバ装置20
図1に示すように、サーバ装置20は、後述する複数のサーバ装置が組み合わされた動
画配信システムと呼ぶこともできる。
サーバ装置20は、配信ユーザの端末装置10から送信されたアバターオブジェクトの
アニメーションを含む動画を各視聴ユーザの端末装置10に配信することができる。
さらに、サーバ装置20は、アバターオブジェクトに対して第1のギフトオブジェクト
を付与すること(ギフティング)を要求する1又は複数の要求信号(1つの視聴ユーザ端
末装置10から複数の要求信号が発信される場合、及び複数の視聴ユーザ端末装置10か
ら要求信号が発信される場合の両方を含む)を、各視聴ユーザの端末装置10から受信す
ることができる。また、サーバ装置20は、当該要求信号に関する情報を、配信ユーザの
端末装置10へ発信した上で、配信ユーザの端末装置10がアバターオブジェクトのアニ
メーションを含む動画上に当該要求信号に対応する第1のギフトオブジェクトを表示させ
た動画を生成する。サーバ装置20は、当該動画(第1のギフトオブジェクトが表示され
た動画)を配信ユーザの端末装置10から受信することもできる。
さらにまた、配信ユーザの動作に基づいて、動画上に表示された1又は複数の第1のギ
フトオブジェクトに対してアバターオブジェクトが所定アクションを実行したと端末装置
10(配信ユーザの端末装置10)が判定した場合において、当該端末装置10が、当該
所定アクションを実行された第1のギフトオブジェクトとは異なる第2のギフトオブジェ
クトを動画上に表示させると、サーバ装置20は、当該第2のギフトオブジェクトが表示
された動画を当該端末装置10から受信することもできる。
さらに、サーバ装置20は、視聴ユーザから配信ユーザ(アバターオブジェクト)に対
するコメントに関する情報を、視聴ユーザの端末装置10から受信することができ、且つ
当該コメントを同一の動画を視聴する視聴ユーザに対して配信することができる。
このような動作を実行するために、サーバ装置20は、一実施形態において、相互に通
信回線(図示しない無線回線及び/又は有線回線を含む)を介して接続された、ギフトA
PIサーバ装置20A、情報処理サーバ装置20B、配信サーバ装置20C、及びコメン
トAPIサーバ装置20Dを含むことができる。
ギフトAPIサーバ装置20Aは、視聴ユーザの操作に基づいてアバターオブジェクト
に対して第1のギフトオブジェクトを付与すること(ギフティング)を要求する1又は複
数の要求信号を、各視聴ユーザの端末装置10から受信することができる。この際、ギフ
トAPIサーバ装置20Aは、当該要求信号から、ギフティング行為がなされた視聴ユー
ザの識別情報(各視聴ユーザの端末装置10のシリアル番号や各視聴ユーザに付与される
ID情報等)、ギフティングされた第1のギフトオブジェクトに関する情報(種類、名称
、色、大きさ等に関する情報等)、及びギフティング対象のアバターオブジェクトたる配
信ユーザの識別情報(配信ユーザの端末装置10のシリアル番号や配信ユーザに付与され
るID情報等)を少なくとも読み出して、読み出した情報を自動的に、又は情報処理サー
バ装置20Bから問い合わせを受けたときに、情報処理サーバ装置20Bに送信すること
ができる。
情報処理サーバ装置20Bは、自動的に又は自ら問い合わせをして、ギフトAPIサー
バ装置20Aから当該ギフトAPIサーバ装置20Aが読み出した情報を受信して、当該
情報を配信ユーザの端末装置10へ発信することができる。また、情報処理サーバ装置2
0Bは、配信ユーザ毎のテーブル(データベース)を有することができ、ギフトAPIサ
ーバ装置20Aが読み出した第1のギフトオブジェクトに関する情報を、配信ユーザ毎の
テーブルに記憶してもよい。
さらに、情報処理サーバ装置20Bは、記憶された視聴ユーザの識別情報及び第1のギ
フトオブジェクトに関する情報を参照して、アバターオブジェクト(配信ユーザ)に対し
て、どの視聴ユーザがどのような第1のギフトオブジェクトを付与したかに関する全て又
は一部のコメント情報をコメントAPIサーバ装置20Dに送信することができる。
さらにまた、情報処理サーバ装置20Bは、第1のギフトオブジェクトに対してアバタ
ーオブジェクトが所定アクションを実行したと判定され第2のギフトオブジェクトが動画
上に表示された旨に関する情報を、配信ユーザの端末装置10から受信して、第2のギフ
トオブジェクトが動画上に表示されることに関するコメント情報をコメントAPIサーバ
装置20Dに送信するような機能を含んでいてもよい。
配信サーバ装置20Cは、配信ユーザの端末装置10から送信された動画(第1のギフ
トオブジェクトが表示された動画及び第2のギフトオブジェクトが表示された動画、を含
む)を、各視聴ユーザの端末装置10に配信することができる。
コメントAPIサーバ装置20Dは、視聴ユーザの端末装置10から視聴ユーザのコメ
ントを受信することができ、受信した当該コメントを、同一の動画を視聴している各視聴
ユーザに対して配信することができる。
また、コメントAPIサーバ装置20Dは、情報処理サーバ装置20Bから受信する、
アバターオブジェクト(配信ユーザ)に対してどの視聴ユーザがどんな第1のギフトオブ
ジェクトを付与したかに関する全て又は一部の情報に対応するコメントを、同一の動画を
視聴している各視聴ユーザに対して配信することができる。
さらにまた、コメントAPIサーバ装置20Dは、情報処理サーバ装置20Bから受信
する、第2のギフトオブジェクトが動画上に表示されることに関するコメント情報に基づ
いて、当該コメント情報に対応するコメントを同一の動画を視聴している各視聴ユーザに
対して配信することもできる。
なお、図1に示した例では、負荷を分散すること等を目的として、サーバ装置20が、
ギフトAPIサーバ装置20A、情報処理サーバ装置20B、配信サーバ装置20C、及
びコメントAPIサーバ装置20Dからなる4つのサーバ装置を有する構成が示されてい
る。しかし、これら4つのサーバ装置のうちの少なくとも1つのサーバ装置が残りのサー
バ装置のいずれかと統合されるようにしてもよい。例えば、情報処理サーバ装置20Bと
配信サーバ装置20Cとを統合してもよい。
2.各装置のハードウェア構成
次に、端末装置10及びサーバ装置20の各々が有するハードウェア構成の一例につい
て説明する。
2-1.端末装置10のハードウェア構成
各端末装置10のハードウェア構成例について図2を参照して説明する。図2は、図1
に示した端末装置10(サーバ装置20)のハードウェア構成の一例を模式的に示すブロ
ック図である(なお、図2において、括弧内の参照符号は、後述するようにサーバ装置2
0に関連して記載されたものである。)
図2に示すように、各端末装置10は、主に、中央処理装置11と、主記憶装置12と
、入出力インタフェイス13と、入力装置14と、補助記憶装置15と、出力装置16と
、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続さ
れている。
中央処理装置11は、「CPU」と称されるものであり、主記憶装置12に記憶されて
いる命令及びデータに対して演算を行い、その演算の結果を主記憶装置12に記憶させる
ものである。さらに、中央処理装置11は、入出力インタフェイス13を介して、入力装
置14、補助記憶装置15及び出力装置16等を制御することができる。端末装置10は
、1又はそれ以上のこのような中央処理装置11を含むことが可能である。
主記憶装置12は、「メモリ」と称されるものであり、入力装置14、補助記憶装置1
5及び通信網30(サーバ装置20等)から、入出力インタフェイス13を介して受信し
た命令及びデータ、並びに、中央処理装置11の演算結果を記憶するものである。主記憶
装置12は、RAM(ランダムアクセスメモリ)、ROM(リードオンリーメモリ)及び
/又はフラッシュメモリ等をこれらに限定することなく含むことができる。
補助記憶装置15は、主記憶装置12よりも大きな容量を有する記憶装置である。前述
した特定のアプリケーション(動画配信用アプリケーション、動画視聴用アプリケーショ
ン等)やウェブブラウザ等を構成する命令及びデータ(コンピュータプログラム)を記憶
しておき、中央処理装置11により制御されることにより、これらの命令及びデータ(コ
ンピュータプログラム)を、入出力インタフェイス13を介して主記憶装置12に送信す
ることができる。補助記憶装置15は、磁気ディスク装置及び/又は光ディスク装置等を
これらに限定することなく含むことができる。
入力装置14は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キー
ボード、マウス及び/又はセンサ等をこれらに限定することなく含むものである。センサ
は、後述するように、1又はそれ以上のカメラ等及び/又は1又はそれ以上のマイク等を
含むセンサをこれらに限定することなく含むことができる。
出力装置16は、ディスプレイ装置、タッチパネル及び/又はプリンタ装置等をこれら
に限定することなく含むことができる。
このようなハードウェア構成にあっては、中央処理装置11が、補助記憶装置15に記
憶された特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)
を順次主記憶装置12にロードし、ロードした命令及びデータを演算することにより、入
出力インタフェイス13を介して出力装置16を制御し、或いはまた、入出力インタフェ
イス13及び通信網30を介して、他の装置(例えばサーバ装置20及び他の端末装置1
0等)との間で様々な情報の送受信を行うことができる。
これにより、端末装置10は、インストールされた特定のアプリケーションを実行する
ことにより、動画を生成するために必要な動作、動画を発信(配信)及び/又は受信する
ために必要な動作、ギフティング行為に必要な動作、後述する所定アクションが実行され
たかに関する判定、コメントを発信するために必要な動作(その他、後に詳述する様々な
動作を含む)を実行することができる。
なお、端末装置10は、中央処理装置11に代えて又は中央処理装置11とともに、1
又はそれ以上のマイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニッ
ト(GPU)を含むものであってもよい。
2-2.サーバ装置20のハードウェア構成
各サーバ装置20のハードウェア構成例について同じく図2を参照して説明する。各サ
ーバ装置20(ギフトAPIサーバ装置20A、情報処理サーバ装置20B、配信サーバ
装置20C、及びコメントAPIサーバ装置20D)のハードウェア構成としては、例え
ば、前述した各端末装置10のハードウェア構成と同一のものを用いることが可能である
。したがって、各サーバ装置20が有する構成要素に対する参照符号は、図2において括
弧内に示されている。
図2に示すように、各サーバ装置20は、主に、中央処理装置21と、主記憶装置22
と、入出力インタフェイス23と、入力装置24と、補助記憶装置25と、出力装置26
と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続
されている。
中央処理装置21、主記憶装置22、入出力インタフェイス23、入力装置24、補助
記憶装置25及び出力装置26は、それぞれ、前述した各端末装置10に含まれる、中央
処理装置11、主記憶装置12、入出力インタフェイス13、入力装置14、補助記憶装
置15及び出力装置16と略同一なものとすることができる。
このようなハードウェア構成にあっては、中央処理装置21が、補助記憶装置25に記
憶された特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)
を順次主記憶装置22にロードし、ロードした命令及びデータを演算することにより、入
出力インタフェイス23を介して出力装置26を制御し、或いはまた、入出力インタフェ
イス23及び通信回線30を介して、他の装置(例えば各端末装置10等)との間で様々
な情報の送受信を行うことができる。
これにより、サーバ装置20は、各配信ユーザの端末装置10により生成され送信され
た動画を各視聴ユーザの端末装置10に配信するために必要な動作、各視聴ユーザの端末
装置10から発信されるギフティング行為を受信するために必要な動作、端末装置10に
動画を生成させるために必要な要求情報を生成するために必要な動作、動画を発信(配信
)及び/又は受信するために必要な動作等(後に詳述する様々な動作を含む)を実行する
ことができる。
なお、サーバ装置20は、中央処理装置21に代えて又は中央処理装置21とともに、
1又はそれ以上のマイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニ
ット(GPU)を含むものであってもよい。
3.各装置の機能
次に、端末装置10及びサーバ装置20の各々が有する機能の詳細の一例について説明
する。
3-1.端末装置10の機能
端末装置10の機能の一例について図3乃至図8を参照しつつ説明する。図3は、図1
に示した端末装置10の機能の一例を模式的に示すブロック図である。図4は、配信ユー
ザのアバターオブジェクトのアニメーションを含む動画上に第1のギフトオブジェクトが
表示された一例を示す図である。図5は、配信ユーザのアバターオブジェクトのアニメー
ションを含む動画上に第1のギフトオブジェクトが表示され、且つ2つの第1コリジョン
領域が重複する場合を示す図である。図6及び図7は、配信ユーザのアバターオブジェク
トのアニメーションを含む動画上に第2のギフトオブジェクトが表示された一例を示す図
である。図8は、配信ユーザのアバターオブジェクトのアニメーションを含む動画上にエ
フェクトオブジェクトが表示された一例を示す図である。
図3に示すように、端末装置10は、主に、動画生成部100、表示部110、判定部
120、記憶部130、ユーザインタフェイス部140、ギフト記憶部150、及び通信
部160を含む。
(1)動画生成部100
動画生成部100は、配信ユーザの動作に関するデータ及び/又は配信ユーザによって
発せられた発話や歌唱に関する音声データに基づいて、この配信ユーザのアバターオブジ
ェクトのアニメーションを含む動画を生成することができる。これを実現するために、動
画生成部100は、例えば、取得部(図示せず)及び処理部(図示せず)を含むことがで
きる。
取得部は、配信ユーザの顔や手足等(体全体)に関するデータを取得する1又はそれ以
上の第1のセンサ(図示せず)と、配信ユーザにより発せられた発話及び/又は歌唱に関
する音声データを取得する1又はそれ以上の第2のセンサ(図示せず)と、を含むことが
できる。
第1のセンサは、好ましい実施形態では、可視光線を撮像するRGBカメラと、近赤外
線を撮像する近赤外線カメラと、を少なくとも含むことができる。また、第1のセンサは
、後述するモーションセンサやトラッキングセンサ等を含むことができる。前述のRGB
カメラや近赤外線カメラとしては、例えばiphone X(登録商標)のトゥルーデプ
ス(True Depth)カメラに含まれたものを用いることが可能である。第2のセ
ンサは、音声を記録するマイクロフォンを含むことができる。
まず、第1のセンサに関して、取得部は、配信ユーザの顔や手足等に近接して配置され
た第1のセンサ(第1のセンサに含まれるカメラ)を用いて配信ユーザの顔や手足等を撮
像する。これにより、取得部は、RGBカメラにより取得された画像をタイムコード(取
得した時間を示すコード)に対応付けて単位時間にわたって記録したデータ(例えばMP
EGファイル)を生成することができる。さらに、取得部は、近赤外線カメラにより取得
された所定数(例えば51個)の深度を示す数値(例えば浮動小数点の数値)を上記タイ
ムコードに対応付けて単位時間にわたって記録したデータ(例えばTSVファイル[デー
タ間をタブで区切って複数のデータを記録する形式のファイル])を生成することができ
る。
近赤外線カメラに関して、具体的には、ドットプロジェクタがドット(点)パターンを
なす赤外線レーザーを演者たる配信ユーザの顔や手足等に放射し、近赤外線カメラが、配
信ユーザの顔に投影され反射した赤外線ドットを捉え、このように捉えた赤外線ドットの
画像を生成する。取得部は、予め登録されているドットプロジェクタにより放射されたド
ットパターンの画像と、近赤外線カメラにより捉えられた画像とを比較して、両画像にお
ける各ポイント(各特徴点)(例えば51個のポイント・特徴点の各々)における位置の
ずれを用いて各ポイント(各特徴点)の深度(各ポイント・各特徴点と近赤外線カメラと
の間の距離)を算出することができる。取得部は、このように算出された深度を示す数値
を上記のようにタイムコードに対応付けて単位時間にわたって記録したデータを生成する
ことができる。
次に、第2のセンサに関して、取得部は、配信ユーザに近接して配置された第2のセン
サを用いて配信ユーザにより発せられた発話及び/又は歌唱に関する音声を取得する。こ
れにより、取得部は、タイムコードに対応付けて単位時間にわたって記録したデータ(例
えばMPEGファイル)を生成することができる。一実施形態では、取得部は、第1のセ
ンサを用いて配信ユーザの顔や手足に関するデータを取得することと同時に、第2のセン
サを用いて配信ユーザにより発せられた発話及び/又は歌唱に関する音声データを取得す
ることができる。この場合には、取得部は、RGBカメラにより取得された画像と、第2
のセンサを用いて配信ユーザにより発せられた発話及び/又は歌唱に関する音声データと
を、同一のタイムコードに対応付けて単位時間にわたって記録したデータ(例えばMPE
Gファイル)を生成することができる。
取得部は、このように生成した、配信ユーザの顔や手足等に関するデータ(MPEGフ
ァイル及びTSVファイル等)、及び/又は、配信ユーザにより発せられた発話及び/又
は歌唱に関する音声データ(MPEGファイル等)を、処理部に出力することができる。
なお、ここでは、第1のセンサがRGBカメラ及び赤外線カメラを含む場合について説
明したが、第1のセンサは、例えば、(A)赤外線レーザーにより放射され配信ユーザの
顔や手足等に反射した赤外線を検出するカメラ、(B)可視光線を撮像する複数のRGB
カメラ、及び、(C)可視光線を撮像する単一のカメラ、のうちのいずれかを含むもので
あってもよい。上記(A)の場合には、取得部は、前述したものと同様の手法により、配
信ユーザの顔や手足等における各特徴点について深度を算出することができる。上記(B
)の場合には、取得部は、複数のRGBカメラにより撮像された複数の画像を用いて、配
信ユーザの顔や手足等における各特徴点について奥行(深度)を計算することができる。
上記(C)の場合には、取得部は、単一のカメラにより撮像された画像から、配信ユーザ
の顔や手足等における各特徴点の奥行(深度)を、ディープラーニング等を利用して算出
することができる。また、上記(C)の場合には、取得部は、単一のカメラにより撮像さ
れた画像に対する分析処理(画像処理等)により、配信ユーザの顔や手足等における各特
徴点の奥行(深度)を算出してもよい。
また、取得部は、第1のセンサに含まれるモーションセンサやトラッキングセンサを用
いて、配信ユーザの体の各部位の位置や向きに関する検出情報を取得し、当該検出情報を
処理部に出力することができる。なお、モーションセンサやトラッキングセンサを用いて
取得される配信ユーザの体の各部位の位置や向きに関する検出情報の詳細については後述
する。
処理部は、取得部からの、配信ユーザの顔や手足等に関するデータ(及び検出情報等に
関する各種情報)に基づいて、仮想的なキャラクター(アバターオブジェクト)のアニメ
ーションを含む動画を生成することができる。アバターオブジェクトの動画自体について
は、処理部は、図示しないキャラクターデータ記憶部に記憶された様々な情報(例えば、
ジオメトリ情報、ボーン情報、テクスチャ情報、シェーダ情報及びブレンドシェイプ情報
等)を用いて、図示しないレンダリング部にレンダリングを実行させることにより、アバ
ターオブジェクトの動画を生成することもできる。
なお、配信ユーザの動作に関するデータ及び/又は配信ユーザによって発せられた発話
や歌唱に関する音声データに基づいて、この配信ユーザのアバターオブジェクトのアニメ
ーションを含む動画を生成するために、他の任意の周知な技術を利用することも可能であ
る。
ところで、後述する通信部160が、視聴ユーザからのギフティングに対応して、アバ
ターオブジェクトのアニメーションを含む動画上に第1のギフトオブジェクトを表示させ
る旨の要求情報をサーバ装置20(情報処理サーバ20B)から受信すると、動画生成部
100は、通信部160を介して当該要求情報を受信し、当該要求情報に対応する後述の
ギフト記憶部150に記憶される第1のギフトオブジェクトに関する識別情報(名称・形
状・色等)を参照して、アバターオブジェクトのアニメーションを含む動画上に第1のギ
フトオブジェクトを表示させる(第1のギフトオブジェクトを表示させた動画を生成する
)。
具体的には、視聴ユーザからのギフティング行為を契機として第1のギフトオブジェク
トを動画上に表示させるために、第1のギフトオブジェクトの各々には、その形状に対応
する第1コリジョン領域が予め設定され、各第1のギフトオブジェクトとこれに対応する
第1コリジョン領域に関する情報は、後述するギフト記憶部150において、各第1のギ
フトオブジェクトに関する情報(大きさ・形状・色等)とともに記憶されている。さらに
、第1のギフトオブジェクトを動画上のどの位置に表示させるかを特定するために、第1
のギフトオブジェクトの各々には、三次元直交座標系の位置座標がギフティング時に設定
される。当該位置座標の設定に際しては、動画上に既に表示されているアバターオブジェ
クトや第1のギフトオブジェクト等の各種オブジェクトと動画上において重複しない位置
座標が設定される。動画上において重複しない位置座標とは、動画上に表示される複数の
第1のギフトオブジェクトの各々に設定される複数の第1コリジョン領域が相互に重複し
ないこと、及び動画上においてアバターオブジェクト(アバターオブジェクトの各部位)
に設定される第2コリジョン領域や他のオブジェクト(例えば、第2のギフトオブジェク
ト)に設定される第3コリジョン領域に対して第1コリジョン領域が重複しないことを意
味し、この条件を満たすように、動画生成部100は、第1のギフトオブジェクトの各々
に三次元直交座標(X軸を横方向、Y軸を奥行方向、及びZ軸を縦方向)に関する位置座
標を設定する。なお、当該位置座標とは、第1のギフトオブジェクトの中心位置に対応す
るX軸、Y軸、及びZ軸に関する位置座標(例えば、図5において第1のギフトオブジェ
クト410Aの中心位置Zに対応する位置座標)、及び/又は第1コリジョン領域の外
縁を形成する複数の位置に対応するX軸、Y軸、及びZ軸に関する位置座標(例えば、図
5において第1のギフトオブジェクト410Aに対応する第1コリジョン領域の外縁を形
成する位置Z~Z12に対応する位置座標)を意味する。このように設定された位置座
標(及び第1コリジョン領域)に基づいて、各第1のギフトオブジェクトはアバターオブ
ジェクトのアニメーションを含む動画上に表示される。また、このように設定された位置
座標に基づいて、複数の第1コリジョン領域が重複しているか否かを判断することができ
る。なお、第1のギフトオブジェクトの各々に設定される位置座標、第1コリジョン領域
、及び第2コリジョン領域は三次元直行座標系にて設定される旨説明したが、動画が二次
元で表現される場合においては、二次元直行座標系にて設定されてもよい。
また、後述する判定部120が、配信ユーザの動作に基づいて、動画上に表示された第
1のギフトオブジェクトに対してアバターオブジェクトが所定アクションを実行したと判
定した場合、動画生成部100は、当該判定に関する信号を判定部120から受信して、
アバターオブジェクトのアニメーションを含む動画上に、第1のギフトオブジェクトとは
異なる第2のギフトオブジェクトを表示させる(第2のギフトオブジェクトを表示させた
動画を生成する)。
具体的には、配信ユーザの動作に基づいて動画上に表示された第1のギフトオブジェク
トに対してアバターオブジェクトが所定アクションを実行したと判定部120が判定する
ことを契機として第2のギフトオブジェクトを動画上に表示させるために、第2のギフト
オブジェクトの各々には、その形状に対応する第3コリジョン領域が予め設定され、各第
2のギフトオブジェクトとこれに対応する第3コリジョン領域に関する情報は、後述する
ギフト記憶部150において、第2のギフトオブジェクトに関する情報(大きさ・形状・
色等)とともに記憶されている。さらに、第2のギフトオブジェクトを動画上のどの位置
に表示させるかを特定するために、第2のギフトオブジェクトの各々には、三次元直交座
標系の位置座標が設定される。当該位置座標の設定に際しては、動画上に既に表示されて
いるアバターオブジェクトや第1のギフトオブジェクト等の各種オブジェクトと動画上に
おいて重複しない位置座標が設定される。動画上において重複しない位置座標とは、前述
と同様、動画上に表示される複数の第1のギフトオブジェクトの各々に設定される複数の
第1コリジョン領域やアバターオブジェクトに設定される第2コリジョン領域に対して第
3コリジョン領域が重複しないことを意味し、この条件を満たすように、動画生成部10
0は第2のギフトオブジェクトの各々に三次元直交座標((X軸を横方向、Y軸を奥行方
向、Z軸を縦方向)に関する位置座標を設定する。なお、当該位置座標とは、前述の第1
のギフトオブジェクトと同様、第2のギフトオブジェクトの中心位置に対応するX軸、Y
軸、及びZ軸に関する位置座標、及び/又は第3コリジョン領域の外縁を形成する複数の
位置に対応するX軸、Y軸、及びZ軸に関する位置座標を意味する。このように設定され
た位置座標(及び第3コリジョン領域)に基づいて、各第2のギフトオブジェクトはアバ
ターオブジェクトのアニメーションを含む動画上に表示される。なお、第2のギフトオブ
ジェクトの各々に設定される位置座標及び第3コリジョン領域は三次元直行座標にて設定
される旨説明したが、動画が二次元で表現される場合においては、二次元直行座標系にて
設定されてもよい。
ところで、前述のとおり、所定アクションを実行したと判定部120が判定することを
契機として第2のギフトオブジェクトを動画上に表示させるに際して、所定アクションが
実行された第1のギフトオブジェクトに対しては様々な方法が採用されうる。例えば、動
画上に第2のギフトオブジェクトが表示されるに際して所定アクションが実行された第1
のギフトオブジェクトを当該動画上から消去する構成が採用される。また、所定アクショ
ンが実行された第1のギフトオブジェクトは動画上から消去せず、当該第1のギフトオブ
ジェクトの形態(例えば、形状、大きさ、色、等)が時間経過とともに次第に変化する(
例えば、第1のギフトオブジェクトの大きさだけが変化する場合、第1のギフトオブジェ
クトの一部の色が変化する場合、等)ことで第2のギフトオブジェクトが生成される(第
2のギフトオブジェクトが動画上に表示される)構成としてもよい。また、前述の両方の
構成が採用されるようにしてもよい(例えば、所定アクションが実行された第1のギフト
オブジェクトが2つであった場合、当該2つのうちの一方の第1のギフトオブジェクトは
動画上から消去され、他方の第1のギフトオブジェクトの形態が次第に変化して第2のギ
フトオブジェクトが生成されるような構成としてもよい)。
なお、動画生成部100は、所定の条件が満たされる場合においては、第1のギフトオ
ブジェクトがアバターオブジェクトによって把持されると認識して、図4に示すように、
当該第1のギフトオブジェクトがアバターオブジェクトによって把持された状態の動画を
生成することができる。ここで所定の条件とは、配信ユーザの動作に基づいて、第1のギ
フトオブジェクトに設定された第1コリジョン領域と、アバターオブジェクトの手(又は
指)に設定された第2コリジョン領域とが、動画内において少なくとも一部において重な
りあう(重複する)と判断され、且つアバターオブジェクトの手(又は指)が折れ曲がっ
ていると判断された場合をいう。この各判断は、動画生成部100によって実行されても
よいし、別の構成要素によって実行された上で各判断結果が少なくとも動画生成部100
に送信される構成であってもよい。なお、アバターオブジェクトの手(又は指)が折れ曲
がっていると判断する方法は、後述するコントローラの信号に基づいて実行することがで
きる。なお、アバターオブジェクトによって把持される点に関しては、第2のギフトオブ
ジェクトも同様である。つまり、第2のギフトオブジェクトに設定された第3コリジョン
領域と、前述の第2コリジョン領域とが、動画内において少なくとも一部において重なり
あう(重複する)と判断され、且つアバターオブジェクトの手(又は指)が折れ曲ってい
ると判断された場合に、第2のギフトオブジェクトはアバターオブジェクトによって把持
される。
なお、複数の第1コリジョン領域が重複するか否か、及び第1コリジョン領域と第2コ
リジョン領域とが重複するか否かに関する判断は、各コリジョン領域の外縁に対応するX
軸、Y軸、及びZ軸に関する複数の位置座標に基づいて実行される。
前述のとおり、所定アクションを実行したと判定部120が判定することを契機として
第2のギフトオブジェクトを動画上に表示させるに際し、動画上にどのような第2のギフ
トオブジェクトを表示させるかについては、動画生成部100は、後述するギフト記憶部
150に記憶される設定条件を参照して決定する。当該設定条件とは、例えば、第一に、
所定アクションが実行された第1のギフトオブジェクトの種類、所定アクションが実行さ
れた第1のギフトオブジェクトの種類毎の付与数、及び後述する特定位置(図4において
は、特定位置Y1又はY2)から構成される種々の組合せに応じて、どのような第2のギ
フトオブジェクトが対応するかを関連付けた条件である。また設定条件とは、第二に、少
なくとも1つのギフトオブジェクトを別の第1のギフトオブジェクトに接触させる場合に
おいては、所定アクションが実行された第1のギフトオブジェクトの種類と数(付与数)
から構成される種々の組合せに応じて、どのような第2のギフトオブジェクトが対応する
かを関連付けた情報である。
前述の設定条件の第一の場合の具体例としては、図4に示される場合を参照しつつ説明
すると、所定アクションが実行された第1のギフトオブジェクトの種類が「男の子のぬい
ぐるみ」(図4における参照符号410A)、所定アクションが実行された第1のギフト
オブジェクトの種類毎(「男の子のぬいぐるみ」410A)の付与数が「1つ」、特定位
置が「Y1]の場合、第2のギフトオブジェクトとしては、図6に示すように、複数の「
小さなクマのぬいぐるみ」(図6における参照符号420)と予め設定されている。同様
に、図4の場合において、所定アクションが実行された第1のギフトオブジェクトの種類
が「男の子のぬいぐるみ」(図4における参照符号410B)、所定アクションが実行さ
れた第1のギフトオブジェクトの種類毎(「男の子のぬいぐるみ」410B)の付与数が
「1つ」、特定位置が「Y2」の場合、第2のギフトオブジェクトとしては、1つの「大
きな象のぬいぐるみ」(図示せず)、と予め設定されている。これらの設定条件に関する
各種条件は、適宜に変更すればよく、例えばテーブルの形式でギフト記憶部150に記憶
される。
他方、前述の設定条件の第二の場合の具体例としては、図5に示される場合を参照しつ
つ説明すると、所定アクションが実行された第1のギフトオブジェクトの種類と数が「男
の子のぬいぐるみ」410Aが「1つ」、及び「男の子のぬいぐるみ」410Bが「1つ
」の場合、第2のギフトオブジェクトとしては、図7に示すように、1つの「小さな男の
子のぬいぐるみ」(図7における参照符号430)と予め設定されている。前述と同様、
これらの設定条件に関する各種条件は、適宜に変更すればよく、例えば、第1のギフトオ
ブジェクト同士の接触時間や第1のギフトオブジェクト同士が接触する際の衝突速度を条
件としてもよい(具体的には、衝突速度はαkm/h以上の時には、第2のギフトオブジ
ェクトとして「チーターのぬいぐるみ」を表示させ、αkm/h未満の時には、第2のギ
フトオブジェクトとして「亀のぬいぐるみ」を表示させる)し、所定アクションが実行さ
れた複数の第1のギフトオブジェクトの接触時の相対位置(例えば、図5に示される場合
において、接触時において「男の子のぬいぐるみを」410Aが「男の子のぬいぐるみ」
410Bよりも上側の場合と下側の場合とで、表示させる第2のギフトオブジェクトの種
類が異ならせる)を条件としてもよい。また、これらの設定条件は、例えばテーブルの形
式でギフト記憶部150に記憶される。
なお、前述の第一及び第二の設定条件には、動画上に表示される第2のギフトオブジェ
クト(例えば、図6に関する複数の「小さなクマのぬいぐるみ」420、及び図7に関す
る「「小さな男の子のぬいぐるみ」430)が、動画上のどの位置に表示されるかに関す
る条件も含むことができる。具体的には、図6の場合においては、第2のギフトオブジェ
クトとしての複数の「小さなクマのぬいぐるみ」420の各々には、動画上の複数箇所に
渡って別々に配されるように、X軸、Y軸、及びZ軸に関する個別の位置座標に関する情
報が予め設定される(つまり、第2のギフトオブジェクトが表示される位置は、所定アク
ションが実行された第1のギフトオブジェクトが存在していた位置とは異なる位置にも表
示される)。他方、図7の場合においては、第2のギフトオブジェクトとしての「小さな
男の子のぬいぐるみ」430には、第1のギフトオブジェクト(例えば、「男の子のぬい
ぐるみ」410A)が存在していた位置座標と同一の位置座標に関する情報が予め設定さ
れる。
さらに、動画生成部100は、所定アクションを実行したと判定部120が判定するこ
とを契機として第2のギフトオブジェクトを動画上に表示させるに際し、図8に示すよう
に、当該第2のギフトオブジェクトが動画上に表示される途中の状態(第2のギフトオブ
ジェクトが表示される直前の状態)を示すエフェクトオブジェクト500を動画上に表示
させてもよい。この場合において、動画生成部100は、所定アクション(図8において
は、第1のギフトオブジェクトである「男の子のぬいぐるみ」410Aを、別の第1のギ
フトオブジェクトである「男の子のぬいぐるみ」410Bに接触させること)を実行した
と判定部120が判定した時点を契機にエフェクトオブジェクト500を動画上に表示さ
せ、第2のギフトオブジェクトを動画上に実際に表示させた時点を契機に当該エフェクト
オブジェクト500を動画上から消去させる。また、動画生成部100は、2つの第1コ
リジョン領域(例えば、図5における第1コリジョン領域411A及び411B)が重複
している位置座標を参照して、その重複している位置座標にエフェクトオブジェクト50
0を表示することができる。
(2)表示部110
表示部110は、動画(第1のギフトオブジェクトを表示させた動画及び第2のギフト
オブジェクトを表示させた動画を含む)の配信及び/又は視聴に必要とされる様々な情報
を表示することができる。例えば、表示部110は、配信される動画、受信した動画、及
び/又は生成した動画等を、表示することができる。また、表示部110は、サーバ装置
20から各端末装置10に配信される各種のコメントも、受信した動画とともに表示する
ことができる。さらにまた、ギフト記憶部150に記憶されているギフト情報(第1のギ
フトオブジェクトに関する情報)を、視聴ユーザの操作に応じて適宜表示することもでき
る。
(3)判定部120
判定部120は、動画生成部100によって、アバターオブジェクトのアニメーション
を含む動画上に1又は複数の第1のギフトオブジェクトが表示された状態(1又は複数の
第1のギフトオブジェクトを表示させた動画が生成された状態)において、配信ユーザの
動作に基づいて、当該動画上に表示された第1のギフトオブジェクトに対してアバターオ
ブジェクトが所定アクションを実行したか否かを判定する。ここで、所定アクションとは
、例えば、アバターオブジェクトが第1のギフトオブジェクトを当該動画内の特定位置に
移動させるアクションや、アバターオブジェクトが少なくとも1つの第1のギフトオブジ
ェクトを別の第1のギフトオブジェクトに接触、摺動、又は衝突させるアクションを含む
ことができる。なお、前述のアクションは、いずれも配信ユーザの動作に基づくものであ
る。
前述のとおり、第1のギフトオブジェクトの各々には、固有の(第1のギフトオブジェ
クトの形態に対応する)第1コリジョン領域が予め設定され、アバターオブジェクトの手
(又は指)には第2コリジョン領域が予め設定され、前述の所定の条件が満たされると、
第1のギフトオブジェクトはアバターオブジェクトによって把持される。なお、アバター
オブジェクトは、その両手において原則2つの第1のギフトオブジェクトを把持すること
ができるが、必ずしもこれに限定されない。例えば、アバターオブジェクトは、その両手
において3つ以上の第1のギフトオブジェクトを把持するようにしてもよいし、動画内に
複数のアバターオブジェクトが表示される場合においては、4つ以上の第1のギフトオブ
ジェクトがアバターオブジェクトによって把持されうる。
判定部120は、図4に示すように、アバターオブジェクト400が、第1のギフトオ
ブジェクト410A(又は410B)を第1の位置X1(又は第1の位置X1’)におい
て把持する状態を起点として、配信ユーザの動作に基づいて、当該把持した状態を維持し
たまま第1のギフトオブジェクト410A(又は410B)を第1の位置X1(又は第1
の位置X1’)とは異なる位置である第2の位置Y1(又は第2の位置Y2)へと移動さ
せる場合に、動画内の特定位置に移動させるアクションが実行されたと判定する。この場
合、第2の位置Y1(又は第2の位置Y2)が特定位置となる。なお、第1の位置X1(
又は第1の位置X1’)は、動画上におけるあらゆる位置において適宜変更される。また
、第2の位置Y1(又は第2の位置Y2)は、動画上におけるいずれかの位置においてX
YZ座標系で予め設定しておけばよい。
また、図4に示すように、アバターオブジェクト400が2つの第1のギフトオブジェ
クト410A及び410Bを両手に把持する状態を起点として、図5に示すように、配信
ユーザの動作に基づいて2つの第1のギフトオブジェクト410A及び410Bを接触さ
せると、判定部120は所定アクションが実行されたと判定する。ここで、2つの第1の
ギフトオブジェクト410A及び410Bが接触するとは、当該2つの第1のギフトオブ
ジェクト410A及び410Bの各々に設定される第1コリジョン領域411A及び41
1Bが少なくとも一部において重なりあう(重複する)ことを意味する。また、2つの第
1のギフトオブジェクト410A及び410Bが接触するとは、両者が摺動又は衝突する
態様も含まれる。
ところで、2つの第1のギフトオブジェクト410A及び410Bの各々に設定され
る第1コリジョン領域411A及び411Bが少なくとも一部において重なりあう(重複
する)ことは、前述にて説明したとおり、第1コリジョン領域411A及び411Bに対
応するX軸、Y軸、及びZ軸に関する位置座標に基づいて判定される。
(4)記憶部130
記憶部130は、動画(第1のギフトオブジェクトを表示させた動画及び第2のギフト
オブジェクトを表示させた動画を含む)の配信及び/又は視聴に必要とされる様々な情報
を記憶することができる。
(5)ユーザインタフェイス部140
ユーザインタフェイス部140は、動画(第1のギフトオブジェクトを表示させた動画
及び第2のギフトオブジェクトを表示させた動画を含む)の配信及び/又は視聴に必要と
される様々な情報を、配信ユーザ又は視聴ユーザの操作を介して入力することができる。
例えば、ユーザインタフェイス部140は、アバターオブジェクトに対するギフティング
に関する視聴ユーザの操作(予め用意された複数の第1のギフトオブジェクトの中からい
ずれかを選択してアバターオブジェクトに付与するコマンドを選択する等の操作を含む)
の内容を示す操作データや、視聴ユーザから配信ユーザ(アバターオブジェクト)に対す
るコメント情報(例えば、配信ユーザに対する視聴ユーザの「両手に持っている2つの男
の子のぬいぐるみをぶつけてみて!」との所定アクションのヒントとなるようなコメント
情報)の内容を示すデータを視聴ユーザから入力して、これら各種データを通信部160
へ出力することができる。なお、前述の操作データとは、例えば、視聴ユーザが配信ユー
ザに対してどのような第1のギフトオブジェクト(第1のギフトオブジェクトの種類)を
ギフティングしたかに関する情報を含むことができる。
(6)ギフト記憶部150
ギフト記憶部150は、動画配信用アプリケーション及び動画視聴用アプリケーション
が端末装置10にインストールされると、これらのアプリケーションに予め設定されるギ
フト情報を記憶することができる。なお、ギフト情報とは、第1のギフトオブジェクト及
び第2のギフトオブジェクトの名称・形状・色等の識別情報や、視聴ユーザが第1のギフ
トオブジェクトをギフティングした場合に当該視聴ユーザに対して請求される第1のギフ
トオブジェクト毎の金額に関する情報を含むことができる。
なお、前述の識別情報には、各第1のギフトオブジェクト及び第2のギフトオブジェク
トに対応する前述の第1コリジョン領域及び第3コリジョン領域に関する情報も含まれる
また、ギフト記憶部150は、所定アクションを実行したと判定部120が判定するこ
とを契機として第2のギフトオブジェクトを動画上に表示させる際に、動画生成部100
が参照する前述の設定条件を記憶する。
(7)通信部160
通信部160は、動画(第1のギフトオブジェクトを表示させた動画及び第2のギフト
オブジェクトを表示させた動画を含む)の配信及び/又は視聴に必要とされる様々な情報
を、サーバ装置20との間において通信することができる。例えば、通信部160は、端
末装置10が配信ユーザの端末装置10として動作する場合には、アバターオブジェクト
のアニメーションを含む動画上に第1のギフトオブジェクトを表示させる旨の要求情報を
サーバ装置20(情報処理サーバ装置20B)から受信して、生成された当該動画をサー
バ装置20(配信サーバ装置20C)に送信することができる。
また、通信部160は、所定アクションを実行したと判定部120が判定したことによ
って動画生成部100が動画上に第2のギフトオブジェクトを表示させた場合、当該第2
のギフトオブジェクトを表示させた動画をサーバ装置20(配信サーバ装置20C)に送
信することができる。このように、通信部160は、動画生成部100が生成する様々な
動画を動画生成部100から受信して、これらの様々な動画をサーバ装置20(配信サー
バ装置20C)に送信することができる。
他方、通信部160は、端末装置10が視聴ユーザの端末装置10として動作する場合
には、配信ユーザの端末装置10によって生成された動画をサーバ装置20から受信する
ことができる。また、同じく端末装置10が視聴ユーザの端末装置10として動作する場
合には、視聴ユーザから配信ユーザ(アバターオブジェクト)に対するギフティングに関
する情報、及び視聴ユーザから配信ユーザ(アバターオブジェクト)に対するコメントに
関する情報をサーバ装置20(コメントAPIサーバ装置20D)に送信することができ
る。
(8)スタジオユニット
前述の動画生成部100、表示部110、判定部120、記憶部130、ユーザインタ
フェイス部140、ギフト記憶部150、及び通信部160を含むスタジオユニット(図
示せず)を端末装置10として用いることもできる。
スタジオユニットは、パーソナルコンピュータ等の情報処理装置により実装可能なもの
であって、前述した端末装置10及びサーバ装置20と同様に、主に、中央処理装置と、
主記憶装置と、入出力インタフェイスと、入力装置と、補助記憶装置と、出力装置と、を
含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されて
いる。また、スタジオユニットは、インストールされた特定のアプリケーションを実行す
る情報処理装置として機能することにより、スタジオユニットが設置されたスタジオルー
ム(図示せず)に居る配信ユーザの動作に関するデータ及び/又は配信ユーザによって発
せられた発話や歌唱に関するデータに基づいて、アバターオブジェクトのアニメーション
を含む動画を生成することができる。
スタジオユニットに含まれる動画生成部100の構成要素の多くは、スタジオルームに
配される。また、スタジオルームにおいては、配信ユーザが種々のパフォーマンスを行い
、スタジオユニットが、当該配信ユーザの動作、表情、及び発話(歌唱を含む)等を検出
している。
配信ユーザは、スタジオユニット(動画生成部100)に含まれる種々のセンサ群によ
って動作、表情、及び発話(歌唱を含む)等がキャプチャされる対象となっている。この
場合において、配信ユーザは、必ずしも人間である必要はなく、例えば、自立運動可能な
ロボットであってもよい。また、スタジオルーム内の配信ユーザは、1であってもよいし
、2以上であってもよい。
スタジオユニットにおける動画生成部100は、配信ユーザの複数の部位(例えば、手
首、足甲、腰、頭頂等)に装着される種々のモーションセンサ(図示せず)と、配信ユー
ザの手に把持されるコントローラ(図示せず)と、装着具(図示せず)を介して配信ユー
ザの頭部に取付けられるカメラ(図示せず)と、を有することができる。また、スタジオ
ユニットには、配信ユーザの音声データを取得するために、前述の装着具やスタジオルー
ム内のいずれかの場所(例えば、壁、床、天井等)にマイクが設けられている。さらに、
スタジオユニットは、上記の構成に加えて、複数のベースステーション(図示せず)、ト
ラッキングセンサ(図示せず)、及びディスプレイ(図示せず)を有することができる。
前述のモーションセンサは、前述のベースステーションと協働して、配信ユーザの位置
及び向きを検出することができる。一実施形態において、複数のベースステーションは、
多軸レーザーエミッタ―であり、同期用の点滅光を発した後に、1つのベースステーショ
ンは例えば鉛直軸の周りでレーザー光を走査し、他のベースステーションは、例えば水平
軸の周りでレーザー光を走査するように構成される。モーションセンサは、ベースステー
ションからの点滅光及びレーザー光の入射を検知する光センサを複数備え、点滅光の入射
タイミングとレーザー光の入射タイミングとの時間差、各光センサでの受光時間、各光セ
ンサが検知したレーザー光の入射角度、等を検出することができる。モーションセンサは
、例えば、HTC CORPORATIONから提供されているVive Tracke
rであってもよいし、ZERO C SEVEN Inc.から提供されているXsen
s MVN Analyzeであってもよい。
スタジオユニットにおける動画生成部100は、モーションセンサにおいて算出された
各モーションセンサの位置及び向きを示す検出情報を取得する。モーションセンサは、配
信ユーザの手首、足甲、腰、頭頂等の部位に装着されることにより、モーションセンサの
位置及び向きを検出して、配信ユーザにおける体の各部位の動きを検出することができる
。なお、モーションセンサの位置及び向きを示す検出情報は、動画内(動画に含まれる仮
想空間内)における配信ユーザにおける体の各部位毎のXYZ座標系における位置座標値
として算出される。X軸は動画内における横方向、Y軸は動画内における奥行方向、Z軸
は動画内における縦方向に対応する。したがって、配信ユーザにおける体の各部位の動き
も、全てXYZ座標系における位置座標値として検出される。
一実施形態においては、複数のモーションセンサに多数の赤外LEDを搭載し、この赤
外LEDからの光を、スタジオルームの床や壁に設けられた赤外線カメラで検知すること
で、当該モーションセンサの位置及び向きを検出してもよい。また、赤外LEDに代えて
可視光LEDを使用し、この可視光LEDからの光を可視光カメラで検出することで、当
該モーションセンサの位置及び向きを検出してもよい。
一実施形態においては、モーションセンサに代えて、複数の反射マーカーを用いること
もできる。反射マーカーは、配信ユーザに粘着テープ等により貼付される。このように反
射マーカーが貼付された配信ユーザを撮影して撮影データを生成し、この撮影データを画
像処理することにより、反射マーカーの位置及び向き(前述と同様に、XYZ座標系にお
ける位置座標値)を検出するような構成としてもよい。
コントローラは、配信ユーザによる指の折り曲げ等の操作に応じたコントロール信号を
出力し、これを動画生成部100が取得する。
トラッキングセンサは、動画に含まれる仮想空間を構築するための仮想カメラの設定情
報を定めるためのトラッキング情報を生成する。当該トラッキング情報は、三次元直交座
標系での位置及び各軸回りの角度として算出され、動画生成部100は当該トラッキング
情報を取得する。
配信ユーザの頭部に取付けられるカメラは、配信ユーザの顔を撮像できるように配置さ
れる。当該カメラは、配信ユーザの顔を連続的に撮像することで、配信ユーザの顔の撮像
データを取得し、動画生成部100はこの撮像データを当該カメラから取得する。なお、
当該カメラは、配信ユーザの顔の奥行きを検出可能な3Dカメラであってもよい。
ディスプレイは表示部110として機能するものであり、配信ユーザによって視認可能
な位置に配置され、配信ユーザは、各種情報を取得して動画生成部100によって生成さ
れた動画を、ディスプレイを通して視認することが可能となっている。
動画生成部100は、前述のモーションセンサ、トラッキングセンサ、各種カメラ、及
びコントローラ等からの情報を取得して、アバターオブジェクトのアニメーションを含む
動画を生成することができる。
また、スタジオユニットは、以上のとおり説明した構成要素とその機能に加えて、前述
にて説明した動画生成部100、表示部110、判定部120、記憶部130、ユーザイ
ンタフェイス部140、ギフト記憶部150、及び通信部160(又はこれらの機能を有
する別の構成要素)を含むことができる。これにより、前述の所定アクションに関する判
定や、アバターオブジェクトのアニメーションを含む動画上に第1のギフトオブジェクト
及び/又は第2のギフトオブジェクトを表示させること等を実行することができる。以上
のとおり説明したスタジオユニットの構成要素は一例であって、他に適用可能な様々な構
成要素を含みうる。
3-2.サーバ装置20の機能
サーバ装置20の機能の一例について図9を参照しつつ説明する。図9は、図1に示し
たサーバ装置20の機能の一例を模式的に示すブロック図である。
図9に示すように、サーバ装置20は、主に、記憶部200、通信部210、ギフト処
理部220、及びコメント処理部230を含むことができる。
(1)記憶部200
記憶部200は、動画(第1のギフトオブジェクトを表示させた動画及び第2のギフト
オブジェクトを表示させた動画を含む)の配信及び/又は視聴に必要とされる様々な情報
を記憶することができる。
(2)通信部210
通信部210は、動画(第1のギフトオブジェクトを表示させた動画及び第2のギフト
オブジェクトを表示させた動画を含む)の配信及び/又は視聴に必要とされる様々な情報
を、配信ユーザの端末装置10及び/又は視聴ユーザの端末装置10との間において通信
することができる。例えば、通信部210は、動画(第1のギフトオブジェクトを表示さ
せた動画及び第2のギフトオブジェクトを表示させた動画を含む)を、配信ユーザの端末
装置10から受信して各視聴ユーザの端末装置10へ配信することができる。
また、通信部210は、視聴ユーザから配信ユーザ(アバターオブジェクト)に対する
ギフティングに関する情報、及び視聴ユーザから配信ユーザ(アバターオブジェクト)に
対するコメントに関する情報を視聴ユーザの端末装置10から受信すると、ギフティング
に関する情報はギフト処理部220へ、コメントに関する情報はコメント処理部230へ
と各々出力する。
さらにまた、通信部210は、ギフト処理部220が読み出した第1のギフトオブジェ
クトに関する情報をギフト処理部220から入手して、アバターオブジェクトのアニメー
ションを含む動画上に当該第1のギフトオブジェクトを表示させる旨の要求情報を配信ユ
ーザの端末装置10へ送信することができる。なお、通信部210がギフト処理部220
から入手する第1のギフトオブジェクトに関する情報とは、配信ユーザの端末装置10に
おける動画生成部100がギフト記憶部150に記憶される多数の第1のギフトオブジェ
クトに関する情報の中から、どの第1のギフトオブジェクトの情報を参照すればよいかを
特定できる程度の情報であればよい。例えば、視聴ユーザの端末装置10から、第1のギ
フトオブジェクトとして「男の子のぬいぐるみ」がギフティングされた場合、通信部21
0は、ギフト処理部220から、当該「男の子のぬいぐるみ」たる第1のギフトオブジェ
クトの名称(又は名称に類する文字列等)のみであってもよい。
さらにまた、通信部210は、配信ユーザの端末装置10から、第1のギフトオブジェ
クトに対してアバターオブジェクトが所定アクションを実行したと判定され第2のギフト
オブジェクトが動画上に表示された旨に関する情報を受信して、当該情報をコメント処理
部230へ出力することもできる。
(3)ギフト処理部220
ギフト処理部220は、通信部210からギフティングに関する情報を受信すると、ギ
フティング行為がなされた視聴ユーザの識別情報(各視聴ユーザの端末装置10のシリア
ル番号や各視聴ユーザに付与されるID情報等)、ギフティングされた第1のギフトオブ
ジェクトに関する情報(第1のギフトオブジェクトの名称・大きさ・形状・色等の識別情
報)、及びギフティング対象のアバターオブジェクトたる配信ユーザの識別情報(配信ユ
ーザの端末装置10のシリアル番号や配信ユーザに付与されるID情報等)を読み出す。
なお、第1のギフトオブジェクトに関し、ギフト処理部220は、配信ユーザの端末装
置10における動画生成部100がギフト記憶部150に記憶される多数の第1のギフト
オブジェクトに関する情報の中から、どの第1のギフトオブジェクトの情報を参照すれば
よいかを特定できる程度の情報(例えば、前述のとおり、第1のギフトオブジェクトの名
称又は名称に類する文字列等)のみを読み出せばよく、第1のギフトオブジェクトの大き
さ、形状、色等の識別情報は必ずしも読み出さなくてもよい。また、各第1のギフトオブ
ジェクトに対応する第1コリジョン領域に関する情報は、ギフト処理部220にて読み出
されることはなく、前述したギフト記憶部150にて記憶されている。
なお、ギフト処理部220によって読み出された各種情報は、記憶部200に出力され
て、当該記憶部200にて記憶される。
(4)コメント処理部230
コメント処理部230は、視聴ユーザから配信ユーザ(アバターオブジェクト)に対す
るコメント情報(例えば、配信ユーザに対する視聴ユーザの『両手に持っている2つの「
男の子のぬいぐるみ」をぶつけてみて!』との所定アクションのヒントとなるようなコメ
ント情報を含む)を、通信部210を介して視聴ユーザの端末装置10から受信すること
ができ、視聴ユーザからの当該コメント情報を、同一の動画を視聴している各視聴ユーザ
に対して配信することができる。
また、コメント処理部230は、ギフト処理部220によって読み出された各種情報(
記憶部200に記憶された情報)を参照して、どの視聴ユーザがどんな第1のギフトオブ
ジェクトをアバターオブジェクトに対してギフティングしたかに関する全て又は一部の情
報に対応するコメント情報(例えば、『視聴ユーザXが「男の子のぬいぐるみ」をギフテ
ィングしたよ!』とのコメント情報)を作成して、当該コメント情報を同一の動画を視聴
している各視聴ユーザに対して配信することもできる。
さらにまた、コメント処理部230は、通信部210から、第2のギフトオブジェクト
が動画上に表示された旨に関する情報を受信すると、その旨に対応するコメント情報(例
えば、『たくさんの「小さなクマのぬいぐるみ」出現!』とのコメント情報)を作成して
、当該コメント情報を同一の動画を視聴している各視聴ユーザに対して配信することもで
きる。
さらにまた、コメント処理部230は、視聴ユーザから配信ユーザ(アバターオブジェ
クト)に対するコメント情報を、通信部210を介して視聴ユーザの端末装置10から受
信しているか否かにかかわらず、ギフト処理部220によって読み出された各種情報を参
照して、ギフティングされた第1のギフトオブジェクトに対する所定アクションのヒント
となるようなコメント情報(例えば、『2つの「男の子のぬいぐるみ」を上下にくっつけ
て並べてみて!』とのコメント情報)を自ら作成して、当該コメント情報を同一の動画を
視聴している各視聴ユーザに対して配信することもできる。
4.動画配信システム1の全体的な動作
次に、上記構成を有する動画配信システム1においてなされる全体的な動作について、
図10を参照して説明する。図10は、図1に示した動画配信システム1において行われ
る動作の一例を示すフロー図である。
まず、ステップ(以下「ST」という。)300において、配信ユーザの操作に従って
、その端末装置10(ここでは端末装置10A)が動画配信用アプリケーションを起動し
て実行する。
次に、ST301において、端末装置10Aは、配信ユーザの動作に関するデータ及び
/又は配信ユーザによって発せられた発話や歌唱に関する音声データに基づいて配信ユー
ザのアバターオブジェクトのアニメーションを含む動画を生成する。これにより、端末装
置10Aの表示部110には、配信ユーザのアバターオブジェクト400のアニメーショ
ンを含む動画(例えば、図4において第1のギフトオブジェクト410A及び410Bが
表示される前の状態の動画)が表示される。
さらに、端末装置10Aは、生成した動画をサーバ装置20の配信サーバ装置20Cに
送信する。配信サーバ装置20Cは、端末装置10Aから受信した動画を、動画視聴用ア
プリケーションを実行している各視聴ユーザの端末装置10(ここでは、端末装置10B
、端末装置10C、及び端末装置10D)に配信する。これにより、各視聴ユーザの端末
装置10の表示部110にも、同じ動画が表示される。
次に、ST302において、視聴ユーザの端末装置10は、ユーザインタフェイス部1
40に対する視聴ユーザの操作に基づいて、配信ユーザ(アバターオブジェクト)に対し
て第1のギフトオブジェクトを付与することを要求する要求信号をサーバ装置20(ギフ
トAPIサーバ装置20A)に発信する。
次に、ST303において、視聴ユーザの端末装置10から第1のギフトオブジェクト
に関する要求信号を受信したサーバ装置20(ギフトAPIサーバ装置20A)は、ギフ
ティング行為がなされた視聴ユーザの識別情報、ギフティングされた第1のギフトオブジ
ェクトに関する情報、及びギフティング対象のアバターオブジェクトたる配信ユーザの識
別情報を読み出す。
そして、ST304において、サーバ装置20(情報処理サーバ装置20B)は、読み
出された情報に基づいて、アバターオブジェクトのアニメーションを含む動画上に当該第
1のギフトオブジェクトを表示させる旨の要求情報を配信ユーザの端末装置10へ送信す
る。この際、情報処理サーバ装置20Bは、ギフトAPIサーバ装置20Aから、第1の
ギフトオブジェクトに関する情報の少なくとも一部(例えば、前述のとおり、第1のギフ
トオブジェクトの名称又は名称に類する文字列等)を取得して、アバターオブジェクトの
アニメーションを含む動画上に当該第1のギフトオブジェクトを表示させる旨の要求情報
を生成する。
次に、ST305において、配信ユーザの端末装置10Aは、ST304にてサーバ装
置20から送信された要求情報に基づいて、アバターオブジェクトのアニメーションを含
む動画上に当該要求情報に対応する第1のギフトオブジェクトを表示させる。なお、配信
ユーザの端末装置10Aが、当該要求情報に対応する第1のギフトオブジェクトを動画上
に表示させるに際し、配信ユーザの端末装置10Aは、前述のギフト記憶部150に記憶
される第1のギフトオブジェクトの名称・形状・色・第1コリジョン領域等の識別情報を
参照する。
次に、ST306において、配信ユーザの端末装置10Aは、動画上に表示された1又
は複数の第1のギフトオブジェクトに対してアバターオブジェクトが所定アクションを実
行したと判定すると、第2のギフトオブジェクトを動画上に表示させる。なお、当該所定
アクションに関する判定は、前述のとおり配信ユーザの端末装置10Aの判定部120に
よって実行される。また、所定アクションが実行された第1のギフトオブジェクトの処理
方法、及び第2のギフトオブジェクトの動画上への表示方法等については、前述のとおり
である。
以上のとおり、動画上に第2のギフトオブジェクトが表示されることをもって、ステッ
プは終了する。
5.変形例について
前述の一実施形態においては、動画(第1のギフトオブジェクトを表示させた動画及び
第2のギフトオブジェクトを表示させた動画を含む)の生成は配信ユーザの端末装置10
によって実行されていたが、別の実施形態では、例えば、サーバ装置20又は視聴ユーザ
の端末装置10によって実行されてもよい。この場合においては、サーバ装置20及び/
又は視聴ユーザの端末装置10にレンダリング部(図示せず)を設けておき、配信ユーザ
の端末装置10は、サーバ装置20及び/又は視聴ユーザの端末装置10が動画(第1の
ギフトオブジェクトを表示させた動画及び第2のギフトオブジェクトを表示させた動画を
含む)を生成することができるように、様々な情報(例えば、第1のギフトオブジェクト
に関する各種の識別情報や第2のギフトオブジェクトに関する各種の識別情報)のみを生
成するような構成としてもよい。
このような構成を実現するために、サーバ装置20、視聴ユーザの端末装置10、及び
配信ユーザの端末装置10の各機能は前述の一実施形態から適宜に変更される別の実施形
態が採用されうる。例えば、一実施形態において動画生成部100は端末装置10に具備
されていたが、サーバ装置20に具備されてもよいし、端末装置10でも視聴ユーザの端
末装置10に具備されてもよい。
また、前述の所定アクションが実行されたどうかに関する判定は、前述の一実施形態に
おいては配信ユーザの端末装置10によって実行されていたが、別の実施形態では、サー
バ装置20又は端末装置10でも視聴ユーザの端末装置10で実行されてもよい。この場
合、サーバ装置20又は視聴ユーザの端末装置10には、判定部120と同様の機能が具
備される。
したがって、様々な実施形態によれば、視聴ユーザによるギフティング機会を増加させ
る動画処理方法、サーバ装置及びコンピュータプログラムを提供することができる。さら
に、第1のギフトオブジェクトを第2のギフトオブジェクトに変化させることで、動画上
に表示されるギフトオブジェクトのバリエーションを増やすことができる。また、様々な
実施形態のうち複数の第1のギフトオブジェクトを1つの第2のギフトオブジェクトに変
化させる場合においては、視聴ユーザの端末装置10における表示部110の限られた領
域内に表示された第1のギフトオブジェクトの数をスムーズに削減させることができるた
め(この場合において、動画上に表示される第2のギフトオブジェクトの大きさは第1の
ギフトオブジェクトよりも小さくすることが好ましい)、視聴ユーザのギフティング意欲
を効率的に向上させることが可能となる。さらにまた、第1のギフトオブジェクトを配信
ユーザ(アバターオブジェクト)の所定アクションを介して第2のギフトオブジェクトに
変化させる実施形態とすることで、配信ユーザに対して何らかのアクションを実行させる
きっかけを創出することができる。さらにまた、様々な実施形態によれば、視聴ユーザは
、配信ユーザに対して、所定アクションに関連するアドバイスをコメント情報(例えば、
配信ユーザに対する視聴ユーザの「両手に持っている2つの男の子のぬいぐるみをぶつけ
てみて!」とのコメント情報)として発信することができるため、配信ユーザと視聴ユー
ザとの間のコミュニケーションが活性化される。
6.様々な態様について
第1の態様による動画処理方法は、「コンピュータにより読み取り可能な命令を実行す
る一又は複数のプロセッサにより実行される動画処理方法であって、配信ユーザの動作に
基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成する生
成工程と、前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブ
ジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、前記
視聴ユーザの端末装置から通信回線を介して受信する受信工程と、前記要求信号に基づい
て前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記
動画上に表示させる第1表示工程と、前記配信ユーザの動作に基づいて、前記動画上に表
示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクト
が所定アクションを実行したと判定された場合に、前記所定アクションを実行された前記
第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させ
る第2表示工程と、を含む」ものである。
第2の態様による動画処理方法は、上記第1の態様において「前記所定アクションは、
前記配信ユーザの動作に基づいて、前記アバターオブジェクトが前記第1のギフトオブジ
ェクトを特定位置に移動させるアクション」である。
第3の態様による動画処理方法は、上記第1の態様において「前記所定アクションは、
前記配信ユーザの動作に基づいて、前記アバターオブジェクトが少なくとも1つの前記第
1のギフトオブジェクトを、別の前記第1のギフトオブジェクトに接触させるアクション
」である。
第4の態様による動画処理方法は、上記第3の態様において「前記第1のギフトオブジ
ェクトの各々には、第1コリジョン領域が設定され、少なくとも2つの前記第1コリジョ
ン領域が、前記動画内で少なくとも一部において重なりあうと判定された場合に、少なく
とも2つの前記第1のギフトオブジェクトが接触していると認識される」ものである。
第5の態様による動画処理方法は、上記第4の態様において「少なくとも2つの前記第
1コリジョン領域が前記動画内で少なくとも一部において重なりあうか否かの判定は、前
記動画内における横方向のX軸、奥行方向のY軸、及び縦方向のZ軸に基づく各前記第1
コリジョン領域の位置座標に基づいて実行される」ものである。
第6の態様による動画処理方法は、上記第2の態様において「前記第1のギフトオブジ
ェクトの各々には、第1コリジョン領域が設定され、前記アバターオブジェクトの手には
、第2コリジョン領域が設定され、前記第1コリジョン領域と前記第2コリジョン領域が
、前記動画内で少なくとも一部において重なりあうと判定された場合で、且つ前記配信ユ
ーザの動作に基づいて、前記アバターオブジェクトの指が曲がっていると判定された場合
に、前記第1のギフトオブジェクトが前記アバターオブジェクトによって把持されている
と認識され、前記動画内の第1の位置で前記アバターオブジェクトによる前記第1のギフ
トオブジェクトを把持される状態が開始され、前記第1の位置とは異なる前記動画内の第
2の位置まで前記把持される状態が維持される場合に、前記特定位置に移動させるアクシ
ョンが実行されたと認識される」ものである。
第7の態様による動画処理方法は、上記第6の態様において「前記第1コリジョン領域
と前記第2コリジョン領域が前記動画内で少なくとも一部において重なりあうか否かの判
定は、前記動画内における横方向のX軸、奥行方向のY軸、及び縦方向のZ軸に基づく前
記第1コリジョン領域の位置座標並びに前記第2コリジョン領域の位置座標に基づいて実
行される」ものである。
第8の態様による動画処理方法は、上記第2の態様において「前記第2のギフトオブジ
ェクトは、前記特定位置、前記第1のギフトオブジェクトの種類、及び前記第1のギフト
オブジェクトの種類毎の付与数に基づいて決定され前記動画上に表示される」ものである
第9の態様による動画処理方法は、上記第3の態様又は上記第4の態様において「前記
第2のギフトオブジェクトは、前記第1のギフトオブジェクトの種類、及び前記第1のギ
フトオブジェクトの種類毎の付与数に基づいて決定され前記動画上に表示される」もので
ある。
第10の態様による動画処理方法は、上記第9の態様において「前記第2のギフトオブ
ジェクトは、さらに前記第1のギフトオブジェクト同士の接触時間に基づいて決定され前
記動画上に表示される」ものである。
第11の態様による動画処理方法は、上記第9の態様又は上記第10の態様において「
前記第2のギフトオブジェクトは、さらに前記第1のギフトオブジェクト同士が接触する
際の衝突速度に基づいて決定され前記動画上に表示される」ものである。
第12の態様による動画処理方法は、上記第1の態様から上記第11の態様のいずれか
において「前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを実行
したと判定された場合に、前記所定アクションを実行された前記第1のギフトオブジェク
トを前記動画上から消去させる」ものである。
第13の態様による動画処理方法は、上記第1の態様から上記第11の態様のいずれか
において「前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを実行
したと判定された場合に、前記所定アクションを実行された前記第1のギフトオブジェク
トを前記第2のギフトオブジェクトに変化させて、前記第2のギフトオブジェクトを前記
動画上に表示させる」ものである。
第14の態様による動画処理方法は、上記第1の態様から上記第11の態様のいずれか
において「前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを実行
したと判定された場合に、前記所定アクションを実行された複数の前記第1のギフトオブ
ジェクトのうち少なくとも1つの前記第1のギフトオブジェクトを前記動画上から消去さ
せ、且つ他の少なくとも1つの前記第1のギフトオブジェクトを前記第2のギフトオブジ
ェクトに変化させる」ものである。
第15の態様による動画処理方法は、上記第12の態様から上記第14の態様のいずれ
かにおいて「前記第2のギフトオブジェクトは、前記動画上から消去される前又は前記第
2のギフトオブジェクトに変化される前に前記第1のギフトオブジェクトが前記動画内に
存在していた位置とは異なる位置に表示される」ものである。
第16の態様による動画処理方法は、上記第1の態様から上記第15の態様のいずれか
において「前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを開始
し、前記第2のギフトオブジェクトが前記動画上に表示される途中の状態を示すエフェク
トオブジェクトを、前記動画上に表示させる工程を含む」ものである。
第17の態様による動画処理方法は、上記第1の態様から上記第16の態様のいずれか
において「前記生成工程、前記第1表示工程、及び前記第2表示工程が、前記配信ユーザ
の端末装置により実行される」ものである。
第18の態様による動画処理方法は、上記第17の態様において「前記受信工程は、前
記視聴ユーザの端末装置及び/又は前記配信ユーザの端末装置に通信回線を介して接続さ
れるサーバ装置により実行され、前記動画上に表示された前記第1のギフトオブジェクト
に対して前記アバターオブジェクトが所定アクションを実行したことが、前記配信ユーザ
の端末装置により判定される」ものである。
第19の態様による動画処理方法は、上記第1の態様から上記第16の態様のいずれか
において「前記生成工程、前記受信工程、前記第1表示工程、及び前記第2表示工程が、
前記視聴ユーザの端末装置及び/又は前記配信ユーザの端末装置に通信回線を介して接続
されるサーバ装置により実行される」ものである。
第20の態様による動画処理方法は、上記第19の態様において「前記動画上に表示さ
れた前記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクション
を実行したことが、前記配信ユーザの端末装置により判定される」ものである。
第21の態様による動画処理方法は、上記第1の態様から上記第16の態様のいずれか
において「前記生成工程、前記第1表示工程、及び前記第2表示工程が、前記視聴ユーザ
の端末装置により実行される」ものである。
第22の態様による動画処理方法は、上記第21の態様において「前記受信工程は、前
記視聴ユーザの端末装置及び/又は前記配信ユーザの端末装置に通信回線を介して接続さ
れるサーバ装置により実行され、前記動画上に表示された前記第1のギフトオブジェクト
に対して前記アバターオブジェクトが所定アクションを実行したことが、前記配信ユーザ
の端末装置により判定される」ものである。
第23の態様による動画処理方法は、上記第1の態様から上記第22の態様のいずれか
において「前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフ
ィックスプロセッシングユニット(GPU)である」ものである。
第24の態様による動画処理方法は、上記第1の態様から上記第23の態様のいずれか
において「前記通信回線がインターネットを含む」ものである。
第25の態様によるサーバ装置は、「1又は複数のプロセッサを具備し、該プロセッサ
が、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーション
を含む動画を生成し、前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記ア
バターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信
号を、前記視聴ユーザの端末装置から通信回線を介して受信し、前記要求信号に基づいて
前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記動
画上に表示させ、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数
の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクションを
実行したと前記配信サーバの端末装置によって判定された場合に、前記所定アクションを
実行された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動
画上に表示させる」ものである。
第26の態様によるサーバ装置は、「1又は複数のプロセッサを具備し、該プロセッサ
が、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーション
を含む動画を生成するための情報を、前記動画を生成する前記配信ユーザの端末装置又は
視聴ユーザの端末装置へ送信し、前記動画を視聴する前記視聴ユーザの操作に基づいて生
成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを
要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信し、前記要求
信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェ
クトに関する情報を、前記第1のギフトオブジェクトを前記動画上に表示させる前記配信
ユーザの端末装置又は前記視聴ユーザの端末装置へ送信し、前記配信ユーザの動作に基づ
いて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記
アバターオブジェクトが所定アクションを実行したと前記配信サーバの端末装置によって
判定された場合に、前記所定アクションを実行された前記第1のギフトオブジェクトとは
異なる第2のギフトオブジェクトに関する情報を、前記第2のギフトオブジェクトを前記
動画上に表示させる前記配信ユーザの端末装置又は前記視聴ユーザの端末装置へ送信する
」ものである。
第27の態様によるサーバ装置は、上記第25の態様又は上記第26の態様において「
前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプ
ロセッシングユニット(GPU)である」ものである。
第28の態様によるサーバ装置は、上記第25の態様から上記第27の態様のいずれか
において「前記通信回線がインターネットを含む」ものである。
第29の態様によるコンピュータプログラムは、「1又は複数のプロセッサに実行され
ることにより、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニ
メーションを含む動画を生成し、前記動画を視聴する視聴ユーザの操作に基づいて生成さ
れ、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求
する要求信号を、サーバ装置又は前記視聴ユーザの端末装置から通信回線を介して受信し
、前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフ
トオブジェクトを、前記動画上に表示させ、前記配信ユーザの動作に基づいて、前記動画
上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジ
ェクトが所定アクションを実行したと判定された場合に、前記所定アクションを実行され
た前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表
示させる、ように前記プロセッサを機能させる」ものである。
第30の態様によるコンピュータプログラムは、「1又は複数のプロセッサに実行され
ることにより、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニ
メーションを含む動画を生成するための情報を、前記動画を生成するサーバ装置又は視聴
ユーザの端末装置へ送信し、前記動画を視聴する前記視聴ユーザの操作に基づいて生成さ
れ、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求
する要求信号を、サーバ装置又は前記視聴ユーザの端末装置から通信回線を介して受信し
、前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフ
トオブジェクトに関する情報を、前記第1のギフトオブジェクトを前記動画上に表示させ
る前記サーバ装置又は前記視聴ユーザの端末装置へ送信し、前記配信ユーザの動作に基づ
いて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記
アバターオブジェクトが所定アクションを実行したと判定された場合に、前記所定アクシ
ョンを実行された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトに
関する情報を、前記第2のギフトオブジェクトを前記動画上に表示させる前記サーバ装置
又は前記視聴ユーザの端末装置へ送信する、ように前記プロセッサを機能させる」もので
ある。
第31の態様によるコンピュータプログラムは、上記第29の態様又は上記第30の態
様において「前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラ
フィックスプロセッシングユニット(GPU)である」ものである。
第32の態様によるコンピュータプログラムは、上記29の態様から上記31の態様の
いずれかにおいて「前記通信回線がインターネットを含む」ものである。
第33の態様によるコンピュータプログラムは、「1又は複数のプロセッサに実行され
ることにより、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニ
メーションを含む動画を生成するために、当該動画に関する情報をサーバ装置又は前記配
信ユーザの端末装置から受信し、前記動画を視聴する視聴ユーザの操作に基づいて生成さ
れ、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求
する要求信号を、通信回線を介して発信し、前記要求信号に基づいて前記アバターオブジ
ェクトに対して付与された前記第1のギフトオブジェクトを前記動画上に表示させるため
に、前記第1のギフトオブジェクトに関する情報を前記サーバ装置又は前記配信ユーザの
端末装置から受信し、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は
複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクショ
ンを実行したと前記配信サーバの端末装置によって判定された場合に、前記所定アクショ
ンを実行された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前
記動画上に表示させるために、前記第2のギフトオブジェクトに関する情報を前記サーバ
装置又は前記配信ユーザの端末装置から受信する、ように前記プロセッサを機能させる」
ものである。
第34の態様によるコンピュータプログラムは、「1又は複数のプロセッサに実行され
ることにより、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニ
メーションを含む動画を、サーバ装置又は前記配信ユーザの端末装置から受信し、前記動
画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して
第1のギフトオブジェクトを付与することを要求する要求信号を、通信回線を介して発信
し、前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギ
フトオブジェクトを表示させた前記動画を、前記サーバ装置又は前記配信ユーザの端末装
置から受信し、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の
前記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクションを実
行したと前記配信サーバの端末装置によって判定された場合に、前記所定アクションを実
行された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを表示させ
た前記動画を、前記サーバ装置又は前記配信ユーザの端末装置から受信する、ように前記
プロセッサを機能させる」ものである。
第35の態様によるコンピュータプログラムは、上記第33の態様又は上記第34の態
様において「前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラ
フィックスプロセッシングユニット(GPU)である」ものである。
第36の態様によるコンピュータプログラムは、上記33の態様から上記35の態様の
いずれかにおいて「前記通信回線がインターネットを含む」ものである。
第37の態様による配信ユーザの端末装置は、「配信ユーザの動作に基づく前記配信ユ
ーザのアバターオブジェクトのアニメーションを含む動画を生成し、前記動画を視聴する
視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフト
オブジェクトを付与することを要求する要求信号を、サーバ装置又は前記視聴ユーザの端
末装置から通信回線を介して受信し、前記要求信号に基づいて前記アバターオブジェクト
に対して付与された前記第1のギフトオブジェクトを、前記動画上に表示させ、前記配信
ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジ
ェクトに対して前記アバターオブジェクトが所定アクションを実行したと判定された場合
に、前記所定アクションを実行された前記第1のギフトオブジェクトとは異なる第2のギ
フトオブジェクトを前記動画上に表示させる」ものである。
第38の態様による配信ユーザの端末装置は、「配信ユーザの動作に基づく前記配信ユ
ーザのアバターオブジェクトのアニメーションを含む動画を生成するための情報を、前記
動画を生成するサーバ装置又は視聴ユーザの端末装置へ送信し、前記動画を視聴する前記
視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフト
オブジェクトを付与することを要求する要求信号を、サーバ装置又は前記視聴ユーザの端
末装置から通信回線を介して受信し、前記要求信号に基づいて前記アバターオブジェクト
に対して付与された前記第1のギフトオブジェクトに関する情報を、前記第1のギフトオ
ブジェクトを前記動画上に表示させる前記サーバ装置又は前記視聴ユーザの端末装置へ送
信し、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1
のギフトオブジェクトに対して前記アバターオブジェクトが所定アクションを実行したと
判定された場合に、前記所定アクションを実行された前記第1のギフトオブジェクトとは
異なる第2のギフトオブジェクトに関する情報を、前記第2のギフトオブジェクトを前記
動画上に表示させる前記サーバ装置又は前記視聴ユーザの端末装置へ送信する」ものであ
る。
第39の態様による視聴ユーザの端末装置は、「1又は複数のプロセッサに実行される
ことにより、配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメ
ーションを含む動画を生成するために、当該動画に関する情報をサーバ装置又は前記配信
ユーザの端末装置から受信し、前記動画を視聴する視聴ユーザの操作に基づいて生成され
、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求す
る要求信号を、通信回線を介して発信し、前記要求信号に基づいて前記アバターオブジェ
クトに対して付与された前記第1のギフトオブジェクトを前記動画上に表示させるために
、前記第1のギフトオブジェクトに関する情報を前記サーバ装置又は前記配信ユーザの端
末装置から受信し、前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複
数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが所定アクション
を実行したと前記配信サーバの端末装置によって判定された場合に、前記所定アクション
を実行された前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記
動画上に表示させるために、前記第2のギフトオブジェクトに関する情報を前記サーバ装
置又は前記配信ユーザの端末装置から受信する」ものである。
第40の態様による視聴ユーザの端末装置は、「配信ユーザの動作に基づく前記配信ユ
ーザのアバターオブジェクトのアニメーションを含む動画を、サーバ装置又は前記配信ユ
ーザの端末装置から受信し、前記動画を視聴する視聴ユーザの操作に基づいて生成され、
前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する
要求信号を、通信回線を介して発信し、前記要求信号に基づいて前記アバターオブジェク
トに対して付与された前記第1のギフトオブジェクトを表示させた前記動画を、前記サー
バ装置又は前記配信ユーザの端末装置から受信し、前記配信ユーザの動作に基づいて、前
記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバター
オブジェクトが所定アクションを実行したと前記配信サーバの端末装置によって判定され
た場合に、前記所定アクションを実行された前記第1のギフトオブジェクトとは異なる第
2のギフトオブジェクトを表示させた前記動画を、前記サーバ装置又は前記配信ユーザの
端末装置から受信する」ものである。
7.本件出願に開示された技術が適用される分野
本件出願に開示された技術は、例えば、次のような分野において適用することが可能な
ものである。
(1)アバターオブジェクトが登場するライブ動画を配信するアプリケーション・サー
ビス
(2)文字及びアバターオブジェクトを用いてコミュニケーションすることができるア
プリケーション・サービス(チャットアプリケーション、メッセンジャー、メールアプリ
ケーション等)
1 動画配信システム
10(10A~10D) 端末装置
20 サーバ装置
20A ギフトAPIサーバ装置
20B 情報処理サーバ装置
20C 配信サーバ装置
20D コメントAPIサーバ装置
100 動画生成部
110 表示部
120 判定部
130 記憶部
140 ユーザインタフェイス部
150 ギフト記憶部
160 通信部
400 アバターオブジェクト
410A、410B 第1のギフトオブジェクト
411A、411B 第1コリジョン領域
420、430 第2のギフトオブジェクト
500 エフェクトオブジェクト

Claims (23)

  1. コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される動画処理方法であって、
    配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成する生成工程と、
    前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信する受信工程と、
    前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記動画上に表示させる第1表示工程と、
    前記第1のギフトオブジェクトに関する情報に基づいて、所定アクションの実行を誘導するコメント情報を作成するコメント情報作成工程と、
    前記コメント情報を前記動画上に表示させるコメント情報表示工程と、
    前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させる第2表示工程と
    を含む動画処理方法。
  2. 前記所定アクションは、前記配信ユーザの動作に基づいて、前記アバターオブジェクトが前記第1のギフトオブジェクトを特定位置に移動させるアクション、又は、前記配信ユーザの動作に基づいて、前記アバターオブジェクトが少なくとも1つの前記第1のギフトオブジェクトを、別の前記第1のギフトオブジェクトに接触させるアクションである、請求項1に記載の動画処理方法。
  3. 前記所定アクションは、前記アバターオブジェクトが前記第1のギフトオブジェクトを把持していると判定されている場合に実行可能とされ、
    前記第1のギフトオブジェクトに設定される第1コリジョン領域と、前記アバターオブジェクトの手に設定される第2コリジョン領域とが、前記動画内で少なくとも一部において重なりあうと判断され、且つ前記アバターオブジェクトの手又は指が曲がっていると判断される場合に、前記アバターオブジェクトが前記第1のギフトオブジェクトを把持していると判定される、請求項1又は2に記載の動画処理方法。
  4. 前記動画上に表示される前記第2のギフトオブジェクトは、前記所定アクションが実行された前記第1のギフトオブジェクトの種類に予め関連付けられている、請求項1乃至3のいずれか一項に記載の動画処理方法。
  5. 前記動画上に表示される前記第2のギフトオブジェクトは、前記所定アクションの種類に予め関連付けられている、請求項1乃至4のいずれか一項に記載の動画処理方法。
  6. 前記動画上に表示される前記第2のギフトオブジェクトは、前記所定アクションが実行された前記第1のギフトオブジェクトの数に予め関連付けられている、請求項1乃至5のいずれか一項に記載の動画処理方法。
  7. 前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを実行したと判定された場合に、前記所定アクションを実行された前記第1のギフトオブジェクトを前記動画上から消去させたうえで、前記第2のギフトオブジェクトを前記動画上に表示させる請求項1乃至6のいずれか一項に記載の動画処理方法。
  8. 前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを実行したと判定された場合に、前記所定アクションを実行された前記第1のギフトオブジェクトを時間経過とともに前記第2のギフトオブジェクトに変化させて、前記第2のギフトオブジェクトを前記動画上に表示させる、請求項1乃至6のいずれか一項に記載の動画処理方法。
  9. 前記第2表示工程は、前記アバターオブジェクトが前記所定アクションを実行したと判定された場合に、前記所定アクションを実行された複数の前記第1のギフトオブジェクトのうち少なくとも1つの前記第1のギフトオブジェクトを前記動画上から消去させ、且つ他の少なくとも1つの前記第1のギフトオブジェクトを時間経過とともに前記第2のギフトオブジェクトに変化させる、請求項1乃至6のいずれか一項に記載の動画処理方法。
  10. 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項1乃至9のいずれか一項に記載の動画処理方法。
  11. 前記通信回線がインターネットを含む、請求項1乃至10のいずれか一項に記載の動画処理方法。
  12. 1又は複数のプロセッサを具備し、
    該プロセッサが、
    配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成し、
    前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信し、
    前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記動画上に表示させ、
    前記第1のギフトオブジェクトに関する情報に基づいて、所定アクションの実行を誘導するコメント情報を作成し、
    前記コメント情報を前記動画上に表示させ、
    前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと前記配信ユーザの端末装置によって判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させる、サーバ装置。
  13. 1又は複数のプロセッサを具備し、
    該プロセッサが、
    配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成するための情報を、前記動画を生成する前記配信ユーザの端末装置又は視聴ユーザの端末装置へ送信し、
    前記動画を視聴する前記視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信し、
    前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトに関する情報を、前記第1のギフトオブジェクトを前記動画上に表示させる前記配信ユーザの端末装置又は前記視聴ユーザの端末装置へ送信し、
    前記第1のギフトオブジェクトに関する情報に基づいて作成され且つ所定アクションの実行を誘導するコメント情報を、前記コメント情報を前記動画上に表示させる前記配信ユーザの端末装置又は前記視聴ユーザの端末装置へ送信し、
    前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと前記配信ユーザの端末装置によって判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトに関する情報を、前記第2のギフトオブジェクトを前記動画上に表示させる前記配信ユーザの端末装置又は前記視聴ユーザの端末装置へ送信する、サーバ装置。
  14. 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項12又13に記載のサーバ装置。
  15. 前記通信回線がインターネットを含む、請求項12乃14のいずれか一項に記載のサーバ装置。
  16. 1又は複数のプロセッサに実行されることにより、
    配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成し、
    前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、サーバ装置又は前記視聴ユーザの端末装置から通信回線を介して受信し、
    前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを、前記動画上に表示させ、
    前記第1のギフトオブジェクトに関する情報に基づいて、所定アクションの実行を誘導するコメント情報を作成し、
    前記コメント情報を前記動画上に表示させ、
    前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させ
    ように前記プロセッサを機能させるコンピュータプログラム。
  17. 1又は複数のプロセッサに実行されることにより、
    配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成するための情報を、前記動画を生成するサーバ装置又は視聴ユーザの端末装置へ送信し、
    前記動画を視聴する前記視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、サーバ装置又は前記視聴ユーザの端末装置から通信回線を介して受信し、
    前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトに関する情報を、前記第1のギフトオブジェクトを前記動画上に表示させる前記サーバ装置又は前記視聴ユーザの端末装置へ送信し、
    前記第1のギフトオブジェクトに関する情報に基づいて作成され且つ所定アクションの実行を誘導するコメント情報を、前記コメント情報を前記動画上に表示させる前記サーバ装置又は前記視聴ユーザの端末装置へ送信し、
    前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトに関する情報を、前記第2のギフトオブジェクトを前記動画上に表示させる前記サーバ装置又は前記視聴ユーザの端末装置へ送信する、
    ように前記プロセッサを機能させるコンピュータプログラム。
  18. 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項16又17に記載のコンピュータプログラム。
  19. 前記通信回線がインターネットを含む、請求項16乃18のいずれか一項に記載のコンピュータプログラム。
  20. 1又は複数のプロセッサに実行されることにより、
    配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成するために、当該動画に関する情報をサーバ装置又は前記配信ユーザの端末装置から受信し、
    前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、通信回線を介して発信し、
    前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを前記動画上に表示させるために、前記第1のギフトオブジェクトに関する情報を前記サーバ装置又は前記配信ユーザの端末装置から受信し、
    前記第1のギフトオブジェクトに関する情報に基づいて作成され且つ所定アクションの実行を誘導するコメント情報を前記動画上に表示させるために、前記コメント情報を前記サーバ装置又は前記視聴ユーザの端末装置から受信し、
    前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと前記配信ユーザの端末装置によって判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを前記動画上に表示させるために、前記第2のギフトオブジェクトに関する情報を前記サーバ装置又は前記配信ユーザの端末装置から受信する、
    ように前記プロセッサを機能させるコンピュータプログラム。
  21. 1又は複数のプロセッサに実行されることにより、
    配信ユーザの動作に基づく前記配信ユーザのアバターオブジェクトのアニメーションを含む動画を、サーバ装置又は前記配信ユーザの端末装置から受信し、
    前記動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトに対して第1のギフトオブジェクトを付与することを要求する要求信号を、通信回線を介して発信し、
    前記要求信号に基づいて前記アバターオブジェクトに対して付与された前記第1のギフトオブジェクトを表示させた前記動画を、前記サーバ装置又は前記配信ユーザの端末装置から受信し、
    前記第1のギフトオブジェクトに関する情報に基づいて作成され且つ所定アクションの実行を誘導するコメント情報を表示させた前記動画を、前記サーバ装置又は前記視聴ユーザの端末装置から受信し、
    前記動画上に表示されるコメント情報及び前記配信ユーザの動作に基づいて、前記動画上に表示された1又は複数の前記第1のギフトオブジェクトに対して前記アバターオブジェクトが前記所定アクションを実行したと前記配信ユーザの端末装置によって判定された場合に、前記第1のギフトオブジェクトとは異なる第2のギフトオブジェクトを表示させた前記動画を、前記サーバ装置又は前記配信ユーザの端末装置から受信する、
    ように前記プロセッサを機能させるコンピュータプログラム。
  22. 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項20又21に記載のコンピュータプログラム。
  23. 前記通信回線がインターネットを含む、請求項20乃22のいずれか一項に記載のコンピュータプログラム。
JP2020136660A 2019-10-31 2020-08-13 動画処理方法、サーバ装置及びコンピュータプログラム Active JP7133590B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020136660A JP7133590B2 (ja) 2020-08-13 2020-08-13 動画処理方法、サーバ装置及びコンピュータプログラム
US17/016,131 US11682154B2 (en) 2019-10-31 2020-09-09 Moving image processing method of a moving image viewed by a viewing user, a server device controlling the moving image, and a computer program thereof
JP2022101777A JP7430353B2 (ja) 2020-08-13 2022-06-24 動画処理方法、サーバ装置及びコンピュータプログラム
US18/298,309 US20230245369A1 (en) 2019-10-31 2023-04-10 Moving image processing method of a moving image viewed by a viewing user, a server device controlling the moving image, and a computer program thereof
JP2024008210A JP2024040211A (ja) 2020-08-13 2024-01-23 動画処理方法、サーバ装置及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020136660A JP7133590B2 (ja) 2020-08-13 2020-08-13 動画処理方法、サーバ装置及びコンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019198441A Division JP6751193B1 (ja) 2019-10-31 2019-10-31 動画処理方法、サーバ装置及びコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022101777A Division JP7430353B2 (ja) 2020-08-13 2022-06-24 動画処理方法、サーバ装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2021072096A JP2021072096A (ja) 2021-05-06
JP7133590B2 true JP7133590B2 (ja) 2022-09-08

Family

ID=75713325

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020136660A Active JP7133590B2 (ja) 2019-10-31 2020-08-13 動画処理方法、サーバ装置及びコンピュータプログラム
JP2022101777A Active JP7430353B2 (ja) 2020-08-13 2022-06-24 動画処理方法、サーバ装置及びコンピュータプログラム
JP2024008210A Pending JP2024040211A (ja) 2020-08-13 2024-01-23 動画処理方法、サーバ装置及びコンピュータプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022101777A Active JP7430353B2 (ja) 2020-08-13 2022-06-24 動画処理方法、サーバ装置及びコンピュータプログラム
JP2024008210A Pending JP2024040211A (ja) 2020-08-13 2024-01-23 動画処理方法、サーバ装置及びコンピュータプログラム

Country Status (1)

Country Link
JP (3) JP7133590B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7223241B1 (ja) 2022-07-13 2023-02-16 株式会社Mixi 情報処理装置、情報処理方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6431233B1 (ja) 2018-05-08 2018-11-28 グリー株式会社 視聴ユーザからのメッセージを含む動画を配信する動画配信システム
JP2019008751A (ja) 2017-06-28 2019-01-17 株式会社コロプラ 情報処理方法、プログラム及び情報処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018142494A1 (ja) 2017-01-31 2018-08-09 株式会社 ニコン 表示制御システム、及び、表示制御方法
JP7038482B2 (ja) 2017-03-31 2022-03-18 株式会社バンダイナムコエンターテインメント コンピュータシステム、ゲームシステム及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019008751A (ja) 2017-06-28 2019-01-17 株式会社コロプラ 情報処理方法、プログラム及び情報処理装置
JP6431233B1 (ja) 2018-05-08 2018-11-28 グリー株式会社 視聴ユーザからのメッセージを含む動画を配信する動画配信システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
すずかけの民,物体が当たった時だけアバタが勝手に動く研究をしてます(物理エンジン使用)3月8日もインタラクション20,[オンライン],twitter,2019年03月07日,https://twitter.com/suzukake0/status/1103634455103565824
野澤 慧,CASE 01 バーチャルキャスト バーチャルキャラクターでコミュニケーション,CG WORLD,日本,株式会社ボーンデジタル,2018年09月01日,第241巻,pp.046~051

Also Published As

Publication number Publication date
JP7430353B2 (ja) 2024-02-13
JP2022132299A (ja) 2022-09-08
JP2024040211A (ja) 2024-03-25
JP2021072096A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
US11948260B1 (en) Streaming mixed-reality environments between multiple devices
US10713834B2 (en) information processing apparatus and method
JP2024040211A (ja) 動画処理方法、サーバ装置及びコンピュータプログラム
JP7117890B2 (ja) プログラム、情報処理装置、および方法
JP2023090719A (ja) プログラム
JP6751193B1 (ja) 動画処理方法、サーバ装置及びコンピュータプログラム
JP6691631B1 (ja) 動画処理方法、サーバ装置及びコンピュータプログラム
JP2024028853A (ja) 動画処理方法、サーバ装置及びコンピュータプログラム
JP7278442B2 (ja) プログラム、情報処理装置、および方法
US11682154B2 (en) Moving image processing method of a moving image viewed by a viewing user, a server device controlling the moving image, and a computer program thereof
JP7133465B2 (ja) 動画配信システム、動画配信方法および動画配信プログラム
JP7117889B2 (ja) プログラム、情報処理装置、および方法
JP6718933B2 (ja) プログラム、情報処理装置、および方法
JP7157551B2 (ja) プログラム、情報処理装置、および方法
US20220203239A1 (en) Video processing method, server device, and computer program
JP7114326B2 (ja) プログラム、情報処理装置、および方法
JP2023100732A (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
TWM592332U (zh) 一種擴增實境多螢幕陣列整合系統
JP2019192172A (ja) プログラム、情報処理装置、および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211111

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220329

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220624

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220624

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220705

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220829

R150 Certificate of patent or registration of utility model

Ref document number: 7133590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150