JP2024074885A - 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム - Google Patents
動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム Download PDFInfo
- Publication number
- JP2024074885A JP2024074885A JP2024059341A JP2024059341A JP2024074885A JP 2024074885 A JP2024074885 A JP 2024074885A JP 2024059341 A JP2024059341 A JP 2024059341A JP 2024059341 A JP2024059341 A JP 2024059341A JP 2024074885 A JP2024074885 A JP 2024074885A
- Authority
- JP
- Japan
- Prior art keywords
- video
- user
- gift
- objects
- user device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009826 distribution Methods 0.000 title abstract description 53
- 238000007726 management method Methods 0.000 title description 37
- 238000000034 method Methods 0.000 title description 27
- 230000033001 locomotion Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 15
- 238000009877 rendering Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
【課題】 表示要求されたオブジェクトの描画機能に対するユーザの満足度を高める。【解決手段】 動画配信システム11は、動画を視聴するユーザの操作に基づきオブジェクトの表示要求を当該オブジェクトの識別情報とともにユーザが用いる端末から受信する表示要求受信部と、表示要求の対象であるオブジェクトが属するグループを判定するグループ判定部と、オブジェクトの識別情報を、判定されたグループに対応する待機列に追加する管理部と、グループに対応する複数の描画位置のうち、描画位置の各々に割り振られた順番に従って、待機列の先頭のオブジェクトを描画すべき描画位置を判定する判定部と、判定部が判定した描画位置に、オブジェクトをレンダリングする実行部と、を備える。【選択図】図1
Description
特許法第30条第2項適用申請有り 令和1年9月27日から令和2年3月27日まで、株式会社Wright Flyer Live Entertainmentは、https://le.wrightflyer.net/reality のウェブサイトにおいてアクセスが可能な各ダウンロードサイトでダウンロードが可能であって、株式会社Wright Flyer Live Entertainmentが提供するVtuber専用ライブ視聴・配信アプリ「REALITY」において、倉淵彩が発明した「動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム」について公開した。
特許法第30条第2項適用申請有り 令和1年9月27日に、株式会社Wright Flyer Live Entertainmentは、https://reality-notice.wrightflyer.net/990dc70f33a15f590a5817122b2ba35fa45eble4.html?t=1569403540 のウェブサイトにおいて、倉淵彩が発明した「動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム」について公開した。
特許法第30条第2項適用申請有り 令和1年9月27日に、株式会社Wright Flyer Live Entertainmentは、https://twitter.com/WFLE_REALITY およびhttps://twitter.com/WFLE_REALITY/status/1177448279027724288?s=20 のウェブサイトにおいて、倉淵彩が発明した「動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム」について公開した。
本発明は、動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システムに関する。
従来から、ユーザの動きに基づくアバターオブジェクトのアニメーションを含む動画を配信する動画配信システムが知られている(例えば、特許文献1参照)。
この種の動画配信システムにおいて、動画を視聴する視聴ユーザから送信される表示要求に応じて、任意のオブジェクトを動画に表示させる機能が提案されている。任意のオブジェクトには、視聴ユーザからアバターオブジェクト(又は動画を配信する配信ユーザ)に対して贈られるギフトオブジェクトが含まれる。
この種の動画配信システムにおいて、動画を視聴する視聴ユーザから送信される表示要求に応じて、任意のオブジェクトを動画に表示させる機能が提案されている。任意のオブジェクトには、視聴ユーザからアバターオブジェクト(又は動画を配信する配信ユーザ)に対して贈られるギフトオブジェクトが含まれる。
ギフトオブジェクトの表示位置は、ギフトオブジェクトの種類に応じて決まっていることが多い。例えば図16に示すように、ギフトオブジェクト1~3は、第1領域4,第2領域5,第3領域6にそれぞれ表示されることが予め決められている。図17に示すように、視聴ユーザからギフトオブジェクト1の表示要求が多数行われると、第1領域4内で一方のギフトオブジェクト1が他方のギフトオブジェクト1によって隠されたり、ギフトオブジェクト1が表示された直後に非表示になったりする等、ギフトオブジェクトが見難い状態や目立たない状態で表示されてしまう可能性がある。このように、ギフトオブジェクトが、視聴ユーザが意図しない状態で動画に表示されてしまうと、ギフトを贈ることに対する視聴ユーザの満足度が低くなることがあった。また、配信ユーザにおいても、視聴ユーザから贈られたギフトオブジェクトが見難い状態や目立たない状態で表示されてしまうと、動画配信システムの機能に対する満足度が低くなる可能性がある。
本発明は、上記実情に鑑みてなされたものであり、表示要求されたオブジェクトの描画機能に対するユーザの満足度を高めることを目的とする。
上記課題を解決する動画用アプリケーションプログラムは、コンピュータを、動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの識別情報を受信する受信部と、受信した前記識別情報に基づき、前記オブジェクトが属するグループに対応する複数の描画位置のうち、前記描画位置の各々に割り振られた順番に従って、前記オブジェクトを描画すべき描画位置を判定する判定部と、前記判定部が判定した描画位置に前記オブジェクトをレンダリングする実行部として機能させる。
上記課題を解決する動画のオブジェクト描画方法は、コンピュータが、動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの識別情報を受信する受信ステップと、受信した前記識別情報に基づき、前記オブジェクトが属するグループに対応する複数の描画位置のうち、前記描画位置の各々に割り振られた順番に従って、前記オブジェクトを描画すべき描画位置を判定する判定ステップと、前記判定部が判定した描画位置に前記オブジェクトをレンダリングする実行ステップと、を実行する。
上記課題を解決する動画管理プログラムは、コンピュータを、動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの表示要求及び前記表示要求の対象の前記オブジェクトの識別情報を受信する要求受信部と、動画を視聴するユーザの操作に基づくオブジェクトの識別情報及び前記オブジェクトの表示要求を受け付けて、前記オブジェクトが属するグループを判定するグループ判定部と、前記オブジェクトの識別情報を、判定された前記グループに対応する待機列に追加する管理部と、前記待機列に含まれる前記オブジェクトの識別情報を、前記動画を配信する第2ユーザが用いる第2ユーザ装置に送信する送信部として機能させる。
上記課題を解決する動画管理方法は、コンピュータが、動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの表示要求及び前記表示要求の対象の前記オブジェクトの識別情報を受信する要求受信ステップと、動画を視聴するユーザの操作に基づくオブジェクトの識別情報及び前記オブジェクトの表示要求を受け付けて、前記オブジェクトが属するグループを判定するグループ判定ステップと、前記オブジェクトの識別情報を、判定された前記グループに対応する待機列に追加する管理ステップと、前記待機列に含まれる前記オブジェクトの表示要求を、前記動画を配信する第2ユーザが用いる第2ユーザ装置に送信する送信ステップと、を実行する。
上記課題を解決するサーバは、動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの表示要求及び前記表示要求の対象の前記オブジェクトの識別情報を受信する要求受信部と、動画を視聴するユーザの操作に基づくオブジェクトの識別情報及び前記オブジェクトの表示要求を受け付けて、前記オブジェクトが属するグループを判定するグループ判定部と、前記オブジェクトの識別情報を、判定された前記グループに対応する待機列に追加する管理部と、前記待機列に含まれる前記オブジェクトの表示要求を、前記動画を配信する第2ユーザが用いる第2ユーザ装置に送信する送信部と、を備える。
上記課題を解決する動画配信システムは、動画を視聴するユーザの操作に基づきオブジェクトの表示要求を当該オブジェクトの識別情報とともに前記ユーザが用いる端末から受信する表示要求受信部と、前記表示要求の対象である前記オブジェクトが属するグループを判定するグループ判定部と、前記オブジェクトの識別情報を、判定された前記グループに対応する待機列に追加する管理部と、前記グループに対応する複数の描画位置のうち、前記描画位置の各々に割り振られた順番に従って、前記待機列の先頭のオブジェクトを描画すべき描画位置を判定する判定部と、前記判定部が判定した描画位置に、前記オブジェクトをレンダリングする実行部と、を備える。
本発明によれば、表示要求されたオブジェクトの描画機能に対するユーザの満足度を高めることができる。
以下、図面を参照して動画配信システムの一実施形態について説明する。
図1に示すように、動画配信システム11は、ユーザ装置12とサーバ13とを備える。動画配信システム11は、複数のユーザ装置12とサーバ13との間でネットワーク14を介してデータを送受信することによりユーザ装置12に動画を表示するシステムである。ユーザ装置12には、動画を視聴及び配信するための動画アプリケーションプログラムがインストールされている。以下、動画を配信するユーザを「配信ユーザ」、配信ユーザによって配信された動画を視聴するユーザを「視聴ユーザ」といい、これらを区別しない場合には単に「ユーザ」という。
図1に示すように、動画配信システム11は、ユーザ装置12とサーバ13とを備える。動画配信システム11は、複数のユーザ装置12とサーバ13との間でネットワーク14を介してデータを送受信することによりユーザ装置12に動画を表示するシステムである。ユーザ装置12には、動画を視聴及び配信するための動画アプリケーションプログラムがインストールされている。以下、動画を配信するユーザを「配信ユーザ」、配信ユーザによって配信された動画を視聴するユーザを「視聴ユーザ」といい、これらを区別しない場合には単に「ユーザ」という。
ユーザ装置12は、スマートフォン(多機能電話端末)、タブレット端末、パーソナルコンピュータ、コンソールゲーム機、ヘッドマウントディスプレイ等のウェアラブルコンピュータ、及びこれらの装置以外の動画を再生可能な情報処理装置である。
ユーザ装置12は、コンピュータプロセッサ20、メモリ21、ストレージ22(記憶媒体)、通信インターフェース(I/F)23を備える。コンピュータプロセッサ20は、ストレージ22又はそれ以外のストレージからオペレーティングシステムやその他のプログラムをメモリ21にロードし、メモリ21から取り出した命令を実行する演算装置である。コンピュータプロセッサ20は、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)、NPU(Neural network Processing Unit)等の1乃至複数の演算回路である。通信I/F23は、ネットワーク14を介して、サーバ13及び他のユーザ装置12とデータを送受信することができる。ネットワーク14は、ローカルエリアネットワーク、インターネット等、各種のネットワークを含む。通信I/F23は、ハードウェア、ソフトウェア、又はこれらの組み合わせとして実装される。
メモリ21は、コンピュータプロセッサ20が直接的に読み出し及び書き込みが可能な主記憶装置(記録媒体)であり、半導体メモリ等から構成される。ストレージ22は、補助記憶装置(記録媒体)であり、例えば、磁気ディスク、光ディスク、半導体メモリ等の記憶媒体である。ストレージ22は、複数のストレージを組み合わせて用いることもできる。ストレージ22には、動画アプリケーションプログラム22A、アバターオブジェクトを描画するためのアバターデータ22B、オブジェクト情報22Cが格納されている。
動画アプリケーションプログラム22Aは、ユーザの指示に応じて、ユーザ自身が動画を配信する配信モードと、他の配信ユーザが配信する動画を視聴する視聴モードとに切り替えられる。
アバターデータ22Bは、アバターオブジェクトを描画するための3次元モデルデータである。ユーザ装置12は、アバターデータ22Bを、動画アプリケーションプログラム22Aを起動した場合等、サーバ13から所定のタイミングで取得する。アバターデータは、アバターオブジェクト本体を描画するためのデータ、アバターオブジェクト本体に適用されるテクスチャデータ等を含んでいる。アバターオブジェクト本体を描画するためのデータには、ポリゴンデータ、アバターオブジェクトの動作を表現するための骨格データ(ボーン)等が含まれる。アバターデータ22Bは、複数体のアバターオブジェクト本体を描画するためのデータを含んでいてもよい。テクスチャデータには、アバターオブジェクトに対して適用可能な複数のパーツデータが含まれている。例えば「目」、「眉」、「耳」、「服」等のカテゴリ毎に複数のパーツデータが準備されている。ユーザは、パーツデータを選択し、アバターオブジェクト本体に適用して、アバターオブジェクトを作成する。ユーザによって選択されたアバターオブジェクト本体とパーツデータとの組み合わせは、ストレージ22に記録される。
オブジェクト情報22Cは、所定のタイミングでサーバ13からダウンロードされるデータである。オブジェクト情報22Cは、アバターオブジェクト以外のオブジェクトに関する情報である。アバターオブジェクト以外のオブジェクトは、ユーザの利用形態によって区別される。具体的には、配信ユーザが表示させることのできるオブジェクトのほか、視聴ユーザから配信ユーザに提供されるギフトオブジェクトが含まれる。ギフトオブジェクトには、エフェクトオブジェクトと、装着オブジェクトと、通常オブジェクトとが含まれる。エフェクトオブジェクトは、配信動画の視聴画面全体の印象に影響を与えるオブジェクトであり、例えば紙吹雪を模したオブジェクトや、花火を模したオブジェクト等である。装着オブジェクトは、アバターオブジェクトの特定の部位と関連付けて表示画面に表示されるオブジェクトである。装着オブジェクトは、例えば、装着オブジェクトに装着されるアクセサリー(帽子、めがね等)、衣服(Tシャツなど)、コスチューム、及びこれら以外のアバターオブジェクトに装着可能なオブジェクトである。装着オブジェクトは、視聴ユーザから提供された後、配信ユーザに選択されることによってアバターオブジェクトに装着される。通常オブジェクトは、仮想空間内に物体として配置される装着オブジェクト以外のギフトオブジェクトであって、例えばぬいぐるみや花束を模したオブジェクトである。
また、オブジェクトは、物理的挙動を行うオブジェクトであってもよい。具体的には、オブジェクトは、重力による落下、力の付与による運動等といった物理的挙動をシミュレーションするものであってもよい。物理挙動オブジェクトには、物理的挙動をシミュレーションするためのコンポーネント(プログラム)が、実行可能に関連付けられている。
また、ユーザ装置12は、センサユニット24、スピーカ25、マイク26、操作部27、ディスプレイ28を備える。センサユニット24、スピーカ25、マイク26、操作部27及びディスプレイ28の少なくとも一つは、コンピュータプロセッサ20と同じ装置として設けられていてもよく、コンピュータプロセッサ20を備える装置に接続するかたちで設けられていてもよい。
センサユニット24は、ユーザの表情の変化を示すフェイスモーション、及びセンサユニット24に対するユーザの身体の相対位置の変化を示すボディモーションを検出するセンサ群である。フェイスモーションは、瞬きや口の開閉等の動きを含む。例えば、センサユニット24は、ユーザに向かって赤外線を射出する射出部及びユーザの顔等に反射した赤外線を検出する赤外線カメラと、ユーザの顔を撮影するカメラ及びカメラが撮影したデータを画像処理する画像処理部との少なくとも一方を有する。又は、センサユニット24は、これ以外のセンサであってもよいし、例えば、加速度センサやジャイロセンサ等といった上記のセンサ以外のセンサをさらに組み合わせてもよい。以下、フェイスモーションの検出データ、及びボディモーションの検出データを「モーションデータ」という。
スピーカ25は、音声データを音声に変換して出力する。マイク26は、ユーザが発話した音声を入力し、音声データに変換する。操作部27は、ディスプレイ28と一体化されたタッチパネルや、ユーザ装置12の筐体等に設けられた操作ボタン、キーボード、マウス、コントローラ等である。ディスプレイ28は、コンピュータプロセッサ20の出力指示に応じて、各種画像を出力する。
コンピュータプロセッサ20は、ストレージ22に記憶された動画アプリケーションプログラム22Aを実行することにより、アプリケーション管理部20A、モーションデータ生成部20B、表示制御部20Cとして機能する。アプリケーション管理部20Aは、動画アプリケーションプログラムを管理する。アプリケーション管理部20Aは、操作部27を通じて入力されたユーザの要求又はサーバ13からの要求等を入力して、それらの要求の内容に応じて、モーションデータ生成部20B又は表示制御部20Cへ要求を出力する。また、アプリケーション管理部20Aは、モーションデータ生成部20B及び表示制御部20Cからの要求や各種データをサーバ13へ送信したり、サーバ13から受信した各種データをストレージ22に記録したりする。
モーションデータ生成部20Bは、センサユニット24からモーションデータを取得する。また、モーションデータ生成部20Bは、取得した検出データをサーバ13に送信する。
表示制御部20Cは、配信モードにおいて、アバターデータ22Bにモーションデータを適用して、配信ユーザの動きに合わせて動作するアバターオブジェクトを含むアニメーションを生成する。また、表示制御部20Cは、アバターオブジェクト、アバターオブジェクト以外のオブジェクトを含めてレンダリングを行う。ここでいうレンダリングは、仮想カメラの位置の取得、透視投影、隠面消去(ラスタ化)等が含まれる描画処理をいう。レンダリングは、これらのうち少なくとも一つの処理であってもよいし、シェーディング、テクスチャマッピング等の処理を含んでいてもよい。また、表示制御部20Cは、レンダリングされた画像を用いてアニメーションを生成する。そして、視聴ユーザのユーザ装置12から送信された投稿メッセージ、又はサーバ13から送信された通知等とを合成した(重畳した)動画データをディスプレイ28に出力する。
さらに、表示制御部20Cは、マイク26から入力した音声データと動画データとを同期させて、ディスプレイ28に出力する。さらに、表示制御部20Cは、動画データ及び音声データをエンコードする。アプリケーション管理部20Aは、エンコードしたデータをサーバ13に送信する。
また、表示制御部20Cは、視聴モードにおいて、サーバ13からエンコードされた動画データ及び音声データを受信する。また、表示制御部20Cは、受信したデータをデコードし、動画データと音声データとを同期させてディスプレイ28及びスピーカ25に出力する。
次にサーバ13について説明する。サーバ13は、動画を配信するためのサービスを提供するサービス提供者等が用いるものである。サーバ13は、コンピュータプロセッサ30と、メモリ31と、ストレージ32と、通信I/F33とを備えている。コンピュータプロセッサ30は、ユーザ装置12のコンピュータプロセッサ20と同様な構成である。コンピュータプロセッサ30は、複数の演算回路を組み合わせて構成されていてもよい。また、メモリ31、ストレージ32、通信I/F33は、ユーザ装置12と同様な構成である。サーバ13は複数の装置から構成されていてもよく、コンピュータプロセッサ30、メモリ31、ストレージ32、通信I/F33はそれらの装置に分散されて設けられていてもよい。
ストレージ32には、配信プログラム32Aが格納されている。コンピュータプロセッサ20は、配信プログラム32Aを実行することにより、配信管理部30A、購入処理部30Bとして機能する。配信プログラム32Aは動画管理プログラムに対応する。
配信管理部30Aは、ユーザ装置12から受信した各種データをストレージ32に記憶するとともに、ユーザ装置12から受信した購入要求等に基づき、購入処理部30Bに要求を出力する。さらに、配信管理部30Aは、ユーザ装置12から要求されたデータをストレージ32等から取得してユーザ装置12に送信する。具体的には、配信管理部30Aは、ユーザ装置12からの要求に応じて、配信中の動画のリストを送信する。配信管理部30Aは、リストの中からリクエストされた動画の識別情報をユーザ装置12から受信すると、配信要求を、リクエストされた動画の配信ユーザが用いるユーザ装置に対して送信する。また、配信管理部30Aは、配信中の動画に対して視聴ユーザから投稿された投稿メッセージ等を受信する。さらに配信管理部30Aは、受信した投稿メッセージを、配信ユーザのユーザ装置12及び視聴ユーザのユーザ装置12に送信する。投稿メッセージには、メッセージの内容の他、視聴ユーザの識別情報(ユーザのアカウント名等)、投稿日時等が含まれる。また、投稿メッセージとともに、「ユーザAさん入室しました」の通知メッセージも表示される。
配信管理部30Aは、動画を視聴する視聴ユーザが用いるユーザ装置12から、視聴中の動画へのオブジェクトの表示要求を受信する。表示要求が行われるオブジェクトは仮想空間内に表示されるオブジェクトであって、視聴ユーザから、動画を配信する配信ユーザに提供されるギフトオブジェクト、動画を好評価する評価オブジェクト、配信ユーザを応援するための応援オブジェクト等を含む。ギフトオブジェクトは、対価を支払わずに表示要求を行うことのできるものであってもよく、対価を払うことによって表示要求を行うものであってもよい。又は、ギフトオブジェクトは、表示要求に応じて表示がなされた場合に対価を支払うものであってもよい。配信管理部30Aは、ギフトオブジェクトの表示要求を、ギフトオブジェクトの識別情報とともに配信ユーザのユーザ装置12に送信する。サーバ13は、ギフトオブジェクトの表示要求がサーバ13によって受け付けられたとき、又は表示要求に対する配信ユーザによる所定の操作がなされたとき等、所定のタイミングで、「ユーザBさんが花火を贈りました」等の通知メッセージを配信ユーザのユーザ装置12及び視聴ユーザのユーザ装置12に送信する。
購入処理部30Bは、ユーザの操作にしたがって、オブジェクトの購入処理を行う。購入処理には、動画アプリケーションプログラム内で利用可能なコイン、ポイント、チケット等の対価(媒体)を支払ってオブジェクトを入手する購入が含まれる。また、購入処理には、オブジェクトの交換、売却、譲渡の処理を含めてもよい。また、購入処理部30Bは、対価が支払われることにより、複数のオブジェクトの中から所定数のオブジェクトが選択される抽選(ガチャ)を実行するようにしてもよい。購入処理部30Bは、購入されたオブジェクトを、ユーザによって保有されるものとしてユーザ装置12又はサーバ13に記録する。購入可能なオブジェクトの売上は、例えば配信ユーザ及びサービス提供者に分配される。
次に、サーバ13のストレージ32に格納された各種のデータについて説明する。ストレージ32には、ユーザ管理情報32B、アバターデータ32C、オブジェクト情報32Dが格納されている。
ユーザ管理情報32Bは、動画アプリケーションプログラムを用いるユーザに関する情報である。アバターデータ32Cは、アバターオブジェクトを描画するためのマスターとなるデータであって、ユーザ装置12の要求に応じて、ユーザ装置12に送信される。
オブジェクト情報32Dは、ギフトオブジェクトを描画するためのマスターとなるデータであって、ユーザ装置12の要求に応じて、ユーザ装置12に送信される。オブジェクト情報32Dには、ポリゴンデータ等のギフトオブジェクトを描画するためのデータの他、ギフトオブジェクトの属性情報が含まれる。
次に図2を参照して、ユーザ管理情報32Bについて説明する。ユーザ管理情報32Bは、ユーザ毎に記憶されている。ユーザ管理情報32Bは、ユーザの識別情報(ユーザIDやパスワード)、コイン、ポイント等を含む。コインは、ユーザによって購入されたものである。ポイントは、配信を行ったとき、イベントに参加したとき、又はオブジェクト等を売却したとき等、所定のタイミングでユーザに付与される。
図3を参照して、オブジェクト情報32Dに含まれるオブジェクトの属性情報について説明する。この属性情報には、オブジェクトID、グループ、順番、描画位置が含まれている。オブジェクトIDは、ギフトオブジェクトの識別情報である。グループは、ギフトオブジェクトが属するグループである。グループは、サービス提供者又はサービスを運営する運営者によって予め作成されている。グループを作成する基準は特に限定されないが、ギフトオブジェクトのカテゴリ毎、種類毎、属性毎にグループを作成してもよい。なお、ギフトオブジェクトには、グループに関連付けられていないギフトオブジェクトも含まれる。
さらにグループの各々には、複数の描画位置が関連付けられている。描画位置は、ギフトオブジェクトを描画する位置であって、仮想空間の座標で示されている。描画位置は、例えば仮想空間の3次元の座標で表されている。また、描画位置には描画を行う順番が割り振られている。例えば、「掛け軸1」、「掛け軸2」・・・は、「グループ1」に属している。また、「グループ1」には「第1描画位置」~「第5描画位置」が関連付けられている。例えば「第1描画位置」~「第5描画位置」は、「1」~「5」の順番が割り振られている。グループに属するギフトオブジェクトは、グループに関連付けられた複数の描画位置のうち選択された一の描画位置に配置される。
次に図4を参照して、ユーザ装置12を用いた動画の配信方法について説明する。なお、動画の配信及び視聴に用いられるユーザ装置12を、スマートフォンとして説明する。配信ユーザ100は、少なくとも自身の顔がセンサユニット24の検出範囲101に含まれるようにユーザ装置12と対峙して、配信アプリケーションプログラムを実行する。このとき、配信ユーザ100は、配信アプリケーションプログラムを配信モードにする。
配信ユーザ100が用いるユーザ装置12は、センサユニット24から出力されたモーションデータをアバターデータ22Bに適用して、アニメーションを生成する。ユーザ装置12のディスプレイ28には、アバターオブジェクトを含む仮想空間の動画が表示される。仮想空間の仮想カメラの角度は、ユーザの操作に基づき変更することができる。アバターオブジェクトの位置は、配信ユーザ100とセンサユニット24との相対距離Lに応じて変化する。相対距離Lの変化は、図4中、x軸正方向、x軸負方向、z軸正方向及びz軸負方向の距離の変化として検出される。ユーザ装置12は、生成したアニメーションをエンコードし、エンコードしたデータをサーバ13に送信する。
サーバ13は、エンコードされたデータを、サーバ13を介して視聴ユーザ102が用いるユーザ装置12に配信する。視聴ユーザ102は、動画に対してギフトオブジェクトを贈るための操作等を行い、ユーザ装置12は、ギフトオブジェクトの表示要求をサーバ13に送信する。サーバ13は、ユーザ装置12から受信したギフトオブジェクトの表示要求を、配信ユーザ100のユーザ装置12に送信する。配信ユーザ100のユーザ装置12は、表示要求に基づいて、ギフトオブジェクトを含むアニメーションをサーバ13に送信する。
(動作)
次に図5及び図6を参照して、ギフトオブジェクトを表示する場合の処理の手順について説明する。本実施形態において図5はサーバが実行する処理の手順であり、図6は配信ユーザのユーザ装置12が実行する処理の手順である。サーバ13は、視聴モードのユーザ装置12から、ギフトオブジェクトの識別情報、及びそのギフトオブジェクトの表示要求を受信する(ステップS1)。
次に図5及び図6を参照して、ギフトオブジェクトを表示する場合の処理の手順について説明する。本実施形態において図5はサーバが実行する処理の手順であり、図6は配信ユーザのユーザ装置12が実行する処理の手順である。サーバ13は、視聴モードのユーザ装置12から、ギフトオブジェクトの識別情報、及びそのギフトオブジェクトの表示要求を受信する(ステップS1)。
サーバ13は、ギフトオブジェクトの識別情報に基づき、オブジェクト情報32Dを参照して、表示要求が行われたギフトオブジェクトが属するグループを判定する(ステップS2)。さらにサーバ13は、判定したグループに対応する待機列に、ギフトオブジェクトの識別情報を追加する(ステップS3)。
また、サーバ13は、待機列にギフトオブジェクトを追加すると、待機列の先頭のギフトオブジェクトの表示要求を配信ユーザのユーザ装置12に送信する。このとき、サーバ13は、待機列に含まれるギフトオブジェクトのリストを送るようにしてもよい。なお、このリストには、待機列でのギフトオブジェクトの順番も含まれる。
図6に示すように、配信ユーザのユーザ装置12は、サーバ13から受信した表示要求に基づいて、待機列の先頭のギフトオブジェクト、キャラクタオブジェクト等のオブジェクトのレンダリングを行う(ステップS4)。また、ユーザ装置12は、サーバ13から受信した音声データ、投稿メッセージ等とともに、レンダリングしたアニメーションを動画としてディスプレイ28に出力する(ステップS5)。
次に図7~図11を参照して、上記ステップS3~S4における処理について詳細に説明する。
図7に示すように、サーバ13は、例えば「掛け軸1」、「掛け軸2」といったギフトオブジェクトの表示要求を視聴ユーザのユーザ装置12から受信すると、ギフトオブジェクトが属するグループのレンダリング待機列110に、それらのギフトオブジェクトの識別情報111,112を追加する。サーバ13は、ギフトオブジェクトの表示要求を受信した順に、識別情報111,112をレンダリング待機列110に追加する。また、「掛け軸3」といったギフトオブジェクトの表示要求をさらに受信すると、サーバ13は、識別情報113をレンダリング待機列110の後尾に追加する。また、サーバ13は、レンダリング待機列110の先頭の「掛け軸1」の表示要求を配信ユーザのユーザ装置12に送信し、レンダリング待機列110に含まれる他のギフトオブジェクトの順番を繰り上げる。
図7に示すように、サーバ13は、例えば「掛け軸1」、「掛け軸2」といったギフトオブジェクトの表示要求を視聴ユーザのユーザ装置12から受信すると、ギフトオブジェクトが属するグループのレンダリング待機列110に、それらのギフトオブジェクトの識別情報111,112を追加する。サーバ13は、ギフトオブジェクトの表示要求を受信した順に、識別情報111,112をレンダリング待機列110に追加する。また、「掛け軸3」といったギフトオブジェクトの表示要求をさらに受信すると、サーバ13は、識別情報113をレンダリング待機列110の後尾に追加する。また、サーバ13は、レンダリング待機列110の先頭の「掛け軸1」の表示要求を配信ユーザのユーザ装置12に送信し、レンダリング待機列110に含まれる他のギフトオブジェクトの順番を繰り上げる。
図8に示すように、「掛け軸」のギフトオブジェクトが属するグループには、仮想空間内の第1描画位置116~第5描画位置120が設定されている。第1描画位置116~第5描画位置120は、仮想カメラからみて、アバターオブジェクト130の描画を妨げないような位置に設けられている。図8の例では、第1描画位置116~第5描画位置120は、一列に並べられている。描画位置116~120は、グループに属するギフトオブジェクトの大きさ等を考慮して、ギフトオブジェクトが互いに重ならず、且つ見栄えが良いようにそれらの間隔等が設定されている。第1描画位置116~第5描画位置120の各々には、「1」~「5」のように描画の順番が割り当てられている。例えば、図8に示すように、中央位置に最初の順番が割り振られ、その後の順番は左右に交互に割り振られていてもよい。又は、描画の順番は、左から右へ向かう方向に昇順又は降順で割り振られてもよい。
配信ユーザのユーザ装置12は、第1描画位置116~第5描画位置120のいずれにもギフトオブジェクトが表示されていない場合、「掛け軸1」のギフトオブジェクトの位置を、最初の番号である「1」が割り振られた描画位置116とする。次に、ユーザ装置12は、「掛け軸2」のギフトオブジェクトの位置を、2番目の番号が割り振られた描画位置117とする。同様に、ユーザ装置12は、「掛け軸3」、「掛け軸4」のギフトオブジェクトの位置を、空いている描画位置のうち優先度が高い方から割り当てる。ここでいう「優先度が高い」描画位置とは、空いている描画位置のうち最も小さい順番が割り振られた描画位置である。また、ユーザ装置12は、いずれにグループにも属していないギフトオブジェクト131~133を、それらに設定された描画位置に描画する。
図9に示すように、グループに対応する描画位置にギフトオブジェクトがレンダリングされアニメーションとして描画された結果、ギフトオブジェクト140~141は、互いに重なることなく、画面の横方向に並んで見栄え良く表示されている。図9中右端の描画位置120にはギフトオブジェクトが表示されていない。ユーザ装置12が、サーバ13を介して同じグループに属する新たなギフトオブジェクトについて表示要求を受信した場合には、描画位置120にギフトオブジェクトが表示される。なお、ギフトオブジェクト140~141を描画位置120に配置するとき、画面上側から下側に向かって一定速度で落下する等の演出を行ってもよい。
また、ギフトオブジェクトは、退出条件が成立すると、描画位置から退出する。退出条件は、例えばギフトオブジェクトの表示が開始された時点から経過した表示時間が上限値に達したことである。ユーザ装置12は、全ての描画位置116~120にギフトオブジェクトが表示された状態において、いずれかのギフトオブジェクトの経過時間が上限値に達すると、そのギフトオブジェクトを消去するか、又は描画位置から移動させる演出を実行する。ギフトオブジェクトが描画位置から退出すると、配信管理部30Aは、レンダリングの待機列の先頭のギフトオブジェクトの表示要求を、配信ユーザのユーザ装置12に送信する。又は、配信ユーザのユーザ装置12は、リストに基づいて、待機列の先頭のギフトオブジェクトを空いた描画位置にレンダリングする。
なお、例えば図9に示すように、最も優先度が低い描画位置120が空いている状態で、最も優先度が高い描画位置のギフトオブジェクト140が退出した場合、描画位置120ではなく、ギフトオブジェクト140が描画されていた位置に、新たなギフトオブジェクトを描画してもよい。又は、ギフトオブジェクトが表示されていない時間が最も長い描画位置120に、新たなギフトオブジェクトを描画してもよい。
退出条件は、表示時間が上限値に達したこと以外であってもよい。例えば、配信ユーザがユーザ装置12を用いてギフトオブジェクトを退出させるための操作を意図的又は意図せずに行ったこと、視聴ユーザがギフトオブジェクトを退出させるための操作を行ったこと、待機列に追加されたギフトオブジェクトの数が所定数に達したことなどである。
図10及び図11は、上述したギフトオブジェクト140~141が属するグループとは別のグループに属するギフトオブジェクトの配置例である。図10に示す例では、第1描画位置151~第6描画位置156が複数列に亘って配置されている。第1描画位置151~第6描画位置156は、仮想カメラからみて、千鳥状に配置されている。また、第1描画位置151~第6描画位置156は、各列で、画面の下側から上側に向かう方向(図10中Y軸の正方向)の高さ位置が異なっている。具体的には、第1描画位置151、第2描画位置152及び第3描画位置153の列、第4描画位置154~第6描画位置156の列の順に高くなっている。
図11は、これらの第1描画位置151~第6描画位置156に、「タワーケーキ1」~「タワーケーキ6」であるギフトオブジェクト161~166が配置された状態を示す。ギフトオブジェクト161~166を全て横並びにすると画面内に収容しきれない。また、ギフトオブジェクト161~166を互いに重なることなく画面内に表示することは困難である。これに対し、カメラ位置側からみて第1描画位置151~第6描画位置156を千鳥状にずらすことで、重複部分を極力少なくし、整った状態でギフトオブジェクト161~166を表示することができる。また、多くのギフトオブジェクト161~166を画面内に表示することができる。このようにギフトオブジェクト161~166を密度が高い状態で画面内に表示することで、視聴ユーザから贈られたギフトオブジェクトをできるだけ多く動画の配信時間内に表示させることができる。また、一つのギフトオブジェクトの表示時間に上限値が設けられている場合には、ギフトオブジェクトの各々が表示される時間をできるだけ長くすることができる。また、これらのギフトオブジェクト161~166のように高いオブジェクトは、高さ方向にずらすことで後方のギフトオブジェクトが見やすくなる。このため、後方のギフトオブジェクトを贈った視聴ユーザは、自身のギフトオブジェクトを動画上で認識できるので、ギフトに対する満足度が高くなる。
なお、グループに属するオブジェクトに対して設定された描画位置は、必ずしも複数でなくてもよい。例えば「壁紙」オブジェクトは、仮想空間内に1つしか表示できないため、一つの描画位置が設定されている。複数の「壁紙」オブジェクトが贈られた場合には、「壁紙」オブジェクトのグループのレンダリング待機列にそれらのギフトオブジェクトが追加される。そして、描画位置に描画されてから所定時間が経過した「壁紙」オブジェクトは、消去又は移動させ、待機列に待機する先頭の「壁紙」オブジェクトをレンダリングする。
次に図12及び図13を参照して、視聴ユーザが用いるユーザ装置12のディスプレイ28に表示される画面について説明する。
図12に示すように、視聴画面200には、アバターオブジェクト201が表示されている。アバターオブジェクト201は、配信ユーザの表情の変化に応じて、表情を変化させる。また、アバターオブジェクト201は、配信ユーザのユーザ装置12に対する相対位置の変化に基づき移動する。
図12に示すように、視聴画面200には、アバターオブジェクト201が表示されている。アバターオブジェクト201は、配信ユーザの表情の変化に応じて、表情を変化させる。また、アバターオブジェクト201は、配信ユーザのユーザ装置12に対する相対位置の変化に基づき移動する。
視聴画面200には、メッセージを投稿するための投稿欄170と、動画を視聴中の視聴ユーザが投稿欄170を用いて投稿したメッセージ171が表示されている。また、視聴画面200には、動画に対する良い評価を行う評価ボタン172と、ギフトオブジェクトを動画に対して贈るためのギフトボタン173とが表示されている。視聴ユーザがギフトボタン173を操作すると、ユーザ装置12は入力操作を受け付けて、後述するギフト一覧を表示する。
視聴ユーザのユーザ装置12から送信されたギフトオブジェクトの表示要求をサーバ13が受け付けた場合等には、画面にはギフトオブジェクト140~143,180が表示される。グループに属するギフトオブジェクト140~143は、グループに対応する描画位置に表示される。グループに属さないギフトオブジェクト180は、それ以外の領域に表示される。また、装着オブジェクトは、アバターオブジェクト201の所定の部位に関連付けて表示される。グループに属さないギフトオブジェクトは、所定の領域のうちランダムに選択された位置に表示されてもよい。このように、グループに属するオブジェクトが、オブジェクトの特徴に合わせて一列に並んで表示される一方で、グループに属さないオブジェクトは、それ以外の領域に表示されるので、配信ユーザのユーザ装置12及びサーバ13のグループ判定及び描画位置の選択に要する処理負荷を軽減するとともに、バリエーションに富んだ表現が可能となる。
図13は、ギフトボタン173が選択された場合のギフト選択画面210である。ギフト選択画面210には、ギフト一覧211が表示されている。ギフト一覧211には、選択可能なギフトオブジェクトが、対価とともに表示されている。視聴ユーザは、ギフト一覧211から一つのギフトオブジェクトを選択する操作を行う。選択されたギフトオブジェクトが、対価が必要なオブジェクトである場合には、ユーザは、購入ボタン212を操作する。これにより、ユーザ装置12からギフトオブジェクトの識別情報及び表示要求がサーバ13に送信される。
次に、本実施形態の効果について説明する。
(1)グループに属する複数のギフトオブジェクトが同時に画面に表示される場合に、グループに対応する複数の描画位置のうち、描画位置に割り振られた順番に従ってギフトオブジェクトが描画される。したがって、複数のギフトオブジェクトの表示要求が行われた場合であっても、それらのギフトオブジェクトが予め設定されたレイアウトで表示されるので、ギフトオブジェクトが意図しないかたちで重複したり消去されたりすることがなく、見栄えの良い状態で表示される。このため、ギフトオブジェクトの表示要求を行う視聴ユーザの満足度及びギフト機能に対する配信ユーザの満足度を高めることができる。
(1)グループに属する複数のギフトオブジェクトが同時に画面に表示される場合に、グループに対応する複数の描画位置のうち、描画位置に割り振られた順番に従ってギフトオブジェクトが描画される。したがって、複数のギフトオブジェクトの表示要求が行われた場合であっても、それらのギフトオブジェクトが予め設定されたレイアウトで表示されるので、ギフトオブジェクトが意図しないかたちで重複したり消去されたりすることがなく、見栄えの良い状態で表示される。このため、ギフトオブジェクトの表示要求を行う視聴ユーザの満足度及びギフト機能に対する配信ユーザの満足度を高めることができる。
(2)ギフトオブジェクトは、表示が開始されてから所定時間経過後に描画位置から退出し、オブジェクトが表示されていない描画位置のうち、表示の順番の優先度が高い描画位置を、新たなオブジェクトの描画位置とされる。このため、ギフトオブジェクトの表示要求の数が多くなっても、極力多くのオブジェクトを表示することができる。
(3)ギフトオブジェクトは、新たなオブジェクトの識別情報が受信された場合に、描画時間が最も長い前記オブジェクトの描画位置を、新たなオブジェクトの描画位置とする。このため、ギフトオブジェクトの表示要求の数が多くなっても、極力多くのオブジェクトを表示することができる。
(4)グループに対応する描画位置は、奥行位置及び高さ位置が異なる描画位置を含むため、嵩高いギフトオブジェクトであっても、複数のギフトオブジェクト見やすく表示することができる。
(5)ギフトオブジェクトには、グループに属さないギフトオブジェクトが含まれ、グループに属さないギフトオブジェクトは、グループに対応する描画位置以外の領域にレンダリングされる。これによれば、配信ユーザのユーザ装置12及びサーバ13の処理負荷を軽減するとともに、バリエーションに富んだ表現が可能となる。
上記実施形態は、以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、「掛け軸1」、「掛け軸2」のように同じ種類又はカテゴリのギフトオブジェクトをグループ化した例を説明したが、ギフトオブジェクトはこれ以外の基準によりグループ化されてもよい。図14に、アバターオブジェクト130A,130B、ギフトオブジェクト220A~220C,221A~221C,224を模式的に示す。図14中、実線はオブジェクトを示し、破線は領域を示す。例えば、アバターオブジェクト130A,130Bが動画内で共演する場合において、アバターオブジェクト130A,130Bの周りにギフトオブジェクトの表示領域220,221を設定してもよい。このとき、ユーザ装置12は、表示要求がなされたギフトオブジェクトが、アバターオブジェクト130A,130Bのいずれに関連付けられたものであるかを判定して、関連付けられたアバターオブジェクトの表示領域にギフトオブジェクトを表示する。例えば、女性のアバターオブジェクト130Aと、男性のアバターオブジェクト130Bとが共演する場合、アバターオブジェクト130A用の「バッグ」であるギフトオブジェクト222が表示要求された場合には、アバターオブジェクト130Aの周囲に設定された表示領域220にギフトオブジェクト220Aが表示される。また、アバターオブジェクト130B用の「靴」であるギフトオブジェクト222が表示要求された場合には、アバターオブジェクト130Bの周囲に設定された表示領域221にギフトオブジェクト221Aが表示される。表示領域220,221には、複数の描画位置が設定されており、これらの描画位置に割り振られた順番に従って、ギフトオブジェクトがレンダリングされる。アバターオブジェクト130A,130Bのいずれにも関連付けられていないギフトオブジェクト224が表示要求された場合には、表示領域220,221以外の領域225に表示される。又は、共演のメインとなるアバターオブジェクト130Aに対応する配信ユーザが、表示領域を決定する操作を行う。
・上記実施形態では、「掛け軸1」、「掛け軸2」のように同じ種類又はカテゴリのギフトオブジェクトをグループ化した例を説明したが、ギフトオブジェクトはこれ以外の基準によりグループ化されてもよい。図14に、アバターオブジェクト130A,130B、ギフトオブジェクト220A~220C,221A~221C,224を模式的に示す。図14中、実線はオブジェクトを示し、破線は領域を示す。例えば、アバターオブジェクト130A,130Bが動画内で共演する場合において、アバターオブジェクト130A,130Bの周りにギフトオブジェクトの表示領域220,221を設定してもよい。このとき、ユーザ装置12は、表示要求がなされたギフトオブジェクトが、アバターオブジェクト130A,130Bのいずれに関連付けられたものであるかを判定して、関連付けられたアバターオブジェクトの表示領域にギフトオブジェクトを表示する。例えば、女性のアバターオブジェクト130Aと、男性のアバターオブジェクト130Bとが共演する場合、アバターオブジェクト130A用の「バッグ」であるギフトオブジェクト222が表示要求された場合には、アバターオブジェクト130Aの周囲に設定された表示領域220にギフトオブジェクト220Aが表示される。また、アバターオブジェクト130B用の「靴」であるギフトオブジェクト222が表示要求された場合には、アバターオブジェクト130Bの周囲に設定された表示領域221にギフトオブジェクト221Aが表示される。表示領域220,221には、複数の描画位置が設定されており、これらの描画位置に割り振られた順番に従って、ギフトオブジェクトがレンダリングされる。アバターオブジェクト130A,130Bのいずれにも関連付けられていないギフトオブジェクト224が表示要求された場合には、表示領域220,221以外の領域225に表示される。又は、共演のメインとなるアバターオブジェクト130Aに対応する配信ユーザが、表示領域を決定する操作を行う。
・上記実施形態では、ギフトオブジェクトの表示時間に上限値がある場合について説明したが、ギフトオブジェクトの退出条件をグループに応じて異ならせてもよい。図15に示すように、無償オブジェクトと、有償オブジェクトとを異なる表示領域230,231に表示してもよい。無償オブジェクトは、動画アプリケーション内で付与されるポイントを対価とするものであり、有償オブジェクトは、例えば金銭や、動画アプリケーション外でも利用可能なポイント等の通貨を対価とするものである。なお、無償オブジェクトは、所定のタイミングで、対価を必要とせずにユーザに付与されるものであってもよい。無償オブジェクトの表示領域230には、描画位置232~234が設定されている。有償オブジェクトの表示領域231には、描画位置235~239が設定されている。表示領域231に表示される有償オブジェクトの表示継続時間の上限値Tmax2は、表示領域230に表示される無償オブジェクトの表示継続時間の上限値Tmax1よりも長くてもよい(Tmax2>Tmax1)。また、表示領域231に表示される有償オブジェクトの最大個数は、表示領域230に表示される無償オブジェクトの最大個数よりも多くてもよい。このようにすることによって、有償オブジェクトの表示時間を長くすることができる。また、表示領域231は、表示領域230よりもカメラ位置の近くに配置される。このようにすると、有償オブジェクトを贈るモチベーションが高められ、動画の視聴時間及び視聴回数や、動画の配信時間及び配信回数が増加することが期待される。
・上記実施形態では、表示領域の複数の描画位置に順番が割り振られているとした。これに代えて、配信管理部30Aは、表示領域の複数の描画位置の中から一つをランダムに選択し、選択した描画位置にギフトオブジェクトを表示するようにしてもよい。
・上記実施形態では、描画位置に表示されたギフトオブジェクトを、退出条件が満たされた順に、描画位置から退出させるようにした。これに代えて若しくは加えて、退出条件が成立した場合に、ギフトオブジェクトを一斉に描画位置から退出させるようにしてもよい。また、動画が配信されている間、ギフトオブジェクトを表示し続けてもよい。例えば、視聴ユーザが「赤いボール」のオブジェクトの表示要求を行った場合には、配信ユーザのユーザ装置12は、「赤いボール」のギフトオブジェクトを、これに対応する表示領域の描画位置に順番に又はランダムに表示する。視聴ユーザが「白いボール」のオブジェクトを選択した場合には、配信ユーザのユーザ装置12は、「白いボール」のギフトオブジェクトを、これに対応する表示領域内の描画位置に順番に又はランダムに表示する。所定期間の間、表示領域に表示したギフトオブジェクトは消去したり、表示領域から退出させたりしない。このとき、配信管理部30Aは、ギフトオブジェクトの数を表示領域毎にカウントし、表示領域毎のギフトオブジェクトの数を比較して、勝敗又は評価を行ってもよい。また、所定期間が経過した場合、表示領域内の全ての「赤いボール」及び「白いボール」を一斉に退出させてもよい。
・上記実施形態では、サーバ13が、投稿メッセージを配信ユーザのユーザ装置12及び視聴ユーザのユーザ装置12の両方に送信するようにした。そして、ユーザ装置12が、投稿メッセージをアニメーションに合成して(重畳して)描画するようにした。これに代えて、配信ユーザのユーザ装置12のみに投稿メッセージを送信するようにしてもよい。そして、配信ユーザのユーザ装置12によりアニメーション及び投稿メッセージが合成された動画データを視聴ユーザのユーザ装置12が受信するようにしてもよい。
・上記実施形態では、サーバ13が、ユーザ装置12からのギフトオブジェクトの表示要求を受信して、ギフトオブジェクトの識別情報を待機列に追加するようにした。これに代えて、配信ユーザのユーザ装置12が、サーバ13からギフトオブジェクトの表示要求を受信して、待機列を管理するようにしてもよい。
・上記実施形態では、ユーザ装置12には、動画を視聴及び配信するための動画アプリケーションプログラムがインストールされているものとした。これに代えて、動画を視聴するためのアプリケーションプログラムと、動画を配信するためのアプリケーションプログラムとを別のアプリケーションプログラムとを分けてもよい。配信を行う場合には配信アプリケーションプログラムを用いて動画を配信する。視聴を行う場合には視聴アプリケーションプログラムを用いて動画を視聴する。ギフトオブジェクトの表示要求は、視聴アプリケーションプログラムを用いて行う。
・上記実施形態では、配信ユーザのユーザ装置12が動画データ及び音声データをエンコードし、エンコードしたデータをサーバ13に送信し、視聴ユーザのユーザ装置12がエンコードしたデータに基づき動画をディスプレイ28に表示する方式とした(映像配信方式)。これに代えて、配信ユーザのユーザ装置12から、音声データ、モーションデータ等の動画を生成する上で必要最小限のデータ(動画構成データ)をサーバ13に送信し、サーバ13が、他のユーザ装置12に動画構成データを送信して、ユーザ装置12の各々が動画を生成する方式(クライアントレンダリング方式)にしてもよい。クライアントレンダリング方式では、サーバ13が、ユーザ装置12の各々にギフトオブジェクトの表示要求を送信する。又は、サーバ13が、ユーザ装置12の各々にギフトオブジェクトのリストを送信するようにしてもよい。ユーザ装置12は、表示要求又はリストに基づいて、アバターオブジェクトを含めたオブジェクトのレンダリングを行い、動画を生成する。これによれば、配信ユーザのユーザ装置12のエンコード処理が省略され、配信ユーザのユーザ装置12とサーバ13との間、サーバ13と視聴ユーザのユーザ装置12との間の通信量が軽減できる。
或いは、サーバ13が、アバターオブジェクトやギフトオブジェクトのレンダリングを行ってもよい。この場合、サーバ13が、動画データを生成し、エンコードして、各ユーザ装置12に配信する。
・モーションデータ生成部20Bは、センサユニット24から、ユーザの表情の変化、頭部の動き、センサユニット24に対するユーザの相対位置を検出した検出データを取得するとしたが、このうち少なくとも一つであってもよい。また、モーションデータ生成部20Bは、ユーザの表情の変化、頭部の動き及びユーザの相対位置の少なくとも一つに加えて、若しくは代えて、頭部の動作以外の動きを検出した検出データ等のその他の検出データを取得してもよい。
・動画に表示される仮想空間は、拡張現実(AR;Augmented Reality)の空間であってもよい。例えば、ユーザ装置12のカメラが撮影した現実世界の画像に、アバターオブジェクト及びギフトオブジェクト等のアニメーションを重ねて表示してもよい。また、ユーザ装置12のカメラが撮影した、ユーザを含む現実世界の画像に、ギフトオブジェクト等のアニメーションを重ねて表示してもよい。
・上記実施形態では、ユーザ装置12は、スマートフォン、携帯電話機、タブレット端末、パーソナルコンピュータ、コンソールゲーム機、ヘッドマウントディスプレイ等のウェアラブルコンピュータ等の情報処理装置とした。これに代えて、ユーザ装置12は、情報処理装置の少なくとも一つと、入力装置及び出力装置から構成されるシステムであってもよい。例えば、ユーザ装置12は、コンピュータプロセッサ20等を備えるコンソールゲーム機と、これと別体に設けられたセンサユニット24、操作部27であるコントローラ、スピーカ25、ディスプレイ28等が相互にデータを送受信可能なシステムであってもよい。また、ユーザ装置12は、パーソナルコンピュータ等の情報処理装置と、これと別体に設けられたセンサユニット24、操作部27であるコントローラ、スピーカ25、ディスプレイ28であるウェアラブルディスプレイ等が相互にデータを送受信可能なシステムであってもよい。又は、動画を配信するユーザ装置12に代えて、動画配信用のスタジオに設けられたシステムであって、情報処理装置、センサユニット24、操作部27、スピーカ25、ディスプレイ28を備えたシステムを、動画を配信するシステムとして用いてもよい。
・上記実施形態では、センサユニット24をユーザ装置12側に設けたが、センサユニット24の少なくとも一部を、配信ユーザの身体に装着したり、配信ユーザの近傍に設けたりしてもよい。例えば、センサユニット24は、赤外線等の検出光を所定間隔で射出する射出部と、配信ユーザの身体に装着され、検出光を受光して検出結果をコンピュータプロセッサ20に送信する受光部とから構成してもよい。又は、センサユニット24は、配信ユーザの身体に装着されたマーカーを検出するカメラ等から構成してもよい。
〔付記事項〕 本願の原出願の出願当初の特許請求の範囲の記載を以下に付記する。
[1]
コンピュータを、
動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの識別情報を受信する受信部と、
受信した前記識別情報に基づき、前記オブジェクトが属するグループに対応する複数の描画位置のうち、前記描画位置の各々に割り振られた順番に従って、前記オブジェクトを描画すべき描画位置を判定する判定部と、
前記判定部が判定した描画位置に前記オブジェクトをレンダリングする実行部として機能させる
動画用アプリケーションプログラム。
[2]
前記実行部は、前記オブジェクトの描画が開始されてから所定時間経過後に当該オブジェクトを前記描画位置から退出させ、
前記判定部は、前記オブジェクトが表示されていない前記描画位置のうち、表示の順番の優先度が高い前記描画位置を、新たなオブジェクトの描画位置とする
請求項1に記載の動画用アプリケーションプログラム。
[3]
前記判定部は、新たなオブジェクトの識別情報が受信された場合に、描画時間が最も長い前記オブジェクトの描画位置を、新たなオブジェクトの描画位置とする
請求項1又は2に記載の動画用アプリケーションプログラム。
[4]
複数の前記描画位置は、前記動画のカメラ位置から遠ざかる方向における奥行位置と高さ位置とが異なる位置を含む
請求項1~3のいずれか1項に記載の動画用アプリケーションプログラム。
[5]
前記オブジェクトには、前記グループに属さないオブジェクトが含まれ、
前記実行部は、前記グループに属さないオブジェクトを、前記グループに対応する描画位置以外の領域にレンダリングする
請求項1~4のいずれか1項に記載の動画用アプリケーションプログラム。
[6]
前記コンピュータを、
前記オブジェクトをレンダリングしたアニメーションを生成する生成部と、
前記アニメーションをエンコードして、動画配信サーバに送信するエンコード部としてさらに機能させる
請求項1~4のいずれか1項に記載の動画用アプリケーションプログラム。
[7]
前記コンピュータを、
前記判定部が判定した描画位置を、動画を視聴するユーザ装置を送信先として動画配信サーバに送信する位置送信部としてさらに機能させる
請求項1~4のいずれか1項に記載の動画用アプリケーションプログラム。
[8]
コンピュータが、
動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの識別情報を受信する受信ステップと、
受信した前記識別情報に基づき、前記オブジェクトが属するグループに対応する複数の描画位置のうち、前記描画位置の各々に割り振られた順番に従って、前記オブジェクトを描画すべき描画位置を判定する判定ステップと、
前記判定ステップが判定した描画位置に前記オブジェクトをレンダリングする実行ステップと、を実行する
動画のオブジェクト描画方法。
[9]
コンピュータを、
動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの表示要求及び前記表示要求の対象の前記オブジェクトの識別情報を受信する要求受信部と、
動画を視聴するユーザの操作に基づくオブジェクトの識別情報及び前記オブジェクトの表示要求を受け付けて、前記オブジェクトが属するグループを判定するグループ判定部と、
前記オブジェクトの識別情報を、判定された前記グループに対応する待機列に追加する管理部と、
前記待機列に含まれる前記オブジェクトの識別情報を、前記動画を配信する第2ユーザが用いる第2ユーザ装置に送信する送信部として機能させる
動画管理プログラム。
[10]
コンピュータが、
動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの表示要求及び前記表示要求の対象の前記オブジェクトの識別情報を受信する要求受信ステップと、
動画を視聴するユーザの操作に基づくオブジェクトの識別情報及び前記オブジェクトの表示要求を受け付けて、前記オブジェクトが属するグループを判定するグループ判定ステップと、
前記オブジェクトの識別情報を、判定された前記グループに対応する待機列に追加する管理ステップと、
前記待機列に含まれる前記オブジェクトの識別情報を、前記動画を配信する第2ユーザが用いる第2ユーザ装置に送信する送信ステップと、を実行する
動画管理方法。
[11]
動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの表示要求及び前記表示要求の対象の前記オブジェクトの識別情報を受信する要求受信部と、
動画を視聴するユーザの操作に基づくオブジェクトの識別情報及び前記オブジェクトの表示要求を受け付けて、前記オブジェクトが属するグループを判定するグループ判定部と、
前記オブジェクトの識別情報を、判定された前記グループに対応する待機列に追加する管理部と、
前記待機列に含まれる前記オブジェクトの識別情報を、前記動画を配信する第2ユーザが用いる第2ユーザ装置に送信する送信部と、を備える
サーバ。
[12]
動画を視聴するユーザの操作に基づきオブジェクトの表示要求を当該オブジェクトの識別情報とともに前記ユーザが用いる端末から受信する表示要求受信部と、
前記表示要求の対象である前記オブジェクトが属するグループを判定するグループ判定部と、
前記オブジェクトの識別情報を、判定された前記グループに対応する待機列に追加する管理部と、
前記グループに対応する複数の描画位置のうち、前記描画位置の各々に割り振られた順番に従って、前記待機列の先頭のオブジェクトを描画すべき描画位置を判定する判定部と、
前記判定部が判定した描画位置に、前記オブジェクトをレンダリングする実行部と、を備える
動画配信システム。
〔付記事項〕 本願の原出願の出願当初の特許請求の範囲の記載を以下に付記する。
[1]
コンピュータを、
動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの識別情報を受信する受信部と、
受信した前記識別情報に基づき、前記オブジェクトが属するグループに対応する複数の描画位置のうち、前記描画位置の各々に割り振られた順番に従って、前記オブジェクトを描画すべき描画位置を判定する判定部と、
前記判定部が判定した描画位置に前記オブジェクトをレンダリングする実行部として機能させる
動画用アプリケーションプログラム。
[2]
前記実行部は、前記オブジェクトの描画が開始されてから所定時間経過後に当該オブジェクトを前記描画位置から退出させ、
前記判定部は、前記オブジェクトが表示されていない前記描画位置のうち、表示の順番の優先度が高い前記描画位置を、新たなオブジェクトの描画位置とする
請求項1に記載の動画用アプリケーションプログラム。
[3]
前記判定部は、新たなオブジェクトの識別情報が受信された場合に、描画時間が最も長い前記オブジェクトの描画位置を、新たなオブジェクトの描画位置とする
請求項1又は2に記載の動画用アプリケーションプログラム。
[4]
複数の前記描画位置は、前記動画のカメラ位置から遠ざかる方向における奥行位置と高さ位置とが異なる位置を含む
請求項1~3のいずれか1項に記載の動画用アプリケーションプログラム。
[5]
前記オブジェクトには、前記グループに属さないオブジェクトが含まれ、
前記実行部は、前記グループに属さないオブジェクトを、前記グループに対応する描画位置以外の領域にレンダリングする
請求項1~4のいずれか1項に記載の動画用アプリケーションプログラム。
[6]
前記コンピュータを、
前記オブジェクトをレンダリングしたアニメーションを生成する生成部と、
前記アニメーションをエンコードして、動画配信サーバに送信するエンコード部としてさらに機能させる
請求項1~4のいずれか1項に記載の動画用アプリケーションプログラム。
[7]
前記コンピュータを、
前記判定部が判定した描画位置を、動画を視聴するユーザ装置を送信先として動画配信サーバに送信する位置送信部としてさらに機能させる
請求項1~4のいずれか1項に記載の動画用アプリケーションプログラム。
[8]
コンピュータが、
動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの識別情報を受信する受信ステップと、
受信した前記識別情報に基づき、前記オブジェクトが属するグループに対応する複数の描画位置のうち、前記描画位置の各々に割り振られた順番に従って、前記オブジェクトを描画すべき描画位置を判定する判定ステップと、
前記判定ステップが判定した描画位置に前記オブジェクトをレンダリングする実行ステップと、を実行する
動画のオブジェクト描画方法。
[9]
コンピュータを、
動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの表示要求及び前記表示要求の対象の前記オブジェクトの識別情報を受信する要求受信部と、
動画を視聴するユーザの操作に基づくオブジェクトの識別情報及び前記オブジェクトの表示要求を受け付けて、前記オブジェクトが属するグループを判定するグループ判定部と、
前記オブジェクトの識別情報を、判定された前記グループに対応する待機列に追加する管理部と、
前記待機列に含まれる前記オブジェクトの識別情報を、前記動画を配信する第2ユーザが用いる第2ユーザ装置に送信する送信部として機能させる
動画管理プログラム。
[10]
コンピュータが、
動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの表示要求及び前記表示要求の対象の前記オブジェクトの識別情報を受信する要求受信ステップと、
動画を視聴するユーザの操作に基づくオブジェクトの識別情報及び前記オブジェクトの表示要求を受け付けて、前記オブジェクトが属するグループを判定するグループ判定ステップと、
前記オブジェクトの識別情報を、判定された前記グループに対応する待機列に追加する管理ステップと、
前記待機列に含まれる前記オブジェクトの識別情報を、前記動画を配信する第2ユーザが用いる第2ユーザ装置に送信する送信ステップと、を実行する
動画管理方法。
[11]
動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの表示要求及び前記表示要求の対象の前記オブジェクトの識別情報を受信する要求受信部と、
動画を視聴するユーザの操作に基づくオブジェクトの識別情報及び前記オブジェクトの表示要求を受け付けて、前記オブジェクトが属するグループを判定するグループ判定部と、
前記オブジェクトの識別情報を、判定された前記グループに対応する待機列に追加する管理部と、
前記待機列に含まれる前記オブジェクトの識別情報を、前記動画を配信する第2ユーザが用いる第2ユーザ装置に送信する送信部と、を備える
サーバ。
[12]
動画を視聴するユーザの操作に基づきオブジェクトの表示要求を当該オブジェクトの識別情報とともに前記ユーザが用いる端末から受信する表示要求受信部と、
前記表示要求の対象である前記オブジェクトが属するグループを判定するグループ判定部と、
前記オブジェクトの識別情報を、判定された前記グループに対応する待機列に追加する管理部と、
前記グループに対応する複数の描画位置のうち、前記描画位置の各々に割り振られた順番に従って、前記待機列の先頭のオブジェクトを描画すべき描画位置を判定する判定部と、
前記判定部が判定した描画位置に、前記オブジェクトをレンダリングする実行部と、を備える
動画配信システム。
11 動画配信システム、
12 ユーザ装置
13 サーバ。
12 ユーザ装置
13 サーバ。
Claims (1)
- コンピュータを、
動画を視聴する第1ユーザが用いる第1ユーザ装置により送信されたオブジェクトの識別情報を受信する受信部と、
受信した前記識別情報に基づき、前記オブジェクトが属するグループに対応する複数の描画位置のうち、前記描画位置の各々に割り振られた順番に従って、前記オブジェクトを描画すべき描画位置を判定する判定部と、
前記判定部が判定した描画位置に前記オブジェクトをレンダリングする実行部として機能させる
動画用アプリケーションプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024059341A JP2024074885A (ja) | 2020-03-27 | 2024-04-02 | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020057728A JP7473909B2 (ja) | 2020-03-27 | 2020-03-27 | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム |
JP2024059341A JP2024074885A (ja) | 2020-03-27 | 2024-04-02 | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020057728A Division JP7473909B2 (ja) | 2020-03-27 | 2020-03-27 | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024074885A true JP2024074885A (ja) | 2024-05-31 |
Family
ID=77918861
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020057728A Active JP7473909B2 (ja) | 2020-03-27 | 2020-03-27 | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム |
JP2024059341A Pending JP2024074885A (ja) | 2020-03-27 | 2024-04-02 | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020057728A Active JP7473909B2 (ja) | 2020-03-27 | 2020-03-27 | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7473909B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7357862B2 (ja) * | 2022-03-17 | 2023-10-10 | グリー株式会社 | 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法 |
JP7333529B1 (ja) | 2022-03-17 | 2023-08-25 | グリー株式会社 | 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法 |
JP7129666B1 (ja) | 2022-04-27 | 2022-09-02 | 17Live株式会社 | コンピュータプログラム及び端末 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3680352B2 (ja) * | 1995-05-10 | 2005-08-10 | カシオ計算機株式会社 | 画像制御装置 |
JP3105817B2 (ja) * | 1997-04-01 | 2000-11-06 | コナミ株式会社 | 画像表示処理装置,画像表示処理方法,及びコンピュータプログラムを記録した機械読取り可能な記録媒体 |
JP3668019B2 (ja) * | 1998-10-27 | 2005-07-06 | 株式会社ソニー・コンピュータエンタテインメント | 記録媒体、画像処理装置および画像処理方法 |
JP6431233B1 (ja) * | 2018-05-08 | 2018-11-28 | グリー株式会社 | 視聴ユーザからのメッセージを含む動画を配信する動画配信システム |
-
2020
- 2020-03-27 JP JP2020057728A patent/JP7473909B2/ja active Active
-
2024
- 2024-04-02 JP JP2024059341A patent/JP2024074885A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2021158558A (ja) | 2021-10-07 |
JP7473909B2 (ja) | 2024-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6668549B1 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
JP7473909B2 (ja) | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム | |
JP6724219B1 (ja) | 動画アプリケーションプログラム、動画表示方法、動画配信システム及び情報処理装置 | |
JP7489642B2 (ja) | プログラム、オブジェクト描画方法及び情報処理システム | |
JP6701416B1 (ja) | 動画配信システム、サーバ、サーバの動画配信方法、動画配信プログラム及びユーザ装置の動画配信方法 | |
JP7473901B2 (ja) | 動画配信システム、プログラム、及び情報処理方法 | |
JP7317327B2 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
JP7497832B2 (ja) | プログラム、情報処理方法及び情報処理システム | |
JP6891311B2 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
JP2023090818A (ja) | 動画データ処理プログラム、動画データ処理方法、情報処理システム及び情報処理方法 | |
JP2023143963A (ja) | プログラム、情報処理方法及び情報処理装置 | |
JP7317326B2 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
JP7086253B2 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
JP6709317B1 (ja) | 動画配信システム、動画配信方法、動画視聴プログラム、動画視聴方法、及び動画配信プログラム | |
JP2022075669A (ja) | プログラム、情報処理装置、および方法 | |
JP7263500B2 (ja) | 動画データ処理方法、動画データ処理プログラム及びサーバ | |
JP2022078581A (ja) | 情報処理プログラム、情報処理方法及び情報処理システム | |
JP7509388B2 (ja) | 動画データ処理システム、動画データ処理方法及び動画データ処理プログラム | |
JP7001737B2 (ja) | 動画データ処理方法、動画データ処理プログラム、動画データ処理方法、サーバ | |
JP7357865B1 (ja) | プログラム、情報処理方法、及び情報処理装置 | |
JP7223834B2 (ja) | プログラム、情報処理方法及び情報処理装置 | |
JP2024007548A (ja) | プログラム、情報処理方法、及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240425 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240517 |