JP7134298B2 - 動画配信システム、動画配信方法及び動画配信プログラム - Google Patents

動画配信システム、動画配信方法及び動画配信プログラム Download PDF

Info

Publication number
JP7134298B2
JP7134298B2 JP2021079534A JP2021079534A JP7134298B2 JP 7134298 B2 JP7134298 B2 JP 7134298B2 JP 2021079534 A JP2021079534 A JP 2021079534A JP 2021079534 A JP2021079534 A JP 2021079534A JP 7134298 B2 JP7134298 B2 JP 7134298B2
Authority
JP
Japan
Prior art keywords
user
starring
distribution
video
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021079534A
Other languages
English (en)
Other versions
JP2021141591A (ja
Inventor
彩 倉淵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GREE Inc
Original Assignee
GREE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GREE Inc filed Critical GREE Inc
Priority to JP2021079534A priority Critical patent/JP7134298B2/ja
Publication of JP2021141591A publication Critical patent/JP2021141591A/ja
Priority to JP2022136413A priority patent/JP2022184845A/ja
Application granted granted Critical
Publication of JP7134298B2 publication Critical patent/JP7134298B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本明細書における開示は、動画配信システム、動画配信方法及び動画配信プログラムに関する。本明細書における開示は、より具体的には、ユーザの動きに基づいて生成されるキャラクタオブジェクトを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラムに関する。
従来から、配信ユーザの動きに基づいてキャラクタオブジェクトのアニメーションを生成し、かかるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システムが知られている。このような動画配信システムは、例えば、特開2015-184689号公報(特許文献1)及び「長谷川 雄介,ヴァーチャルアイドル新時代の幕開け PROJECT MariA,CG WORLD,日本,株式会社ボーンデジタル,2017年11月10日,第231巻,pp.74-79」(非特許文献1)に開示されている。
配信ユーザの動きに基づいて生成されたキャラクタオブジェクトを含む動画を配信する動画配信サービスが提供されている。このようなサービスとして、株式会社ドワンゴが提供する「バーチャルキャスト」が知られている。バーチャルキャストでは、ある配信ユーザが配信している動画に他のユーザのキャラクタオブジェクトが入り込み、二人の配信ユーザが各々のキャラクタオブジェクトを介して動画内で仮想的に共演することができる。
特開2015-184689号公報
長谷川 雄介,ヴァーチャルアイドル新時代の幕開け PROJECT MariA,CG WORLD,日本,株式会社ボーンデジタル,2017年11月10日,第231巻,pp.74-79 株式会社ドワンゴ、゛[バーチャルキャスト]凸について″、[online]、[平成30年11月25日検索]、インターネット〈URL:https://qa.nicovideo.jp/faq/show/10740?back=front%2Fcategory%3Ashow&category_id=718&page=1&site_domain=default&sort=sort_access&sort_order=desc〉
配信動画のクオリティを保つために、どのような配信ユーザが共演相手であるかは、配信ユーザにとって重大な関心事である。しかしながら、現実世界で出演者がスタジオに集まって共演する場合と異なり、キャラクタオブジェクトを介して仮想的に共演する場合には、共演相手の配信ユーザのことを把握することが困難である。他のユーザから共演の申請があった場合に、その申請を自動的に受け入れたり、配信ユーザの決定に委ねたりすると、配信動画内で望ましくない振る舞いを行う共演相手が現れるおそれがある。動画内での共演がキャラクタオブジェクトを介して行われる場合には、共演相手に匿名性があるため、望ましくない行動を取ることに歯止めがかかりにくい。
このように、キャラクタオブジェクトを介して動画内で複数の配信ユーザが仮想的に共演する場合、配信動画のクオリティを確保するために、共演相手の選択を適切に行うことが望まれる。しかしながら、上記のように、現実世界での共演とは異なり、動画の配信前に共演相手が望ましい行動を取るか予測することが困難である。
本開示の目的は、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本開示のより具体的な目的の一つは、動画内で仮想的に共演する共演相手を選抜できる動画配信システム、動画配信方法及び動画配信プログラムを提供することである。
本発明の一態様による動画配信システムは、一又は複数のコンピュータプロセッサを備えている。一態様において、当該一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定し、前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成し、前記共演動画を一又は複数の視聴ユーザに配信する。共演可否の判定は、前記第1ユーザに関する共演申請者情報に基づいて行われてもよい。
本発明の一態様においては、前記共演動画は、前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを含むキャラクタ共演動画である。本発明の他の態様において、前記共演動画は、前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの音声を含む音声共演動画である。前記キャラクタ共演動画と前記音声共演動画とは交互に切り替え可能であってもよい。
本発明の一態様において、共演申請者情報は、前記第2ユーザに対する評価を示すユーザ評価情報を含む。
本発明の一態様において、共演申請者情報は、前記第2ユーザが配信した動画に対する評価を示す動画評価情報を含む。
本発明の一態様において、共演申請者情報は、前記第2ユーザの動画配信時間又は動画配信回数を含む。
本発明の一態様において、共演申請者情報は、前記第2ユーザが共演を禁止されているユーザを特定する共演禁止情報を含む。
本発明の一態様における動画配信システムは、前記第2ユーザの動きを示すモーションデータに基づいて前記共演動画において前記第2キャラクタオブジェクトがノンアクティブ状態にあると判定された場合に、前記共演動画から前記第2キャラクタオブジェクトを排除する。
本発明の一態様における動画配信システムは、前記共演動画の配信中における前記視聴ユーザから前記第2ユーザに対する評価を示す共演者評価情報に基づいて前記共演動画から前記第2キャラクタオブジェクトを排除する。
本発明の一態様における動画配信システムは、前記第1ユーザからの要求に基づいて前記共演動画から前記第2キャラクタオブジェクトを排除する。
本発明の一態様は、一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法に関する。当該動画配信方法は、第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第1ユーザ又は前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定する工程と、前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、前記共演動画を一又は複数の視聴ユーザに配信する工程と、を備える。
本発明の一態様は、動画配信プログラムに関する。当該動画配信プログラムは、一又は複数のコンピュータプロセッサに、第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第1ユーザ又は前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定する工程と、前記第2ユーザの共演が許可された場合に、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、前記共演動画を一又は複数の視聴ユーザに配信する工程と、を実行させる。
本発明の実施形態によれば、動画内で仮想的に共演する共演相手を選抜することができる。
一実施形態による動画配信システムを示すブロック図である。 図1の動画配信システムで配信される動画を配信する配信ユーザ及び当該配信ユーザが使用している配信ユーザ装置を模式的に示す模式図である。 図1の動画配信システムにおいて記憶される共演申請者情報を説明する図である。 図1の動画配信システムにおいて記憶される共演動画情報を説明する図である。 一実施形態において視聴ユーザ装置10に表示される表示画面の例を示す図である。 一実施形態において配信ユーザ装置20aに表示される表示画面の例を示す図である。 一実施形態において配信ユーザ装置20bに表示される表示画面の例を示す図である。 一実施形態において視聴ユーザ装置10に表示される共演動画の表示画面の例を示す図である。 一実施形態において配信ユーザ装置20aに表示される共演動画の表示画面の例を示す図である。 一実施形態において配信ユーザ装置20bに表示される共演動画の表示画面の例を示す図である。 一実施形態による動画配信処理の流れを示すフロー図である。 一実施形態において共演動画を配信する処理の流れを示すフロー図である。
以下、図面を適宜参照し、本発明の様々な実施形態を説明する。複数の図面において同一の又は類似する構成要素には同じ参照符号が付される。
図1及び図2を参照して、一実施形態による動画配信システムについて説明する。図1は、一実施形態による動画配信システム1を示すブロック図であり、図2は、動画配信システム1で動画を配信するユーザUa,Ub及び当該ユーザUa,Ubが使用している配信ユーザ装置20a,20bを模式的に示す模式図である。配信ユーザ装置20aは、動画配信システム1において、ユーザUaの動きに基づいて生成されるキャラクタオブジェクトを含む動画を配信するための機能を有し、配信ユーザ装置20bは、動画配信システム1において、ユーザUbの動きに基づいて生成されるキャラクタオブジェクトを含む動画を配信するための機能を有する。詳しくは後述するように、動画配信システム1は、二人以上の配信ユーザのキャラクタオブジェクトを含む動画を生成し、当該動画を配信することができる。言い換えると、動画配信システム1においては、二人以上の配信ユーザが動画内で各々のキャラクタオブジェクトを介して仮想的に共演することができる。このように、二人以上の配信ユーザが各々のキャラクタオブジェクトを介して動画内で仮想的に共演している場合、その動画を共演動画と呼ぶ。例えば、ユーザUbの動きに基づいて生成されるキャラクタオブジェクトを含む動画が配信されているときに、ユーザUaがユーザUbとの共演を申請することができる。この共演申請が許可されると、ユーザUbのキャラクタオブジェクトとユーザUaのキャラクタオブジェクトとを含む共演動画が生成され、当該共演動画が配信される。配信ユーザ装置20a,20bは、動画配信システム1において配信される動画を視聴する機能を有していてもよい。
動画配信システム1は、視聴ユーザ装置10と、配信ユーザ装置20a,20bと、サーバ装置60と、ストレージ70と、を備える。視聴ユーザ装置10と、配信ユーザ装置20と、サーバ装置60と、ストレージ70とは、ネットワーク50を介して相互に通信可能に接続されている。サーバ装置60は、後述するように、配信ユーザUa及び配信ユーザUbのキャラクタオブジェクトのアニメーションを含む動画を配信するように構成される。サーバ装置60は、動画配信サービス以外にも、ユーザ同士が交流するためのソーシャルネットワーキングサービスまたは当該サービス用のプラットフォーム機能を提供してもよい。
動画配信システム1において、動画は、サーバ装置60から視聴ユーザ装置10及び配信ユーザ装置20a,20bに配信される。配信された動画は、視聴ユーザ装置10のディスプレイに表示される。視聴ユーザ装置10のユーザである視聴ユーザは、配信された動画を視聴ユーザ装置10により視聴することができる。図面を簡潔するために図1には視聴ユーザ装置10が1台だけ示されているが、動画配信システム1は、複数の視聴ユーザ装置を備えていてもよい。配信ユーザUa,Ubは、配信された動画を視聴することにより、動画中の動画を確認しながらパフォーマンスを行うことができる。また、配信ユーザUa,Ubは、他のユーザのキャラクタオブジェクトを含む動画を配信ユーザ装置20a,20bにより視聴することができる。
図示の実施形態において、配信ユーザ装置20aは、コンピュータプロセッサ21aと、通信I/F22aと、ディスプレイ23aと、カメラ24aと、マイク25aと、を備えている。同様に、配信ユーザ装置20bは、コンピュータプロセッサ21bと、通信I/F22bと、ディスプレイ23bと、カメラ24bと、マイク25bと、を備えている。配信ユーザ装置20aと配信ユーザ装置20bとは同様の構成及び機能を有しているため、両者を特に区別する必要がない場合には、両者をまとめて配信ユーザ装置20と呼ぶことがあり、その構成要素もコンピュータプロセッサ21などと呼ぶことがある。
コンピュータプロセッサ21は、ストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ21は、例えば、CPU、MPU、DSP、GPU、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ21は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。図1においては、コンピュータプロセッサ21が単一の構成要素として図示されているが、コンピュータプロセッサ21は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。
通信I/F22は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。配信ユーザ装置20は、通信I/F22を介して、他の装置とデータを送受信することができる。
ディスプレイ23は、表示パネルと、タッチパネルと、を有する。タッチパネルは、プレイヤのタッチ操作(接触操作)を検出することができるように構成されている。タッチパネルは、プレイヤのタップ、ダブルタップ、ドラッグ等の各種タッチ操作を検出することができる。タッチパネルは、静電容量式の近接センサを備え、プレイヤの非接触操作を検出可能に構成されてもよい。
カメラ24は、配信ユーザUa,Ubの顔を連続的に撮像し、配信ユーザUa,Ubの顔の撮像データを取得する。カメラ24により撮像された配信ユーザUa,Ubの顔の撮像データは、通信I/F22を介してサーバ装置60に送信される。カメラ24は、人物の顔の奥行きを検出可能な3Dカメラであってもよい。
マイク25は、入力された音声を音声データに変換するように構成された集音装置である。マイク25は、配信ユーザUa,Ubの音声入力を取得することができるように構成され。マイク25により取得された配信ユーザUa,Ubの音声入力は音声データに変換され、この音声データが通信I/F22を介してサーバ装置60に送信される。
視聴ユーザ装置10は、配信ユーザ装置20と同様の構成要素を備えてもよい。例えば、視聴ユーザ装置10は、コンピュータプロセッサ、通信I/F、ディスプレイ、及びカメラを備えてもよい。視聴ユーザ装置10は、所定のアプリケーションソフトウェアをダウンロード及びインストールすることにより、配信ユーザ装置20と同様の機能を奏してもよい。
視聴ユーザ装置10及び配信ユーザ装置20は、スマートフォンなどの情報処理装置である。視聴ユーザ装置10及び配信ユーザ装置20は、スマートフォン以外に、携帯電話機、タブレット端末、パーソナルコンピュータ、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の動画を再生可能な各種情報処理装置であってもよい。視聴ユーザ装置10及び配信ユーザ装置20の各々は、上記の構成要素以外に、ジャイロセンサ等の各種センサを備えるセンサユニット、及び各種情報を記憶するストレージを備えてもよい。
次に、サーバ装置60について説明する。図示の実施形態において、サーバ装置60は、コンピュータプロセッサ61と、通信I/F62と、ストレージ63と、を備えている。
コンピュータプロセッサ61は、ストレージ63又はその他のストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ61は、例えば、CPU、MPU、DSP、GPU、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ61は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。図1においては、コンピュータプロセッサ61が単一の構成要素として図示されているが、コンピュータプロセッサ61は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。
通信I/F62は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置60は、通信I/F62を介して、他の装置とデータを送受信することができる。
ストレージ63は、コンピュータプロセッサ61によりアクセスされる記憶装置である。ストレージ63は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な前記以外の各種記憶装置である。ストレージ63には、様々なプログラムが記憶され得る。ストレージ63に記憶され得るプログラム及び各種データの少なくとも一部は、サーバ装置60とは物理的に別体のストレージ(例えば、ストレージ70)に格納されてもよい。
本明細書において、コンピュータプロセッサ21又はコンピュータプロセッサ61によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令はそれぞれ、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、コンピュータプロセッサ21又はコンピュータプロセッサ61によって実行されるプログラム又は当該プログラムに含まれる命令はそれぞれ、複数の仮想コンピュータプロセッサにより実行されてもよい。
次に、ストレージ63に記憶されるデータについて説明する。図示の実施形態においては、ストレージ63には、モデルデータ63a、オブジェクトデータ63b、共演申請者情報63c、共演動画情報63d、及び前記以外の配信動画の生成及び配信に必要な様々なデータが記憶される。
モデルデータ63aは、キャラクタのアニメーションを生成するためのモデルデータである。モデルデータ63aは、3次元のアニメーションを生成するための3次元モデルデータであってもよいし、2次元のモデルデータを生成するための2次元モデルデータであってもよい。モデルデータ63aは、例えば、キャラクタの顔及び顔以外の部分の骨格を示すリグデータ(「スケルトンデータ」と呼ばれることもある。)と、キャラクタの表面の形状や質感を示す表面データと、を含む。モデルデータ63aには、互いに異なる複数のモデルデータを含むことができる。この複数のモデルデータは、互いに異なるリグデータを有していてもよいし、同じリグデータを有していてもよい。この複数のモデルデータは、互いと異なる表面データを有していてもよいし、同じ表面データを有していてもよい。
オブジェクトデータ63bは、動画を構成する仮想空間を構築するためのアセットデータを含む。オブジェクトデータ63bは、動画を構成する仮想空間の背景を描画するためのデータ、動画に表示される各種物体を描画するためのデータ、及びこれら以外の動画に表示される各種オブジェクトを描画するためのデータが含まれる。オブジェクトデータ63bには、仮想空間におけるオブジェクトの位置を示すオブジェクト位置情報を含んでもよい。
共演申請者情報63cの例が図3に示されている。図示のように、共演申請者情報63cとして、動画配信システム1を利用するユーザのアカウント情報と対応付けて、当該ユーザに関する様々なデータが記憶される。後述するように、共演申請者情報63cは、ユーザが他のユーザとの共演申請を行った場合に、当該申請を許可するか否かを判定するために参照され得る。あるユーザの共演申請者情報63cには、当該ユーザに対する評価を示すユーザ評価情報、当該ユーザが配信した動画した動画に対する評価示す動画評価情報、当該ユーザが配信した動画の配信時間を示す配信時間、当該ユーザが配信した動画の配信回数、及び当該ユーザとの共演が禁止されている共演禁止情報が含まれてもよい。共演申請者情報63cには、上記以外の情報が含まれてもよい。
ユーザのアカウント情報は、例えば、当該ユーザを識別するユーザ識別情報(ユーザID)である。ユーザIDは、ユーザが最初に動画配信システム1にサービスの利用登録をするときに、当該ユーザに対して割り当てられる。
ユーザのアカウント情報に対応付けられているユーザ評価情報は、当該ユーザに対する他のユーザからの評価を示す情報である。ユーザ評価情報は、例えば、自然数で表されるユーザ評価ポイントである。動画配信システム1のユーザは、自らのキャラクタオブジェクトを含む動画をサーバ装置60を介して配信することができる。あるユーザのユーザ評価ポイントは、当該ユーザが配信した動画に対する視聴ユーザからのフィードバックに基づいて更新されてもよい。例えば、視聴ユーザからのフィードバックには、視聴画面に表示される「いいね」ボタンの選択、否定的な評価を表す「ブー」ボタンの選択、視聴画面に表示されるアイテムのギフトのギフティング(ギフトを贈ること)、視聴画面からのコメントの送信、及びこれら以外の様々なフィードバックが含まれる。「いいね」ボタンは、視聴者が視聴動画や視聴動画を配信している配信ユーザに対して好感を持ったときに選択されることが想定されている。「いいね」ボタンは、視聴画面において、「いいね」や「Like」という好感を示す文字を含むアイコンとして示されてもよい。「ブー」ボタンは、視聴者が視聴動画や視聴動画を配信している配信ユーザに対して反感などのネガティブな印象を持ったときに選択されることが想定されている。「ブー」ボタンは、視聴画面において、「よくないね」や「disike」という反感を示す文字を含むアイコンとして示されてもよい。本明細書では、好感を示すためのボタン及びアイコンをそれぞれ「好感ボタン」及び「好感アイコン」と呼び、反感を示すためのボタン及びアイコンをそれぞれ「反感ボタン」及び「反感アイコン」と呼ぶことがある。評価ポイントには、好感ボタンの選択数、反感ボタンの選択数、ギフトのギフティング数(もしくはギフティング金額)、コメント数、又はこれら以外の視聴ユーザからのフィードバックに関連するパラメータが含まれ得る。例えば、視聴ユーザから肯定的なフィードバック又は否定的なフィードバックがなされた場合に、ユーザ評価ポイントを増加させてもよい。ユーザ評価ポイントは、視聴ユーザからの肯定的なフィードバックの数又は量をポイント数として評価するものであってもよいし、視聴ユーザからの否定的なフィードバックの数又は量をポイント数として評価するものであってもよい。さらに肯定的なフィードバックと否定的なフィードバックのそれぞれの数により、ユーザ評価ポイントが増減するようになっていてもよい。より具体的には、肯定的なフィードバックがなされた場合にユーザ評価ポイントを増加させ、否定的なフィードバックがなされた場合に減らす、もしくはその逆であってもよい。あるユーザのユーザ評価ポイントは、当該ユーザが配信した動画に対するフィードバック以外の契機で更新されてもよい。たとえば、あるユーザが他のユーザとサーバ装置60が提供するソーシャルネットワーキングサービスを利用して交流する際に、当該ソーシャルネットワーキングサービスを利用した活動に基づいてユーザ評価ポイントが更新されてもよい。
ユーザのアカウント情報に対応付けられている動画評価情報は、当該ユーザが配信した動画に対する他のユーザからの評価を示す情報である。動画評価情報は、例えば、自然数で表される動画評価ポイントである。あるユーザの動画評価ポイントは、当該ユーザが配信した動画に対する視聴ユーザからのフィードバックに基づいて更新されてもよい。あるユーザが配信した動画に対して、当該動画を視聴した視聴ユーザから肯定的なフィードバックがなされた場合又は否定的なフィードバックがなされた場合に、当該ユーザの動画評価ポイントを増加させてもよい。あるユーザが配信した動画に対してフィードバックがなされた場合には、ユーザ評価ポイント及び動画評価ポイントを両方とも更新してもよい。
ユーザのアカウント情報に対応付けられている配信時間は、当該ユーザが配信した動画の配信時間である。この配信時間は、動画配信システム1の利用開始からの総配信時間であってもよいし、ある一定の期間における配信時間であってもよい。ユーザのアカウント情報に対応付けられている配信回数は、当該ユーザが配信した動画の配信回数である。この配信回数は、動画配信システム1の利用開始からの総配信時間であってもよいし、ある一定の期間における配信回数であってもよい。
ユーザのアカウント情報に対応付けられている共演禁止情報は、当該ユーザを共演禁止ユーザとして指定している他のユーザのユーザIDである。動画配信システム1において、あるユーザは、共演を行わない他のユーザを指定することができる。例えば、ユーザAは、自らが配信する動画において望ましくない行動をとると思われるユーザBを共演禁止ユーザとして指定することができる。この場合、ユーザBのユーザIDと対応付けて、ユーザAのユーザIDが共演禁止情報として記憶される。ユーザAがユーザBを共演禁止ユーザとして指定する場合、ユーザAのユーザIDと対応付けてユーザBのユーザIDを共演禁止情報として記憶してもよい。
共演動画情報の例が図4に示されている。図示のように、共演動画情報63dとして、共演動画を識別する共演動画識別情報と対応付けて、当該共演動画に関する様々なデータが記憶される。ある共演動画の共演動画情報63dには、当該共演動画における共演ユーザに対する評価を示す共演ユーザ評価情報、及び当該共演動画の共演開始からの経過時間を示す共演時間情報が含まれてもよい。
あるユーザが他のユーザとの共演申請を行い当該共演申請が許可されて共演動画が配信される場合、その共演申請を行ったユーザを「共演ユーザ」と呼ぶことがある。また、元々動画の配信を行っており、共演申請を受けたユーザを「ホストユーザ」と呼ぶことがある。共演ユーザ情報は、ホストユーザではなく共演ユーザに対する評価を示す。ある共演ユーザの共演ユーザ評価情報は、例えば、自然数で表される共演ユーザ評価ポイントである。
共演時間情報は、共演ユーザとホストユーザとの共演が始まってからの経過時間を示す。
配信ユーザ装置20は、配信プログラム及び/又はそれ以外のプログラムをコンピュータプロセッサで実行することにより、フェイスモーションデータ生成部211a以外の機能を実現してもよい。例えば、配信ユーザ装置20は、動画視聴用の視聴プログラムを実行することにより受信した動画を再生する機能を実現してもよい。配信プログラムと視聴プログラムとは、一つのアプリケーションソフトウェアにパッケージングされていてもよいし、別個のアプリケーションソフトウェアとして提供されてもよい。
視聴ユーザ装置10は、配信ユーザ装置20と同様の機能を提供するように構成されてもよい。例えば、視聴ユーザ装置10は、動画視聴用の視聴プログラムを実行することにより受信した動画を再生する機能を実現してもよく、配信プログラムを実行することによりフェイスモーションデータ生成部211aの機能と同様の機能を実現してもよい。
次に、コンピュータプロセッサ21a,21bにより実現される機能についてより具体的に説明する。コンピュータプロセッサ21aは、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、フェイスモーションデータ生成部211aとして機能する。同様に、コンピュータプロセッサ21bは、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、フェイスモーションデータ生成部211bとして機能する。コンピュータプロセッサ21a,21bにより実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ21a,21b以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ21a,21bにより実現される機能の少なくとも一部は、例えば、サーバ装置60に搭載されているコンピュータプロセッサ61により実現されてもよい。
フェイスモーションデータ生成部211aは、カメラ24aの撮像データに基づいて、配信ユーザUaの顔の動きのデジタル表現であるフェイスモーションデータを生成する。同様に、フェイスモーションデータ生成部211bは、カメラ24bの撮像データに基づいて、配信ユーザUbの顔の動きのデジタル表現であるフェイスモーションデータを生成する。フェイスモーションデータは、時間の経過に伴って随時生成される。フェイスモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、フェイスモーションデータ生成部211aにて生成されるフェイスモーションデータは、配信ユーザUaの顔の動き(表情の変化)を時系列的にデジタル表現することができ、フェイスモーションデータ生成部211bにて生成されるフェイスモーションデータは、配信ユーザUbの顔の動き(表情の変化)を時系列的にデジタル表現することができる。フェイスモーションデータ生成部211a,211bにて生成されたフェイスモーションデータは、通信I/F22a,22bを介してサーバ装置60に送信される。
配信ユーザ装置20においては、フェイスモーションデータ生成部211aにて生成されるフェイスモーションデータに加えて、配信ユーザUa,Ubの体の顔以外の各部位の位置及び向きのデジタル表現であるボディモーションデータを生成してもよい。配信ユーザ装置20は、フェイスモーションデータに加えて、ボディモーションデータをサーバ装置60に送信してもよい。ボディモーションデータを生成するために、配信ユーザUa,Ubは、モーションセンサを装着してもよい。配信ユーザ装置20は、配信ユーザUa,Ubに装着されたモーションセンサの検出情報に基づいて、ボディモーションデータを生成することができるように構成されてもよい。ボディモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、ボディモーションデータは、配信ユーザUa,Ubの体の動きを時系列的にデジタルデータとして表現する。配信ユーザUa,Ubに装着されたモーションセンサの検出情報に基づくボディモーションデータの生成は、例えば、撮影スタジオで行われてもよい。撮影スタジオには、ベースステーションと、トラッキングセンサと、ディスプレイと、が備えられてもよい。ベースステーションは、多軸レーザーエミッターであってもよい。配信ユーザUa,Ubに装着されるモーションセンサは、例えば、HTC CORPORATIONから提供されているVive Trackerであってもよい。撮影スタジオに備えられるベースステーションは、例えば、HTC CORPORATIONから提供されているベースステーションであってもよい。また、撮影スタジオと別室には、サポーターコンピュータが設置されていてもよい。撮影スタジオのディスプレイは、サポートコンピュータから受信した情報を表示するように構成されてもよい。サーバ装置60は、サポーターコンピュータが設置されている部屋と同じ部屋に設置されてもよい。サポーターコンピュータが設置されている部屋と撮影スタジオとはガラス窓によって隔てられていてもよい。この場合、サポーターコンピュータのオペレータ(本明細書では「サポーター」ということがある。)は、配信ユーザUa,Ubを視認できる。サポーターコンピュータは、サポーターの操作に応じて、撮影スタジオに備えられた各種装置の設定を変更することができるように構成されてもよい。サポーターコンピュータは、例えば、ベースステーションによる走査インターバルの設定、トラッキングセンサの設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。サポーターは、サポーターコンピュータにメッセージを入力し、当該入力されたメッセージを撮影スタジオのディスプレイに表示することができる。
次に、コンピュータプロセッサ61により実現される機能についてより具体的に説明する。コンピュータプロセッサ61は、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、アニメーション生成部61a、動画生成部61b、動画配信部61c、共演申請判定部61d、共演申請処理部61e、及び共演終了処理部61fとして機能する。
アニメーション生成部61aは、配信ユーザ装置20のフェイスモーションデータ生成部21aによって生成されたフェイスモーションデータを、モデルデータ63aに含まれる所定のモデルデータに適用することにより、キャラクタオブジェクトのアニメーションを生成するように構成される。アニメーション生成部61aは、キャラクタオブジェクトの表情が当該フェイスモーションデータに基づいて変化するように、当該キャラクタオブジェクトのアニメーションを生成することができる。具体的には、アニメーション生成部61aは、配信ユーザUaに関するフェイスモーションデータに基づいて、配信ユーザUaの表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。同様に、アニメーション生成部61aは、配信ユーザUbに関するフェイスモーションデータに基づいて、配信ユーザUbの表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。
配信ユーザ装置20から配信ユーザUa,Ubに関するボディモーションデータが提供される場合には、アニメーション生成部61aは、配信ユーザUa,Ubに関するボディモーションデータ及びフェイスモーションデータに基づいて、配信ユーザUa,Ubの体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。
動画生成部61bは、配信ユーザUaの動画を配信する場合には、オブジェクトデータ63bを用いて背景を示す背景画像を生成し、この背景画像と、配信ユーザUaに対応するキャラクタオブジェクトのアニメーションと、を含む動画を生成することができる。動画生成部61bは、生成した動画に、配信ユーザ装置20aから受信した音声データに基づいて生成される配信ユーザUaの音声を合成することができる。同様に、動画生成部61bは、配信ユーザUbの動画を配信する場合には、オブジェクトデータ63bを用いて背景を示す背景画像を生成し、この背景画像と、配信ユーザUbに対応するキャラクタオブジェクトのアニメーションと、を含む動画を生成することができる。動画生成部61bは、生成した動画に、配信ユーザ装置20bから受信した音声データに基づいて生成される配信ユーザUbの音声を合成することができる。動画生成部61bによって生成される動画において、配信ユーザUa,Ubに対応するキャラクタオブジェクトは、背景画像に重畳して表示される。以上のようにして、動画生成部61bは、配信ユーザUa又は配信ユーザUbの表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成し、このアニメーションに配信ユーザUa又は配信ユーザUbの音声が合成された配信用の動画を生成することができる。
動画配信部61cは、動画生成部61bにおいて生成された動画を配信する。この動画は、ネットワーク50を介して視聴ユーザ装置10及びこれら以外の視聴ユーザ装置に配信される。生成された動画は、配信ユーザ装置20a,20bにも配信される。受信された動画は、視聴ユーザ装置10及び配信ユーザ装置20a,20bにおいて再生される。動画配信部61cは、配信ユーザごとに、動画の配信時間及び配信回数の少なくとも一方をモニターしてもよい。動画配信部61cは、モニター結果に基づいて、共演申請者情報の配信時間及び配信回数を更新してもよい。
動画配信部61cから配信された動画の表示例を図5及び図6a~図6bに示す。これらの図では、配信ユーザUbが配信ユーザ装置20bを用いて、自らのキャラクタオブジェクトを含む動画を配信し、当該動画が視聴ユーザ装置10及び配信ユーザ装置20a,20bにおいて再生されていると想定している。図6aにおいては、配信ユーザUaは、動画配信を行っておらず、別の配信ユーザである配信ユーザUbによって配信されている動画を視聴している。このため、図5及び図6a~図6bに関する説明においては、配信ユーザUaのことも視聴ユーザと呼ぶことがある。図5は、視聴ユーザ装置10において再生されている動画の表示例を示し、図6aは、配信ユーザ装置20aにおいて再生されている動画の表示例を示し、図6bは、配信ユーザ装置20bにおいて再生されている動画の表示例を示す。
図5に示されているように、視聴ユーザ装置10のディスプレイには、サーバ装置60から配信された動画の表示画像30が表示される。この視聴ユーザ装置10に表示されている表示画像30には、アニメーション生成部61aにより生成された配信ユーザUbのキャラクタオブジェクト31と、ギフトボタン32と、評価ボタン33と、コメントボタン34と、コメント表示領域35と、が含まれている。
図6aに示されているように、配信ユーザ装置20aのディスプレイには、サーバ装置60から配信された動画の表示画像130が表示される。この表示画像130には、表示画像30と同様に、配信ユーザUbのキャラクタオブジェクト31と、ギフトボタン32と、評価ボタン33と、コメントボタン34と、コメント表示領域35と、が含まれている。これに加えて、表示画像130には、配信ユーザUbが配信している動画において配信ユーザUbとの共演を申請するための共演申請ボタン36が含まれる。配信ユーザ装置20aは、例えば、視聴プログラムを含むアプリケーションソフトウェアを実行することにより、配信された動画の表示画像130を表示することができる。
図3に示されているように、一実施形態において、視聴ユーザ装置10の表示画像30には共演申請ボタン36が含まれない。例えば、視聴ユーザ装置10に配信プログラムを含むアプリケーションソフトウェアがダウンロードもしくはインストールされていない場合、及び、視聴ユーザ装置10において配信プログラムを含むアプリケーションソフトウェアが起動されていない場合に、共演申請ボタン36が含まれないように視聴ユーザ装置10の表示画像30が生成される。他の実施形態では、視聴ユーザ装置10の表示画像30にも共演申請ボタン36を表示してもよい。例えば、視聴ユーザ装置10に配信プログラムを含むアプリケーションソフトウェアがダウンロードもしくはインストールされている場合、または、視聴ユーザ装置10において配信プログラムを含むアプリケーションソフトウェアが起動されている場合に、共演申請ボタン36が含まれるように視聴ユーザ装置10の表示画像30が生成される。
キャラクタオブジェクト31は、上記のように、配信ユーザUbのフェイスモーションデータをモデルデータ63aに含まれているモデルデータに適用することにより生成されているため、配信ユーザUbの表情の動きに同期してその表情が変化する。配信ユーザ装置20からボディモーションデータが提供される場合には、キャラクタオブジェクト31は、その顔以外の部位も、配信ユーザUbの体の動きに同期して変化するように制御され得る。
ギフトボタン32は、視聴ユーザ装置10への操作によって選択可能に表示画面30に表示されている。ギフトボタン32は、例えば、視聴ユーザ装置10のタッチパネルのうちギフトボタン32が表示されている領域へのタップ操作により選択され得る。一実施形態において、ギフトボタン32が選択されると、表示画面30に、視聴中の動画を配信している配信ユーザ(ここでは、配信ユーザUbである。)にギフティングするギフトを選択するためのウィンドウが表示される。当該視聴ユーザは、当該ウィンドウに表示されているギフトの中からギフティング対象とするギフトを購入することができる。他の実施形態においては、ギフトボタン32が選択されたことに応じて、表示画面30に、購入済みのギフトの一覧を含むウィンドウが表示される。この場合、当該視聴ユーザは、当該ウィンドウに表示されているギフトの中からギフティング対象とするギフトを選択することができる。視聴ユーザ装置10においてギフトボタン32が選択されると、ギフティング情報がサーバ装置60に送信されてもよい。このギフティング情報には、ギフティングするギフトを特定するギフト識別情報(ギフトID)が含まれてもよい。このように、動画を視聴している視聴ユーザは、ギフトボタン32の選択により、当該動画を配信している配信ユーザに対して所望のギフトを提供(ギフティング)することができる。
評価ボタン33は、視聴ユーザ装置10を使用する視聴ユーザによって選択可能に表示画面30に表示されている。評価ボタン33は、例えば、視聴ユーザ装置10のタッチパネルのうち評価ボタン33が表示されている領域へのタップ操作により選択され得る。動画を視聴中の視聴ユーザによって評価ボタン33が選択されると、当該動画を配信する配信ユーザ(図示の例においては、配信ユーザUb)への肯定的な評価又は配信されている動画への肯定的な評価がなされたことを示す評価更新情報がサーバ装置60に送信されてもよい。サーバ装置60では、視聴ユーザからの評価更新情報に基づいて、共演申請者情報を更新することができる。例えば、視聴ユーザからの評価更新情報に基づいて、共演申請者情報に含まれるユーザ評価情報及び動画評価情報のうちの少なくとも一方が更新されてもよい。例えば、図5に示されている表示画像30に含まれる評価ボタン33が視聴ユーザによって選択された場合、視聴ユーザ装置10に表示されている動画を配信している配信ユーザUbのユーザ評価情報及び動画評価情報の少なくとも一方が更新されてもよい。評価ボタン33の選択により、当該動画への否定的な評価がなされたことを示す評価情報がサーバ装置60に送信されてもよい。動画への肯定的な評価を示す評価情報をポジティブ評価情報と呼び、動画への否定的な評価がなされたことを示す評価情報をネガティブ評価情報と呼んでもよい。サーバ装置60は、ポジティブ評価情報を受信した場合、ユーザ評価情報及び動画評価情報の少なくとも一方を増加させてもよい。サーバ装置60は、ネガティブ評価情報を受信した場合、ユーザ評価情報及び動画評価情報の少なくとも一方を減少させてもよい。
コメントボタン34は、ユーザによって選択可能に表示画面30に表示される。コメントボタン34が例えばタップ操作により選択されると、コメントを入力するためのコメント入力ウィンドウが表示画面30に表示される。視聴ユーザは、視聴ユーザ装置10又は配信ユーザ装置20aの入力機構を介してコメントを入力することができる。入力されたコメントは、視聴ユーザ装置10及び配信ユーザ装置20aからサーバ装置60に送信される。サーバ装置60は、視聴ユーザ装置10、配信ユーザ装置20a、及びこれら以外のユーザ装置からのコメントを受け付け、当該コメントを表示画像30内のコメント表示領域35に表示する。コメント表示領域35には、各ユーザから投稿されたコメントが、例えば時系列に表示される。コメント表示領域35は、表示画面30の一部の領域を占める。コメント表示領域35に表示可能なコメント数には上限がある。図示の例では、コメント表示領域35には3つまでコメントが表示され得る。コメント表示領域35に設定されている上限を超えたコメントの投稿がなされた場合には、投稿時間が古いコメントから順にコメント表示領域35から削除される。このため、受け付けるコメントの頻度が高くなるほどコメント領域35における各コメントの表示時間は短くなる。
図6bに示されているように、配信ユーザ装置20bのディスプレイには、サーバ装置60から配信された動画の表示画像40が表示される。この配信ユーザ装置20bに表示される表示画像40には、配信ユーザUbに対応するキャラクタオブジェクト31と、視聴ユーザから受け取ったギフトを動画中に表示するための表示指示ボタン42a~42cと、コメント表示領域35と、が含まれている。配信ユーザ装置20bに表示される表示画像40には、表示画像30及び表示画像130と同じ背景画像、キャラクタオブジェクト画像、及びコメントが含まれている。他方、表示画像40は、ギフトボタン32、評価ボタン33、コメントボタン34、及び共演申請ボタン36を含んでおらず、表示指示ボタン42a~42cを含んでいる点で表示画像30及び表示画像130と異なっている。
共演申請判定部61dは、あるユーザからの共演申請を受け付けた場合に、当該ユーザの共演申請を許可するか否かを判定する。共演申請は、例えば、配信された動画の視聴中に共演申請ボタン36を選択することによりサーバ装置60に送信され、この送信された共演申請がサーバ装置60にて受け付けられる。共演申請を行うユーザを共演申請ユーザと呼び、共演申請を受けたユーザをオリジナルユーザと呼ぶことがある。例えば、画像を配信しているユーザAに対してユーザBが共演申請を行う場合には、ユーザAがオリジナルユーザであり、ユーザBが共演申請ユーザである。以下では、配信ユーザUbのキャラクタオブジェクト31を含む動画を視聴している配信ユーザUaから配信ユーザUbとの共演申請がなされたと想定して説明を行う。配信ユーザUaは、配信ユーザ装置20aにおいて共演申請ボタン36を選択することにより配信ユーザUbとの共演を申請するための共演申請を配信ユーザ装置20aからサーバ装置60に送信することができる。この例においては、配信ユーザUaが共演申請ユーザである。共演申請ボタン36が選択されたことに応じて、配信ユーザ装置20aにおいて配信プログラムを含むアプリケーションソフトウェアが起動されてもよい。サーバ装置は、配信ユーザUaからの共演申請だけでなく、様々な配信ユーザからの共演申請を受け付けることができる。
一実施形態において、配信ユーザUaから配信ユーザUbとの共演を申請する共演申請を受け付けると、共演申請判定部61dは、共演申請ユーザである配信ユーザUaの共演申請者情報の少なくとも一部に基づいて、配信ユーザUaと配信ユーザUbとの共演を許可するか否かを判定する。一実施形態において、共演申請判定部61dは、共演申請ユーザである配信ユーザUaの共演申請者情報のうちユーザ評価情報に基づいて、配信ユーザUaの共演可否を判定する。ユーザ評価情報がユーザ評価ポイントである場合には、ユーザ評価ポイントが所定の閾値よりも大きい場合に配信ユーザUaの配信ユーザUbとの共演が許可され、当該閾値以下の場合には配信ユーザUaの配信ユーザUbとの共演は拒否される。既述のとおり、ユーザ評価ポイントは、他のユーザからのフィードバックにより更新され得る。ユーザ評価情報は、ユーザ評価ポイント以外であってもよい。例えば、あるユーザのユーザ評価情報は、当該ユーザが受け取ったギフトの数量であってもよい。ギフトは、視聴ユーザから配信ユーザに対して贈られるものであるから、あるユーザに対して贈られたギフトの数量は、当該ユーザに対する評価を表すと考えられる。本発明に適用可能なユーザ評価情報は、本明細書に明示的に説明されたものには限定されない。配信ユーザUaのユーザ評価情報に基づいて当該配信ユーザUaの共演可否を判定することにより、他のユーザからの評価が高いユーザについてのみ共演を許可することができる。
一実施形態において、共演申請判定部61dは、共演申請ユーザである配信ユーザUaの共演申請者情報のうち動画評価情報に基づいて、配信ユーザUaの共演可否を判定する。動画評価情報が動画評価ポイントである場合、共演申請判定部61dは、動画評価ポイントが所定の閾値よりも大きい場合に配信ユーザUaの配信ユーザUbとの共演を許可し、当該閾値以下の場合に配信ユーザUaの配信ユーザUbとの共演を拒否してもよい。本発明に適用可能な動画評価情報は、本明細書に明示的に説明されたものには限定されない。配信ユーザUaが配信した動画に対する評価を示す動画評価情報に基づいて当該配信ユーザUaの共演可否を判定することにより、他のユーザからの評価が高い動画を配信したユーザについてのみ共演を許可することができる。
一実施形態において、共演申請判定部61dは、共演申請ユーザである配信ユーザUaの共演申請者情報のうち配信時間及び配信回数の一方又は両方に基づいて、配信ユーザUaの共演可否を判定する。共演申請判定部61dは、配信時間及び配信回数の少なくとも一方がそれぞれについて定められた閾値よりも大きい場合に配信ユーザUaの配信ユーザUbとの共演を許可してもよい。共演申請判定部61dは、配信時間及び配信回数の両方がそれぞれについて定められた閾値よりも大きい場合に配信ユーザUaの配信ユーザUbとの共演を許可してもよい。配信ユーザUaが配信した動画の配信時間及び/又は配信回数に基づいて当該配信ユーザUaの共演可否を判定することにより、動画の配信に積極的なユーザについてのみ共演を許可することができる。
一実施形態において、共演申請判定部61dは、共演申請ユーザである配信ユーザUaの共演申請者情報のうち共演禁止情報に基づいて配信ユーザUaの共演可否を判定する。例えば、共演申請判定部61dは、配信ユーザUbのユーザIDが出演禁止情報に含まれている場合に配信ユーザUaの配信ユーザUbとの共演を拒否し、配信ユーザUbのユーザIDが出演禁止情報に含まれていない場合に配信ユーザUaの配信ユーザUbとの共演を許可する。共演禁止情報を参照することにより、共演の禁止が設定されているユーザとの共演を回避することができる。
一実施形態において、配信ユーザUaから配信ユーザUbとの共演を申請する共演申請を受け付けると、共演申請判定部61dは、オリジナルユーザである配信ユーザUbの共演申請者情報の少なくとも一部に基づいて、配信ユーザUaと配信ユーザUbとの共演を許可するか否かを判定する。例えば、共演申請判定部61dは、配信ユーザUbの共演申請者情報においてユーザUaのユーザIDが出演禁止情報に含まれている場合に配信ユーザUaの配信ユーザUbとの共演を拒否し、配信ユーザUaのユーザIDが出演禁止情報に含まれていない場合に配信ユーザUaの配信ユーザUbとの共演を許可する。このように、オリジナルユーザの共演申請者情報に含まれる共演禁止情報を参照することによっても、共演の禁止が設定されているユーザとの共演を回避することができる。一実施形態において、共演申請判定部61dは、オリジナルユーザの共演申請者情報に代えて、またはこれに加えて、オリジナルユーザ以外の共演申請者情報に含まれる共演禁止情報を参照して共演申請ユーザとオリジナルユーザとの共演を許可するか否かを判定してもよい。例えば、配信ユーザUaから配信ユーザUbとの共演申請がなされた場合に、共演申請判定部61dは、配信ユーザUa及び配信ユーザUbのいずれとも異なる配信ユーザUcの共演申請者情報において配信ユーザUaのユーザIDが出演禁止情報に含まれている場合に、配信ユーザUaの配信ユーザUbとの共演を拒否してもよい。共演申請判定部61dは、共演申請ユーザ及びオリジナルユーザ以外の複数のユーザの共演申請者情報において、当該共演申請ユーザのユーザIDが出演禁止情報に含まれている場合に、当該共演申請ユーザとオリジナルユーザとの共演を拒否してもよい。
共演申請判定部61dは、上記の判定条件を組み合わせて共演可否を判定してもよい。例えば、ユーザ評価情報に関する条件と配信時間に関する条件とを組み合わせることにより、他のユーザからの評価が高く且つ動画配信に積極的なユーザについてのみ共演を許可することができる。配信ユーザの人気が高まると、他のユーザからの共演申請が殺到する可能性がある。このような場合には、共演申請判定部61dでの判定に用いられる共演を許可するための許可条件を厳しくすることにより、多数の共演申請ユーザから望ましい共演相手を選抜することができる。共演申請判定部61dにおいて用いられる許可条件は、共演の申請を受けたユーザ(上記の例では、配信ユーザUb)の人気度に応じて変更されてもよい。例えば、共演の申請を受けたユーザの人気度に応じて、ユーザ評価ポイント、動画評価ポイント、配信時間、配信回数、及びこれら以外の共演申請者情報について設定される閾値を高くしてもよい。共演の申請を受けたユーザの人気度は、例えば、当該ユーザが配信している動画の視聴ユーザ数に基づいて定めることができる。
一実施形態において、共演申請処理部61eは、共演申請判定部61dにおいて、共演申請が許可された場合に、当該共演申請に基づいて配信ユーザUaと配信ユーザUbとが共演する共演動画を生成する。共演動画の生成のために、共演申請処理部61eは、配信ユーザUaから、当該配信ユーザUaのフェイスモーションデータ及び音声データを取得する。配信ユーザUaのフェイスモーションデータは、共演申請とともに配信ユーザ装置20aからサーバ装置60に送信されてもよいし、共演申請が許可された後にサーバ装置60からの要求に応じて配信ユーザ装置20aからサーバ装置60に送信されてもよい。配信ユーザUaの体の動きもアニメーションとして表現される場合には、配信ユーザUaのフェイスモーションデータとともにボディモーションデータがサーバ装置60に提供されてもよい。共演申請処理部61eは、配信ユーザUaからフェイスモーションデータが取得できない場合には、配信ユーザUaから音声データのみを取得してもよい。例えば、配信ユーザUaが使用する配信ユーザ装置20aがフェイスモーションデータ生成部211aの機能またはこれ以外の動画配信のための機能を備えていない場合、当該機能がディスエーブルされている場合、及びこれら以外の場合には、共演申請処理部61eは、配信ユーザUaからフェイスモーションデータ(及びボディモーションデータ)を取得せず音声データを取得してもよい。また、共演申請処理部61eは、共演申請判定部61dにおいて共演申請が許可された場合に、各配信ユーザの配信ユーザ装置に表示される表示画像に共演申請ボタン36を表示させない(共演申請ボタン36をディスエーブルする)ための処理を行ってもよい。これにより、共演が許可されたときに余分な共演申請がなされることを防止できる。
一実施形態において、共演申請処理部61eは、配信ユーザUaのフェイスモーションデータに基づいて、配信ユーザUbのキャラクタオブジェクト31を含む配信中の動画に、配信ユーザUaのキャラクタオブジェクトのアニメーションを追加することで、共演動画を生成する。配信ユーザUaのキャラクタオブジェクトのアニメーションは、アニメーション生成部61aにおいて、配信ユーザUaのフェイスモーションデータに基づいて生成されてもよい。配信ユーザUaのキャラクタオブジェクトのアニメーションは、配信ユーザUaのフェイスモーションデータをモデルデータ63aに含まれている配信ユーザUa用のモデルデータに適用することにより生成されてもよい。例えば、共演申請処理部61eは、配信ユーザUaのキャラクタオブジェクトのアニメーションを含むレイヤーを生成し、このレイヤーを配信ユーザUbのキャラクタオブジェクト31を含む動画に重畳することで、配信ユーザUaのキャラクタオブジェクト及び配信ユーザUbのキャラクタオブジェクト31を含む共演動画を生成することができる。配信ユーザUaのキャラクタオブジェクト及び配信ユーザUbのキャラクタオブジェクト31を含む共演動画を生成することで、配信ユーザUaと配信ユーザUbとは互いに離れた地点から動画配信システム1を利用している場合であっても、当該共演動画内で仮想的に共演することができる。共演申請処理部61eは、配信ユーザUaからフェイスモーションデータ(及びボディモーションデータ)を取得せず音声データを取得した場合には、配信ユーザUbのキャラクタオブジェクト31を含む動画に、配信ユーザUaから取得した音声データに基づいて生成される音声を重畳することで、配信ユーザUbのキャラクタオブジェクト31と配信ユーザUaの音声とを含む共演動画を生成することができる。共演申請処理部61eは、モデルデータ63aとして配信ユーザUa用のモデルデータが設定されていない場合にも、配信ユーザUbのキャラクタオブジェクト31を含む動画に、配信ユーザUaから取得した音声データに基づいて生成される音声を重畳することで、配信ユーザUbのキャラクタオブジェクト31と配信ユーザUaの音声とを含む共演動画を生成することができる。このように、配信ユーザUaは、自らの音声により配信ユーザUbと共演することができる。
共演申請処理部61eは、配信ユーザUaからフェイスモーションデータを取得できない場合に配信ユーザUaの音声と配信ユーザUbのキャラクタオブジェクト31を含む共演動画を配信し、その後配信ユーザUaからフェイスモーションデータを取得したタイミングで、配信ユーザUaのフェイスモーションデータに基づいて配信ユーザUaのキャラクタオブジェクトを生成することで、配信ユーザUaのキャラクタオブジェクト及び配信ユーザUbのキャラクタオブジェクト31を含む共演動画を生成することができる。このように、共演申請処理部61eは、配信ユーザUaの音声と配信ユーザUbのキャラクタオブジェクト31を含む共演動画を、配信ユーザUaのキャラクタオブジェクト及び配信ユーザUbのキャラクタオブジェクト31を含む共演動画に切り替えることができる。これとは逆に、共演申請処理部61eは、配信ユーザUaのキャラクタオブジェクト及び配信ユーザUbのキャラクタオブジェクト31を含む共演動画を、配信ユーザUaの音声と配信ユーザUbのキャラクタオブジェクト31を含む共演動画に切り替えることができる。このように、音声による共演が行われている共演動画(「音声共演動画」と呼ぶことがある。)とキャラクタオブジェクトによる共演が行われている共演動画(「キャラクタ共演動画」と呼ぶことがある。)とは、交互に切り替え可能とされてもよい。
生成された共演動画は、動画配信部61cにより配信される。共演動画は、配信ユーザ装置20aで作成されてもよい。共演動画が配信ユーザ装置20aで生成される場合には、当該共演動画が配信ユーザ装置20aからサーバ装置60に送信され、サーバ装置60の動画配信部61cにより配信される。
動画配信部61cから配信された共演動画の表示例を図7及び図8a~図8bに示す。これらの図では、配信ユーザUaから配信ユーザUbに対するが共演申請が許可されたため、配信ユーザUaのキャラクタオブジェクト131及び配信ユーザUbのキャラクタオブジェクト31を含む共演動画が配信されていることを想定している。
図7に示されているように、視聴ユーザ装置10のディスプレイには、サーバ装置60から配信された共演動画の表示画像230が表示される。この視聴ユーザ装置10に表示されている共演動画の表示画像230には、配信ユーザUbのキャラクタオブジェクト31に加えて、配信ユーザUaのキャラクタオブジェクト131が含まれている。配信ユーザUaのキャラクタオブジェクト131は、上記のように、アニメーション生成部61a又は共演申請処理部61eにおいて生成される。共演動画の表示画像230は、図5に示されている元の配信画像と同様に、ギフトボタン32と、評価ボタン33と、コメントボタン34と、コメント表示領域35と、を含んでいる。共演動画の表示画像230は、これらに加えて、ゲスト評価ボタン133a,133bを含んでいる。ゲスト評価ボタン133aは、ゲストユーザ(図示の例では、配信ユーザUaがゲストユーザである。)への肯定的な評価を示すポジティブ評価情報をサーバ装置60へ送信するためのボタンであり、ゲスト評価ボタン133bは、共演動画への否定的な評価を示すネガティブ評価情報をサーバ装置60へ送信するためのボタンである。
共演動画の配信画像230は、図示のとおり、横長の画像である。共演申請処理部61e又は動画配信部61cは、共演動画を横長の動画として配信する。これにより、視聴ユーザ装置10には、共演動画の配信画像230が横長の画像として表示される。一実施形態においては、元の動画(画像)が図4に示されているように縦長だとしても、共演動画は横長に変換されて配信される。共演動画は、二人の配信ユーザのキャラクタオブジェクトを含むため、横長の画像とすることにより、二人分のキャラクタオブジェクトを重複なく表示しやすくなる。例えば、共演動画においては、視聴ユーザの視点で向かって左半分を元の配信ユーザのキャラクタオブジェクトに割り当てられる領域とし、右半分を共演申請を行った配信ユーザのキャラクタオブジェクトに割り当てられる領域としてもよい。各配信ユーザへの領域の割り当ては、キャラクタオブジェクト同士が重複しないように任意に定められてもよい。
図8aに示されているように、配信ユーザUaの配信ユーザ装置20aのディスプレイには、サーバ装置60から配信された共演動画の表示画像330が表示される。この表示画像330には、表示画像230と同じ背景画像、キャラクタオブジェクト画像、及びコメントが含まれている。他方、表示画像330は、ギフトボタン32、評価ボタン33、コメントボタン34、及び共演申請ボタン36を含んでおらず、表示指示ボタン42a~42cを含んでいる点で表示画像230と異なっている。
図8bに示されているように、配信ユーザ装置20bのディスプレイには、サーバ装置60から配信された共演動画の表示画像430が表示される。表示画像430には、共演相手の配信ユーザUaの配信ユーザ装置20aに表示されている画像330と同じ背景画像、キャラクタオブジェクト31,131、コメント35、及び表示指示ボタン42a~42cが含まれている。他方、表示画像430には、共演を終了させるための共演終了ボタン45が表示されている。共演終了ボタン45は、共演申請を受けた配信ユーザUbの画面430には表示されるが、共演申請を行った配信ユーザUaの画面には表示されない。配信ユーザUb(ホストユーザ)の配信ユーザ装置20bにおいて共演終了ボタン45が選択されると、共演動画において配信ユーザUaとの共演を終了するための処理が行われる。例えば、共演終了ボタン45が選択されたことに応じて、配信ユーザ装置20bからサーバ装置60に対して共演終了指示が送信される。配信ユーザUbは、共演動画を再生している間に、共演者である配信ユーザUaを共演禁止ユーザとして設定することができる。例えば、共演動画内で配信ユーザUaが望ましくない行動や言動を行ったときに、配信ユーザUaを共演禁止ユーザとして設定することができる。配信ユーザUaの共演禁止ユーザとしての設定は、配信ユーザUaの共演申請者情報の出演禁止情報に配信ユーザUbのユーザIDを記録することにより行われてもよい。サーバ装置60は、例えば、配信ユーザ装置20bから共演終了指示を受け付けると、配信ユーザUbの共演申請者情報において配信ユーザUaを共演禁止ユーザとして自動的に登録することができる。配信ユーザUbは、共演動画の再生時以外に、配信ユーザUaを出願禁止ユーザとして設定してもよい。例えば、動画配信システム1が提供するメッセージングサービスにおいて配信ユーザUaによる望ましくないメッセージの投稿を確認したことに応じて、配信ユーザUaを出願禁止ユーザとして設定してもよい。
ホストユーザである配信ユーザUbの表示画像430には、ゲストユーザに警告を与えるための警告ボタン(不図示)が表示されてもよい。この警告ボタンは、ホストユーザの表示画像430には表示されるが、ゲストユーザの表示画像には表示されない。警告ボタンは、共演終了ボタン45とは異なり、ただちに共演を終了させる程度には至らないが、ゲストユーザがホストユーザにとって望ましくない行動をとった場合にホストユーザによって選択されることが想定される。ホストユーザの配信ユーザ装置(例えば、配信ユーザUbの配信ユーザ装置20b)において警告ボタンが選択されると、配信ユーザ装置20bからサーバ装置60に対して警告指示が送信される。ホストユーザの配信ユーザ装置において警告ボタンが選択されると、ゲストユーザの配信ユーザ装置(例えば、配信ユーザUaの配信ユーザ装置20a)に表示される共演動画の表示画像330においてホストユーザから警告がなされたことを示す警告情報が表示されてもよい。警告情報を視聴ユーザの表示画像230に表示することにより、視聴ユーザに対してゲストユーザの望ましくない行動に対してホストユーザが対応していることを示すことができる。警告情報は、表示画像330に代えて又は表示画像330に加えて、視聴ユーザ装置10における表示画像230に表示されてもよい。警告情報を含む共演動画は、サーバ装置60において生成されてもよい。サーバ装置60は、あるホストユーザからあるゲストユーザに対して警告指示がなされた回数をカウントし、警告指示の回数が所定回数(例えば、3回)になったときに当該ホストユーザと当該ゲストユーザとの共演を終了するための処理を行ってもよい。この所定回数以上の警告指示に基づいて共演を終了させるための処理は、上述した共演終了指示に基づいて共演を終了させるための処理と同じ処理であってもよい。
共演申請処理部61eは、作成した共演動画を識別する動画IDを発行してもよい。この動画IDと対応付けて、当該共演動画に関する共演動画情報をストレージ63に記憶することができる。既述のように、配信されている共演動画の動画IDと対応付けて、当該共演動画の共演時間情報を更新してもよい。共演時間情報は、動画配信部61cにおいて共演動画の配信時間をモニターし、このモニター結果に基づいて更新されてもよい。
共演動画情報のうち共演ユーザ評価情報は、視聴ユーザ装置10からのゲストユーザである配信ユーザUaへの肯定的な評価示すポジティブ評価情報及び当該配信ユーザUaへの否定的な評価を示すネガティブ評価情報に基づいて更新されてもよい。例えば、サーバ装置60は、視聴ユーザ装置10から配信ユーザUaへの肯定的な評価示すポジティブ評価情報を受信した場合には共演ユーザ評価ポイントを増加させてもよく、配信ユーザUaへの否定的な評価示すネガティブ評価情報を受信した場合には共演ユーザ評価ポイントを減少させてもよい。視聴ユーザが共演動画の視聴を途中で止めた場合には、当該視聴ユーザが当該共演動画に満足していない可能性がある。よって、視聴ユーザが共演動画の視聴を途中で止めた場合に、ゲストユーザへのネガティブな評価があったものとして、当該ゲストユーザの共演ユーザ評価ポイントを減少させてもよい。ポジティブ評価情報及びネガティブ評価情報の少なくとも一方は、時間の経過とともに減少するように更新されてもよい。例えば、配信ユーザUaがある時刻において100ポイントのポジティブ評価情報を有していても、時間の経過に伴って当該ポジティブ評価情報はゼロに近づくように更新されてもよい。あるユーザについてのネガティブ評価情報が所定の値を超えると、当該ユーザについては他のユーザとの共演を禁止してもよい。例えば、ネガティブ評価情報が所定値を超えたユーザの配信ユーザ装置に表示される表示画像においては、共演申請ボタンを表示させない処理がなされてもよい。
共演終了処理部61fは、ゲストユーザである配信ユーザUaとホストユーザである配信ユーザUbとの共演を終了させるための共演終了条件が満たされるとゲストユーザである配信ユーザUaとホストユーザである配信ユーザUbとの共演を終了するための処理を行う。一実施形態において、共演終了処理部61fは、ホストユーザである配信ユーザUbの配信ユーザ装置20bから共演終了指示を受け付けると、共演終了条件が満たされたと判定し、共演動画の配信を終了するための処理を行う。例えば、共演終了処理部61fは、共演終了指示が受け付けられると、配信ユーザUaのキャラクタオブジェクト131のアニメーションの生成を中止し、配信ユーザUaのキャラクタオブジェクト131を含まず配信ユーザUbのキャラクタオブジェクト31を含む動画を生成する。言い換えると、配信する動画からゲストユーザである配信ユーザUaのキャラクタオブジェクト131を排除する。ゲストユーザである配信ユーザUaのキャラクタオブジェクト131が排除されることにより、配信ユーザUaと配信ユーザUbとの共演は終了する。共演が終了した後は、キャラクタオブジェクト131を含まずにキャラクタオブジェクト31を含む動画の配信が継続されてもよい。この共演終了後に配信される動画は、図4に示されているように、縦長の動画として生成されてもよい。つまり、共演が終了したことに応じて、動画の向きが変更されてもよい。一実施形態においては、共演が終了したことに応じて、動画の向きが横向きから縦向きに変更されてもよい。他の実施形態においては、共演が終了したことに応じて、ホストユーザである配信ユーザUbによる動画の配信を終了してもよい。一実施形態において、配信ユーザUbとの共演が終了したときに他のユーザからの共演申請を既に受信している場合、共演申請判定部61dは、当該共演申請に基づいて当該他のユーザの共演可否を判定してもよい。別の一実施形態において、共演終了処理部61fは、配信ユーザUbとの共演が終了したことに応じて、別のユーザからの共演申請を受け付けてもよい。例えば、各配信ユーザの配信ユーザ装置における表示画像において共演申請ボタン36を再度表示させる(共演申請ボタン36のディスエーブル状態を解除する)ための処理が行われてもよい。
一実施形態において、共演終了処理部61fは、ゲストユーザである配信ユーザUaのキャラクタオブジェクト131がノンアクティブ状態にあるか否かを判定し、ノンアクティブ状態にあると判定された場合に、共演終了条件が満たされたと判定する。一実施形態において、配信ユーザUaのキャラクタオブジェクト131がノンアクティブ状態にあるか否かは、配信ユーザUaの配信ユーザ装置20aから受け取るフェイスモーションデータ、ボディモーションデータ、及び音声データのうちの少なくとも一つに基づいて判定される。フェイスモーションデータ、ボディモーションデータ、及び音声データはいずれも配信ユーザの動きを示すデータであるため、本明細書では、これらを総称して「モーションデータ」と呼ぶことがある。配信ユーザUaのキャラクタオブジェクト131がノンアクティブ状態にあるか否かは、モーションデータに基づいて、すなわちフェイスモーションデータ、ボディモーションデータ、及び音声データのうちの少なくとも一つに基づいて判定される。例えば、配信ユーザUaの配信ユーザ装置20aからフェイスモーションデータの入力が一定期間ない場合には、共演動画において配信ユーザUaのキャラクタオブジェクト131の表情が当該一定期間動かなくなるため、キャラクタオブジェクト131がノンアクティブ状態にあると判定されてもよい。配信ユーザUaの配信ユーザ装置20aからボディモーションデータの入力が一定期間ない場合には、共演動画において配信ユーザUaのキャラクタオブジェクト131の体の動きが当該一定期間動なくなるため、キャラクタオブジェクト131がノンアクティブ状態にあると判定されてもよい。配信ユーザUaの配信ユーザ装置20aから音声データの入力が一定期間ない場合には、共演動画において配信ユーザUaのキャラクタオブジェクト131が当該一定期間無言となるため、キャラクタオブジェクト131がノンアクティブ状態にあると判定されてもよい。
一実施形態において、共演終了処理部61fは、配信されている共演動画の共演動画情報に応じて、ゲストユーザである配信ユーザUaのキャラクタオブジェクト131を動画から排除することで共演を終了させる。例えば、共演終了処理部61fは、共演ユーザ評価情報が共演ユーザ評価ポイントである場合には、共演ユーザ評価ポイントが所定の閾値よりも小さくなった場合に配信ユーザUaのキャラクタオブジェクト131を動画から排除することで当該配信ユーザUaとの共演を終了させることができる。視聴ユーザからゲストユーザである配信ユーザUaに対するネガティブ評価情報を受けるほど共演ユーザ評価ポイントは小さくなる。よって、共演ユーザ評価ポイントに基づいて配信ユーザUaとの共演を終了するか否かを判定することにより、視聴ユーザからの評価が低いユーザと長期間共演することを回避できる。
次に、図9を参照して、一態様による動画配信処理について説明する。図9は、一実施形態における動画配信処理の流れを示すフロー図である。図9を参照して説明される動画配信処理においては、配信ユーザUbが配信ユーザ装置20bを用いて取得したフェイスモーションデータに基づいて生成された動画が配信されることが想定されている。
まず、ステップS11では、配信ユーザUbの顔の動き(表情)のデジタル表現であるフェイスモーションデータが生成される。フェイスモーションデータの生成は、例えば、配信ユーザ装置20bのフェイスモーションデータ生成部121bで行われる。配信ユーザ装置20bにおいては、配信ユーザUa,Ubからの音声入力に基づいて音声データが生成されてもよい。生成されたフェイスモーションデータ及び音声データは、サーバ装置60に送信される。
次に、ステップS12において、配信ユーザ装置20bからのフェイスモーションデータが、配信ユーザUb用のモデルデータに適用されることにより、配信ユーザUbの表情の動きに同期して動くキャラクタオブジェクト31のアニメーションが生成される。このアニメーションの生成は、例えば、上記のアニメーション生成部61aで行われる。
次に、ステップS13において、配信ユーザUbのキャラクタオブジェクト31のアニメーションを含む動画が生成される。この動画には、配信ユーザUbの音声が合成されてもよい。キャラクタオブジェクト31のアニメーションは、背景画像に重畳して表示される。この動画の生成は、例えば、上記の動画生成部61bで行われる。
次に、ステップS14に移行し、ステップS13にて生成された動画が配信される。この動画は、ネットワーク50を介して視聴ユーザ装置10及びこれら以外の視聴ユーザ装置並びに配信ユーザ装置に配信される。配信された動画が視聴ユーザ装置10において再生される場合には、例えば、図4に示すような表示画面が視聴ユーザ装置10に表示される。動画は、所定の配信期間にわたって継続して配信される。動画の配信期間は、例えば、30秒間、1分間、5分間、10分、30分間、60分間、120分間、及びこれら以外の任意の時間に定め得る。この動画の配信は、例えば、上記の動画配信部61cで行われる。
次に、ステップS15に進み、動画の配信を終了させるための終了条件が成就したか否かが判定される。終了条件は、例えば、配信の終了時刻に達したこと、配信ユーザUbが配信ユーザ装置20bにおいて配信を終了するための操作を行ったこと、またはこれら以外の条件である。終了条件が成就していなければステップS11~S14の処理が繰り返し実行され、配信ユーザUbの動きに同期したアニメーションを含む動画、又は、配信ユーザUaとの共演が継続している場合には共演動画の配信が継続される。動画について終了条件が成就していると判定された場合には、当該動画の配信処理を終了する。
次に、図10を参照して、一実施形態における共演動画の配信処理について説明する。図10は、一実施形態において共演動画を配信する処理の流れを示すフロー図である。図10を参照して説明される共演動画の配信処理においては、配信ユーザUbのキャラクタオブジェクトを含む動画を視聴している配信ユーザUaから配信ユーザUbに対して共演申請がなされることが想定されている。共演動画の配信処理は、図9に示されている動画の配信処理と並行して行われる。
まず、配信ユーザUbのキャラクタオブジェクトを含む動画の配信中に、ステップS21において、配信ユーザUb以外のユーザから共演申請がなされたか否かが判定される。共演申請は、例えば、配信ユーザUaからなされる。配信ユーザUaによって共演申請がなされた場合には、処理はステップS22に進む。
ステップS22では、共演を申請した配信ユーザUaの共演申請を許可するか否かが判定される。共演申請を許可するか否かは、配信ユーザUaの共演申請者情報の少なくとも一部に基づいて判定される。例えば、配信ユーザUaの共演申請者情報のうちユーザ評価ポイントが所定の閾値よりも大きい場合に配信ユーザUaの配信ユーザUbとの共演が許可され、当該閾値以下の場合には配信ユーザUaの配信ユーザUbとの共演は拒否される。この共演申請を許可するか否かの判定は、例えば、共演申請判定部61dにより行われる。
ステップS22において、共演申請を許可すると判定された場合には、処理はステップS23に進む。ステップS23では、配信ユーザUaのフェイスモーションデータに基づいて、配信ユーザUaのキャラクタオブジェクト131のアニメーションが生成される。そして、配信中の動画(配信ユーザUbのキャラクタオブジェクト31を含む動画)に、配信ユーザUaのキャラクタオブジェクト131のアニメーションを追加することで、共演動画を生成する。ステップS16における処理は、例えば、上記の共演申請処理部61eで行われる。
次に、処理は、ステップS24に移行する。ステップS24では、ステップS23にて生成された共演動画が配信される。この共演動画は、ネットワーク50を介して視聴ユーザ装置10及びこれら以外の視聴ユーザ装置並びに配信ユーザ装置に配信される。共演動画には、例えば、図7及び図8a~図8bに示されているように、配信ユーザUaのキャラクタオブジェクト131のアニメーション及び配信ユーザUbのキャラクタオブジェクト31のアニメーションが含まれる。
次に、処理は、ステップS25に移行する。ステップS25では、共演終了条件が満たされたか否かが判定される。例えば、ゲストユーザである配信ユーザUaのキャラクタオブジェクト131がノンアクティブ状態にある場合、共演ユーザ評価ポイントが所定の閾値以下になった場合、ホストユーザである配信ユーザUbから共演終了指示を受け付けた場合、又は共演動画の配信開始から所定時間以上が経過したことのいずれかの条件が満たされた場合に、共演終了条件が満たされたと判定される。共演終了条件が満たされた場合には、処理はステップS26に進む。
ステップS26では、共演動画の配信を終了させるための処理が行われる。例えば、共演動画から、ゲストユーザである配信ユーザUaのキャラクタオブジェクト131が排除されることで、配信ユーザUaと配信ユーザUbとの共演を終了させる。共演が終了した場合でも、動画は継続して配信されてもよい。共演が終了した後に配信される動画には、配信ユーザUaのキャラクタオブジェクト131が含まれない。上記の共演終了条件の判定及び共演の終了処理は、例えば、共演終了処理部61fにより行われる。
上記の一実施形態によれば、配信ユーザUbとの共演を申請する共演申請を配信ユーザUaから受け付けたことに応じて、配信ユーザUbに関する共演申請者情報に基づいて配信ユーザUaの配信ユーザUbとの共演可否が判定される。この判定により、共演が許可された場合に共演動画が生成され、生成された共演動画が配信される。これにより、共演申請者情報に基づいて共演者を選抜することができる。
上記の一実施形態において、共演申請者情報は、共演を申請した配信ユーザUaに対する評価を示すユーザ評価情報を含む。これにより、共演を申請するユーザに対する評価に基づいて共演者を選抜することができる。したがって、配信ユーザUaに対する他のユーザからの評価が高い場合にのみ共演を許可することが可能となる。
上記の一実施形態において、共演申請者情報は、配信ユーザUaが配信した動画に対する動画評価情報を含む。これにより、共演を申請するユーザが配信した動画に対する評価に基づいて共演者を選抜することができる。したがって、配信ユーザUaが配信した動画について他のユーザからの評価が高い場合にのみ共演を許可することが可能となる。
上記の一実施形態において、共演申請者情報は、配信ユーザUaの動画配信時間又は動画配信回数を含む。これにより、共演を申請するユーザが配信した動画の配信時間又は配信回数に基づいて共演者を選抜することができる。したがって、配信ユーザUaが動画の配信に積極的な場合にのみ共演を許可することが可能となる。
上記の一実施形態において、共演申請者情報は、配信ユーザUaが共演を禁止されているユーザを特定する共演禁止情報を含む。これにより、配信ユーザUaが共演禁止ユーザとして登録されている場合には、配信ユーザUaとの共演を回避することができる。
上記の一実施形態において、配信ユーザUaの動きを示すモーションデータに基づいて配信ユーザUaのキャラクタオブジェクト131がノンアクティブ状態にあると判定された場合に、共演動画からキャラクタオブジェクト131を排除することができる。これにより、ホストユーザである配信ユーザUbの動画から、動画のエンターティンメント性の向上に貢献しない共演者を排除することができる。
上記の一実施形態において、視聴ユーザから配信ユーザUaに対する評価を示す共演者評価情報に基づいて共演動画から配信ユーザUaのキャラクタオブジェクト131を排除する。これにより、ホストユーザである配信ユーザUbの動画から、視聴者からの評価が悪い共演者を排除することができる。
上記の一実施形態において、ホストユーザである配信ユーザUbからの要求に基づいて、配信ユーザUbの動画から配信ユーザUaのキャラクタオブジェクト131を排除することができる。これにより、ホストユーザである配信ユーザUbの判断に応じて、共演者を動画から排除することができる。
上記実施形態による動画配信システム1においては、配信ユーザUa,Ubは、スマートフォンなどのカメラを備えた配信ユーザ装置20により自らの表情に応じて動くキャラクタオブジェクトを含む動画を配信することができる。このように、動画配信システム1においては、配信ユーザUa,Ubが動画を配信するための設備が簡略化されているので、配信ユーザUa,Ubが参加しやすいプラットフォームが実現されている。
本明細書において説明された処理手順、特にフロー図を用いて説明された処理手順においては、その処理手順を構成する工程(ステップ)の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、及び/又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本発明の趣旨を逸脱しない限り本発明の範囲に含まれる。
コンピュータプロセッサ61により実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ61以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ61により実現される機能の少なくとも一部は、例えば、配信ユーザ装置20のコンピュータプロセッサ21により実現されてもよく、視聴ユーザ装置10のコンピュータプロセッサにより実現されてもよい。具体的には、アニメーション生成部61a及び動画生成部61bの機能の一部又は全部は、配信ユーザ装置20において実行されてもよい。例えば、配信ユーザ装置20において生成された動画がサーバ装置60に送信され、サーバ装置60から視聴ユーザ装置10に配信されてもよい。
配信ユーザUbのキャラクタオブジェクト31を含む動画を視聴している配信ユーザUaから配信ユーザUbとの共演申請がなされる場合には、共演申請を行った配信ユーザUaのキャラクタオブジェクト131のアニメーションは、サーバ装置60、配信ユーザUaの配信ユーザ装置20a、配信ユーザUbの配信ユーザ装置20b、又は視聴ユーザ装置10のいずれで生成されてもよい。また、生成された配信ユーザUaのキャラクタオブジェクト131と配信ユーザUbの配信動画とキャラクタオブジェクト31とを含む共演動画の生成は、サーバ装置60、配信ユーザUaの配信ユーザ装置20a、配信ユーザUbの配信ユーザ装置20b、又は視聴ユーザ装置10のいずれで行われてもよい。一つの例において、配信ユーザUaのキャラクタオブジェクト131のアニメーションが配信ユーザUbの配信ユーザ装置20bで生成される場合には、配信ユーザUaの配信ユーザ装置20aから配信ユーザUbの配信ユーザ装置20bに対して、配信ユーザUaのフェイスモーションデータ及び音声データが送信される。配信ユーザ装置20bでは、配信ユーザ装置20aから受信した配信ユーザUaのフェイスモーションデータ及び音声データを配信ユーザUa用のモデルデータに適用することでキャラクタオブジェクト131のアニメーションが生成される。この配信ユーザUa用のモデルデータは、サーバ装置60から配信ユーザ装置20aへ送信されてもよい。他の例において、配信ユーザUaのキャラクタオブジェクト131のアニメーションが視聴ユーザ装置10で生成される場合には、配信ユーザUaの配信ユーザ装置20aから視聴ユーザ装置10に対して配信ユーザUaのフェイスモーションデータ及び音声データが送信され、配信ユーザUbの配信ユーザ装置20bから視聴ユーザ装置10に対して配信ユーザUbのフェイスモーションデータ及び音声データが送信される。視聴ユーザ装置10では、配信ユーザ装置20aから受信した配信ユーザUaのフェイスモーションデータ及び音声データを配信ユーザUa用のモデルデータに適用することでキャラクタオブジェクト131のアニメーションが生成され、配信ユーザ装置20bから受信した配信ユーザUbのフェイスモーションデータ及び音声データを配信ユーザUb用のモデルデータに適用することでキャラクタオブジェクト31のアニメーションが生成されてもよい。このを配信ユーザUa用のモデルデータ及び配信ユーザUb用のモデルデータは、サーバ装置60から視聴ユーザ装置10へ送信されてもよい。このように、配信ユーザのキャラクタオブジェクトのアニメーションは、動画配信システム1に含まれる任意の装置で生成され得る。キャラクタオブジェクトのアニメーションは、図1に明示的に示されていない装置で生成されてもよい。キャラクタオブジェクトのアニメーションを生成する装置には、配信ユーザUaの配信ユーザ装置20aから配信ユーザUaのフェイスモーションデータ及び音声データが送信され、配信ユーザUbの配信ユーザ装置20bから配信ユーザUbのフェイスモーションデータ及び音声データが送信される。フェイスモーションに加えてボディモーションが送信されてもよい。
共演動画は、三人以上の配信ユーザのキャラクタオブジェクトを含んでもよい。つまり、三人以上の配信ユーザが、各々のキャラクタオブジェクトを利用して動画内で仮想的に共演してもよい。共演できる配信ユーザの数には上限が設定されていてもよい。共演できる配信ユーザの数が上限に達すると、配信ユーザが視聴している動画の表示画像(例えば、表示画像130)に共演申請ボタン36を表示させない処理、又は、配信ユーザが視聴している動画の表示画像において共演申請ボタン36を選択不能とする処理(ディスエーブル処理)がなされてもよい。
以下に、本願の原出願の出願当初の特許請求の範囲に記載された発明を付記する。
[1]
一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成し、
前記共演動画を一又は複数の視聴ユーザに配信し、
前記第1ユーザからの要求に基づいて前記第2ユーザが視聴する前記共演動画において警告情報を表示する、
動画配信システム。
[2]
前記一又は複数の視聴ユーザが視聴する前記共演動画において前記警告情報を表示する、
[1]に記載の動画配信システム。
[3]
前記一又は複数の視聴ユーザからの評価情報に基づいて前記第2ユーザに対する評価を示す共演ユーザ評価情報を決定し、
前記共演ユーザ評価情報に基づいて、前記第2ユーザによる前記共演申請を禁止する、
[1]又は[2]に記載の動画配信システム。
[4]
前記共演申請は、前記第1ユーザが配信する第1動画に表示される共演申請ボタンを前記第2ユーザが選択することにより行われ、
前記共演ユーザ評価情報に応じて、前記第2ユーザが視聴する前記第1動画へ前記共演申請ボタンを表示させない、
[3]に記載の動画配信システム。
[5]
前記共演申請を第2ユーザから受け付けたことに応じ、前記第2ユーザに関する共演申請者情報に基づいて前記第2ユーザの共演可否を判定し、
前記第2ユーザの共演が許可された場合に前記共演動画を生成する、
[1]から[4]のいずれか1項に記載の動画配信システム。
[6]
前記共演申請者情報は、前記第2ユーザが共演を禁止されているユーザを特定する共演禁止情報を含む、
[5]に記載の動画配信システム。
[7]
前記共演動画は、前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを含むキャラクタ共演動画である、
[1]から[6]のいずれか1項に記載の動画配信システム。
[8]
前記共演動画は、前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの音声を含む音声共演動画である、
[1]から[7]のいずれか1項に記載の動画配信システム。
[9]
前記共演動画は、前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを含むキャラクタ共演動画又は前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの音声を含む音声共演動画であり、
前記キャラクタ共演動画と前記音声共演動画とは交互に切り替え可能である、
[1]から[7]のいずれか1項に記載の動画配信システム。
[10]
前記第1ユーザからの要求に基づいて前記共演動画から前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを排除する、
[1]から[9]のいずれか1項に記載の動画配信システム。
[11]
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
前記共演動画を一又は複数の視聴ユーザに配信する工程と、
前記第1ユーザからの要求に基づいて前記第2ユーザが視聴する前記共演動画において警告情報を表示する工程と、
を備える動画配信方法。
[12]
一又は複数のコンピュータプロセッサに、
第1ユーザとの共演を申請する共演申請を第2ユーザから受け付けたことに応じ、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
前記共演動画を一又は複数の視聴ユーザに配信する工程と、
前記第1ユーザからの要求に基づいて前記第2ユーザが視聴する前記共演動画において警告情報を表示する工程と、
を実行させる動画配信プログラム。
1 動画配信システム

Claims (10)

  1. 一又は複数のコンピュータプロセッサを備え、
    前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
    第1ユーザが配信する動画に表示される共演申請ボタンを第2ユーザが選択することにより前記第1ユーザとの共演を申請する共演申請を前記第2ユーザから受け付け、
    前記共演申請を受け付けたことに応じ、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成し、
    前記共演動画を一又は複数の視聴ユーザに配信し、
    前記一又は複数の視聴ユーザからの評価情報に基づいて前記第2ユーザに対する評価を示す共演ユーザ評価情報を決定し、
    前記第2ユーザの前記共演ユーザ評価情報に基づいて、前記第2ユーザによる他のユーザとの共演を申請する共演申請を禁止する、
    動画配信システム。
  2. 前記共演ユーザ評価情報に応じて、前記他のユーザが配信している他の動画の前記第2ユーザが視聴する表示画像に、前記他のユーザとの共演を申請するための共演申請ボタンを表示させない、
    請求項1に記載の動画配信システム。
  3. 前記第2ユーザの前記共演ユーザ評価情報は、前記第2ユーザへの否定的な評価を示すネガティブ評価情報を含む、
    請求項1又は2に記載の動画配信システム。
  4. 前記ネガティブ評価情報が所定の値を超えた場合に、前記第2ユーザから前記他のユーザへの共演申請が禁止される、
    請求項に記載の動画配信システム。
  5. 前記共演動画は、前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを含むキャラクタ共演動画である、
    請求項1又は2に記載の動画配信システム。
  6. 前記共演動画は、前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの音声を含む音声共演動画である、
    請求項1から請求項3のいずれか1項に記載の動画配信システム。
  7. 前記共演動画は、前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを含むキャラクタ共演動画又は前記第1ユーザの動きに基づいて生成される第1キャラクタオブジェクト及び前記第2ユーザの音声を含む音声共演動画であり、
    前記キャラクタ共演動画と前記音声共演動画とは交互に切り替え可能である、
    請求項1から請求項3のいずれか1項に記載の動画配信システム。
  8. 前記第1ユーザからの要求に基づいて前記共演動画から前記第2ユーザの動きに基づいて生成される第2キャラクタオブジェクトを排除する、
    請求項1から請求項5のいずれか1項に記載の動画配信システム。
  9. 一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
    第1ユーザが配信する動画に表示される共演申請ボタンを第2ユーザが選択することにより前記第1ユーザとの共演を申請する共演申請を前記第2ユーザから受け付ける工程と、
    前記共演申請を受け付けたことに応じ、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
    前記共演動画を一又は複数の視聴ユーザに配信する工程と、
    前記一又は複数の視聴ユーザからの評価情報に基づいて前記第2ユーザに対する評価を示す共演ユーザ評価情報を決定する工程と、
    前記第2ユーザの前記共演ユーザ評価情報に基づいて、前記第2ユーザによる他のユーザとの共演を申請する共演申請を禁止する工程と、
    を備える動画配信方法。
  10. 一又は複数のコンピュータプロセッサに、
    第1ユーザが配信する動画に表示される共演申請ボタンを第2ユーザが選択することにより前記第1ユーザとの共演を申請する共演申請を前記第2ユーザから受け付ける工程と、
    前記共演申請を受け付けたことに応じ、前記第1ユーザと前記第2ユーザとが共演する共演動画を生成する工程と、
    前記共演動画を一又は複数の視聴ユーザに配信する工程と、
    前記一又は複数の視聴ユーザからの評価情報に基づいて前記第2ユーザに対する評価を示す共演ユーザ評価情報を決定する工程と、
    前記第2ユーザの前記共演ユーザ評価情報に基づいて、前記第2ユーザによる他のユーザとの共演を申請する共演申請を禁止する工程と、
    を実行させる動画配信プログラム。
JP2021079534A 2020-02-18 2021-05-10 動画配信システム、動画配信方法及び動画配信プログラム Active JP7134298B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021079534A JP7134298B2 (ja) 2020-02-18 2021-05-10 動画配信システム、動画配信方法及び動画配信プログラム
JP2022136413A JP2022184845A (ja) 2020-02-18 2022-08-30 動画配信システム、動画配信方法及び動画配信プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020025429A JP6883678B2 (ja) 2020-02-18 2020-02-18 動画配信システム、動画配信方法及び動画配信プログラム
JP2021079534A JP7134298B2 (ja) 2020-02-18 2021-05-10 動画配信システム、動画配信方法及び動画配信プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020025429A Division JP6883678B2 (ja) 2020-02-18 2020-02-18 動画配信システム、動画配信方法及び動画配信プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022136413A Division JP2022184845A (ja) 2020-02-18 2022-08-30 動画配信システム、動画配信方法及び動画配信プログラム

Publications (2)

Publication Number Publication Date
JP2021141591A JP2021141591A (ja) 2021-09-16
JP7134298B2 true JP7134298B2 (ja) 2022-09-09

Family

ID=71106927

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020025429A Active JP6883678B2 (ja) 2020-02-18 2020-02-18 動画配信システム、動画配信方法及び動画配信プログラム
JP2021079534A Active JP7134298B2 (ja) 2020-02-18 2021-05-10 動画配信システム、動画配信方法及び動画配信プログラム
JP2022136413A Pending JP2022184845A (ja) 2020-02-18 2022-08-30 動画配信システム、動画配信方法及び動画配信プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020025429A Active JP6883678B2 (ja) 2020-02-18 2020-02-18 動画配信システム、動画配信方法及び動画配信プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022136413A Pending JP2022184845A (ja) 2020-02-18 2022-08-30 動画配信システム、動画配信方法及び動画配信プログラム

Country Status (1)

Country Link
JP (3) JP6883678B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6923735B1 (ja) * 2020-11-05 2021-08-25 グリー株式会社 動画配信システム、動画配信方法及び動画配信プログラム
JP7194239B2 (ja) * 2020-11-05 2022-12-21 グリー株式会社 動画配信システム、動画配信方法及び動画配信プログラム
JP7288990B2 (ja) * 2021-07-29 2023-06-08 グリー株式会社 動画配信システム、動画配信方法及び動画配信プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6420930B1 (ja) 2018-08-01 2018-11-07 グリー株式会社 アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184689A (ja) * 2014-03-20 2015-10-22 株式会社Mugenup 動画生成装置及びプログラム
JP6313726B2 (ja) * 2015-08-28 2018-04-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、イベント管理サーバー、イベント参加方法、およびイベント参加管理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6420930B1 (ja) 2018-08-01 2018-11-07 グリー株式会社 アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ツイキャスとは?どんなサービス?基本や特徴を解説, [online],2018年11月24日,[平成31年1月21日検索], インターネット<URL: https://appli-world.jp/posts/1497>
ツイキャスのブロックのやり方と解除方法!NGユーザーにされるとどうなる?, [online],2017年05月22日,[平成31年1月21日検索], インターネット<URL: https://sns初心者.com/twitcasting-block-4529>
徹底解説!誰でもVTuberになれる「バーチャルキャスト」とは?, [online],2018年04月21日,[平成31年1月21日検索], インターネット<URL: https://www.moguravr.com/virtualcast-2/>

Also Published As

Publication number Publication date
JP6883678B2 (ja) 2021-06-09
JP2020099090A (ja) 2020-06-25
JP2022184845A (ja) 2022-12-13
JP2021141591A (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
JP6550522B1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP6543403B1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP7134298B2 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP6550546B1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP7191883B2 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
US20210065421A1 (en) Moving image distribution system, moving image distribution method, and moving image distribution program
JP6832997B1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP2024041749A (ja) 動画配信システム、動画配信方法及び動画配信プログラム
WO2020121909A1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP6671528B1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP6664534B1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
WO2020129448A1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP6713080B2 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP7044923B6 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP7288990B2 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP7194239B2 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP7442097B2 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP6923735B1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP6828106B1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP2023103424A (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220830

R150 Certificate of patent or registration of utility model

Ref document number: 7134298

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150