JP7228338B2 - 動画を配信するためのシステム、方法、及びプログラム - Google Patents

Description

本発明は、動画を配信するためのシステム、方法、及びプログラムに関するものである。

従来、ユーザが動画の配信を行うためのシステムが提供されており、こうしたシステムを介して配信される動画には、ユーザ自身が被写体として出演する動画（自撮り動画）が含まれる（例えば、特許文献１を参照）。例えば、ユーザは、スマートフォン及びパソコン等が有するカメラ及びマイクを介してユーザ自身の画像及び音声が含まれる動画を撮影し、撮影した動画を複数の視聴者に対して配信することができる。

特開２０１７－１２１０３６号公報

しかしながら、こうした動画の配信を希望するユーザの中には、不特定多数の視聴者に素顔を公開することに対して抵抗を感じるユーザも存在し得る。例えば、自撮り動画の配信に慣れているユーザの動画に一般の視聴者等が参加するコラボ配信は、動画配信サービスの活性化を促進し得るが、こうした一般の視聴者は、素顔の公開に対して抵抗を感じやすいと考えられる。そこで、例えば、ユーザ自身に代えて、ユーザのアバターが登場する動画のコラボ配信を手軽に行うことができると有用であると考えられる。

本発明の実施形態は、動画配信の活性化を促進することを目的の一つとする。本発明の実施形態の他の目的は、本明細書全体を参照することにより明らかとなる。

本発明の一実施形態に係るシステムは、動画を配信するためのシステムであって、複数のユーザの各々のアバターの画像情報を少なくとも記憶する１又は複数の記憶装置と、１又は複数のコンピュータプロセッサと、を備え、前記１又は複数のコンピュータプロセッサは、読取可能な命令の実行に応じて、動画の共同配信を行う第１及び第２のユーザに対応する第１及び第２のアバターが含まれる仮想空間に対応する動画を生成する処理と、生成した動画を複数の視聴ユーザの各々に対して提供する処理と、を実行し、前記動画を生成する処理は、前記第１及び第２のアバターを、前記１又は複数の記憶装置に記憶されている前記第１及び第２のアバターの画像情報に少なくとも基づいて描画すること、及び、前記第１及び第２のアバターを、前記第１及び第２のユーザによって第１及び第２のユーザ端末を介してそれぞれ入力される入力情報に少なくとも基づいて前記仮想空間において動作させることを含む。

本発明の一実施形態に係る方法は、複数のユーザの各々のアバターの画像情報を少なくとも記憶する１又は複数の記憶装置にアクセス可能な１又は複数のコンピュータによって実行され、動画を配信するための方法であって、動画の共同配信を行う第１及び第２のユーザに対応する第１及び第２のアバターが含まれる仮想空間に対応する動画を生成するステップと、生成した動画を複数の視聴ユーザの各々に対して提供するステップと、を備え、前記動画を生成するステップは、前記第１及び第２のアバターを、前記１又は複数の記憶装置に記憶されている前記第１及び第２のアバターの画像情報に少なくとも基づいて描画すること、及び、前記第１及び第２のアバターを、前記第１及び第２のユーザによって第１及び第２のユーザ端末を介してそれぞれ入力される入力情報に少なくとも基づいて前記仮想空間において動作させることを含む。

本発明の一実施形態に係るプログラムは、動画を配信するためのプログラムであって、複数のユーザの各々のアバターの画像情報を少なくとも記憶する１又は複数の記憶装置にアクセス可能な１又は複数のコンピュータ上での実行に応じて、前記１又は複数のコンピュータに、動画の共同配信を行う第１及び第２のユーザに対応する第１及び第２のアバターが含まれる仮想空間に対応する動画を生成する処理と、生成した動画を複数の視聴ユーザの各々に対して提供する処理と、を実行させ、前記動画を生成する処理は、前記第１及び第２のアバターを、前記１又は複数の記憶装置に記憶されている前記第１及び第２のアバターの画像情報に少なくとも基づいて描画すること、及び、前記第１及び第２のアバターを、前記第１及び第２のユーザによって第１及び第２のユーザ端末を介してそれぞれ入力される入力情報に少なくとも基づいて前記仮想空間において動作させることを含む。

本発明の様々な実施形態は、動画配信の活性化を促進し得る。

本発明の一実施形態に係る動画配信サーバ１０を含むネットワークの構成を概略的に示す構成図。 動画配信サーバ１０が有する機能を概略的に示すブロック図。 ユーザ情報テーブル４１１において管理される情報を例示する図。 配信情報テーブル４１２において管理される情報を例示する図。 個別の動画配信が行われる際に動画配信サーバ１０が実行する処理を例示するフロー図。 ライブ動画の配信中において行われる通信を説明するための図。 視聴用画面６０を例示する図。 配信ユーザ端末３０のカメラを介して入力される入力画像５０を模式的に例示する図。 配信用画面７０を例示する図。 視聴ユーザによる参加要求に応じて動画配信サーバ１０が実行する処理を例示するフロー図。 参加要求通知オブジェクト８０を例示する図。 コラボ配信の期間中において行われる通信を説明するための図。 コラボ配信の期間中における視聴用画面６０を例示する図。 他の実施形態のコラボ配信の期間中において行われる通信を説明するための図。 更に他の実施形態のコラボ配信の期間中において行われる通信を説明するための図。

以下、図面を参照しながら、本発明の実施形態について説明する。

図１は、本発明の一実施形態に係る動画配信サーバ１０を含むネットワークの構成を概略的に示す構成図である。動画配信サーバ１０は、図示するように、インターネット等の通信ネットワーク２０を介してユーザ端末３０と通信可能に接続されている。図１においては、１つのユーザ端末３０のみが図示されているが、サーバ１０は、複数のユーザ端末３０と通信可能に接続されている。サーバ１０は、配信ユーザが提供する動画を複数の視聴ユーザに配信するための動画配信サービスを、ユーザ端末３０を介して提供する。本実施形態において、ユーザ端末３０のユーザは、配信ユーザとして動画を配信することができ、また、視聴ユーザとして、他のユーザによって配信される動画を視聴することもできる。

動画配信サーバ１０は、一般的なコンピュータとして構成されており、図１に示すように、コンピュータプロセッサ１１と、メインメモリ１２と、入出力Ｉ／Ｆ１３と、通信Ｉ／Ｆ１４と、ストレージ（記憶装置）１５とを備え、これらの各構成要素が図示しないバス等を介して電気的に接続されている。

コンピュータプロセッサ１１は、ＣＰＵ又はＧＰＵ等として構成され、ストレージ１５等に記憶されている様々なプログラムをメインメモリ１２に読み込んで、当該プログラムに含まれる各種の命令を実行する。メインメモリ１２は、例えば、ＤＲＡＭ等によって構成される。

入出力Ｉ／Ｆ１３は、ユーザ等との間で情報をやり取りするための各種の入出力装置を含む。入出力Ｉ／Ｆ１３は、例えば、キーボード、ポインティングデバイス（例えば、マウス、タッチパネル等）等の情報入力装置、マイクロフォン等の音声入力装置、カメラ等の画像入力装置を含む。また、入出力Ｉ／Ｆ１３は、ディスプレイ等の画像出力装置、スピーカー等の音声出力装置を含む。

通信Ｉ／Ｆ１４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、及びこれらの組み合わせとして実装され、通信ネットワーク２０等を介した有線又は無線の通信を実現できるように構成されている。

ストレージ１５は、例えば磁気ディスク、フラッシュメモリ等によって構成される。ストレージ１５は、オペレーティングシステムを含む様々なプログラム、及び各種データ等を記憶する。

本実施形態において、動画配信サーバ１０は、それぞれが上述したハードウェア構成を有する複数のコンピュータを用いて構成され得る。例えば、動画配信サーバ１０は、１又は複数のサーバ装置によって構成され得る。

このように構成された動画配信サーバ１０は、ウェブサーバ及びアプリケーションサーバとしての機能を有し、ユーザ端末３０にインストールされているウェブブラウザ及びその他のアプリケーション（例えば、動画配信サービス用のアプリケーション）からの要求に応答して各種の処理を実行し、当該処理の結果に応じた画面データ（例えば、ＨＴＭＬデータ又は制御データ等）をユーザ端末３０に送信する。ユーザ端末３０では、受信したデータに基づくウェブページ又はその他の画面が表示される。

ユーザ端末３０は、一般的なコンピュータとして構成されており、図１に示すように、コンピュータプロセッサ３１と、メインメモリ３２と、入出力Ｉ／Ｆ３３と、通信Ｉ／Ｆ３４と、ストレージ（記憶装置）３５とを備え、これらの各構成要素が図示しないバス等を介して電気的に接続されている。

コンピュータプロセッサ３１は、ＣＰＵ又はＧＰＵ等として構成され、ストレージ３５等に記憶されている様々なプログラムをメインメモリ３２に読み込んで、当該プログラムに含まれる各種の命令を実行する。メインメモリ３２は、例えば、ＤＲＡＭ等によって構成される。

入出力Ｉ／Ｆ３３は、ユーザ等との間で情報をやり取りするための各種の入出力装置である。入出力Ｉ／Ｆ３３は、例えば、キーボード、ポインティングデバイス（例えば、マウス、タッチパネル等）等の情報入力装置、マイクロフォン等の音声入力装置、カメラ等の画像入力装置を含む。また、入出力Ｉ／Ｆ３３は、ディスプレイ等の画像出力装置、スピーカー等の音声出力装置を含む。

通信Ｉ／Ｆ３４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、及びこれらの組み合わせとして実装され、通信ネットワーク２０等を介した有線又は無線の通信を実現できるように構成されている。

ストレージ３５は、例えば磁気ディスク又はフラッシュメモリ等によって構成される。ストレージ３５は、オペレーティングシステムを含む様々なプログラム及び各種データ等を記憶する。ストレージ３５が記憶するプログラムは、アプリケーションマーケット等からダウンロードされてインストールされ得る。

本実施形態において、ユーザ端末３０は、スマートフォン、タブレット端末、ウェアラブルデバイス、及びパーソナルコンピュータ等として構成され得る。

このように構成されたユーザ端末３０のユーザは、ストレージ３５等にインストールされているウェブブラウザ又はその他のアプリケーションを介した動画配信サーバ１０との通信を実行することによって、サーバ１０が提供する動画配信サービスを利用することができる。

次に、本実施形態の動画配信サーバ１０が有する機能について説明する。図２は、動画配信サーバ１０が有する機能を概略的に示すブロック図である。サーバ１０は、図示するように、様々な情報を記憶及び管理する情報記憶管理部４１と、動画配信サービスの基本機能を制御する基本機能制御部４３と、動画の配信を制御する動画配信制御部４５とを有する。これらの機能は、コンピュータプロセッサ１１及びメインメモリ１２等のハードウェア、並びに、ストレージ１５等に記憶されている各種プログラムやデータ等が協働して動作することによって実現され、例えば、メインメモリ１２に読み込まれたプログラムに含まれる命令をコンピュータプロセッサ１１が実行することによって実現される。また、図２に示す機能の一部又は全部は、サーバ１０とユーザ端末３０とが協働することによって実現され、又は、ユーザ端末３０によって実現され得る。

動画配信サーバ１０の情報記憶管理部４１は、ストレージ１５等において様々な情報を記憶及び管理する。情報記憶管理部４１は、例えば、図２に示すように、動画配信サービスのユーザに関する情報を管理するユーザ情報テーブル４１１と、個別の動画配信に関する情報を管理する配信情報テーブル４１２とを有するように構成され得る。

また、本実施形態において、情報記憶管理部４１は、図２に示すように、３ＤモデルＤＢ４１３を有する。当該ＤＢ４１３は、ユーザのアバターを三次元仮想空間において描画（レンダリング）するための複数の３Ｄモデル（画像情報）を格納する。

動画配信サーバ１０の基本機能制御部４３は、動画配信サービスの基本機能の制御に関する様々な処理を実行する。例えば、基本機能制御部４３は、基本機能に関する様々な画面のＨＴＭＬデータ又は制御データをユーザ端末３０に送信し、ユーザ端末３０で表示される当該画面を介したユーザによる操作入力に応答して様々な処理を実行し、当該処理の結果に応じたＨＴＭＬデータ又は制御データをユーザ端末３０に送信する。基本機能制御部４３によって制御される基本機能は、例えば、ログイン認証（ユーザ認証）、課金制御、ユーザ管理（例えば、ユーザ情報テーブル４１１の更新等）を含む。

動画配信サーバ１０の動画配信制御部４５は、動画の配信の制御に関する様々な処理を実行する。本実施形態において、動画配信制御部４５は、動画の共同配信（コラボ配信）を行う複数のユーザに対応する複数のアバターが含まれる仮想空間に対応する動画を生成し、生成した動画を複数の視聴ユーザの各々に対して提供するように構成されている。例えば、動画配信制御部４５は、生成した動画を、複数の視聴ユーザの各々のユーザ端末３０に対して送信するように構成される。

本実施形態において、動画配信制御部４５は、動画の共同配信を行う複数のユーザに対応する複数のアバターの各々を、３ＤモデルＤＢ４１３において格納されている３Ｄモデルに基づいて描画するように構成されている。例えば、動画配信制御部４５は、動画の共同配信を開始する際に、共同配信を行う複数のユーザの各々を特定し、特定した各ユーザのアバターに対応する３Ｄモデルを特定し、特定した３Ｄモデルを３ＤモデルＤＢ４１３から取得するように構成される。各ユーザのアバターに対応する３Ｄモデルを特定するための情報は、例えば、ユーザ情報テーブル４１１において管理される。

また、動画配信制御部４５は、複数のアバターの各々を、対応するユーザによってユーザ端末３０を介して入力される入力情報に少なくとも基づいて仮想空間において動作させるように構成されている。

このように、本実施形態における動画配信サーバ１０は、動画の共同配信を行う複数のユーザに対応する複数のアバターの各々の３Ｄモデルに基づいて各アバターを描画すると共に、当該複数のユーザによってそれぞれ入力される入力情報に基づいて当該複数のアバターの各々の動作を制御し、これらの複数のアバターが含まれる仮想空間に対応する動画を生成して配信するから、例えば、素顔を公開することに対して抵抗を感じるユーザが含まれる場合であっても、複数のユーザによる動画の共同配信を手軽に行うことが可能であり、この結果、動画配信の活性化が促進され得る。

本実施形態において、アバターを動作させるために入力される入力情報は、様々な情報を含み、例えば、ユーザ端末３０のタッチパネルに対する操作情報、又は、物理コントローラに対する操作情報等を含む。また、例えば、当該入力情報は、ユーザ端末３０のカメラを介して入力される画像を含み、この場合、動画配信制御部４５は、当該入力される画像に含まれるユーザの姿勢に基づいてアバターを動作させるように構成され得る。例えば、動画配信制御部４５は、動画の共同配信を行う複数のユーザの各々のユーザ端末３０から、当該ユーザ端末３０のカメラを介して入力（撮影）される画像を受信し、受信した画像に含まれるユーザの姿勢（ボーン）を検出し、検出したユーザの姿勢に基づいて（例えば、ユーザの姿勢と連動するように）対応するアバターの動作を制御するように構成される。画像に含まれるユーザの姿勢の検出は、例えば、公知の人物姿勢推定技術を適用して実現することができる。また、動画配信制御部４５は、入力される画像に含まれるユーザの身体の１又は複数の所定の部位（例えば、顔及び両手等）の画像における配置に少なくとも基づいてアバターを動作させるように構成され得る。こうした構成は、現実のユーザの動きに基づいてアバターを動作させることを可能とする。

また、動画配信制御部４５は、動画の共同配信を行う複数のユーザの各々によってユーザ端末３０を介して入力される音声を含む動画を生成するように構成され得る。例えば、動画配信制御部４５は、動画の共同配信を行う複数のユーザの各々のユーザ端末３０から、当該ユーザ端末３０のマイクを介して入力される音声を受信し、受信した音声が含まれる動画を生成するように構成される。こうした構成は、動画の共同配信を行う各ユーザによって入力される音声を含む動画の配信を可能とする。

この場合、動画配信制御部４５は、動画の共同配信を行う複数のユーザの各々によって入力される音声に基づいて対応するアバターの口の動きを制御するように構成され得る。例えば、動画配信制御部４５は、特定のユーザによる音声の入力がある期間は、当該特定のユーザのアバターの口を所定のルールに従って動作させる一方、当該特定のユーザによる音声の入力がない期間は、当該特定のユーザのアバターの口を静止させるように構成される。こうした構成は、アバターの口の動きを、現実のユーザの口の動きに近づけることを支援する。

また、動画配信制御部４５は、アバターの仮想空間における位置に少なくとも基づいて、対応するユーザによって入力される音声の音量を制御するように構成され得る。例えば、動画配信制御部４５は、仮想空間における仮想カメラとアバターとの間の距離が近いほど（又は、遠いほど）、対応するユーザによって入力される音声の音量が大きくなる（又は、小さくなる）ように動画を生成する。また、例えば、動画配信制御部４５は、仮想空間における仮想カメラとアバターとの間の位置関係に基づいて、対応するユーザによって入力される音声の左側スピーカー用及び右側スピーカー用それぞれの音量を制御する（例えば、アバターが仮想カメラの左側に位置する場合に、対応する音声の左側用の音量を、右側用の音量と比較して大きくする等）ように構成される。こうした構成は、仮想空間におけるアバターの位置に応じた音量で音声を出力することを可能とする。

次に、このような機能を有する本実施形態の動画配信サーバ１０の具体例について説明する。この例において、サーバ１０は、ユーザがリアルタイムで動画を配信するためのライブ動画配信サービスを提供する。図３は、この例において、ユーザ情報テーブル４１１において管理される情報を例示する。ユーザ情報テーブル４１１は、ライブ動画配信サービスのユーザに関する情報を管理し、この例では、図示するように、個別のユーザを識別する「ユーザアカウント」に対応付けて、当該ユーザのアバターに関する情報である「アバター情報」、ライブ動画の配信履歴に関する情報である「配信履歴情報」、ライブ動画の視聴履歴に関する情報である「視聴履歴情報」等の情報を管理する。

アバター情報は、３ＤモデルＤＢ４１３に格納されている複数の３Ｄモデルのうちユーザによって予め選択されている３Ｄモデルを特定する情報を含む。３ＤモデルＤＢ４１３に格納されている複数の３Ｄモデルは、相互に外観が異なる複数のアバターにそれぞれ対応しており、ユーザは、これらの複数の３Ｄモデルの中から所望の３Ｄモデルを、自身のアバターの３Ｄモデルとして予め選択することができる。

図４は、この例において、配信情報テーブル４１２において管理される情報を例示する。配信情報テーブル４１２は、個別の動画配信に関する情報を管理し、この例では、図示するように、個別の動画配信を識別する「配信ＩＤ」に対応付けて、動画を配信する配信ユーザを識別する「配信ユーザアカウント」、この動画配信に参加する参加ユーザを識別する「参加ユーザアカウント」、「配信状況情報」等の情報を管理する。配信状況情報は、同時視聴者数、延べ視聴者数、及び、配信を開始してからの経過時間等の情報を含む。

図５は、この例において、個別の動画配信が行われる際に動画配信サーバ１０が実行する処理を例示するフロー図である。ユーザは、例えば、ユーザ端末３０において表示される画面を介して、動画配信の開始を指示することができる。サーバ１０は、まず、図示するように、配信ユーザのアバターの３Ｄモデルを３ＤモデルＤＢ４１３から取得する（ステップＳ１００）。配信ユーザのアバターの３Ｄモデルを特定する情報は、ユーザ情報テーブル４１１のアバター情報において管理されている。

配信ユーザの３Ｄモデルを取得すると、サーバ１０は、配信終了となる迄の間（ステップＳ１３０においてＮＯ）、配信ユーザのユーザ端末３０（以下、「配信ユーザ端末３０」と言うことがある。）から、カメラを介して入力される入力画像、及び、マイクを介して入力される入力音声を受信し、受信した入力画像及び入力音声に基づいて動画を生成及び送信する処理を繰り返す（ステップＳ１１０、Ｓ１２０）。

図６は、ライブ動画の配信中において、配信ユーザ端末３０、動画配信サーバ１０、及び複数の視聴ユーザのユーザ端末３０（以下、「視聴ユーザ端末３０」と言うことがある。）の間で行われる通信を説明するための図である。図示するように、配信ユーザ端末３０から動画配信サーバ１０に対して、配信ユーザ端末３０のカメラを介して入力される入力画像、及び、マイクを介して入力される入力音声が送信される。動画配信サーバ１０は、受信する入力画像及び入力音声に基づいて動画を生成し、生成した動画を配信ユーザ端末３０及び複数の視聴ユーザ端末３０の各々にそれぞれ送信する。配信ユーザ端末３０及び複数の視聴ユーザ端末３０の各々は、受信した動画を表示する。

図７は、動画配信サーバ１０によって生成された動画を受信する視聴ユーザ端末３０において表示される視聴用画面６０を例示する。当該画面６０は、図示するように、画面全体において、仮想空間１００を表示し、画面下端の左側に位置するコメント入力領域６２と、当該領域６２の上側に位置するコメント表示領域６３と、画面下端の右側に位置する参加ボタン６４とが、当該仮想空間１００に重ねて配置されている。コメント入力領域６２を介して視聴ユーザがコメントを入力すると、入力されたコメントが、コメント表示領域６３において表示される。また、視聴ユーザが、参加ボタン６４を選択すると、視聴中のライブ動画への参加要求が行われる。ライブ動画への参加要求の詳細については後述する。

この例において、動画配信サーバ１０によって生成される動画は、仮想空間１００に対応する。当該仮想空間１００は、図７に示すように、略中央にステージ１０２を有し、ステージ１０２上には、配信ユーザのアバター１１０が配置されている。当該アバター１１０は、配信ユーザのアバターの３Ｄモデルに基づいて描画される。また、当該アバター１１０は、配信ユーザ端末３０から受信する入力画像に基づいて、その動作が制御され、具体的には、当該入力画像における配信ユーザの顔及び両手の配置に基づいて、その動作が制御される。

図８は、配信ユーザ端末３０から受信する入力画像５０を模式的に例示する。図示するように、この例では、配信ユーザの右手ＲＨの手の平には、第１の色（例えば、赤色）の円形のマーカーＭＫ１が設けられており、配信ユーザの左手ＬＨの手の平には、第２の色（例えば、黄色）の円形のマーカーＭＫ２が設けられている。これらのマーカーＭＫ１、２は、例えば、手の平に貼り付けるステッカーとして構成され、当該ステッカーは、例えば、ライブ動画配信サービスの提供事業者等によってユーザに提供される。また、マーカーＭＫ１、２は、例えば、手の平にインク等で直接描かれる。この場合、例えば、ライブ動画配信サービスの提供事業者等が配布するインストラクションに従って、ユーザが、両手の手の平にマーカーＭＫ１、２をそれぞれ描く。

図８に示すように、この例では、ユーザの顔ＦＣは、当該顔ＦＣの輪郭を囲う矩形の検出領域ＤＡ１として検出及び認識される。また、ユーザの両手ＲＨ、ＬＨは、当該両手ＲＨ、ＬＨの各々の手の平に設けられているマーカーＭＫ１、２の輪郭を囲う矩形の検出領域ＤＡ２、ＤＡ３としてそれぞれ検出及び認識される。こうした顔ＦＣ、及び、両手ＲＨ、ＬＨ（マーカーＭＫ１、２）の認識は、公知の物体追跡技術を用いて実現され、例えば、機械学習を介して生成された学習済みモデルを用いて実現される。

このように、配信ユーザ端末３０から受信する入力画像におけるユーザの顔及び両手を認識すると、これらの顔及び両手の配置に連動するように、アバター１１０の動作が制御される。例えば、配信ユーザが万歳の姿勢を取ると、入力画像に含まれる配信ユーザの顔及び両手の配置が万歳の姿勢に対応する配置となり、仮想空間１００におけるアバター１１０は、万歳の姿勢となるようにその動作が制御される。

また、この例において、動画配信サーバ１０によって生成される動画は、配信ユーザ端末３０から受信する入力音声（配信ユーザの声）を含む。この例において、当該入力音声に基づいて、アバター１１０の口の動きを制御するようにしても良い。

図９は、配信ユーザ端末３０において表示される配信用画面７０を例示する。当該画面７０は、図示するように、上述した視聴用画面６０と同様に、画面全体において、仮想空間１００を表示し、画面下端の左側に位置するコメント入力領域７２と、当該領域７２の上側に位置するコメント表示領域７３とが重ねて配置されている。また、配信用画面７０の画面下端の右側には、視聴用画面６０における参加ボタン６４に代えて、配信停止ボタン７４が仮想空間１００に重ねて配置されている。当該配信停止ボタン７４は、ライブ動画の配信を停止するためのオブジェクトである。

配信ユーザは、例えば、スマートフォンとして構成されるユーザ端末３０のインカメラの前で身体を動かすことによって、当該インカメラを介して入力（撮影）される入力画像を介してアバター１１０を操作しつつ、当該ユーザ端末３０において表示される配信用画面７０を介して、アバター１１０が含まれる仮想空間１００に対応する動画を閲覧することができる。

ここで、ライブ動画に視聴ユーザが参加する際の動作について説明する。この例において、視聴ユーザは、視聴用画面６０の参加ボタン６４を選択することによって、視聴中のライブ動画に対する参加要求を行うことができる。図１０は、視聴ユーザによる参加要求に応じて、動画配信サーバ１０が実行する処理を例示するフロー図である。参加ボタン６４が選択されると、サーバ１０は、まず、図示するように、視聴ユーザによる参加要求を配信ユーザに通知する（ステップＳ２００）。

図１１は、視聴ユーザによる参加ボタン６４の選択に応じて、配信ユーザ端末３０において表示される参加要求通知オブジェクト８０を例示する。当該オブジェクト８０は、特定のユーザ（図１１の例では、ユーザＡ）から参加要求があった旨を通知すると共に、当該参加要求を許可するための許可ボタン８２と、当該参加要求を拒否するための拒否ボタン８４とが配置されている。参加要求通知オブジェクト８０は、配信用画面７０上に重ねて表示される。

そして、サーバ１０は、配信ユーザによって許可ボタン８２が選択された場合には（ステップＳ２１０においてＹＥＳ）、参加要求を行った視聴ユーザ（参加ユーザ）のアバターの３Ｄモデルを３ＤモデルＤＢ４１３から取得し（ステップＳ２２０）、参加ユーザが参加した動画の配信（コラボ配信）を開始する（ステップＳ２３０）。なお、配信ユーザによって拒否ボタン８４が選択された場合には（ステップＳ２１０においてＮＯ）、参加要求が拒否されたので、ステップＳ２２０、Ｓ２３０の処理はスキップされる。

図１２は、コラボ配信の期間中において、配信ユーザ端末３０、参加ユーザのユーザ端末３０（以下、「参加ユーザ端末３０」と言うことがある。）、動画配信サーバ１０、及び複数の視聴ユーザ端末３０の間で行われる通信を説明するための図である。図示するように、コラボ配信の期間中においては、配信ユーザ端末３０から動画配信サーバ１０に対して、入力画像及び入力音声が送信されると共に、参加ユーザ端末３０から動画配信サーバ１０に対して、参加ユーザ端末３０のカメラを介して入力される入力画像、及び、マイクを介して入力される入力音声が送信される。動画配信サーバ１０は、配信ユーザ端末３０及び参加ユーザ端末３０からそれぞれ受信する入力画像及び入力音声に基づいて動画を生成し、生成した動画を配信ユーザ端末３０、参加ユーザ端末３０及び複数の視聴ユーザ端末３０の各々にそれぞれ送信する。配信ユーザ端末３０、参加ユーザ端末３０及び複数の視聴ユーザ端末３０の各々は、受信した動画を表示する。

この例において、コラボ配信の期間中に動画配信サーバ１０によって生成される動画は、仮想空間１００において参加ユーザのアバターが追加されている。図１３は、コラボ配信の期間中における視聴用画面６０を例示する。図示するように、コラボ配信の期間中においては、配信ユーザのアバター１１０のステージ１０２上における位置が若干左方向にスライドし、参加ユーザのアバター１１２が、当該アバター１１０の右側に並ぶように新たに配置（追加）されている。当該アバター１１２は、参加ユーザのアバターの３Ｄモデルに基づいて描画され、参加ユーザ端末３０から受信する入力画像に基づいて、配信ユーザのアバター１１０と同様に、その動作が制御される。

また、コラボ配信の期間中において、動画配信サーバ１０によって生成される動画は、配信ユーザ端末３０から受信する配信ユーザの入力音声に加えて、参加ユーザ端末３０から受信する参加ユーザの入力音声（参加ユーザの声）を含む。この例において、アバター１１０、１１２の仮想空間１００における位置に基づいて、配信ユーザ、参加ユーザそれぞれの入力音声の音量を制御するようにしても良い。例えば、ステージ１０２上において左側にアバター１１０が位置する配信ユーザの入力音声は、右側スピーカー用の音量と比較して左側スピーカー用の音量が大きくなるようにする一方、これとは反対に、ステージ１０２上において右側にアバター１１２が位置する参加ユーザの入力音声は、左側スピーカー用の音量と比較して右側スピーカー用の音量が大きくなるようにしても良い。

このように、この例では、配信ユーザ及び参加ユーザの各々のアバターが含まれる仮想空間に対応する動画を手軽に生成して複数の視聴ユーザに配信することが可能である。なお、この例では、コラボ配信の期間中において、視聴用画面６０の参加ボタン６４は選択できないように構成されており、参加ユーザの数は１人に制限されている。しかしながら、本実施形態の他の例では、２以上の参加ユーザが参加するコラボ配信が可能とされ得る。

以上説明した本実施形態に係る動画配信サーバ１０は、動画の共同配信を行う複数のユーザに対応する複数のアバターの各々の３Ｄモデルに基づいて各アバターを描画すると共に、当該複数のユーザによってそれぞれ入力される入力情報（例えば、ユーザ端末３０のカメラを介して入力される入力画像）に基づいて当該複数のアバターの各々の動作を制御し、これらの複数のアバターが含まれる仮想空間に対応する動画を生成して配信するから、例えば、素顔を公開することに対して抵抗を感じるユーザが含まれる場合であっても、複数のユーザによる動画の共同配信を手軽に行うことが可能であり、この結果、動画配信の活性化が促進され得る。

上述した実施形態では、動画配信サーバ１０が動画の生成を行うようにしたが、本発明の他の実施形態において、動画の生成は、配信ユーザ端末３０において行われ得る。図１４は、当該他の実施形態において、コラボ配信の期間中に、配信ユーザ端末３０、参加ユーザ端末３０、動画配信サーバ１０、及び複数の視聴ユーザ端末３０の間で行われる通信を説明するための図である。図示するように、この実施形態においては、配信ユーザ端末３０から動画配信サーバ１０に対して、入力画像のみが送信されると共に、参加ユーザ端末３０から動画配信サーバ１０に対して、入力画像及び入力音声が送信される。動画配信サーバ１０は、配信ユーザ端末３０及び参加ユーザ端末３０からそれぞれ受信する各入力画像を解析し、各入力画像におけるユーザの顔及び両手の配置に関する配置情報を取得する。そして、動画配信サーバ１０は、取得した配置情報（配信ユーザ）及び配置情報（参加ユーザ）、並びに、参加ユーザ端末３０から受信した入力音声を配信ユーザ端末３０に送信する。配信ユーザ端末３０は、動画配信サーバ１０から受信した配置情報（配信ユーザ）、配置情報（参加ユーザ）、及び入力音声（参加ユーザ）、並びに、配信ユーザ端末３０における入力音声に基づいて動画を生成し、生成した動画を、動画配信サーバ１０を経由して、参加ユーザ端末３０及び複数の視聴ユーザ端末３０の各々に送信する。なお、配信ユーザ端末３０は、コラボ配信の開始前において、配信ユーザ及び参加ユーザそれぞれのアバターの３Ｄモデルを３ＤモデルＤＢ４１３から取得する。

また、動画の生成が配信ユーザ端末３０において行われる上記実施形態において、各入力画像の解析、及び、上記配置情報の取得は、配信ユーザ端末３０及び参加ユーザ端末３０の各々において行われ得る。この場合、参加ユーザ端末３０から動画配信サーバ１０に対して、配置情報及び入力音声が送信される。動画配信サーバ１０は、参加ユーザ端末３０から受信した配置情報及び入力音声を配信ユーザ端末３０に送信する。配信ユーザ端末３０は、動画配信サーバ１０から受信した配置情報（参加ユーザ）及び入力音声（参加ユーザ）、並びに、配信ユーザ端末３０における配置情報（配信ユーザ）及び入力音声（配信ユーザ）に基づいて動画を生成し、生成した動画を、動画配信サーバ１０を経由して、複数の視聴ユーザ端末３０の各々に送信する。

また、本発明の更に他の実施形態において、動画の生成は、配信ユーザ端末３０、参加ユーザ端末３０、及び、複数の視聴ユーザ端末３０の各々において行われ得る。図１５は、当該実施形態において、コラボ配信の期間中に、配信ユーザ端末３０、参加ユーザ端末３０、動画配信サーバ１０、及び複数の視聴ユーザ端末３０の間で行われる通信を説明するための図である。図示するように、この実施形態においては、配信ユーザ端末３０及び参加ユーザ端末３０から動画配信サーバ１０に対して、入力画像及び入力音声が送信される。動画配信サーバ１０は、配信ユーザ端末３０及び参加ユーザ端末３０からそれぞれ受信する各入力画像を解析し、各入力画像におけるユーザの顔及び両手の配置に関する配置情報を取得する。そして、動画配信サーバ１０は、取得した配置情報（配信ユーザ）及び配置情報（参加ユーザ）、並びに、参加ユーザ端末３０から受信した入力音声を配信ユーザ端末３０に送信し、配信ユーザ端末３０は、動画配信サーバ１０から受信した配置情報（配信ユーザ）、配置情報（参加ユーザ）、及び入力音声（参加ユーザ）、並びに、配信ユーザ端末３０における入力音声に基づいて動画を生成する。また、動画配信サーバ１０は、取得した配置情報（配信ユーザ）及び配置情報（参加ユーザ）、並びに、配信ユーザ端末３０から受信した入力音声を参加ユーザ端末３０に送信し、参加ユーザ端末３０は、動画配信サーバ１０から受信した配置情報（配信ユーザ）、配置情報（参加ユーザ）、及び入力音声（配信ユーザ）、並びに、参加ユーザ端末３０における入力音声に基づいて動画を生成する。さらに、動画配信サーバ１０は、取得した配置情報（配信ユーザ）及び配置情報（参加ユーザ）、並びに、配信ユーザ端末３０及び参加ユーザ端末３０からそれぞれ受信した入力音声を複数の視聴ユーザ端末３０の各々に送信し、各視聴ユーザ端末３０は、動画配信サーバ１０から受信した配置情報（配信ユーザ）、配置情報（参加ユーザ）、入力音声（配信ユーザ）、及び入力音声（参加ユーザ）に基づいて動画を生成する。なお、配信ユーザ端末３０、参加ユーザ端末３０、及び複数の視聴ユーザ端末３０の各々は、コラボ配信の開始前において、配信ユーザ及び参加ユーザそれぞれのアバターの３Ｄモデルを３ＤモデルＤＢ４１３から取得する。

上述した実施形態では、複数のユーザのアバターの画像情報（３Ｄモデル）を、動画配信サーバ１０（３ＤモデルＤＢ４１３）において管理するようにしたが、本発明の他の実施形態において、こうしたアバターの画像情報の少なくとも一部は、サーバ１０以外の装置おいて管理され、例えば、ユーザ端末３０において管理され得る。

本明細書で説明された処理及び手順は、明示的に説明されたもの以外にも、ソフトウェア、ハードウェアまたはこれらの任意の組み合わせによって実現される。例えば、本明細書で説明される処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク等の媒体に、当該処理及び手順に相当するロジックを実装することによって実現される。また、本明細書で説明された処理及び手順は、当該処理・手順に相当するコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。

本明細書中で説明された処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理または手順は複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は複数のモジュールによって実行され得る。また、本明細書において説明されたソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、またはより多い構成要素に分解することによって実現することも可能である。

本明細書において、発明の構成要素が単数もしくは複数のいずれか一方として説明された場合、又は、単数もしくは複数のいずれとも限定せずに説明された場合であっても、文脈上別に解すべき場合を除き、当該構成要素は単数又は複数のいずれであってもよい。

１０ 動画配信サーバ
１１ コンピュータプロセッサ
３０ ユーザ端末
４１ 情報記憶管理部
４１１ ユーザ情報テーブル
４１２ 配信情報テーブル
４１３ ３ＤモデルＤＢ
４３ 基本機能制御部
４５ 動画配信制御部
５０ 入力画像
６０ 視聴用画面
７０ 配信用画面
１００ 仮想空間
１１０ 配信ユーザのアバター
１１２ 参加ユーザのアバター

Claims (8)

1. サーバと、第１及び第２のユーザ端末と、を備え、動画を配信するためのシステムであって、
   動画の共同配信を行う第１及び第２のユーザに対応する第１及び第２のアバターの画像情報を少なくとも記憶する１又は複数の記憶装置と、前記サーバ並びに前記第１及び第２のユーザ端末のコンピュータプロセッサを含む複数のコンピュータプロセッサと、を備え、
   前記複数のコンピュータプロセッサは、読取可能な命令の実行に応じて、
   前記第１及び第２のアバターが含まれる仮想空間に対応する動画を生成する処理と、
   生成した動画を複数の視聴ユーザの各々に対して提供する処理と、を実行し、
   前記動画を生成する処理は、
   前記サーバのコンピュータプロセッサが、前記第１及び第２のアバターを前記仮想空間において動作させるための所定情報を、前記第１及び第２のユーザによって前記第１及び第２のユーザ端末を介してそれぞれ入力される入力情報に少なくとも基づいて取得すること、
   前記第１のユーザ端末のコンピュータプロセッサが、前記第１及び第２のアバターを、前記１又は複数の記憶装置に記憶されている前記第１及び第２のアバターの画像情報に少なくとも基づいて描画すること、及び、
   前記第１のユーザ端末のコンピュータプロセッサが、前記第１及び第２のアバターを、前記サーバが取得した前記所定情報に少なくとも基づいて前記仮想空間において動作させることを含み、
   前記１又は複数の記憶装置は、前記サーバが有し、又は、前記第１及び第２のユーザ端末が有する、
   システム。
2. 前記入力情報は、カメラを介して入力される画像を含み、
   前記動画を生成する処理は、前記サーバのコンピュータプロセッサが、前記入力される画像に含まれる前記第１又は第２のユーザの姿勢に少なくとも基づいて前記所定情報を取得することを含む、
   請求項１のシステム。
3. 前記動画を生成する処理は、前記サーバのコンピュータプロセッサが、前記入力される画像に含まれる前記第１又は第２のユーザの身体の１又は複数の所定の部位の前記入力される画像における配置に少なくとも基づいて前記所定情報を取得することを含む、
   請求項２のシステム。
4. 前記動画を生成する処理は、前記第１のユーザ端末のコンピュータプロセッサが、前記第１又は第２のユーザによって前記第１又は第２のユーザ端末のマイクを介して入力される音声を含む動画を生成することを含む、
   請求項１ないし３何れかのシステム。
5. 前記動画を生成する処理は、前記第１のユーザ端末のコンピュータプロセッサが、前記入力される音声に少なくとも基づいて前記第１又は第２のアバターの口の動きを制御することを含む、
   請求項４のシステム。
6. 前記動画を生成する処理は、前記第１のユーザ端末のコンピュータプロセッサが、前記第１又は第２のアバターの前記仮想空間における位置に少なくとも基づいて、前記第１又は第２のユーザによって入力される音声の音量を制御することを含む、
   請求項１ないし５何れかのシステム。
7. 動画の共同配信を行う第１及び第２のユーザに対応する第１及び第２のアバターの画像情報を少なくとも記憶する１又は複数の記憶装置にアクセス可能な複数のコンピュータであって、サーバと、第１及び第２のユーザ端末と、を含む前記複数のコンピュータによって実行され、動画を配信するための方法であって、
   前記第１及び第２のアバターが含まれる仮想空間に対応する動画を生成するステップと、
   生成した動画を複数の視聴ユーザの各々に対して提供するステップと、を備え、
   前記動画を生成するステップは、
   前記サーバが、前記第１及び第２のアバターを前記仮想空間において動作させるための所定情報を、前記第１及び第２のユーザによって前記第１及び第２のユーザ端末を介してそれぞれ入力される入力情報に少なくとも基づいて取得すること、
   前記第１のユーザ端末が、前記第１及び第２のアバターを、前記１又は複数の記憶装置に記憶されている前記第１及び第２のアバターの画像情報に少なくとも基づいて描画すること、及び、
   前記第１のユーザ端末が、前記第１及び第２のアバターを、前記サーバが取得した前記所定情報に少なくとも基づいて前記仮想空間において動作させることを含み、
   前記１又は複数の記憶装置は、前記サーバが有し、又は、前記第１及び第２のユーザ端末が有する、
   方法。
8. 動画を配信するためのプログラムであって、
   動画の共同配信を行う第１及び第２のユーザに対応する第１及び第２のアバターの画像情報を少なくとも記憶する１又は複数の記憶装置にアクセス可能な複数のコンピュータであって、サーバと、第１及び第２のユーザ端末と、を含む前記複数のコンピュータ上での実行に応じて、前記複数のコンピュータに、
   前記第１及び第２のアバターが含まれる仮想空間に対応する動画を生成する処理と、
   生成した動画を複数の視聴ユーザの各々に対して提供する処理と、を実行させ、
   前記動画を生成する処理は、
   前記サーバが、前記第１及び第２のアバターを前記仮想空間において動作させるための所定情報を、前記第１及び第２のユーザによって前記第１及び第２のユーザ端末を介してそれぞれ入力される入力情報に少なくとも基づいて取得すること、
   前記第１のユーザ端末が、前記第１及び第２のアバターを、前記１又は複数の記憶装置に記憶されている前記第１及び第２のアバターの画像情報に少なくとも基づいて描画すること、及び、
   前記第１のユーザ端末が、前記第１及び第２のアバターを、前記サーバが取得した前記所定情報に少なくとも基づいて前記仮想空間において動作させることを含み、
   前記１又は複数の記憶装置は、前記サーバが有し、又は、前記第１及び第２のユーザ端末が有する、
   プログラム。
   

Images