JP6775557B2 - 動画配信システム、動画配信方法、及び動画配信プログラム - Google Patents

Description

本明細書における開示は、アクターの行動に基づいて生成されたキャラクタオブジェクトのアニメーションが含まれる動画を配信する動画配信システム、動画配信方法、及び動画配信プログラムに関する。本明細書における開示は、より具体的には、アクターなどの動画制作者に対して有用なフィードバックを提供できる動画配信システム、動画配信方法、及び動画配信プログラムに関する。

アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを生成し、当該アニメーションが含まれる動画を配信する動画配信システムが知られている。例えば、以下の非特許文献１には、アクターの動きを表すモーションキャプチャデータに基づいてヴァーチャルアイドルのアニメーションを生成し、当該アニメーションを含む動画をライブ配信する動画配信システムが開示されている。

従来の動画配信システムにおいては、双方向性を高めるために、視聴ユーザから配信動画に対するコメントが受け付けられる。上記非特許文献１の動画配信システムにおいては、視聴ユーザからテキスト形式のコメントが受け付けられ、その受け付けられたコメントが配信中の動画に重畳して表示される。

長谷川 雄介，ヴァーチャルアイドル新時代の幕開け ＰＲＯＪＥＣＴ ＭａｒｉＡ，ＣＧ ＷＯＲＬＤ，日本，株式会社ボーンデジタル，２０１７年１１月１０日，第２３１巻，ｐｐ．７４−７９

従来の動画配信システムにおける視聴ユーザからのコメントは、配信動画に重畳表示されることにより、視聴ユーザにおける盛り上がりを示すことができる。例えば、視聴ユーザが盛り上がっているときには、動画に重畳させて多数のコメントが表示される。コメントが重畳された動画を記録しておくことにより、動画作成者は、配信時間ごとのコメントの多寡により、視聴ユーザにおける盛り上がりをある程度理解することができる。

従来の動画システムにおいては、コメントがテキスト入力されており、かかるテキスト入力には入力動作を要するため、配信動画において視聴ユーザがコメントを付すことを意図している時刻と、投稿されたコメントが表示される時刻との間にはギャップが生じてしまう。このため、動画制作者は、視聴ユーザの盛り上がりが、アクターのどの行動に起因して生じたものかを容易に把握できないことがある。

また、従来の動画配信システムにおいては、テキスト入力により視聴ユーザからのコメントが入力される。コメントの内容と視聴者の情動や感情は必ずしも対応しないため、視聴ユーザからテキスト入力されたフィードバック情報に基づいて視聴ユーザの情動または感情を推測することが難しいという課題がある。また、従来の動画配信システムにおいては、連続的に配信される動画フレームに対する視聴ユーザからのフィードバックが時系列に記録されていても、視聴ユーザにとって有意な（つまり、視聴ユーザに情動の変化を生じさせた）動画フレームの範囲を抽出することは難しいという問題がある。

このように、これまでのアクターの行動に基づいて生成されたキャラクタオブジェクトのアニメーションが含まれる動画を配信する動画配信システムにおいては、視聴ユーザからアクターのパフォーマンスに関する有用なフィードバックが得られにくいという課題がある。

本発明の目的の一つは、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本発明のより具体的な目的の一つは、アクターの行動に関する視聴ユーザからの有用なフィードバックが得られやすい動画配信システムを提供することである。

本明細書の開示の上記以外の目的は、本明細書全体を参照することにより明らかになる。本明細書に開示される発明は、上記の課題に代えて又は上記の課題に加えて、本明細書の発明を実施するための形態の記載から把握される課題を解決するものであってもよい。

一態様による動画配信システムは、一又は複数のコンピュータプロセッサを備え、前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザに配信し、前記アクターの行動を示すアクター情報、及び、一又は複数のユーザデバイスにより検出され、前記視聴ユーザから前記動画に対する非言語フィードバックを示す非言語フィードバック情報を前記動画のタイムコードに対応付けて記憶する。

一態様において、前記非言語フィードバック情報には、前記視聴ユーザによって保持される前記一又は複数のユーザデバイスの加速度が含まれる。

一態様において、前記非言語フィードバック情報には、前記視聴ユーザの生体情報が含まれる。

一態様において、前記非言語フィードバック情報には、前記視聴ユーザの情動を示す情動情報が含まれる。

一態様において、前記一又は複数のコンピュータプロセッサは、前記視聴ユーザからの言語フィードバックを示す言語フィードバック情報をさらに前記動画のタイムコードに対応付けて記憶する。

一態様において、前記言語フィードバックは、テキスト入力又は発話入力に基づいて決定される。

一態様において、前記一又は複数のコンピュータプロセッサは、前記視聴ユーザによる評価を示す評価情報をさらに前記動画のタイムコードに対応付けて記憶する。

一態様において、前記一又は複数のコンピュータプロセッサは、前記視聴ユーザによって購入されたギフトの購入数又は購入金額を示すギフト購入情報及び前記視聴ユーザから前記アクターへ提供されるギフトに関連するギフティング情報の少なくとも一方をさらに前記動画のタイムコードに対応付けて記憶する。

一態様において、前記一又は複数のコンピュータプロセッサは、前記タイムコードに基づいて、前記アクター情報及び前記非言語フィードバック情報を時系列に表示する。

一態様において、前記アクター情報及び前記非言語フィードバック情報は、前記アクターによって視認可能な位置に配置されたディスプレイに表示される。

一態様において、前記一又は複数のコンピュータプロセッサは、前記非言語フィードバック情報に基づいて、前記動画のダイジェスト動画を作成する。

一態様において、前記一又は複数のコンピュータプロセッサは、前記アクター情報及び前記非言語フィードバック情報に基づいて、前記視聴ユーザに前記アクター以外の他のアクターを推薦する。

一態様による動画配信システムは、一又は複数のコンピュータプロセッサを備え、前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信し、前記動画を視聴する視聴ユーザからのフィードバック情報に基づいて、前記キャラクタオブジェクトの外観を変化させる。

一態様による動画配信システムは、一又は複数のコンピュータプロセッサを備え、前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信し、前記動画を視聴する視聴ユーザからのフィードバック情報に基づいて、前記アクターが使用するアクターデバイスに備えられるアクチュエータを駆動するための駆動信号を生成する。

一態様において、前記アクチュエータは、前記駆動信号を受信したことに応じて振動するように構成されている。

一態様による動画配信方法は、一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される。当該動画配信方法は、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザに配信する工程と、前記アクターの行動を示すアクター情報、及び、一又は複数のユーザデバイスにより検出され、前記視聴ユーザから前記動画に対する非言語フィードバックを示す非言語フィードバック情報を前記動画のタイムコードに対応付けて記憶する工程と、を備える。

一態様による動画配信プログラムは、一又は複数のコンピュータプロセッサに実行されるプログラムであって、前記一又は複数のコンピュータプロセッサに、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザに配信する工程と、前記アクターの行動を示すアクター情報、及び、一又は複数のユーザデバイスにより検出され、前記視聴ユーザから前記動画に対する非言語フィードバックを示す非言語フィードバック情報を前記動画のタイムコードに対応付けて記憶する工程と、
を実行させる。

実施形態によれば、アクターの行動に関する視聴ユーザからの有用なフィードバックが得られる動画配信システムが提供される。

一実施形態による動画配信システムを示すブロック図である。 図１の動画配信システムで配信される動画を制作するスタジオの設備を模式的に示す模式図である。 図１の動画配信システムにおいて記憶される言語フィードバック情報を説明する図である。 図１の動画配信システムにおいて記憶される非言語フィードバック情報を説明する図である。 図１の動画配信システムにおいて記憶される評価情報を説明する図である。 図１の動画配信システムにおいて記憶されるギフト情報を説明する図である。 図１の動画配信システムにおいて記憶されるアクター情報を説明する図である。 一実施形態においてクライアント装置１０ａに表示される動画の例を示す図である。図８には、キャラクタオブジェクトのアニメーションが含まれている。 一実施形態においてクライアント装置１０ａに表示される動画の例を示す図である。図９には、ギフトオブジェクトが含まれている。 タイムライン情報の表示例を示す図である。 一実施形態における動画配信処理の流れを示すフロー図である。 別の実施形態による動画配信システムの一部を示すブロック図である。 別の実施形態による動画配信システムの一部を示すブロック図である。 別の実施形態による動画配信システムの一部を示すブロック図である。

以下、図面を適宜参照し、本発明の様々な実施形態を説明する。複数の図面において同一の又は類似する構成要素には同じ参照符号が付される。

図１から図７を参照して、一実施形態による動画配信システムについて説明する。図１は、一実施形態による動画配信システム１を示すブロック図であり、図２は、動画配信システム１で配信される動画の制作が行われるスタジオの設備を模式的に示す模式図であり、図３〜図７はそれぞれ、動画配信システム１において記憶される非言語フィードバック情報、言語フィードバック情報、評価情報、ギフト情報、及びアクター情報を説明するための図である。

動画配信システム１は、クライアント装置１０ａ〜１０ｃと、外部デバイス１１ａ〜１１ｃと、サーバ装置２０と、スタジオユニット３０と、ストレージ６０と、を備える。クライアント装置１０ａ〜１０ｃと、サーバ装置２０と、ストレージ６０と、は、ネットワーク５０を介して相互に通信可能に接続されている。サーバ装置２０は、後述するように、キャラクタのアニメーションを含む動画ストリームを配信するように構成される。この動画に含まれるキャラクタは、仮想空間内でモーション制御されてもよい。この動画ストリームには、受信側で再生同期を取るためのタイムコードが付されている。このタイムコードは、例えば、クロックのカウント値で示される。タイムコードは、同期を維持するために所定の時間間隔（例えば、１００ｍｓ間隔）で動画ストリーム中に埋め込まれる。再生同期のために用いられるタイムコードは、ＭＰＥＧ２ではタイムスタンプと呼ばれる。本明細書では、サーバ装置２０から配信される動画ストリームを単に動画と呼ぶことがある。

まず、クライアント装置１０ａ〜１０ｃについて説明する。クライアント装置１０ａ〜１０ｃは、サーバ装置２０から配信される動画を受信し、受信した動画を再生することができるように構成される。クライアント装置１０ａのユーザである第１視聴ユーザ、クライアント装置１０ｂのユーザである第２視聴ユーザ、及びクライアント装置１０ｃのユーザである第３視聴ユーザは、配信された動画を、各クライアント装置により視聴することができる。動画配信システム１は、３台よりも少ない数のクライアント装置を備えていてもよく、３台よりも多い数のクライアント装置を備えていてもよい。本明細書においては、第１視聴ユーザ、第２視聴ユーザ、及び第３視聴ユーザを視聴ユーザと総称することがある。

クライアント装置１０ａ〜１０ｃは、スマートフォンなどの情報処理装置である。クライアント装置１０ａ〜１０ｃは、スマートフォン以外に、携帯電話機、タブレット端末、パーソナルコンピュータ、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、ヘッドマウントディスプレイ及びこれら以外の動画を再生可能な各種情報処理装置であってもよい。クライアント装置１０ａ〜１０ｃの各々は、コンピュータプロセッサ、メモリ、通信Ｉ／Ｆ、ディスプレイ、ジャイロセンサ等の各種センサを備えるセンサユニット、マイク等の集音装置、及び各種情報を記憶するストレージを備えていてもよい。

クライアント装置１０ａ〜１０ｃのディスプレイは、表示パネルと、タッチパネルと、を有する。タッチパネルは、プレイヤのタッチ操作（接触操作）を検出することができるように構成されている。タッチパネルは、プレイヤのタップ、ダブルタップ、ドラッグ等の各種タッチ操作を検出することができる。タッチパネルは、静電容量式の近接センサを備え、プレイヤの非接触操作を検出可能に構成されてもよい。

クライアント装置１０ａ〜１０ｃの各々は、一又は複数のセンサユニットを備えてもよい。このセンサユニットは、加速度センサ、ジャイロセンサ、および地磁気センサのうち少なくとも１つのセンサを含む。このセンサユニットは、クライアント装置１０ａ〜１０ｃのユーザの眼球の動きを直接的に検出するアイトラッキングセンサを備えてもよい。アイトラッキングセンサは、例えば、虹彩内に近赤外光を入射しその反射光を検出する視線検出センサである。

クライアント装置１０ａ〜１０ｃの各々は、視聴ユーザから視聴中の動画に対する様々なフィードバック情報の入力を受け付けることができる。視聴ユーザからのフィードバック情報には、言語フィードバック情報と、非言語フィードバック情報と、が含まれる。

言語フィードバック情報は、視聴ユーザからの言語によるフィードバック情報である。クライアント装置１０ａ〜１０ｃは、視聴ユーザの言語入力により、言語フィードバック情報を取得することができる。言語入力は、例えば、テキスト入力又は発話入力である。テキスト入力は、クライアント装置１０ａ〜１０ｃに備えられているキーボード、タッチスクリーン、又はこれら以外のテキストを入力可能な入力インタフェースが操作されることにより、クライアント装置１０ａ〜１０ｃによって受け付けられる。発話入力は、音声として発せられた言語がクライアント装置１０ａ〜１０ｃに備えられたマイクなどの集音装置を介して検出されることにより受け付けられる。クライアント装置１０ａ〜１０ｃは、言語入力の内容に応じたテキスト情報を言語フィードバック情報として記憶することができる。例えば、視聴ユーザは、動画の視聴中にクライアント装置１０ａ〜１０ｃを操作することにより、当該動画やアクターのパフォーマンスに関するコメントをテキスト入力する。このテキスト入力されたコメントは、テキスト情報としてクライアント装置１０ａ〜１０ｃに記憶される。

言語入力により受け付けられた言語フィードバック情報は、当該言語入力がクライアント装置１０ａ〜１０ｃによって受け付けられた時点における動画のタイムコードと対応付けてクライアント装置１０ａ〜１０ｃに記憶されてもよい。例えば、ＷｅｂＲＴＣ（Ｗｅｂ Ｒｅａｌ−Ｔｉｍｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）におけるＲｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ（ＲＴＰ）拡張におけるａｂｓ−ｓｅｎｄ−ｔｉｍｅ（
1535950231958_0
参照）を利用することにより、クライアント装置１０ａ〜１０ｃの各々において遅延時間を考慮した絶対時間を取得することで、言語入力により受け付けられた言語フィードバック情報を動画のタイムコードと対応付けて記憶することができる。

言語入力は、上記のように、テキスト入力又は発話入力のいずれかによってなされる。したがって、視聴ユーザがフィードバックを行うことを意図してから言語入力が完了するまでには相応の時間がかかる。これにより、視聴ユーザがフィードバックを行うことを意図した時刻と言語入力が受け付けられる時刻との間にはギャップが生じる。

非言語フィードバック情報は、視聴ユーザからの言語以外の入力によるフィードバック情報である。クライアント装置１０ａ〜１０ｃは、加速度センサ、カメラ、生体情報センサ、又はこれら以外の検出装置により検出される視聴ユーザからの非言語入力によって、非言語フィードバック情報を取得することができる。非言語フィードバック情報には、例えば、加速度センサにより検出される加速度、カメラにより撮像される視聴ユーザの映像情報に基づいて判定される視聴ユーザが視聴を行っているか否かを示す視聴有無情報、生体情報センサにより検出される視聴ユーザの生体情報、及びこれら以外の視聴ユーザに関する非言語情報が含まれ得る。非言語フィードバック情報には、加速度センサ、カメラ、生体情報センサ、及びこれら以外の検出装置によって検出された非言語入力に基づいて推定される当該視聴ユーザの情動を示す情動情報が含まれてもよい。

非言語フィードバック情報として、加速度センサにより検出された加速度を用いてもよいし、この加速度から推定される視聴ユーザの情動を示す情動情報を用いてもよい。動画視聴中に視聴ユーザが保持しているデバイスの加速度の高周波成分に基づいて、当該視聴ユーザの情動を推定できることが報告されている。例えば、「ＷｅｂＳｏｃｋｅｔを用いたスマートフォン上でのエンタテイメントコンテンツ閲覧時のリアルタイム行動分析」（エンターテインメントコンピューティングシンポジウム（ＥＣ２０１３），２０１３年１０月）では、視聴ユーザが保持しているスマートフォンに内蔵されている加速度センサにより検出された３軸の加速度の二乗和平方根を算出し、この算出された二乗和平方根が所定値（例えば、０．２［Ｇ］や０．１［Ｇ］）以上であるときに当該視聴ユーザが笑っていると推定できることが説明されている。このように、加速度センサにより検出された加速度の高周波成分に基づいて、視聴ユーザが笑っているか否かを示す情動情報を生成することができる。

視聴ユーザが視聴を行っているか否かは、視聴ユーザの顔の向きに基づいて判定することができる。例えば、特開２０１３−１０９５３７号公報に記載されているように、カメラによって撮像された視聴ユーザの顔画像に基づいて視聴ユーザの顔方向を求め、この視聴ユーザの顔が動画の再生装置（例えば、クライアント装置１０ａ〜１０ｃ）の方向を向いているか否かによって、当該視聴ユーザが再生中の動画を視聴しているか否かを判定することができる。クライアント装置１０ａ〜１０ｃは、この判定結果に応じて視聴有無情報を生成することができる。

カメラによって撮像された顔画像から、視聴ユーザの情動を推定することもできる。例えば、特開平３−２５２７７５号公報には、情動（喜び、怒り、哀しみ、楽しさ）と関連付けて記憶されている表情パターンの中から、カメラで撮影した視聴ユーザの顔画像と類似する画像を有する表情パターンを検索することにより、当該人物の情動を推定する技術が開示されている。クライアント装置１０ａ〜１０ｃは、この推定に基づいて、視聴ユーザの情動を示す情動情報を生成することができる。

視聴ユーザの生体情報に基づいて当該ユーザの情動を表す情動情報を生成する技術は、「人間の感情を考慮したバイオメトリクス 情報学ワークショップ２００４、平成１６年９月」に記載されているように公知である。クライアント装置１０ａ〜１０ｃは、この技術を利用して、視聴ユーザの情動を示す情動情報を生成することができる。

情動情報は、楽しさ、悲しみ、怒り、驚き、恐怖などの人間の情動を示す情報である。情動は、ユーザの意思による制御が難しいため、視聴ユーザの情動情報は、言語フィードバック情報よりも当該視聴ユーザの動画に対する自然な（無意識の又は不随意の）反応を示しやすいと考えられる。情動情報は、言語フィードバック情報及び非言語フィードバック情報のいずれの形式でも取得することが可能である。例えば、情報の一部、例えば「楽しさ」は、言語によって表現可能である。しかし、視聴ユーザは、多様な言語を使用し、また、多様な文化的背景を持っていることが想定されるので、情動情報を言語により表すと、視聴ユーザからの有意なフィードバックを得られないおそれがある。このため、情動情報については、言語フィードバック情報ではなく、非言語フィードバック情報として取得することが望ましい。

クライアント装置１０ａ〜１０ｃは、内蔵のセンサによって非言語入力を検出してもよく、外部デバイス（例えば、後述する外部デバイス１１ａ〜１１ｃ）により検出された非言語入力を当該外部デバイスから取得してもよい。

非言語フィードバック情報は、所定のサンプリングレートごとに生成されてもよい。例えば、加速度、生体情報は所定のサンプリングレートごとに生成される。

生体情報センサにより検出される視聴ユーザの生体情報には、体温、呼吸数、脈拍、眼球運動、血中の酸素濃度、筋電（筋肉で発生する電位）及びこれら以外の生体に関して検出可能な情報が含まれ得る。生体情報センサは、これらの生体情報を検出することができる公知の任意のセンサである。

非言語入力により受け付けられた非言語フィードバック情報は、当該非言語入力がクライアント装置１０ａ〜１０ｃによって受け付けられた時点における動画のタイムコードと対応付けてクライアント装置１０ａ〜１０ｃ記憶されてもよい。非言語入力は、センサなどの検出装置によって検出されるため、非言語入力の元になる生体反応（例えば、視聴ユーザの随意運動、不随意運動、生体情報の変動）が起きてから即時に非言語入力が検出され得る。つまり、非言語入力の元になる生体反応が起きた時刻と非言語入力が完了する時刻とは近接している。

クライアント装置１０ａ〜１０ｃは、視聴ユーザの操作入力を受け付けることができる。操作入力は、クライアント装置１０ａ〜１０ｃの特定の処理と対応付けられている。操作入力は、クライアント装置１０ａ〜１０ｃの物理的な又は仮想的な操作要素に対する操作が行われることにより受け付けられる。より具体的には、操作入力は、クライアント装置１０ａ〜１０ｃが備える物理ボタンを視聴ユーザが押下する操作又はクライアント装置１０ａ〜１０ｃの表示画面に表示される操作アイコンをタップする操作により受け付けられ得る。操作入力は、視聴ユーザにより事前定義されたジェスチャが行われることにより入力されてもよい。ジェスチャによる入力は、例えば、視聴ユーザの特定の姿勢や動きがクライアント装置１０ａ〜１０ｃの特定のアクションと事前に対応付けられている場合に、視聴ユーザが当該特定の姿勢を取ることまたは特定の動きを行うことによりクライアント装置１０ａ〜１０ｃによって受け付けられる。

クライアント装置１０ａ〜１０ｃは、操作入力を受け付けると、その受け付けた操作に対応する処理を行う。このクライアント装置１０ａ〜１０ｃにより行われる処理には、様々な処理が含まれる。例えば、クライアント装置１０ａ〜１０ｃは、受け付けた操作入力に応じて、動画の選択、再生開始、再生停止を行うことができる。前記の処理に加えて、クライアント装置１０ａ〜１０ｃは、受け付けた操作入力に応じて、視聴中の動画においてギフトを購入するためのギフト購入処理、視聴中の動画のためにパフォーマンスを行っているアクターにギフトを提供するギフティング処理、視聴中の動画に対する評価を決定する評価処理、及びこれら以外の様々な処理を行うことができる。

ギフト購入処理に関連するギフト購入情報及びギフティング処理に関連するギフティング情報は、当該ギフト購入処理を行うためになされた操作入力がクライアント装置１０ａ〜１０ｃによって受け付けられた時点における動画のタイムコードと対応付けてクライアント装置１０ａ〜１０ｃに記憶されてもよい。ギフト購入情報は、例えば、ギフト購入処理により購入されたギフトの数量や購入額を示す情報である。ギフティング情報は、例えば、視聴ユーザがアクターに提供したギフトの数量やアクターに提供されたギフトの購入金額を示す情報である。本明細書においては、ギフト購入情報及びギフティング情報をギフト情報と総称することがある。

評価処理に関連する評価情報は、当該評価処理を行うためになされた操作入力がクライアント装置１０ａ〜１０ｃによって受け付けられた時点における動画のタイムコードと対応付けてクライアント装置１０ａ〜１０ｃに記憶されてもよい。評価情報は、視聴ユーザによって決定された視聴中の動画に対する評価を示す情報である。視聴ユーザは、例えば、動画の視聴中に当該動画を含む表示画面中に表示される評価ボタンをタップして選択することにより、当該動画に対する肯定的な評価（「好き」）又は否定的な評価（「嫌い」）を選択することができる。評価ボタンには、例えば、当該評価ボタンの選択により肯定的な評価が決定されることを視聴ユーザに知らしめるために、「Ｌｉｋｅ」や「いいね」といった文字、ハートマークなどの記号、又は笑顔を示すグラフィックスが表示されていてもよい。評価情報は、例えば、視聴ユーザにより肯定的な評価又は否定的な評価がなされた回数を表す情報であってもよい。評価情報は、レーティング情報であってもよい。評価情報は、視聴中の動画に対する視聴ユーザの評価を感情と関連付けて示す情報であってもよい。例えば、動画を含む表示画面中に、視聴ユーザに感情を選択させるための感情選択ボタンを表示することができる。視聴ユーザは、この感情選択ボタンを選択することにより、当該動画に感動したこと、当該動画に共感できなかったこと、及びこれら以外の視聴ユーザの感情を選択することができる。例えば、感情選択ボタンには、動画に感動したという感情を選択するための拍手ボタン、動画に共感できなかったことを示すための疑問符ボタン、動画に驚いたことを示すための驚きボタン、及びこれら以外のボタンを含むことができる。感情選択ボタンの各々には、当該感情選択ボタンによって選択される感情を表現する記号又はグラフィックスの表示が含まれていてもよい。例えば、拍手ボタンには拍手している手を表すグラフィックスの表示が含まれていてもよく、疑問符ボタンにはクエスチョンマークの表示が含まれていてもよく、驚きボタンにはエクスクラメーションマークの表示が含まれていてもよい。

次に、外部デバイス１１ａ〜１１ｃについて説明する。外部デバイス１１ａ〜１１ｃは、上記の非言語フィードバック情報を取得できるように構成される。外部デバイス１１ａ〜１１ｃは、加速度センサ、モーションセンサ、視聴ユーザを撮像して撮像データを生成するカメラ、生体情報を検出する生体情報センサ、及びこれら以外の視聴ユーザに関する非言語情報を検出することができる検出装置であってもよい。

外部デバイス１１ａ〜１１ｃとして、例えば、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎが提供するｋｉｎｅｃｔ（商標）、任天堂株式会社が提供するｗｉｉ（商標）、Ｏｃｕｌｕｓ ＶＲ， Ｉｎｃ．が提供するＯｃｕｌｕｓ Ｔｏｕｃｈ、ＨＴＣ ＣＯＲＰＯＲＡＴＩＯＮが提供するＨＴＣ Ｖｉｖｅのコントローラ、やまと興業株式会社がチアライトエアーという商品名で提供しているサイリウム、Ａｐｐｌｅ Ｉｎｃが提供するＡｐｐｌｅ Ｗａｔｃｈ及びこれら以外の加速度センサを備えた様々なデバイスが用いられ得る。

外部デバイス１１ａ〜１１ｃは、視聴ユーザの瞬きの長さ、瞬きの頻度、眼球運動、及びこれら以外の使用者の生体情報を取得可能なアイウェアであってもよい。この種のアイウェアとして、株式会社ジェイアイエヌによって提供されているＪＩＮＳ ＭＥＭＥ（商標）が用いられ得る。

外部デバイス１１ａ〜１１ｃは、クライアント装置１０ａ〜１０ｃと通信可能に構成されてもよい。外部デバイス１１ａ〜１１ｃとクライアント装置１０ａ〜１０ｃとは、Ｂｌｕｅｔｏｏｔｈ（商標）、無線ＬＡＮ、又はこれら以外の無線リンクにより接続されてもよい。外部デバイス１１ａ〜１１ｃは、取得した非言語フィードバック情報を対応するクライアント装置１０ａ〜１０ｃに送信してもよい。外部デバイス１１ａ〜１１ｃによって取得された非言語フィードバック情報も、クライアント装置１０ａ〜１０ｃによって取得された非言語フィードバック情報と同様に、非言語入力が外部デバイス１１ａ〜１１ｃによって受け付けられた時点における動画のタイムコードと対応付けて記憶されてもよい。

クライアント装置１０ａ〜１０ｃは、言語フィードバック情報、非言語フィードバック情報、評価情報、及びギフト情報のうちの少なくとも一つの情報を、各情報が対応付けられているタイムコード及び視聴ユーザのユーザＩＤとともに、サーバ装置２０に送信してもよい。例えば、これらの情報は、クライアント装置１０ａからサーバ装置２０に送信される場合には、クライアント装置１０ａを使用している第１視聴ユーザのユーザＩＤと対応付けて送信される。外部デバイス１１ａ〜１１ｃは、非言語フィードバック情報をタイムコードとともに対応するクライアント装置１０ａ〜１０ｃに送信してもよいし、サーバ装置２０に送信してもよい。

クライアント装置１０ａ〜１０ｃ及び外部デバイス１１ａ〜１１ｃはいずれも、動画に対する視聴ユーザの非言語フィードバック情報をサーバ装置２０に提供するユーザデバイスの例である。

次に、サーバ装置２０について説明する。図示の実施形態において、サーバ装置２０は、コンピュータプロセッサ２１と、通信Ｉ／Ｆ２２と、ストレージ２３と、を備えている。

コンピュータプロセッサ２１は、ストレージ２３又はそれ以外のストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ２１は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＧＰＵ、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ２１は、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ、ＭＣＵ等の集積回路により実現されてもよい。図１においては、コンピュータプロセッサ２１が単一の構成要素として図示されているが、コンピュータプロセッサ２１は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。本明細書において、コンピュータプロセッサ２１によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令は、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、コンピュータプロセッサ２１によって実行されるプログラム又は当該プログラムに含まれる命令は、複数の仮想コンピュータプロセッサにより実行されてもよい。

通信Ｉ／Ｆ２２は、ハードウェア、ファームウェア、又はＴＣＰ／ＩＰドライバやＰＰＰドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置２０は、通信Ｉ／Ｆ２２を介して、他の装置とデータを送受信することができる。

ストレージ２３は、コンピュータプロセッサ２１によりアクセスされる記憶装置である。ストレージ２３は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な前記以外の各種記憶装置である。ストレージ２３には、様々なプログラムが記憶され得る。ストレージ２３に記憶され得るプログラム及び各種データの少なくとも一部は、サーバ装置２０とは物理的に別体のストレージ（例えば、クライアント装置１０ａ〜１０ｃ及び外部デバイス１１ａ〜１１ｃのいずれかに備えられるストレージ、及び／又は、ストレージ６０）に格納されてもよい。

次に、スタジオユニット３０について説明する。スタジオユニット３０の構成要素の多くは、例えば、図２に示されているスタジオルームＲに配されている。図示のように、スタジオルームＲにおいては、アクターＡ１及びアクターＡ２がパフォーマンスを行っている。スタジオユニット３０は、アクターＡ１及びアクターＡ２の動き及び表情を検出し、検出した情報をサーバ装置２０に出力するように構成されている。

アクターＡ１及びアクターＡ２はいずれも、スタジオユニット３０に備えられる後述のセンサ群によって動きや表情がキャプチャされる対象である。図示の実施形態において、アクターＡ１及びアクターＡ２は、パフォーマンスを行う人間である。アクターＡ１及びアクターＡ２は、人間以外に、動物またはこれ以外の運動する任意の物体（非生物）であってもよい。アクターＡ１及びアクターＡ２は、例えば、自律運動可能なロボットであってもよい。スタジオルームＲ内のアクターの数は、１であってもよいし、３以上であってもよい。

スタジオユニット３０は、アクターＡ１に装着される６つのモーションセンサ３１ａ〜３１ｆと、アクターＡ１の左手に把持されているコントローラ３３ａと、アクターＡ１の右手に把持されているコントローラ３３ｂと、装着具３７ｂを介してアクターＡ１の頭部に取り付けられるカメラ３７ａと、アクターＡ１の左腕に装着されている腕時計型のアクターデバイス９１と、を有する。スタジオユニット３０はまた、アクターＡ２に装着される６つのモーションセンサ３２ａ〜３２ｆと、アクターＡ２の左手に把持されているコントローラ３４ａと、アクターＡ２の右手に把持されているコントローラ３４ｂと、装着具３８ｂを介してアクターＡ２の頭部に取り付けられるカメラ３８ａと、アクターＡ２の左腕に装着されている腕時計型のアクターデバイス９２と、を有する。装着具３７ｂ及び装着具３８ｂの各々には、音声データを取得するためのマイクが取り付けられてもよい。このマイクは、アクターＡ１及びアクターＡ２の発話を音声データとして取得することができる。マイクは、装着具３７ｂ及び装着具３８ｂを介してアクターＡ１及びアクターＡ２に装着される装着型のマイクであってもよく、スタジオルームＲの床、壁、又は天井に設置される設置型のものであってもよい。スタジオユニット３０は、上記の構成要素に加えて、ベースステーション３５ａと、ベースステーション３５ｂと、デジタルカメラ３６ａと、デジタルカメラ３６ｂと、ディスプレイ３９と、を有する。スタジオルームＲとガラス窓を隔てた隣室には、サポーターコンピュータ４０が設置されている。サーバ装置２０は、サポーターコンピュータ４０が設置されている部屋と同じ部屋に設置されてもよい。

モーションセンサ３１ａ〜３１ｆ及びモーションセンサ３２ａ〜３２ｆは、ベースステーション３５ａ及びベースステーション３５ｂと協働して、自らの位置及び向きを検出する。一実施形態において、ベースステーション３５ａ及びベースステーション３５ｂは、多軸レーザーエミッターである。ベースステーション３５ａは、同期用の点滅光を発した後に、例えば鉛直軸の周りでレーザー光を走査する。ベースステーション３５ｂは、例えば水平軸の周りでレーザー光を走査する。モーションセンサ３１ａ〜３１ｆ及びモーションセンサ３２ａ〜３２ｆはそれぞれ、ベースステーション３５ａ及びベースステーション３５ｂからの点滅光及びレーザー光の入射を検知する光センサを複数備えてもよい。モーションセンサ３１ａ〜３１ｆ及びモーションセンサ３２ａ〜３２ｆはそれぞれ、点滅光の入射タイミングとレーザー光の入射タイミングとの時間差、各光センサでの受光時間、各光センサが検知したレーザー光の入射角度、及び必要に応じてこれら以外の情報に基づいて、自らの位置及び向きを検出してもよい。モーションセンサ３１ａ〜３１ｆ及びモーションセンサ３２ａ〜３２ｆは、例えば、ＨＴＣ ＣＯＲＰＯＲＡＴＩＯＮから提供されているＶｉｖｅ Ｔｒａｃｋｅｒであってもよい。ベースステーション３５ａ及びベースステーション３５ｂは、例えば、ＨＴＣ ＣＯＲＰＯＲＡＴＩＯＮから提供されているベースステーションであってもよい。

モーションセンサ３１ａ〜３１ｆ及びモーションセンサ３２ａ〜３２ｆの各々において算出された各モーションセンサの位置及び向きを示す検出情報は、サーバ装置２０に送信される。この検出情報は、モーションセンサ３１ａ〜３１ｆ及びモーションセンサ３２ａ〜３２ｆの各々からサーバ装置２０に無線送信されてもよい。ベースステーション３５ａ及びベースステーション３５ｂは、一定のインターバルで点滅光の発光及びレーザー光の走査を行うので、各モーションセンサの検出情報は、当該インターバルごとに更新される。

図示の実施形態において、アクターＡ１は、６つのモーションセンサ３１ａ〜３１ｆを装着している。モーションセンサ３１ａ，３１ｂ，３１ｃ，３１ｄ，３１ｅ，及び３１ｆはそれぞれ、アクターＡ１の左手甲、右手甲、左足甲、右足甲、腰、及び頭頂に装着されている。モーションセンサ３１ａ〜３１ｆは、装着具を介してアクターＡ１に装着されてもよい。アクターＡ２は、６つのモーションセンサ３２ａ〜３２ｆを装着している。モーションセンサ３２ａ〜３２ｆは、アクターＡ２に対してモーションセンサ３１ａ〜３１ｆと同様の位置に装着され得る。図２に示されているモーションセンサ３１ａ〜３１ｆ及びモーションセンサ３２ａ〜３２ｆは例示である。モーションセンサ３１ａ〜３１ｆは、アクターＡ１の様々な部位に装着され得るし、モーションセンサ３２ａ〜３２ｆは、アクターＡ２の様々な部位に装着され得る。アクターＡ１及びアクターＡ２に装着されるモーションセンサの数は５以下であってもよいし７以上であってもよい。このように、アクターＡ１及びアクターＡ２の体の各部に装着されたモーションセンサ３１ａ〜３１ｆ及びモーションセンサ３２ａ〜３２ｆの位置及び向きを検出することにより、アクターＡ１及びアクターＡ２の体の動きを検出することができる。アクターＡ１及びアクターＡ２の体の動きは、光学モーションキャプチャシステムにより検出されてもよい。

コントローラ３３ａ及びコントローラ３３ｂは、アクターＡ１の操作に応じたコントロール信号をサーバ装置２０に出力する。同様に、コントローラ３４ａ及びコントローラ３４ｂは、アクターＡ２の操作に応じたコントロール信号をサーバ装置２０に出力する。

デジタルカメラ３６ａ及びデジタルカメラ３６ｂは、アクターＡ１及びアクターＡ２を撮像して撮像データを生成する。デジタルカメラ３６ａの位置、撮像方向、及び画角は、操作者の操作に応じて設定される。デジタルカメラ３６ａは、その位置、撮像方向、及び画角を示す撮像設定情報をサーバ装置２０に送信する。同様に、デジタルカメラ３６ｂの位置、撮像方向、及び画角は、操作者の操作に応じて設定される。デジタルカメラ３６ｂは、その位置、撮像方向、及び画角を示す撮像設定情報をサーバ装置２０に送信する。デジタルカメラ３６ａ及びデジタルカメラ３６ｂは、撮像した撮像データ（動画データ）をサーバ装置２０に送信してもよいし送信しなくともよい。図示の実施形態において、デジタルカメラ３６ａは、アクターＡ１の左前方に設けられている。デジタルカメラ３６ｂは、アクターＡ１及びアクターＡ２の前方であってアクターＡ１とアクターＡ２とのほぼ中間の位置に設けられている。

カメラ３７ａは、上記のように、アクターＡ１の頭部に取り付けられている。例えば、カメラ３７ａは、アクターＡ１の顔を撮像できるように配置されている。カメラ３７ａは、アクターＡ１の顔を連続的に撮像し、アクターＡ１の顔の撮像データを取得する。カメラ３７ａは、アクターＡ１の眼球の動きを検出するアイトラッキングセンサを備えてもよい。同様に、カメラ３８ａは、アクターＡ２の頭部に取り付けられている。カメラ３８ａは、アクターＡ２の顔を撮像できるように配置されており、アクターＡ２の顔を連続的に撮像し、アクターＡ２の顔の撮像データを取得する。カメラ３８ａは、アクターＡ２の眼球の動きを検出するアイトラッキングセンサを備えてもよい。これらのアイトラッキングセンサは、例えば、虹彩内に近赤外光を入射しその反射光を検出する視線検出センサである。カメラ３７ａは、アクターＡ１の顔の撮像データをサーバ装置２０に送信し、カメラ３８ａは、アクターＡ１の顔の撮像データをサーバ装置２０に送信する。カメラ３７ａ及びカメラ３８ａは、人物の顔の奥行きを検出可能な３Ｄカメラであってもよい。カメラ３７ａ及びカメラ３８ａは、例えば、Ａｐｐｌｅ Ｉｎｃが提供するｉＰｈｏｎｅ Ｘに備えられたＬＩＤＡＲデバイスであってもよい。ｉＰｈｏｎｅ Ｘは、例えば、アクターＡ１の頭部に装着されたヘッドギアに取り付けられる。カメラ３７ａ及びカメラ３８ａは、アクターＡ１及びＡ２に装着されるのではなく、スタジオルームＲ内に設置されたカメラスタンドに設置される固定型のものであってもよい。

ディスプレイ３９は、サポーターコンピュータ４０から受信した情報を表示するように構成される。サポーターコンピュータ４０からディスプレイ３９に送信される情報は、例えば、テキスト情報、画像情報、及びこれら以外の各種情報を含み得る。ディスプレイ３９は、アクターＡ１及びアクターＡ２によって視認可能な位置に配置される。

アクターデバイス９１は、サーバ装置２０からの駆動信号に応じて、アクターＡ１が知覚可能な音以外の刺激を発生させるように構成される。アクターデバイス９１が音を発生させると、配信コンテンツに当該音が合成されてしまうおそれがあるため、アクターデバイス９１は、音以外の刺激を発生させるように構成される。アクターデバイス９１は、聴覚刺激（典型的には、音）以外の刺激、例えば、触覚刺激、視覚刺激、又はこれら以外の聴覚刺激とは異なるアクターＡ１によって知覚可能な刺激を発生させることができる。アクターデバイス９１は、アクチュエータ９１ａを備えてもよい。アクチュエータ９１ａは、サーバ装置２０からの駆動信号により作動するように構成される。アクチュエータ９１ａは、駆動信号が入力されると振動するように構成されてもよい。アクターデバイス９１として、例えば、Ａｐｐｌｅ Ｉｎｃから提供されているＡｐｐｌｅ Ｗａｔｃｈが用いられ得る。アクターデバイス９１は、腕時計型以外の様々な形状をとり得る。アクターＡ１は、互いに同じ種類の又は互いと異なる種類の複数のアクターデバイス９１を装着することができる。アクターデバイス９１は、サーバ装置２０以外からの駆動信号に応じて作動するように構成されてもよい。複数のアクターデバイス９１は、アクターＡ１を識別するアクターＩＤと対応付けられていてもよい。アクターデバイス９１は、アクチュエータ９１ａを介して触覚刺激をアクターＡ１に伝達することができる。アクターデバイス９１は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）や知覚ディスプレイデバイスであってもよい。ＬＥＤや知覚ディスプレイデバイスは、視覚刺激を発生することができる。知覚ディスプレイデバイスは、電極から流れる電流によって皮膚下の神経軸索を駆動する電気触覚ディスプレイであってもよい。アクターデバイス９２は、サーバ装置２０からの駆動信号に応じて、アクターＡ２が知覚可能な音以外の刺激を発生させるように構成される。アクターデバイス９１に関する説明は、アクターデバイス９２にも同様に当てはまる。

図示の実施形態において、サポーターコンピュータ４０は、スタジオルームＲの隣室に設置されている。サポーターコンピュータ４０が設置されている部屋とスタジオルームＲとはガラス窓によって隔てられているため、サポーターコンピュータ４０のオペレータ（本明細書では「サポーター」ということがある。）は、アクターＡ１及びアクターＡ２を視認できる。図示の実施形態においては、サポーターコンピュータ４０のオペレータとして、サポーターＢ１及びサポーターＢ２が在室している。

サポーターコンピュータ４０は、サポーターＢ１及びサポーターＢ２の操作に応じて、スタジオユニット３０の構成要素の設定を変更することができるように構成されてもよい。サポーターコンピュータ４０は、例えば、ベースステーション３５ａ及びベースステーション３５ｂによる走査インターバルの設定、デジタルカメラ３６ａ及びデジタルカメラ３６ｂの撮像方向や画角の設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。後述するアクティブカメラの切り替えは、サポーターＢ１及びサポーターＢ２によるサポーターコンピュータ４０の操作に基づいて実行され得る。サポーターＢ１及びサポーターＢ２の少なくとも一方は、サポーターコンピュータ４０にメッセージを入力し、当該入力されたメッセージをディスプレイ３９に表示することができる。

図２に示されているスタジオユニット３０の構成要素及び機能は例示である。本発明に適用可能なスタジオユニット３０は、図示されていない様々な構成要素を備え得る。配信される動画を生成するための撮影は、より簡易な設備によって実行されてもよい。例えば、スマートフォンなどの情報処理端末によりアクターの顔の動きのデジタル表現であるフェイスモーションデータを生成し、当該フェイスモーションデータに基づいて、アクターの表情の動きに同期してその表情が動くがボディは動かないキャラクタオブジェクトのアニメーションを生成してもよい。このフェイスモーションデータは、アクターの頭部の姿勢のトラッキングデータ、当該アクターの顔の特徴点のデジタル表現であるフィーチャーポイント、及びその変形率を表現したブレンドフェイスデータを含むことができる。スマートフォンなどの情報処理端末は、フェイスモーションデータに基づいて、アクターの表情を誇張して示す画像を作成し、当該画像をキャラクタオブジェクトの顔に重畳表示してもよい。フェイスモーションデータに基づいてキャラクタオブジェクトのアニメーションを生成する場合、アクターの体の動きを検出するためのモーションセンサ３１ａ，３１ｂ，３１ｃ，３１ｄ，３１ｅ，及び３１ｆ、ベースステーション３５ａ，３５ｂ、及びデジタルカメラ３６ａ，３６ｂが不要となるため、より簡易な設備でキャラクタオブジェクトのアニメーションを生成することができる。モーションセンサ３１ａ，３１ｂ，３１ｃ，３１ｄ，３１ｅ，及び３１ｆ、ベースステーション３５ａ，３５ｂ、及びデジタルカメラ３６ａ，３６ｂが不要であれば、スタジオルームＲ以外の場所、例えばアクターの自宅でもキャラクタオブジェクトの生成を行うことができるので利便性が高まる。

スタジオユニット３０は、プロジェクタを備えていてもよい。当該プロジェクタは、クライアント装置１０ａまたはそれ以外のクライアント装置に配信される動画をスクリーンＳに投影することができる。

次に、ストレージ２３に記憶される情報について説明する。図示の実施形態においては、ストレージ２３には、モデルデータ２３ａ、オブジェクトデータ２３ｂ、言語フィードバック情報２３ｃ１、非言語フィードバック情報２３ｃ２、評価情報２３ｃ３、ギフト情報２３ｃ４、アクター情報２３ｃ５、及び必要に応じて前記以外の情報が記憶される。

モデルデータ２３ａは、キャラクタのアニメーションを生成するためのモデルデータである。モデルデータ２３ａは、３次元のアニメーションを生成するための３次元モデルデータであってもよいし、２次元のモデルデータを生成するための２次元モデルデータであってもよい。モデルデータ２３ａは、例えば、キャラクタの骨格を示すリグデータ（「スケルトンデータ」と呼ばれることもある。）と、キャラクタの表面の形状や質感を示すスキンデータと、を含む。モデルデータ２３ａには、互いに異なる複数のモデルデータを含むことができる。この複数のモデルデータは、互いに異なるリグデータを有していてもよいし、同じリグデータを有していてもよい。この複数のモデルデータは、互いと異なるスキンデータを有していてもよいし、同じスキンデータを有していてもよい。図示の実施形態においては、アクターＡ１に対応するキャラクタオブジェクト及びアクターＡ２に対応するキャラクタオブジェクトを生成するために、モデルデータ２３ａは、互いに異なる少なくとも２種類のモデルデータを有する。このアクターＡ１に対応するキャラクタオブジェクト用のモデルデータとアクターＡ２に対応するキャラクタオブジェクト用のモデルデータとは、例えば、同じリグデータを有するが、異なるスキンデータを有していてもよい。

オブジェクトデータ２３ｂは、動画を構成する仮想空間を構築するためのアセットデータを含む。オブジェクトデータ２３ｂは、動画を構成する仮想空間の背景を描画するためのデータ、動画に表示される各種物体を描画するためのデータ、及びこれら以外の動画に表示される各種オブジェクトを描画するためのデータが含まれる。オブジェクトデータ２３ｂには、仮想空間におけるオブジェクトの位置を示すオブジェクト位置情報を含んでもよい。

オブジェクトデータ２３ｂには、上記以外にも、クライアント装置１０ａ〜１０ｃの視聴ユーザからの表示要求に基づいて動画に表示されるギフトを表すギフトオブジェクトが含まれ得る。ギフトオブジェクトには、例えば、ぬいぐるみ、花束、アクセサリー（カチューシャ、ネックレス、イヤリングなど）、衣服（Ｔシャツなど）、コスチューム、紙吹雪、花火及びこれら以外の物体を模したオブジェクトである。ギフトオブジェクトの各々には、その種類に応じた表示時間が設定されていてもよい。

クライアント装置１０ａ〜１０ｃからの言語フィードバック情報は、言語フィードバック情報２３ｃ１としてストレージ２３に記憶される。図３に示されているように、言語フィードバック情報は、視聴ユーザによってテキスト入力又は発話入力されたコメントを表すテキストデータであり、このテキストデータが、当該入力を行った視聴ユーザのアカウント情報及び当該入力が行われた時点での動画のタイムコードと対応付けて記憶される。

クライアント装置１０ａ〜１０ｃ及び／又は外部デバイス１１ａ〜１１ｃからの非言語フィードバック情報は、非言語フィードバック情報２３ｃ２としてストレージ２３に記憶される。図４に示されているように、非言語フィードバック情報は、非言語入力を行った視聴ユーザのアカウント情報及び当該入力が行われた時点での動画のタイムコードと対応付けて記憶される。既述のように、非言語フィードバック情報には、加速度センサにより検出される視聴ユーザの加速度、生体情報センサにより検出される視聴ユーザの生体情報、カメラの撮像データから判定される視聴ユーザによる動画の視聴有無を示す視聴有無情報、及び視聴ユーザの情動を示す情動情報が含まれ得る。非言語フィードバック情報２３ｃ２として、視聴ユーザの加速度、生体情報センサにより検出される視聴ユーザの生体情報、視聴ユーザによる動画の視聴有無を示す視聴有無情報、及び視聴ユーザの情動を示す情動情報のうちの一つ以上の情報が記憶され得る。

クライアント装置１０ａ〜１０ｃからの評価情報は、評価情報２３ｃ３としてストレージ２３に記憶される。図５に示されているように、評価情報は、評価を決定した視聴ユーザのアカウント情報及び当該評価の入力が行われた時点での動画のタイムコードと対応付けて記憶される。評価情報２３ｃ３として、肯定的な評価がなされた回数（例えば、Ｌｉｋｅ数）を示す情報、否定的な評価がなされた回数を表す情報（例えば、Ｄｉｓｌｉｋｅ数）、レーティング情報、視聴ユーザの動画に対する感情をを表現するエモーション情報（例えば、拍手数、疑問符数）のうちの一つ以上の情報が記憶され得る。

クライアント装置１０ａ〜１０ｃからのギフト情報は、ギフト情報２３ｃ４としてストレージ２３に記憶される。図６に示されているように、ギフト情報は、ギフト購入処理またはギフィティグ処理を行った視聴ユーザのアカウント情報及び当該ギフト購入処理またはギフィティグ処理が行われた時点での動画のタイムコードと対応付けて記憶される。ギフト情報２３ｃ４として、購入されたギフトの種類、数量及び購入額を示すギフト購入情報及びアクターに提供されたギフトの種類、数量、及び購入金額を示すギフティング情報のうちの一つ以上の情報が記憶され得る。

アクター情報２３ｃ５は、アクターＡ１及びアクターＡ２の動きを示す情報である。一実施形態においては、アクターＡ１及びアクターＡ２のボディモーションデータ、アクターＡ１及びアクターＡ２のフェイスモーションデータ、及び、マイクにより取得されたアクターＡ１及びアクターＡ２の声量を含む音声データが、所定のサンプリングレートで取得され、この取得された加速度及び音声データが、動画のタイムコードと対応付け可能なタイムコードとともにアクター情報２３ｃ５として記憶される。後述するように、アクターＡ１及びアクターＡ２のフェイスモーションデータに基づいて、アクターＡ１及びアクターＡ２の表情の動きに同期して表情が動くキャラクタオブジェクトのアニメーションが生成される。キャラクタオブジェクトの顔の画像として、アクターのフェイスモーションデータに基づいて生成されるアニメーションの代わりに、予め準備された嵌め込み画像を用いることができる。嵌め込み画像は、アクターＡ１、アクターＡ２、サポーターＢ１、及びサポーターＢ２のうちのいずれかからの指示によりキャラクタオブジェクトの顔の画像として用いられる。アクター情報２３ｃ５には、この嵌め込み画像を用いた顔画像の生成が行われたか否かを示す顔入力データが含まれてもよい。

次に、コンピュータプロセッサ２１により実現される機能についてより具体的に説明する。コンピュータプロセッサ２１は、動画配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、ボディモーションデータ生成部２１ａ、フェイスモーションデータ生成部２１ｂ、アニメーション生成部２１ｃ、動画生成部２１ｄ、動画配信部２１ｅ、表示要求処理部２１ｆ、アクター情報管理部２１ｇ、受信情報管理部２１ｈ、及びタイムライン情報生成部２１ｉとして機能する。コンピュータプロセッサ２１により実現される機能の少なくとも一部は、動画配信システム１のコンピュータプロセッサ２１以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ２１により実現される機能の少なくとも一部は、例えば、サポーターコンピュータ４０に搭載されているコンピュータプロセッサにより実現されてもよい。

ボディモーションデータ生成部２１ａは、モーションセンサ３１ａ〜３１ｆの各々の検出情報に基づいて、アクターＡ１の体の各部位の第１ボディモーションデータを生成し、また、モーションセンサ３２ａ〜３２ｆの各々の検出情報に基づいて、アクターＡ２の体の各部位の位置及び向きのデジタル表現である第２ボディモーションデータを生成する。本明細書では、第１ボディモーションデータ及び第２ボディモーションデータを総称して単に「ボディモーションデータ」と呼ぶことがある。ボディモーションデータは、時間の経過に伴って随時生成される。例えば、ボディモーションデータは、所定のサンプリングレートごとに生成されてもよい。このように、ボディモーションデータは、アクターＡ１及びアクターＡ２の体の動きを時系列的にデジタルデータとして表現することができる。図示の実施形態においては、モーションセンサ３１ａ〜３１ｆ及びモーションセンサ３２ａ〜３２ｆは、アクターＡ１及びアクターＡ２の各々の左右の手足、腰、及び頭部に装着されているため、モーションセンサ３１ａ〜３１ｆ及びモーションセンサ３２ａ〜３２ｆの検出情報に基づいて、アクターＡ１及びアクターＡ２の概ね全身の位置及び向きを経時的にデジタル表現することが可能である。ボディモーションデータは、例えば、モデルデータ２３ａに含まれるリグデータを構成する骨（ボーン）の位置及び回転角度を規定することができる。

フェイスモーションデータ生成部２１ｂは、カメラ３７ａの撮像データに基づいて、アクターＡ１の顔の動きのデジタル表現である第１フェイスモーションデータを生成し、また、カメラ３８ａの各々の撮像データに基づいて、アクターＡ２の顔の動きのデジタル表現である第２フェイスモーションデータを生成する。本明細書では、第１フェイスモーションデータ及び第２フェイスモーションデータを総称して単に「フェイスモーションデータ」と呼ぶことがある。フェイスモーションデータは、時間の経過に伴って随時生成される。例えば、フェイスモーションデータは、所定のサンプリングレートごとに生成されてもよい。このように、フェイスモーションデータは、アクターＡ２及びアクターＡ２の顔の動き（表情の変化）及びキャラクタオブジェクトの表情に反映される変形寄与率を時系列的にデジタル表現することができる。

アニメーション生成部２１ｃは、ボディモーションデータ生成部２１ａによって生成されたボディモーションデータ及びフェイスモーションデータ生成部２１ｂによって生成されたフェイスモーションデータを、モデルデータ２３ａに含まれる所定のモデルデータに適用することにより、仮想空間内で動き、また、表情が変化するキャラクタオブジェクトのアニメーションを生成するように構成される。具体的には、アニメーション生成部２１ｃは、アクターＡ１に関する第１ボディモーションデータ及び第１フェイスモーションデータに基づいて、アクターＡ１の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成し、アクターＡ２に関する第２ボディモーションデータ及び第２フェイスモーションデータに基づいて、アクターＡ２の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。本明細書においては、アクターＡ１の動き及び表情に基づいて生成されたキャラクタオブジェクトを「第１キャラクタオブジェクト」といい、アクターＡ２の動き及び表情に基づいて生成されたキャラクタオブジェクトを「第２キャラクタオブジェクト」ということがある。キャラクタオブジェクトのアニメーションを生成する際には、オクルージョンやノイズを抑制するために、当該キャラクタオブジェクトのキネマティクスがインバースキネマティクス又はこれ以外のアルゴリズムで補完されてもよい。

フェイスモーションデータをモデルデータに適用してキャラクタオブジェクトの表情を変化させる処理は、プロセッサにとって処理負荷が高い。このため、キャラクタオブジェクトの表情がアクターの表情にタイムリーに追従できないことがある。アニメーション生成部２１ｃは、予め準備されている嵌め込み画像を顔の画像として組み込んだキャラクタオブジェクトを生成し、この嵌め込み画像が顔画像として嵌め込まれたキャラクタオブジェクトを含む動画を配信することにより、キャラクタオブジェクトの表情がアクターの表情に追従できないことによる動画の品質の低下を防ぐことができる。

動画生成部２１ｄは、オブジェクトデータ２３ｂを用いて仮想空間を構築し、この仮想空間と、アクターＡ１に対応する第１キャラクタオブジェクトのアニメーションと、アクターＡ２に対応する第２キャラクタオブジェクトのアニメーションと、を含む動画を生成する。第１キャラクタオブジェクトは、デジタルカメラ３６ａにより撮像されるアクターＡ１の位置及び向きに合致するように仮想空間内に配置され、第２キャラクタオブジェクトは、デジタルカメラ３６ａにより撮像されるアクターＡ１の位置及び向きに合致するように仮想空間内に配置される。したがって、デジタルカメラ３６ａの撮像設定情報（カメラの位置、撮像方向、及び画角の少なくとも一つ）を変更することにより、仮想空間内における第１キャラクタオブジェクト及び第２キャラクタオブジェクトの位置及び向きを変化させることができる。

一態様において、動画生成部２１ｄは、デジタルカメラ３６ａの撮像設定情報に基づいて仮想空間を構築する。例えば、動画生成部２１ｄは、デジタルカメラ３６ａの撮像設定情報に基づいて仮想カメラの設定情報（注視位置、注視方向、及び画角）を定め、この仮想カメラの設定情報に基づいて仮想空間全体のうちの描画領域を定め、この仮想空間の描画領域を表示するための動画情報を生成する。

動画生成部２１ｄは、デジタルカメラ３６ａの撮像設定情報に代えて、または、デジタルカメラ３６ａの撮像設定情報に加えて、デジタルカメラ３６ｂの撮像設定情報に基づいて、仮想空間内における第１キャラクタオブジェクト及び第２キャラクタオブジェクトの位置及び向き、及び、仮想カメラの設定情報を定めるように構成されてもよい。動画生成部２１ｄは、デジタルカメラ３６ａ及びデジタルカメラ３６ｂのうちから選択されたカメラ（本明細書において、「アクティブカメラ」と呼ぶことがある。）の撮像設定情報に基づいて仮想カメラの設定情報を定めるように構成されてもよい。

動画生成部２１ｄは、生成した動画に、スタジオユニット３０のマイクから取得したアクターＡ１及びアクターＡ２の音声を合成することができる。

以上のようにして、動画生成部２１ｄは、アクターＡ１の体及び表情の動きに同期して動く第１キャラクタオブジェクトのアニメーション、並びに、アクターＡ２の体及び表情の動きに同期して動く第２キャラクタオブジェクトのアニメーションを生成し、このアニメーションにアクターＡ１及びアクターＡ２の音声が合成された配信用の動画を生成することができる。

動画配信部２１ｅは、動画生成部２１ｄにおいて生成された動画を所定のフレームレート（例えば、６０ｆｐｓ）で符号化し、この符号化された動画を配信する。この符号化により作成された各フレームにはタイムコードが挿入される。この動画は、ネットワーク５０を介してクライアント装置１０ａ〜クライアント装置１０ｃ及びこれら以外のクライアント装置に配信される。受信された動画は、クライアント装置１０ａ〜クライアント装置１０ｃにおいて再生される。

この動画は、スタジオルームＲ内に設置されているクライアント装置（不図示）に配信され、このクライアント装置から短焦点プロジェクタを介してスクリーンＳに投影されてもよい。また、この動画は、サポーターコンピュータ４０に配信されてもよい。これにより、サポーターＢ１及びサポーターＢ２は、配信されている動画の視聴画面を確認することができる。

サーバ装置２０からクライアント装置１０ａに配信され、このクライアント装置１０ａにおいて再生されている動画の表示例が図８に示されている。図示のように、サーバ装置２０から配信された動画の表示画像７０は、クライアント装置１０ａのディスプレイに表示される。このクライアント装置１０ａに表示されている表示画像７０は、仮想空間内に、アクターＡ１に対応するキャラクタオブジェクト７１Ａと、アクターＡ２に対応するキャラクタオブジェクト７１Ｂと、このフロア上に置かれたテーブルを示すテーブルオブジェクト７２と、が含まれている。

キャラクタオブジェクト７１Ａは、アクターＡ１の第１ボディモーションデータ及び第１フェイスモーションデータをモデルデータ２３ａに含まれているアクターＡ１用のモデルデータに適用することにより生成される。キャラクタオブジェクト７１Ａは、第１ボディモーションデータ及び第１フェイスモーションデータに基づいてモーション制御される。キャラクタオブジェクト７１Ｂは、アクターＡ２の第２ボディモーションデータ及び第２フェイスモーションデータを、モデルデータ２３ａに含まれているアクターＡ２用のモデルデータに適用することにより生成される。キャラクタオブジェクト７１Ｂは、第２ボディモーションデータ及び第２フェイスモーションデータに基づいてモーション制御される。したがって、キャラクタオブジェクト７１Ａは、アクターＡ１の体及び表情の動きに同期して画面内で動くように制御され、キャラクタオブジェクト７１Ｂは、アクターＡ２の体及び表情の動きに同期して画面内で動くように制御される。

一態様において、動画生成部２１ｄは、視聴ユーザから特定のギフトオブジェクトの表示要求を受け付けると、当該表示要求に基づいて、表示が要求されたギフトオブジェクトを動画の表示画像７０に表示させるための処理を行う。例えば、紙吹雪に対応するギフトオブジェクト及び熊のぬいぐるみを示す通常オブジェクトの表示要求がなされた場合には、動画生成部２１ｄは、図９に示すように、当該表示要求に基づいて紙吹雪を示すオブジェクト７３及び熊のぬいぐるみを示すオブジェクト７４を表示画像７０に表示させる。

上記のように、サーバ装置２０からの配信動画は、サポーターコンピュータ４０に配信されてもよい。サポーターコンピュータ４０に配信された動画は、サポーターコンピュータ４０において図４と同様に表示される。サポーターＢ１及びサポーターＢ２は、サポーターコンピュータ４０において再生されている動画を見て、スタジオユニット３０の構成要素の設定を変更することができる。一態様において、サポーターＢ１及びサポーターＢ２は、配信中の動画においてキャラクタオブジェクト７１Ａ及びキャラクタオブジェクト７１Ｂのアングルを変更したい場合には、デジタルカメラ３６ａの撮像方向の変更を指示する指示信号をサポーターコンピュータ４０からデジタルカメラ３６ａに送信することができる。デジタルカメラ３６ａは、当該指示信号に応じて、撮像方向を変更することができる。例えば、デジタルカメラ３６ａは、スタンドにその軸周りにアクチュエータを内蔵した回動機構を介して回動可能に取り付けられており、デジタルカメラ３６ａが撮像方向の変更を指示する指示信号を受信すると、当該指示信号に基づいて当該回動機構のアクチュエータが駆動され、当該指示信号に応じた角度だけデジタルカメラ３６ａが回動されてもよい。一態様において、サポーターＢ１及びサポーターＢ２は、画角の変更を指示する指示信号をサポーターコンピュータ４０からデジタルカメラ３６ａに送信してもよい。一態様において、サポーターＢ１及びサポーターＢ２は、デジタルカメラ３６ａからの撮像設定情報に代えて、デジタルカメラ３６ｂからの撮像設定情報を用いるための指示をサポーターコンピュータ４０からデジタルカメラ３６ａ及びデジタルカメラ３６ｂに送信してもよい。

一態様において、サポーターＢ１及びサポーターＢ２は、サポーターコンピュータ４０にて再生されている動画を見てアクターＡ１またはアクターＡ２に対する指示が必要と判断した場合には、その指示を示すメッセージをサポーターコンピュータ４０に入力し、このメッセージをディスプレイ３９に出力することができる。例えば、サポーターＢ１及びサポーターＢ２は、このディスプレイ３９に表示されるメッセージを通じて、アクターＡ１またはアクターＡ２に対して立ち位置の変更を指示することができる。

表示要求処理部２１ｆは、視聴ユーザのクライアント装置からギフトの表示要求を受け付け、当該表示要求に応じた処理を行う。各視聴ユーザは、自らのクライアント装置を操作することにより、ギフトの表示要求をサーバ装置２０に送信することができる。例えば、第１視聴ユーザは、クライアント装置１０ａを操作することにより、ギフトの表示要求をサーバ装置２０に送信することができる。ギフトの表示要求には、視聴ユーザのユーザＩＤと、表示を要求するギフトを特定する識別情報（オブジェクトＩＤ）が含まれてもよい。例えば、視聴ユーザから紙吹雪を模したギフトの表示要求がなされた場合には、表示要求処理部２１ｆは、図９に示すように、当該表示要求に基づいて紙吹雪を示すオブジェクト７３を表示画像７０に表示させる。視聴ユーザから熊のぬいぐるみを模したギフトの表示要求がなされた場合には、表示要求処理部２１ｆは、当該表示要求に基づいて表示が要求された熊のぬいぐるみを示すオブジェクト７４を表示画像７０に表示させる。

アクター情報管理部２１ｇは、アクターＡ１及びアクターＡ２の動きを示すアクター情報を所定のサンプリングレートで取得し、取得したアクター情報をストレージ２３に格納する。具体的には、アクター情報管理部２１ｇは、モーションセンサ３１ａ〜３１ｆ及びモーションセンサ３２ａ〜３２ｆの検出信号に基づいて、アクターＡ１及びアクターＡ２の所定の部位（例えば、頭部、腕、掌）の動きの加速度を算出し、算出した加速度にサンプリングレートに応じたタイムコードを付して、アクター情報２３ｃ５としてストレージ２３に格納することができる。アクター情報管理部２１ｇは、モーションセンサ３１ａ〜３１ｆ及びモーションセンサ３２ａ〜３２ｆにより検出された３軸の加速度の二乗和平方根をアクター情報２３ｃ５としてストレージ２３に記憶してもよい。アクター情報管理部２１ｇは、スタジオＲに備えられたマイクによって取得されたアクターＡ１及びアクターＡ２の音声データを取得し、取得した音声データをアクター情報２３ｃ５としてストレージ２３に格納することができる。アクター情報２３ｃ５としては、音声データのうち声量を用いてもよい。アクター情報管理部２１ｇは、アクターＡ１又はアクターＡ２のキャラクタオブジェクトの顔の画像として嵌め込み画像が用いられる場合には、嵌め込み画像を用いた顔画像の生成が行われたことを示す顔入力データをタイムコードと対応付けてストレージ２３に格納することができる。

受信情報管理部２１ｈは、クライアント装置１０ａ〜クライアント装置１０ｃから取得された言語フィードバック情報、評価情報、及びギフト情報を、これらの情報がクライアント装置１０ａ〜クライアント装置１０ｃにおいて取得されたときの動画のタイムコードと対応付けてストレージ２３に格納する。言語フィードバック情報、評価情報、及びギフト情報はそれぞれ、言語フィードバック情報２３ｃ１、評価情報２３ｃ３、ギフト情報２３ｃ４としてストレージ２３に格納される。また、受信情報管理部２１ｈは、クライアント装置１０ａ〜クライアント装置１０ｃ及び外部デバイス１１ａ〜１１ｃから取得された非言語フィードバック情報を動画のタイムコードと対応付けて非言語フィードバック情報２３ｃ２としてストレージ２３に格納する。受信情報管理部２１ｈは、クライアント装置１０ａ〜クライアント装置１０ｃ以外にもサーバ装置２０から配信されている動画の視聴に用いられている多数のクライアント装置、及び、外部デバイス１１ａ〜１１ｃ以外の多数の外部デバイスから、言語フィードバック情報、非言語フィードバック情報、評価情報、及びギフト情報を受信し、この受信した情報に基づいて、言語フィードバック情報２３ｃ１、非言語フィードバック情報２３ｃ２、評価情報２３ｃ３、及びギフト情報２３ｃ４を随時更新する。

タイムライン情報作成部２１ｉは、ストレージ２３に格納されている非言語フィードバック情報２３ｃ２及びアクター情報２３ｃ５を時系列に表すタイムライン情報を作成する。タイムライン情報には、言語フィードバック情報２３ｃ１、評価情報２３ｃ３、及びギフト情報２３ｃ４の少なくとも一部が含まれてもよい。タイムライン情報は、非言語フィードバック情報２３ｃ２及びアクター情報２３ｃ５を時系列に表す情報である。タイムライン情報作成部２１ｉは、作成したタイムライン情報をディスプレイに表示することができる。タイムライン情報は、ディスプレイ３９、サポーターコンピュータ４０が備えるディスプレイ、及びこれら以外のディスプレイにリアルタイムで表示され得る。作成されたタイムライン情報は、ストレージ２３に記憶されてもよい。動画作成者は、動画やアクターのパフォーマンスに対する視聴ユーザの反応を分析する際に、ストレージ２３からタイムライン情報を読み出して利用することができる。

図１０に、タイムライン情報の表示例を示す。図示のように、一実施形態におけるタイムライン情報８０は、アクター情報２３ｃ５に基づいて生成されたグラフ８２〜グラフ８４、非言語フィードバック情報２３ｃ２に基づいて生成されたグラフ８５、及びその他のグラフ８６〜８８を含む。グラフ８２〜８８は、アクター情報に付与されたタイムコードと、配信される動画ストリームに付与されたタイムコードとを、所定の基準時刻を基準として整合させることにより、アクター情報に付与されたタイムコードに従って作成されるグラフ８２〜８４と動画ストリームに付与されたタイムコードに従って作成されるグラフ８５〜８８とを同期させることができる。つまり、グラフ８２〜８８は、統一されたタイムライン上に表示される。

グラフ８２は、アクターＡ１の動きの加速度を時系列に示すグラフである。グラフ８３は、アクターＡ１の声量を時系列に示すグラフである。グラフ８４は、アクターＡ１のキャラクタについて嵌め込み画像を用いた顔画像の生成が行われたか否かを示す顔入力データを時系列に示すグラフである。グラフ８４におけるパルス８４ａ及びパルス８４ｂは、パルス８４ａ及びパルス８４ｂが発生した時刻において嵌め込み画像を用いた顔画像の生成が行われたこと意味する。グラフ８２〜グラフ８４はいずれも、ストレージ２３に格納されているアクター情報２３ｃ５に基づいて作成され得る。タイムライン情報８０は、アクターＡ２についてもグラフ８２〜グラフ８４と同様のグラフを含んでも良い。

グラフ８５は、動画視聴中における第１視聴ユーザの動きの加速度を時系列に示すグラフである。グラフ８５は、ストレージ２３に格納されている非言語フィードバック情報２３ｃ２に基づいて作成され得る。グラフ８５は、単一の視聴ユーザ（例えば、クライアント装置１０ａを使用する第１視聴ユーザ）の加速度を表すグラフでもよいし、複数の視聴ユーザの加速度を加算して得られる加速度の和又は複数の視聴ユーザの加速度の平均値を表すグラフであってもよい。単一の視聴ユーザの個別の視聴状態の把握のためには、単一の視聴ユーザの加速度を示すグラフが用いられ、視聴ユーザの視聴状態の平均的傾向を把握するためには複数の視聴ユーザの加速度の和または平均値が用いられ得る。図示の例においては、グラフ８５は、複数の視聴ユーザの加速度の単位時間あたりの平均値が示されている。

グラフ８６は、視聴ユーザから投稿された単位時間（例えば１秒又は１分）あたりのコメント数を時系列に示すグラフである。グラフ８６は、ストレージ２３に格納されている言語フィードバック情報２３ｃ１に基づいて作成され得る。グラフ８６は、単一の視聴ユーザから投稿された単位時間ごとのコメント数を表すグラフでもよいし、複数の視聴ユーザから投稿された単位時間ごとのコメント数の合計又は平均値を表すグラフであってもよい。グラフ８６は、言語フィードバック情報２３ｃ１に基づいて所定時間間隔ごとに投稿されたコメント数を単位時間ごとにカウントし、このカウント値を縦軸にプロットすることで作成され得る。

グラフ８７は、視聴ユーザから投稿された単位時間（例えば１秒又は１分）あたりの評価情報を時系列に示すグラフである。図示の例では、グラフ８７は、評価情報２３ｃ３に基づいて所定時間間隔ごとに視聴ユーザから投稿された動画に対する肯定的な評価の数（Ｌｉｋｅ数）をカウントし、このカウント値を縦軸にプロットすることで作成され得る。つまり、グラフ８７の縦軸は、単位時間ごとに動画に対する肯定的な評価がなされた回数（Ｌｉｋｅ数）を示す。グラフ８７に代えて、または、グラフ８７に加えて、視聴ユーザから投稿された動画に対する否定的な評価がなされた回数（Ｄｉｓｌｉｋｅ数）、レーティング情報、及び視聴ユーザの動画に対する感情を表現するエモーション情報の少なくとも一つを時系列に示すグラフが表示されてもよい。グラフ８７は、ストレージ２３に格納されている評価情報２３ｃ３に基づいて作成され得る。グラフ８７は、単一の視聴ユーザからの評価情報（例えばＬｉｋｅ数）を表すグラフでもよいし、複数の視聴ユーザからの評価情報の合計又はその平均値を表すグラフであってもよい。

グラフ８８は、視聴ユーザが購入したギフト又は視聴ユーザによってアクターに提供されたギフトに関するギフト情報を時系列に示すグラフである。図示の例では、グラフ８８は、視聴ユーザからアクターＡ１に提供（ギフティング）された単位時間（例えば１秒又は１分）あたりのギフトの数量を示す。グラフ８８は、視聴ユーザからアクターＡ１に提供されたギフトの数量の所定時間ごとの平均を示してもよい。グラフ８８に代えて、または、グラフ８８に加えて、視聴ユーザによってアクターＡ１に提供（ギフティング）されたギフトの購入額を示すグラフ、視聴ユーザによって購入された（又は購入が検討された）ギフトの数量や購入額（アクターに実際に提供されたか否かは問わない）を示すグラフ、及び視聴ユーザによってギフト購入のために取得されたポイントの数量を表すグラフの少なくとも一つが表示されてもよい。グラフ８８は、ギフトの種類ごとに表示されてもよい。例えば、ギフトが３種類存在する場合には、グラフ８８は、当該３種類のギフトの各々に対応するグラフの集合であってもよい。例えば、ギフトには、アクターＡ１のキャラクタオブジェクトの背後に表示される第１ギフト、アクターＡ１のキャラクタオブジェクトの前に表示される第２ギフト、アクターＡ１のキャラクタオブジェクトに装着される第３ギフトを含んでもよい。グラフ８８がギフトの各種類に対応するグラフを含む場合には、ギフトの種類ごとに、ギフティング数、購入数量、及び購入金額を管理することができる。グラフ８８は、ストレージ２３に格納されているギフト情報２３ｃ４に基づいて作成され得る。グラフ８８は、単一の視聴ユーザによって購入またはギフティングされたギフトの数量や購入額を示すグラフでもよいし、複数の視聴ユーザによって購入またはギフティングされたギフトの数量や購入額の合計値を表すグラフであってもよい。

以上のように、タイムライン情報８０は、アクターの行動を示すアクター情報と視聴ユーザからの非言語フィードバック情報とを同期させて時系列に表すことができるので、動画制作者または動画配信者（例えば、アクターＡ１、アクターＡ２、サポーターＢ１、及びサポーターＢ２）は、タイムライン情報８０に基づいて、アクターのパフォーマンスについての有用なフィードバックを得ることができる。特に、視聴ユーザの非言語フィードバックを表すグラフ８５をアクターの動きを示すグラフ８２〜８４と比較することにより、アクターのパフォーマンスに関する有用な情報が得られる。例えば、グラフ８５には、表示されている配信期間中に３つのピーク８５ａ，８５ｂ，８５ｃを有する。この３つのピーク８５ａ，８５ｂ，８５ｃは、動画を視聴中に各ピークの発生時刻において視聴ユーザが笑ったと推定されることを示している。そして、図示の実施形態においては、グラフ８４を参照することにより、ピーク８５ａ及びピーク８５ｂの少し前の時間に嵌め込み画像を用いた顔画像の生成が行われたことが分かるので、顔画像に嵌め込み画像が嵌め込まれたタイミングで笑った視聴ユーザが多いと推定することができる。

グラフ８６にはピーク８６ａが発生しており、グラフ８７にはピーク８７ａが発生している。これらのピーク８６ａ及びピーク８７ａが発生した時刻の前におけるアクター情報を分析することにより、アクターのパフォーマンスについてさらに有用なフィードバックが得られる可能性がある。ただし、グラフ８６及びグラフ８７は、コメントのテキスト入力や評価情報の入力と言った視聴ユーザの意図的な行動を検出しているため、視聴ユーザが入力を意図した時刻よりもピーク８６ａ及びピーク８７ａが発生している時刻が遅延していることを考慮することが必要である。

グラフ８７からは、視聴ユーザがアクターのどのようなパフォーマンスに対して肯定的な評価を行ったのかを把握することができる。上記のように、グラフ８７は、視聴ユーザの動画に対する感情を表現するエモーション情報を時系列に表すグラフであってもよい。つまり、グラフ８７は、視聴者ユーザのエモーション情報の合計又はエモーション情報の単位時間当たりの平均の時間推移を示すグラフであってもよい。このように、エモーション情報の時間推移を示すグラフ８７と、アクター情報に基づいて生成されたグラフ８２〜８４と、を統一されたタイムライン上に表示することができる。よって、グラフ８２〜８４及びグラフ８７に基づいて、アクターのどのようなパフォーマンス、動き、又は演出表現が、視聴ユーザによるエモーション情報を通じたフィードバックを生じさせたのかを把握することができる。動画の制作者は、このようにして把握されるアクターのパフォーマンス、動き、又は演出表現と視聴ユーザのエモーション表現を通じたフィードバックとの関係に基づいて、動画制作時の演出の改善を行うことができる。また、上記のようにして把握されるアクターのパフォーマンス、動き、又は演出表現と視聴ユーザのエモーション表現を通じたフィードバックとの関係に基づいて、視聴ユーザへの動画のリコメンドを行うことができる。

グラフ８７は、個別の視聴ユーザについて、当該視聴ユーザから提供されたエモーション情報を時系列で示すグラフであってもよい。この場合、個別の視聴ユーザからのエモーション情報の時間推移を示すグラフ８７と、アクター情報に基づいて生成されたグラフ８２〜８４と、を統一されたタイムライン上に表示することができる。これにより、個別の視聴ユーザから提供されたエモーション情報に基づいて、動画制作時の演出の改善や、当該視聴ユーザへの動画のリコメンドを行うことができる。

動画制作時の演出の改善の非限定的な例は以下のとおりである。例えば、あるエモーション（例えば、驚き）のフィードバックを増加させることを意図する場合、ある配信動画に関して統一されたタイムライン上に表示されたグラフ８７及びグラフ８２〜８４に基づいて、所定のエモーションの表出に寄与したアクターのパフォーマンス、動き、又は演出表現（以下、「アクター表現」と総称することがある。）を把握し、別の動画の作成時には、当該所定のエモーションの表出に寄与したアクター表現の回数や頻度を増やすことにより、当該別の動画において、当該所定のエモーションのフィードバックの増加を図ることができる。エモーションの増加に関する上記の手法と同様の手法によって、動画に対するＬｉｋｅ数及びギフティング数の増加を図ることもできる。

タイムライン情報８０に基づいて、動画配信システム１のスループットを評価するためにサーバ装置２０のパフォーマンスを最適化するための有用なフィードバックが得られる。

タイムライン情報８０に基づいて、表示要求処理部２１ｆにおけるギフトの表示要求の処理、コメントのリクエスト処理、及び動画生成部２１ｄにおける動画生成処理の負荷分析のために有用なフィードバックが得られる。

タイムライン情報８０に基づいて、望ましい視聴ユーザの反応を再現するために有用なフィードバックが得られる。これにより、制作される動画コンテンツの品質向上を図ることができる。

次に、図１１を参照して、一態様による動画配信処理について説明する。図１１は、一実施形態における動画配信処理の流れを示すフロー図であり、動画配信処理においては、スタジオルームＲにおいてアクターＡ１及びアクターＡ２がパフォーマンスを行っていることが想定されている。

まず、ステップＳ１１では、アクターＡ１及びアクターＡ２の体の動きのデジタル表現であるボディモーションデータと、アクターＡ１及びアクターＡ２の顔の動き（表情）のデジタル表現であるフェイスモーションデータと、が生成される。ボディモーションデータの生成は、例えば、上記のボディモーションデータ生成部２１ａで行われ、フェイスモーションデータの生成は、例えば、上記のフェイスモーションデータ生成部２１ｂで行われる。

次に、ステップＳ１２において、アクターＡ１のボディモーションデータ及びフェイスモーションデータを、アクターＡ１用のモデルデータに適用することにより、アクターＡ１の体及び表情の動きに同期して動く第１キャラクタオブジェクトのアニメーションが生成される。同様に、アクターＡ２のボディモーションデータ及びフェイスモーションデータを、アクターＡ２用のモデルデータに適用することにより、アクターＡ２の体及び表情の動きに同期して動く第２キャラクタオブジェクトのアニメーションが生成される。このアニメーションの生成は、例えば、上記のアニメーション生成部２１ｃで行われる。

次に、ステップＳ１３において、アクターＡ１に対応する第１キャラクタオブジェクトのアニメーションと、アクターＡ２に対応する第２キャラクタオブジェクトのアニメーションと、を含む動画を生成する。この動画には、アクターＡ１及びアクターＡ２の音声が合成されてもよい。第１キャラクタオブジェクトのアニメーション及び第２キャラクタオブジェクトのアニメーションは、仮想空間内に配置されてもよい。この動画の生成は、例えば、上記の動画生成部２１ｄで行われる。

次に、ステップＳ１４に移行し、ステップＳ１３にて生成された動画が配信される。この動画は、ネットワーク５０を介してクライアント装置１０ａ〜クライアント装置１０ｃ及びこれら以外のクライアント装置に配信される。この動画は、サポーターコンピュータ４０に配信され、また、スタジオルームＲ内のスクリーンＳに投影されてもよい。動画は、所定の配信期間にわたって継続して配信される。動画の配信期間は、例えば、３０秒間、１分間、５分間、１０分、３０分間、６０分間、１２０分間、及びこれら以外の任意の時間に定め得る。

次に、ステップＳ１５に移行し、ステップＳ１４で配信された動画に対する視聴ユーザからのフィードバック情報を受信する。受信されたフィードバック情報は、配信された動画のタイムコードと対応付けてストレージ２３に記憶される。ステップＳ１５の処理は、例えば、上記の受信情報管理部２１ｈによって行われる。

次に、ステップＳ１６に進み、動画の配信を終了させるための終了条件が成就したか否かが判定される。終了条件は、例えば、配信の終了時刻に達したこと、サポーターコンピュータ４０により配信を終了するための指示がなされたこと、またはこれら以外の条件である。終了条件が成就していなければステップＳ１１〜Ｓ１５の処理が繰り返し実行され、アクターＡ１及びアクターＡ２の動きに同期したアニメーションを含む動画の配信が継続される。動画について終了条件が成就していると判定された場合には、当該動画の配信処理を終了する。

図１１に示されているフローにおいて、各工程の順序を入れ替えることが可能である。例えば、フィードバック情報を受信する工程はステップＳ１５として説明されているが、動画の配信期間中において、フィードバック情報は視聴ユーザからの入力に応じて随時受信される。また、ステップＳ１１〜ステップＳ１６の各工程と並行して、クライアント装置１０ａ〜１０ｃからサーバ装置２０へ送信される情報に基づいて、評価情報及びギフト情報をストレージ２３に記憶する処理が行われてもよい。評価情報及びギフト情報をストレージ２３に記憶する処理は、上記の受信情報管理部２１ｈによって行われてもよい。また、ステップＳ１１〜ステップＳ１６の各工程と並行して、アクター情報をストレージ２３に記憶する処理が行われてもよい。アクター情報をストレージ２３に記憶する処理は、例えば、上記のアクター情報管理部２１ｇによって行われてもよい。

続いて、図１２を参照して、本発明の別の実施形態について説明する。図１２は、本発明の別の実施形態において、コンピュータプロセッサ２１で実現される追加的な機能を説明する模式図である。図１２に示されている実施形態は、コンピュータプロセッサ２１が、動画配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、図１に示されている各機能に加えてダイジェスト動画作成部２１ｊ及びレコメンド部２１ｋとしても機能する点で図１に示されている実施形態と異なる。よって、説明の簡潔性のために、以下では、図１２の実施形態において追加的に実現されるダイジェスト動画作成部２１ｊ及びレコメンド部２１ｋによって実現される機能について説明し、それ以外の機能については説明を省略する。

ダイジェスト動画作成部２１ｊは、配信された動画に関する非言語フィードバック情報２３ｃ２及び必要に応じてこれ以外の情報に基づいて、当該動画のダイジェスト動画を作成する。ダイジェスト動画作成部２１ｊは、例えば、非言語フィードバック情報２３ｃ２に基づいて視聴ユーザの反応が大きいと推測される高インパクト区間を特定し、この高インパクト区間を含むようにダイジェスト動画を作成することができる。非言語フィードバック情報として視聴ユーザの加速度が用いられる場合には、配信動画のうち視聴ユーザの加速度が所定値以上である区間を高インパクト区間として特定することができる。例えば、配信された動画全体のうち、視聴ユーザの加速度を示すグラフ８５において加速度の値が閾値ａ１以上である区間Ｄ１、区間Ｄ２、区間Ｄ３に対応する動画がダイジェスト動画として特定される。特定されたダイジェスト動画は、視聴ユーザからの要求に応じて配信され得る。一実施形態において、クライアント装置１０ａ〜１０ｃは、高インパクト区間のボディモーションデータ、フェイスモーションデータ、及び音声データの少なくとも一部を記憶することができる。クライアント装置１０ａ〜１０ｃにおいては、記憶されているボディモーションデータ、フェイスモーションデータ、及び音声データを用いてダイジェスト動画をレンダリングすることにより、サーバ装置２０からリアルタイムで配信されるボディモーションデータ、フェイスモーションデータ、及び音声データを用いてレンダリングを行う場合よりもレンダリング品質を向上させることができる。

サーバ装置は、アクターＡ１及びアクターＡ２の行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画以外にも、複数の動画を配信することができる。この複数の動画の各々は、アクターＡ１及びアクターＡ２以外のアクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含むように生成される。サーバ装置２０は、この複数の動画の各々について、各動画の作成のためにパフォーマンスを行ったアクターに関してアクター情報２３ｃ５と同様にアクター情報を取得し、この取得したアクター情報をストレージ２３に記憶する。また、サーバ装置２０は、当該複数の動画の各々を視聴した視聴ユーザから非言語フィードバック情報２３ｃ２情報と同様に非言語フィードバック情報を取得し、この取得した非言語フィードバック情報をストレージ２３に記憶する。一実施形態において、レコメンド部２１ｋは、複数の動画の各々についてストレージに記憶されているアクター情報２３ｃ５、非言語フィードバック情報２３ｃ２、及び必要に応じてこれら以外の情報に基づいて、ある動画を視聴した視聴ユーザに対して他の動画又は他の動画を作成するためにパフォーマンスを行ったアクターを推薦する。例えば、レコメンド部２１ｋは、動画Ａを視聴した視聴ユーザに対して、その動画Ａに対する当該視聴ユーザの非言語フィードバック情報と類似する非言語フィードバック情報が記憶されている他の動画を抽出し、当該抽出された動画を当該視聴ユーザに対して推薦する。２つの動画の各々についての非言語フィードバック情報が互いに類似しているということは、その２つの動画に対して視聴ユーザが同様の非言語入力を行ったことを意味する。このため、当該２つの動画のうちの一方に関心を持って視聴したユーザは、その他方にも関心を持つ可能性が高いと考えられる。よって、動画Ａを視聴した視聴ユーザに対して、その動画Ａに対する当該視聴ユーザの非言語フィードバック情報と類似する非言語フィードバック情報が記憶されている他の動画を推薦することで、視聴ユーザが関心を持つと推定される動画を推薦することができる。他の実施形態において、レコメンド部２１ｋは、動画Ａを視聴した視聴ユーザに対して、当該動画Ａの作成のためにパフォーマンスを行ったアクターに関するアクター情報と類似するアクター情報が記憶されている他の動画を抽出し、当該抽出された動画を当該視聴ユーザに対して推薦する。

一実施形態において、レコメンド部２１ｋは、動画を複数のカテゴリーに分類することができる。動画の分類は、当該動画に対する視聴ユーザからのフィードバック情報に基づいて行われてもよい。例えば、動画に対して視聴ユーザから提供されたギフトの種類及び当該ギフトを提供したタイミングによって、当該動画の分類を定めることができる。具体的には、動画の終了１分前に花火を表示するためのギフトのギフティング数（又は購入数）が所定数（第１閾値）を超える動画はタイプＡに分類され、動画の途中の任意の区間で花束を表示するためのギフトのギフティングが所定数（第２閾値）を超える動画はタイプＢに分類される。レコメンド部２１ｋは、タイプＡの動画を視聴した視聴ユーザからのフィードバック情報に基づいて、当該視聴ユーザがタイプＡの動画を好むか否かを判定し、この判定結果に応じて他の動画をレコメンドすることができる。レコメンド部２１ｋは、例えば、視聴ユーザから肯定的な評価情報（Ｌｉｋｅ）が提供されたとき、視聴ユーザからの非言語フィードバックに基づいて動画の途中で笑っていることが検出されたとき、またはこれら以外の条件を成就したときに、当該視聴ユーザがタイプＡの動画を好むと判定することができる。このようなタイプＡの動画を好むと判定された視聴ユーザに対しては、同じタイプＡに属する動画がレコメンドされてもよい。これに対し、タイプＡの動画を好まないと判定された視聴ユーザに対しては、タイプＡ以外のタイプに分類される動画がレコメンドされる。タイプＡの動画を好まないと判定された視聴ユーザに対しては、タイプＡの動画に対するネガティブな評価を設定し、リコメンドする動画を決定するためのリコメンドフィルタを生成するために当該ネガティブな評価を利用することができる。このようにして、多様なリコメンドフィルタを生成することができる。

続いて、本発明の別の実施形態について説明する。本発明の別の実施形態は、ライブ配信される動画に表示されているキャラクタと視聴ユーザとのインタラクションの向上に関する。

従来、特開２０１３−０２１４６６号公報に記載されているように、ライブ会場の映像を視聴する視聴ユーザの動作を検出し、この検出された動作に応じた表示を当該ライブ会場に設置されたディスプレイに表示するシステムが知られている。当該システムによれば、ライブ会場外の視聴ユーザの動作に基づいて生成された視聴ユーザの画像がライブ会場内のディスプレイに表示されることから、ライブ会場外にいる視聴ユーザに対してもライブに参加しているかのような体験を提供できるとされている。

配信動画に対するコメントの投稿を受け付け、この投稿されたコメントを投稿者のアバタとともに表示する技術も知られている。特開２０１２−１２００９８号公報には、配信動画の表示領域の周囲にコメントを投稿した視聴ユーザのアバタや当該コメントを表示する動画配信システムが開示されている。

このように、従来の動画配信システムでは、視聴ユーザからのフィードバックに応じた演出は、アクターのキャラクタを表示するための表示領域とは別の表示領域に表示されている。つまり、従来の動画配信システムでは、視聴ユーザからのフィードバックに基づく演出は、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションやその周囲の当該キャラクタオブジェクトの表示領域を変更しないように行われている。

アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザに配信する動画配信システムにおいては、視聴ユーザからのコメントを伝達されたアクターがそのコメントに応答するという演出も考えられる。しかしながら、コメント数が増加すると、アクターが多数のコメントの各々に応答することは困難である。このように、アクターの行動によって視聴ユーザとのインタラクションを活性化する試みには限界がある。

以上のように、従来は、視聴ユーザのフィードバックに基づく演出は、アクターのキャラクタオブジェクトに影響がないように行われている。また、アクターのキャラクタオブジェクトに変化が生じる場合であっても、その変化は、アクターの意識的な行動を介して生じている。上記のようにアクターの意識的な行動による視聴ユーザとのインタラクションの活性化には限界がある。

現実世界でのライブパフォーマンスにおいては、オーディエンスからのフィードバック（例えば、ライブコンサートでの拍手、声援、ブーイング）に応じてアクター（パフォーマー）に喜びなどの無意識的な反応が起こる。このようなアクターによる無意識的な反応は、アクターと視聴ユーザとのインタラクションの重要な要素と考えられる。従来の動画配信システムでは、アクターが意識的に行動を起こさない限り当該アクターのキャラクタオブジェクトの表示には変化が発生しないので、現実世界においてアクターに無意識的な反応が生じる可能性が高い場面であっても、キャラクタオブジェクトにはこのような無意識的な反応を反映するような表示は行われていない。

以下で図１３を用いて説明する実施形態では、アクターが意識的な行動を取らなくとも、当該アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを変化させることができる動画配信システムが提供される。図１２は、本発明の別の実施形態において、コンピュータプロセッサ２１で実現される追加的な機能を説明する模式図である。図１３に示されている実施形態は、コンピュータプロセッサ２１が、動画配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより図１に示されている各機能に加えて外観変更部２１ｌとしても機能する点で図１に示されている実施形態と異なる。よって、説明の簡潔性のために、以下では、図１３の実施形態において追加的に実現される外観変更部２１ｌによって実現される機能について説明し、それ以外の機能については説明を省略する。

図１３の実施形態においても、サーバ装置２０は、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信し、その動画に対する視聴ユーザからのフィードバック情報を取得する。この視聴ユーザからのフィードバック情報には、既述のように、言語フィードバック情報と、非言語フィードバック情報と、が含まれる。

外観変更部２１ｌは、動画を視聴する視聴ユーザからの当該動画に対するフィードバック情報に基づいて、当該動画に含まれるキャラクタオブジェクトの外観を変更する。フィードバック情報として視聴ユーザの加速度（非言語フィードバック情報）が用いられる場合には、外観変更部２１ｌは、当該視聴ユーザの加速度の大きさに基づいてキャラクタオブジェクトの外観を変更することができる。例えば、外観変更部２１ｌは、視聴ユーザの加速度に応じて、キャラクタオブジェクトの顔の赤みが強くなるように当該キャラクタオブジェクトの外観を変更することができる。これにより、非言語フィードバック情報に基づいて視聴ユーザから大きな反応があると推測される場合に、その視聴ユーザからの反応に応じてキャラクタオブジェクトの外観に自然な変更を生じさせることができる。キャラクタオブジェクトの外観に変更が加えられると、この外観に変更が生じたキャラクタオブジェクトを含む動画フレームが視聴ユーザに配信される。これにより、視聴ユーザは、キャラクタオブジェクトの外観の変化を認識することができる。視聴ユーザは、例えば、例えばキャラクタオブジェクトの顔の赤みが強まったことを見て、視聴ユーザの盛り上がりに反応してキャラクタオブジェクトに変化が起こったと認識することができる。外観変更部２１ｌは、顔の赤みの変化以外にも様々な態様でキャラクタオブジェクトの外観を変化させることができる。

外観変更部２１ｌは、非言語フィードバック情報以外の情報に基づいて、キャラクタオブジェクトの外観を変化させてもよい。例えば、外観変更部２１ｌは、非言語フィードバック情報に代えて、または、非言語フィードバック情報に加えて、アクター情報に基づいてキャラクタオブジェクトの外観を変化させてもよい。具体的には、外観変更部２１ｌは、アクター情報に基づいて、配信開始からのアクターの動きの累計が所定量以上となった場合に、当該アクターの動きに基づいて生成されるキャラクタオブジェクトの外観を変化させることができる。例えば、配信開始からのアクターの動きが所定量以上となった場合に、当該アクターの動きに基づいて生成されるキャラクタオブジェクトは、汗をかいているようにその外観が変更されてもよい。

このように、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信し、当該動画を視聴する視聴ユーザからのフィードバックに基づいて、当該キャラクタオブジェクトの外観を変化させることにより、アクターの意識的な行動がなくても、視聴ユーザからのフィードバックに基づいてアクターのキャラクタオブジェクトの外観を変更することができる。これにより、アクターのキャラクタオブジェクトのアニメーションを含む動画において、アクターの負担を増やすことなく、アクターと視聴ユーザとのインタラクションを活性化することができる。

続いて、本発明の別の実施形態について説明する。本発明の別の実施形態は、視聴ユーザからのフィードバックのアクターへの伝達に関する。

既述のように、従来の動画配信システムでは、視聴ユーザからのテキスト形式のコメントを受け付け、その受け付けたコメントを配信中の動画に重畳して表示している。アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システムにおいては、アクターがテキスト形式で投稿されたコメントを読むことで視聴ユーザの反応を理解することができる。

しかしながら、視聴ユーザが投稿したコメントを動画に重畳して表示すると、元の動画が見づらくなり、視聴体験の劣化につながるおそれがある。また、ライブ配信の場合には、アクターがパフォーマンスを行いながら投稿されたコメントを読むことは困難な場合もある。そこで、コメント投稿以外の方法で視聴ユーザからのフィードバックをパフォーマンス中のアクターに伝える手法が望まれる。

以下で図１４を用いて説明する実施形態では、視聴ユーザからのフィードバック情報に基づいてアクターＡ１に装着されているアクターデバイス９１のアクチュエータ９１ａ及び／又はアクターＡ２に装着されているアクターデバイス９２のアクチュエータ９２ａを駆動することで、アクターＡ１及び／又はアクターＡ２に対して視聴ユーザからのフィードバックを伝達することができる動画配信システムが提供される。図１４は、本発明の別の実施形態において、コンピュータプロセッサ２１で実現される追加的な機能を説明する模式図である。図１４に示されている実施形態は、コンピュータプロセッサ２１が、動画配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより図１に示されている各機能に加えてアクターデバイス駆動部２１ｍとしても機能する点で図１に示されている実施形態と異なる。よって、説明の簡潔性のために、以下では、図１４の実施形態において追加的に実現されるアクターデバイス駆動部２１ｍによって実現される機能について説明し、それ以外の機能については説明を省略する。

アクターデバイス駆動部２１ｍは、動画を視聴する視聴ユーザからの当該動画に対するフィードバック情報に基づいて、アクターデバイス９１のアクチュエータ９１ａ及びアクターデバイス９２のアクチュエータ９２ａの少なくとも一方を駆動する駆動信号を生成する。フィードバック情報として視聴ユーザの加速度（非言語フィードバック情報）が用いられる場合には、アクターデバイス駆動部２１ｍは、当該視聴ユーザの加速度の大きさに基づいて駆動信号を生成することができる。例えば、アクターデバイス駆動部２１ｍは、非言語フィードバック情報２３ｃ２を参照し、視聴ユーザの加速度が所定の値（例えば、閾値ａ１）以上となったときに、駆動信号を生成することができる。アクターデバイス駆動部２１ｍは、駆動信号の電圧を視聴ユーザの加速度に応じて変化させることができる。これにより、アクチュエータ９１ａ及びアクチュエータ９２ａは、駆動信号の電圧に応じて異なる振幅で振動することができる。

生成された駆動信号は、アクターデバイス９１及び／又はアクターデバイス９２に送信される。アクチュエータ９１ａは、アクターデバイス９１において受信された駆動信号に基づいて駆動される。アクチュエータ９２ａは、アクターデバイス９２において受信された駆動信号に基づいて駆動される。アクチュエータ９１ａ，９２ａは、駆動信号に基づいて振動するように構成されてもよい。

上記の実施形態によれば、視聴ユーザからのフィードバック情報をアクターデバイス９１のアクチュエータ９１ａ及びアクターデバイス９２のアクチュエータ９２ａを作動させることによりアクターＡ１及びアクターＡ２に伝達することができる。これにより、アクターＡ１及びアクターＡ２は、アクチュエータ９１ａ及びアクチュエータ９２ａの作動によって視聴ユーザからのフィードバックを知覚することができる。アクチュエータ９１ａ及びアクチュエータ９２ａは、例えば、駆動信号に基づいて振動するように構成される。この場合、アクチュエータ９１ａ及びアクチュエータ９２ａの振動によって、アクターＡ１及びアクターＡ２に直感的にフィードバックを伝達することができる。

以上の実施形態によって奏される作用効果について説明する。上記の一実施形態においては、動画のためにパフォーマンスを行うアクター（例えば、アクターＡ１及びアクターＡ２）の行動を示すアクター情報、及び、ユーザデバイス（例えば、クライアント装置１０ａ〜１０ｃ及び外部デバイス１１ａ〜１１ｃ）により検出された視聴ユーザからの非言語フィードバックを示す非言語フィードバック情報を、配信された動画のタイムコードに対応付けて記憶している。ユーザデバイスにより検出された視聴ユーザからの非言語フィードバックは、視聴ユーザのテキスト入力による遅延が発生するテキスト形式の入力よりも、視聴ユーザが入力を意図した時刻と近い時刻に記録され得る。これにより、所定の時刻においてアクター情報と非言語フィードバック情報とを対比することにより、視聴ユーザの非言語フィードバックがアクターのどの行動に向けられたものかを正しく把握することができる。このように、上記実施形態によれば、アクターなどの動画制作者に対して有用なフィードバックが提供される。

上記の一実施形態において、非言語フィードバック情報には、前記視聴ユーザによって保持されるユーザデバイスの加速度が含まれるので、動画の視聴中に視聴ユーザがユーザデバイスを保持しているだけで、視聴ユーザの非言語フィードバックを示す非言語フィードバック情報が検出可能となる。

上記の一実施形態において、非言語フィードバック情報には、前記視聴ユーザの情動を示す情動情報が含まれる。情動は、ユーザの意思による制御が難しいため、視聴ユーザの情動情報は、言語フィードバック情報よりも当該視聴ユーザの動画に対する自然な（無意識の）反応が得られる。視聴ユーザからの意識的なフィードバックは、作為的なものとなり得る。例えば、意図的なフィードバックにおいては、動画やアクターに対して実際に感じている以上にポジティブな又はネガティブな反応が示されることがある。このように、意図的なフィードバックは、視聴ユーザの感じ方を正しく反映していないことがある。情動情報には、視聴ユーザのより無意識的なフィードバックが含まれるので、情動情報を得ることにより、動画制作者によってより有用なフィードバックが得られる。

上記の一実施形態において、視聴ユーザからの言語フィードバックを示す言語フィードバック情報も、動画のタイムコードに対応付けて記憶される。これにより、アクター情報と対応付けて視聴者ユーザからの意識的な言語フィードバック情報も記録することができる。これにより、アクターなどの動画制作者に対してより有用なフィードバックが提供される。

上記の一実施形態において、視聴ユーザによる評価を示す評価情報も、動画のタイムコードに対応付けて記憶される。これにより、アクター情報と対応付けて視聴ユーザからの評価フィードバックも記録することができるので、動画制作者は、アクターのどのような動作が視聴ユーザに高く評価されたかを把握することができる。

上記の一実施形態において、視聴ユーザから前記アクターへ提供されるギフトを示すギフト情報も、動画のタイムコードに対応付けて記憶される。これにより、視聴ユーザによるギフトの購入または視聴ユーザからのギフトの提供（ギフティング）に結びつくアクターの行動を把握することが可能となる。

上記の一実施形態において、タイムコードに基づいて、アクター情報及び非言語フィードバック情報を含むタイムライン情報８０がディスプレイに表示される。これにより、アクターの行動に対する視聴ユーザからの非言語フィードバックの視覚的な理解が可能となる。

上記の一実施形態において、タイムライン情報８０は、前記アクターによって視認可能な位置に配置されたディスプレイに表示される。これにより、アクターに対して、自らのパフォーマンスに対する視聴ユーザからのフィードバックをリアルタイムで視覚的に理解させることができる。

上記の一実施形態においては、アクター情報及び非言語フィードバック情報に基づいて、配信された動画のダイジェスト動画が作成される。これにより、視聴ユーザからの非言語フィードバックに基づいたダイジェスト動画を作成することができる。従来のダイジェスト動画は、動画全体のうち動画作成者の観点からハイライトすべきと考えられる部分が選択され、その選択されたシーンを含むようにダイジェスト動画が作成されていた。このようにして作成されるダイジェスト動画は、配信者や作成者の主観的な評価によってハイライトシーンが選択されているため、必ずしも視聴ユーザに望まれるシーンが含まれているとは限らない。上記実施形態によれば、動画作成者の主観ではなく視聴ユーザからのより無意識的な反応が反映される非言語フィードバック情報に基づいてダイジェスト動画が作成される。よって、視聴ユーザに望まれる又は視聴ユーザの注目を受けるシーンを含むダイジェスト動画の作成が可能となる。

上記の一実施形態においては、アクター情報及び非言語フィードバック情報に基づいて、配信された動画の視聴ユーザに、当該動画のキャラクタオブジェクトのアニメーションを作成するためにパフォーマンスを行ったアクター以外のアクターが推薦される。これにより、アクター情報及び非言語フィードバック情報に基づいて、視聴ユーザに対してアクターを推薦することが可能となる。

上記の一実施形態においては、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信し、その動画を視聴する視聴ユーザからのフィードバック情報に基づいて、当該キャラクタオブジェクトの外観を変化させることができる。これにより、アクターの意識的な行動がなくても、視聴ユーザからのフィードバック情報に基づいてアクターのキャラクタオブジェクトの外観を変更することができる。よって、アクターのキャラクタオブジェクトのアニメーションを含む動画において、アクターの負担を増やすことなく、アクターと視聴ユーザとのインタラクションを活性化することができる。

上記の一実施形態においては、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信し、当該動画を視聴する視聴ユーザからのフィードバック情報に基づいて、当該アクターが使用するアクターデバイスに備えられるアクチュエータを駆動するための駆動信号が生成される。これにより、視聴ユーザからのフィードバックをアクターに対して直感的に伝達することができる。

クライアント装置１０ａ〜１０ｃ、サーバ装置２０、及びこれら以外の動画配信システム１に備えられる装置は、本明細書において明示的に説明されている機能以外の機能を実行することもできる。

本明細書において説明された処理手順、特にフロー図を用いて説明された処理手順においては、その処理手順を構成する工程（ステップ）の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、及び／又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本発明の趣旨を逸脱しない限り本発明の範囲に含まれる。

１ 動画配信システム

Claims (14)

1. 一又は複数のコンピュータプロセッサを備え、
   前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を 実行することにより、
   アクターの行動を示すアクター情報に基づいてキャラクタオブジェクトのアニメー ションを含む動画を生成し、
   前記動画を視聴ユーザに配信し、
   前記アクター情報、及び、一又は複数のユーザデバイスにより検出され、前記視聴 ユーザから前記動画に対する非言語フィードバックを示す非言語フィードバック情報 を前記動画のタイムコードに対応付けて記憶する、
   動画配信システム。
2. 前記非言語フィードバック情報には、前記視聴ユーザによって保持される前記一又 は複数のユーザデバイスの加速度が含まれる、
   請求項１に記載の動画配信システム。
3. 前記非言語フィードバック情報には、前記視聴ユーザの生体情報が含まれる、
   請求項１又は請求項２に記載の動画配信システム。
4. 前記非言語フィードバック情報には、前記視聴ユーザの情動を示す情動情報が含ま れる、
   請求項１から請求項３のいずれか１項に記載の動画配信システム。
5. 前記視聴ユーザからの言語フィードバックを示す言語フィードバック情報をさらに 前記動画のタイムコードに対応付けて記憶する、
   請求項１から請求項４のいずれか１項に記載の動画配信システム。
6. 前記言語フィードバックは、テキスト入力又は発話入力に基づいて決定される、
   請求項５に記載の動画配信システム。
7. 前記視聴ユーザによる評価を示す評価情報をさらに前記動画のタイムコードに対応 付けて記憶する、
   請求項１から請求項６のいずれか１項に記載の動画配信システム。
8. 前記視聴ユーザによって購入されたギフトに関連するギフト購入情報及び前記視聴 ユーザから前記アクターへ提供されるギフトに関連するギフティング情報の少なくと も一方をさらに前記動画のタイムコードに対応付けて記憶する、
   請求項１から請求項７のいずれか１項に記載の動画配信システム。
9. 前記一又は複数のコンピュータプロセッサは、前記タイムコードに基づいて、前記 アクター情報及び前記非言語フィードバック情報を時系列に表示する、
   請求項１から請求項８のいずれか１項に記載の動画配信システム。
10. 前記アクター情報及び前記非言語フィードバック情報は、前記アクターによって視 認可能な位置に配置されたディスプレイに表示される、
    請求項１から請求項９のいずれか１項に記載の動画配信システム。
11. 前記一又は複数のコンピュータプロセッサは、前記非言語フィードバック情報に基 づいて、前記動画のダイジェスト動画を作成する、
    請求項１から請求項１０のいずれか１項に記載の動画配信システム。
12. 前記一又は複数のコンピュータプロセッサは、前記アクター情報及び前記非言語フィードバック情報に基づいて、前記視聴ユーザに前記アクター以外の他のアクターを 推薦する、
    請求項１から請求項１１のいずれか１項に記載の動画配信システム。
13. 一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行す ることにより実行される動画配信方法であって、
    アクターの行動を示すアクター情報に基づいてキャラクタオブジェクトのアニメー ションを含む動画を生成する工程と、
    前記動画を視聴ユーザに配信する工程と、
    前記アクター情報、及び、一又は複数のユーザデバイスにより検出され、前記視聴 ユーザから前記動画に対する非言語フィードバックを示す非言語フィードバック情報 を前記動画のタイムコードに対応付けて記憶する工程と、
    を備える動画配信方法。
14. 一又は複数のコンピュータプロセッサに実行されるプログラムであって、
    前記一又は複数のコンピュータプロセッサに、
    アクターの行動を示すアクター情報に基づいてキャラクタオブジェクトのアニメー ションを含む動画を生成する工程と、
    前記動画を視聴ユーザに配信する工程と、
    前記アクター情報、及び、一又は複数のユーザデバイスにより検出され、前記視聴 ユーザから前記動画に対する非言語フィードバックを示す非言語フィードバック情報 を前記動画のタイムコードに対応付けて記憶する工程と、
    を実行させる動画配信プログラム。