JP7345812B1 - 映像処理のためのシステム、方法、及びコンピュータ可読媒体 - Google Patents

Abstract

【課題】視聴者と配信者を分析し、配信者によるコンテンツ配信に最適な時間または最も収益性の高い時間を特定する映像処理システム、方法及び非一時的なコンピュータ可読媒体を提供する。【解決手段】方法は、ユーザ端末から贈り物信号を受信する工程と、当該贈り物信号の受信に応答して、第１のタイミングから配信者の第１の映像を取得する工程と、当該第１のタイミングよりも後の第２のタイミングにおいて当該贈り物信号に対応するエフェクトを当該第１の映像に重ねることにより第２の映像を生成する工程と、を含む。【選択図】図７

Description

本発明は、ストリーミング分野における映像処理に関する。

ライブストリーミングサービスに代表されるように、インターネット上におけるリアルタイムの交流が日常生活に浸透している。さまざまなプラットフォームやプロバイダーがライブストリーミングサービスを提供しており、競争も激しい。ユーザのニーズを満たし、より良い交流体験を実現することがプラットフォームにとって重要である。

中国特許出願公開第１１３８２４９８４号は、ライブストリームにおいて贈り物情報を表示する方法を開示している。

中国特許出願公開第１１３８２４９８４号明細書

本発明の一実施態様による方法は、１以上のコンピュータによって実行される映像処理のための方法であって、当該方法が、ユーザ端末から贈り物信号を受信する工程と、当該贈り物信号の受信に応答して、第１のタイミングから配信者の第１の映像を取得する工程と、当該第１のタイミングよりも後の第２のタイミングにおいて当該贈り物信号に対応するエフェクトを当該第１の映像に重ねることにより第２の映像を生成する工程と、を含む。

本発明の一実施態様によるシステムは、１以上のプロセッサを含む映像処理のためのシステムであって、当該１以上のコンピュータプロセッサが、機械可読命令を実行して、ユーザ端末から贈り物信号を受信する工程と、当該贈り物信号の受信に応答して、第１のタイミングから配信者の第１の映像を取得する工程と、当該第１のタイミングよりも後の第２のタイミングにおいて当該贈り物信号に対応するエフェクトを当該第１の映像に重ねることにより第２の映像を生成する工程と、を実行する。

本発明の一実施態様によるコンピュータ可読媒体は、映像処理のためのプログラムを含む非一時的なコンピュータ可読媒体であって、当該プログラムが１以上のコンピュータに、ユーザ端末から贈り物信号を受信する工程と、当該贈り物信号の受信に応答して、第１のタイミングから配信者の第１の映像を取得する工程と、当該第１のタイミングよりも後の第２のタイミングにおいて当該贈り物信号に対応するエフェクトを当該第１の映像に重ねることにより第２の映像を生成する工程と、を実行させる。

本発明の一部の実施態様に基づくライブストリーミングシステム１の構成を示す概略図である。 本発明の一部の実施態様に基づく、図１のユーザ端末３０の機能と構成を示すブロック図である。 本発明の一部の実施態様に基づく、図１のサーバの機能と構成を示すブロック図である。 図３のストリームＤＢ３１０の例示的データ構造を示す表である。 図３のユーザＤＢ３１２の例示的データ構造を示す表である。 図３の贈り物ＤＢ３１４の例示的データ構造を示す表である。 本発明の一部の実施態様に基づく混合映像の生成例を示す概略図である。 本発明の一部の実施態様に基づく方法を示す例示的なフローチャートである。 本発明の一部の実施態様に基づくカウントダウンメッセージの例を示す概略図である。 本発明の一部の実施態様に基づく贈り物エフェクトの例を示す概略図である。 図１１（ａ）、（ｂ）は、本発明の一部の実施態様に基づく混合映像の例を示す概略図である。 本発明の一部の実施態様に基づく混合映像の表示例を示す概略図である。 本発明の一部の実施態様に基づく情報処理装置のハードウェア構成例を示すブロック図である。 図３の混合映像ＤＢ３５２の例示的データ構造を示す表である。 本発明の一部の実施態様に基づく方法を示す例示的なフローチャートである。 本発明の一部の実施態様に基づく混合映像の表示例を示す概略図である。 本発明の一部の実施態様に基づくユーザインターフェイス例の概略図である。 本発明の一部の実施態様に基づくユーザインターフェイス例の概略図である。

以下、各図面に示す同一または類似の構成要素、部材、手順または信号には、すべての図面において同様の符号を付し、それによって重複する説明は適宜省略される。また、各図面の説明において重要でない一部部材は省略される。

従来、インターネット（ストリーミングプラットフォームやライブストリーミングプラットフォームなど）上のコンテンツプロバイダー（配信者、放送者、ストリーマー、ライバー、アンカーなど）は、コンテンツ配信を行う時間（例：タイミングや時間範囲）を特定できる良いツールを持っていない。配信者は、より高い報酬（収益など）を効率的に達成するために、配信を行うタイミングを知ることができない。

本発明は、視聴者と配信者を分析し、配信者によるコンテンツ配信に最適な時間、または最も収益性の高い時間を特定するためのシステムまたは方法を提供するものである。

図１に、本発明の一部の実施態様に基づくライブストリーミングシステム１の構成を示す概略図を示す。当該ライブストリーミングシステム１は、ストリーミングの配信者（ライバー、アンカー、ストリーマーとも呼ばれる）ＬＶと視聴者（オーディエンスとも呼ばれる）ＡＵ（ＡＵ１、ＡＵ２...）に、リアルタイムで交流または通信するためのライブストリーミングサービスを提供する。図１に示すように、当該ライブストリーミングシステム１は、サーバ１０と、ユーザ端末２０と、ユーザ端末３０（３０ａ、３０ｂ...）を含む。一部の実施態様において、当該ストリーマーと視聴者は、集合的にユーザと呼ばれてもよい。当該サーバ１０は、ネットワークＮＷに接続された、１以上の情報処理装置を含むことができる。当該ユーザ端末２０、３０は、例えば、スマートフォン、タブレット、ノートＰＣ、レコーダー、携帯ゲーム機、ウェアラブル端末などのモバイル端末装置、あるいはデスクトップＰＣなどの据え置き型装置であってもよい。当該サーバ１０、当該ユーザ端末２０及び当該ユーザ端末３０は、各種有線または無線ネットワークＮＷを介して相互に通信可能に接続される。

当該ライブストリーミングシステム１には、配信者ＬＶ、視聴者ＡＵ、及び当該サーバ１０を管理する管理者（またはアプリプロバイダー、図示せず）が参加する。当該配信者ＬＶは、自身のユーザ端末２０でコンテンツを記録し、当該サーバ１０に直接または間接的にアップロードすることにより、リアルタイムで当該コンテンツを配信する者である。当該コンテンツの例としては、当該配信者自身の歌、トーク、パフォーマンス、ゲームプレイ、その他あらゆるコンテンツであってもよい。当該管理者は、当該サーバ１０上で当該コンテンツをライブストリーミングするためのプラットフォームを提供するとともに、当該配信者ＬＶと当該視聴者ＡＵ間のリアルタイムの交流を仲介または管理する。当該視聴者ＡＵは、自分のユーザ端末３０で当該プラットフォームにアクセスし、所望のコンテンツを選択して視聴する。当該視聴者ＡＵは、選択したコンテンツのライブストリーミング中に、当該ユーザ端末３０を介してコメントや応援、贈り物の送信などの操作を実行する。当該コンテンツを配信している当該配信者ＬＶは、それらのコメント、応援、または贈り物に対して応答してもよい。当該応答が、映像および（または）音声で当該視聴者ＡＵに送信され、双方向のコミュニケーションが確立される。

「ライブストリーミング」という用語は、当該配信者ＬＶのユーザ端末２０で記録したコンテンツを、当該視聴者ＡＵのユーザ端末３０で実質的にリアルタイムに再生・視聴することを可能にするデータ伝送モードを指しても、そのような伝送モードにより実現されるライブブロードキャストを指してもよい。当該ライブストリーミングは、ＨＴＴＰライブストリーミング、ＣＭＡＦ（Ｃｏｍｍｏｎ Ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ）、ＷｅｂＲＴＣ（Ｗｅｂ Ｒｅａｌ－Ｔｉｍｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＲＴＭＰ（Ｒｅａｌ－Ｔｉｍｅ Ｍｅｓｓａｇｉｎｇ Ｐｒｏｔｏｃｏｌ）、ＭＰＥＧ ＤＡＳＨなどの既存のライブストリーミング技術を利用して実現されてもよい。ライブストリーミングには、当該配信者ＬＶによるコンテンツの記録と同時に、当該視聴者ＡＵが所定の遅延をもって当該コンテンツを視聴でき伝送モードを含む。当該遅延の長さについては、当該配信者ＬＶと当該視聴者ＡＵの交流が成立可能な程度の遅延であってもよい。なお、当該ライブストリーミングは、当該コンテンツの全記録データを一度当該サーバに格納し、その後ユーザの要求に応じて当該サーバから当該ユーザに提供する、いわゆるオンデマンド配信と区別される。

ここでいう「映像データ」とは、当該ユーザ端末２０または３０の撮像機能を用いて生成された画像データ（映像データとも呼ばれる）と、当該ユーザ端末２０または３０の音声入力機能を用いて生成された音声データを含むデータを指す。当該映像データは、当該ユーザがコンテンツを視聴できるように、当該ユーザ端末２０、３０で再生される。一部の実施態様において、当該配信者のユーザ端末における映像データの生成と当該視聴者のユーザ端末における映像データの再生との間に、当該映像データに対して圧縮、展開、符号化、復号化、トランスコーディングなど、その形式、サイズ、またはデータの仕様を変更する処理が行われると想定される。しかし、そのような処理の前後で、当該映像データが表す当該コンテンツ（例えば、映像や音声）は実質的に変化しないため、本明細書においては、そのような処理後の当該映像データを、そのような処理前の当該映像データと同一ものと表現している。すなわち、当該配信者のユーザ端末で映像データが生成された後、当該サーバ１０を介して当該視聴者のユーザ端末で再生される場合、当該配信者のユーザ端末で生成された当該映像データ、当該サーバ１０を通過する当該映像データ、および当該視聴者のユーザ端末で受信して再生される当該映像データは、いずれも同一の映像データである。

図１に示す例において、当該配信者ＬＶは、ライブストリーミングデータを提供する。当該配信者ＬＶのユーザ端末２０は、当該配信者ＬＶの映像や音声を記録して当該ストリーミングデータを生成し、生成された当該データは当該ネットワークＮＷを介して当該サーバ１０に送信される。同時に、当該ユーザ端末２０は、当該配信者ＬＶの記録された映像ＶＤを当該ユーザ端末２０のディスプレイに表示し、当該配信者ＬＶが現在行っているライブストリーミングコンテンツを確認できるようにする。

当該プラットフォームに当該配信者ＬＶのライブストリーミングを視聴することを要求した当該視聴者ＡＵ１、ＡＵ２のそれぞれのユーザ端末３０ａ、３０ｂは、当該ネットワークＮＷを介して当該ライブストリーミングに関連する映像データ（以下、「ライブストリーミングの映像データ」と呼ばれてもよい）を受信し、受信した当該映像データを再生して当該映像ＶＤ１、ＶＤ２をディスプレイに表示し、スピーカーから音声を出力する。当該ユーザ端末３０ａ、３０ｂでそれぞれ表示される映像ＶＤ１、ＶＤ２は、当該配信者ＬＶの当該ユーザ端末２０により撮像された映像ＶＤと実質的に同じであり、当該ユーザ端末３０ａ、３０ｂで出力される音声は、当該配信者ＬＶの当該ユーザ端末２０で記録された音声と実質的に同じである。

当該配信者ＬＶの当該ユーザ端末２０での映像・音声の記録と、当該視聴者ＡＵ１、ＡＵ２の当該ユーザ端末３０ａ、３０ｂでの映像データの再生は、実質的に同時に行われる。当該視聴者ＡＵ１が、当該配信者ＬＶにより提供される当該コンテンツに関するコメントを当該ユーザ端末３０ａに入力すると、当該サーバ１０は当該コメントを配信者ＬＶの当該ユーザ端末３０ａにリアルタイムで表示するとともに、当該視聴者ＡＵ１とＡＵ２の当該ユーザ端末３０ａと３０ｂにも当該コメントをそれぞれ表示する。当該配信者ＬＶが当該コメントを読み、当該コメントに対応するトークを展開すると、そのトークの映像と音声が、それぞれ当該視聴者ＡＵ１、ＡＵ２のユーザ端末３０ａ、３０ｂに表示される。このインタラクティブな動作は、当該配信者ＬＶと当該視聴者ＡＵ１間で会話が成立していると認識される。これにより、当該ライブストリーミングシステム１では、一方的なコミュニケーションではなく、双方向のコミュニケーションを可能にするライブストリーミングを実現する。

図２は、本発明の一部の実施態様に基づく、図１のユーザ端末３０の機能と構成を示すブロック図である。当該ユーザ端末２０は、当該ユーザ端末３０と同じまたは類似した機能と構成を有する。図２の各ブロックと以降のブロック図は、ハードウェアがコンピュータのＣＰＵや機械装置などの要素によって実現されてもよく、ソフトウェアがコンピュータプログラムなどによって実現されてもよい。機能ブロックは、これらの要素間の連携動作により実現されてもよい。したがって、これらの機能ブロックは、ハードウェアとソフトウェアの組み合わせによる多様な形態で実現され得ることが、当業者には理解されよう。

当該配信者ＬＶ及び当該視聴者ＡＵは、当該ネットワークＮＷを介してダウンロードサイトからライブストリーミングアプリケーションプログラム（以下、ライブストリーミングアプリケーションという）をダウンロードし、当該ユーザ端末２０、３０にインストールしてもよい。あるいは、当該ライブストリーミングアプリケーションは、当該ユーザ端末２０と３０に予めインストールされていてもよい。当該ライブストリーミングアプリケーションが当該ユーザ端末２０、３０上で実行されると、当該ユーザ端末２０、３０は、当該ネットワークＮＷを介して当該サーバ１０と通信し、各種機能を実装または実行する。以下、当該ライブストリーミングアプリケーションが実行されるユーザ端末２０、３０（ＣＰＵなどのプロセッサ）によって実装される機能を、当該ユーザ端末２０、３０の機能として説明する。これらの機能は、実際には、当該ユーザ端末２０、３０上で当該ライブストリーミングアプリケーションにより実現される。一部の実施態様において、これらの機能は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのプログラミング言語で記述され、当該サーバ１０から当該ネットワークＮＷを介して当該ユーザ端末２０、３０のウェブブラウザに送信され、当該ウェブブラウザにより実行されるコンピュータプログラムによって実現されてもよい。

当該ユーザ端末３０は、配信ユニット１００と視聴ユニット２００を含む。当該配信ユニット１００は、当該ユーザ（またはユーザ側）の映像と音声が記録された映像データを生成し、当該映像データを当該サーバ１０に提供する。当該視聴ユニット２００は、当該サーバ１０から映像データを受信し、当該映像データを再生する。当該ユーザは、ライブストリーミングを行う際に、当該配信ユニット１００を起動し、当該ユーザが映像を視聴する際に、当該視聴ユニット２００を起動する。当該配信ユニット１００が起動される当該ユーザ端末は、当該配信者の端末、すなわち、当該映像データを生成する当該ユーザ端末である。当該視聴ユニット２００が起動される当該ユーザ端末は、当該視聴者の端末、即ち、当該映像データが再現され、再生される当該ユーザ端末である。

当該配信ユニット１００は、撮像コントロールユニット１０２と、オーディオコントロールユニット１０４と、映像送信ユニット１０６と、配信者側ＵＩコントロールユニット１０８を含む。当該撮像コントロールユニット１０２は、カメラ（図２に表示せず）に接続され、当該カメラで実行される撮像を制御する。当該撮像コントロールユニット１０２は、当該カメラからの画像データを取得する。当該オーディオコントロールユニット１０４は、マイク（図２に表示せず）に接続され、当該マイクからの音声入力を制御する。当該オーディオコントロールユニット１０４は、当該マイクから当該オーディオデータを取得する。当該映像送信ユニット１０６は、当該撮像コントロールユニット１０２により取得された当該画像データと、当該オーディオコントロールユニット１０４により取得された当該オーディオデータを含む映像データを、当該ネットワークＮＷを介して当該サーバ１０に送信する。当該映像データは、当該映像送信ユニット１０６によりリアルタイムに送信される。すなわち、当該撮像コントロールユニット１０２と当該オーディオコントロールユニット１０４による当該映像データの生成と、生成された当該映像データの当該映像送信ユニット１０６による送信とは、実質的に同時に実行される。当該配信者側ＵＩコントロールユニット１０８は、当該配信者のＵＩ（ユーザインターフェイス）をコントロールする。当該配信者側ＵＩコントロールユニット１０８は、ディスプレイ（図２に表示せず）に接続されてもよく、当該映像送信ユニット１０６により送信される当該映像データを再生することにより、当該ディスプレイに映像を表示する。当該配信者側ＵＩコントロールユニット１０８は、操作オブジェクトや指示許諾オブジェクトを当該ディスプレイに表示し、当該オブジェクトをタップした当該配信者からの入力を受け付けてもよい。

当該視聴ユニット２００は、視聴者側ＵＩコントロールユニット２０２と、重ね合わせ情報生成ユニット２０４と、入力情報送信ユニット２０６を含む。当該視聴ユニット２００は、当該ネットワークＮＷを介して当該サーバ１０から、当該配信者、当該ユーザ端末３０のユーザである視聴者、及び他の視聴者が参加する、ライブストリーミングに関連する映像データを受信する。当該視聴者側ＵＩコントロールユニット２０２は、当該視聴者のＵＩを制御する。当該視聴者側ＵＩコントロールユニット２０２は、ディスプレイとスピーカー（図２に表示せず）に接続され、受信した映像データを再生して、当該ディスプレイに映像を表示し、当該スピーカーから音声を出力する。当該映像が当該ディスプレイに出力され、当該音声が当該スピーカーから出力されている状態を「映像データが再生されている」状態と呼ぶことができる。当該視聴者側ＵＩコントロールユニット２０２は、タッチパネル、キーボード、ディスプレイ等の入力手段（図２に表示せず）にも接続され、当該入力手段を介してユーザの入力を取得する。当該重ね合わせ情報生成ユニット２０４は、当該サーバ１０からの映像データから生成された画像上に、所定のフレーム画像を重ねる。当該フレーム画像には、当該ユーザからの入力を受け付けるためのさまざまなユーザインターフェイスオブジェクト（以下、単に「オブジェクト」という）、当該視聴者により入力されたコメント、及び（または）当該サーバ１０から取得した情報などが含まれる。当該入力情報送信ユニット２０６は、当該ネットワークＮＷを介して、当該視聴者側ＵＩコントロールユニット２０２により取得された当該ユーザ入力を当該サーバ１０に送信する。

図３に、本発明の一部の実施態様に基づく、図１の当該サーバ１０の機能と構成を示すブロック図を示す。当該サーバ１０は、配信情報提供ユニット３０２と、中継ユニット３０４と、贈り物処理ユニット３０６と、支払い処理ユニット３０８と、ストリームＤＢ３１０と、ユーザＤＢ３１２と、贈り物ＤＢ３１４と、映像処理ユニット３３０と、エフェクトＤＢ３５０と、混合映像ＤＢ３５２を含む。当該サーバ１０は、ＣＤＮ（Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ）３８２及びＣＤＮ３８４と通信する。

当該配信者側の当該ユーザ端末２０から当該ネットワークＮＷを介してライブストリーミングの開始通知または要求を受信すると、当該配信情報提供ユニット３０２は、このライブストリーミングを識別するためのストリームＩＤと当該ライブストリーミングを行う配信者の配信者ＩＤをストリームＤＢ３１０に登録する。

当該配信情報提供ユニット３０２が、当該ネットワークＮＷを介して当該視聴者側の当該ユーザ端末３０の当該視聴ユニット２００からライブストリームに関する情報の提供要求を受信すると、当該配信情報提供ユニット３０２は、当該ストリームＤＢ３１０から現在利用可能なライブストリームを取得または確認し、利用可能なライブストリームのリストを作成する。当該配信情報提供ユニット３０２は、作成したリストを当該ネットワークＮＷ経由で要求元の当該ユーザ端末３０に送信する。要求元の当該ユーザ端末３０の当該視聴者側ＵＩコントロールユニット２０２は、受信したリストに基づいてライブストリーム選択画面を生成し、当該ユーザ端末３０のディスプレイ上に表示する。

当該ユーザ端末３０の当該入力情報送信ユニット２０６が、当該ライブストリーム選択画面上で当該視聴者の選択結果を受信すると、当該入力情報送信ユニット２０６は、選択されたライブストリームのストリームＩＤを含む配信要求を生成し、当該ネットワークＮＷを介して当該サーバ１０に当該要求を送信する。当該配信情報提供ユニット３０２は、要求元の当該ユーザ端末３０に対して、受信した当該配信要求に含まれる当該ストリームＩＤで指定されるライブストリームの提供を開始する。当該配信情報提供ユニット３０２は、当該ストリームＩＤの（または対応する）視聴者ＩＤに、要求元の当該ユーザ端末３０の当該視聴者のユーザＩＤを含めるように当該ストリームＤＢ３１０を更新する。

当該中継ユニット３０４は、当該配信情報提供ユニット３０２により開始された当該ライブストリーミングにおいて、配信者側の当該ユーザ端末２０から視聴者側の当該ユーザ端末３０に当該映像データを中継する。当該中継ユニット３０４は、当該ライブストリーミング中または当該映像データの再生中に、当該入力情報送信ユニット２０６から視聴者によるユーザ入力を表す信号を受信する。当該ユーザ入力を表す信号は、当該ユーザ端末３０のディスプレイに表示されたオブジェクトを指定するオブジェクト指定信号であってもよい。当該オブジェクト指定信号は、当該視聴者の視聴者ＩＤ、当該視聴者が視聴しているライブストリームの配信者の配信者ＩＤ、及び当該オブジェクトを特定するオブジェクトＩＤを含んでもよい。当該オブジェクトが贈り物であるとき、当該オブジェクトＩＤは贈り物ＩＤである。同様に、当該中継ユニット３０４は、当該ユーザ端末２０の当該配信ユニット１００から、当該映像データの再生中（またはライブストリーミング中）に配信者により行われたユーザ入力を表す信号を受信する。当該信号は、オブジェクト指定信号であってもよい。

また、当該ユーザ入力を表す信号は、視聴者が当該ユーザ端末３０に入力したコメントと当該視聴者の視聴者ＩＤを含むコメント入力信号であってもよい。当該コメント入力信号を受信すると、当該中継ユニット３０４は、当該コメントと信号に含まれる当該視聴者ＩＤを、当該配信者の当該ユーザ端末２０と他の視聴者の当該ユーザ端末３０に送信する。これらユーザ端末２０、３０において、当該視聴者側ＵＩコントロールユニット２０２と、当該重ね合わせ情報生成ユニット２０４は、同じく受信した当該視聴者ＩＤと関連付けられたディスプレイ上に受信したコメントを表示する。

当該贈り物処理ユニット３０６は、当該オブジェクト指定信号に含まれる贈り物ＩＤによって特定される贈り物のポイントに基づき、当該配信者のポイントを増加させ、当該ユーザＤＢ３１２を更新する。具体的には、当該贈り物処理ユニット３０６は、当該贈り物ＤＢ３１４を参照して、受信した当該オブジェクト指定信号に含まれる当該贈り物ＩＤに対して付与するポイントを特定する。その後、当該贈り物処理ユニット３０６は、当該ユーザＤＢ３１２を更新し、当該オブジェクト指定信号に含まれる当該配信者ＩＤの（または当該配信者ＩＤに対応する）ポイントに、特定されたポイントを追加する。

当該支払い処理ユニット３０８は、当該オブジェクト指定信号の受信に応答して、視聴者からの贈り物の代金の支払いを処理する。具体的には、当該支払い処理ユニット３０８は、当該贈り物ＤＢ３１４を参照して、当該オブジェクト指定信号に含まれる当該贈り物ＩＤにより特定される当該贈り物の価格ポイントを特定する。その後、当該支払い処理ユニット３０８は、当該ユーザＤＢ３１２を更新し、当該オブジェクト指定信号に含まれる当該視聴者ＩＤにより特定される当該視聴者のポイントから、特定された当該価格ポイントを差し引く。

当該ＣＤＮ３８２と当該ＣＤＮ３８４は、映像データを格納するように構成される。一部の実施態様において、当該ＣＤＮ３８２は、配信者からのストリームデータ（または映像データ）を格納するように構成される。例えば、当該配信情報提供ユニット３０２（または一部の実施態様においては当該中継ユニット３０４）は、当該ライブストリームの当該ストリームデータが格納（またはアップロード）されているＣＤＮ３８２内の空間を指定するアドレスを提供することにより、要求元の当該ユーザ端末３０にライブストリームを提供してもよい。

一部の実施態様において、当該ＣＤＮ３８４は、当該映像処理ユニット３３０により生成された映像データを格納するように構成される。詳細は後述する。当該配信情報提供ユニット３０２（または一部の実施態様においては当該中継ユニット３０４）は、当該映像データが格納されている当該ＣＤＮ３８４内の空間を指定するアドレスを提供することにより、ユーザ端末３０に映像を提供してもよい。当該ＣＤＮ３８２及び（または）当該ＣＤＮ３８４は、サーバまたはデータベースであっても、あるいはそれらを含んでもよい。

図４は、図３のストリームＤＢ３１０の例示的データ構造を示す表である。当該ストリームＤＢ３１０は、現在行われているライブストリームに関する情報を保持する。当該ストリームＤＢ３１０は、当該ストリームＩＤ、当該配信者ＩＤ、当該視聴者ＩＤ、当該アドレスを相互に関連付けて格納する。当該ストリームＩＤは、当該ライブストリーミングシステム１により提供されるライブストリーミングプラットフォームにおけるライブストリームを識別するためのＩＤである。当該配信者ＩＤは、当該ライブストリームを提供する配信者を識別するためのユーザＩＤである。当該視聴者ＩＤは、当該ライブストリームの視聴者を識別するためのユーザＩＤである。一部の実施態様による当該ライブストリーミングシステム１により提供されるライブストリーミングプラットフォームにおいて、ユーザがライブストリームを開始すると、当該ユーザは配信者となり、同じユーザが別のユーザによりブロードキャストされるライブストリームを視聴すると、当該ユーザは視聴者にもなる。したがって、配信者と視聴者の区別は固定されておらず、あるとき配信者ＩＤとして登録されたユーザＩＤが、別のときに視聴者ＩＤとして登録されることもあり得る。当該アドレスは、対応するストリームが格納されている空間を指定する。当該空間は、当該サーバ１０外部のサーバまたはＣＤＮに存在してもよい。一部の実施態様において、当該アドレスは、ＵＲＬアドレスであってもよい。

図５は、図３のユーザＤＢ３１２の例示的データ構造を示す表である。当該ユーザＤＢ３１２は、ユーザに関する情報を保持する。当該ユーザＤＢ３１２は、当該ユーザＩＤと当該ポイントを、相互に関連付けて格納する。当該ユーザＩＤは、ユーザを識別する。当該ポイントは、対応する当該ユーザが保持するポイントに相当する。当該ポイントは、当該ライブストリーミングプラットフォーム内で流通する電子的な価値である。一部の実施態様において、配信者がライブストリーム中に視聴者から贈り物を受け取ると、当該配信者のポイントは当該贈り物に対応する価値だけ増加する。当該ポイントは、例えば、当該配信者が当該ライブストリーミングプラットフォームの管理者から受け取る報酬（金銭など）の量を決定するために使用される。一部の実施態様において、当該配信者が視聴者から贈り物を受け取る際に、当該ポイントに代えて、当該贈り物に対応する金額を付与してもよい。

図６は、図３の贈り物ＤＢ３１４の例示的データ構造を示す表である。当該贈り物ＤＢ３１４は、当該ライブストリーミング中に当該視聴者が利用できる贈り物についての情報を保持する。贈り物は、電子データである。贈り物は、ポイントまたは金銭で購入するか、無償で提供することができてもよい。贈り物は、視聴者が配信者に贈ることができる。配信者に贈り物を贈ることは、贈り物を使う、贈り物を送る、贈り物を投げるなどとも呼ばれる。贈り物の中には、購入と同時に使用できるものと、購入後、購入した視聴者が後から任意のタイミングで使用できるものとがある。視聴者が配信者に贈り物を贈ると、当該贈り物に対応する量のポイントが当該配信者に付与される。贈り物が使用されると、その使用によって当該贈り物に関連するエフェクトが発生してもよい。例えば、ライブストリーミング画面に当該贈り物に対応したエフェクト（視覚的効果や聴覚的効果など）が表示される。

当該贈り物ＤＢ３１４は、当該贈り物ＩＤ、当該付与ポイント、当該価格ポイント、ベストモーメントタグ、エフェクトリンクを、相互に関連付けて格納する。当該贈り物ＩＤは、贈り物を識別するためのものである。当該付与ポイントは、配信者に贈り物が贈られたときに当該配信者に付与されるポイントの量である。当該価格ポイントは、贈り物の使用（購入）に対して支払われるポイントの量である。視聴者は、ライブストリームを視聴しているときに、所望の贈り物の当該価格ポイントを支払うことで、配信者に当該所望の贈り物を贈ることができる。当該価格ポイントの支払いは、適宜の電子決済手段により行うことができる。例えば、視聴者が管理者に当該価格ポイントを支払うことにより、支払いが行われてもよい。あるいは、銀行振り込みやクレジットカードによる支払いが利用されてもよい。当該管理者は、当該付与ポイントと当該価格ポイントとの関係を任意に設定することができる。例えば、付与ポイント＝価格ポイントとして設定してもよい。あるいは、当該付与ポイントに１.２などの所定の係数を乗じたポイントを当該価格ポイントとして設定しても、当該付与ポイントに所定の手数料ポイントを加算したポイントを当該価格ポイントとして設定してもよい。

当該ベストモーメントタグは、贈り物がベストモーメントタイプに属するか否かを示す。一部の実施態様において、「ベストモーメント」の贈り物が視聴者から配信者に送信されると、当該映像処理ユニット３３０が、当該贈り物のベストモーメントタグを識別し、当該配信者の当該映像と当該贈り物ギフトに対応するエフェクトを含む映像を生成する。詳細は後述する。

当該エフェクトリンクは、贈り物に対応するエフェクト（視覚的効果や聴覚的効果など）のリンク（またはアドレス）を格納する。当該エフェクトリンクによりリンクされたエフェクトデータは、当該エフェクトＤＢ３５０に格納される。一部の実施態様において、当該エフェクトＤＢ３５０は、当該サーバ１０外部に実装されてもよい。

当該映像処理ユニット３３０は、配信者の映像（または配信者映像）と、視聴者から当該配信者に送られる贈り物のエフェクトとを含む映像（または映像データ）を生成するように構成される。当該配信者映像は、当該配信者のライブストリーム（からの）映像であってもよい。例えば、当該サーバ１０が当該視聴者から当該配信者への贈り物信号（贈り物送信リクエスト）を受信すると、当該映像処理ユニット３３０は、当該ＣＤＮ３８２を参照し、当該配信者映像を取得（または抽出、クリップ、コピー）する。当該映像処理ユニット３３０は、当該贈り物信号を受信した直後（または実質的に同時）のタイミングから、またはそのタイミングで、当該配信者映像を取得してもよい。当該映像処理ユニット３３０は、当該贈り物信号の受信から数秒など所定の時間後のタイミングから、またはそのタイミングで、当該配信者映像を取得してもよい。

当該配信者映像を取得した後、当該映像処理ユニット３３０は、取得した当該配信者映像に当該贈り物信号に対応するエフェクト（または贈り物エフェクト）を重ねることにより、混合映像を生成する。例えば、当該映像処理ユニット３３０は、当該贈り物信号に含まれる贈り物ＩＤにより、当該エフェクトリンクについて当該贈り物ＤＢ３１４を参照した後、当該エフェクトＤＢ３５０を参照して当該エフェクトデータ（映像データであってもよい）を取得してもよい。当該映像処理ユニット３３０は、当該配信者映像を取得したタイミングよりも後のタイミング、例えば数秒後（例えば５秒後）に、当該配信者映像に当該贈り物エフェクトを重畳してもよい。

一部の実施態様において、当該混合映像の生成は、当該贈り物エフェクトが当該配信者の所定の部分に重ならないようにすることを含む。例えば、当該配信者映像（または当該配信者映像のフレーム）における当該配信者の顔部分が、当該映像処理ユニット３３０（または当該サーバ１０内の別の画像識別ユニット）により検出または識別されてもよい。その後、当該映像処理ユニット３３０は、当該配信者映像に当該贈り物エフェクトを重ねる際に、当該配信者の顔を覆わないようにする。例えば、当該映像処理ユニット３３０は、当該混合映像において当該配信者の顔が常に見えるように、当該配信者の顔の位置に応じて、当該贈り物エフェクトの位置を移動させたり、当該贈り物エフェクトの形状を調整したりしてもよい。一部の実施態様において、当該映像処理ユニット３３０は、映像処理用のＦＦｍｐｅｇライブラリを含んでもよい。

一部の実施態様において、当該配信者映像に当該贈り物エフェクトを重ねる際に、当該映像処理ユニット３３０（または当該サーバ１０内の他の画像／映像識別ユニット）は、当該配信者の所定の部分に重なる、またはそれを覆う当該贈り物エフェクトの部分を判定または検出し、当該贈り物エフェクトの当該部分の透明度を高める。例えば、当該映像処理ユニット３３０は、当該贈り物エフェクトのある部分が配信者の顔を覆っていることを検出した場合、当該混合映像において当該配信者の顔を視認できるように、当該贈り物エフェクトの当該部分を半透明にしてもよい。

当該映像処理ユニット３３０は、生成された当該混合映像を、当該配信者映像を取得した空間（またはアドレス）とは異なる空間（またはアドレス）に格納してもよい。例えば、当該混合映像は、当該ＣＤＮ３８４内の空間またはアドレスに格納されてもよい。したがって、当該混合映像の生成が、当該ＣＤＮ３８２内の空間への当該配信者の当該映像データ格納またはアップロードに影響したり、干渉したりすることはない。

当該混合動画の生成及び保存後、当該サーバ１０（または当該配信情報提供ユニット３０２など）は、当該視聴者（例えば、当該贈り物を送った当該視聴者）及び（または）当該配信者に、当該混合動画が格納されている当該空間（または当該アドレス）を通知してもよい。したがって、当該視聴者または当該配信者は、それぞれのユーザ端末で当該混合映像にアクセスし、表示することができる。

図１４は、図３の混合映像ＤＢ３５２の例示的データ構造を示す表である。当該混合映像ＤＢ３５２は、混合映像に関する情報を保持する。当該混合映像ＤＢ３５２は、混合映像ＩＤ、当該配信者ＩＤ、贈り物送信視聴者ＩＤ、共有ユーザＩＤ、混合映像ファイルリンク、有効期限を、相互に関連付けて格納する。

当該混合映像ＩＤは、混合映像を識別するためのものである。当該配信者ＩＤは、当該混合映像に対応する当該贈り物（またはベストモーメントギフト）を受け取る当該配信者のユーザＩＤである。当該贈り物送信視聴者ＩＤは、当該混合映像に対応する当該贈り物（またはベストモーメントギフト）を送る当該視聴者のユーザＩＤである。当該共有ユーザＩＤは、当該混合映像を共有する当該ユーザ（視聴者など）の当該ユーザＩＤを保持する。例えば、当該共有ユーザＩＤは、当該混合映像に対応する当該贈り物を受け取る当該配信者のフォロワーのユーザＩＤを保持してもよい。当該混合映像ファイルリンクは、当該ＣＤＮ３８４内の空間など、当該混合映像が格納される空間へ誘導するリンクを保持する。一部の実施態様において、各混合映像には有効期限があってもよい。当該有効期限は、当該ＣＤＮ３８４上または当該配信者に関連するデータベース上で、当該混合映像が期限切れとなる日付を示してもよい。

図７は、本発明の一部の実施態様に基づく混合映像の生成例を示す概略図である。

当該配信者のストリームデータ（またはライブストリームデータ）は、ｔ０、ｔ１、ｔ２、ｔ３の各タイミングを通じて継続される。

タイミングｔ０では、視聴者から当該配信者に贈り物を送るための贈り物信号が取得される。当該映像処理ユニット３３０は、当該ＣＤＮ３８２を参照し、当該配信者映像を取得（または抽出、クリップ、コピー）する。配信者映像を取得する。当該映像処理ユニット３３０は、当該混合映像の生成を開始する。タイミングｔ０～ｔ１の間、当該混合映像は当該配信者映像と同じコンテンツを含む。

タイミングｔ１において、当該映像処理ユニット３３０は、当該エフェクトＤＢ３５０から取得した当該贈り物エフェクトを当該配信者映像に重畳（または挿入）し、当該混合映像の生成を開始する。

タイミングｔ２において、当該贈り物エフェクトが終了する。当該贈り物エフェクトの時間の長さはｔ２-ｔ１である。当該時間ｔ１～ｔ２の間、当該混合映像は当該配信者映像と当該贈り物エフェクトを含む。

タイミングｔ３において、当該配信者映像が終了する。当該混合映像が終了する。タイミングｔ２～ｔ３の間、当該混合映像は当該配信者映像と同じコンテンツを含む。

一部の実施態様において、当該配信者映像と当該混合映像は同じ時間の長さを有する。一部の実施態様において、当該配信者映像はｔ０～ｔ３の間、当該配信者のストリームデータのコンテンツを含む。一部の実施態様において、タイミングｔ１はタイミングｔ０よりも数秒後、例えば５秒後である。一部の実施態様において、タイミングｔ３はタイミングｔ２と同じであってもよく、これは当該贈り物エフェクトの終了と同時に当該混合映像が終了することを意味する。一部の実施態様において、当該混合映像は、ベストモーメントビデオまたはベストモーメントアーカイブビデオと呼ばれてもよい。一部の実施態様において、当該映像処理ユニット３３０は、ベストモーメント生成器と呼ばれてもよい。

図８に、本発明の一部の実施態様に基づく方法を示す例示的なフローチャートを示す。

工程Ｓ８００において、クライアントが当該サーバ１０に贈り物信号を送信する。当該クライアントは、視聴者のユーザ端末であってもよい。当該贈り物信号は、当該視聴者から配信者に送られる贈り物を示す。当該贈り物信号は、当該視聴者が当該配信者のライブストリームを視聴している間に送信されてもよい。

工程Ｓ８０２において、当該サーバ１０は、当該贈り物信号に含まれる当該贈り物（またはギフトＩＤ）が、ベストモーメントギフトに該当するか否か（すなわち、そのベストモーメントタグが「はい」となっているか否か）を判断する。「はい」の場合、フローは工程Ｓ８０４に進む。「いいえ」の場合、フローは工程Ｓ８１４に進む。この判断のプロセスは、例えば、当該配信情報提供ユニット３０２または当該贈り物処理ユニット３０６により実行されてもよい。

工程Ｓ８０４において、当該サーバ１０（または当該映像処理ユニット３３０）は、当該配信者映像と当該贈り物エフェクトを取得する。当該配信者映像は、当該ＣＤＮ３８２から取得されてもよい。当該贈り物エフェクトは、当該エフェクトＤＢ３５０から取得されてもよい。

工程Ｓ８０６において、当該サーバ１０（または当該映像処理ユニット３３０）は、当該配信者映像と当該贈り物エフェクトを含む当該混合映像または当該ベストモーメントビデオを生成する。当該サーバ１０は、当該混合映像を当該ＣＤＮ３８４に格納する。その後当該サーバ１０は、当該クライアントに応答信号を送信する。当該応答信号は、当該ベストモーメントギフトの贈り物ＩＤと、当該混合映像が格納されている当該ＣＤＮ３８４内の空間アドレスとを含んでもよい。一部の実施態様において、当該応答信号は、パブリッシュ／サブスクライブ（「Ｐｕｂ／Ｓｕｂ」）サービスなどの通知サービスに送信されてから、当該クライアントに送信されてもよい。

工程Ｓ８０８において、当該クライアントは、当該応答信号に含まれる当該贈り物ＩＤがベストモーメントギフトに該当するか否かを判断する。「はい」の場合、フローは工程Ｓ８１０に進む。「いいえ」の場合、フローは工程Ｓ８１４に進む。一部の実施態様において、当該クライアントは、当該通知サービスからの信号を処理する処理ユニット（Ｐｕｂ／Ｓｕｂハンドラなど）を含んでもよい。

工程Ｓ８１０において、当該クライアントは、ベストモーメントギフトに該当する贈り物ＩＤを含む当該応答信号を受信すると、カウントダウンメッセージを表示する（例えば、当該視聴者のユーザ端末のディスプレイに表示する）。一部の実施態様において、当該応答信号に当該ベストモーメントギフト情報を含めることにより、当該サーバ１０は当該クライアントが当該贈り物エフェクトの発生を示す当該カウントダウンメッセージを表示することを可能にする。

工程Ｓ８１４において当該クライアントは、当該配信者の当該ライブストリームにおいて当該贈り物エフェクトを表示する。当該贈り物エフェクトは、当該配信者の当該ライブストリーム映像上に重ねられてもよい。一部の実施態様において、当該贈り物エフェクトは、当該ユーザ端末のディスプレイの所定位置または固定位置に表示される。当該贈り物エフェクトが当該配信者の顔に重なったり、顔を隠したりして、当該配信者の反応がよく見えない場合がある。

工程Ｓ８１２において、当該クライアントは当該混合映像を表示する。具体的に、当該クライアントは当該応答信号に含まれる当該アドレスで当該ＣＤＮ３８４内の当該混合映像にアクセスする。当該混合映像は、当該配信者の当該ライブストリーム内に表示されてもよい。一部の実施態様において、当該混合映像は、当該配信者の当該ライブストリームとは別に表示されてもよい。例えば、当該混合映像は、当該配信者の当該ライブストリームの後に表示されてもよい。

工程Ｓ８１６において、当該クライアントは、当該配信者に当該混合映像を共有するか否かを当該視聴者が選択できるようにする。例えば、当該クライアントは、当該視聴者が選択するための選択オブジェクトを表示してもよい。選択が「はい」である場合、フローは工程Ｓ８１８に進む。選択が「いいえ」である場合、フローは工程Ｓ８２０に進む。

工程Ｓ８１８において、当該クライアントは、当該混合映像を配信者データベースに更新または格納する。当該クライアントは、当該サーバ１０に要求信号を送信してもよく、当該サーバ１０はそれに応じて、当該混合映像を当該配信者データベースに格納する。当該配信者データベースは、当該配信者に関連付けられたデータベースであり、当該配信者がアクセスすることができる。例えば、当該配信者データベースには、当該配信者のクリップページ、投稿ページ、プライベートメッセージページのデータが格納される。当該配信者は、当該クリップページ、当該投稿ページ、または当該プライベートメッセージページにアクセスして、当該混合映像を含むまたは当該混合映像にリンクされたクリップ（例えば、ビデオクリップ）、投稿、プライベートメッセージを見ることができる。

工程Ｓ８２０において、フローは終了する。

一部の実施態様において、当該カウントダウンメカニズムは、当該贈り物エフェクトが表示されたときに当該視聴者が当該配信者の反応を受け取るための準備をすることを可能にしてもよい。一部の実施態様において、当該混合映像は、当該混合映像において当該贈り物エフェクトが当該配信者の顔を覆っていない、または顔に重なっていないため、当該視聴者が当該配信者の反応を明確に受け取ることを可能にする。一部の実施態様において、当該共有メカニズムは、当該視聴者と当該配信者間の交流を向上させることができる。例えば、当該共有メカニズムにより、当該配信者は当該クリップページ、投稿ページ、プライベートメッセージページの当該ベストモーメントビデオを保存またはアーカイブすることができる。一部の実施態様において、当該共有メカニズムは、当該配信者の当該投稿ページでお礼投稿の自動生成をトリガーすることができる。当該お礼投稿は、当該贈り物送信視聴者の贈り物に対する当該配信者の感謝の気持ちを表すものであり、当該贈り物送信視聴者及び他の視聴者が見ることができる。当該お礼投稿は、当該配信者の評判を高め、他の視聴者が当該配信者とより交流を行うことを促進することができる。投稿の生成は、例えば、当該サーバ１０内の投稿生成ユニットにより実行されてもよい。

一部の実施態様において、一部の工程を省略したり、入れ替えたりしてもよい。例えば、当該視聴者が送信したいベストモーメントギフトを選択した後、当該ユーザ端末はそれがベストモーメントギフトであることを検出し、当該カウントダウンメッセージを開始してもよい。例えば、工程Ｓ８００は、工程Ｓ８０２、Ｓ８０４、Ｓ８０６と並行して、直接工程Ｓ８０８（または工程Ｓ８１０）に進んでもよい。

図１５に、本発明の一部の実施態様に基づく方法を示す例示的なフローチャートを示す。

図８のフローとは異なり、工程Ｓ１５０８において、それがベストモーメントギフトあると判断する（工程Ｓ８００で当該クライアント自身が開始したものであり、そのため、その贈り物信号が否かを当該クライアントによるベストモーメントギフトであるか否かを再び判断する必要がない）と、フローは工程Ｓ８１０に進み、当該カウントダウンメッセージが表示される。工程Ｓ８０２において、当該贈り物信号がベストモーメントギフトに関連していないと当該サーバが判断すると、フローは工程Ｓ１５１４と工程Ｓ８２０に進む。つまり、当該クライアントが当該贈り物エフェクトを当該ライブストリーム内で表示して、フローが終了する。

図９は、本発明の一部の実施態様に基づくカウントダウンメッセージの例を示す概略図である。図９は、図８に示す工程Ｓ８１０の例を表していてもよい。Ｓ１は、当該視聴者または当該配信者の当該ユーザ端末の画面である。当該カウントダウンメッセージＣＤは、５から０にカウントダウンしてもよい。一部の実施態様において、当該カウントダウンメッセージは、図７のタイミングｔ０の直後に開始してもよい。当該カウントダウンは、タイミングｔ０からタイミングｔ１まで継続してもよい。当該カウントダウンが終了したとき、当該贈り物エフェクトが開始する。

一部の実施態様において、当該カウントダウンメッセージは、当該配信者（当該ベストモーメントギフトを受け取った人）や当該配信者のライブストリーミングの他の視聴者に表示され、当該配信者及び（または）他の視聴者が当該ベストモーメントギフトに対して反応する準備ができるようにする。当該カウントダウンメッセージは、当該配信者、当該贈り物送信視聴者、その他の視聴者に同期して表示されてもよい。当該同期は、当該サーバ１０の当該配信情報提供ユニット３０２、または当該サーバ１０内の他の同期ユニットが実行してもよい。一部の実施態様において、当該配信情報提供ユニット３０２は、当該カウントダウンメッセージに関する通知要求を、Ｐｕｂ／Ｓｕｂサービスなどの通知サービスに転送してもよい。そして当該通知サービスは、当該配信者のユーザ端末、当該贈り物送信視聴者のユーザ端末、および他の視聴者のユーザ端末に、当該カウントダウンメッセージの表示を通知する際の同期処理を管理する。一部の実施態様において、同期状態とは、当該配信者のユーザ端末、当該贈り物送信視聴者のユーザ端末、および他の視聴者のユーザ端末に当該カウントダウンメッセージを表示する際の時間差が、１秒、３秒、または５秒未満であることを意味する。

一部の実施態様において、当該混合映像メカニズム／機能により、当該配信者、当該贈り物送信視聴者及び／またはその他の視聴者は、互いのユーザ端末における当該贈り物エフェクトまたは当該カウントダウンメッセージの表示に時間差があっても、当該贈り物送信中の当該配信者の明確な反応を再確認する、及び（または）得ることができるよう確約される。

図１０は、本発明の一部の実施態様に基づく贈り物エフェクトの例を示す概略図である。図１０は、図８に示す工程Ｓ８１４の例を表していてもよい。図１０に示すように、当該配信者のライブストリーム中に表示される当該贈り物エフェクトＧＦが、当該配信者の顔を覆ったり、当該配信者の顔に重なったりすることがある。当該視聴者は、当該贈り物エフェクトが表示されたときの当該配信者の反応がわかりにくい場合がある。

図１１（ａ）と図１１（ｂ）は、本発明の一部の実施態様に基づく混合映像の例を示す概略図である。図１１（ａ）に示すように、当該贈り物エフェクトＧＦは、当該配信者の顔を覆わないように移動される。当該贈り物エフェクトの一部を収縮、回転、または変形させることができる。図１１（ｂ）に示すように、当該贈り物エフェクトＧＦのうち、当該配信者の顔に重なる部分が透明化され、当該配信者の顔を覆わないようにされる。上述の処理は、当該映像処理ユニット３３０によって実行されてもよい。

図１２は、本発明の一部の実施態様に基づく混合映像の表示例を示す概略図である。図１２は、当該視聴者のユーザ端末の画面であってもよい。図１２は、図８に示す工程Ｓ８１２とＳ８１６の例を表していてもよい。当該混合映像ＭＶは、当該配信者の当該ライブストリーム内に表示される。当該選択オブジェクトＯ１は、当該視聴者が当該混合映像を当該配信者に共有するか否かを選択することを可能にする。当該混合映像は、図７におけるタイミングｔ３の前、タイミングｔ３で、またはタイミングｔ３の後に表示されてもよい。当該混合映像は、図７におけるタイミングｔ２の前、タイミングｔ２で、またはタイミングｔ２の後に表示されてもよい。なお、当該視聴者は、ｔ０～ｔ３の全時間を通して、当該配信者の当該ライブストリームを視聴し続けることができる。

図１６は、本発明の一部の実施態様に基づく混合映像の表示例を示す概略図である。図１６は、当該配信者のユーザ端末の画面であってもよい。当該混合映像ＭＶは、当該配信者の当該ライブストリーム内に表示される。当該選択オブジェクトＯ２は、当該配信者が当該混合映像を自身のフォロワー（または一部の実施態様においては他の視聴者）に共有するか否かを選択することを可能にする。当該混合映像は、図７におけるタイミングｔ３の前、タイミングｔ３で、またはタイミングｔ３の後に表示されてもよい。当該混合映像は、図７におけるタイミングｔ２の前、タイミングｔ２で、またはタイミングｔ２の後に表示されてもよい。一部の実施態様において、当該共有は、当該フォロワーへの（当該混合映像に関する）通知の送信を実行させてもよい。これにより、当該フォロワーは当該ライブストリームに参加したり、同様の贈り物を送ったりすることが奨励される場合がある。

図１７は、本発明の一部の実施態様に基づくユーザインターフェイス例の概略図である。図１７は、当該贈り物送信視聴者のユーザ端末の画面であってもよい。本実施態様において、当該ベストモーメントギフトが送信されると、当該配信者、当該贈り物送信視聴者及び他の視聴者が当該贈り物エフェクトを見ることができるように、当該贈り物エフェクトを起動する（または、一部の実施態様においては、当該カウントダウンメッセージを表示する）タイミングを決定するための選択オブジェクトＯ３が当該贈り物送信視聴者に対して表示される。このメカニズムにより、当該配信者が他の視聴者との交流に気を取られているタイミングで当該贈り物エフェクトが起動されることを防止することができる。

図１８は、本発明の一部の実施態様に基づくユーザインターフェイス例の概略図である。図１８は、当該配信者のユーザ端末の画面であってもよい。本実施態様において、当該ベストモーメントギフトが受信されると、当該配信者、当該贈り物送信視聴者及び他の視聴者が当該贈り物エフェクトを見ることができるように、当該贈り物エフェクトを起動する（または、一部の実施態様においては、当該カウントダウンメッセージを表示する）タイミングを決定するための選択オブジェクトＯ４が当該配信者に対して表示される。このメカニズムにより、当該配信者が当該ベストモーメントギフトに視聴者の注目を集めるベストなタイミングを選択することができる。

図１３を参照しながら、当該情報処理装置のハードウェア構成について説明する。図１３は、本発明の一部の実施態様に基づく情報処理装置のハードウェア構成例を示すブロック図である。図に示された情報処理装置９００は、例えば、一部の実施態様における、当該サーバ１０及び（または）当該ユーザ端末２０、３０を実現することができる。

当該情報処理装置９００は、ＣＰＵ９０１と、ＲＯＭ（リードオンリーメモリ）９０３と、ＲＡＭ（ランダムアクセスメモリ）９０５を含む。また、当該情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェイス９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２５、通信装置９２９を含んでもよい。さらに、当該情報処理装置９００は、カメラ（図示せず）などの撮像装置を含む。また、当該情報処理装置９００は、当該ＣＰＵ９０１に加えて、あるいは当該ＣＰＵ９０１の代わりに、ＤＳＰ（デジタルシグナルプロセッサ）やＡＳＩＣ（特定用途向け集積回路）を含んでもよい。

当該ＣＰＵ９０１は、演算処理装置および制御装置として機能し、当該ＲＯＭ９０３、当該ＲＡＭ９０５、当該ストレージ装置９１９、または当該リムーバブル記録媒体９２３に格納された各種プログラムに従って、当該情報処理装置９００のすべてまたは一部の動作を制御する。例えば、当該ＣＰＵ９０１は、一部の実施態様における当該サーバ１０及び当該ユーザ端末２０、３０に含まれる各機能ユニットの動作全般を制御する。当該ＲＯＭ９０３は、当該ＣＰＵ９０１が使用するプログラムや演算パラメータなどを格納する。当該ＲＡＭ９０５は、当該ＣＰＵ９０１の実行時に使用されるプログラムや、実行時に適宜変化するパラメータなどを格納する主記憶装置として機能する。当該ＣＰＵ９０１、ＲＯＭ９０３、ＲＡＭ９０５は、ホストバス９０７によって相互接続され、当該ホストバス９０７は、ＣＰＵバスなどの内部バスであってもよい。さらに、当該ホストバス９０７は、ブリッジ９０９を介してＰＣＩ（ペリフェラルコンポーネントインターコネクト／インターフェイス）バスなどの外部バス９１１に接続される。

当該入力装置９１５は、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバーなどのユーザが操作する装置、あるいはマイクに代表される音センサ、加速度センサ、傾斜センサ、赤外線センサ、深度センサ、温度センサ、湿度センサなど物理量を電気信号に変換する装置であってもよい。当該入力装置９１５は、例えば、赤外線等の電波を利用したリモコン装置や、当該情報処理装置９００の操作に対応した携帯電話等の外部接続装置９２７であってもよい。当該入力装置９１５は、当該ユーザが入力した情報または検出された物理量に基づいて入力信号を生成し、当該ＣＰＵ９０１に出力する入力制御回路を含む。当該ユーザは、当該入力装置９１５を操作することにより、当該情報処理装置９００に各種データを入力し、動作を指示する。

当該出力装置９１７は、取得した情報を視覚的または聴覚的に当該ユーザに通知することができる装置である。当該出力装置９１７は、例えば、ＬＣＤ、ＰＤＰ、ＯＬＥＤ等のディスプレイ、スピーカーやヘッドフォン等の音声出力装置、プリンタなどであってもよい。当該出力装置９１７は、当該情報処理装置９００による処理結果を、テキスト、画像などの映像、または音声などのオーディオとして出力する。

当該ストレージ装置９１９は、データストレージ用装置であり、当該情報処理装置９００のストレージユニットの一例として構成される。当該ストレージ装置９１９は、例えば、ハードディスクドライブ（ＨＤＤ）などの磁気記憶装置、半導体記憶装置、光記憶装置、または光磁気記憶装置である。このストレージ装置９１９は、当該ＣＰＵ９０１が実行するプログラム、各種データ、外部から取得した各種データなどを格納する。

当該ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル記録媒体９２３のリーダー／ライターであり、当該情報処理装置９００に内蔵または外付けされる。当該ドライブ９２１は、装着されたリムーバブル記録媒体９２３に記録された情報を読み出し、当該ＲＡＭ９０５にそれを出力する。さらに、当該ドライブ９２１は、装着された当該リムーバブル記録媒体９２３に記録を書き込む。

当該接続ポート９２５は、当該情報処理装置９００に機器を直接接続するためのポートである。当該接続ポート９２５は、例えば、ＵＳＢ（ユニバーサルシリアルバス）ポート、ＩＥＥＥ１３９４ポート、またはＳＣＳＩ（小型計算機システムインターフェイス）ポートなどであってもよい。さらに、当該接続ポート９２５は、ＲＳ-２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（高精細度マルチメディアインターフェイス）ポートなどであってもよい。当該接続ポート９２５に当該外部接続装置９２７を接続することにより、当該情報処理装置９００と当該外部接続装置９２７との間で様々なデータのやり取りを行うことができる。

当該通信装置９２９は、例えば、当該ネットワークＮＷに接続するための通信装置で形成された通信インターフェイスである。当該通信装置９２９は、例えば、有線または無線のローカルエリアネットワーク（ＬＡＮ）、Ｂｌｕｅｔｏｏｔｈ（商標）、または、無線ＵＳＢ（ＷＵＳＢ）用の通信カードであってもよい。さらに、当該通信装置９２９は、光通信用のルータ、ＡＤＳＬ（非対称デジタル加入者線）用のルータ、または、各種通信用のモデムなどであってもよい。当該通信装置９２９は、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて、インターネット上や他の通信装置との間で信号等の送受信を行う。当該通信装置９２９に接続される当該通信ネットワークＮＷは、有線または無線で接続されるネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、電波通信、衛星通信などである。当該通信装置９２９は、通信装置としての機能を実現する。

当該撮像装置（図示せず）は、ＣＣＤ（電荷結合デバイス）やＣＭＯＳ（相補型金属酸化膜半導体）などの撮像素子と、当該撮像素子上の被写体像の結像を制御するためのレンズなど各種部材を用いて現実空間の画像を撮像し、撮像画像を生成する装置である。当該撮像装置は、静止画を撮像しても、動画を撮像してもよい。

以上、本実施態様に係る当該ライブストリーミングシステム１の構成及び動作について説明した。本実施態様は単なる一例であり、各構成要素や各処理の組み合わせについてさまざまな変更が可能であり、それらの変更も本発明の範囲内であることは当業者には理解されるところである。

本発明は、ベストモーメントタイプの贈り物で贈り物をする行動を動機付けることができる。当該ベストモーメントギフトは、当該ライブストリームにリアルタイムで当該贈り物エフェクトを表示することができるだけでなく、ベストモーメントビデオの生成も可能にする。当該ベストモーメントビデオは、当該ベストモーメントギフトの当該贈り物エフェクト中の当該配信者の反応（または当該配信者と当該視聴者との間の交流）を向上して記録することを可能にする。当該ベストモーメントビデオにより、その後の当該配信者と当該贈り物送信視聴者との間の交流（または当該配信者と他の視聴者との間の交流）をさらに向上させることができる。

上述の実施態様においては、ライブストリーム中に贈り物のエフェクトがある方法で表示され、同じ贈り物のエフェクトが対応する混合映像に別の異なる方法で表示される。これを達成するために、一部の実施態様において、当該贈り物ＤＢは、贈り物ＩＤ、付与ポイント、価格ポイント、ベストモーメントタグ、第１エフェクトリンク、第２エフェクトリンクを関連付けて格納してもよい。当該ライブストリーム中に表示されるエフェクトを探すために当該贈り物ＤＢが参照された場合、当該第１エフェクトリンクが提供される。当該混合映像に表示されるエフェクトを探すために当該贈り物ＤＢが参照された場合、当該第２のエフェクトリンクが提供される。当該第１エフェクトリンクで提供される当該エフェクトと、当該第２エフェクトリンクで提供される当該エフェクトは、いずれも同じ贈り物を対象とするが、前者は後者とは外観及び（または）持続時間が異なる可能性がある。

本発明で説明した処理及び手順は、明示的に説明したものに加えて、ソフトウェア、ハードウェア、またはそれらの任意の組み合わせにより実現することができる。例えば、本明細書で説明した処理および手順は、その処理および手順に対応するロジックを集積回路、揮発性メモリ、不揮発性メモリ、非一時的なコンピュータ可読媒体、磁気ディスクなどの媒体に実装することにより実現することができる。さらに、本明細書に記載された処理および手順は、その処理および手順に対応するコンピュータプログラムとして実現することができ、各種のコンピュータにより実行することができる。

さらに、上記実施態様で説明したシステムまたは方法は、固体記憶装置、光ディスク記憶装置、磁気ディスク記憶装置などの非一時的なコンピュータ可読媒体に格納されたプログラムに統合されてもよい。あるいは、プログラムは、インターネットを介してサーバからダウンロードされ、プロセッサにより実行されるものとしてもよい。

以上、本発明の技術的内容及び特徴を説明したが、本発明の属する技術分野において通常の知識を有する者であれば、本発明の教示及び開示から逸脱することなく、なお多くの変形及び修正を行うことができる。したがって、本発明の範囲は、既に開示された実施態様に限定されず、本発明から逸脱しない別の変形や修正を含む、特許請求の範囲に含まれる範囲である。

１ 通信システム
１０ サーバ
２０ ユーザ端末
３０、３０ａ、３０ｂ ユーザ端末
ＬＶ 配信者
ＡＵ１、ＡＵ２ 視聴者
ＶＤ、ＶＤ１、ＶＤ２ 映像
ＮＷ ネットワーク
３０ ユーザ端末
１００ 配信ユニット
１０２ 撮像コントロールユニット
１０４ オーディオコントロールユニット
１０６ 映像送信ユニット
１０８ 配信者側ＵＩコントロールユニット
２００ 視聴ユニット
２０２ 視聴者側ＵＩコントロールユニット
２０４ 重ね合わせ情報生成ユニット
２０６ 入力情報送信ユニット
３０２ 配信情報提供ユニット
３０４ 中継ユニット
３０６ 贈り物処理ユニット
３０８ 支払い処理ユニット
３１０ ストリームＤＢ
３１２ ユーザＤＢ
３１４ 贈り物ＤＢ
３３０ 映像処理ユニット
３５０ エフェクトＤＢ
３５２ 混合映像ＤＢ
３８２、３８４ ＣＤＮ
ＣＤ カウントダウンメッセージ
Ｓ１ 画面
ＧＦ 贈り物エフェクト
ＭＶ 混合映像
Ｏ１、Ｏ２、Ｏ３、Ｏ４ 選択オブジェクト
Ｓ８００、Ｓ８０２、Ｓ８０４、Ｓ８０６、Ｓ８０８、Ｓ８１０、Ｓ８１２、Ｓ８１４、Ｓ８１６、Ｓ８１８、Ｓ８２０ 工程
Ｓ１５０８、Ｓ１５１４ 工程
９００ 情報処理装置
９０１ ＣＰＵ
９０３ ＲＯＭ
９０５ ＲＡＭ
９０７ ホストバス
９０９ ブリッジ
９１１ 外部バス
９１３ インターフェイス
９１５ 入力装置
９１７ 出力装置
９１９ ストレージ装置
９２１ ドライブ
９２３ リムーバブル記録媒体
９２５ 接続ポート
９２７ 外部接続装置
９２９ 通信装置

Claims (10)

1. サーバによって実行される映像処理方法であって、
   ユーザ端末から贈り物信号を受信する工程と、
   前記贈り物信号の受信に応答して、第１のタイミングから配信者の第１の映像を取得する工程と、
   前記贈り物信号に対応するエフェクトを第２のタイミングで前記第１の映像に重ねることにより、第２の映像を生成する工程と、を含み、
   前記第２のタイミングが前記第１のタイミングより後であり、
   前記映像処理方法はさらに、前記贈り物信号の受信に応答して、前記エフェクトの発生を示すカウントダウンメッセージを前記ユーザ端末が表示することを可能にする工程を含む、ことを特徴とする、映像処理方法。
2. 前記第２の映像を生成する工程が、前記配信者の所定部分に前記エフェクトが重なることを防止することを含む、ことを特徴とする、請求項１に記載の映像処理方法。
3. 前記第２の映像の長さが、前記第１の映像の長さと同じである、ことを特徴とする、請求項１に記載の映像処理方法。
4. さらに、
   前記第１の映像が取得された第１のアドレスと異なる第２のアドレスに前記第２の映像を格納する工程と、
   前記第２のアドレスを前記ユーザ端末に通知する工程と、
   を含むことを特徴とする、請求項１に記載の映像処理方法。
5. さらに、
   前記配信者の所定部分と重なる前記エフェクトの部分を判断する工程と、
   前記エフェクトの前記部分の透明度を上げる工程と、
   を含むことを特徴とする、請求項１に記載の映像処理方法。
6. さらに、前記第２の映像を前記配信者のライブストリーム内で前記ユーザ端末上に表示する工程を含む、ことを特徴とする、請求項１に記載の映像処理方法。
7. 映像処理システムであって、１以上のプロセッサを備え、前記１以上のプロセッサが機械可読命令を実行して、
   ユーザ端末から贈り物信号を受信する工程と、
   前記贈り物信号の受信に応答して、第１のタイミングから配信者の第１の映像を取得する工程と、
   前記贈り物信号に対応するエフェクトを第２のタイミングで前記第１の映像に重ねることにより、第２の映像を生成する工程と、を実行し、
   前記第２のタイミングが前記第１のタイミングより後であり、
   前記１以上のプロセッサが機械可読命令を実行してさらに、前記第２の映像を前記配信者と関連付けてデータベースに格納する工程を実行し、
   そのうち、前記データベースが、前記配信者のクリップページ、投稿ページ、またはプライベートメッセージページのデータを格納する、ことを特徴とする、映像処理システム。
8. サーバによって実行される映像処理方法であって、
   ユーザ端末から贈り物信号を受信する工程と、
   前記贈り物信号の受信に応答して、第１のタイミングから配信者の第１の映像を取得する工程と、
   前記贈り物信号に対応するエフェクトを第２のタイミングで前記第１の映像に重ねることにより、第２の映像を生成する工程と、を含み、
   前記第２のタイミングが前記第１のタイミングより後であり、
   前記映像処理方法はさらに、前記第２の映像を前記配信者と関連付けてデータベースに格納する工程を含み、
   そのうち、前記データベースが、前記配信者のクリップページ、投稿ページ、またはプライベートメッセージページのデータを格納する、ことを特徴とする、映像処理方法。
9. 映像処理システムであって、１以上のプロセッサを備え、前記１以上のプロセッサが機械可読命令を実行して、
   ユーザ端末から贈り物信号を受信する工程と、
   前記贈り物信号の受信に応答して、第１のタイミングから配信者の第１の映像を取得する工程と、
   前記贈り物信号に対応するエフェクトを第２のタイミングで前記第１の映像に重ねることにより、第２の映像を生成する工程と、を実行し、
   前記第２のタイミングが前記第１のタイミングより後であり、
   前記１以上のプロセッサが機械可読命令を実行してさらに、前記贈り物信号の受信に応答して、前記エフェクトの発生を示すカウントダウンメッセージを前記ユーザ端末が表示することを可能にする工程を実行する、ことを特徴とする、映像処理システム。
10. 映像処理のためのプログラムを含む非一時的なコンピュータ可読媒体であって、前記プログラムが、１以上のコンピュータに、
    ユーザ端末から贈り物信号を受信する工程と、
    前記贈り物信号の受信に応答して、第１のタイミングから配信者の第１の映像を取得する工程と、
    前記贈り物信号に対応するエフェクトを第２のタイミングで前記第１の映像に重ねることにより、第２の映像を生成する工程と、を実行させ、
    前記第２のタイミングが前記第１のタイミングより後であり、
    前記プログラムが前記１以上のコンピュータにさらに、前記贈り物信号の受信に応答して、前記エフェクトの発生を示すカウントダウンメッセージを前記ユーザ端末が表示することを可能にする工程を実行させる、ことを特徴とする、非一時的なコンピュータ可読媒体。

Images