以下、各図面に示す同一または類似の構成要素、部材、手順または信号には、すべての図面において同様の符号を付し、それによって重複する説明は適宜省略される。また、各図面の説明において重要でない一部部材は省略される。
本開示の一部の実施態様に基づくライブストリーミングシステム1は、ユーザ間のコミュニケーションと交流を円滑にする強化機能を提供する。より具体的には、技術的な方法で視聴者やストリーマーを楽しませるものである。
図1に本開示の一部の実施態様に基づくライブストリーミングシステム1の構成を示す概略図を示す。当該ライブストリーミングシステム1は、ストリーミングストリーマー(ライブ配信者またはストリーマーとも呼ばれる)LVと視聴者(観衆とも呼ばれる)AU(AU1、AU2...)に、リアルタイムで相互交流するためのライブストリーミングサービスを提供する。図1に示すように、当該ライブストリーミングシステム1は、サーバ10と、ユーザ端末20と、ユーザ端末30(30a、30b...)を含むことができる。当該ユーザ端末20はストリーマー、当該ユーザ端末30は視聴者であってもよい。一部の実施態様において、当該ストリーマーと視聴者はユーザと呼ばれてもよい。当該サーバ10は、ネットワークNWを介して接続された、1または複数の情報処理装置を含むことができる。当該ユーザ端末20、30は、例えば、スマートフォン、タブレット、ノートPC、レコーダー、携帯ゲーム機、ウェアラブル端末などの携帯端末や、デスクトップPCなどの据置型コンピュータであってもよい。当該サーバ10、ユーザ端末20、ユーザ端末30は、任意の種類の有線または無線ネットワークNWにより通信可能に接続されてもよい。
当該ライブストリーミングシステム1には、当該ストリーマーLV、当該視聴者AU、当該サーバ10を提供するアプリプロバイダー(図示せず)が関与する。当該ストリーマーLVは、自身の歌、トーク、パフォーマンス、ゲームストリーミングなどのコンテンツを自身のユーザ端末20で収録して当該サーバ10にアップロードし、リアルタイムでコンテンツを配信する者となることができる。一部の実施態様において、当該ストリーマーLVは、当該ライブストリーミングを介して当該視聴者AUと交流することができる。
当該アプリプロバイダーは、当該サーバ10においてライブストリーミングされるコンテンツのためのプラットフォームを提供することができる。一部の実施態様において、当該アプリプロバイダーは、当該ストリーマーLVと当該視聴者AU間のリアルタイム通信を管理するメディアまたはマネージャーであってもよい。当該視聴者AUは、当該ユーザ端末30により当該プラットフォームにアクセスし、自身が視聴したいコンテンツを選択して視聴することができる。当該視聴者AUは、当該ユーザ端末30により、当該ストリーマーに対してコメントしたり、応援したりなど、当該ストリーマーと相互作用するための操作を行うことができる。コンテンツを提供する当該ストリーマーは、当該コメントや応援に応答することができる。当該ストリーマーの応答は、映像及び(または)音声などにより当該視聴者AUに送信することができる。従って、当該ストリーマーと視聴者間の相互通信を達成することができる。
本明細書でいう「ライブストリーミング」とは、当該ストリーマーLVが当該ユーザ端末20により記録したコンテンツを、当該視聴者AUが当該ユーザ端末30を介して実質的に再生・視聴することを可能にする、データ伝送を指すことができる。一部の実施態様において、「ライブストリーミング」は、上述のデータ伝送により実現されるストリーミングを指すこともある。当該ライブストリーミングは、HTTPライブストリーミング、CMAF(Common Media Application Format)、WebRTC(Web Real-Time Communications)、RTMP(Real-Time Messaging Protocol)、MPEG DASHなど、公知の技術によって実現することができる。当該ライブストリーミングは、さらに、当該ストリーマーがコンテンツを記録している間、当該視聴者AUが特定の遅延をもって当該コンテンツを再生または視聴することができる、実施形態を含んでもよい。当該遅延の程度については、少なくとも当該ストリーマーLVと当該視聴者AUがコミュニケーションを行うことができる程度に小さいことが望ましい。ただし、ライブストリーミングは、いわゆるオンデマンド配信とは異なる。より具体的に、当該オンデマンド配信とは、当該コンテンツを記録したすべてのデータをサーバに格納し、ユーザの要求に応じてランダムなタイミングで当該サーバから当該ユーザにデータを提供することを指してもよい。
本明細書における「ストリーミングデータ」とは、画像データや音声データを含むデータを指すことができる。より具体的に、当該画像データ(ビデオデータと呼んでもよい)は、当該ユーザ端末20と30の画像キャプチャ機能によって生成されてもよい。当該音声データ(オーディオデータと呼んでもよい)は、当該ユーザ端末20と30の音声入力機能により生成されてもよい。当該ストリーミングデータを当該ユーザ端末20、30で再生し、ユーザに関するコンテンツを視聴できるようにしてもよい。一部の実施態様において、当該ストリーマーの当該ユーザ端末でストリーミングデータが生成されてから、当該視聴者の当該ユーザ端末で再生されるまでの間、圧縮、拡張、エンコード、デコード、トランスコードなど、データの形式、サイズ、規格を変更する処理が想定される。このような処理の前と後、当該コンテンツ(映像や音声)は実質的に変更されず、このため、本開示の現在の実施態様においては、処理される前のストリーミングデータと処理された後のストリーミングデータは同じであると説明される。つまり、当該ストリーマーの当該ユーザ端末により生成された当該ストリーミングデータが、当該サーバ10を介して当該視聴者の当該ユーザ端末で再生される場合、当該ストリーマーの当該ユーザ端末で生成された当該ストリーミングデータ、当該サーバ10を通過した当該ストリーミングデータ、そして当該視聴者の当該ユーザ端末が受信して再生する当該ストリーミングデータは、すべて同じストリーミングデータである。
図1に示すように、ストリーマーLVはライブストリーミングを提供する。当該ストリーマーのユーザ端末20は、当該ストリーマーの映像及び(または)音声を記録することにより、ストリーミングデータを生成し、ネットワークNWを介してサーバ10に送信する。同時に、当該ユーザ端末20は映像VDを当該ユーザ端末20のディスプレイ上に表示し、当該ストリーマーLVのストリーミングコンテンツをチェックすることができる。
当該ストリーマーのライブストリーミングの提供をプラットフォームに要求するユーザ端末30a、30bの視聴者AU1、AU2は、当該ネットワークNWを介して当該ライブストリーミングに対応するストリーミングデータを受信し、受信したストリーミングデータを再生してディスプレイ上に映像VD1、VD2を表示し、スピーカーなどから音声を出力することができる。当該ユーザ端末30a、30b上にそれぞれ表示される当該映像VD1、VD2は、当該ストリーマーLVの当該ユーザ端末により記録された当該映像と実質的に同じであり、当該ユーザ端末30a、30bから出力される当該音声は、当該ストリーマーLVの当該ユーザ端末により記録された当該音声と実質的に同じである。
当該ストリーマーの当該ユーザ端末20での記録は、当該視聴者AU1、AU2の当該ユーザ端末30a、30bでのストリーミングデータの再生と同時であってもよい。当該視聴者AU1が当該ストリーマーLVのコンテンツに関するコメントを当該ユーザ端末30aに入力すると、当該サーバ10は、当該コメントを当該ストリーマーの当該ユーザ端末20にリアルタイムで表示するとともに、当該視聴者AU1、AU2の当該ユーザ端末30a、30bにもそれぞれ表示する。当該ストリーマーLVが当該コメントに応答した場合、当該応答を当該視聴者AU1、AU2の当該ユーザ端末30a、30bからテキスト、画像、映像または音声として出力し、当該ストリーマーLVと当該視聴者AU1、AU2のコミュニケーションを実現することができる。従って、当該ライブストリーミングシステムは、双方向通信のライブストリーミングを実現することができる。
図2は、本開示の実施態様に基づく、図1に示すユーザ端末20の機能と構成を示すブロック図である。当該ユーザ端末30は、当該ユーザ端末20と同様の機能と構成を有する。本明細書のブロック図に描かれているブロックは、コンピュータのCPUなどのデバイスや機械部品などのハードウェア、およびこれらの要素の連携によって実施される機能ブロックを表現する、コンピュータプログラムなどのソフトウェアで実施される。したがって、機能ブロックは、ハードウェアとソフトウェアの組み合わせによる多様な態様で実装され得ることが、当業者には理解されよう。
当該ストリーマーLVと視聴者AUは、ネットワークNWを介して、ダウンロードサイトから本開示のライブストリーミングアプリケーション(ライブストリーミングアプリ)を当該ユーザ端末20と30にダウンロードしてインストールすることができる。または、当該ライブストリーミングアプリは、当該ユーザ端末20と30に予めインストールされていてもよい。当該ユーザ端末20と30によるライブストリーミングの実行により、当該ユーザ端末20と30は、当該ネットワークNWを介して当該サーバ10と通信し、複数の機能を実現することができる。当該ユーザ端末20と30(より具体的に、CPUなどのプロセッサ)による当該ライブストリーミングアプリの実行により実現される当該機能は、当該ユーザ端末20と30の機能として以下で説明される。当該機能は基本的に、当該ライブストリーミングアプリが当該ユーザ端末20と30に実現させる機能である。一部の実施態様において、これらの機能は、ネットワークNWを介して当該サーバ10から当該ユーザ端末20と30のウェブブラウザに送信し、当該ウェブブラウザのコンピュータプログラムにより実行されることにより実現されてもよい。当該コンピュータプログラムは、HTML(Hyper Text Markup Language)などのプログラミング言語で書かれていてもよい。
当該ユーザ端末20は、ストリーミングユニット100と視聴ユニット200を含む。一部の実施態様において、当該ストリーミングユニット100は、ユーザのオーディオ及び(または)ビデオデータを記録し、当該サーバ10に送信するストリーミングデータを生成するように構成される。当該視聴ユニット200は、サーバ10からストリーミングデータを受信し、再生するように構成される。一部の実施態様において、ユーザは、ブロードキャスト時に当該ストリーミングユニット100を作動させる、またはストリーミングを視聴するときに当該視聴ユニット200を作動させることができる。一部の実施態様において、当該ストリーミングユニット100を作動させる当該ユーザ端末は、ストリーマーと呼ぶことができ、またはストリーミングデータを生成する当該ユーザ端末と呼ぶことができる。当該視聴ユニット200を作動させる当該ユーザ端末は、視聴者と呼ぶことができ、または当該ストリーミングデータを再生する当該ユーザ端末と呼ぶことができる。
当該ストリーミングユニット100は、ビデオコントロールユニット102と、オーディオコントロールユニット104と、配信ユニット106と、UIコントロールユニット108を含むことができる。当該ビデオコントロールユニット102は、カメラ(図示せず)に接続されてもよく、当該映像は当該カメラにより制御される。当該ビデオコントロールユニット102は、当該カメラから当該ビデオデータを取得することができる。当該オーディオコントロールユニット104は、マイク(図示せず)に接続されてもよく、音声は当該マイクにより制御される。当該オーディオコントロールユニット104は、当該マイクから当該オーディオデータを取得することができる。
当該配信ユニット106は、当該ビデオコントロールユニット102からのビデオデータと、当該オーディオコントロールユニット104からのオーディオデータを含むストリーミングデータを受信し、ネットワークNWを介して当該サーバ10に送信する。一部の実施態様において、当該配信ユニット106は当該ストリーミングデータをリアルタイムで送信する。つまり、当該ビデオコントロールユニット102と当該オーディオコントロールユニット104からの当該ストリーミングデータの生成と、当該配信ユニット106の配信は同時に実行される。
当該UIコントロールユニット108は、当該ストリーマーのUIを制御する。当該UIコントロールユニット108はディスプレイ(図示しない)に接続され、当該配信ユニット106が当該ストリーミングデータを送信し、再生して当該ディスプレイ上に表示する相手に対して当該ストリーミングデータを生成するように構成される。当該UIコントロールユニット108は、操作するオブジェクトまたは指示を受けるオブジェクトをディスプレイ上に表示し、ストリーマーからのタップ入力を受け付けるように構成される。
当該視聴ユニット200は、UIコントロールユニット202と、レンダリングユニット204と、入力送信ユニット206と、検出ユニット208を含んでもよい。当該視聴ユニット200は、ネットワークNWを介してサーバ10からストリーミングデータを受信するように構成される。当該UIコントロールユニット202は、当該視聴者のUIを制御する。当該UIコントロールユニット202は、ディスプレイ(図示せず)及び(または)スピーカー(図示せず)に接続され、当該ストリーミングデータを再生することにより、当該ディスプレイ上に映像を表示し、当該スピーカーから音声を出力するように構成される。一部の実施態様において、当該ディスプレイ上に映像を出力し、当該スピーカーから音声を出力することを「ストリーミングデータを再生する」ことと呼ぶことができる。当該UIコントロールユニット202は、タッチパネルやキーボード、ディスプレイなどの入力ユニットに接続され、ユーザからの入力を取得することができる。
当該レンダリングユニット204は、当該サーバ10からのストリーミングデータと、フレーム画像とをレンダリングするように構成されてもよい。当該フレーム画像は、ユーザからの入力、視聴者により入力されたコメント、当該サーバ10から受信したデータを受け付けるためのユーザインターフェイスオブジェクトを含んでもよい。当該入力送信ユニット206は、当該UIコントロールユニット202から当該ユーザ入力を受信し、当該ネットワークNWを介して当該サーバ10に送信するように構成される。
一部の実施態様において、当該ユーザ入力は、ライブ配信の選択、コメントの入力、贈り物の送信、ユーザのフォローまたはフォロー解除、イベントでの投票、ゲーム、オブジェクトの生成など、当該ユーザ端末の画面上のオブジェクトをクリックすることであってもよい。例えば、当該入力送信ユニット206は、視聴者の当該ユーザ端末がストリーマーに贈り物を送るために画面上の贈り物オブジェクトをクリックした場合に、贈り物情報を生成し、インターネットNWを介して当該サーバ10に送信してもよい。
一部の実施態様において、当該ストリーマーのユーザ端末は、オブジェクトを生成し、当該オブジェクトを画面上に表示してもよい。より具体的に、当該ストリーマーは、画面上のアイコンをクリックしてもよく、オブジェクトのリストが表示されてもよい。当該ストリーマーは、表示するオブジェクトを選択し、当該オブジェクトがストリーマーのユーザ端末にレンダリングされてもよい。当該ストリーマーは、当該オブジェクトに対して、編集、移動、削除、サイズ変更、当該オブジェクトの属性の調整等の操作を行ってもよい。一部の実施態様において、当該オブジェクトは、フレーム部分、テキスト部分などの情報を含んでもよい。同時に、当該オブジェクトの情報は、当該サーバ10を介して、視聴者のユーザ端末に送信されてもよい。当該オブジェクトは、レンダリングされて視聴者のユーザ端末に表示されてもよい。したがって、当該視聴者は、当該ストリーマーからの当該オブジェクトの情報を見ることもでき、当該ストリーマーと当該視聴者間の交流を向上させることができる。
当該オブジェクトは、ステッカー、メッセージ、コメント、装飾、テキスト、画像、絵文字、アニメーションなどであってもよい。一部の実施態様において、当該オブジェクトは、テキストを含んでもよく、当該テキストは、当該ストリーマーのユーザ端末により編集または修正可能である。当該ストリーマーは、ライブ配信ルームにいる視聴者に情報を示すためにテキストを入力してもよい。例えば、当該ストリーマーは、「今日は私の誕生日です」と入力し、視聴者がそれを知って、当該ストリーマーに「誕生日おめでとう」と言うことができるようにしてもよい。当該オブジェクトは、「私をフォローしてください」、「私のアーミーに参加してください」、「私をガードしてください」等の情報を含んでもよい。一部の実施態様において、当該テキストは、文字、記号、絵文字などを含んでもよい。一部の実施態様において、当該オブジェクトは、当該テキストを含む、または装飾するフレーム部分を含んでもよい。一部の実施態様において、当該オブジェクトの位置及び数は、当該ストリーマーによって柔軟に決定されてもよい。
一部の実施態様において、当該オブジェクトの位置は、当該ストリーマーによって決定されてもよい。当該オブジェクトが画面上に生成されるとき、当該オブジェクトの位置は、ランダムであってもよいし、特定の領域であってもよい。一部の実施態様において、当該オブジェクトの位置は変更できず、当該オブジェクトは画面上に静止していてもよい。当該ストリーマーは、当該オブジェクトを特定の場所にドラッグすることにより、当該オブジェクトの位置を決定してもよい。本実施形態によれば、当該ストリーマーは、オブジェクトの位置を柔軟に決定することができる。一部の実施態様において、当該オブジェクトの位置は、動的に変更されてもよい。例えば、当該オブジェクトは、円の周りを回転してもよい。当該オブジェクトは、マーキーのように画面上で左から右へスライドしてもよい。さらに、当該オブジェクトは、当該ストリーマーの画像等に基づいて移動してもよい。例えば、当該ストリーマーの頭部を検出し、当該オブジェクトを付着させ、当該ストリーマーの頭部に合わせて移動させてもよい。本実施形態によれば、当該ステッカーのレイアウトを多様化することで、ユーザエクスペリエンスが向上される可能性がある。さらに、視聴者は、当該ステッカーをクリックするために、当該ステッカーの動きを辿ってもよく、当該ストリーマーと当該視聴者間のインタラクションゲームのようなものであってもよい。
一部の実施態様において、当該オブジェクトは、当該テキストに基づいた特定の機能を含んでもよく、当該機能は、視聴者のユーザ端末が行う操作に応答してトリガーされてもよい。例えば、当該テキストがイベント関連のキーワードを含む場合、当該視聴者のユーザ端末が当該オブジェクトをクリックすると、イベント用贈り物一覧ページが開かれるようにしてもよい。本実施形態によれば、当該ストリーマーは、視聴者がクリックするためのステッカーを独自に作成することができるため、当該ストリーマーと当該視聴者間の交流を向上させることができる。
当該検出ユニット208は、当該ユーザ端末からの入力を検出するように構成されてもよい。一部の実施態様において、当該検出ユニット208は、当該オブジェクト内のテキストを検出し、特定のキーワードが検出された場合に、対応する機能をトリガーしてもよい。例えば、「贈り物」というキーワードが検出された場合、贈り物一覧ページを表示してもよい。当該ストリーマーがイベントに参加しており、当該視聴者からのイベントギフトが必要な場合、当該ストリーマーは当該テキストに「イベントを応援してください」と入力してもよい。当該視聴者が当該オブジェクトをクリックした場合、当該検出ユニット208は、「イベント」のキーワードを検出し、視聴者向けのイベントギフト一覧ページを開いてもよい。本実施形態によれば、当該視聴者は、当該ストリーマーのニーズを容易に理解し、より迅速に当該ストリーマーを支援することができる。したがって、当該ストリーマーと当該視聴者間の交流を向上させることができる。
一部の実施態様において、当該検出ユニット208は、当該ユーザ端末からの異なる種類の入力を検出し、その入力に基づいてオブジェクトを生成することもできる。例えば、当該検出ユニット208は、当該ユーザ端末からの操作に基づいて、オブジェクトを生成してもよい。当該ストリーマーは、当該オブジェクト機能をクリックし、当該オブジェクト内のテキストを編集してもよい。一部の実施態様において、当該検出ユニット208は、当該ユーザ端末がより迅速にオブジェクトを生成できるように、いくつかのテンプレートオブジェクトを表示してもよい。当該テンプレートオブジェクトは、当該ストリーマーが最近生成したオブジェクト、当該ユーザ端末が事前に生成したオブジェクト、最も人気のあるオブジェクト、お勧めオブジェクトなどであってもよい。一部の実施態様において、当該お勧めオブジェクトは、当該ユーザ端末が入力したテキストに基づいて変更されてもよい。例えば、当該ストリーマーが「参加」と入力した場合、「アーミーに参加」オブジェクトがお勧めされてもよい。当該ストリーマーが「ガー」と入力した場合、「ガードしてください」オブジェクトがお勧めされてもよい。一部の実施態様において、当該視聴者からの入力に基づいて、当該視聴者が生成したいオブジェクトを予測するために、機械学習モデルが導入されてもよい。
当該検出ユニット208は、当該ユーザ端末からの音声入力を検出し、当該音声入力に基づいてオブジェクトを生成してもよい。例えば、当該ストリーマーは、「アーミーのステッカーを生成したい」と発言し、当該検出ユニット208がそれに基づいてアーミーのステッカーを生成してもよい。当該検出ユニット208は、当該ユーザ端末からの画像または映像入力を検出し、当該画像または映像入力に基づいてオブジェクトを生成してもよい。当該画像または映像入力は、顔の特徴またはジェスチャー等であってもよく、顔の特徴またはジェスチャーの認識技術を導入して適用してもよい。当該ストリーマーが特定の顔の特徴またはジェスチャーを有する場合、当該検出ユニット208は、当該ストリーマー用のステッカーを生成してもよい。一部の実施態様において、特定の音声、画像または映像入力は、リアルタイムで決定されても、事前に決定されてもよい。一部の実施態様において、当該特定の音声、画像または映像入力は、当該ストリーマー、視聴者、アプリプロバイダー等によって柔軟に決定されてもよい。
一部の実施態様において、当該ユーザ端末20は、図2に示すように、キーワードルックアップテーブル210を含んでもよい。当該キーワードルックアップテーブル210は、キーワードと対応する機能の情報を格納するように構成されてもよい。図8に、図2のキーワードルックアップテーブル210の例示的データ構造を示す表を示す。当該キーワードルックアップテーブル210は、キーワードと対応する機能の情報を保持する。当該キーワードルックアップテーブル210は、当該ユーザ端末が入力した特定のテキストを識別するキーワードと、当該キーワードによってトリガーされる機能を特定するための対応する機能を格納する。
一部の実施態様において、当該機能は、当該オブジェクト内の当該キーワードに基づいて変更されてもよい。図8に示すように、当該オブジェクト内のテキストがイベント、贈り物などを含む場合、当該オブジェクトは、イベントギフト一覧ページに当該視聴者をアクセスさせてもよい。当該テキストに誕生日、HBD(誕生日おめでとう)などが含まれている場合、贈り物一覧ページを開き、誕生日ギフトページで停止するようにしてもよい。当該テキストが、ガード、アーミーなどのサブスクリプション関連キーワードを含む場合、対応するガード、ページ、アーミーページなどが開かれてもよい。一部の実施態様において、特定の贈り物に関連するキーワードが含まれている場合、当該オブジェクトは、特定の贈り物のハイパーリンクであってもよい。例えば、ダイヤモンドの贈り物があり、テキストにダイヤモンドが含まれている場合、当該オブジェクトは、ダイヤモンドの贈り物オブジェクトであってもよい。本実施形態によれば、当該ストリーマーは、当該視聴者に適したオブジェクトを提供し、当該ストリーマーと当該視聴者間の交流を向上することができる。
一部の実施態様において、当該ストリーマーは、当該視聴者のために当該オブジェクトを生成してもよい。一部の実施態様において、当該ストリーマーは、自分自身のために当該オブジェクトを生成してもよい。例えば、当該ストリーマーは、視聴者一覧ページを開くための特定のキーワードを有するオブジェクトを生成し、当該ストリーマーがそのオブジェクトをクリックすることにより、当該視聴者一覧ページを容易に開くことができるようにしてもよい。一部の実施態様において、当該視聴者は、当該ストリーマーのために当該オブジェクトを生成してもよい。例えば、当該視聴者は、当該ストリーマーが配信ルームの全員をつつくためのキーワードを有するオブジェクトを生成し、当該ストリーマーが当該オブジェクトをクリックすることにより、全員をつつくことができるようにしてもよい。ここで、このつつく機能は、当該視聴者の注意を引くために当該視聴者をつつくなど、当該ストリーマーが視聴者と交流するための合図を出す機能と見なされてもよい。一部の実施態様において、当該視聴者は、自分自身のために当該オブジェクトを生成してもよい。一部の実施態様において、当該視聴者からオブジェクトを生成するための権限は、レベル、メンバーシップなど当該視聴者の属性によって決定されてもよい。一部の実施態様において、当該サーバ10は、当該ストリーマー及び(または)当該視聴者に対して柔軟にオブジェクトを生成してもよい。一部の実施態様において、当該オブジェクトは、当該ストリーマーのユーザ端末と当該視聴者のユーザ端末の両方に表示されても、特定のユーザ端末にのみ表示されてもよい。一部の実施態様において、当該オブジェクトのメカニズムは、柔軟に設計することができる。
キーワードや機能は、当該サーバ10が決定しても、当該ストリーマーのユーザ端末が決定しても、あるいは当該視聴者のユーザ端末等が決定してもよい。一部の実施態様において、当該キーワードルックアップテーブルは、リアルタイムに更新されても、事前に更新されてもよい。当該キーワードルックアップテーブルは、機械学習技術によって修正または更新されてもよい。当該機械学習モデルは、キーワード及び対応する機能を予測するために導入されてもよい。一部の実施態様において、当該キーワードルックアップテーブルは、柔軟に決定されてもよい。
図3は、本開示の一部の実施態様に基づくサーバ10のブロック図である。当該サーバ10は、ストリーミング情報ユニット302と、中継ユニット304と、処理ユニット306と、ストリームDB320と、ユーザDB322と、贈り物DB324と、イベントDB326を含んでもよい。
当該ストリーミング情報ユニット302は、当該ネットワークNWを介して当該ストリーマーの当該ユーザ端末20からライブストリーミングの要求を受信する。要求を受信すると、当該ストリーミング情報ユニット302は、当該ライブストリーミングの情報を当該ストリームDB320に登録する。一部の実施態様において、当該ライブストリーミングの情報は、当該ライブストリーミングのストリームID及び(または)当該ライブストリーミングに対応する当該ストリーマーのストリーマーIDであってもよい。
当該視聴者から当該ネットワークNWを介して当該ユーザ端末30の当該視聴ユニット200から当該ライブストリーミングの当該情報の提供要求を受信すると、当該ストリーミング情報ユニット302は当該ストリームDB320を参照し、利用可能なライブストリーミングのリストを生成する。
その後、当該ストリーミング情報ユニット302は、当該ネットワークNWを介して当該ユーザ端末30に当該リストを送信する。当該ユーザ端末30の当該UIコントロールユニット202は、当該リストに基づいてライブストリーミング選択画面を生成し、当該ユーザ端末30のディスプレイ上に当該リストを表示する。
当該ユーザ端末30の当該入力送信ユニット206は、当該ライブストリーミング選択画面上での当該視聴者によるライブストリーミングの選択を受信すると、選択された当該ライブストリーミングの当該ストリームIDを含む配信要求を生成し、当該ネットワークを介して当該サーバ10に送信する。当該ストリーミング情報ユニット302は、当該配信要求で当該ストリームIDにより指定された当該ライブストリーミングの当該ユーザ端末30に対する提供を開始することができる。当該ストリーミング情報ユニット302は、当該ストリームDB320を更新し、当該ユーザ端末30の当該視聴者の視聴者IDを当該ストリームIDの当該ストリーマーIDに追加することができる。
当該中継ユニット304は、当該ストリーミング情報ユニット302により開始された当該ライブストリーミングにおいて、当該ストリーマーの当該ユーザ端末20から、当該視聴者の当該ユーザ端末30へのライブストリーミングの送信を中継することができる。当該中継ユニット304は、ストリーミングデータの再生中に、当該視聴者からのユーザ入力を示す信号を当該入力送信ユニット206から受信することができる。当該ユーザ入力を示す当該信号は、当該ユーザ端末30のディスプレイに表示されるオブジェクトの指定を示すオブジェクト指定信号であってもよい。当該オブジェクト指定信号は、当該視聴者の視聴者ID、当該視聴者が視聴しているライブストリーミングを配信するストリーマーのストリーマーID、及び当該オブジェクトにより指定されるオブジェクトIDを含んでもよい。当該オブジェクトが贈り物などである場合、当該オブジェクトIDは、贈り物IDなどであってもよい。同様に、当該中継ユニット304は、ストリーミングデータの再生中に、当該ユーザ端末20の当該ストリーミングユニット100から、例えば当該オブジェクト指定信号など、当該ストリーマーのユーザ入力を示す信号を受信することができる。
当該処理ユニット306は、当該オブジェクトの情報を当該ライブ配信ルーム内で処理するように構成されてもよい。当該処理ユニット306は、当該ストリーマーのユーザ端末から当該オブジェクトについての情報を受信する。当該オブジェクトの情報は、当該オブジェクトに含まれる情報を含んでもよい。例えば、当該オブジェクトがステッカーである場合、当該オブジェクトの情報は、フレーム部分とテキスト部分とを含んでもよい。当該処理ユニット306は、当該情報を対応するデータベースに格納してもよい。例えば、当該処理ユニット306は、ステッカーIDとステッカー情報の情報を当該ストリームDBに格納してもよい。当該処理ユニット306はさらに、当該オブジェクトの情報を当該ライブ配信ルーム内の当該視聴者のユーザ端末に送信してもよい。したがって、当該視聴者のユーザ端末は、当該視聴者が当該オブジェクトを見ることができるように、当該オブジェクトの情報を画面上にレンダリングしてもよい。
図4に、図3のストリームDB320の例示的データ構造を示す表を示す。当該ストリームDB320は、現在行われているライブストリーミングに関する情報を保持する。当該ストリームDB320は、当該ライブストリーミングシステム1が提供するライブストリーミングプラットフォーム上のライブストリーミングを識別するためのストリームID、当該ライブストリーミングを提供するストリーマーを識別するためのストリーマーID、及び当該ライブストリーミングの視聴者を識別するための視聴者ID、当該ライブストリーミングのステッカーを識別するためのステッカーID、当該ステッカーの情報を識別するためのステッカー情報を、互いに関連付けて格納する。一部の実施態様において、各ライブストリーミングには、1つまたは複数のステッカーが含まれていてもよく、あるいはステッカーが含まれていなくてもよい。
図5に、図3のユーザDB322の例示的データ構造を示す表を示す。当該ユーザDB322は、ユーザに関する情報を保持する。当該ユーザDB322は、ユーザを識別するためのユーザID、ユーザが有するポイントを相互に関連付けて格納する。当該ポイントは、当該ライブストリーミングプラットフォーム内で流通する電子的な価値である。ストリーマーがライブストリーミング中に視聴者から贈り物を受け取ると、当該ストリーマーのポイントは、その贈り物の価値分だけ増加する。当該ポイントは、例えば、当該ストリーマーがライブストリーミングプラットフォームの管理者から受け取る報酬または金銭の量を決定するために使用される。
一部の実施態様において、当該ユーザDB322は、さまざまなストリーマーのファンアーミーの情報を保持してもよい。当該ユーザDB322は、当該ユーザのユーザIDと、アーミーIDとを関連付けて情報を保持する。当該アーミーIDは、対応するユーザのアーミーであるユーザの当該ユーザIDである。あるユーザ(以下、「司令官ユーザ」という)のアーミーとは、司令官ユーザのサブスクリプションサービスに加入しているユーザであり、当該司令官ユーザのファンクラブのメンバーであるといえる。当該ユーザが当該アーミーのメンバーであるとき、当該ユーザは定期的(毎月または四半期ごと)に、管理者に対して所定の登録料を支払う必要がある。当該管理者は、その登録料の少なくとも一部を当該司令官ユーザに付与する。視聴者が当該司令官ユーザのアーミーに所属している場合、当該司令官ユーザがストリーマーであるライブ配信を視聴する際に、特別な贈り物や特別な入室アニメーションなどの特典を受けることができる。アーミーについては、「アーミーのルール説明」17LIVE、URL:https//17.live/en/army/aboutに開示された技術を用いることで、このような機能を実現することができる。
一部の実施態様において、当該ユーザDB322は、当該ユーザのガーディアンに関する情報を保持してもよい。当該ユーザDB322は、当該ユーザのユーザIDと、当該ユーザがガードしている別のユーザのユーザIDであるガーディアンIDとを関連付けて情報を保持する。あるユーザ(以下、「ストリーマー」という)のガーディアンとは、当該ストリーマーのサブスクリプションサービスに加入しているユーザであり、当該ストリーマーのガーディアンであるといえる。ユーザは、ストリーマーのガーディアンに入札することができ、最も高い入札した者が当該ストリーマーのガーディアンの称号を獲得することができる。ストリーマーのガーディアンは、同時に1人のユーザのみ就任することができる。つまり、1人のユーザがストリーマーのガーディアンに入札した場合、そのユーザは当該ストリーマーのガーディアンになることができる。もし、別のユーザが割り込み、より高いポイントで入札すると、別のユーザが現在のユーザからガーディアンを奪取することができる。ストリーマーのガーディアンになると、当該ストリーマーのライブストリーミングを視聴するときに、特別なメッセージフレームや特別なバッジ、特別な入室アニメーションなどの特典を受けることができる。ガーディアンについては、「ガーディアン」17LIVE、URL:https//17live-jp.zendesk.com/hc/ja/articles/4404313415055―%E3%82%AC%E3%83%BC%E3%83%87%E3%82%A3%E3%82%A2%E3%83%B3に開示された技術を用いることで、このような機能を実現することができる。
図6に、図3の贈り物DB324の例示的データ構造を示す表を示す。当該贈り物DB324は、ライブストリーミング中に視聴者が使用することができる贈り物の情報を保持する。当該贈り物DB324は、贈り物を識別するための贈り物ID、視聴者がストリーマーに贈り物を送るために消費するポイント量、贈り物が対応するイベントを識別するためのイベントID、および贈り物のエフェクトデータを互いに関連付けて格納する。
視聴者は、ライブストリーミングを視聴しながら、所望の贈り物に対して等価価値ポイントを支払うことで、ストリーマーに贈り物を贈ることができる。かかる等価価値ポイントの支払いは、適宜の電子的手段により行うことができ、例えば、視聴者は、等価価値ポイントを管理者に支払うことができる。あるいは、銀行振り込みやクレジットカードによる支払いが利用されてもよい。付与ポイントと等価価値ポイントとの関係は、管理者が任意に設定することができる。
贈り物は、以下のような特徴を有する電子データである。
- ポイント(後に詳述)と引き換えに購入することができ、あるいは無償で贈られてもよい。
- 視聴者がストリーマーに贈ることができる。
- ストリーマーに贈り物を贈ることは、贈り物を使う、贈り物を投げるなどと呼ばれる。
- 贈り物の中には、購入と同時に使用できるものと、購入または贈与した後、購入者または贈与を受けた視聴者が後から任意のタイミングで使用できるものとがある。
- 視聴者がストリーマーに贈り物を贈ると、当該贈り物に対応する量のポイントが当該ストリーマーに付与され、当該贈り物に関連するエフェクトが与えられる。例えば、ライブストリーミングの画面上に当該贈り物に対応するエフェクトが表示される。
当該エフェクトは、贈り物を特徴付ける視覚的効果、聴覚的効果、触覚的効果(例えば、振動)、またはそれらの組み合わせである。視覚的効果の例としては、アニメーション、画像、点滅などがある。聴覚的効果の例としては、効果音や音声などがある。当該エフェクトデータは、このようなエフェクトを当該ユーザ端末20に実現させるためのデータであり、当該ユーザ端末20は、当該エフェクトデータを処理することにより、このようなエフェクトを実現させる。なお、エフェクトデータを実現するための技術自体は公知であるため、以下ではその詳細な説明を省略する。
図7に、図3のイベントDB324の例示的データ構造を示す表を示す。当該イベントDB324は、アプリやプラットフォームのプロバイダーが開催するイベントの情報を格納する。当該イベントDB324には、イベントを識別するためのイベントID、イベントにおける贈り物を識別するためのイベントギフトID、イベントの開始時刻と終了時刻を識別するための開始時刻と終了時刻が格納される。
ここで、「イベント」とは、ストリーマーが受け取ったポイントを競うイベントを指してもよい。当該イベントは、アプリやプラットフォームのプロバイダーが開催してもよい。視聴者は、ストリーマーにギフトなどの仮想アイテムを送信してもよく、各仮想アイテムは、特定の量のポイントに対応してもよい。ストリーマーは、ポイントを収集するために視聴者と交流してもよい。当該イベントにおいて、ストリーマーは、受け取ったポイントに基づきランク付けされてもよい。相対的に高いポイントを獲得したストリーマーは、報酬を得ることができる。一部の実施態様において、各イベントはそれぞれ特定の贈り物を含むことができ、特定の贈り物のみがストリーマーが受け取るポイントに寄与することができる。一部の実施態様において、当該贈り物は全イベントに共通であってもよい。一部の実施態様において、当該イベントのルールは、実際の必要性に応じて設計することができる。
当該イベントは、開始時刻から始まり、終了時刻までに終了するようにしてもよい。当該イベントに参加するストリーマーは、開始時刻から終了時刻までの特定時間内に視聴者から集めたイベントギフトの量を互いに競い合うことができる。最も多くのイベントギフトを集めたストリーマーが優勝者となり、特定の報酬を受け取ることができてもよい。一部の実施態様において、当該イベントのルールや優勝者を決定するための指標は、柔軟に設計することができる。
図9から図18は、ストリーマーのユーザ端末20または視聴者のユーザ端末30のディスプレイ上に表示されるライブ配信ルーム画面600の例示的な画面イメージである。
図9は、当該ストリーマーのユーザ端末20のディスプレイ上に表示されたライブ配信ルーム画面600の例示的な画面イメージである。当該ストリーマーがライブストリーミングの設定を終了し、ライブ配信ルームを開始すると、当該ストリーマーのユーザ端末のディスプレイに当該ストリーマーのライブ配信ルーム画面600が表示されてもよい。
一部の実施態様において、当該ライブ配信ルーム画面600は、ストリーマー情報アイコン602、ストリーマー画像ゾーン604、メッセージゾーン606、メッセージ入力ゾーン608、機能オブジェクト610、ステッカーオブジェクト612を含む。当該ストリーマー情報アイコン602は、当該ストリーマーの情報を表示する。当該ストリーマー画像ゾーン604は、当該ストリーマーの画像または映像を示し、当該画像は映像データを再生することにより取得されてもよい。当該メッセージゾーン606は、視聴者、ストリーマー、または当該サーバ10からのメッセージを表示する。当該メッセージ入力ゾーン608は、当該ストリーマーがメッセージ等を入力するための入力ゾーンを示す。当該機能オブジェクト610は、共有、PK、ストリーミング設定等の特定の機能を当該ストリーマーに提供する。当該機能オブジェクト610における機能は、柔軟に設計することができる。当該ステッカーオブジェクト612は、当該画面600上にステッカー等のオブジェクトを生成する機能を当該ストリーマーに提供する。
一部の実施態様において、ストリーマーがステッカーオブジェクト612をクリックすると、ステッカーページが画面600上に表示されてもよい。図10は、当該ストリーマーのユーザ端末20のディスプレイ上に表示されたライブ配信ルーム画面600の例示的な画面イメージである。図10に示すように、ステッカーページ614が当該画面600上に表示されてもよい。一部の実施態様において、利用可能なステッカー616が当該ステッカーページ614に表示されてもよい。当該ステッカー616は、当該ストリーマーが選択するための複数のフレームを含んでもよい。当該ストリーマーは適切なフレームを選択し、その後、当該フレーム内のテキストを編集してもよい。一部の実施態様において、当該ステッカー616は、フレームなしでテキストを含んでいてもよい。一部の実施態様において、当該ステッカー616は、「私のアーミーに参加してください」、「イベントギフトを送ってください」等の特定のテキストを有するテンプレートステッカーを含んでもよい。一部の実施態様において、当該ステッカー616は、当該ストリーマーが以前に生成した過去のステッカーを含んでもよい。本実施形態によれば、当該ストリーマーは、迅速にステッカーを生成することができ、ユーザエクスペリエンスが向上される可能性がある。
当該ストリーマーがステッカー616を選択すると、当該ステッカー616が当該画面600上に表示されてもよい。図11は、当該ストリーマーのユーザ端末20のディスプレイ上に表示されたライブ配信ルーム画面600の例示的な画面イメージである。図11に示すように、当該画面600上にはフレーム付きの空白のステッカー616が表示されている。当該ステッカーは、編集可能であってもよい。つまり、当該ストリーマーは、当該ステッカー616をクリックして、当該ステッカー616内のテキスト618を編集してもよい。一部の実施態様において、ステッカーが編集されているとき、ステッカー生成ヘルパー620が表示されてもよい。当該ステッカー生成ヘルパー620は、テンプレートステッカー、過去のステッカー、人気ステッカーなどの候補ステッカーを含んでもよい。当該ステッカー生成ヘルパー620は、当該ストリーマーのタイピングに基づいてステッカーの候補を表示してもよい。例えば、当該ストリーマーが「アーミ」などと入力した場合、アーミーのステッカーが表示されてもよい。一部の実施態様において、機械学習技術を導入し、ユーザに適したステッカーを予測して勧めてもよい。
図12は、視聴者のユーザ端末30のディスプレイ上に表示されたライブ配信ルーム画面600の例示的な画面イメージである。当該視聴者のユーザ端末は、当該ストリーマーのユーザ端末と同様のユーザインタフェースを含んでもよい。当該視聴者のユーザ端末は、当該サーバ10を介して、当該ストリーマーのユーザ端末から当該ステッカーの情報を受信してもよい。当該ステッカーの情報は、当該視聴者のユーザ端末の画面600にレンダリングされて表示されてもよい。図12に示すように、当該ストリーマーはステッカー616を生成し、「イベントを応援してください」等のテキスト618を入力してもよい。当該ストリーマーは、イベントに参加して、他のストリーマーと競い合ってもよい。一部の実施態様において、当該ストリーマーがイベントに参加していることを示すために、当該ストリーマーおよび当該視聴者のユーザ端末の画面600にイベントアイコン622が表示されてもよい。当該ストリーマーがイベントに参加している場合、当該サーバ10は、イベントアイコンを自動的に生成し、当該ストリーマー及び当該視聴者に送信してもよい。当該イベントアイコン622は、当該ストリーマーのユーザ端末及び当該視聴者のユーザ端末に表示されてもよい。一部の実施態様において、当該ストリーマーまたは視聴者が当該イベントアイコン622をクリックした場合に、イベント説明ページが表示されてもよい。当該イベント説明には、当該イベントのルール等が含まれてもよい。一部の実施態様において、当該視聴者が当該イベントアイコン622をクリックした場合に、イベントギフトページが表示されてもよい。一部の実施態様において、当該ステッカー616及び当該イベントアイコン622は、互いに同じまたは異なる機能をトリガーしてもよい。例えば、両方がイベントギフトページを開いてもよい。一方がイベントギフトページを開き、他方がイベント説明ページを開いてもよい。本実施態様によれば、視聴者がより便利な方法でイベントギフトをストリーマーに送ることができ、ユーザエクスペリエンスが向上される可能性がある。さらに、当該ステッカー616は、当該サーバ10が当該画面600上に生成したアイコンと同一、類似または異なる機能をトリガーしてもよい。したがって、当該ステッカー616は柔軟性がより高く、ユーザエクスペリエンスが向上される可能性がある。
一部の実施態様において、当該ストリーマーは、イベントで視聴者に支援を求めるために、「イベントを応援してください」というテキスト618を有するステッカー616を生成してもよい。当該検出ユニット208は、当該テキスト618を検出し、当該キーワードルックアップテーブル210で検索してもよい。当該検出ユニット208が、キーワード「イベント」に「イベントギフト一覧を開く」の機能が対応することを検出した場合、当該ステッカー616をクリックするなどの視聴者からの操作に基づき、当該検出ユニット208は視聴者向けにイベントギフト一覧を開いてもよい。図12に示すように、視聴者が当該ステッカー616をクリックした場合に、イベントギフトページ624が表示されてもよい。本実施形態によれば、当該ストリーマーは、視聴者のために情報をカスタマイズし、当該視聴者が対応する機能に迅速にアクセスできるようにすることで、ユーザエクスペリエンスが向上される可能性がある。
図13と図14は、視聴者のユーザ端末30のディスプレイ上に表示されたライブ配信ルーム画面600の例示的な画面イメージである。一部の実施態様において、当該ストリーマーはステッカー616を生成し、「私の誕生日」等のテキスト618を入力してもよい。当該検出ユニット208は、当該テキスト618を検出し、当該キーワードルックアップテーブル210で「誕生日ギフトページを開く」機能を見つけてもよい。図14に示すように、視聴者が当該ステッカー616をクリックした場合に、誕生日ギフトページ626が表示されてもよい。一部の実施態様において、当該ステッカー616は、特定のキーワードが入力された場合、特定の贈り物アイテムであってもよい。例えば、当該ストリーマーが、図14に示すように、ダイヤモンドの贈り物628を受け取りたい場合、当該ストリーマーは、「ダイヤモンドを送ってください」等と入力してもよい。当該ステッカー616は、特定の贈り物アイテムのアイコンであってもよい。一部の実施態様において、当該テキスト618を有する当該ステッカー616は、当該ステッカー616のキーワードに基づき、ライブ配信ルームにおいて可能な任意の機能をトリガーしてもよい。
図15と図16は、視聴者のユーザ端末30のディスプレイ上に表示されたライブ配信ルーム画面600の例示的な画面イメージである。一部の実施態様において、当該ストリーマーは、マイク等の音声入力によりステッカー616を生成してもよい。例えば、当該ストリーマーが「ステッカーを生成してください」、「アーミーステッカー」等と言うと、当該検出ユニット208は、当該ストリーマーからの当該音声入力630を検出し、当該ストリーマー向けにテキスト618を有する対応するステッカー616を生成してもよい。当該ストリーマーは、当該ステッカー616の当該テキスト618を編集または変更してもよい。一部の実施態様において、当該ステッカー616がテンプレートステッカーである場合、編集できないようにしても、編集できるようにしてもよい。一部の実施態様において、当該ストリーマーは、視聴者がステッカーを生成することを許可しても、制限してもよい。一部の実施態様において、当該視聴者のユーザ端末は、特定のポイントを支払い、当該ストリーマーのためにステッカーを生成してもよい。一部の実施態様において、当該ステッカーの設定は、柔軟に設計することができる。一部の実施態様において、当該ストリーマー等から入力される音声や画像に基づき、空白のステッカーが生成されてもよい。
同様に、当該視聴者が当該ステッカー616をクリックすると、アーミーページ630が表示されてもよい。当該アーミーページ630は、アーミーの説明632及びアーミーのステータス634等を含んでもよい。当該アーミーの説明632は、アーミーの所有者、アーミーの序列、アーミーの特権などに関する情報を含んでもよい。当該アーミーのステータス634は、対応する位置に現在のユーザを表示してもよい。本実施形態によれば、当該視聴者は、当該ストリーマーが当該視聴者をアーミーに参加するよう招待したいことを知ることができ、当該視聴者は、当該ステッカー616を介して当該アーミーページ630により便利な方法でアクセスすることができる。したがって、ユーザエクスペリエンスが向上される可能性がある。
図17と図18は、視聴者のユーザ端末30のディスプレイ上に表示されたライブ配信ルーム画面600の例示的な画面イメージである。一部の実施態様において、当該ストリーマーは、顔の特徴やジェスチャーなどの画像入力により、ステッカー616を生成してもよい。例えば、当該ストリーマーは、人差し指と小指を示し、手を振ってもよく、当該検出ユニット208は、当該ストリーマー画像ゾーン604を検出し、当該ストリーマーのためにテキスト618を有する対応するステッカー616を生成してもよい。一部の実施態様において、当該ストリーマーは、特定のステッカーの生成を示すために顔をしかめたり、にっこり笑ったりしてもよい。一部の実施態様において、当該音声入力、または顔の特徴やジェスチャーなどの画像入力は、事前に決定されても、リアルタイムで決定されてもよい。つまり、アプリやラットフォームのプロバイダーは、音声入力や画像入力に基づいてステッカーを生成する方法をルールとして設定してもよい。また、ユーザが自分でカスタマイズしてステッカーを生成するルールを設定してもよい。一部の実施態様において、当該ステッカーの生成は、柔軟に設計することもできる。
同様に、当該視聴者が当該ステッカー616をクリックすると、ガーディアンページ636が表示されてもよい。当該ガーディアンページ636は、ガーディアンの説明638、ガーディアン入札情報640等を含んでもよい。当該ガーディアンの説明638は、現在のガーディアン、現在のガーディアンの残り時間、ガーディアンの特権、過去のガーディアン等に関する情報を含んでもよい。一部の実施態様において、当該ガーディアンの説明638は、柔軟に設計することができる。当該ガーディアン入札情報640は、当該ストリーマーのガーディアン入札の情報を表示してもよい。上述したように、1人のストリーマーは同時に1人のガーディアンしか持てないため、ガーディアンはガーディアンに入札することにより決定されてもよい。当該視聴者は、当該ガーディアン情報640に入札し、当該ストリーマーのガーディアンを要求してもよい。本実施形態によれば、ユーザエクスペリエンスも向上される可能性がある。
次に、上記構成を有するライブストリーミングシステム1の動作について説明する。図19は、当該ユーザ端末20、30におけるアプリケーション起動処理の手順を示すフローチャートである。当該ストリーマーは、複数の方法でステッカー等のオブジェクトを生成することができる。例えば、当該ストリーマーは、ステッカー機能をクリックし、自分でテキストを入力してもよい(S202)。当該ステッカーの設定が終了すると、当該ストリーマーの操作に基づいてテキスト付きの当該ステッカーが生成され、画面上に表示されてもよい(S204)。
一部の実施態様において、当該ストリーマーは、マイクをオンにして特定のキーワードを言い、ステッカーを生成してもよい(S202-1)。当該検出ユニット208は、当該ストリーマーから入力された音声を検出してもよい(S202-1a)。当該検出ユニット208が特定のキーワードを検出しない場合(S202-1aの「いいえ」)、当該ストリーマーからの音声入力を受信し続けてもよい(S202-1)。特定のキーワードが検出された場合(S202-1aで「はい」)、当該ストリーマーの操作に基づいて、対応するテキスト付きの当該ステッカーが生成され、画面に表示されてもよい(S204)。
一部の実施態様において、当該ストリーマーは、特定の顔の特徴やジェスチャーを行い、ステッカーを生成してもよい(S202-2)。当該検出ユニット208は、当該ストリーマーから入力された画像を検出してもよい(S202-2a)。当該検出ユニット208が特定の顔の特徴やジェスチャーを検出しない場合(S202-2aの「いいえ」)、当該ストリーマーからの画像入力を受信し続けてもよい(S202-2)。特定の顔の特徴またはジェスチャーが検出された場合(S202-2aで「はい」)、当該ストリーマーの操作に基づいて、対応するテキスト付きの当該ステッカーが生成され、画面に表示されてもよい(S204)。
当該視聴者が当該ステッカーをクリックするなどの操作を行うと(S206)、当該検出ユニット208は、当該ステッカーのテキストに対して意味解析を行うようにしてもよい(S208)。一部の実施態様において、当該検出ユニット208は、第三者サービスまたは機械学習モデルにより、当該意味解析を実行してもよい。当該検出ユニット208は、当該ステッカーの当該テキストから特定のキーワードを抽出し、キーワードックアップルテーブル210に基づいて対応する機能を検索してもよい。
一部の実施態様において、当該対応する機能は、当該視聴者からの操作に基づいてトリガーされてもよい。例えば、意味解析でキーワードが検出されなかった場合(S208で「なし」)、機能がトリガーされないようにしてもよい(S210-1)。一部の実施態様において、当該意味解析で贈り物関連のキーワードが検出された場合(S208の贈り物関連)、贈り物関連の機能がトリガーされてもよい(S210-2)。当該贈り物関連の機能とは、例えば、イベントギフト一覧ページを開く、特定の贈り物を送る等であってもよい。一部の実施態様において、当該意味解析でアーミー関連のキーワードが検出された場合(S208のアーミー関連)、アーミー関連の機能がトリガーされてもよい(S210-3)。当該アーミー関連機能は、当該ストリーマーのアーミーサブスクリプション情報などに視聴者をアクセスさせてもよい。一部の実施態様において、当該意味解析でガーディアン関連のキーワードが検出された場合(S208のガーディアン関連)、ガーディアン関連の機能がトリガーされてもよい(S210-4)。当該ガーディアン関連機能は、当該ストリーマーのガーディアンサブスクリプション情報などに視聴者をアクセスさせてもよい。一部の実施態様において、意味解析においてその他の特定のキーワードが検出された場合(S208のその他)、その他の機能がトリガーされてもよい(S210-5)。その他の機能とキーワードは柔軟に決定されてもよい。
図20は、本開示の一部の実施態様に基づくライブストリーミングシステム1の構成の動作を示す例示的なシーケンス図である。一部の実施態様において、ストリーマーは、ストリーミングデータをストリーミングソースにプッシュすることにより、ライブストリーミングを開始してもよい(S302)。視聴者は、視聴者が視聴したいストリーマーをタップすることにより、ストリーミングデータを引き出してもよい(S304)。
ライブストリーミング中、当該ストリーマーと当該視聴者は、コメント、贈り物、アニメーションなどのインタラクション情報を送信することにより、相互交流してもよい。一部の実施態様において、当該ストリーマーは、画面上にテキストを含むオブジェクトを生成してもよい(S306)。一部の実施態様において、当該オブジェクトは装飾用のステッカーであってもよく、当該テキストは当該ストリーマーが画面上に表示したい情報であってもよい。当該テキストを含むオブジェクトの情報は、当該サーバ10内の当該処理ユニット306に送信されてもよい(S308)。当該処理ユニット306は、当該オブジェクトの情報をストリームDB320等の対応するデータベースに格納してもよい(S310)。一部の実施態様において、当該処理ユニット306は、ステッカーIDを生成し、当該ステッカーID及びステッカー情報を当該ストリームDB320に格納してもよい。一部の実施態様において、当該処理ユニット306はさらに、当該ステッカーIDおよび関連情報を当該ストリーマーのユーザ端末に送信し、当該ストリーマーのユーザ端末によっても当該ステッカーを識別できるようにしてもよい。さらに、当該ストリーマーは、画面上に複数のステッカーを生成することができる。当該ストリーマーがステッカーの1つを追加、削除、修正した場合、当該ストリーマーのユーザ端末は、当該ステッカーIDに基づいて、当該サーバ10と通信してもよい。当該処理ユニット306は、当該オブジェクトの情報を当該ライブ配信ルーム内の当該視聴者のユーザ端末に送信してもよい(S312)。一部の実施態様において、ストリーミングソースはストリーミングサーバであってもよく、当該サーバ10はアプリまたはプラットフォームのプロバイダーのバックエンドサーバであってもよい。
当該視聴者のユーザ端末は、ストリーミングデータで当該オブジェクトの情報をレンダリングし、当該オブジェクトを含むライブ配信ルームを画面上に表示してもよい。一部の実施態様において、当該視聴者は、当該オブジェクトに対して、当該オブジェクトをクリックするなどの操作を行ってもよい(S314)。当該検出ユニット208は、当該オブジェクトに含まれるテキストを検出してもよい(S316)。一部の実施態様において、当該検出ユニット208は、当該キーワードルックアップテーブル210を調べ、当該テキストにキーワードが含まれているかどうかを確認してもよい(S318)。当該テキストに特定のキーワードが含まれ、そのキーワードが機能に対応している場合、当該検出ユニット208は、当該視聴者のユーザ端末から当該ステッカーをクリックする操作に基づき、その機能を実行してもよい。
一部の実施態様において、当該検出ユニット208とキーワードルックアップテーブル210は、予めダウンロードして当該ユーザ端末にインストールされていてもよい。一部の実施態様において、当該検出ユニット208とキーワードルックアップテーブル210は、当該サーバ10内で提供されてもよい。より具体的には、当該視聴者のユーザ端末から当該ステッカーがクリックされたことに基づき、当該サーバ10がキーワードを検出し、特定の機能をトリガーするようにしてもよい。つまり、当該検出ユニット208とキーワードルックアップテーブル210は、当該サーバ10またはユーザ端末20または30に実装されてもよい。一部の実施態様において、当該構成は柔軟に設計することができる。
図21は、本開示の一部の実施態様に基づくシステム構成および処理を実行するためのコンピュータハードウェアの概略ブロック図である。図21に示す当該情報処理装置900は、例えば、本開示の一部の実施態様に基づく当該サーバ10と当該ユーザ端末20、30をそれぞれ実現するように構成される。
当該情報処理装置900は、CPU901と、リードオンリーメモリ(ROM)903、ランダムアクセスメモリ(RAM)905を含む。さらに、当該情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェイス913、入力ユニット915、出力ユニット917、ストレージユニット919、ドライブ921、接続ポート925、通信ユニット929を含んでもよい。当該情報処理装置900は、カメラなどの撮像装置(図示せず)を含んでもよい。当該情報処理装置900は、CPU901に代えて、または加えて、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)等の処理回路を含んでもよい。
当該CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージユニット919、またはリムーバブル記録媒体923に記録された各種プログラムに従って、当該情報処理装置900の全体動作またはその一部の動作を制御する。例えば、当該CPU901は、上述した実施態様の当該サーバ10および当該ユーザ端末20、30に含まれる各機能ユニットの動作全般を制御する。当該ROM903は、当該CPU901が使用するプログラム、動作パラメータなどを記憶する。当該RAM905は、当該CPU901が実行する際に使用するプログラムや、当該プログラムを実行する際に適宜変化するパラメータを過渡的に記憶する。当該CPU901、当該ROM903、当該RAM905は、CPUバスなどの内部バスから構成されるホストバス907を介して互いに接続されている。当該ホストバス907は、当該ブリッジ909を介してペリフェラルコンポーネントインターコネクト/インターフェイス(PCI)バスなどの外部バス911に接続される。
当該入力ユニット915は、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバーなど、ユーザによって操作される装置である。当該入力ユニット915は、オーディオセンサ(マイクなど)、加速度センサ、傾斜センサ、赤外線センサ、深度センサ、温度センサ、湿度センサなど、物理量を電気信号に変換する装置であってもよい。当該入力ユニット915は、例えば、赤外線や別の種類の電波を利用するリモートコントロール装置であってもよい。あるいは、当該入力ユニット915は、当該情報処理装置900の動作に対応する携帯電話などの外部接続端末927であってもよい。当該入力ユニット915は、ユーザから入力される情報に基づいて入力信号を生成し、生成した入力信号を当該CPU901に出力する入力制御回路を含む。ユーザは当該入力ユニット915を操作することにより、各種データを入力し、当該情報処理装置900に対する処理動作の指示を行う。
当該出力ユニット917は、取得した情報をユーザに対して視覚的または聴覚的に報知することができる装置を含む。当該出力ユニット917は、例えば、LCD、PDP、OLEDなどのディスプレイ装置、スピーカー、ヘッドホンなどの音声出力装置、プリンタなどであってもよい。当該出力ユニット917は、当該情報処理装置900が実行する処理によって得られた結果を、テキスト、画像などの映像、音声などのサウンドの形で出力する。
当該ストレージユニット919はデータストレージ用装置であり、当該情報処理装置900のストレージユニットの一例である。当該ストレージユニット919は、例えば、ハードディスクドライブ(HDD)などの磁気記憶装置、半導体記憶装置、光記憶装置、光磁気記憶装置などを含む。当該ストレージユニット919は、当該CPU901が実行するプログラムや各種データ、及び外部から取得された各種データを格納する。
当該ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル記録媒体923のリーダー/ライターであり、当該情報処理装置900に内蔵または外付けされる。当該ドライブ921は、装着された当該リムーバブル記録媒体923に記録された情報を読み出し、当該RAM905に出力する。当該ドライブ921は、装着された当該リムーバブル記録媒体923に記録を書き込む。
当該接続ポート925は、当該情報処理装置900に機器を直接接続するために用いられるポートである。当該接続ポート925は、例えば、USB(ユニバーサルシリアルバス)ポート、IEEE1394ポート、またはSCSI(小型計算機システムインターフェイス)ポートであってもよい。当該接続ポート925は、RS-232Cポート、光オーディオ端子、HDMI(高精細度マルチメディアインターフェイス(登録商標))ポートなどであってもよい。当該接続ポート925に外部接続端末927が接続されることにより、当該情報処理装置900と当該外部接続端末927間の各種データのやり取りが可能になる。
当該通信ユニット929は、例えば、通信ネットワークNWに接続するための通信装置を含む通信インターフェイスである。当該通信ユニット929は、例えば、有線または無線のローカルエリアネットワーク(LAN)、Bluetooth(登録商標)、または、無線USB(WUSB)用の通信カードであってもよい。
当該通信ユニット929は、例えば、光通信用のルータ、ADSL(非対称デジタル加入者線)用のルータ、または、各種通信用のモデムであってもよい。例えば、当該通信ユニット929は、TCP/IP等の所定のプロトコルを用いて、インターネットにおける信号の送受信や、他の通信装置との信号の送受信を行う。当該通信ユニット929が接続する当該通信ネットワークNWは、有線接続または無線接続により確立されたネットワークである。当該通信ネットワークNWは、例えば、インターネット、家庭内LAN、赤外線通信、電波通信、または衛星通信である。
撮像装置(図示せず)は、例えば、CCD(電荷結合デバイス)やCMOS(相補型金属酸化膜半導体)などの撮像素子と、当該撮像素子上の被写体像の結像を制御するためのレンズなど各種部材を用いて現実空間を撮像し、撮像画像を生成する装置である。当該撮像装置は、静止画を撮像しても、動画を撮像してもよい。
以上、本開示のライブストリーミングシステム1について、実施形態を参照しながら説明した。上述の実施態様は、単に説明のために記載されたものである。むしろ、実施態様の上述した構成要素や処理を多様に組み合わせ、さまざまな変更がなされ得ることは、当業者であれば容易に想到し得ることであり、これらも本開示の技術的範囲に包含される。
本明細書に記載された工程、特にフローチャートやフローチャートを用いて説明された工程は、工程を構成する工程の一部の省略、工程を構成する工程に明示的に含まれない工程の追加、及び(または)工程順序の並べ替えが可能である。このような省略、追加、並べ替えの対象となった工程も、本開示の要旨を逸脱しない限り、本開示の範囲に含まれる。
一部の実施態様において、当該サーバ10が実行する機能の少なくとも一部は、当該サーバ10以外が実行してもよく、例えば、当該ユーザ端末20または30が実行するようにしてもよい。一部の実施態様において、当該ユーザ端末20または30が実行する機能の少なくとも一部を、当該ユーザ端末20または30以外が実行してもよく、例えば、当該サーバ10が実行するようにしてもよい。一部の実施態様において、フレーム画像のレンダリングは、視聴者、サーバ、ストリーマー等の当該ユーザ端末が実行するようにしてもよい。
さらに、上記実施態様で説明したシステムまたは方法は、固体記憶装置、光ディスク記憶装置、磁気ディスク記憶装置などの非一時的なコンピュータ可読ストレージ装置、またはコンピュータプログラム製品などで提供されてもよい。あるいは、プログラムは、インターネットを介してサーバからダウンロードされるものとしてもよい。
以上、本開示の技術的内容及び特徴を説明したが、本開示の属する技術分野において通常の知識を有する者であれば、本開示の教示及び開示から逸脱することなく、なお多くの変形及び修正を行うことができる。したがって、本開示の範囲は、既に開示された実施態様に限定されず、本開示から逸脱しない別の変形や修正を含む、後付の特許請求の範囲に含まれる範囲である。