以下、各図面に示す同一または類似の構成要素、部材、手順または信号には、すべての図面において同様の符号を付し、それによって重複する説明は適宜省略される。また、各図面の説明において重要でない一部部材は省略される。
本開示の一部の実施態様に基づくライブストリーミングシステム1は、ユーザ間のコミュニケーションと交流を円滑にする強化機能を提供する。より具体的には、技術的な方法で視聴者やライブストリーマーを楽しませるものである。
図1に本開示の一部の実施態様に基づくライブストリーミングシステム1の構成を示す概略図を示す。当該ライブストリーミングシステム1は、ストリーミングのライブストリーマー(ライバー、ストリーマー、または配信者とも呼ばれる)LVと視聴者(オーディエンスとも呼ばれる)AU(AU1、AU2...)に、リアルタイムで相互交流するためのライブストリーミングサービスを提供する。図1に示すように、当該ライブストリーミングシステム1は、サーバ10と、ユーザ端末20と、ユーザ端末30(30a、30b...)を含むことができる。当該ユーザ端末20はライブストリーマー、当該ユーザ端末30は視聴者であってもよい。一部の実施態様において、当該ライブストリーマーと視聴者はユーザと呼ばれてもよい。当該サーバ10は、ネットワークNWを介して接続された、1または複数の情報処理装置を含むことができる。当該ユーザ端末20、30は、例えば、スマートフォン、タブレット、ノートPC、レコーダー、携帯ゲーム機、ウェアラブル端末などの携帯端末や、デスクトップPCなどの据置型コンピュータであってもよい。当該サーバ10、ユーザ端末20、ユーザ端末30は、任意の種類の有線または無線ネットワークNWにより通信可能に接続されてもよい。
当該ライブストリーミングシステム1には、当該ライブストリーマーLV、当該視聴者AU、当該サーバ10を提供するアプリプロバイダー(図示せず)が関与する。当該ライブストリーマーLVは、自身の歌、トーク、パフォーマンス、ゲームストリーミングなどのコンテンツを自身のユーザ端末20で収録して当該サーバ10にアップロードし、リアルタイムでコンテンツを配信する者となることができる。一部の実施態様において、当該ライブストリーマーLVは、当該ライブストリーミングを介して当該視聴者AUと交流することができる。
当該アプリプロバイダーは、当該サーバ10においてライブストリーミングされるコンテンツのためのプラットフォームを提供することができる。一部の実施態様において、当該アプリプロバイダーは、当該ライブストリーマーLVと当該視聴者AU間のリアルタイム通信を管理するメディアまたはマネージャーであってもよい。当該視聴者AUは、当該ユーザ端末30により当該プラットフォームにアクセスし、自身が視聴したいコンテンツを選択して視聴することができる。当該視聴者AUは、当該ユーザ端末30により、当該ライブストリーマーに対してコメントしたり、応援したりなど、当該ライブストリーマーと交流するための操作を行うことができる。コンテンツを提供する当該ライブストリーマーは、当該コメントや応援に応答することができる。当該ライブストリーマーの応答は、映像及び(または)音声などにより当該視聴者AUに送信することができる。従って、当該ライブストリーマーと視聴者間の相互通信を達成することができる。
本明細書でいう「ライブストリーミング」とは、当該ライブストリーマーLVが当該ユーザ端末20により記録したコンテンツを、当該視聴者AUが当該ユーザ端末30を介して実質的に再生・視聴することを可能にする、データ伝送を指すことができる。一部の実施態様において、「ライブストリーミング」は、上述のデータ伝送により実現されるストリーミングを指すこともある。当該ライブストリーミングは、HTTPライブストリーミング、CMAF(Common Media Application Format)、WebRTC(Web Real-Time Communications)、RTMP(Real―Time Messaging Protocol)、MPEG DASHなど、公知の技術によって実現することができる。当該ライブストリーミングは、さらに、当該ライブストリーマーがコンテンツを記録している間、当該視聴者AUが特定の遅延をもって当該コンテンツを再生または視聴することができる、実施形態を含んでもよい。当該遅延の程度については、少なくとも当該ライブストリーマーLVと当該視聴者AUがコミュニケーションを行うことができる程度に小さいことが望ましい。ただし、ライブストリーミングは、いわゆるオンデマンド配信とは異なる。より具体的に、当該オンデマンド配信とは、当該コンテンツを記録したすべてのデータをサーバに格納し、ユーザの要求に応じてランダムなタイミングで当該サーバから当該ユーザにデータを提供することを指してもよい。
本明細書における「ストリーミングデータ」とは、画像データや音声データを含むデータを指すことができる。より具体的に、当該画像データ(ビデオデータと呼んでもよい)は、当該ユーザ端末20と30の画像キャプチャ機能によって生成されてもよい。当該音声データ(オーディオデータと呼んでもよい)は、当該ユーザ端末20と30の音声入力機能により生成されてもよい。当該ストリーミングデータを当該ユーザ端末20、30で再生し、ユーザに関するコンテンツを視聴できるようにしてもよい。一部の実施態様において、当該ライブストリーマーの当該ユーザ端末でストリーミングデータが生成されてから、当該視聴者の当該ユーザ端末で再生されるまでの間、圧縮、拡張、エンコード、デコード、トランスコードなど、データの形式、サイズ、規格を変更する処理が想定される。このような処理の前と後、当該コンテンツ(映像や音声)は実質的に変更されず、このため、本開示の現在の実施態様においては、処理される前のストリーミングデータと処理された後のストリーミングデータは同じであると説明される。つまり、当該ライブストリーマーの当該ユーザ端末により生成された当該ストリーミングデータが、当該サーバ10を介して当該視聴者の当該ユーザ端末で再生される場合、当該ライブストリーマーの当該ユーザ端末で生成された当該ストリーミングデータ、当該サーバ10を通過した当該ストリーミングデータ、そして当該視聴者の当該ユーザ端末が受信して再生する当該ストリーミングデータは、すべて同じストリーミングデータである。
図1に示すように、当該ライブストリーマーLVはライブストリーミングを提供する。当該ライブストリーマーのユーザ端末20は、当該ストリーマーの映像及び(または)音声を記録することにより、ストリーミングデータを生成し、ネットワークNWを介してサーバ10に送信する。同時に、当該ユーザ端末20は映像VDを当該ユーザ端末20のディスプレイ上に表示し、当該ライブストリーマーLVのストリーミングコンテンツをチェックすることができる。
当該ライブストリーマーのライブストリーミングの提供をプラットフォームに要求するユーザ端末30a、30bの視聴者AU1、AU2は、当該ネットワークNWを介して当該ライブストリーミングに対応するストリーミングデータを受信し、受信したストリーミングデータを再生してディスプレイ上に映像VD1、VD2を表示し、スピーカーなどから音声を出力することができる。当該ユーザ端末30a、30b上にそれぞれ表示される当該映像VD1、VD2は、当該ライブストリーマーLVの当該ユーザ端末により記録された当該映像と実質的に同じであり、当該ユーザ端末30a、30bから出力される当該音声は、当該ライブストリーマーLVの当該ユーザ端末により記録された当該音声と実質的に同じである。
当該ライブストリーマーの当該ユーザ端末20での記録は、当該視聴者AU1、AU2の当該ユーザ端末30a、30bでのストリーミングデータの再生と同時であってもよい。当該視聴者AU1が当該ライブストリーマーLVのコンテンツに関するコメントを当該ユーザ端末30aに入力すると、当該サーバ10は、当該コメントを当該ライブストリーマーの当該ユーザ端末20にリアルタイムで表示するとともに、当該視聴者AU1、AU2の当該ユーザ端末30a、30bにもそれぞれ表示する。当該ライブストリーマーLVが当該コメントに応答した場合、当該応答を当該視聴者AU1、AU2の当該ユーザ端末30a、30bからテキスト、画像、映像または音声として出力し、当該ライブストリーマーLVと当該視聴者AU1、AU2のコミュニケーションを実現することができる。従って、当該ライブストリーミングシステムは、双方向通信のライブストリーミングを実現することができる。
図2は、本開示の実施態様に基づく、図1に示すユーザ端末20の機能と構成を示すブロック図である。当該ユーザ端末30は、当該ユーザ端末20と同様の機能と構成を有する。本明細書のブロック図に描かれているブロックは、コンピュータのCPUなどのデバイスや機械部品などのハードウェア、およびこれらの要素の連携によって実施される機能ブロックを表現する、コンピュータプログラムなどのソフトウェアで実施される。したがって、機能ブロックは、ハードウェアとソフトウェアの組み合わせによる多様な態様で実装され得ることが、当業者には理解されよう。
当該ライブストリーマーLVと視聴者AUは、ネットワークNWを介して、ダウンロードサイトから本開示のライブストリーミングアプリケーション(ライブストリーミングアプリ)を当該ユーザ端末20と30にダウンロードしてインストールすることができる。または、当該ライブストリーミングアプリは、当該ユーザ端末20と30に予めインストールされていてもよい。当該ユーザ端末20と30によるライブストリーミングの実行により、当該ユーザ端末20と30は、当該ネットワークNWを介して当該サーバ10と通信し、複数の機能を実現することができる。当該ユーザ端末20と30(より具体的に、CPUなどのプロセッサ)による当該ライブストリーミングアプリの実行により実現される当該機能は、当該ユーザ端末20と30の機能として以下で説明される。当該機能は基本的に、当該ライブストリーミングアプリが当該ユーザ端末20と30に実現させる機能である。一部の実施態様において、これらの機能は、ネットワークNWを介して当該サーバ10から当該ユーザ端末20と30のウェブブラウザに送信し、当該ウェブブラウザのコンピュータプログラムにより実行されることにより実現されてもよい。当該コンピュータプログラムは、HTML(Hyper Text Markup Language)などのプログラミング言語で書かれていてもよい。
当該ユーザ端末20は、ストリーミングユニット100と視聴ユニット200を含む。一部の実施態様において、当該ストリーミングユニット100は、ユーザのオーディオ及び(または)ビデオデータを記録し、当該サーバ10に送信するストリーミングデータを生成するように構成される。当該視聴ユニット200は、サーバ10からストリーミングデータを受信し、再生するように構成される。一部の実施態様において、ユーザは、ブロードキャスト時に当該ストリーミングユニット100を作動させる、またはストリーミングを視聴するときに当該視聴ユニット200を作動させることができる。一部の実施態様において、当該ストリーミングユニット100を作動させる当該ユーザ端末は、ライブストリーマーと呼ぶことができ、またはストリーミングデータを生成する当該ユーザ端末と呼ぶことができる。当該視聴ユニット200を作動させる当該ユーザ端末は、視聴者と呼ぶことができ、または当該ストリーミングデータを再生する当該ユーザ端末と呼ぶことができる。
当該ストリーミングユニット100は、ビデオコントロールユニット102と、オーディオコントロールユニット104と、配信ユニット106と、UIコントロールユニット108を含むことができる。当該ビデオコントロールユニット102は、カメラ(図示せず)に接続されてもよく、当該映像は当該カメラにより制御される。当該ビデオコントロールユニット102は、当該カメラから当該ビデオデータを取得することができる。当該オーディオコントロールユニット104は、マイク(図示せず)に接続されてもよく、音声は当該マイクにより制御される。当該オーディオコントロールユニット104は、当該マイクから当該オーディオデータを取得することができる。
当該配信ユニット106は、当該ビデオコントロールユニット102からのビデオデータと、当該オーディオコントロールユニット104からのオーディオデータを含むストリーミングデータを受信し、ネットワークNWを介して当該サーバ10に送信する。一部の実施態様において、当該配信ユニット106は当該ストリーミングデータをリアルタイムで送信する。つまり、当該ビデオコントロールユニット102と当該オーディオコントロールユニット104からの当該ストリーミングデータの生成と、当該配信ユニット106の配信は同時に実行される。
当該UIコントロールユニット108は、当該ライブストリーマーのUIを制御する。当該UIコントロールユニット108はディスプレイ(図示しない)に接続され、当該配信ユニット106が当該ストリーミングデータを送信し、再生して当該ディスプレイ上に表示する相手に対して当該ストリーミングデータを生成するように構成される。当該UIコントロールユニット108は、操作するオブジェクトまたは指示を受けるオブジェクトをディスプレイ上に表示し、当該ライブストリーマーからのタップ入力を受け付けるように構成される。
当該視聴ユニット200は、UIコントロールユニット202と、レンダリングユニット204と、入力送信ユニット206を含んでもよい。当該視聴ユニット200は、ネットワークNWを介してサーバ10からストリーミングデータを受信するように構成される。当該UIコントロールユニット202は、当該視聴者のUIを制御する。当該UIコントロールユニット202は、ディスプレイ(図示せず)及び(または)スピーカー(図示せず)に接続され、当該ストリーミングデータを再生することにより、当該ディスプレイ上に映像を表示し、当該スピーカーから音声を出力するように構成される。一部の実施態様において、当該ディスプレイ上に映像を出力し、当該スピーカーから音声を出力することを「ストリーミングデータを再生する」ことと呼んでもよい。当該UIコントロールユニット202は、タッチパネルやキーボード、ディスプレイなどの入力ユニットに接続され、ユーザからの入力を取得することができる。
当該レンダリングユニット204は、当該サーバ10からのストリーミングデータと、フレーム画像とをレンダリングするように構成されてもよい。当該フレーム画像は、ユーザからの入力、視聴者により入力されたコメント、当該サーバ10から受信したデータを受け付けるためのユーザインターフェイスオブジェクトを含んでもよい。当該入力送信ユニット206は、当該UIコントロールユニット202から当該ユーザ入力を受信し、当該ネットワークNWを介して当該サーバ10に送信するように構成される。
一部の実施態様において、当該ユーザ入力は、ライブストリームの選択、コメントの入力、贈り物の送信、ユーザのフォローまたはフォロー解除、イベントでの投票、ゲームなど、当該ユーザ端末の画面上のオブジェクトをクリックすることであってもよい。例えば、当該入力送信ユニット206は、視聴者の当該ユーザ端末が当該ライブストリーマーに贈り物を送るために画面上の贈り物オブジェクトをクリックした場合に、贈り物情報を生成し、インターネットNWを介して当該サーバ10に送信してもよい。
図3は、本開示の一部の実施態様に基づく当該サーバ10のブロック図である。当該サーバ10は、ストリーミング情報ユニット302、中継ユニット304、処理ユニット306、ストリームDB320、ユーザDB322、AIチャットボットDB324、トレーニングデータDB326、パーソナリティDB328と、機械学習モデル330を含んでもよい。一部の実施態様において、当該機械学習モデル330は、言語モデル330などであってもよい。
当該ストリーミング情報ユニット302は、当該ネットワークNWを介して当該ライブストリーマーの当該ユーザ端末20からライブストリーミングの要求を受信する。要求を受信すると、当該ストリーミング情報ユニット302は、当該ライブストリーミングの情報を当該ストリームDB320に登録する。一部の実施態様において、当該ライブストリーミングの情報は、当該ライブストリーミングのストリームID及び(または)当該ライブストリーミングに対応する当該ライブストリーマーのライブストリーマーIDであってもよい。
当該視聴者から当該ネットワークNWを介して当該ユーザ端末30の当該視聴ユニット200から当該ライブストリーミングの当該情報の提供要求を受信すると、当該ストリーミング情報ユニット302は当該ストリームDB320を参照し、利用可能なライブストリーミングのリストを生成する。
その後当該ストリーミング情報ユニット302は、当該ネットワークNWを介して当該ユーザ端末30に当該リストを送信する。当該ユーザ端末30の当該UIコントロールユニット202は、当該リストに基づいてライブストリーミング選択画面を生成し、当該ユーザ端末30のディスプレイ上に当該リストを表示する。
当該ユーザ端末30の当該入力送信ユニット206は、当該ライブストリーミング選択画面上での当該視聴者によるライブストリーミングの選択を受信すると、選択された当該ライブストリーミングの当該ストリームIDを含む配信要求を生成し、当該ネットワークを介して当該サーバ10に送信する。当該ストリーミング情報ユニット302は、当該配信要求で当該ストリームIDにより指定された当該ライブストリーミングの当該ユーザ端末30に対する提供を開始することができる。当該ストリーミング情報ユニット302は、当該ストリームDB320を更新し、当該ユーザ端末30の当該視聴者の視聴者IDを当該ストリームIDの当該ライブストリーマーIDに追加することができる。
当該中継ユニット304は、当該ストリーミング情報ユニット302により開始された当該ライブストリーミングにおいて、当該ライブストリーマーの当該ユーザ端末20から、当該視聴者の当該ユーザ端末30へのライブストリーミングの送信を中継することができる。当該中継ユニット304は、ストリーミングデータの再生中に、当該視聴者からのユーザ入力を示す信号を当該入力送信ユニット206から受信することができる。当該ユーザ入力を示す当該信号は、当該ユーザ端末30のディスプレイに表示されるオブジェクトの指定を示すオブジェクト指定信号であってもよい。
当該オブジェクト指定信号は、当該視聴者の視聴者ID、当該視聴者が視聴しているライブストリーミングを配信するライブストリーマーのライブストリーマーID、及び当該オブジェクトにより指定されるオブジェクトIDを含んでもよい。当該オブジェクトが贈り物などである場合、当該オブジェクトIDは、贈り物IDなどであってもよい。同様に、当該中継ユニット304は、ストリーミングデータの再生中に、当該ユーザ端末20の当該ストリーミングユニット100から、例えば当該オブジェクト指定信号など、当該ライブストリーマーのユーザ入力を示す信号を受信することができる。
当該処理ユニット306は、ユーザのユーザ端末からの操作に応じて要求を処理するように構成される。例えば、当該ユーザはボタンをクリックして、当該ライブストリーミングルームにAIチャットボットを生成してもよい。当該ユーザは、好みに応じて所望のチャットボットを選択することができる。当該中継ユニット304が要求を受信すると、当該処理ユニット306はその選択に基づき、当該トレーニングデータDB326などの対応するデータベースを参照してもよい。
一部の実施態様において、サーバ10は、当該ユーザにいくつかのデフォルトのAIチャットボットを提供してもよい。当該デフォルトのAIチャットボットに対応する当該トレーニングデータは、予め当該トレーニングデータDB326に格納されていてもよい。一部の実施態様において、当該処理ユニット306は、内部または外部からデータを取得し、関連する情報をトレーニングデータとして当該トレーニングデータDB326に格納してもよい。例えば、選択されたチャットボットが有名人である場合、当該処理ユニット306は、FacebookやInstagramなどのソーシャルメディアサイトを参照し、その記録をトレーニングデータとして取得してもよい。
選択されたチャットボットが当該ライブストリーミングプラットフォームのユーザである場合、当該処理ユニット306は、当該ユーザDB322、当該ユーザのライブストリーミング、アーカイブされたストリーミング、当該ユーザの投稿を参照したり、あるいは当該ユーザのソーシャルメディアサイトを参照してさらに記録をトレーニングデータとして取得してもよい。また、選択されたチャットボットがアニメキャラクターである場合、当該処理ユニット306は、公式サイトなどを参照してもよい。一部の実施態様において、当該トレーニングデータのリソースは、実際の必要性に応じて柔軟に決定されてもよい。
一部の実施態様において、当該処理ユニット306はさらに、AIチャットボットなどの生成のために、当該トレーニングデータを機械学習モデルに入力してもよい。一部の実施態様において、当該機械学習モデルは、内部で訓練されたモデルであっても、第三者のサービスプロバイダーから提供されたモデルであってもよい。一部の実施態様において、AIチャットボット生成のための当該機械学習モデルは、言語モデルなどによって実現されてもよい。一部の実施態様において、当該機械学習モデルは、ChatGPTやその他のLLM(大規模言語モデル)などのAIチャットボットであってもよい。一部の実施態様において、当該機械学習の方法は、実際の必要性に応じて、任意の可能なモデルによって実現されてもよい。
図4は、図3のストリームDB320の例示的データ構造を示す表である。当該ストリームDB320は、現在行われているライブストリームに関する情報を保持する。当該ストリームDB320は、当該ライブストリーミングシステム1が提供するライブストリーミングプラットフォーム上のライブストリームを識別するためのストリームID、当該ライブストリームを提供するライブストリーマーを識別するためのライブストリーマーID、当該ライブストリーミングルーム内のAIチャットボットを識別するためのAIチャットボットID、及び当該ライブストリームの視聴者を識別するための視聴者IDを、互いに関連付けて格納する。一部の実施態様において、AIチャットボットは、クリエイターとしてのユーザにバインドされてもよい。一部の実施態様において、当該AIチャットボットは、ライブストリームにバインドされてもよい。一部の実施態様において、当該AIチャットボットは、異なるライブストリーミングルーム間を移動可能であってもよい。
図5は、図3のユーザDB322の例示的データ構造を示す表である。当該ユーザDB322は、ユーザに関する情報を保持する。当該ユーザDB322は、ユーザを識別するためのユーザID、当該ユーザが蓄積したポイントを特定するためのポイント、当該ユーザのレベルを識別するためのレベル、当該ユーザのステータスを識別するためのステータスを、相互に関連付けて格納する。当該ポイントは、当該ライブストリーミングプラットフォーム内で流通する電子的な価値である。当該レベルは、当該ライブストリーミングプラットフォームにおける当該ユーザの活動またはエンゲージメントの量の指標であってもよい。当該ステータスは、当該ライブストリーミングプラットフォームにおける当該ユーザのアイデンティティまたはメンバーシップステータスであってもよい。
図6は、図3のAIチャットボットDB324の例示的データ構造を示す表である。当該AIチャットボットDB324は、当該ライブストリーミングプラットフォーム上のAIチャットボットに関する情報を保持する。当該AIチャットボットDB324は、当該ライブストリーミングシステム1が提供する、または当該ユーザが生成したAIチャットボットを識別するチャットボットIDと、当該チャットボットが現在配置されているライブストリームを識別するストリームIDと、当該チャットボットのキャラクターを識別するキャラクターと、当該チャットボットのパーソナリティを識別するパーソナリティと、当該チャットボットの追加機能を識別する追加機能と、を互いに関連付けて格納する。
一部の実施態様において、当該アプリプロバイダーは、幾つかのデフォルトチャットボットを予め提供してもよく、またはユーザがリアルタイムでチャットボットを生成してもよい。当該チャットボットは、ライブストリーミングルームで生成されてもよく、異なるライブストリーミングルーム間を移動してもよい。一部の実施態様において、1つのチャットボットが異なるライブストリーミングルームに出現してもよい。一部の実施態様において、当該キャラクターは、有名人、著名人、ライブストリーミングプラットフォームのユーザ、アニメキャラクター、あるいは弁護士などの職業、または任意の可能なキャラクターであってもよい。
当該パーソナリティは、人間の個人の特徴であってもよい。例えば、当該チャットボットは、ポジティブ、ネガティブ、おしゃべり、無口、せっかち、忍耐強い、派手、地味、優しい、暴力的、同情的、冷酷などのパーソナリティを有していてもよい。一部の実施態様において、1つのキャラクターがデフォルトのパーソナリティを有していてもよい。例えば、有名な科学者アルバート・アインシュタインは、思慮深く想像力豊かな天才と考えられている。一部の実施態様において、当該キャラクターはパーソナリティを持たなくてもよい。例えば、当該チャットボットは、ロボットのようにコメントしたり、応答したりしてもよい。
一部の実施態様において、当該キャラクターのパーソナリティは設定または変更されてもよい。例えば、当該ユーザは、せっかち、おしゃべりなどのパーソナリティを持つアインシュタインを生成してもよい。一部の実施態様において、当該キャラクターは、通常の印象と対照的な正反対のパーソナリティを有していてもよい。例えば、無口な人物であると考えられているあるユーザのAIチャットボットは、おしゃべりなパーソナリティで生成されてもよい。一部の実施態様において、当該AIチャットボットと当該ユーザ間の対照性が、ライブストリーミングルームに楽しさをもたらす可能性がある。
一部の実施態様において、当該パーソナリティは、テキストメッセージの用語、語彙、言葉遣い、音声メッセージのトーン、ピッチ、音質、テンポ、速度、言葉遣い、または仮想チャットボットからのビデオメッセージの顔の特徴、ジェスチャー、動作などにより、AIチャットボットによって示されてもよい。例えば、ユーモアのセンスがあるパーソナリティの当該AIチャットボットは、時々ジョークを言ってもよく、悲観的なパーソナリティを持つ当該AIチャットボットは、顔をしかめたり、ネガティブなことを言ったりしてもよい。
一部の実施態様において、当該追加機能は、当該ライブストリーミングルームにおける当該チャットボットの機能であってもよい。当該追加機能は、当該ライブストリーミングルームの状況に応じて当該ユーザにより設定されてもよい。例えば、当該チャットボットはイベントアシスタントであってもよい。当該イベントアシスタントは、当該ストリーマーが現在当該ライブストリーミングプラットフォームによって開催されているイベントに関与している場合、当該イベントで当該ストリーマーを支援してもよい。当該AIチャットボットは、当該ライブストリーマーがイベントにおいて報酬閾値を満たすよう支援するためのヒントメッセージを該ライブストリーマーまたは視聴者に提供してもよい。
当該イベント中、当該処理ユニット306は当該ライブストリーミングルームのステータスを監視し続け、当該ステータスに基づきヒントメッセージを提供してもよい。当該ステータスは、当該イベント終了の5分前など、特定の時点であってもよい。また、当該ステータスは、当該ライブストリーマーの受領ポイントが減少しているなどの具体的な状況であってもよい。このような情報は、当該処理ユニット306が当該機械学習モデルに基づきヒントメッセージを提供するためのトリガーとみなされてもよい。
一部の実施態様において、当該チャットボットは、当該ライブストリーマーに対し、視聴者を盛り上げるために歌を歌ったり、ギターを弾いたりするなど、視聴者と交流することを提案してもよい。一部の実施態様において、当該チャットボットはまた、当該ライブストリーマーが勝利する、またはイベントで報酬閾値を満たすための目標を視聴者に通知してもよい。例えば、「ライブストリーマーが勝利するには2,000ポイントが必要です。小さなイベントの贈り物(500)を4つ、または大きなイベントの贈り物(2,000)を1つ寄付しませんか?」というヒントメッセージがAIチャットボットを通じて表示され、当該ライブストリーマーを支援するように視聴者を誘導してもよい。
当該チャットボットは、当該ライブストリーミングルームのムードメーカーとなってもよい。当該ライブストリーミングルームの雰囲気が悪くなったとき、チャットボットは、ライブストリーマーと視聴者間の交流を増やすために、視聴者にキューを出したり、話題を開始したりしてもよい。一部の実施態様において、当該ライブストリーミングルームの雰囲気は、例えば、視聴者の数、コメントの数、コメントの内容、贈り物の数、贈り物の価値などによって判断されてもよい。一部の実施態様において、交流の程度が閾値より低くなると、当該チャットボットが起動され、当該ライブストリーミングルームの雰囲気を高めるムードメーカーとして機能してもよい。
一部の実施態様において、当該AIチャットボットDB324はさらに、当該チャットボットのレベルを識別するためのレベル、当該ユーザとの交流の程度を識別するための交流値、当該チャットボットの現在の状態を識別するためのステータスを、互いに関連付けて格納してもよい。当該ステータスは、「アクティブ」、「非アクティブ」、「フリーズ」、「破壊」など、当該チャットボットの現在の状態を示してもよい。「アクティブ」及び「非アクティブ」の当該ステータスは、当該チャットボットが現在アクティブ化されているか否かを示してもよい。一部の実施態様において、当該チャットボットのステータスは、実際の必要性に応じて柔軟に設計及び決定されてもよい。
一部の実施態様において、当該該チャットボットは、異なるレベルと交流値を有してもよい。当該交流値は、ユーザへのタギング、コメント、ユーザへの応答、ヒントメッセージの提供など、当該ユーザとの交流によって得られてもよい。当該レベルは、十分な交流値を受け取ることによってアップグレードされてもよい。一部の実施態様において、当該チャットボットの当該機能は、当該レベルなどに応じてロック解除されてもよい。一部の実施態様において、当該チャットボットからの当該交流は、当該レベルに基づいて変更されてもよい。
一部の実施態様において、異なるレベルは異なる年齢に対応し、当該コメントやトピックは当該レベルに基づいて異なっていてもよい。例えば、12歳以下の当該AIチャットボットは子供のような振る舞いをし、40歳超のAIチャットボットはずっと大人の振る舞いをするなどであってもよい。つまり、当該チャットボットの当該レベルに応じて、トレーニングデータを変更または追加してもよい。一部の実施態様において、当該処理ユニット306はさらに、当該AIチャットボットの当該レベルに基づいてトレーニングデータを取得してもよい。
一部の実施態様において、当該AIチャットボットの当該ステータスは、当該AIチャットボットと当該ライブストリーミングルーム内の当該ユーザとの交流に基づいて変化してもよい。一部の実施態様において、当該ステータスはさらに、「嬉しい」、「不快」、「悲しい」、「落ち込んでいる」、「寂しい」などの感情的なステータスを含んでいてもよい。例えば、当該AIチャットボットと当該ユーザ間の交流がポジティブまたはネガティブである場合、当該AIチャットボットの当該ステータスは、「嬉しい」または「悲しい」などのポジティブまたはネガティブなものであってもよい。一部の実施態様において、当該交流値の増加は、当該ステータス基づいて変化してもよい。例えば、当該交流値は、ポジティブなステータスにある間、ネガティブなステータスにある間よりも速く増加してもよい。
一部の実施態様において、当該AIチャットボットの当該ステータスは、当該AIチャットボットのヘルスポイント(HP)とも呼ばれてもよい。一部の実施態様において、当該AIチャットボットの当該ステータスは、当該ユーザからの交流に基づいて変化してもよい。例えば、当該ユーザからの交流が少ない、または全くない場合、当該ステータスは「寂しい」、「落ち込んでいる」、「弱っている」、または「危険な状態」となってもよい。一部の実施態様において、当該AIチャットボットの当該ステータスが特定の期間にわたってネガティブなままである場合、当該AIチャットボットは当分の間または永遠に動作不能になってもよい。例えば、1時間以上当該AIチャットボットと交流するユーザがいない場合、当該AIチャットボットは永遠に破壊されてもよい。
一部の実施態様において、当該AIチャットボットの当該ステータスは、当該AIチャットボットと当該ユーザの交流を変化させてもよい。例えば、当該AIチャットボットのステータスがネガティブである場合、当該AIチャットボットからのメッセージはネガティブなものになるなどであってもよい。一部の実施態様において、当該AIチャットボットの当該ステータスは、当該AIチャットボットのプロフィールページ、表示画像、またはメッセージに表示されてもよい。一部の実施態様において、当該AIチャットボットの当該ステータスは、図12のアイコン618のような、ライブストリーミング内のアイコンに表示されてもよい。本実施形態によれば、当該ユーザは、当該AIチャットボットの当該ステータスを理解し、必要に応じて当該AIチャットボットと交流することができる。
図7は、図3のトレーニングデータDB326の例示的データ構造を示す表である。当該トレーニングデータDB326は、AIチャットボットのトレーニングデータに関する情報を保持する。当該トレーニングデータDB326は、当該チャットボットのキャラクターを識別するキャラクターと、当該キャラクターの種類を識別する種類と、当該キャラクターのトレーニングデータを識別するキャラクターデータとを互いに関連付けて格納する。
一部の実施態様において、当該キャラクターの種類は、「チャリティ」、「ユーザ」、「アニメーション」等を含んでいてもよい。当該種類「チャリティ」は、有名な著名人を指していてもよい。当該人物は、俳優、女優、科学者、政治家などであってもよい。当該種類「ユーザ」は、当該ライブストリーミングプラットフォーム内のユーザを指していてもよい。当該ユーザは、当該ライブストリーミングプラットフォーム内の有名なユーザや、フォロワー、フォロイー、当該ライブストリーミングルーム内の別のユーザの友人であってもよい。当該種類「アニメーション」は、ドラえもん、スーパーマリオ、ピカチュウなどのアニメーションの仮想キャラクターを指していてもよい。
一部の実施態様において、当該キャラクターの当該トレーニングデータは、当該キャラクターの種類に基づいて取得されてもよい。例えば、チャリティの当該トレーニングデータは、Facebook、Instagram、twitterなどのソーシャルメディアサイトの公開情報から取得されてもよい。ユーザの当該トレーニングデータは、当該ライブストリーミングプラットフォームにアップロードされた当該ユーザの情報や、当該ユーザのソーシャルメディアサイト等から取得されてもよい。本実施態様によれば、当該ユーザが当該ライブストリーミングプラットフォームにより多くの情報を投稿する動機付けとなる可能性がある。
さらに、当該アニメーションキャラクターの当該トレーニングデータは、その公式ウェブサイト、アニメーション、オンライン検索結果などから取得されてもよい。一部の実施態様において、当該トレーニングデータは、実際の必要に応じて柔軟に取得されてもよい。一部の実施態様において、当該データは、事前にダウンロードされても、リアルタイムでインターネットから取得されてもよい。当該データは、トレーニングのために当該トレーニングデータDB326に格納されてもよい。一部の実施態様において、当該トレーニングデータは、例えば、当該AIチャットボットのレベルなどに基づいて分類されてもよい。一部の実施態様において、当該トレーニングデータは、柔軟に追加、削除、調整等されてもよい。
図8は、図3のパーソナリティDB328の例示的データ構造を示す表である。当該パーソナリティDB328は、AIチャットボットのパーソナリティデータに関する情報を保持する。当該パーソナリティDB328は、当該チャットボットのパーソナリティを識別するパーソナリティIDと、パーソナリティの説明を識別する説明文と、当該パーソナリティのプロンプトデータを識別するプロンプトデータとを互いに関連付けて格納する。
一部の実施態様において、当該パーソナリティは、言語モデルのプロンプトデータであってもよい。当該プロンプトは、応答を生成するためまたは特定のタスクを実行するために当該言語モデルに提供される入力テキストまたは指示を指してもよい。一部の実施態様において、当該プロンプトデータは、チャットボットの特定のパーソナリティを示すための一文またはひとまとまりの文章であってもよい。例えば、当該プロンプトデータは、「あなたは教養があり、礼儀正しく、忍耐強い人であり、人と分かち合うことが好きで、人の話にも耳を傾けます」であってもよい。当該プロンプトデータを取得し、当該言語モデルに入力することで、当該チャットボットに特定のパーソナリティを付与してもよい。
例えば、「おしゃべり」というパーソナリティは、「あなたはおしゃべりです」、「回答は6文以上または100語以上でなければなりません」という入力を供給することで実現されてもよい。当該アプリプロバイダーは、いくつかのデフォルトのパーソナリティデータを提供し、当該ユーザが選択できるようにしてもよい。一部の実施態様において、当該プロンプトデータは、当該ユーザにより入力及び設定されてもよい。例えば、当該ユーザは、パーソナリティなしまたはデフォルトのパーソナリティを選択することができる。また、当該ユーザは、プロンプトデータとしてひとまとまりの文章を入力し、当該AIチャットボットにパーソナリティを付与するなどしてもよい。
図9は、本開示の一部の実施態様に基づくライブストリーミングシステム1の機能構成例を示す概略図である。図9に示すように、AIチャットボットは、ユーザのユーザ端末からのユーザ入力に応答して生成され、設定されてもよい。一部の実施態様において、当該AIチャットボットの生成は、サーバ10によって自動的に実行されてもよい。当該ユーザは、キャラクターなど当該チャットボットの情報を設定してもよい。一部の実施態様において、当該ユーザはさらに、パーソナリティ、追加機能などを設定してもよい。当該ユーザからの設定に応じて、サーバ10は、内部またはインターネット等の外部から当該トレーニングデータを収集してもよい。例えば、当該ユーザが当該キャラクターを自分のフォロワーに設定した場合、サーバ10は、サーバ10に保存されている当該フォロワーの公開情報を収集しても、ソーシャルメディアサイト等の外部から収集してもよい。
一部の実施態様において、当該ユーザが当該AIチャットボットに特定のパーソナリティを設定した場合、当該サーバ10は、当該パーソナリティDB328などを参照して、特定のパーソナリティを有するフォロワーのチャットボットを生成してもよい。当該トレーニングデータとパーソナリティデータが収集されると、サーバ10はさらに当該トレーニングデータとパーソナリティデータを当該言語モデル330に入力し、それに基づいてチャットボットを生成してもよい。当該チャットボットは、ライブストリーマーのライブストリーミングルームなどに配置され、表示されてもよい。
一部の実施態様において、当該処理ユニット306は、当該ライブストリーミングルームの状況を監視してもよい。例えば、当該処理ユニット306は、コメント、イベント情報、イベントにおける当該ライブストリーマーの受領ポイントまたは順位等を監視してもよい。当該処理ユニット306はさらに、関連情報を当該言語モデル330に入力してもよい。当該言語モデル330はさらに、当該関連情報に基づいて応答を生成し、当該ライブストリーマーがイベントや当該ライブストリーミングルーム内の雰囲気を処理することなどを支援してもよい。例えば、ユーザが当該チャットボットをタグし、当該チャットボットにジョークを言うように依頼した場合、当該処理ユニット306は、当該コメントを当該言語モデル330に入力し、当該ユーザのためにジョークを生成してもよい。
図10から図15は、ライブストリーマーのユーザ端末20または視聴者のユーザ端末30のディスプレイ上に表示されるライブストリーミングルーム画面600の例示的な画面イメージである。視聴者がライブストリーミングルームを選択して入室すると、ライブストリーマーのライブストリーミングルーム画面600が当該ディスプレイに表示されてもよい。当該ライブストリーミングルーム画面600は、ライブストリーマー情報オブジェクト602、ライブストリーマー画像604、メッセージゾーン606、メッセージ入力ボックス608、贈り物オブジェクト610、共有オブジェクト612等を含んでもよい。
一部の実施態様において、当該画面600はさらに、招待ボタン614を含んでいてもよい。当該招待ボタン614は、当該ライブストリーミングルームにユーザを招待するように、当該ライブストリーミングルームでAIチャットボットを生成するように構成される。図10に示すように、当該招待ボタン614がクリックされると、図11に示すように、AIチャットボットを設定するためのUI616が当該ユーザに表示されてもよい。一部の実施態様において、当該UI616は、当該ユーザがキャラクター、パーソナリティ、追加機能などを決定するためのオプションを備えたフォームを含んでもよい。
一部の実施態様において、当該UI616は、カスタマイズされたAIチャットボットを生成するために、当該ユーザがプロンプトとしてひとまとまりの文章を入力するための欄(図示せず)を含んでもよい。例えば、当該ユーザは、「自分のライブストリーミングルームで、クレイジーなパーソナリティのスーパーマリオのAIチャットボットをムードメーカーにしたい」と入力してもよく、それに基づき当該処理ユニット306がキーワードを抽出してAIチャットボットを生成してもよい。一部の実施態様において、当該AIチャットボットの設計と設定は柔軟に決定されてもよい。
当該ユーザが当該AIチャットボットの選択を終えると、当該処理ユニット306は、当該AIチャットボットの情報を機械学習モデルに入力してもよい。ここでは、言語モデル330を例に挙げて説明する。一部の実施態様において、当該言語モデルは、ChatGPTなどの可能または利用可能な任意のモデルであってもよい。一部の実施態様において、当該機械学習モデルは、入力に基づいて可能な出力を推論してもよく、当該AIチャットボット生成の手順は、当該モデルからの推論をユーザに提供することを指してもよい。
一部の実施態様において、当該処理ユニット306は、サーバ10内のデータベースまたはインターネットからAIチャットボットのトレーニングデータを取得してもよい。当該AIチャットボットの生成後、当該処理ユニット306は、図12に示すように、当該AIチャットボットを当該ライブストリーミングルーム内に表示してもよい。一部の実施態様において、当該ライブストリーミングルーム内にAIチャットボットが存在することを示すアイコン618があってもよい。一部の実施態様において、当該AIチャットボットの表示画像などに、当該AIチャットボットのIDを示すマーク(図示せず)が表示されてもよい。
図12に示すように、当該AIチャットボットは、当該ライブストリーマー及び視聴者と交流してもよい。例えば、当該視聴者は当該AIチャットボットをタグし、当該AIチャットボットにジョークを言うように依頼するなどしてもよい。当該処理ユニット306はさらに、当該ライブストリーミングルームのステータスを監視し、コメントを当該言語モデル330に入力して、当該視聴者からのコメントに基づき応答を生成してもよい。
当該AIチャットボットは、当該視聴者をタグし、当該視聴者が当該ライブストリーマーと交流する動機を与えてもよい。例えば、当該処理ユニット306は、当該ライブストリーミングプラットフォームまたはソーシャルメディアサイトにおける視聴者の投稿を参照してもよい。当該視聴者が日本旅行から帰ってきたところである場合、当該処理ユニット306は、当該視聴者をタグし、当該AIチャットボットを介して当該視聴者に日本での旅行について尋ねてもよい。一部の実施態様において、当該AIチャットボットは、当該ライブストリーミングルームに初めて参加する視聴者にキューを出したり、視聴者をタグしたりするなどしてもよい。本実施態様によれば、新規ユーザは、当該ライブストリーミングルームに歓迎され、関わっていると感じることができ、ユーザエクスペリエンスが向上される可能性がある。
一部の実施態様において、当該AIチャットボットは、図13に示すように、ライブストリーミングルーム内の他のユーザと同様または同一の操作を実行することができてもよい。例えば、当該AIチャットボットは、ライブストリーマーなどとグループ通話やPKバトル、ゲームバトルなどをしてもよい。一部の実施態様において、当該AIチャットボットは、ユーザと交流するための音声メッセージAMを備えていてもよい。本実施態様によれば、当該AIチャットボットは、当該ライブストリーマーが当該ライブストリーミングルーム内の雰囲気をコントロールしやすくすることができ、ユーザエクスペリエンスが向上される可能性がある。
図14に示すように、当該AIチャットボットは、プロフィールページ620を有してもよい。当該プロフィールページ620は、例えば、当該AIチャットボットの表示画像をクリックするなどによってアクセス可能であってもよい。一部の実施態様において、当該AIチャットボットの当該プロフィールページ620は、キャラクター、パーソナリティ、レベル、年齢、交流値、追加機能など、当該AIチャットボットの詳細情報を含んでいてもよい。一部の実施態様において、当該ユーザの当該プロフィールページ620上に、当該AIチャットボットを追加またはフォローするための追加ボタン622が提供されていてもよい。一部の実施態様において、他のユーザは、当該AIチャットボットをタグ、贈り物、PK招待の送信、ブロック、ダイレクトメッセージの送信などを行うことができる。
一部の実施態様において、当該AIチャットボットは、当該ライブストリーミングのサムネイル上に表示されてもよい。図15に示すように、当該ユーザは、サーバ10に対してライブストリーミングの情報提供を要求してもよく、当該ストリーミング情報ユニット302は、当該ストリームDB320を参照し、利用可能なライブストリーミングのリストを生成してもよい。当該リストを受信すると、当該ユーザ端末30のUIコントロールユニット202は、当該リストに基づいてライブストリーミング選択画面622を生成し、当該ユーザ端末30のディスプレイに表示してもよい。一部の実施態様において、当該ライブストリーミング選択画面622は、当該ユーザが選択するための各ライブストリーミングのサムネイルTNを含んでいてもよい。
一部の実施態様において、当該ライブストリーミングの当該サムネイルTNは、当該ライブストリーミングにAIチャットボットが存在するか否かを示すマーク624を含んでいてもよい。当該ユーザは、当該マーク624をクリックするなどして、当該AIチャットボットの詳細情報を受け取ってもよい。本実施態様によれば、各ライブストリーマーは、独自のAIチャットボットを生成し、それをセールスポイントとして、より多くの視聴者のライブストリーミングへの参加を動機付けることができる。
図16は、当該ユーザ端末20、30におけるアプリケーション起動処理の工程を示すフローチャートである。当該ユーザは、当該ライブストリーミングルームにAIチャットボットを生成してもよい。当該ユーザの当該ユーザ端末から当該AIチャットボットの選択を受信すると(S502)、サーバ10は、当該ユーザの選択に基づき、選択された当該AIチャットボットのトレーニングデータを取得してもよい(S504)。一部の実施態様において、当該トレーニングデータは、キャラクターに対応するキャラクターデータであってもよい。当該キャラクターは、有名人、ユーザ、アニメのキャラクター等であってもよい。当該処理ユニット306は、サーバ10内の対応するデータベース、またはソーシャルメディアサイトや公式ウェブサイトなどインターネット上のリソースを参照してもよい。
一部の実施態様において、当該処理ユニット306はさらに、当該トレーニングデータを言語モデルなどの機械学習モデルに入力し、当該トレーニングデータに基づいてAIチャットボットを生成してもよい(S506)。一部の実施態様において、当該ユーザが当該AIチャットボットにパーソナリティを設定する場合、当該処理ユニット306はさらに、当該パーソナリティDB328を参照し、対応するプロンプトデータを追加して、当該AIチャットボットのパーソナリティを設定してもよい。当該AIチャットボットの生成後当該、処理ユニット306は、当該AIチャットボットを当該ライブストリーミングルームに設定し(S508)、当該AIチャットボットに当該ライブストリーミングルーム内の当該ユーザと交流させてもよい。一部の実施態様において、当該仮想チャットボットは、当該ライブストリーミングルーム内のライブストリーマーまたは視聴者に支援を提供してもよい。
本開示によれば、当該キャラクターを備えたAIチャットボットは、ライブストリーミングルームにおける交流や楽しさを増大させることができる。さらに、ライブストリーミングにおける雰囲気の監視や対応を一部または全部当該AIチャットボットに任せることもできる。したがって、ユーザエクスペリエンスが向上される可能性がある。
一部の実施態様において、当該キャラクター、パーソナリティ、追加機能などの選択は、ランダムボタンで実現されてもよい。例えば、当該ユーザは、ランダムボタンをクリックして、ランダムなキャラクター、パーソナリティ、追加機能などを有するAIチャットボットをランダムに生成してもよい。本実施態様によれば、ランダムなキャラクター、パーソナリティ、追加機能などを有するAIチャットボットが生成され、当該ライブストリーミングルーム内の雰囲気を向上させることができる。
一部の実施態様において、当該ユーザは、テキスト、音声、ビデオメッセージなどによって、AIチャットボットに合図を送ったり、タグしたりしてもよい。例えば、当該ライブストリーマーは、ボタンをクリックする、特定のメッセージを入力する、特定のメッセージを言う、特定のジェスチャーをする、などにより、当該AIチャットボットに合図を送ってもよい。本実施態様によれば、当該ライブストリーマーは、当該ライブストリーミングルーム内の雰囲気が盛り上がっていない場合に、当該AIチャットボットに助けを求める合図を送ってもよく、それにより当該ライブストリーミングルーム内の雰囲気を改善することができる。
一部の実施態様において、ライブストリーミングルーム内には2つ以上のAIチャットボットが存在してもよい。当該ライブストリーミングルーム内の1つのAIチャットボットが別のAIチャットボットと交流してもよい。一部の実施態様において、当該ユーザは1つのAIチャットボットに、別のAIチャットボットと交流するよう合図を送ってもよい。当該ユーザは、異なるAIチャットボットに相互に交流するよう合図を送ってもよい。例えば、当該ユーザは、ストリートファイターと任天堂のキャラクターのAIチャットボットに、交流やPKなどの合図を送ってもよい。本実施態様によれば、当該ライブストリーミングルーム内の楽しさを向上することができる。
一部の実施態様において、当該AIチャットボットは、当該ライブストリーミングルーム内のガイドであってもよい。当該AIチャットボットは、当該ライブストリーマーまたは視聴者に、ライブストリーミングを行う、ライブストリーミングを見る、当該ライブストリーマーと交流する、ゲームをする、などを案内してもよい。一部の実施態様において、ゲームなどの新機能が登場したとき、当該AIチャットボットはあるライブストリーミングルーム内で当該新機能を体験し、別のライブストリーミングルーム内でその体験を共有してもよい。本実施態様によれば、当該ユーザが新機能を体験する障壁が低減され、ユーザエクスペリエンスが向上される可能性がある。
一部の実施態様において、当該AIチャットボットは、あるユーザが当該ライブストリーミングプラットフォームのルールに違反した場合、当該ユーザをミュート、追放、ブロックしてもよい。例えば、あるユーザのコメントに不適切な言葉や違法なポイント情報が含まれている場合、当該AIチャットボットは当該ユーザをミュートしたり、当該ライブストリーミングルームから追放したりしてもよい。一部の実施態様において、当該AIチャットボットは、上記の動作を自動で、またはライブストリーマーや他のユーザからの要求に基づいて実行してもよい。本実施態様によれば、当該AIチャットボットは、当該ライブストリーマーが当該ライブストリーミングルーム内の雰囲気に対応する支援をすることができる。
一部の実施態様において、当該AIチャットボットは、ライブストリーミングプラットフォーム内でポイントを消費することなどにより生成されてもよい。一部の実施態様において、AIチャットボットは、レベル80以上やVIPステータスなど、特定のレベルやステータスを持つユーザによってのみ生成されてもよい。一部の実施態様において、AIチャットボット生成のための当該ポイントは、1人のユーザが支払う、または複数のユーザが分担して支払ってもよい。一部の実施態様において、2つ以上のAIチャットボット生成のための当該ポイントは、同じであっても、AIチャットボットの数などに基づいて増加されてもよい。
一部の実施態様において、当該チャットボットのキャラクター、パーソナリティ、特徴は、当該ライブストリーミングルーム内の当該ユーザからの入力によって学習させてもよい。当該ユーザは、プロンプトデータとして入力を提供し、当該AIチャットボットに新しいパーソナリティなどを付与してもよい。一部の実施態様において、各ユーザは、キャラクターやパーソナリティ、特徴をカスタマイズした自分だけのAIチャットボットを有してもよい。一部の実施態様において、当該ユーザが自分のAIチャットボットを見せて競い合うキャンペーンが開催されてもよい。
当該AIチャットボットは、当該ライブストリーミングルーム内の当該ユーザからの交流に応答してもよい。一部の実施態様において、当該AIチャットボットは、定期的に、あるいはライブストリーミングルーム内の雰囲気が悪くなったときなどに、自動的に話題を提供したり、会話を生成したりしてもよい。例えば、当該AIチャットボットは、毎時間の最新ニュースを提供したり、ライブストリーミングルーム内に交流がないときに星占い情報を提供したりしてもよい。
一部の実施態様において、当該AIチャットボットは、ライブストリーミングプラットフォーム内で、あるいは外部のソーシャルメディアサイトから、ユーザの情報を受信し、その情報に基づいて当該ユーザに合図を送ってもよい。例えば、あるユーザがタイ旅行に関する記事をライブストリーミングプラットフォームに投稿し、当該AIチャットボットがその記事から情報を取得してもよい。当該ユーザがあるライブストリーミングルームに入室すると、当該AIチャットボットは当該ユーザに合図を送り、当該タイ旅行について質問してもよい。本実施態様によれば、当該ライブストリーマーと当該ユーザ間の話題作りに役立ち、また、当該ユーザが当該ライブストリーミングルーム内のユーザたちともっと交流する動機付けになる可能性がある。
一部の実施態様において、当該AIチャットボットは、ユーザとライブストリーマー間の交流履歴情報を収集し、当該ライブストリーマーに当該情報を提供してもよい。例えば、当該ライブストリーマーが3日前に当該ユーザと会話した場合、または昨日当該ユーザの記事でいいねをクリックした場合、当該AIチャットボットは当該ライブストリーマーにヒントメッセージを提供し、当該ライブストリーマーが当該ユーザとの交流を思い出すようにしてもよい。本実施態様によれば、当該ライブストリーマーが当該ユーザを記憶しやすくなり、ユーザエクスペリエンスが向上される可能性がある。
一部の実施態様において、当該AIチャットボットは、ユーザとの交流から、当該ユーザの情報を記憶してもよい。例えば、当該ユーザが当該AIチャットボットに対して自分がおうし座であることを伝えた場合、当該AIチャットボットはその情報を受信し、当該情報を当該レーニングデータDBやユーザDBなどに格納してもよい。より具体的には、当該処理ユニット306はさらに、当該ライブストリーミングルームにおける交流を取得し、リアルタイムで当該トレーニングデータDBやユーザDBを更新してもよい。本実施態様によれば、当該AIチャットボットと当該ユーザ間の交流が円滑になり、ユーザエクスペリエンスが向上される可能性がある。
一部の実施態様において、当該AIチャットボットはライブストリーミングなどを開始してもよい。一部の実施態様において、当該AIチャットボットはそのキャラクターに関連する情報を提供してもよい。例えば、当該AIチャットボットが占い師や占星術師である場合、当該AIチャットボットはライブストリーミングなどで星占い情報を提供してもよい。一部の実施態様において、当該AIチャットボットのデザインおよび機能は、実際の必要性に応じて柔軟に決定されてもよい。
一部の実施態様において、当該AIチャットボットは、当該ライブストリーマーと視聴者間の交流を受信し、当該ライブストリーマーが当該視聴者とどのように交流するかを学習してもよい。一部の実施態様において、当該AIチャットボットは、当該ライブストリーマーと同じように、当該視聴者と話したり、交流したり、ゲームをしたりするようにトレーニングされてもよい。一部の実施態様において、当該ライブストリーマーは、当該ライブストリーマーが対応できない間、当該AIチャットボットを代理ライブストリーマーとして設定してもよい。例えば、当該ライブストリーマーまたは視聴者は、トイレに行くなどでオンライン麻雀ゲームから抜け出すために、当該AIチャットボットを代理プレイヤーとして設定してもよい。一部の実施態様において、自動プレイモードや自動交流モードを設定し、当該AIチャットボットにゲームをプレイさせたり、視聴者と交流させたりするためのスイッチボタンが提供されてもよい。
一部の実施態様において、TTS(Text-to―Speech、テキストの音声読み上げ)やSTT(Speech-to―Text、音声のテキスト変換)などの自然言語処理技術も導入されてもよい。例えば、当該ライブストリーマーからの音声などの音声データをテキスト情報に変換して機械学習モデルに入力したり、テキスト出力を音声に変換し、音声データを介して当該AIチャットボットがユーザに応答するなどしてもよい。一部の実施態様において、音声メッセージのトーン、ピッチ、音質、テンポ、スピードは、感情によって変化してもよい。例えば、当該AIチャットボットは、非常に興奮しているとき、高いピッチと速い速度で話してもよい。
一部の実施態様において、当該AIチャットボットにアバターやバーチャルスキンを設定してもよい。一部の実施態様において、当該アバターやバーチャルスキンは、プラットフォームプロバイダーから提供される、またはユーザ自身によってカスタマイズされるなどであってもよい。一部の実施態様において、当該AIチャットボットの顔の特徴、ジェスチャー、動きは、感情に基づいて変化してもよい。例えば、当該AIチャットボットは贈り物を受け取るとき笑顔になり、ネガティブなメッセージを受け取ったときは怒った顔を見せてもよい。一部の実施態様において、当該アバターやバーチャルスキンは、サーバ10によって提供されても、Live2D、VRoid Hubなどのサードパーティ製ソフトウェアによって提供されてもよい。
一部の実施態様において、当該AIチャットボットの感情は、当該ライブストリーミングルーム内の当該ライブストリーマーのステータスに基づいて変化してもよい。例えば、当該AIチャットボットは、当該ライブストリーマーが特定のポイント以上の贈り物を受け取ったり、イベントで報酬を獲得したりなどすると、嬉しいといったポジティブな感情を示してもよい。一部の実施態様において、特定の達成度と対応する感情との関係を格納するルックアップテーブルが提供されてもよい。例えば、当該AIチャットボットは、受け取ったポイントが1,000点超の場合喜び、受け取ったポイントが10,000点超の場合踊るなどしてもよい。
一部の実施態様において、サーバ10は、AIチャットボットの感情を処理するためのエモーションユニットをさらに含んでもよい。当該エモーションユニットは、当該AIチャットボットからのテキスト、音声、ビデオメッセージの情報などの当該AIチャットボットの感情を処理するように構成されてもよい。一部の実施態様において、当該AIチャットボットの感情はランダムに、または定期的に変わってもよい。例えば、当該AIチャットボットは、毎日感情を変えるなどしてもよい。感情の当該情報はインターネットなどから受信されてもよい。
一部の実施態様において、当該エモーションユニットは、内部データベースまたは占星術ウェブサイトなどの外部リソースを参照して個々の星占いを受信し、さらに星占いに基づいて当該感情を決定してもよい。例えば、当該AIチャットボットが牡牛座の占星術師に設定されている場合、当該エモーションユニットは、占星術ウェブサイトを参照して、その日の牡牛座の星占いを取得してもよい。牡牛座の星占いが幸運日であることを示している場合、当該エモーションユニットは当該AIチャットボットにポジティブな感情を設定するなどしてもよい。
一部の実施態様において、サーバ10は、当該ライブストリーミングルームにおける当該AIチャットボットと当該ユーザの交流を処理するための記憶ユニットをさらに含んでもよい。当該記憶ユニットは、当該ライブストリーミングルーム内の当該ユーザの情報を記憶するように構成されてもよい。例えば、あるユーザが双子座であると発言した場合、当該記憶ユニットは、当該メッセージからその情報を抽出し、例えば、当該ユーザDB322やトレーニングデータDB326などに当該情報を格納してもよい。当該ユーザが当該AIチャットボットと交流すると、その情報はさらにトピックなどとして利用されてもよい。例えば、別の日に当該ユーザが当該ライブストリーミングルームに入室した場合、当該AIチャットボットが「またお会いしましたね」と声をかけたり、今週の双子座の星占いを参考に提供したりしてもよい。
図17は、本開示の一部の実施態様に基づくライブストリーミングシステム1の機能構成例を示す概略図である。一部の実施態様において、当該ライブストリーミングシステム1はさらに推論システムを含んでもよい。当該推論システムは、当該AIチャットボットに設定されるムードや感情を推論するように構成されてもよい。図17に示すように、当該AIチャットボットは異なる機能が実装されてもよい。一部の実施態様において、当該カスタマイズしたバーチャルスキン、テキストの音声読み上げ、音声のテキスト変換、キャラクターデータ、プロンプトデータなどがAIチャットボットに実装されてもよい。一部の実施態様において、上述の技術は、個別に、または組み合わせて使用されてもよい。
一部の実施態様において、当該AIチャットボットと当該ユーザ間の交流も、当該AIチャットボットに入力されてもよい。当該AIチャットボット内のデータはさらに当該推論システムに送信されてもよい。一部の実施態様において、当該AIチャットボットは、アシスタントとしても機能してもよく、また対応するデータも当該推論システムに送信されてもよい。さらに、当該ライブストリーミングルームの環境ステータスも、リアルタイムで当該推論エンジンに入力されてもよい。
一部の実施態様において、当該環境ステータスは、当該ライブストリーミングルームの知識とステータスを含んでもよい。ここで、当該「知識」とは、当該ライブストリーミングルーム内のトピックを指してもよい。一部の実施態様において、当該AIチャットボットは、当該AIチャットボットのキャラクターデータ及びパーソナリティデータに基づき、当該ユーザが興味を持っているトピックを収集してもよい。当該「ステータス」とは、当該ライブストリーミングルーム内の現在のステータスを指してもよい。例えば、当該ライブストリーミングルームのステータスは、当該ライブストリーマーの受信ポイント、配信時間の長さ、フォロワー数や登録者数等であってもよい。
一部の実施態様において、上記のすべての情報が当該推論システムに送信されてもよい。上記の入力に基づいて、当該推論システムは、当該エモーションユニットより可能性のあるムード指数を推論してもよい。ここで、ムード指数とは、当該AIチャットボットのムードを指してもよい。例えば、当該AIチャットボットのキャラクターが水瓶座である場合、当該推論エンジンは、水瓶座の今日の星占いを使用して、ムード指数を生成してもよい。さらに、当該ライブストリーミングルーム内での交流や、ユーザが興味を持っているトピックも、ムード指数を生成するための入力として使用されてもよい。さらに、当該指数がLLM(大規模言語モデル)などの機械学習モデルに入力されてもよい。さらに、当該記憶ユニットによって格納されている交流情報も当該機械学習モデルに入力されてもよい。
一部の実施態様において、当該手順はランダムに、または1日1回など定期的に実行されてもよい。一部の実施態様において、当該AIチャットボットの当該ムードは、上記手順に基づいて決定されてもよい。当該実施態様によれば、当該AIチャットボットと当該ユーザ間の交流が、当該AIチャットボットの当該ムードに基づいて異なってもよい。当該ユーザからの交流が同じであっても、当該AIチャットボットは異なるムードに基づいて異なる出力を生成してもよい。したがって、当該ライブストリーミングルーム内での楽しさが増し、ユーザエクスペリエンスが向上される可能性がある。
当該実施態様によれば、オリジナルの当該AIチャットボットが、当該推論システム、記憶ユニット、エモーションユニット等によって、トレーニングされてもよい。したがって、プロンプトデータを追加した固有のAIチャットボットを得ることができる。一部の実施態様において、当該LLMからの当該出力は、当該ライブストリーミングルームのステータスとして提供され、さらにループとして再び当該推論エンジンに入力されてもよい。したがって、当該AIチャットボットは、日によって異なるキャラクター、パーソナリティ、感情、ムードを有してもよく、当該AIチャットボットとユーザ間の交流は予測不可能で、より面白いものに成る可能性がある。したがって、やはりユーザエクスペリエンスが向上される可能性がある。
図18は、本開示の一部の実施態様に基づくシステム構成および処理を実行するためのコンピュータハードウェアの概略ブロック図である。図18の情報処理装置900は、例えば、本開示の一部の実施態様に基づく当該サーバ10と当該ユーザ端末20、30をそれぞれ実現するように構成される。
当該情報処理装置900は、CPU 901と、リードオンリーメモリ(ROM)903、ランダムアクセスメモリ(RAM)905を含む。さらに、当該情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェイス913、入力ユニット915、出力ユニット917、ストレージユニット919、ドライブ921、接続ポート925、通信ユニット929を含んでもよい。当該情報処理装置900は、カメラなどの撮像装置(図示せず)を含んでもよい。当該情報処理装置900は、CPU901に代えて、または加えて、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)等の処理回路を含んでもよい。
当該CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージユニット919、またはリムーバブル記録媒体923に記録された各種プログラムに従って、当該情報処理装置900の全体動作またはその一部の動作を制御する。例えば、当該CPU901は、上述した実施態様の当該サーバ10および当該ユーザ端末20、30に含まれる各機能ユニットの動作全般を制御する。当該ROM903は、当該CPU901が使用するプログラム、動作パラメータなどを記憶する。当該RAM905は、当該CPU901が実行する際に使用するプログラムや、当該プログラムを実行する際に適宜変化するパラメータを過渡的に記憶する。当該CPU901、当該ROM903、当該RAM905は、CPUバスなどの内部バスから構成されるホストバス907を介して互いに接続されている。当該ホストバス907は、当該ブリッジ909を介してペリフェラルコンポーネントインターコネクト/インターフェイス(PCI)バスなどの外部バス911に接続される。
当該入力ユニット915は、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバーなど、ユーザによって操作される装置である。当該入力ユニット915は、オーディオセンサ(マイクなど)、加速度センサ、傾斜センサ、赤外線センサ、深度センサ、温度センサ、湿度センサなど、物理量を電気信号に変換する装置であってもよい。当該入力ユニット915は、例えば、赤外線や別の種類の電波を利用するリモートコントロール装置であってもよい。あるいは、当該入力ユニット915は、当該情報処理装置900の動作に対応する携帯電話などの外部接続端末927であってもよい。当該入力ユニット915は、ユーザから入力される情報に基づいて入力信号を生成し、生成した入力信号を当該CPU901に出力する入力制御回路を含む。当該ユーザは当該入力ユニット915を操作することにより、各種データを入力し、当該情報処理装置900に対する処理動作の指示を行う。
当該出力ユニット917は、取得した情報をユーザに対して視覚的または聴覚的に報知することができる装置を含む。当該出力ユニット917は、例えば、LCD、PDP、OLEDなどのディスプレイ装置、スピーカー、ヘッドホンなどの音声出力装置、プリンタなどであってもよい。当該出力ユニット917は、当該情報処理装置900が実行する処理によって得られた結果を、テキスト、画像などの映像、音声などのサウンドの形で出力する。
当該ストレージユニット919はデータストレージ用装置であり、当該情報処理装置900のストレージユニットの一例である。当該ストレージユニット919は、例えば、ハードディスクドライブ(HDD)などの磁気記憶装置、半導体記憶装置、光記憶装置、光磁気記憶装置などを含む。当該ストレージユニット919は、当該CPU901が実行するプログラムや各種データ、及び外部から取得された各種データを格納する。
当該ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル記録媒体923のリーダー/ライターであり、当該情報処理装置900に内蔵または外付けされる。当該ドライブ921は、装着された当該リムーバブル記録媒体923に記録された情報を読み出し、当該RAM905に出力する。当該ドライブ921は、装着された当該リムーバブル記録媒体923に記録を書き込む。
当該接続ポート925は、当該情報処理装置900に機器を直接接続するために用いられるポートである。当該接続ポート925は、例えば、USB(ユニバーサルシリアルバス)ポート、IEEE1394ポート、またはSCSI(小型計算機システムインターフェイス)ポートであってもよい。当該接続ポート925は、RS―232Cポート、光オーディオ端子、HDMI(高精細度マルチメディアインターフェイス(登録商標))ポートなどであってもよい。当該接続ポート925に外部接続端末927が接続されることにより、当該情報処理装置900と当該外部接続端末927間の各種データのやり取りが可能になる。
当該通信ユニット929は、例えば、通信ネットワークNWに接続するための通信装置を含む通信インターフェイスである。当該通信ユニット929は、例えば、有線または無線のローカルエリアネットワーク(LAN)、Bluetooth(登録商標)、または、無線USB(WUSB)用の通信カードであってもよい。
当該通信ユニット929は、例えば、光通信用のルータ、ADSL(非対称デジタル加入者線)用のルータ、または、各種通信用のモデムであってもよい。例えば、当該通信ユニット929は、TCP/IP等の所定のプロトコルを用いて、インターネットにおける信号の送受信や、他の通信装置との信号の送受信を行う。当該通信ユニット929が接続する当該通信ネットワークNWは、有線接続または無線接続により確立されたネットワークである。当該通信ネットワークNWは、例えば、インターネット、家庭内LAN、赤外線通信、電波通信、または衛星通信である。
当該撮像装置(図示せず)は、例えば、CCD(電荷結合デバイス)やCMOS(相補型金属酸化膜半導体)などの撮像素子と、当該撮像素子上の被写体像の結像を制御するためのレンズなど各種部材を用いて現実空間を撮像し、撮像画像を生成する装置である。当該撮像装置は、静止画を撮像しても、動画を撮像してもよい。
以上、本開示のライブストリーミングシステム1について、実施形態を参照しながら説明した。上述の実施態様は、単に説明のために記載されたものである。むしろ、実施態様の上述した構成要素や処理を多様に組み合わせ、さまざまな変更がなされ得ることは、当業者であれば容易に想到し得ることであり、これらも本開示の技術的範囲に包含される。
本明細書に記載された工程、特にフローチャートやフローチャートを用いて説明された工程は、工程を構成する工程の一部の省略、工程を構成する工程に明示的に含まれない工程の追加、及び(または)工程順序の並べ替えが可能である。このような省略、追加、並べ替えの対象となった工程も、本開示の要旨を逸脱しない限り、本開示の範囲に含まれる。
一部の実施態様において、当該サーバ10が実行する機能の少なくとも一部は、当該サーバ10以外が実行してもよく、例えば、当該ユーザ端末20または30が実行するようにしてもよい。一部の実施態様において、当該ユーザ端末20または30が実行する機能の少なくとも一部を、当該ユーザ端末20または30以外が実行してもよく、例えば、当該サーバ10が実行するようにしてもよい。一部の実施態様において、フレーム画像のレンダリングは、視聴者、サーバ、ライブストリーマー等の当該ユーザ端末が実行するようにしてもよい。
さらに、上記実施態様で説明したシステムまたは方法は、固体記憶装置、光ディスク記憶装置、磁気ディスク記憶装置などの非一時的なコンピュータ可読ストレージ装置、またはコンピュータプログラム製品などで提供されてもよい。あるいは、プログラムは、インターネットを介してサーバからダウンロードされるものとしてもよい。
本開示の実施例において、当該方法は、当該サーバ、視聴者側、ストリーマー側に適用することができるが、これらに限定されるものではない。実装端末は、スマートフォン、デスクトップコンピュータ、ノートパソコン、タブレットコンピュータなどの電子端末を含むことができるが、これらに限定されない。
以上、本開示の技術的内容及び特徴を説明したが、本開示の属する技術分野において通常の知識を有する者であれば、本開示の教示及び開示から逸脱することなく、なお多くの変形及び修正を行うことができる。したがって、本開示の範囲は、既に開示された実施態様に限定されず、本開示から逸脱しない別の変形や修正を含む、後付の特許請求の範囲に含まれる範囲である。