JP2024019392A - ストリーミングデータを取り扱う方法、システム及びコンピュータプログラム - Google Patents

ストリーミングデータを取り扱う方法、システム及びコンピュータプログラム Download PDF

Info

Publication number
JP2024019392A
JP2024019392A JP2023096911A JP2023096911A JP2024019392A JP 2024019392 A JP2024019392 A JP 2024019392A JP 2023096911 A JP2023096911 A JP 2023096911A JP 2023096911 A JP2023096911 A JP 2023096911A JP 2024019392 A JP2024019392 A JP 2024019392A
Authority
JP
Japan
Prior art keywords
streaming
live streaming
implementations
streaming data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023096911A
Other languages
English (en)
Inventor
張育銓
Yu-Chuan Chang
李昆擇
Kun Ze Li
劉哲▲い▼
Che-Wei Liu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
17Live Japan Inc
Original Assignee
17Live Japan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 17Live Japan Inc filed Critical 17Live Japan Inc
Priority to JP2023096911A priority Critical patent/JP2024019392A/ja
Publication of JP2024019392A publication Critical patent/JP2024019392A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】ライブストリーミングのためのストリーミングデータを取り扱うシステム及び方法を提供する。【解決手段】ライブストリーミングのためのストリーミングデータを取り扱う方法は、ライブストリーミングのストリーミングデータを記録する工程と、ストリーミングデータをアーカイブコンテンツとして保存する工程と、アーカイブコンテンツにトランジションセグメントを追加する工程と、を含む。【効果】アーカイブコンテンツの処理時間が短縮され、ユーザエクスペリエンスを向上することができる。【選択図】図3

Description

本開示は、情報通信技術に関し、特に、ライブストリーミングのためのストリーミングデータを取り扱うシステム及び方法に関するものである。
アプリやプラットフォームの中には、ストリーマー(配信者)がライブ配信を記録するためのアーカイブサービスを提供しているものがある(例えば:非特許文献1、2参照)。ストリーマーは、自分の最高の瞬間を記録して、再生したり、ファンと共有したりして楽しむことができる。また、視聴者は、ライブ配信中に視聴できない場合、ライブ配信を記録して、後からライブ配信を再確認することができる。
アーカイブサービスは、主にストリーマーや視聴者がオフラインでストリーマーのパフォーマンスを楽しむためのアーカイブコンテンツを提供するものである。しかしながら、アーカイブコンテンツは、より多くの価値を生み出すために、さまざまな方法で利用される可能性がある。そこで、より効率的で有用なアーカイブサービスが必要とされている。
https://support.google.com/youtube/answer/6247592?hl=en https://help.twitch.tv/s/article/video-on-demand?language=en_US
本開示の目的は、ライブストリーミングのためのストリーミングデータを取り扱う方法及びシステム、コンピュータプログラムを提供することにある。
本開示の一実施形態によるライブストリーミングのためのストリーミングデータを取り扱う方法は、当該ライブストリーミングのストリーミングデータを記録する工程と、当該ストリーミングデータをアーカイブコンテンツとして保存する工程と、当該アーカイブコンテンツにトランジションセグメントを追加する工程とを含む。
本開示の別の一実施形態によるライブストリーミングのためのストリーミングデータを取り扱うシステムは、1以上のプロセッサを含み、そのうち、当該1以上のプロセッサが機械可読命令を実行して、当該ライブストリーミングのストリーミングデータを記録する工程と、当該ストリーミングデータをアーカイブコンテンツとして保存する工程と、当該アーカイブコンテンツにトランジションセグメントを追加する工程と、を実行する。
本開示の別の一実施形態によるコンピュータプログラムは、プログラム命令を含み、当該プログラム命令が1以上のプロセッサにより実行されたとき、当該1以上のプロセッサに、当該ライブストリーミングのストリーミングデータを記録する工程と、当該ストリーミングデータをアーカイブコンテンツとして保存する工程と、当該アーカイブコンテンツにトランジションセグメントを追加する工程と、を実行させる。
本開示は、当該ライブストリーミングをアーカイブして当該アーカイブコンテンツにトランジションセグメントを追加することができ、当該トランジションセグメントが参考情報を含んでもよい。これにより、当該アーカイブコンテンツの処理時間が短縮され、ユーザエクスペリエンスを向上することができる。
本開示の一部の実施態様に基づくライブストリーミングシステム1の構成を示す概略図である。 本開示の一部の実施態様に基づくユーザ端末20のブロック図である。 本開示の一部の実施態様に基づくサーバ10のブロック図である。 図3のストリームDB320の例示的データ構造を示す表である。 図3のアーカイブDB322の例示的データ構造を示す表である。 図3のトランジションDB324の例示的データ構造を示す表である。 図3の広告DB326の例示的データ構造を示す表である。 本開示の一部の実施態様に基づくライブストリーミングのためのアーカイブされたストリーミングデータを提供するサーバを示す概略図である。 本開示の一部の実施態様に基づくライブストリーミングのためのアーカイブされたストリーミングデータを提供するサーバを示す概略図である。 本開示の一部の実施態様に基づくライブストリーミングのためのアーカイブされたストリーミングデータを提供するサーバを示す概略図である。 本開示の一部の実施態様に基づくライブストリーミングのためのアーカイブされたストリーミングデータを提供するサーバを示す概略図である。 本開示の一部の実施態様に基づくライブストリーミングのためのアーカイブされたストリーミングデータを提供するサーバを示す概略図である。 本開示の一部の実施態様に基づくトランジションセグメントの例示的画面である。 本開示の一部の実施態様に基づくトランジションユニット312の動作例を示す図である。 本開示の一部の実施態様に基づくアーカイブサービスの構成の動作を示す例示的なシーケンス図である。 本開示の一部の実施態様に基づくアーカイブサービスの構成の動作を示す例示的なシーケンス図である。 本開示の一部の実施態様に基づくアーカイブサービスの構成の動作を示す例示的なシーケンス図である。 本開示の一部の実施態様に基づく情報処理装置の例示的なハードウェア構成である。
以下、各図面に示す同一または類似の構成要素、部材、手順または信号には、すべての図面において同様の符号を付し、それによって重複する説明は適宜省略される。また、各図面の説明において重要でない一部部材は省略される。
本開示の一部の実施態様に基づくライブストリーミングシステム1は、ユーザ間のコミュニケーションと交流を円滑にする強化機能を提供する。より具体的には、技術的な方法で視聴者やストリーマーを楽しませるものである。
図1に本開示の一部の実施態様に基づくライブストリーミングシステム1の構成を示す概略図を示す。当該ライブストリーミングシステム1は、ストリーミング配信者(ライブ配信者またはストリーマーとも呼ばれる)LVと視聴者(観衆とも呼ばれる)AU(AU1、AU2...)に、リアルタイムで相互交流するためのライブストリーミングサービスを提供する。図1に示すように、当該ライブストリーミングシステム1は、サーバ10と、ユーザ端末20と、ユーザ端末30(30a、30b...)を含むことができる。当該ユーザ端末20はストリーマー、当該ユーザ端末30は視聴者であってもよい。一部の実施態様において、当該ストリーマーと視聴者はユーザと呼ばれてもよい。当該サーバ10は、ネットワークNWを介して接続された、1または複数の情報処理装置を含むことができる。当該ユーザ端末20、30は、例えば、スマートフォン、タブレット、ノートPC、レコーダー、携帯ゲーム機、ウェアラブル端末などの携帯端末や、デスクトップPCなどの据置型コンピュータであってもよい。当該サーバ10、ユーザ端末20、ユーザ端末30は、任意の種類の有線または無線ネットワークNWにより通信可能に接続されてもよい。
当該ライブストリーミングシステム1には、当該ストリーマーLV、当該視聴者AU、当該サーバ10を提供するアプリプロバイダー(図示せず)が関与する。当該ストリーマーLVは、 自身の歌、トーク、パフォーマンス、ゲームストリーミングなどのコンテンツを自身のユーザ端末20で収録して当該サーバ10にアップロードし、リアルタイムでコンテンツを配信する者となることができる。一部の実施態様において、当該ストリーマーLVは、当該ライブストリーミングを介して当該視聴者AUと交流することができる。
当該アプリプロバイダーは、当該サーバ10においてライブストリーミングされるコンテンツのためのプラットフォームを提供することができる。一部の実施態様において、当該アプリプロバイダーは、当該ストリーマーLVと当該視聴者AU間のリアルタイム通信を管理するメディアまたはマネージャーであってもよい。当該視聴者AUは、当該ユーザ端末30により当該プラットフォームにアクセスし、自身が視聴したいコンテンツを選択して視聴することができる。当該視聴者AUは、当該ユーザ端末30により当該ストリーマーに対してコメントしたり、応援したりする操作を行うことができる。コンテンツを提供する当該ストリーマーは、当該コメントや応援に応答することができる。当該ストリーマーの応答は、映像及び(または)音声などにより当該視聴者AUに送信することができる。従って、当該ストリーマーと視聴者間の相互通信を達成することができる。
本明細書でいう「ライブストリーミング」とは、当該ストリーマーLVが当該ユーザ端末20により記録したコンテンツを、当該視聴者AUが当該ユーザ端末30を介して実質的に再生・視聴することを可能にする、データ伝送を指すことができる。一部の実施態様において、「ライブストリーミング」は、上述のデータ伝送により実現されるストリーミングを指すこともある。当該ライブストリーミングは、HTTPライブストリーミング、CMAF(Common Media Application Format)、WebRTC(Web Real-Time Communications)、RTMP(Real-Time Messaging Protocol)、MPEG DASHなど、公知の技術によって実現することができる。当該ライブストリーミングは、さらに、当該ストリーマーがコンテンツを記録している間、当該視聴者AUが特定の遅延をもって当該コンテンツを再生または視聴することができる、実施形態を含むことができる。当該遅延の程度については、少なくとも当該ストリーマーLVと当該視聴者AUがコミュニケーションを行うことができる程度に小さいことが望ましい。ただし、ライブストリーミングは、いわゆるオンデマンド配信とは異なる。より具体的に、当該オンデマンド配信とは、当該コンテンツを記録したすべてのデータをサーバに格納し、ユーザの要求に応じてランダムなタイミングで当該サーバから当該ユーザにデータを提供することを指すことができる。
本明細書における「ストリーミングデータ」とは、画像データや音声データを含むデータを指すことができる。より具体的に、当該画像データ(ビデオデータと呼んでもよい)は、当該ユーザ端末20と30の画像キャプチャ機能によって生成されてもよい。当該音声データ(オーディオデータと呼んでもよい)は、当該ユーザ端末20と30の音声入力機能により生成されてもよい。当該ストリーミングデータを当該ユーザ端末20、30で再生し、ユーザに関するコンテンツを視聴できるようにしてもよい。一部の実施態様において、当該ストリーマーの当該ユーザ端末でストリーミングデータが生成されてから、当該視聴者の当該ユーザ端末で再生されるまでの間、圧縮、拡張、エンコード、デコード、トランスコードなど、データの形式、サイズ、規格を変更する処理が想定される。このような処理の前と後、当該コンテンツ(映像や音声)は実質的に変更されず、このため、本開示の現在の実施態様においては、処理される前のストリーミングデータと処理された後のストリーミングデータは同じであると説明される。つまり、当該ストリーマーの当該ユーザ端末により生成された当該ストリーミングデータが、当該サーバ10を介して当該視聴者の当該ユーザ端末で再生される場合、当該ストリーマーの当該ユーザ端末で生成された当該ストリーミングデータ、当該サーバ10を通過した当該ストリーミングデータ、そして当該視聴者の当該ユーザ端末が受信して再生する当該ストリーミングデータは、すべて同じストリーミングデータである。
図1に示すように、ストリーマーLVはライブストリーミングを提供する。当該ストリーマーのユーザ端末20は、当該ストリーマーの映像及び(または)音声を記録することにより、ストリーミングデータを生成し、ネットワークNWを介してサーバ10に送信する。同時に、当該ユーザ端末20は映像VDを当該ユーザ端末20のディスプレイ上に表示し、当該ストリーマーLVのストリーミングコンテンツをチェックすることができる。
当該ストリーマーのライブストリーミングの提供をプラットフォームに要求するユーザ端末30a、30bの視聴者AU1、AU2は、当該ネットワークNWを介して当該ライブストリーミングに対応するストリーミングデータを受信し、受信したストリーミングデータを再生してディスプレイ上に映像VD1、VD2を表示し、スピーカーなどから音声を出力することができる。当該ユーザ端末30a、30b上にそれぞれ表示される当該映像VD1、VD2は、当該ストリーマーLVの当該ユーザ端末により記録された当該映像と実質的に同じであり、当該ユーザ端末30a、30bから出力される当該音声は、当該ストリーマーLVの当該ユーザ端末により記録された当該音声と実質的に同じである。
当該ストリーマーの当該ユーザ端末20での記録は、当該視聴者AU1、AU2の当該ユーザ端末30a、30bでのストリーミングデータの再生と同時であってもよい。当該視聴者AU1が当該ストリーマーLVのコンテンツに関するコメントを当該ユーザ端末30aに入力すると、当該サーバ10は、当該コメントを当該ストリーマーの当該ユーザ端末20にリアルタイムで表示するとともに、当該視聴者AU1、AU2の当該ユーザ端末30a、30bにもそれぞれ表示する。当該ストリーマーLVが当該コメントに応答した場合、当該応答を当該視聴者AU1、AU2の当該ユーザ端末30a、30bからテキスト、画像、映像または音声として出力し、当該ストリーマーLVと当該視聴者AU1、AU2のコミュニケーションを実現することができる。従って、当該ライブストリーミングシステムは、双方向通信のライブストリーミングを実現することができる。
図2は、本開示の実施態様に基づく、図1に示すユーザ端末20の機能と構成を示すブロック図である。当該ユーザ端末30は、当該ユーザ端末20と同様の機能と構成を有する。本明細書のブロック図に描かれているブロックは、コンピュータのCPUなどのデバイスや機械部品などのハードウェア、およびこれらの要素の連携によって実施される機能ブロックを表現する、コンピュータプログラムなどのソフトウェアで実施される。したがって、機能ブロックは、ハードウェアとソフトウェアの組み合わせによる多様な態様で実装され得ることが、当業者には理解されよう。
当該ストリーマーLVと視聴者AUは、ネットワークNWを介して、ダウンロードサイトから本開示のライブストリーミングアプリケーション(ライブストリーミングアプリ)を当該ユーザ端末20と30にダウンロードしてインストールすることができる。または、当該ライブストリーミングアプリは、当該ユーザ端末20と30に予めインストールされていてもよい。当該ユーザ端末20と30によるライブストリーミングの実行により、当該ユーザ端末20と30は、当該ネットワークNWを介して当該サーバ10と通信し、複数の機能を実現することができる。当該ユーザ端末20と30(より具体的に、CPUなどのプロセッサ)による当該ライブストリーミングアプリの実行により実現される当該機能は、当該ユーザ端末20と30の機能として以下で説明される。当該機能は基本的に、当該ライブストリーミングアプリが当該ユーザ端末20と30に実現させる機能である。一部の実施態様において、これらの機能は、ネットワークNWを介して当該サーバ10から当該ユーザ端末20と30のウェブブラウザに送信し、当該ウェブブラウザのコンピュータプログラムにより実行されることにより実現されてもよい。当該コンピュータプログラムは、HTML(Hyper Text Markup Language)などのプログラミング言語で書かれていてもよい。
当該ユーザ端末20は、ストリーミングユニット100と視聴ユニット200を含む。一部の実施態様において、当該ストリーミングユニット100は、ユーザのオーディオ及び(または)ビデオデータを記録し、当該サーバ10に送信するストリーミングデータを生成するように構成される。当該視聴ユニット200は、サーバ10からストリーミングデータを受信し、再生するように構成される。一部の実施態様において、ユーザは、ブロードキャスト時に当該ストリーミングユニット100を作動させる、またはストリーミングを視聴するときに当該視聴ユニット200を作動させることができる。一部の実施態様において、当該ストリーミングユニット100を作動させる当該ユーザ端末は、ストリーマーと呼ぶことができ、またはストリーミングデータを生成する当該ユーザ端末と呼ぶことができる。当該視聴ユニット200を作動させる当該ユーザ端末は、視聴者と呼ぶことができ、または当該ストリーミングデータを再生する当該ユーザ端末と呼ぶことができる。
当該ストリーミングユニット100は、ビデオコントロールユニット102と、オーディオコントロールユニット104と、配信ユニット106と、UIコントロールユニット108を含むことができる。当該ビデオコントロールユニット102は、カメラ(図示せず)に接続されてもよく、当該映像は当該カメラにより制御される。当該ビデオコントロールユニット102は、当該カメラから当該ビデオデータを取得することができる。当該オーディオコントロールユニット104は、マイク(図示せず)に接続されてもよく、音声は当該マイクにより制御される。当該オーディオコントロールユニット104は、当該マイクから当該オーディオデータを取得することができる。
当該配信ユニット106は、当該ビデオコントロールユニット102からのビデオデータと、当該オーディオコントロールユニット104からのオーディオデータを含むストリーミングデータを受信し、ネットワークNWを介して当該サーバ10に送信する。一部の実施態様において、当該配信ユニット106は当該ストリーミングデータをリアルタイムで送信する。つまり、当該ビデオコントロールユニット102と当該オーディオコントロールユニット104からの当該ストリーミングデータの生成と、当該配信ユニット106の配信は同時に実行される。
当該UIコントロールユニット108は、当該ストリーマーのUIを制御する。当該UIコントロールユニット108はディスプレイ(図示しない)に接続され、当該配信ユニット106が当該ストリーミングデータを送信し、再生して当該ディスプレイ上に表示する相手に対して当該ストリーミングデータを生成するように構成される。当該UIコントロールユニット108は、操作するオブジェクトまたは指示を受けるオブジェクトをディスプレイ上に表示し、ストリーマーからのタップ入力を受け付けるように構成される。
当該視聴ユニット200は、UIコントロールユニット202と、レンダリングユニット204と、入力ユニット206を含んでもよい。当該視聴ユニット200は、ネットワークNWを介してサーバ10からストリーミングデータを受信するように構成される。当該UIコントロールユニット202は、当該視聴者のUIを制御する。当該UIコントロールユニット202は、ディスプレイ(図示せず) 及び(または)スピーカー(図示せず)に接続され、当該ストリーミングデータを再生することにより、当該ディスプレイ上に映像を表示し、当該スピーカーから音声を出力するように構成される。一部の実施態様において、当該ディスプレイ上に映像を出力し、当該スピーカーから音声を出力することを「ストリーミングデータを再生する」ことと呼ぶことができる。
当該UIコントロールユニット202は、タッチパネルやキーボード、ディスプレイなどの入力ユニットに接続され、ユーザからの入力を取得することができる。当該レンダリングユニット204は、当該サーバ10からのストリーミングデータと、フレーム画像とをレンダリングするように構成されてもよい。当該フレーム画像は、ユーザからの入力、視聴者により入力されたコメント、当該サーバ10から受信したデータを受け付けるためのユーザインターフェイスオブジェクトを含んでもよい。当該入力ユニット206は、当該UIコントロールユニット202から当該ユーザ入力を受信し、当該ネットワークNWを介して当該サーバ10に送信するように構成される。
図3は、本開示の一部の実施態様に基づくサーバ10のブロック図である。当該サーバ10は、ストリーミング情報ユニット302、中継ユニット304、記録ユニット306、処理ユニット308、トランジションユニット312、ストリームDB320、アーカイブDB322、トランジションDB324、広告DB326を含んでもよい。
当該ストリーミング情報ユニット302は、当該ネットワークNWを介して当該ストリーマーの当該ユーザ端末20からライブストリーミングの要求を受信する。要求を受信すると、当該ストリーミング情報ユニット302は、当該ライブストリーミングの情報を当該ストリームDB320に登録する。一部の実施態様において、当該ライブストリーミングの情報は、当該ライブストリーミングのストリームID及び(または)当該ライブストリーミングに対応する当該ストリーマーのストリーマーIDであってもよい。
当該視聴者から当該ネットワークNWを介して当該ユーザ端末30の当該視聴ユニット200から当該ライブストリーミングの当該情報の提供要求を受信すると、当該ストリーミング情報ユニット302は当該ストリームDB320を参照し、利用可能なライブストリーミングのリストを生成する。
その後当該ストリーミング情報ユニット302は、当該ネットワークNWを介して当該ユーザ端末30に当該リストを送信する。当該ユーザ端末30の当該UIコントロールユニット202は、当該リストに基づいてライブストリーミング選択画面を生成し、当該ユーザ端末30のディスプレイ上に当該リストを表示する。
当該ユーザ端末30の当該入力ユニット206は、当該ライブストリーミング選択画面上での当該視聴者によるライブストリーミングの選択を受信すると、選択された当該ライブストリーミングの当該ストリームIDを含む配信要求を生成し、当該ネットワークを介して当該サーバ10に送信する。当該ストリーミング情報ユニット302は、当該配信要求で当該ストリームIDにより指定された当該ライブストリーミングの当該ユーザ端末30に対する提供を開始することができる。当該ストリーミング情報ユニット302は、当該ストリームDB320を更新し、当該ユーザ端末30の当該視聴者の視聴者IDを当該ストリームIDの当該ストリーマーIDに追加することができる。
当該中継ユニット304は、当該ストリーミング情報ユニット302により開始された当該ライブストリーミングにおいて、当該ストリーマーの当該ユーザ端末20から、当該視聴者の当該ユーザ端末30へのライブストリーミングの送信を中継することができる。当該中継ユニット304は、ストリーミングデータの再生中に、当該視聴者からのユーザ入力を示す信号を当該入力ユニット206から受信することができる。当該ユーザ入力を示す当該信号は、当該ユーザ端末30のディスプレイに表示されるオブジェクトの指定を示すオブジェクト指定信号であってもよい。当該オブジェクト指定信号は、当該視聴者の視聴者ID、当該視聴者が視聴しているライブストリーミングを配信するストリーマーのストリーマーID、及び当該オブジェクトにより指定されるオブジェクトIDを含んでもよい。当該オブジェクトが贈り物などである場合、当該オブジェクトIDは、贈り物IDなどであってもよい。同様に、当該中継ユニット304は、ストリーミングデータの再生中に、当該ユーザ端末20の当該ストリーミングユニット100から、例えば当該オブジェクト指定信号など、当該ストリーマーのユーザ入力を示す信号を受信することができる。
当該記録ユニット306は、当該ライブストリーミングを記録するように構成されてもよい。一部の実施態様において、当該記録ユニット306は、当該ストリーマーの当該ユーザ端末20による設定に基づき、自動でまたは手動で当該ライブストリーミングを記録してもよい。例えば、当該ストリーマーは当該ライブストリーミングを開始する前に、当該ライブストリーミングを自動的に記録してアーカイブするために、自動アーカイブ切り替えをオンにしてもよい。当該記録ユニット306は、当該ストリーマーが配信を開始したとき当該ライブストリーミングの記録を開始し、当該ライブストリーミングが終了したら記録を停止してもよい。一部の実施態様において、当該ストリーマーまたは当該視聴者は、当該ライブストリーミング中、手動で当該ライブストリーミングをクリップしてもよい。
一部の実施態様において、当該記録ユニット306は、当該アーカイブコンテンツの最大期間、例えば8時間など、当該ライブストリーミングを記録してもよい。例えば、当該記録ユニット306は、最大8時間などの期間、当該ライブストリーミングを記録してもよい。当該ライブストリーミングの持続期間が8時間未満の場合、当該記録ユニット306は、当該ライブストリーミングを記録してアーカイブしてもよい。しかし、当該ライブストリーミングが8時間より長い場合、当該記録ユニット306は当該ライブストリーミングを8時間記録し、さらに次の8時間またはそれ以下の別の記録を開始してもよい。
一部の実施態様において、当該記録ユニット306は当該ライブストリーミングの当該アーカイブコンテンツをGoogle Cloudなどのストレージに保存し、当該アーカイブコンテンツのデータを参照とさらなる処理のために当該アーカイブDB322に登録してもよい。一部の実施態様において、HTTPライブストリーミング(HLS)などの任意の可能な伝送プロトコルが、当該サーバと当該ユーザ端末との間で適用されてもよい。一部の実施態様において、当該記録ユニット306は、ストリーミングソースからライブストリーミングを受信し、当該ライブストリーミングをアーカイブコンテンツとして記録してもよい。
ライブストリーミングの通信時には、異なる伝送プロトコルが使用されてもよい。ここでは、HTTPライブストリーミング(HLS)を例に挙げて説明する。HTTPライブストリーミング(HLS)は、Apple社が提唱するHTTPベースのストリーミングメディアネットワーク伝送プロトコルである。HLSは、M3U8セグメントインデックスファイルとトランスポートストリーム(TS)セグメントとで構成される。
M3U8ファイルは、tsセグメントのインデックスファイルと呼ばれてもよく、tsセグメントのダウンロードアドレスをサーバに格納するために使用されてもよい。ユーザ端末は、M3U8ファイルに基づき、tsセグメントを順番に読み出すことができる。tsセグメントは、ビデオファイル全体やビデオストリームを分割して得られるビデオクリップと呼んでもよい。
HLSは、オーディオおよびビデオストリーム全体をダウンロード用にHTTPベースの小さなファイルに分割し、毎回ファイルの一部のみがダウンロードされてもよい。メディアストリームの再生時、視聴者は、多くの異なる代替ソースから異なるレートで同じリソースをダウンロードすることを選択し、ストリーミングメディアセッションが異なるデータレートに適応するようにしてもよい。
異なるストリーミングソースは、FLVまたはM3U8などのストリーミングデータの異なる形式を提供してもよい。当該記録ユニット306は、ストリーミングソースからストリーミングデータを受信し、当該ストリーミングデータの形式を任意の種類の形式に変換して処理してもよい。当該記録ユニット306は、当該アーカイブコンテンツを任意の可能な形式のストリーミングデータとして記録し、保存してもよい。ここでは、tsセグメントを用いたM3U8プレイリストを例に挙げて説明する。当該記録ユニット306は、当該処理ユニット308が確認し、ストレージに格納するために、当該ライブストリーミングのストリーミングデータをtsセグメントとして記録してもよい。
当該処理ユニット308は、当該アーカイブコンテンツを処理するように構成されてもよい。一部の実施態様において、当該処理ユニット308は、当該アーカイブコンテンツをトランスポートストリーム(TS)セグメントとして格納してもよい。当該処理ユニット308は、当該TSセグメントに対してM3U8再生リストをさらに生成してもよい。一部の実施態様において、当該処理ユニット308は、7日、14日などの特定の期間、ストレージおよびデータベースに当該アーカイブコンテンツを保持してもよい。これにより、メモリが効率的に使用される。
一部の実施態様において、当該処理ユニット308は、ライブストリーミングがアクセス不能である場合に、当該視聴者の当該ユーザ端末30に当該アーカイブコンテンツを提供してもよい。ここで、アクセス不能とは、当該ライブストリーミングが終了したこと、または、当該ライブストリーミングが当該視聴者によって引き出せないことを指してもよい。例えば、当該視聴者は、1つの面白いライブストリーミングを見つけたり、ライブストリーミングのプッシュ通知を受け取ったりすることがある。当該視聴者が当該ライブストリーミングやプッシュ通知をすぐにクリックしない場合、当該ライブストリーミングにアクセスする際に、そのライブストリーミングが終了している可能性がある。その場合、当該視聴者は落胆し、何もせずに去るしかない可能性がある。このような場合、当該処理ユニット308は、当該視聴者の当該ユーザ端末30に、当該アーカイブコンテンツを提供してもよい。一部の実施態様において、当該処理ユニット308は、停電時など、当該ライブストリーミングがアクセス不能な場合に、当該アーカイブコンテンツで提供してもよい。
一部の実施態様において、当該処理ユニット308は、ライブストリーミング中の記録に適切でないセグメントを検出してもよい。より具体的に、当該ライブストリーミングは、記録に適していないいくつかのセグメントを含むことがある。例えば、グループ通話やPKモードなどの複数のユーザ交流モードの間、技術的または個人的な理由で記録できないことがある。より具体的には、アプリまたはプラットフォームが、複数のユーザ交流モードにおける記録をサポートしない、あるいは他のストリーマーが、アーカイブコンテンツに表示されることを望まない可能性がある。別の例として、当該ライブストリーミングは、個人情報(名前、住所など)またはいくつかの不適切なコンテンツなど、記録に適さないいくつかの特定の情報を含む可能性がある。
一部の実施態様において、当該処理ユニット308は、当該アーカイブコンテンツ内の当該特定の情報を含む部分を削除してもよい。例えば、当該記録ユニット306は、当該ライブストリーミング全体を記録して、処理ユニット308は、当該特定の情報を含む部分を検出し、当該アーカイブコンテンツからそれらを削除してもよい。当該記録ユニット306は、当該特定の情報を含まない当該ライブストリーミングを記録し、当該特定の情報が検出されたときに記録を停止してもよい。さらに、当該処理ユニット308は、複数のアーカイブコンテンツを1つのアーカイブコンテンツとして結合してもよい。これにより、当該アーカイブコンテンツが見やすくなり、ユーザエクスペリエンスが向上される可能性がある。
一部の実施態様において、当該処理ユニット308は、当該アーカイブコンテンツにおいてトランジションセグメントを追加してもよい。一部の実施態様において、当該処理ユニット308は、当該アーカイブコンテンツにおいてトランジションセグメントを挿入してもよい。一部の実施態様において、特定の情報が当該アーカイブコンテンツの一部分に含まれてもよい。一部の実施態様において、当該処理ユニット308は、当該アーカイブコンテンツの当該部分を当該トランジションセグメントで置き換えてもよい。一部の実施態様において、当該処理ユニット308は、 当該アーカイブコンテンツの当該部分の上に当該トランジションセグメントを追加してもよい。一部の実施態様において、当該処理ユニット308は、当該特定の情報を覆うために、当該アーカイブコンテンツの当該部分上に対して処理を実行してもよい。
一部の実施態様において、当該トランジションセグメントは、テキスト、画像、動画または音声などを含んでもよい。一部の実施態様において、当該トランジションセグメントは、当該トランジションセグメントの前または後における当該アーカイブコンテンツに関連する情報を含んでいてもよい。例えば、当該ストリーマーが車について話している場合、当該トランジションセグメントはその車の広告などの情報を含んでいてもよい。当該ストリーマーがパフォーマンスを行う場合、当該トランジションセグメントはそのパフォーマンスを紹介する情報を含んでいてもよい。一部の実施態様において、当該トランジションセグメントは、当該トランジションセグメント中に、当該アーカイブコンテンツに関連する情報を含んでいてもよい。より具体的には、当該アーカイブコンテンツの一部分にグループ通話やPKモードなどの複数ユーザの交流が含まれる場合、その複数ユーザの交流の部分をトランジションセグメントに置き換えてもよく、当該トランジションセグメントは、当該部分に関する情報、例えば、「グループ通話またはPKが進行中」などを含んでもよい。一部の実施態様において、当該トランジションセグメントは、当該アーカイブコンテンツが中断していることを視聴者に知らせるための任意の情報を含んでいてもよい。例えば、当該トランジションセグメントは、「しばらくして」、「この部分は省略されています」等の情報を含んでもよい。一部の実施態様において、当該トランジションセグメントは、推奨ストリーマー、広告、販売、ニュース、アンケートなど、その他の情報を含んでいてもよい。一部の実施態様において、当該トランジションセグメントは、当該ストリーマーの紹介、当該ストリーマーのライブ配信スケジュールなど、当該ストリーマーの情報を含んでいてもよい。
一部の実施態様において、当該トランジションセグメントの持続時間は柔軟に決定されてもよい。例えば、当該トランジションセグメントの持続時間は、視聴者が当該トランジションセグメントの情報を把握するに足る長さであり、かつ当該視聴者が当該トランジションセグメントを嫌だと感じない程度の短さの範囲とすることができる。一部の実施態様において、当該トランジションセグメントの持続時間は、3、5、10、15、30、60秒またはそれ以上の特定の時間とすることができる。一部の実施態様において、トランジションセグメントで当該アーカイブコンテンツの一部分を置き換える場合、当該トランジションセグメントの持続時間は、当該アーカイブコンテンツの当該部分の持続時間と同じであってもよい。例えば、当該アーカイブコンテンツの一部分がグループ通話またはPKモードを含み、当該部分がトランジションセグメントで置き換えられる場合、当該トランジションセグメントの持続時間は、グループ通話またはPKモードの持続時間と同じであってもよい。したがって、視聴者は、ライブストリーミングのタイムラインを理解することができ、ユーザエクスペリエンスが向上される。一部の実施態様において、当該トランジションセグメントの持続時間は、5秒など、当該アーカイブコンテンツの当該部分より短くてもよい。これにより視聴者は、当該トランジションセグメントによって邪魔されない。一部の実施態様において、当該トランジションセグメントは、視聴者が当該トランジションセグメントをスキップするためのUIオブジェクトボタンを含んでもよい。これにより視聴者は、当該トランジションセグメントを見るか見ないかを選択することができ、ユーザエクスペリエンスが向上される可能性がある。
一部の実施態様において、当該処理ユニット308は、特定の時間間隔ごとに当該アーカイブコンテンツ内にトランジションセグメントを追加してもよい。例えば、当該トランジションセグメントは、1時間ごとなどに追加されてもよい。この実施態様によれば、当該トランジションセグメントは、当該アーカイブコンテンツの視聴時間を視聴者に通知するリマインダであってもよく、視聴者に休憩を取るように通知するリマインダなどであってもよい。
一部の実施態様において、当該処理ユニット308は、イベントが発生する前、またはイベントが終了した後に、当該アーカイブコンテンツ内にトランジションセグメントを追加してもよい。例えば、当該処理ユニット308は、ストリーマーからのパフォーマンスなど、当該アーカイブコンテンツにおける特別な瞬間を検出してもよく、当該処理ユニット308は当該特別な瞬間が来ることを示し、視聴者に当該特別な瞬間を待ってもらうために、当該特別な瞬間の前にトランジションセグメントを追加してもよい。別の例として、当該処理ユニット308は、ストリーマーからの抽選イベントを検出してもよく、当該処理ユニット308は、当該イベントの後にトランジションセグメントを追加して、参考用に当該抽選の結果をレビューまたはまとめてもよい。
一部の実施態様において、当該処理ユニット308は、 当該アーカイブコンテンツの一部分の上に当該トランジションセグメントを追加してもよい。一部の実施態様において、当該トランジションセグメントは、ID認証、パスワード入力などの認証情報を含んでもよい。例えば、特定の情報を含む部分は、成人、VIP視聴者またはフォロワー専用のものであってもよく、トランジションセグメントが当該部分上に追加され、視聴者は当該部分にアクセスするために認証を完了する必要があってもよい。一部の実施態様において、当該トランジションセグメントは、視聴者が当該部分へのアクセスを得るために支払いを行うための支払い情報を含んでもよい。一部の実施態様において、当該処理ユニット308は、当該部分をロックするために、当該部分の直前と直後に一連のトランジションセグメントを追加してもよい。
当該トランジションユニット312は、トランジションセグメントを生成するように構成されてもよい。一部の実施態様において、当該トランジションセグメントは、手動または自動で提供されてもよい。一部の実施態様において、当該トランジションセグメントのコンテンツも、手動または自動で追加されてもよい。一部の実施態様において、当該トランジションセグメントは、ストリーマー、視聴者などにより提供されてもよい。一部の実施態様において、当該トランジションセグメントは事前に、またはリアルタイムで提供されてもよい。一部の実施態様において、当該トランジションセグメントを作成するために、機械学習技術が適用されてもよい。例えば、ライブストリーミングのコンテンツがトランジションセグメントにおいて適切なコンテンツと一致するかを検出するために機械学習モードをトレーニングし、使用してもよい。
図4に、図3のストリームDB320の例示的データ構造を示す表を示す。当該ストリームDB320は、ライブストリーミングを識別するストリームIDと、それぞれのライブストリーミングを行うストリーマーを識別するストリーマーIDと、それぞれのライブストリーミングを視聴する視聴者を識別する視聴者IDとを関連付けて記憶する。
図5に、図3のアーカイブDB322の例示的データ構造を示す表を示す。当該アーカイブDB322は、アーカイブコンテンツを識別するアーカイブIDと、当該アーカイブコンテンツの時刻を識別するタイムスタンプと、当該アーカイブコンテンツの持続時間を識別する持続時間と、当該アーカイブコンテンツの場所を識別するアーカイブURLとを関連付けて記憶する。
図6に、図3のトランジションDB324の例示的データ構造を示す。当該トランジションDB324は、トランジションセグメントを識別するトランジションID、当該トランジションセグメントの持続時間を識別する持続時間、当該トランジションセグメントのジャンルや情報を特定するタグ、当該トランジションセグメントの位置を特定するトランジションURLとを関連付けて記憶する。
図7に、図3の広告DB326の例示的データ構造を示す表を示す。当該広告DB326は、広告を識別する広告IDと、当該広告のジャンル及び情報を識別するタグと、当該広告の位置を識別する広告 URLとを関連付けて記憶する。一部の実施態様において、当該ストリームDB320、アーカイブDB322、トランジションDB324、広告DB326は、アーカイブサービスに必要な他のデータを含んでもよい。
図8から図12に、本開示の一部の実施態様に基づくライブストリーミングLSのためのアーカイブされたストリーミングデータを提供するサーバを示す概略図を示す。図8に示すように、ストリーマーLVの当該ユーザ端末20は、動画VDのライブストリーミングLSを、ストリーミングサーバなどのサーバにプッシュしてもよい。当該ストリーマーLVは、1回以上ライブストリーミングLSを開始および終了してもよい。当該記録ユニット306は、当該ライブストリーミングLSを当該アーカイブコンテンツとして自動的に、または手動により記録してもよい。一部の実施態様において、当該ストリーマーがライブストリーミングLSを3回開始して終了した場合、3つのアーカイブコンテンツがクリップ1、クリップ2、クリップ3としてアーカイブされてもよい。当該ユーザ端末30aの当該視聴者AU1は、視聴したいクリップを選択し、当該動画VD1をディスプレイに表示してもよい。
図9に示すように、当該ユーザ端末20のストリーマーLVは、一定期間のライブストリーミングLSを開始して終了してもよく、当該ライブストリーミングLSは、特定の情報を含む特定の部分SPを含んでもよい。一部の実施態様において、当該処理ユニット308は、当該アーカイブコンテンツから当該特定の部分SPを削除してもよい。より具体的には、当該処理ユニット308は、当該アーカイブコンテンツを細かく切断し、当該特定の部分SPを含む部分を削除してもよい。
図10に示すように、当該処理ユニット308は、さらに、同じライブストリーミングのクリップを1つのクリップに結合してもよい。これにより、当該視聴者AU1が見やすくなり、ユーザエクスペリエンスが向上される可能性がある。一部の実施態様において、当該処理ユニット308は、当該アーカイブコンテンツにおいてトランジションセグメントを追加してもよい。例えば、トランジションセグメントをクリップ間に挿入して1つのクリップを形成してもよい。
図11に示すように、当該処理ユニット308は、当該特定の部分SPをトランジションセグメントで置き換えてもよい。一部の実施態様において、当該トランジションセグメントの持続時間は、当該特定の部分SPと同じ、またはより短い、あるいは特定の持続時間であってもよい。一部の実施態様において、当該処理ユニット308は、当該特定の部分SPの上にトランジションセグメントを追加して、当該視聴者が当該特定の部分SPを視聴しないようにしてもよい。
図12に示すように、当該処理ユニット308は、当該アーカイブコンテンツの当該特定の部分SPに対して処理を実行してもよい。例えば、アーカイブコンテンツは、ライブストリーミングLS中にストリーマーLVがブロードキャストしている画面600を含んでもよい。しかし、当該特定の部分SPの間に、当該ストリーマーがPKモードまたはグループ通話で視聴者AU1と交流する画面602が表示されてもよい。一部の実施態様において、他の視聴者AU1の当該動画は、技術的または個人的な理由で、当該アーカイブコンテンツに表示することが適切でない場合がある。一部の実施態様において、当該処理ユニット308は、当該特定の部分SPの特定の情報に対して、トランジションセグメントを追加するなどの処理を実行してもよい。例えば、他の視聴者AU1の動画は、モザイクなどのオブジェクト638によって覆われても、重なってもよい。一部の実施態様において、トランジションセグメントは特定の情報上に埋め込まれてもよい。
図13は、本開示の一部の実施態様に基づくトランジションセグメントの例示的画面610である。一部の実施態様において、当該トランジションセグメントは、販売に関連する情報612を含んでもよい。例えば、販売に関連する当該情報612は、割引やアプリ内ポイントなどの宣伝を含んでもよい。一部の実施態様において、当該トランジションセグメントは、広告などの情報614を含んでもよい。一部の実施態様において、広告などの当該情報614は、当該トランジションセグメントの前または後の当該アーカイブコンテンツに関連してもよい。例えば、当該ストリーマーが車について会話している場合、この会話の後のトランジションセグメントは、その車の広告などの情報を含んでもよい。一部の実施態様において、当該トランジションセグメントは、当該トランジションセグメントの間の当該アーカイブコンテンツに関連する情報616を含んでもよい。例えば、当該情報616は、「ストリーマーがグループ通話中である」等の情報を含んでもよい。一部の実施態様において、該トランジションセグメントは、お勧めストリーマーリストなどの情報618を含んでもよい。一部の実施態様において、当該トランジションセグメント上に追加される情報を選択するために、機械学習技術が適用されてもよい。一部の実施態様において、当該トランジションセグメントは、当該トランジションセグメントをスキップするなどの当該トランジションセグメントと視聴者が相互作用するためのボタンオブジェクト620を含んでもよい。
図14は、本開示の一部の実施態様に基づくトランジションユニット312の動作例を示す図である。図14に示すように、機械学習モデル350は、当該トランジションセグメントを作成するために適用されてもよい。当該機械学習モデル350は、当該ライブストリーミングのコンテンツを識別するために訓練されてもよい。当該機械学習モデル350は、当該ライブストリーミングデータを受信し、当該ライブストリーミングのコンテンツを識別してもよい。より具体的には、当該機械学習モデル350の入力は、当該ライブストリーミングデータであってもよく、当該機械学習モデル350の出力は、当該ライブストリーミングのジャンル及び情報を識別するコンテンツのタグであってもよい。例えば、短髪の女性ストリーマーが配信で車について話す場合、当該機械学習モデル350は、「女性」、「短髪」、「車」等のタグを出力してもよい。一部の実施態様において、当該機械学習モデル350は、参考用にタグ情報を当該記録ユニット306に通知してもよい。一部の実施態様において、当該トランジションユニット312は、当該ライブストリーミングのタグに基づきトランジションセグメントを提供してもよい。例えば、当該トランジションユニット312が当該機械学習モデル350から「車」のタグを受信した場合、当該トランジションユニット312は、当該タグに基づいて当該ライブストリーミングを広告DB326内の広告とマッチングさせてもよい。一部の実施態様において、当該トランジションユニット312は、トランジションセグメントにマッチングした広告を追加してもよい。一部の実施態様において、当該トランジションユニット312は、トランジションセグメントを生成してもよい。当該トランジションセグメントは、ストレージに格納され、トランジションDB324に登録されてもよい。一部の実施態様において、当該トランジションユニット312は、トランジションセグメントをリアルタイムで提供してもよい。つまり、当該処理ユニット308は、トランジションユニット312から直接、またはトランジションDB324からトランジションユニット312を取得してもよい。一部の実施態様において、当該処理ユニット308は、当該ライブストリーミングの当該アーカイブコンテンツに当該トランジションセグメントを追加し、視聴者に当該アーカイブコンテンツを提供してもよい。
図15は、本開示の一部の実施態様に基づくアーカイブサービスの構成の動作を示す例示的なシーケンス図である。一部の実施態様において、視聴者は、アーカイブコンテンツをクリックすることにより、当該アーカイブコンテンツにアクセスすることができる。一部の実施態様において、当該視聴者は、ライブストリームをクリックすることにより、またライブストリームの情報を含むプッシュ通知をクリックすることにより、当該ライブストリームへのアクセスを取得してもよい。当該処理ユニット308は、当該ライブストリーミングにアクセスするための要求を取得してもよい(S302)。一部の実施態様において、当該処理ユニット308は、当該ライブストリーミングがアクセス可能であるか否かを確認してもよい。例えば、当該ストリーマーが配信を終了している場合、当該ライブストリーミングはアクセス不能であってもよい。一部の実施態様において、当該ライブストリーミングは、何らかの技術的な問題がある場合、アクセス不能であってもよい。
当該ライブストリーミングがアクセス可能である場合(S304で「はい」)、当該処理ユニット308は、要求に応答して、当該視聴者の当該ユーザ端末に対する当該ライブストリーミングのストリーミングデータ提供を開始してもよい。一部の実施態様において、当該ライブストリーミングがアクセス不能である場合(S304で「いいえ」)、当該処理ユニット308は、要求に応答して、当該視聴者の当該ユーザ端末に対する当該ライブストリーミングのアーカイブコンテンツ提供を開始してもよい(S308)。したがって、当該視聴者は、当該ライブストリーミングが終了またはアクセス不能であっても、失望することなく、当該アーカイブコンテンツを楽しむことができるため、ユーザエクスペリエンスが向上される可能性がある。
一部の実施態様において、当該視聴者は、当該ストリーマーがオフラインであっても、新しいストリーマーを共有または発見することもできる。したがって、定着率が向上される可能性がある。一部の実施態様において、当該ストリーマーは、ライブストリーミングを開始する前に、自動アーカイブ機能をオンまたはオフにしてもよい。当該ストリーマーは、画像、タイトル、ハッシュタグなどの編集など、当該アーカイブコンテンツを管理してもよい。 また、ユーザは、当該アーカイブコンテンツを自分のドライブで管理してもよく、あるいは一般に公開してもよい。各アーカイブコンテンツの保存期間は、8時間など、柔軟に決定し、延長することができる。当該アーカイブコンテンツの有効期限も、7日、14日など柔軟に決定し、延長することができる。一部の実施態様において、アーカイブメカニズムがグループ通話やPKモードなどのいくつかのシナリオをサポートしていない場合、シングルモードに戻るまで録画が停止することを当該ストリーマーに通知するメッセージが画面に表示されてもよい。
図16は、本開示の一部の実施態様に基づくアーカイブサービスの構成の動作を示す例示的なシーケンス図である。一部の実施態様において、当該記録ユニット306は、ライブストリーミングのストリーミングデータを取得してもよい(S312)。一部の実施態様において、当該記録ユニット306は、ライブストリーミングのストリーミングデータを記録してもよい(S314)。一部の実施態様において、当該処理ユニット308は、アーカイブコンテンツを処理してもよい(S316)。例えば、当該処理ユニット308は、当該ストリーミングデータをアーカイブコンテンツとして保存してもよい。当該処理ユニット308は、カット、削除、結合、トランジションセグメントの追加、画像処理などの処理を実行してもよい。一部の実施態様において、当該処理ユニット308は、要求に応答して、視聴者のユーザ端末に当該アーカイブコンテンツを提供してもよい。
図17は、本開示の一部の実施態様に基づくアーカイブサービスの構成の動作を示す例示的なシーケンス図である。図17に示すように、ストリーマー(図示せず)は、ライブストリーミングをストリーミングソースにプッシュしてもよい。一部の実施態様において、当該ストリーミングソースは、AWSやWangsuなどのサードパーティサービスであってもよく、あるいはライブストリーミングサーバ内のサービスであってもよい。当該記録ユニット306は、記録及びアーカイブのために当該ライブストリーミングを引き出してもよい。一部の実施態様において、当該記録ユニット306は、当該ライブストリーミングをtsセグメントとして記録してもよい。一部の実施態様において、当該記録ユニット306が、当該ライブストリーミング中に特定の部分SPを検出した場合、tsセグメントにダミーで「不連続性」などのタグを付与してもよい。ここで、不連続性のタグとは、このtsセグメント内に特定の部分SPがあることを示すためのタグを指してもよい。一部の実施態様において、不連続性の当該タグは、当該アーカイブコンテンツの処理のために当該処理ユニット308によって使用されてもよい。一部の実施態様において、当該処理ユニット308は、tsセグメントが正しく生成されたか否かを確認してもよい。当該tsセグメントが正しく生成された場合、当該処理ユニット308は、当該tsセグメントをストレージにアップロードしてもよい。
一部の実施態様において、視聴者は、当該アーカイブコンテンツへのアクセスを要求してもよい。当該要求に応答して、当該処理ユニット308は、当該アーカイブコンテンツを照会し、当該ストレージからファイルリストを取得してもよい。一部の実施態様において、当該処理ユニット308は、M3U8プレイリストを生成してもよい。より具体的に、当該処理ユニット308は、当該M3U8プレイリストを生成するために、当該tsセグメントを配置してもよい。一部の実施態様において、当該処理ユニット308が当該tsセグメントに不連続性のタグなど何らかのタグを検出した場合、当該処理ユニット308は、当該tsセグメントに対して対応する処理を実行してもよい。例えば、当該tsセグメントがPKモードやグループ通話などの特定の情報を含むことを当該記録ユニット306が検出した場合、当該記録ユニット306は、当該tsセグメントにダミーで「discontinuity」などのタグを付与してもよい。当該処理ユニット308は、当該tsセグメントを削除する、tsセグメントをトランジションセグメントに置き換える、tsセグメントに対して処理を実行する、などのタグに基づき、当該tsセグメントをさらに処理してもよい。一部の実施態様において、当該処理ユニット308は、それに応じてM3U8プレイリストを生成し、当該M3U8プレイリストを視聴者に提供してもよい。したがって、当該視聴者は、当該M3U8プレイリストに基づき、当該アーカイブコンテンツを再生してもよい。
図18は、本開示の一部の実施態様に基づくシステム構成および処理を実行するためのコンピュータハードウェアの概略ブロック図である。図18に示す当該情報処理装置900は、例えば、本開示の一部の実施態様に基づく当該サーバ10と当該ユーザ端末20、30及び当該アーカイブサービスをそれぞれ実現するように構成される。
当該情報処理装置900は、CPU 901と、リードオンリーメモリ(ROM)903、ランダムアクセスメモリ(RAM)905を含む。さらに、当該情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェイス913、入力ユニット915、出力ユニット917、ストレージユニット919、ドライブ921、接続ポート925、通信ユニット929を含んでもよい。当該情報処理装置900は、カメラなどの撮像装置(図示せず)を含んでもよい。当該情報処理装置900は、CPU901に代えて、または加えて、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)等の処理回路を含んでもよい。
当該CPU901は、演算処理装置および制御装置として機能し、ROM903,RAM905、ストレージユニット919、またはリムーバブル記録媒体923に記録された各種プログラムに従って、当該情報処理装置900の全体動作またはその一部の動作を制御する。例えば、当該CPU901は、上述した実施態様の当該サーバ10および当該ユーザ端末20、30に含まれる各機能ユニットの動作全般を制御する。当該ROM903は、当該CPU901が使用するプログラム、動作パラメータなどを記憶する。当該RAM905は、当該CPU901が実行する際に使用するプログラムや、当該プログラムを実行する際に適宜変化するパラメータを過渡的に記憶する。当該CPU901、当該ROM903、当該RAM905は、CPUバスなどの内部バスから構成されるホストバス907を介して互いに接続されている。当該ホストバス907は、当該ブリッジ909を介してペリフェラルコンポーネントインターコネクト/インターフェイス(PCI)バスなどの外部バス911に接続される。
当該入力ユニット915は、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバーなど、ユーザによって操作される装置である。当該入力ユニット915は、オーディオセンサ(マイクなど)、加速度センサ、傾斜センサ、赤外線センサ、深度センサ、温度センサ、湿度センサなど、物理量を電気信号に変換する装置であってもよい。当該入力ユニット915は、例えば、赤外線や別の種類の電波を利用するリモートコントロール装置であってもよい。あるいは、当該入力ユニット915は、当該情報処理装置900の動作に対応する携帯電話などの外部接続端末927 であってもよい。当該入力ユニット915は、ユーザから入力される情報に基づいて入力信号を生成し、生成した入力信号を当該CPU901に出力する入力制御回路を含む。ユーザは当該入力ユニット915を操作することにより、各種データを入力し、当該情報処理装置900に対する処理動作の指示を行う。
当該出力ユニット917は、取得した情報をユーザに対して視覚的または聴覚的に報知することができる装置を含む。当該出力ユニット917は、例えば、LCD、PDP、OLEDなどのディスプレイ装置、スピーカー、ヘッドホンなどの音声出力装置、プリンタなどであってもよい。当該出力ユニット917は、当該情報処理装置900が実行する処理によって得られた結果を、テキスト、画像などの映像、音声などのサウンドの形で出力する。
当該ストレージユニット919はデータストレージ用装置であり、当該情報処理装置900のストレージユニットの一例である。当該ストレージユニット919は、例えば、ハードディスクドライブ(HDD)などの磁気記憶装置、半導体記憶装置、光記憶装置、光磁気記憶装置などを含む。当該ストレージユニット919は、当該CPU901が実行するプログラムや各種データ、及び外部から取得された各種データを格納する。
当該ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル記録媒体923のリーダー/ライターであり、当該情報処理装置900に内蔵または外付けされる。当該ドライブ921は、装着された当該リムーバブル記録媒体923に記録された情報を読み出し、当該RAM905に出力する。当該ドライブ921は、装着された当該リムーバブル記録媒体923に記録を書き込む。
当該接続ポート925は、当該情報処理装置900に機器を直接接続するために用いられるポートである。当該接続ポート925は、例えば、USB(ユニバーサルシリアルバス)ポート、IEEE1394ポート、またはSCSI(小型計算機システムインターフェイス)ポートであってもよい。当該接続ポート925は、RS-232Cポート、光オーディオ端子、HDMI(高精細度マルチメディアインターフェース(登録商標))ポートなどであってもよい。当該接続ポート925に外部接続端末927が接続されることにより、当該情報処理装置900と当該外部接続端末927間の各種データのやり取りが可能になる。
当該通信ユニット929は、例えば、通信ネットワークNWに接続するための通信装置を含む通信インターフェイスである。当該通信ユニット929は、例えば、有線または無線のローカルエリアネットワーク(LAN)、Bluetooth(登録商標)、または、無線USB(WUSB)用の通信カードであってもよい。
当該通信ユニット929は、例えば、光通信用のルータ、ADSL(非対称デジタル加入者線)用のルータ、または、各種通信用のモデムであってもよい。例えば、当該通信ユニット929は、TCP/IP等の所定のプロトコルを用いて、インターネットにおける信号の送受信や、他の通信装置との信号の送受信を行う。当該通信ユニット929が接続する当該通信ネットワークNWは、有線接続または無線接続により確立されたネットワークである。当該通信ネットワークNWは、例えば、インターネット、家庭内LAN、赤外線通信、電波通信、または衛星通信である。
撮像装置(図示せず)は、例えば、CCD(電荷結合デバイス)やCMOS(相補型金属酸化膜半導体)などの撮像素子と、当該撮像素子上の被写体像の結像を制御するためのレンズなど各種部材を用いて現実空間を撮像し、撮像画像を生成する装置である。当該撮像装置は、静止画を撮像しても、動画を撮像してもよい。
以上、本開示のライブストリーミングシステム1とアーカイブサービスについて、実施形態を参照しながら説明した。上述の実施態様は、単に説明のために記載されたものである。むしろ、実施態様の上述した構成要素や処理を多様に組み合わせ、さまざまな変更がなされ得ることは、当業者であれば容易に想到し得ることであり、これらも本開示の技術的範囲に包含される。
本明細書に記載された工程、特にフローチャートやフローチャートを用いて説明された工程は、工程を構成する工程の一部の省略、工程を構成する工程に明示的に含まれない工程の追加、及び(または)工程順序の並べ替えが可能である。このような省略、追加、並べ替えの対象となった工程も、本開示の要旨を逸脱しない限り、本開示の範囲に含まれる。
一部の実施態様において、当該サーバ10またはアーカイブサービスが実行する機能の少なくとも一部は、当該サーバ10またはアーカイブサービス以外が実行してもよく、例えば当該ユーザ端末20または30が実行するようにしてもよい。一部の実施態様において、当該ユーザ端末20または30が実行する機能の少なくとも一部を、当該ユーザ端末20または30以外が実行してもよく、例えば、当該サーバ10またはアーカイブサービスが実行するようにしてもよい。一部の実施態様において、フレーム画像のレンダリングは、視聴者、サーバ、ストリーマー等の当該ユーザ端末が実行するようにしてもよい。
さらに、上記実施態様で説明したシステムまたは方法は、固体記憶装置、光ディスク記憶装置、磁気ディスク記憶装置などの非一時的なコンピュータ可読ストレージ装置、またはコンピュータプログラム製品などで提供されてもよい。あるいは、プログラムは、インターネットを介してサーバからダウンロードされるものとしてもよい。
以上、本開示の技術的内容及び特徴を説明したが、本開示の属する技術分野において通常の知識を有する者であれば、本開示の教示及び開示から逸脱することなく、なお多くの変形及び修正を行うことができる。したがって、本開示の範囲は、既に開示された実施態様に限定されず、本開示から逸脱しない別の変形や修正を含む、後付の特許請求の範囲に含まれる範囲である。
1 ライブストリーミングシステム
10 サーバ
20 ユーザ端末
100 ストリーミングユニット
102 ビデオコントロールユニット
104 オーディオコントロールユニット
106 配信ユニット
108 UIコントロールユニット
200 視聴ユニット
202 UIコントロールユニット
204 レンダリングユニット
206 入力ユニット
30、30a、30b ユーザ端末
302 ストリーミング情報ユニット
304 中継ユニット
306 記録ユニット
308 処理ユニット
312 トランジションユニット
320 ストリームDB
322 アーカイブDB
324 トランジションDB
326 広告DB
350 機械学習モデル
600 画面
602 画面
610 画面
612 情報
614 情報
616 情報
618 リスト
620 ボタンオブジェクト
638 オブジェクト
900 情報処理装置
901 CPU
903 ROM
905 RAM
907 ホストバス
909 ブリッジ
911 外部バス
913 インターフェイス
915 入力ユニット
917 出力ユニット
919 ストレージユニット
921 ドライブ
923 リムーバブル記録媒体
925 接続ポート
927 外部接続端末
929 通信ユニット
LS ライブストリーミング
LV ストリーマー
NW ネットワーク
SP 特定の部分
AU1、AU2 視聴者
S302、S304 工程
S306、S308 工程
S312、S314 工程
S316、S318 工程

Claims (10)

  1. ライブストリーミングのためのストリーミングデータを取り扱う方法であって、
    前記ライブストリーミングのストリーミングデータを記録する工程と、
    前記ストリーミングデータをアーカイブコンテンツとして保存する工程と、
    前記アーカイブコンテンツにトランジションセグメントを追加する工程と、
    を含むことを特徴とする、ライブストリーミングのためのストリーミングデータを取り扱う方法。
  2. 前記ライブストリーミングに入るための要求を取得する工程と、
    前記ライブストリーミングの前記ストリーミングデータがアクセス不能であるとき、前記アーカイブコンテンツを提供する工程と、
    をさらに、含むことを特徴とする、請求項1に記載のライブストリーミングのためのストリーミングデータを取り扱う方法。
  3. 前記トランジションセグメントが、前記トランジションセグメントの前または後における前記アーカイブコンテンツに関連する情報を含む、
    ことを特徴とする、請求項1に記載のライブストリーミングのためのストリーミングデータを取り扱う方法。
  4. 前記トランジションセグメントが、前記アーカイブコンテンツの一部分上に追加され、
    前記トランジションセグメントが、前記アーカイブコンテンツの前記一部分に関連する情報を含む、
    ことを特徴とする、請求項1に記載のライブストリーミングのためのストリーミングデータを取り扱う方法。
  5. 前記トランジションセグメントが、視聴者に前記アーカイブコンテンツの前記一部分にアクセスさせる、または前記一部分をスキップさせるための情報を含む、
    ことを特徴とする、請求項4に記載のライブストリーミングのためのストリーミングデータを取り扱う方法。
  6. 前記トランジションセグメントが、前記アーカイブコンテンツの一部分を置き換え、
    前記トランジションセグメントの持続時間が、前記アーカイブコンテンツの前記一部分の持続時間と同じ、またはより短い、
    ことを特徴とする、請求項1に記載のライブストリーミングのためのストリーミングデータを取り扱う方法。
  7. 前記トランジションセグメントが、推奨ストリーマー、広告、販売、ニュース、又はアンケートなどの情報を含む、
    ことを特徴とする、請求項1に記載のライブストリーミングのためのストリーミングデータを取り扱う方法。
  8. 前記ストリーミングデータが自動的に、またはストリーマーまたは視聴者のユーザ端末からの操作に応答して記録される、
    ことを特徴とする、請求項1に記載のライブストリーミングのためのストリーミングデータを取り扱う方法。
  9. ライブストリーミングのためのストリーミングデータを取り扱うシステムであって、1以上のプロセッサを含み、前記1以上のプロセッサが機械可読命令を実行して、
    前記ライブストリーミングのストリーミングデータを記録する工程と、
    前記ストリーミングデータをアーカイブコンテンツとして保存する工程と、
    前記アーカイブコンテンツにトランジションセグメントを追加する工程と、
    を実行することを特徴とする、ライブストリーミングのためのストリーミングデータを取り扱うシステム。
  10. コンピュータプログラムであって、プログラム命令を含み、1以上のプロセッサにより実行されたとき、前記1以上のプロセッサに、
    前記ライブストリーミングのストリーミングデータを記録する工程と、
    前記ストリーミングデータをアーカイブコンテンツとして保存する工程と、
    前記アーカイブコンテンツにトランジションセグメントを追加する工程と、
    を実行させることを特徴とする、コンピュータプログラム。
JP2023096911A 2022-07-30 2023-06-13 ストリーミングデータを取り扱う方法、システム及びコンピュータプログラム Pending JP2024019392A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023096911A JP2024019392A (ja) 2022-07-30 2023-06-13 ストリーミングデータを取り扱う方法、システム及びコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022122362A JP7302801B1 (ja) 2022-07-30 2022-07-30 ストリーミングデータを取り扱う方法、システム及びコンピュータプログラム
JP2023096911A JP2024019392A (ja) 2022-07-30 2023-06-13 ストリーミングデータを取り扱う方法、システム及びコンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022122362A Division JP7302801B1 (ja) 2022-07-30 2022-07-30 ストリーミングデータを取り扱う方法、システム及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2024019392A true JP2024019392A (ja) 2024-02-09

Family

ID=86996523

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022122362A Active JP7302801B1 (ja) 2022-07-30 2022-07-30 ストリーミングデータを取り扱う方法、システム及びコンピュータプログラム
JP2023096911A Pending JP2024019392A (ja) 2022-07-30 2023-06-13 ストリーミングデータを取り扱う方法、システム及びコンピュータプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022122362A Active JP7302801B1 (ja) 2022-07-30 2022-07-30 ストリーミングデータを取り扱う方法、システム及びコンピュータプログラム

Country Status (2)

Country Link
US (1) US20240040161A1 (ja)
JP (2) JP7302801B1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289521A (ja) * 2002-03-27 2003-10-10 Toshiba Corp 広告挿入方法、配信システム、送出装置および受信装置並びにプログラム
US8983271B2 (en) * 2009-05-27 2015-03-17 Visible World, Inc. Continuous re-insertion of advertisements in video content
JP2013192062A (ja) * 2012-03-14 2013-09-26 Toshiba Corp 映像配信システム、映像配信装置、映像配信方法およびプログラム

Also Published As

Publication number Publication date
JP2024019365A (ja) 2024-02-09
JP7302801B1 (ja) 2023-07-04
US20240040161A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
RU2577468C2 (ru) Способ совместного использования цифрового медиаконтента (варианты)
JP6404912B2 (ja) ライブ放送システム
US9667937B2 (en) Auto-summarizing video content system and method
WO2015078199A1 (zh) 直播互动方法、装置、客户端、服务器及系统
US11272246B2 (en) System and method for management and delivery of secondary syndicated companion content of discovered primary digital media presentations
CN110740386B (zh) 直播切换方法、装置及存储介质
US20240004859A1 (en) Data handling method, system and computer program
US20240107087A1 (en) Server, terminal and non-transitory computer-readable medium
US11006155B2 (en) Real-time incorporation of user-generated content into third-party streams
JP7345812B1 (ja) 映像処理のためのシステム、方法、及びコンピュータ可読媒体
JP7161715B1 (ja) ストリーミングデータを取り扱う方法及びサーバ
JP7302801B1 (ja) ストリーミングデータを取り扱う方法、システム及びコンピュータプログラム
WO2021049048A1 (ja) 映像提供システムおよびプログラム
JP7228174B1 (ja) アプリケーションプログラム及び端末
JP7239123B1 (ja) コンピュータプログラム及び端末
JP7423020B1 (ja) プレイリスト生成のためのシステム及び方法
JP7371844B1 (ja) レコメンデーションのためのシステム、方法、及びコンピュータ可読媒体
JP7469771B1 (ja) サーバおよび方法