JP2023540047A - 多重ライブ配信環境でのチャンネル間の高速切替モードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体 - Google Patents

多重ライブ配信環境でのチャンネル間の高速切替モードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2023540047A
JP2023540047A JP2023513587A JP2023513587A JP2023540047A JP 2023540047 A JP2023540047 A JP 2023540047A JP 2023513587 A JP2023513587 A JP 2023513587A JP 2023513587 A JP2023513587 A JP 2023513587A JP 2023540047 A JP2023540047 A JP 2023540047A
Authority
JP
Japan
Prior art keywords
video
view
channel
full
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023513587A
Other languages
English (en)
Inventor
チャン，ジュンギ
キム，ソンホ
ノ，ヘソン
ジョン，ユンホ
キム，ジンフン
ジョン，ヨンジン
キム，ジョンギ
カン，インチョル
イ，ジョンヒョク
アン，ジェチョル
チョウ，ソンテク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of JP2023540047A publication Critical patent/JP2023540047A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

多重ライブ配信環境でのチャンネル間の高速切替モードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体を提供する。ライブ配信環境でのマルチチャンネルの映像が１つに合成された合成映像を１つのストリームで受信して前記マルチチャンネルの映像からなるマルチビュー（ｍｕｌｔｉ－ｖｉｅｗ）を構成し、前記マルチビューから特定のチャンネルの映像が選択されることによって前記特定チャンネルの原本映像を受信し、前記マルチビューから前記特定のチャンネルの映像に対するフルビュー（ｆｕｌｌ－ｖｉｅｗ）に切り替える。

Description

以下の説明は、多重ライブ配信環境でチャンネルを切り替えるための技術に関する。
超高速通信網の利用者の急増は、通信網を利用した新規サービスの開発およびサービスアイテムの多様化を可能にした。このような通信網を利用したサービスのうちで最も一般的なものとして動画サービスを挙げることができる。
例えば、韓国登録特許第１０－０８２７１９８号（登録日２００８年４月２５日）「動画リンクサービスを提供する装置およびその方法」には、移動通信端末機を利用して、インターネット上にリンクされた動画を移動中に鑑賞することができる動画リンクサービスを提供する技術が開示されている。
クライアント－サーバ方式の動画サービスシステムは、マルチビューサーバからのリアルタイム動画ストリーミングをクライアントに伝達する構造であり、ライブ配信環境ではカメラなどから入力された映像をエンコードし、オーディオデータとともにリアルタイムでクライアントに伝達する方式が使用されている。
ライブ配信のための動画ストリーミングデータがマルチチャンネルで入ってくる場合、マルチチャンネルとして入ってくる多数の動画をリアルタイムでエンコードして送信する方式では、多数のクライアントを対象にしてライブ動画サービスを提供するのに多くの困難と限界がある。
マルチチャンネルのライブ動画を提供する多重ライブ配信環境において、最小限のネットワークによってマルチチャンネルの動画を含むマルチビュー（ｍｕｌｔｉ－ｖｉｅｗ）を構成することができる方法およびシステムを提供する。
多重ライブ配信環境でのチャンネル切替時に、オーディオおよびビデオの同期を維持しながら高速切替（ｆａｓｔ ｓｗｉｔｃｈｉｎｇ）モードを実現することができる方法およびシステムを提供する。
コンピュータ装置で実行されるライブ動画再生方法であって、前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記ライブ動画再生方法は、前記少なくとも１つのプロセッサにより、ライブ配信環境でのマルチチャンネルの映像が１つに合成された合成映像を１つのストリームで受信して前記マルチチャンネルの映像からなるマルチビュー（ｍｕｌｔｉ－ｖｉｅｗ）を構成する段階、および前記少なくとも１つのプロセッサにより、前記マルチビューから特定のチャンネルの映像が選択されることによって前記特定のチャンネルの原本映像を受信して、前記マルチビューから前記特定のチャンネルの映像に対するフルビュー（ｆｕｌｌ－ｖｉｅｗ）に切り替える段階を含む、ライブ動画再生方法を提供する。
一側面によると、前記マルチビューを構成する段階は、前記合成映像からチャンネルごとに構成された映像（ｃｏｍｐｏｓｉｔｉｏｎ ｉｍａｇｅ）を分離することによって各チャンネルのスプライト（ｓｐｒｉｔｅ）を取得する段階、および前記各チャンネルのスプライトをレイアウトに合わせてレンダリングして前記マルチビューを構成する段階を含んでよい。
他の側面によると、前記合成映像は、一チャンネルの映像の解像度が残りの他のチャンネルよりも高いメイン映像として構成され、前記他のチャンネルの映像はサブ映像として構成されてよい。
また他の側面によると、前記フルビューに切り替える段階は、前記マルチビューから前記特定のチャンネルの映像が選択されれば、前記合成映像から分離した各チャンネルのスプライトのうちで前記特定のチャンネルのスプライトを全体画面にレンダリングした後、前記原本映像を受信して、前記原本映像を全体画面にレンダリングする段階を含んでよい。
また他の側面によると、前記特定のチャンネルのスプライトが全体画面にレンダリングされたフルビューでは、残りの他のチャンネルのスプライトはレンダリングされずに隠し（ｈｉｄｄｅｎ）状態で含まれてよい。
また他の側面によると、前記ライブ動画再生方法は、前記少なくとも１つのプロセッサにより、前記フルビューから前記マルチビューへの切替要請を受信する場合、前記合成映像を受信して前記フルビューから前記マルチビューに切り替える段階をさらに含んでよい。
また他の側面によると、前記マルチビューに切り替える段階は、前記切替要請にしたがい、臨時画面を事前に定められたレイアウトでレンダリングした後、前記合成映像を受信して、前記合成映像から分離した各チャンネルのスプライトを前記マルチビューのレイアウトでレンダリングする段階を含んでよい。
また他の側面によると、前記マルチビューに切り替える段階は、映像ストリームに含まれたサムネイル、前記原本映像の複写本、前記フルビューに切り替わる前にマルチビューで表示された最後の映像のうちのいずれか１つを利用して前記臨時画面を構成する段階を含んでよい。
また他の側面によると、前記複写本を利用した前記臨時画面の場合、前記複写本がブロー（ｂｌｕｒ）処理されて表示されてよい。
また他の側面によると、前記マルチビューと前記フルビューの映像切替のために、映像ストリームのセグメントデュレーション（Ｓｅｇｍｅｎｔ Ｄｕｒａｔｉｏｎ）を変更してよい。
また他の側面によると、前記マルチビューと前記フルビューの映像切替のために、プレーヤバッファで以前データに該当する映像ストリームをフラッシュ（ｆｌｕｓｈ）してよい。
さらに他の側面によると、映像ストリームのコンテナに含まれた時間指定メタデータ（ｔｉｍｅｄ－ｍｅｔａｄａｔａ）を利用して、前記マルチビューと前記フルビューの映像切替時点を判断してよい。
前記ライブ動画再生方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体を提供する。
コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、ライブ配信環境でのマルチチャンネルの映像が１つに合成された合成映像を１つのストリームで受信して前記マルチチャンネルの映像からなるマルチビューを構成し、前記マルチビューから特定のチャンネルの映像が選択されることによって前記特定チャンネルの原本映像を受信して、前記マルチビューから前記特定のチャンネルの映像に対するフルビューに切り替えることを特徴とする、コンピュータ装置を提供する。
本発明の実施形態によると、多重ライブ配信環境でマルチチャンネルのライブ動画を合成した１つのストリームを受信してマルチビューを構成することにより、最小限のネットワークでマルチチャンネルのライブ動画を再生することができる。
本発明の実施形態によると、多重ライブ配信環境でのチャンネル間の切替時に、オーディオおよびビデオの同期を維持しながら高速切替モードを実現することができ、サービス品質（ＱｏＳ）と体感品質（ＱｏＥ）を高めることができる。
本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。 本発明の一実施形態における、ライブ動画サービスを提供する過程の例を示した図である。 本発明の一実施形態における、多重ライブ配信環境の例を示した図である。 本発明の一実施形態における、マルチチャンネルのビデオをエンコードする過程の例を示した図である。 本発明の一実施形態における、ライブ動画再生方法の例を示したフローチャートである。 本発明の一実施形態における、１つのストリームでマルチビューを構成する基本過程の例を示した図である。 本発明の一実施形態における、ビューモードを切り替えるインタフェースの例を示した図である。 本発明の一実施形態における、マルチビューからフルビューへのレイアウト切替過程の例を示した図である。 本発明の一実施形態における、マルチビューからフルビューへのレイアウト切替過程の例を示した図である。 本発明の一実施形態における、フルビューからマルチビューへのレイアウト切替過程の例を示した図である。 本発明の一実施形態における、フルビューからマルチビューへのレイアウト切替過程の他の例を示した図である。 本発明の一実施形態における、映像切替時点を判断する過程の例を示した図である。
以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。
本発明の実施形態に係るライブ動画再生システムは、少なくとも１つのコンピュータ装置によって実現されてよく、本発明の実施形態に係るライブ動画再生方法は、ライブ動画再生システムに含まれる少なくとも１つのコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されるコンピュータプログラムの制御にしたがって本発明の実施形態に係るライブ動画再生方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合してライブ動画再生方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。
図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。また、図１のネットワーク環境は、本実施形態に適用可能な環境のうちの一例を説明したものに過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されることはない。
複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することができる多様な物理的なコンピュータシステムのうちの１つを意味してよい。
通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。
サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、ライブ動画サービス、コンテンツ提供サービス、グループ通話サービス（または、音声会議サービス）、メッセージングサービス、メールサービス、ソーシャルネットワークサービス、地図サービス、翻訳サービス、金融サービス、決済サービス、検索サービスなど）を提供するシステムであってよい。
図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０それぞれやサーバ１５０、１６０それぞれは、図２に示したコンピュータ装置２００によって実現されてよい。
このようなコンピュータ装置２００は、図２に示すように、メモリ２１０、プロセッサ２２０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１０とは区分される別の永続的記録装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータ読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。
プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０に提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の装置（一例として、上述した記録装置）と互いに通信するための機能を提供してよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を経てコンピュータ装置２００の通信インタフェース２３０を通じてコンピュータ装置２００に受信されてよい。通信インタフェース２３０を通じて受信された信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。
入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ装置２００と１つの装置で構成されてもよい。
また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、データベースなどのような他の構成要素をさらに含んでもよい。
図３は、本発明の一実施形態における、ライブ動画サービスを提供する過程の例を示した図である。図３は、ストリーミングサーバ３１０、エンコーダサーバ３２０、およびプレーヤ３３０をそれぞれ示している。ここで、ストリーミングサーバ３１０およびエンコーダサーバ３２０は、ライブ動画サービスを提供するためにサーバ装置においてインストールされて実行されるソフトウェアモジュールであってよい。また、プレーヤ３３０は、動画再生のためにユーザの端末装置においてインストールされて実行されるソフトウェアモジュールであってよい。ここで、ソフトウェアモジュールは、コンピュータ装置２００においてインストールされて実行されるコンピュータプログラムに対応してよい。
図４を参照すると、ストリーミングサーバ３１０は、配信の役割を担うサーバ装置であってよく、例えば、録画およびリアルタイムストリーミングのためのＯＢＳ（ｏｐｅｎ ｂｒｏａｄｃａｓｔｅｒ ｓｏｆｔｗａｒｅ）モジュールを含んでよい。ストリーミングサーバ３１０は、複数台のカメラによって同時に撮影されたビデオの入力をそれぞれのチャンネルとして受け取り、マルチチャンネルの映像でエンコーダサーバ３２０にリアルタイムストリーミングしてよい。
カメラとは関係なく、オーディオチャンネルは、同一の入力を使用してよい。エンコーダサーバ３２０は、複数のチャンネルのうちで基本チャンネルに該当するチャンネルのオーディオを基本ストリームとして使用してよい。
ストリーミングサーバ３１０は、ビデオチャンネルの同期化処理のためにＯＢＳモジュールを使用して、マルチチャンネルの映像をリアルタイム配信してよい。これにより、エンコーダサーバ３２０は、ＵＴＣ（ｃｏｏｒｄｉｎａｔｅｄ ｕｎｉｖｅｒｓａｌ ｔｉｍｅ）時間とビデオタイムスタンプ（ＰＴＳ：ｐｒｅｄｅｔｅｒｍｉｎｅｄ ｔｉｍｅ ｓｔａｎｄａｒｄ）によって各ビデオフレームの絶対時間を求めてビデオチャンネルの同期化を処理してよい。
特に、多重ライブ配信環境において、プレーヤ３３０が最小限のネットワークでマルチビューを構成できるように、エンコーダサーバ３２０は、マルチチャンネルのビデオを１つのビデオに合成したイメージを提供してよい。
図５に示すように、エンコーダサーバ３２０は、マルチチャンネルで入力される複数の原本映像５０１と、原本映像５０１を合成して生成した合成映像５０２を提供してよい。
例えば、エンコーダサーバ３２０は、６台のカメラで撮影された原本映像（Ｃａｍ＃１～Ｃａｍ＃６）５０１を利用して合成映像５０２を生成してよい。合成映像５０２は、原本映像５０１を１つに結合したイメージであって、エンコーダサーバ３２０は、事前に定められたレイアウトに合わせて原本映像５０１を結合して合成映像５０２を生成してよい。
一例として、エンコーダサーバ３２０は、マルチチャンネルのうちの一チャンネルのビデオをメイン映像として構成し、残りの他のチャンネルのビデオをサブ映像として構成してよい。言い換えれば、エンコーダサーバ３２０は、一チャンネルのビデオ（メイン映像）を、他のチャンネルのビデオ（サブ映像）よりも高い解像度で構成してよい。このとき、エンコーダサーバ３２０は、一チャンネルを除いた残りのチャンネルのビデオ（サブ映像）をすべて同じ解像度で構成してもよいし、各チャンネルの優先順位を考慮しながら優先順に高い解像度で構成してもよい。
エンコーダサーバ３２０は、すべてのチャンネルのビデオを同じ解像度で結合して合成映像５０２を生成することも可能である。
上述した合成映像５０２の生成方式や合成映像５０２の数、レイアウト構造などは例示的なものに過ぎず、いくらでも変更可能である。
言い換えれば、クライアントであるプレーヤ３３０でチャンネル間の高速切替モードを実現できるようにするために、エンコーダサーバ３２０では、チャンネルごとに、原本映像５０１とともに、原本映像５０１を合成した１つの合成映像５０２を準備するのである。
エンコーダサーバ３２０は、多重ライブ配信環境においてプレーヤ３３０を対象としたチャンネル間の高速切替モードのために、選択的に、マルチチャンネルに対する合成映像５０２を送信したり、特定のチャンネルに対する原本映像５０１を１つだけ送信したりしてよい。特に、多重ライブ配信環境では、マルチチャンネルとして入ってくる多数の動画をそれぞれのストリームで送信するのではなく、合成映像５０２を利用してマルチチャンネルの動画を１つのストリームで送信することができる。
以下、実施形態では、原本映像５０１を、各チャンネルに対して「チャンネル＃１原本映像」、「チャンネル＃２原本映像」などと称する。
原本映像５０１と合成映像５０２のそれぞれストリームには、当該映像を区分するための固有の情報が含まれてよい。プレーヤ３３０は、各ストリームの映像固有情報に基づき、合成映像の再生中に再生映像がチャンネル＃２原本映像に変更されるときに、変更された映像がチャンネル＃２原本映像であるということを認知することができる。
図６は、本発明の一実施形態における、ライブ動画再生方法の例を示したフローチャートである。本実施形態に係るライブ動画再生方法は、上述したプレーヤ３３０を実現するコンピュータ装置２００によって実行されてよい。プレーヤ３３０がユーザの端末装置で実現される場合、コンピュータ装置２００はユーザの端末装置に対応してよい。この場合、コンピュータ装置２００のプロセッサ２２０は、メモリ２１０が含むオペレーティングシステムのコードと、少なくとも１つのプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２２０は、コンピュータ装置２００に記録されたコードが提供する制御命令にしたがってコンピュータ装置２００が図６の方法に含まれる段階６１０～６５０を実行するようにコンピュータ装置２００を制御してよい。
段階６１０で、コンピュータ装置２００は、多重ライブ配信環境において、エンコーダサーバ３２０から、マルチチャンネルで入力される多数の映像で構成された１つの合成映像を受信してよい。コンピュータ装置２００は、エンコーダサーバ３２０から１つのストリームをダウンロードすることにより、マルチチャンネルのライブ映像が１つに合成された映像ストリームを受信してよい。エンコーダサーバ３２０で互いに異なるレイアウトの複数の合成映像を有している場合、コンピュータ装置２００は、合成映像のレイアウト情報を参照しながらプレーヤ３３０が定めたレイアウト情報に対応する合成映像を選択的に受信してよい。例えば、プレーヤ３３０が、チャンネル１のビデオがメイン映像として構成されたレイアウトを要請する場合、エンコーダサーバ３２０から当該レイアウトに対応する合成映像を受信してよい。
段階６２０で、コンピュータ装置２００は、１つのストリームで受信した合成映像からチャンネルごとに構成された映像（ｃｏｍｐｏｓｉｔｉｏｎ ｉｍａｇｅ）を分離して各チャンネルのスプライト（ｓｐｒｉｔｅ）を取得してよい。言い換えれば、コンピュータ装置２００は、後処理（ｐｏｓｔ ｐｒｏｃｅｓｓｉｎｇ）によって合成映像を分離して各チャンネルのスプライトを取得してよい。プラットフォームによって多様なグラフィックスエンジン（ｇｒａｐｈｉｃｓ ｅｎｇｉｎｅ）、例えば、オープンＧＬ（ｏｐｅｎ ｇｒａｐｈｉｃｓ ｌｉｂｒａｒｙ）などを使用して合成映像を分離してよい。
段階６３０で、コンピュータ装置２００は、各チャンネルのスプライトをプレーヤ３３０のレイアウトに合わせてレンダリングすることによってマルチビューを構成してよい。言い換えれば、コンピュータ装置２００は、合成映像から分離された各カメラのスプライトを所望するレイアウトに合うようにレンダリングすることによって、１つのストリームで受信したマルチチャンネルのライブ映像をマルチビューで再生することができる。
段階６４０で、コンピュータ装置２００は、マルチビューから特定のチャンネルが選択され、ユーザから特定のチャンネルに対するフルビュー（ｆｕｌｌ－ｖｉｅｗ）切替要請が受信される場合、エンコーダサーバ３２０から当該チャンネルの原本映像を受信してよい。コンピュータ装置２００は、プレーヤ３３０上でマルチビューとして現在再生中のマルチチャンネルのライブ映像に対して、ユーザが特定のチャンネルを選択して全体画面モード（ｆｕｌｌ ｓｃｒｅｅｎ ｍｏｄｅ）、すなわち、フルビューへの切替を要請した場合、エンコーダサーバ３２０から受信した合成映像を選択された特定のチャンネルの原本映像に変更してよい。
段階６５０で、コンピュータ装置２００は、ユーザが選択した特定のチャンネルの原本映像をプレーヤ３３０の全体画面にレンダリングすることにより、プレーヤ３３０のビューモードをフルビューに切り替えてよい。
コンピュータ装置２００は、プレーヤ３３０の現在のビューモードがフルビュー状態でるときにユーザからマルチビューへの切替要請が受信される場合、上述した過程６１０～６３０を繰り返すことにより、プレーヤ３３０のビューモードをフルビューからマルチビューに切り替えることができる。
図７は、本発明の一実施形態における、１つのストリームでマルチビューを構成する基本過程の例を示した図である。
図７は、合成映像を利用してプレーヤ３３０でマルチビューを構成する過程を示している。例えば、合成映像は、チャンネル１のビデオ（Ｃａｍ＃１）が他のチャンネルのビデオ（Ｃａｍ＃２～Ｃａｍ＃６）よりも高い解像度のメイン映像で構成されたものであるとする。
図７を参照すると、プレーヤ３３０は、エンコーダサーバ３２０から合成映像フレームを受信し、後処理によって合成映像フレームから各チャンネルのスプライトを取得した後、分離した各チャンネルのスプライトを定められたレイアウトに合うようにレンダリングすることによってマルチビューを構成してよい。
したがって、プレーヤ３３０は、多重ライブ配信環境で１つのストリームをダウンロードするだけで、マルチチャンネルのライブ映像からなるマルチビューを構成することができる。
図８は、本発明の一実施形態における、ビューモードを切り替えるインタフェースの例を示した図である。
プレーヤ３３０では、マルチビューから特定のチャンネルの映像に対するフルビューへの切り替えを要請するためのインタフェースを提供する。
プレーヤ３３０上でマルチビュー形態によってマルチチャンネルのライブ映像が再生中の状況において、ユーザは、マルチビュー内のビデオ（Ｃａｍ＃１～Ｃａｍ＃６）のうちの１つをフルビューに切り替えるためのレイアウト切替要請を入力することができる。
例えば、図８に示すように、合成映像を利用したマルチビュー画面において、ドラック８０によってチャンネル２のビデオ（Ｃａｍ＃２）を現在再生中のチャンネル１のビデオ（Ｃａｍ＃１）であるメイン映像位置に移動させることによって、チャンネル２のビデオ（Ｃａｍ＃２）に対するフルビューへの切り替えを要請してよい。ドラック８０の他にも、マルチビュー内のビデオ（Ｃａｍ＃１～Ｃａｍ＃６）からチャンネル２のビデオ（Ｃａｍ＃２）を選択し、所定のメニューや他のジェスチャによってフルビューへの切り替えを要請することも可能である。
図９～１０は、本発明の一実施形態における、マルチビューからフルビューへのレイアウト切替過程の例を示した図である。
図９～１０は、合成映像を利用したマルチビューからチャンネル２のビデオ（Ｃａｍ＃２）のフルビューに切り替える過程を示している。
合成映像を利用したマルチビュー画面において、ユーザがチャンネル２のビデオ（Ｃａｍ＃２）に対してフルビューへの切り替えを要請した場合、先ず、プレーヤ３３０は、途切れのない画面切替のために、図９に示すように、合成映像から分離された各チャンネルのスプライトのうちでチャンネル２のビデオ（Ｃａｍ＃２）に該当するスプライトだけを全体画面にレンダリングしてよい。合成映像から分離されたチャンネル２のビデオ（Ｃａｍ＃２）は低画質の映像であり、低画質の状態のまま拡大されてフルビューで表示されてよい。このとき、合成映像から分離された残りのチャンネルのビデオ（Ｃａｍ＃１、Ｃａｍ＃３～Ｃａｍ＃６）は、レンダリングされずに隠し（ｈｉｄｄｅｎ）状態で維持される。
次に、図１０を参照すると、プレーヤ３３０は、フルビューで表示されたチャンネル２のビデオ（Ｃａｍ＃２）に対して高画質映像を提供するために、エンコーダサーバ３２０からチャンネル＃２原本映像を受信してよい。プレーヤ３３０は、チャンネル＃２原本映像フレームを受信して当該映像を直ぐに全体画面にレンダリングすることにより、チャンネル２のビデオ（Ｃａｍ＃２）に対して高画質映像のフルビューを提供してよい。
したがって、プレーヤ３３０は、合成映像を利用したマルチビュー画面においてユーザがチャンネル２のビデオ（Ｃａｍ＃２）のフルビュー切替を要請した場合、画面の途切れが発生しないように、先ず、合成映像から分離されたスプライトである低解像度のチャンネル２のビデオ（Ｃａｍ＃２）をフルビューで表示した後、チャンネル＃２の原本映像を受信し、高解像度のチャンネル２のビデオ（Ｃａｍ＃２）をフルビューで表示することにより、マルチビューからフルビューにレイアウトを切り替えることができる。
図１１は、本発明の一実施形態における、フルビューからマルチビューへのレイアウト切替過程の例を示した図である。
図１１は、チャンネル２のビデオ（Ｃａｍ＃２）のフルビューから合成映像を利用したマルチビューに切り替える過程を示している。
チャンネル＃２原本映像を利用したチャンネル２のビデオ（Ｃａｍ＃２）のフルビュー画面から基本レイアウトのマルチビュー、すなわち、合成映像を利用したマルチビューへの切り替えが要請された場合、図１１に示すように、プレーヤ３３０は、エンコーダサーバ３２０から合成映像フレームを受信して後処理によって合成映像フレームから各チャンネルのスプライトを取得した後、分離された各チャンネルのスプライトを定められたレイアウトに合うようにレンダリングすることによってマルチビューを構成してよい。
プレーヤ３３０は、エンコーダサーバ３２０から受信したチャンネル＃２原本映像を最大限迅速に合成映像に変更するトラック高速切替技術を利用して、チャンネル２のビデオ（Ｃａｍ＃２）のフルビュー画面から基本レイアウトにトラックを切り替え、フルビューからマルチビューへの迅速なレイアウトの切り替えを実行する。
チャンネル＃２原本映像ストリームには、マルチビューレイアウトを構成するために必要な情報、すなわち、残りの他のチャンネルのビデオ（Ｃａｍ＃１、Ｃａｍ＃３～Ｃａｍ＃６）が含まれていないため、短時間で合成映像ストリームを受信するためのトラック切替技術が使用される。これは、オーディオとビデオがインターリービング（ｉｎｔｅｒ ｌｅａｖｉｎｇ）されたモードで使用される場合、プレーヤ３３０は、エンコーダサーバ３２０から受信した映像（原本映像と合成映像）を変更するトラック切替時にオーディオが途切れることなく再生され、映像だけを迅速に切り替えることができる。
ライブ配信のための動画ストリーミング環境において、ライブ映像の再生中にストリームのセグメントデュレーション（Ｓｅｇｍｅｎｔ Ｄｕｒａｔｉｏｎ）を変更してよい。オーディオとビデオがインターリービングされた環境では、映像を迅速に切り替えるためにストリーミングのためのメディアセグメントデュレーションを短く設定して適用してよく、他の例として、プレーヤ３３０のバッファ内の既存のデータをフラッシュ（ｆｌｕｓｈ）する技術を適用してもよい。例えば、プレーヤ３３０は、チャンネル＃２原本映像を利用したフルビューから合成映像を利用したマルチビューに切り替えるときよりも迅速な切り替えのために、ビューモード切替要請が受信される時点に、バッファから以前データ（チャンネル＃２原本映像ストリーム）を除去し、新たなデータ（合成映像ストリーム）で満たす方式などを適用してよい。
オーディオとビデオがインターリービングされていない（ｎｏｎ－ｉｎｔｅｒ ｌｅａｖｉｎｇ）環境におけるトラックの切替時には、オーディオトラックは切り替えずにビデオトラックだけを迅速に切り替える方法が適用可能であり、ビデオトラックの切替時の迅速切替のために、プレーヤ３３０のバッファ内の既存のデータをフラッシュする技術が適用されてよい。
プレーヤ３３０をカスタマイズできない環境では、プレーヤ３３０の要請をマルチビューインターセプタ（ｉｎｔｅｒｃｅｐｔｏｒ）としてキャッチし、切り替えられたトラックのセグメント（ＴＳファイル）に再要請して実現してよい。マルチビューインターセプタは、プロキシ（ｐｒｏｘｙ）サーバの役割を担うものであり、プレーヤ３３０とともに動画再生のためにユーザの端末装置においてインストールされて実行ソフトウェアモジュールであってよい。合成映像を利用したマルチビューからフルビューに切り替えるとき、プレーヤ３３０は継続してマルチビューを要請しており、このとき、マルチビューインターセプタでプレーヤ３３０の要請をフルビューに変更して要請してよい。各トラックのＴＳファイルのオーディオは、切替時に途切れのないユーザ経験を提供するために同一のオーディオにエンコードしてよい。
図１２は、本発明の一実施形態における、フルビューからマルチビューへのレイアウト切替過程の他の例を示した図である。
図１２は、チャンネル２のビデオ（Ｃａｍ＃２）のフルビューから合成映像を利用したマルチビューに切り替える過程を示している。
チャンネル＃２原本映像ストリームには、マルチビューレイアウトを構成するために必要な情報、すなわち、残りの他のチャンネルのビデオ（Ｃａｍ＃１、Ｃａｍ＃３～Ｃａｍ＃６）が含まれていないため、フルビューからマルチビューへの切替時に途切れ現象が一時的に発生することがある。
このような問題を改善するために、サムネイル（ｔｈｕｍｂｎａｉｌ）を利用した臨時画面切替技術を適用してよい。
チャンネル＃２の原本映像を利用したチャンネル２のビデオ（Ｃａｍ＃２）のフルビュー画面から基本レイアウトのマルチビュー、すなわち、合成映像を利用したマルチビューへの切り替えが要請された場合、先ず、プレーヤ３３０は、途切れのない画面切替のために、図１２に示すように、映像ストリーム内のメタデータとして提供される少なくとも１つのサムネイル（例えば、イメージやアニメーションなど）を事前に定められたレイアウトでレンダリングして臨時ビューモードに切り替えてよい。臨時ビューモードでは、一定の時間周期（例えば、１秒単位）でサムネイルを出力してよい。
サムネイルを利用した臨時画面切替技術の他に、関連情報を臨時画面にレンダリングすることも可能である。例えば、チャンネル＃２原本映像の複写本を利用して臨時画面を基本レイアウトのマルチビュー形式で構成することによって臨時ビューモードを提供してよい。言い換えれば、チャンネル＃２以外の他のチャンネルの映像を、チャンネル＃２の原本映像の複写本として臨時表示してよい。このとき、臨時表示される他のチャンネルの映像（すなわち、チャンネル＃２原本映像の複写本）の場合は、ブロー（ｂｌｕｒ）処理して表示されてよい。他の例として、マルチビューからフルビューに切り替わる前にマルチビューで表示された最後の映像場面を臨時画面としてレンダリングして臨時ビューモードを提供してもよい。
次に、プレーヤ３３０は、エンコーダサーバ３２０から合成映像フレームを受信して後処理によって合成映像フレームから各チャンネルのスプライトを取得した後、分離された各チャンネルのスプライトを定められたレイアウトに合うようにレンダリングすることにより、臨時ビューモードからマルチビューに切り替えてよい。
したがって、プレーヤ３３０は、ユーザが、チャンネル＃２原本映像を利用したチャンネル２のビデオ（Ｃａｍ＃２）のフルビュー画面から合成映像を利用したマルチビューへの切り替えを要請する場合、画面に途切れが発生しないように優先的に臨時イメージを提供し、合成映像の受信後には合成映像から分離された各チャンネルのスプライトを該当となるレイアウトに合うようにレンダリングすることで、フルビューから臨時ビューモードを経てマルチビューへのレイアウトに切り替えることができる。
一般的には、同一の解像度のストリームが繰り返し出力されるとき、当該ストリームがどのような形態のストリームであるかを区分することができない。マルチビュー環境では、現在出力されているストリームがどのような形態で構成されているのかを認知する必要があり、その情報に基づいて該当となるレイアウトに合わせて各チャンネルのビデオを分離する。
プレーヤ３３０は、映像ストリームに含まれる固有情報である映像区分のためのメタ情報に基づいて、ビューモード間の映像切替時点を判断してよい。映像区分のためのメタ情報はシステム環境によって多様であってよく、一例として、ＴＳチャンク（Ｃｈｕｎｋ）を使用する環境では、ＴＳコンテナに含まれた時間指定メタデータ（ｔｉｍｅｄ－ｍｅｔａｄａｔａ）を活用して映像切替時点を判断してよい。時間指定メタデータはＰＴＳ（ｐｒｅｄｅｔｅｒｍｉｎｅｄ ｔｉｍｅ ｓｔａｎｄａｒｄ）の時間情報を含んでおり、該当となる時間に達すればメタデータが出力される。
例えば、図１３に示すように、プレーヤ３３０は、バッファ１３０２内の映像ストリームのＴＳチャンクに含まれたメタデータ１３によって当該映像を区分してよく、これによって映像切替時点を判断してよい。言い換えれば、合成映像ストリームからチャンネル＃２原本映像ストリームへの切替時に、該当となる時点に時間指定メタデータ値を入れれば、時間指定メタデータの後に入力されるストリームをチャンネル＃２原本映像として認識して使用することができる。
クライアントとサーバ間のセッション連結によってライブ動画サービスを提供する構造のシステムではサーバ端で映像切替時点を変更することができるが、セッションベースの場合にはサービスを提供することが可能なユーザ数に限界がある。これとは異なり、本実施形態は、時間指定メタデータを活用することによってクライアント側で映像切替時点を判断することができ、特に、セッションベースではないＨＴＴＰ基盤のプロトコルを利用してライブストリーミング方式の動画サービスを提供することができるため、従来のシステム環境にも適用可能である上に、より多くのユーザを対象に安定的なサービスを提供することができる。
このように、本発明の実施形態によると、多重ライブ配信環境でマルチチャンネルのライブ動画を合成した１つのストリームを受信してマルチビューを構成することにより、最小限のネットワークでマルチチャンネルのライブ動画を再生することができる。さらに、本発明の実施形態によると、多重ライブ配信環境でのチャンネル間の切替時に、オーディオおよびビデオの同期を維持しながら高速切替モードを実現することができ、サービス品質と体感品質を高めることができる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

Claims (20)

  1. コンピュータ装置で実行されるライブ動画再生方法であって、
    前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
    前記ライブ動画再生方法は、
    前記少なくとも１つのプロセッサにより、ライブ配信環境でのマルチチャンネルの映像が１つに合成された合成映像を１つのストリームで受信して前記マルチチャンネルの映像からなるマルチビュー（ｍｕｌｔｉ－ｖｉｅｗ）を構成する段階、および
    前記少なくとも１つのプロセッサにより、前記マルチビューから特定のチャンネルの映像が選択されることによって前記特定のチャンネルの原本映像を受信して、前記マルチビューから前記特定のチャンネルの映像に対するフルビュー（ｆｕｌｌ－ｖｉｅｗ）に切り替える段階
    を含む、ライブ動画再生方法。
  2. 前記マルチビューを構成する段階は、
    前記合成映像からチャンネルごとに構成された映像（ｃｏｍｐｏｓｉｔｉｏｎ ｉｍａｇｅ）を分離することにより、各チャンネルのスプライト（ｓｐｒｉｔｅ）を取得する段階、および
    前記各チャンネルのスプライトをレイアウトに合わせてレンダリングして前記マルチビューを構成する段階
    を含む、請求項１に記載のライブ動画再生方法。
  3. 前記合成映像は、一チャンネルの映像が残りの他のチャンネルの映像よりも解像度が高いメイン映像として構成され、前記他のチャンネルの映像はサブ映像として構成されること
    を特徴とする、請求項１または２に記載のライブ動画再生方法。
  4. 前記フルビューに切り替える段階は、
    前記マルチビューから前記特定のチャンネルの映像が選択されれば、前記合成映像から分離された各チャンネルのスプライトのうちで前記特定のチャンネルのスプライトを全体画面にレンダリングした後、前記原本映像を受信し、前記原本映像を全体画面にレンダリングする段階
    を含む、請求項１～３のうちのいずれか１項に記載のライブ動画再生方法。
  5. 前記特定のチャンネルのスプライトが全体画面にレンダリングされたフルビューにおいて、残りの他のチャンネルのスプライトは、レンダリングされずに隠し（ｈｉｄｄｅｎ）状態で含まれること
    を特徴とする、請求項４に記載のライブ動画再生方法。
  6. 前記ライブ動画再生方法は、
    前記少なくとも１つのプロセッサにより、前記フルビューから前記マルチビューへの切替要請を受信する場合、前記合成映像を受信して前記フルビューから前記マルチビューに切り替える段階
    をさらに含む、請求項１～５のうちのいずれか１項に記載のライブ動画再生方法。
  7. 前記マルチビューに切り替える段階は、
    前記切替要請にしたがい、臨時画面を事前に定められたレイアウトでレンダリングした後、前記合成映像を受信し、前記合成映像から分離された各チャンネルのスプライトを前記マルチビューのレイアウトでレンダリングする段階
    を含む、請求項６に記載のライブ動画再生方法。
  8. 前記マルチビューに切り替える段階は、
    映像ストリームに含まれたサムネイル、前記原本映像の複写本、前記フルビューに切り替わる前にマルチビューで表示された最後の映像のうちのいずれか１つを利用して前記臨時画面を構成する段階
    を含む、請求項７に記載のライブ動画再生方法。
  9. 前記複写本を利用した前記臨時画面の場合、前記複写本がブロー（ｂｌｕｒ）処理されて表示されること
    を特徴とする、請求項８に記載のライブ動画再生方法。
  10. 前記マルチビューと前記フルビュー間の映像切替のために、映像ストリームのセグメントデュレーション（Ｓｅｇｍｅｎｔ Ｄｕｒａｔｉｏｎ）を変更すること
    を特徴とする、請求項１～９のうちのいずれか１項に記載のライブ動画再生方法。
  11. 前記マルチビューと前記フルビュー間の映像切替のために、プレーヤバッファで以前データに該当する映像ストリームをフラッシュ（ｆｌｕｓｈ）すること
    を特徴とする、請求項１～９のうちのいずれか１項に記載のライブ動画再生方法。
  12. 映像ストリームのコンテナに含まれた時間指定メタデータ（ｔｉｍｅｄ－ｍｅｔａｄａｔａ）を利用して、前記マルチビューと前記フルビュー間の映像切替時点を判断すること
    を特徴とする、請求項１～１１のうちのいずれか１項に記載のライブ動画再生方法。
  13. 請求項１～１２のうちのいずれか１項に記載のライブ動画再生方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体。
  14. コンピュータ装置であって、
    メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサは、
    ライブ配信環境でのマルチチャンネルの映像が１つに合成された合成映像を１つのストリームで受信して前記マルチチャンネルの映像からなるマルチビューを構成し、
    前記マルチビューから特定のチャンネルの映像が選択されることによって前記特定のチャンネルの原本映像を受信して、前記マルチビューから前記特定のチャンネルの映像に対するフルビューに切り替えること
    を特徴とする、コンピュータ装置。
  15. 前記少なくとも１つのプロセッサは、
    前記合成映像からチャンネルごとに構成された映像を分離することによって各チャンネルのスプライトを取得し、
    前記各チャンネルのスプライトをレイアウトに合わせてレンダリングして前記マルチビューを構成すること
    を特徴とする、請求項１４に記載のコンピュータ装置。
  16. 前記少なくとも１つのプロセッサは、
    前記マルチビューから前記特定のチャンネルの映像が選択されれば、前記合成映像から分離された各チャンネルのスプライトのうちで前記特定のチャンネルのスプライトを全体画面にレンダリングした後、前記原本映像を受信し、前記原本映像を全体画面にレンダリングすること
    を特徴とする、請求項１４または１５に記載のコンピュータ装置。
  17. 前記少なくとも１つのプロセッサは、
    前記フルビューから前記マルチビューへの切替要請を受信する場合、前記合成映像を受信して前記フルビューから前記マルチビューに切り替え、
    前記切替要請にしたがい、臨時画面を事前に定められたレイアウトでレンダリングした後、前記合成映像を受信し、前記合成映像から分離された各チャンネルのスプライトを前記マルチビューのレイアウトでレンダリングすること
    を特徴とする、請求項１４～１６のうちのいずれか１項に記載のコンピュータ装置。
  18. 前記少なくとも１つのプロセッサは、
    映像ストリームに含まれたサムネイル、前記原本映像の複写本、前記フルビューに切り替わる前にマルチビューで表示された最後の映像のうちのいずれか１つを利用して前記臨時画面を構成すること
    を特徴とする、請求項１７に記載のコンピュータ装置。
  19. 前記少なくとも１つのプロセッサは、
    前記マルチビューと前記フルビュー間の映像切替のために、映像ストリームのセグメントデュレーションを変更すること
    を特徴とする、請求項１４～１８のうちのいずれか１項に記載のコンピュータ装置。
  20. 前記少なくとも１つのプロセッサは、
    映像ストリームのコンテナに含まれた時間指定メタデータを利用して、前記マルチビューと前記フルビュー間の映像切替時点を判断すること
    を特徴とする、請求項１４～１９のうちのいずれか１項に記載のコンピュータ装置。
JP2023513587A 2020-09-10 2021-09-06 多重ライブ配信環境でのチャンネル間の高速切替モードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体 Pending JP2023540047A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200115872A KR102403259B1 (ko) 2020-09-10 2020-09-10 다중 라이브 송출 환경에서의 채널 간 고속 전환 모드를 구현하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체
KR10-2020-0115872 2020-09-10
PCT/KR2021/012025 WO2022055198A1 (ko) 2020-09-10 2021-09-06 다중 라이브 송출 환경에서의 채널 간 고속 전환 모드를 구현하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체

Publications (1)

Publication Number Publication Date
JP2023540047A true JP2023540047A (ja) 2023-09-21

Family

ID=80632328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023513587A Pending JP2023540047A (ja) 2020-09-10 2021-09-06 多重ライブ配信環境でのチャンネル間の高速切替モードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
US (1) US20230217047A1 (ja)
JP (1) JP2023540047A (ja)
KR (2) KR102403259B1 (ja)
WO (1) WO2022055198A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116980688A (zh) * 2022-10-20 2023-10-31 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机、可读存储介质及程序产品

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004177614A (ja) * 2002-11-26 2004-06-24 Mitsubishi Electric Corp マルチ画面表示装置
KR20070025335A (ko) * 2005-09-01 2007-03-08 엘지전자 주식회사 멀티 채널 디스플레이 기능을 갖는 영상기기 및 그 방법
KR101235305B1 (ko) * 2011-06-20 2013-02-21 주식회사 아이티엑스시큐리티 화면 전환시의 영상 공백 해소를 위한 화면출력 제어장치
KR101955202B1 (ko) * 2012-10-31 2019-03-07 삼성에스디에스 주식회사 다자간 영상 통화 장치 및 이를 이용한 다자간 영상 출력 방법
KR20150008739A (ko) * 2013-07-15 2015-01-23 주식회사 케이티 개인화된 비디오 기반의 화면을 제공하는 서버 및 방법, 그리고 디바이스
KR20160078027A (ko) * 2014-12-24 2016-07-04 삼성전자주식회사 디스플레이 디바이스 및 디스플레이 방법

Also Published As

Publication number Publication date
KR20220034022A (ko) 2022-03-17
US20230217047A1 (en) 2023-07-06
WO2022055198A1 (ko) 2022-03-17
KR102403259B1 (ko) 2022-05-30
KR20220033694A (ko) 2022-03-17
KR102403263B1 (ko) 2022-05-30

Similar Documents

Publication Publication Date Title
JP6449494B2 (ja) 再生装置
JP5267165B2 (ja) ストリーミング配信システム、その動作制御方法及びプログラム
WO2018027237A1 (en) Systems, apparatus, and methods for scalable low-latency viewing of broadcast digital content streams of live events
CN111316652A (zh) 使用对齐编码内容片段的个性化内容流
JP6219800B2 (ja) マルチトラックビデオコンテンツを提供するためのマルチトラックビデオコンテンツサービス方法およびシステム
JP7177285B2 (ja) メディアデータを受信するための方法、装置、およびプログラム
JP6280215B2 (ja) ビデオ会議端末、セカンダリストリームデータアクセス方法およびコンピュータ記憶媒体
US20240007510A1 (en) METHOD, SYSTEM, AND NON-TRANSITORY COMPUTER-READABLE RECORD MEDIUM FOR SHARING CONTENT DURING VoIP-BASED CALL
US20230217047A1 (en) Method, system, and computer-readable recording medium for implementing fast-switching mode between channels in multi-live transmission environment
JP7312858B2 (ja) 多重ライブ配信環境でチャンネルのシームレス切り替えモードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体
CN108282670A (zh) 用于实时影像合成的代码转换器
KR102134250B1 (ko) 스트리밍 콘텐츠의 재생 방법 및 시스템
JP7282981B2 (ja) ローカルストリーミングサーバを利用したストリーミングコンテンツの再生方法およびシステム
JP2024517702A (ja) シングルストリームを利用して関心領域の高画質映像を提供する方法、コンピュータ装置、およびコンピュータプログラム
JP7220859B2 (ja) 超短メディアコンテンツを交換するシステムおよび方法
WO2019188485A1 (ja) 情報処理装置、情報処理装置およびプログラム
JP2021082882A (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP7387209B2 (ja) Ｈｔｔｐ上の動的適応ストリーミングのための方法および装置
KR102432376B1 (ko) 콘텐츠 재생 방법 및 시스템
KR20160107617A (ko) 영상 서비스 제공 방법, 사용자 단말기 및 컴퓨터 프로그램
JP2022016252A (ja) 情報処理装置、通信システム、コンテンツ再生プログラム、コンテンツ再生方法
JP2023520757A (ja) Ｈｔｔｐを介した動的適応ストリーミングのための方法および装置
KR20230154977A (ko) 스택화 속성들을 갖는 프리롤들, 미드롤들 및 엔드롤들을 지원하는 mpeg dash를 위한 보조 mpd들

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305