JP6511038B2 - クラウドストリーミングサービス提供方法及びそのための装置 - Google Patents

クラウドストリーミングサービス提供方法及びそのための装置 Download PDF

Info

Publication number
JP6511038B2
JP6511038B2 JP2016251522A JP2016251522A JP6511038B2 JP 6511038 B2 JP6511038 B2 JP 6511038B2 JP 2016251522 A JP2016251522 A JP 2016251522A JP 2016251522 A JP2016251522 A JP 2016251522A JP 6511038 B2 JP6511038 B2 JP 6511038B2
Authority
JP
Japan
Prior art keywords
data
stream
cloud streaming
content
streaming server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016251522A
Other languages
English (en)
Other versions
JP2018007228A (ja
Inventor
キム、ジョンオ
キム、テウォン
イ、ゴンフン
Original Assignee
エスケー テックス カンパニー、リミテッド
エスケー テックス カンパニー、リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エスケー テックス カンパニー、リミテッド, エスケー テックス カンパニー、リミテッド filed Critical エスケー テックス カンパニー、リミテッド
Publication of JP2018007228A publication Critical patent/JP2018007228A/ja
Application granted granted Critical
Publication of JP6511038B2 publication Critical patent/JP6511038B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/08Protocols specially adapted for terminal emulation, e.g. Telnet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Description

本発明は、クラウドストリーミングサービス提供方法及びそのための装置に関し、クラウドストリーミングを利用してコンテンツを提供するとき、コンテンツの全体実行画面のうちMSEメディアに対する不要な重複再生処理を低減することによって、クラウドストリーミングサーバーの資源を効率的に管理し得るクラウドストリーミングサービス提供方法及びそのための装置に関する。
この部分に記述された内容は、単純に本実施形態に対する背景情報を提供するだけで、従来技術を構成するものではない。
コンピュータネットワーク技術の発展に伴い、各端末機の独立的なハードウェア性能に依存した従来のコンピュータ環境は、ネットワーク上のすべてのコンピューティング資源を活用して端末の要請に従って当該サービスを提供するクラウドコンピューティング形態に進化している。
クラウドコンピューティングというのは、インターネットのような情報通信網を介した「コンピューティング資源のオンデマンドアウトソーシングサービス」と定義し得る。クラウドコンピューティング環境において、サービス提供者は、様々な所に分散しているデータセンターを仮想化技術で統合し、ユーザに所要のサービスを提供する。サービスユーザは、アプリケーション(application)、ストレージ(storage)、オペレーティングシステム(OS)、セキュリティ(security)などのコンピューティング資源を各ユーザ所有の端末に設置して使用するものではなく、仮想化技術を用いて生成された仮想空間上のサービスを所望の時点に所望の分だけ選択して使用する。
このようなクラウドコンピューティングによれば、ユーザは、ネットワーク接続と基本的な演算機能のみを行う端末機を介してクラウド網に接続し、大容量の格納装置と高性能コンピューティングリソースが必要な作業を行い、多様なサービスを提供され得る。
クラウドストリーミングサービスは、このようなクラウドコンピューティング環境を基盤とするストリーミングサービスであって、サーバー資源を活用してコンテンツをサーバー側で実行した後、該実行画面をキャプチャ及びエンコーディングして端末に伝送し、端末側では、これをデコーディングしてディスプレイすることによって、端末仕様に関係なく、高性能のコンピューティングリソースが要求されるコンテンツをユーザが利用できるようにする。
なお、ウェブ標準化機構であるW3C(World Wide Web Consortium)は、2014年にHTMLの5番目国際標準としてHTML5を発表したが、これは、フラッシュプラグ−イン(Flash plug−in)が必要ない動画サービスを提供でき、現在ユーチューブなどでHTML5基盤のサービスを実施しており、iPhone(登録商標)とAndroidのようなスマートフォンプラットホームは、HTML5の主要機能を支援するウェブブラウザーを内蔵している。
このようなHTML5の核心中の一つであるMSE(Media Source Extension)は、動画ストリーミング再生のために作られたAPIであって、断絶ないコンテンツ感想のためにビットレート別にエンコーディングされたビデオを一定の長さに分割されたチャンク(chunk)単位でコントロールし、動画ストリーミングサービスを提供する。
従来のクラウドストリーミングシステムでは、コンテンツの再生をクラウドストリーミングサーバーがすべて制御した。したがって、MSEメディアが含まれたコンテンツの場合も、サーバーがMSEメディアプレーヤーを内蔵してMSEメディアを再生し、このようなMSEメディアの再生画面を含むブラウザー画面全体をキャプチャ及びエンコーディングし、端末にストリーミングする。
ブラウザー全体画面においてMSEメディアを除いたUIやイメージなどのような他の領域は、実行時に、相対的にクラウドストリーミングサーバーのシステム資源の消費が少ないが、動画であるMSEメディアは、再生のためにはクラウドストリーミングサーバーのシステム資源消費が増加し、これによって、同時に支援し得る端末のセッション数が減少する問題点がある。
また、端末は、提供されたストリームをさらにデコーディングして再生するので、MSEメディアをサーバー及び端末において二重で再生し、非効率的である。
韓国公開特許第10−2013−0082689号、2013年07月22日公開(名称:クラウド環境でグリッドファイルシステム方式の分散基盤リアルタイムトランザクショナルトランスコーディング方法及び装置とそのシステム)
本発明の目的は、前述した従来の問題点を解決するためになされたものであって、クラウドストリーミングサーバーでMSEメディアを再生せず、MSEメディアを除いた残りの部分のみを実行し、MSEメディアに対するストリームと残りの部分に対するストリームをそれぞれ生成し、端末にストリーミングすることによって、クラウドストリーミングサーバーの資源を効率的に管理することにある。
また、本発明の目的は、端末のみがMSEメディアを再生する主体になって、クラウドストリーミングサーバー及び端末において二重でMSEメディア再生が発生しないようにすることにある。
前記目的を達成するために、本発明の実施形態によるクラウドストリーミングサーバーは、MSEメディアに対応する第1データが格納されるメディアソース格納モジュールと、ユーザ装置で要請されたコンテンツのMSEメディアに対応する前記第1データを受信し、前記メディアソース格納モジュールに格納するブラウザーモジュールと、前記メディアソース格納モジュールに格納された前記第1データを前記ユーザ装置で処理可能なフォーマットにトランスコーディングし、第1ストリームを生成するトランスコーディングモジュールとを含んで構成され、前記トランスコーディングされた第1ストリームを前記ユーザ装置に伝送できる。
この際、前記ブラウザーモジュールは、前記コンテンツで前記第1データを除いた残りのデータに対応する第2データをさらに受信した後、実行し、前記コンテンツの実行画面を出力し得る。
また、クラウドストリーミングサーバーは、前記出力されたコンテンツの実行画面をキャプチャし、エンコーディングし、第2ストリームを生成する画面仮想化処理モジュールをさらに含み、前記第2ストリームを前記ユーザ装置に伝送できる。
また、前記ブラウザーモジュールは、前記実行画面のうち、前記第1データに対応する部分を透明に処理し得る。
なお、前記第1データは、一定の長さに分割されたビデオチャンクであることを特徴とする。
前記目的を達成するために、本発明の実施形態によるユーザ装置は、MSEメディアに対応する第1データに対してトランスコーディングされた第1ストリームを受信して格納する第1ストリーム格納モジュールと、前記第1データを除いた残りのデータに対応する第2データに対する第2ストリームを受信して格納する第2ストリーム格納モジュールと、前記格納された第1ストリームをデコーディングする第1デコーディングモジュールと、前記格納された第2ストリームをデコーディングする第2デコーディングモジュールと、前記デコーディングした第1ストリーム及び第2ストリームをオーバーレイ処理し、最終出力画面を生成する再生モジュールとを含んで構成される。
前記目的を達成するために、本発明の実施形態によるクラウドストリーミングサービス方法は、クラウドストリーミングサーバーがユーザ装置からコンテンツの要請を受ければ、メディアソースサーバーからMSEメディアに対応する第1データを受信する段階と、前記クラウドストリーミングサーバーが前記第1データを前記ユーザ装置で処理可能なフォーマットにトランスコーディングし、第1ストリームを生成する段階と、前記トランスコーディングされた第1ストリームを前記ユーザ装置に伝送する段階とを含む。
この際、前記コンテンツで前記第1データを除いた残りのデータに対応する第2データを受信し、前記コンテンツの実行画面を出力する段階と、前記出力されたコンテンツの実行画面をキャプチャし、エンコーディングして第2ストリームを生成する段階をさらに含む。
また、前記出力する段階は、前記実行画面のうち、前記第1データに対応する部分を透明に処理し得る。
前記目的を達成するために、本発明の実施形態によるクラウドストリーミングサービス方法は、ユーザ装置がクラウドストリーミングサーバーからMSEメディアに対応する第1データに対してトランスコーディングされた第1ストリームを受信して格納する段階と、前記ユーザ装置が前記クラウドストリーミングサーバーから前記第1データを除いた残りのデータに対応する第2データに対する第2ストリームを受信して格納する段階と、前記第1ストリームをデコーディングする段階と、前記第2ストリームをデコーディングする段階と、前記デコーディングした第1ストリーム及び第2ストリームをオーバーレイ処理し、最終出力画面を生成する段階とを含む。
本発明によれば、クラウドストリーミングサーバーでMSEメディアを含むコンテンツを実行してキャプチャした後、エンコーディング処理するとき、MSEメディアに対しては、再生せず、MSEメディアに対応するストリームを受信し、ユーザ装置で処理可能なフォーマットにトランスコーディングした後、伝送することによって、クラウドストリーミングサーバーのシステム負荷を低減できる。これにより、クラウドストリーミングサーバーが同時に支援し得る端末のセッション数が増加する。
この際、MSEメディアの再生処理は、ユーザ装置において一度だけ行われるので、クラウドストリーミングサーバー及びユーザ装置において二重で再生される問題を解決し得る。
図1は、一般的なクラウドストリーミングサービス過程を示すブロック図である。 図2は、本発明の実施形態によるクラウドストリーミングサービスシステムを示す図である。 図3は、本発明の実施形態によるクラウドストリーミングサービスを提供するためのクラウドストリーミングサーバーの構成を示す図である。 図4は、本発明の実施形態によるクラウドストリーミングサービスを提供するためのユーザ装置の構成を示す図である。 図5は、本発明の実施形態によるクラウドストリーミングサービス過程を示すブロック図である。 図6は、本発明の実施形態によるクラウドストリーミングサービス過程を示す流れ図である。 図7は、本発明の実施形態によるクラウドストリーミングサービスのための装置のオペレーティング環境を示す図である。
本発明の課題解決手段の特徴及び利点を一層明確にするために、添付の図面に示された本発明の特定の実施形態を参照して本発明を詳細に説明する。
但し、下記の説明及び添付の図面において本発明の要旨を不明にすることができる公知機能または構成に対する詳細な説明を省略する。また、図面全体にわたって同じ構成要素は、できるだけ、同じ参照符号で示していることに留意しなければならない。
以下で説明される本明細書及び請求範囲に使用された用語や単語は、通常的や辞書的な意味に限定すべきものではなく、発明者は、自分の発明を最善の方法で説明するための用語の概念で適切に定義できるという原則に即して本発明の技術的思想に符合する意味と概念に解釈すべきである。
したがって、本明細書に記載した実施形態と図面に示された構成は、本発明の最も好ましい一実施形態に過ぎず、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれらを代替できる多様な均等物と変形例があり得ることを理解しなければならない。
また、第1、第2等のように序数を含む用語は、多様な構成要素を説明するために使用するものであって、1つの構成要素を他の構成要素から区別する目的だけで使用され、前記構成要素を限定するために使用するものではない。例えば、本発明の権利範囲を逸脱することなく、第2構成要素は、第1構成要素と命名され得、同様に、第1構成要素は、第2構成要素と命名され得る。
また、任意の構成要素が他の構成要素に「連結されて」いるか、「接続されて」いると言及する場合、これは、論理的または物理的に連結されるか、接続され得ることを意味する。言い換えれば、構成要素が他の構成要素に直接的に連結されるか、接続され得るが、中間に他の構成要素が存在してもよく、間接的に連結されるか、接続されてもよいと理解しなければならない。
また、本明細書で使用した用語は、ただ特定の実施形態を説明するために使用されたものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈上、明白に異なって意味しない限り、複数の表現を含む。
本発明の明細書で記述するコンテンツは、動画、イメージテキスト、サウンドのうち少なくとも一つを含むものであって、UI(User Interface)に対するウェブアプリケーション、リアルタイム放送、VODサービス、ゲームサービスなど多様な形態のコンテンツデータを含む。
特に、コンテンツに含まれた動画の場合、HTML5基盤のウェブ標準であるMSEメディアであることができ、本発明の明細書では、動画データをMSEメディアを例示として説明する。
このような本発明の実施形態によるコンテンツは、クラウドストリーミングサービス方式に従ってユーザ装置に提供され得るものであれば、いずれの形態も本発明のコンテンツに適用され得る。
以下、本発明の実施形態によるクラウドストリーミングサービス提供方法及びそのための装置について図面を参照して詳細に説明する。
図1は、一般的なクラウドストリーミングサービス過程を示すブロック図である。
通常、クラウドストリーミングサービスは、ウェブアプリケーションサーバーやメディアソースサーバーのようなコンテンツサーバーからHTMLファイル、CSSファイル、JavaScript(登録商標)ファイル、MSEメディアなどで構成されたコンテンツをクラウドストリーミングサーバーが受信すれば(1000)、MSEメディアを含む全体画面の再生を前記クラウドストリーミングサーバーがすべて制御した。
具体的に、クラウドストリーミングサーバーは、デマクシング(Demuxing)、コーディング(Decoding)、レンダリング(Rendering)を行い、MSEメディアを含むコンテンツ全体を実行して再生し、再生された画面全体をキャプチャし、エンコーディングし(1002、1004、1006)、これをストリーミング方式でユーザ装置に伝送する(1008)。ユーザ装置は、これを受信してデコーディングし(1010)、MSEメディアを含む全体再生画面を出力する(1012)。
したがって、クラウドストリーミングサーバーでMSEメディアを再生し、UIアプリケーション、スチールイメージなどと共に全体ブラウザー画面をキャプチャし、一つのストリームで伝送する場合、MSEメディアは、クラウドストリーミングサーバー及びユーザ装置において二重に再生処理され、これにより、クラウドストリーミングサーバーのシステム資源消費が不要に増加し、その分だけ、サービスし得るユーザ装置の数が減少する。
図2は、本発明の実施形態によるクラウドストリーミングサービスシステムを示す図である。
図2を参照すれば、本発明の実施形態によるクラウドストリーミングシステムは、クラウドストリーミングサーバー100と、ユーザ装置200と、ウェブアプリケーションサーバー300と、メディアソースサーバー400と、ユーザ装置200とクラウドストリーミングサーバー100及びユーザ装置200間の情報の送受信を支援する通信網500とを含んで構成される。
各構成要素について概略的に説明すれば、本発明のユーザ装置200は、ユーザの操作によって通信網500を経由して各種データを送受信し得るユーザの装置を意味する。
このようなユーザ装置200は、通信網500を介してクラウドストリーミングサーバー100に接近し、クラウドストリーミングサービス方式でクラウドストリーミングサーバー100が提供する多様な情報を受信し、ユーザの入力をクラウドストリーミングサーバー100に伝送できる。
そのための本発明のユーザ装置200は、情報の送受信のためのブラウザー、プログラム及びプロトコルを格納するメモリ、各種プログラムを実行し、演算及び制御するためのマイクロプロセッサーなどを具備し得る。
特に、本発明の実施形態によるユーザ装置200は、通信網500を介してクラウドストリーミングサーバー100に接続し、前記クラウドストリーミングサーバー100が提供する多数のコンテンツのうち特定コンテンツの実行を要請し、クラウドストリーミングサーバー100からコンテンツ実行による結果情報をストリーミング方式で受信することによって、ユーザ装置200のユーザは、当該コンテンツを利用し得る。
この際、MSEメディアを除いた実際コンテンツの実行は、ユーザ装置200の遠隔地に位置するクラウドストリーミングサーバー100で実行されることであり、ユーザ装置200のユーザは、自分のユーザ装置200で当該コンテンツが実行されることと同様に利用し得る。
このような本発明のユーザ装置200は、基本的に、エンコーディングされたストリーミングデータを受信してデコーディングする機能を具備でき、これに加えて、デコーディングされたビデオデータを出力する機能を含む。
このような本発明の実施形態によるユーザ装置200は、多様な形態で具現され得る。例えば、本明細書で記述される端末100は、スマートフォン(smart phone)、タブレットパソコン(Tablet PC)、PDA(Personal Digital Assistants)、PMP(Portable Multimedia Player)、MP3 Player等の移動端末機はもちろん、スマートテレビ(Smart TV)、デスクトップコンピュータ、セットトップボックス等のような固定端末機が使用され得る。
また、本発明の実施形態によるユーザ装置200は、出力機能を保有する装置と、出力機能を保有しない装置とに区分され、前記出力機能を保有しない装置は、テレビ、モニター、プロジェクタのような出力装置(図示せず)と連結され、前記出力装置にデータを伝送することによって、前記出力装置を介してクラウドストリーミングサーバー100からストリーミング方式で受信したコンテンツを再生して出力し得る。
このような本発明のユーザ装置200は、デジタル機器のコンバージェンス(convergence)傾向によって携帯機器の変形が非常に多様で、すべて列挙することはできないが、前記言及されたユニットと同等な水準のユニットが本発明によるユーザ装置200に使用されてもよく、通信網500を介してクラウドストリーミングサーバー100と情報を送受信し、クラウドストリーミングサーバー100からストリーミング方式で伝達されるエンコーディングデータをデコーディングして再生し得る装置であれば、いずれの装置も本発明の実施形態によるユーザ装置200に利用され得る。
クラウドストリーミングサーバー100は、本発明の実施形態によるクラウドストリーミングサービスを提供する構成であって、画面仮想化機能を用いてユーザ装置200で要請されたサービスあるいは機能をユーザ装置200に提供する役目を行う。ここで、画面仮想化は、ユーザ装置200で実行されたことのように、特定コンテンツの実行画面を通信網500を介して連結されたサーバー側、すなわちクラウドストリーミングサーバー100で具現し、ユーザ装置200に提供することを意味する。
このために、前記クラウドストリーミングサーバー100は、自分が保有するか、利用可能な多様なコンテンツ、例えば、UIアプリケーション、ゲームアプリケーションなど多様なコンテンツを実行し、該実行画面をキャプチャしてキャプチャーイメージを生成し、これをエンコーディングし、ストリーミング方式でユーザ装置200に伝送する。
この際、前記クラウドストリーミングサーバー100は、サーバーのシステム負荷減少とクラウドストリーミングサーバー100とユーザ装置200の二重再生を防止するために、MSEメディアの実行画面は、出力せず、トランスコーディングし、第1ストリームを生成する機能を具備する。
MSEメディアは、ストリーミング支援のためにバッファー基盤原本オプションをHTML5動画に追加する。以前には、再生する前に全体動画ファイルをダウンロードするか、別途のマルチメディアプレーヤーあるいはプラグインを使用してメディアをストリーミングしなければならなかったが、MSEメディアの場合、追加機能は不要である。MSEメディアは、ビットレート別にエンコーディングされたビデオを一定の長さに分割されたチャンク(chunk)単位でコントロールし、ストリーミングサービスを提供する。
このためには、適応型ビットレートストリーミングであるMPEG−DASH(Dynamic Adaptive Streaming over HTTP)を利用し得る。DASHは、コーデックにかかわらず、したがって、H.265、H.264、VP9などのような多様なコーデックでエンコーディングされたコンテンツを利用し得る。
特に、本発明の実施形態によるクラウドストリーミングサーバー100は、ユーザ装置200の要請信号によってMSEメディアを除いたUIアプリケーションのような残りの領域を実行し、実行画面のうちMSEメディアが表示される領域は、透明に処理し、第2ストリームを生成し得る。
このようなクラウドストリーミングサーバー100は、前記第1ストリーム及び第2ストリームをユーザ装置200に提供することによって、より経済的であり、サーバー負荷が少ないクラウドストリーミングサービスの支援を可能にする。
本発明の実施形態によるウェブアプリケーションサーバー300及びメディアソースサーバー400は、クラウドストリーミングサーバー100及びユーザ装置200においてのコンテンツ要請信号を受信し、多様なコンテンツを提供し得るものであって、ウェブアプリケーションサーバー300は、HTMLファイル、CSSファイル、JavaScript(登録商標)ファイルなどで具現された多数のウェブページの集合であるウェブアプリケーションを提供し得る。
HTMLファイルは、ハイパーテキストの構造を記述するコンピュータ言語であるhtml言語で作成されたファイルであり、インターネットで見られる多数のホームページは、基本的に、HTMLファイルで構成されたものであることができる。CSSファイルは、ウェブ文書の全般的なスタイルをあらかじめ格納しておいたスタイルシートを言う。JavaScript(登録商標)ファイルは、静的なHTMLファイルとは異なって、動的な画面をウェブページに具現するために使用されるJavaScript(登録商標)言語を使用して生成されたファイルであることができる。
メディアソースサーバー400は、ビデオストリームを提供でき、特に、ビットレート別にエンコーディングされた同一のビデオを一定の長さに分割されたチャンク(chunk)を提供する。
ウェブアプリケーションサーバー300とメディアソースサーバー400は、別途のサーバーで具現され得、また、コンテンツサーバーとして一つのサーバーで具現されてもよい。このようなウェブアプリケーションサーバー300とメディアソースサーバー400は、コンテンツを保有し管理する第3の事業者サーバーを意味するもので、例えば、IPTV Head−End systemまたはケーブルテレビのQAM Transmitterなどになり得る。
ウェブアプリケーションサーバー300とメディアソースサーバー400がクラウドストリーミングサーバー100に連結される場合、ウェブアプリケーションサーバー300及びメディアソースサーバー400は、クラウドストリーミングサーバー100にデータを伝達し、クラウドストリーミングサーバー100によって自分が提供するデータのクラウドストリーミングサービスを支援し得る。
本発明の実施形態による通信網500は、WLAN(Wireless LAN)、ワイファイ(Wi−Fi)、ワイブロ(Wibro)、ワイマックス(Wimax)、HSDPA(High Speed Downlink Packet Access)等の無線通信方式を利用することが好ましいが、これに限定されるものではなく、システム具現方式によってイーサネット(登録商標)(Ethernet)、xDSL(ADSL,VDSL)、HFC(Hybrid Fiber Coaxial Cable)、FTTC(Fiber to The Curb)、FTTH(FiberTo The Home)などの有線通信方式を利用することもできる。
なお、本発明の通信網500は、例えば、多数の接続網(図示せず)及びコア網(図示せず)を含み、外部網、例えばインターネット網(図示せず)を含んで構成される。ここで、接続網(図示せず)は、ユーザ装置200と有線・無線通信を行う接続網であって、例えば、BS(Base Station)、BTS(Base Transceiver Station)、NodeB、eNodeBなどのような多数の基地局と、BSC(Base Station Controller)、RNC(Radio Network Controller)のような基地局制御機で具現され得る。
また、前記基地局に一体に具現されていたデジタル信号処理部及び無線信号処理部をそれぞれデジタルユニット(Digital Unit、以下、DUという)及び無線ユニット(Radio Unit、以下、RUという)とに区分して、多数の領域にそれぞれ多数のRU(図示せず)を設置し、多数のRU(図示せず)を集中化されたDU(図示せず)と連結して構成することもできる。
また、接続網(図示せず)と一緒にモバイル網を構成するコア網(図示せず)は、接続網(図示せず)と外部網、例えば、インターネット網(図示せず)を連結する役目を行う。
このようなコア網(図示せず)は、前述したように、接続網(図示せず)間の移動性制御及びスイッチングなどの移動通信サービスのための主要機能を行うネットワークシステムであって、サーキット交換(circuit switching)またはパケット交換(packet switching)を行い、モバイル網内でのパケット流れを管理及び制御する。また、コア網(図示せず)は、周波数間の移動性を管理し、接続網(図示せず)及びコア網(図示せず)内のトラフィック及び他のネットワーク、例えばインターネット網(図示せず)との連動のための役目を行うこともできる。このようなコア網(図示せず)は、SGW(Serving Gate Way)、PGW(PDN GateWay)、MSC(Mobile Switching Center)、HLR(Home Location Register)、MME(Mobile Mobility Entity)とHSS(Home Subscriber Server)などをさらに含んで構成されることもできる。
また、インターネット網(図示せず)は、TCP/IPプロトコルによって情報が交換される通常の公開された通信網、すなわち共用網を意味するもので、クラウドストリーミングサーバー100、ウェブアプリケーションサーバー300及びメディアリソースサーバー400から提供される情報をコア網(図示せず)及び接続網(図示せず)を経てユーザ装置200に提供でき、ユーザ装置200から提供される情報を接続網(図示せず)及びコア網(図示せず)を経てクラウドストリーミングサーバー100及びリソースサーバー300に提供することもできる。しかし、これに限定されるものではなく、クラウドストリーミングサーバー100及びウェブアプリケーションサーバー300、メディアソースサーバー400は、コア網(図示せず)と一体に具現されることもできる。
また、前述した通信方式以外にも、その他広く公知されたか、今後開発されるすべての形態の通信方式を含む。
本発明の実施形態によるクラウドストリーミングサーバー100は、ハードウェア的には、通常のウェブサーバー(Web Server)またはネットワークサーバーと同じ構成を有する。しかし、ソフトウェア的には、C、C++、Java(登録商標)、Visual Basic、Visual Cなどのような言語を用いて具現されるプログラムモジュール(Module)を含む。
また、本発明の実施形態によるクラウドストリーミングサーバー100は、一つのスーパーコンピュータまたは複数のコンピュータが一つのコンピュータのように作動するように連結された同じハードウェアプラットホーム上で複数のユーザに独立的な仮想マシン(Virtual Machine:VM)を提供する分散コンピューティングシステムの形態で具現され得る。
図3は、本発明の実施形態によるクラウドストリーミングサービスを提供するためのクラウドストリーミングサーバーの構成を示す図である。
図3を参照すれば、本発明のクラウドストリーミングサーバー100は、ブラウザーモジュール110と、メディアソース格納モジュール120と、トランスコーディングモジュール130と、画面仮想化処理モジュール140とを含む。
ここで、ブラウザーモジュール110は、ユーザが要請したコンテンツのうちMSEメディアに対応する第1データをメディアソースサーバー400から受信し、メディアソース格納モジュール120に前記第1データを格納するMSEモジュール114と、前記コンテンツで前記第1データを除いた残りのデータに対応する第2データをウェブアプリケーションサーバー300から受信した後、実行し、実行画面を出力するウェブモジュール112とを含む。
第1データは、MSEメディアのビデオチャンクであることができ、第2データは、MSEメディアを除いたHTML、CSS、JavaScript(登録商標)などで具現されたUIアプリケーション、停止された映像、動くアニメーションなどを含むウェブページであることができる。
従来、MSEモジュール114でMSEメディアを再生し、ブラウザーモジュール110でMSEメディアを含む全体実行画面を出力したが、本発明の実施形態では、クラウドストリーミングサーバー100のシステム資源を効率的に管理するために、MSEモジュール114を再定義し、ブラウザーモジュール110内でMSEメディア再生が発生しないようにする。
ブラウザーモジュール110は、MSEメディアを除いた残りの領域の実行画面を出力する場合、MSEメディア部分は、透明度を調節して透明に処理し得る。その後、ユーザ装置200で出力画面を生成するとき、前記透明な部分にMSEメディアに対する再生画面が結合され得るようにするためである。
メディアソース格納モジュール120は、本発明の実施形態によるクラウドストリーミングサービス処理のための多様な命令を格納でき、MSEモジュール114から受信した第1データであるビデオチャンクを、トランスコーディング前に、バッファリング実行のために一時的に格納しておくことができる。
トランスコーディングモジュール130は、第1データをユーザ装置200で受信して処理し得るフォーマットにトランスコーディングを行い、ストリーミングサービス提供のための第1ストリームを生成する。
画面仮想化処理モジュール140は、前記出力された第2データの実行画面をキャプチャし、エンコーディングし、第2ストリームを生成する。第2ストリームのコーディング方式によって前記ブラウザーモジュール110で出力された透明な部分を含む実行画面をキャプチャし、イメージを圧縮格納する方式によって処理し、第2ストリームを生成し得る。
前記第1ストリームと第2ストリームの形式は、ユーザ装置200においてのデコーディングの便宜のために同じ形式を使用することが好ましいが、異なる形式であってもよいことを排除しない。
クラウドストリーミングサーバー100は、ユーザ装置200からコンテンツ要請信号を受信すれば、前記要請に応答するために、前記第1ストリームと第2ストリームを通信網500を介してストリーミング方式でユーザ装置200に伝送する。
図4は、本発明の実施形態によるクラウドストリーミングサービスを提供するためのユーザ装置の構成を示す図である。
図4を参照すれば、本発明のユーザ装置200は、第1ストリーム格納モジュール210と、第2ストリーム格納モジュール220と、第1デコーディングモジュール230と、第2デコーディングモジュール240と、再生モジュール250とを含む。
第1ストリーム格納モジュール210と第2ストリーム格納モジュール220は、クラウドストリーミングサーバー100から受信した第1ストリームと第2ストリームをそれぞれ格納し、デコーディングする前に、バッファリング機能を行う。
第1デコーディングモジュールは、MSEメディアに対する第1ストリームをデコーディングし、再生モジュール250に伝送できる。MSEメディアに対するデコーディングは、クラウドストリーミングサーバー100側では行わず、ユーザ装置200側だけで行われる。
第2デコーディングモジュール240は、第2ストリームをデコーディングし、前記再生モジュール250に伝送できる。
本発明の実施形態による再生モジュール250は、前記第1ストリーム及び前記第2ストリームをデコーディングしたデータをすべて受信し、前記二つのデータを結合し得る。
前記再生モジュール250は、前記デコーディングした第1ストリーム及び前記第2ストリームを結合するためにオーバーレイ処理を行うことができ、前述した過程で出力する最終出力画面を生成し得る。
このように、図4を参照してユーザ装置200の主要構成について説明したが、図示された構成要素より多い構成要素によってユーザ装置200が具現され得る。
図5は、本発明の実施形態によるクラウドストリーミングサービス過程を示すブロック図である。
クラウドストリーミングサーバー100は、ウェブアプリケーションサーバー300及びメディアソースサーバー400からHTML、CSS、JavaScript(登録商標)などで具現されたウェブページである第2データと、MSEメディアに対するビデオチャンクである第1データをコンテンツとして受信する(510)。クラウドストリーミングサーバー100では、MSEメディアとこれを除いた残りの領域に対する処理が分離して行われ、前記クラウドストリーミングサーバー100内のMSEモジュール114を再定義してクラウドストリーミングサーバー100でMSEメディアの再生が行われないようにし、但し、ユーザ装置200で処理し得るフォーマットにトランスコーディングのみを行い、第1ストリームを生成する(520)。
ユーザ装置200から要請されたコンテンツの全体画面で前記MSEメディア領域である第1データを除いた残りの領域である第2データを実行し、該画面を出力し、キャプチャ及びエンコーディングを行い、別途の第2ストリームを生成する(530)。従来、MSEメディアを含んで全体実行画面に対する一つのストリームを生成したが、本発明の実施形態では、これを区分して二つのストリームを生成する。
前記生成した第1、第2ストリームに対してそれぞれストリーミング方式でユーザ装置200に伝送する(540、550)。
ユーザ装置200では、前記第1、第2ストリームに対してデコーディングを行い(560、570)、再生モジュール250を介してデコーディングした二つのデータを結合して再生することによって、出力画面を生成する(580)。
図6は、本発明の実施形態によるクラウドストリーミングサービス過程を示す流れ図である。
図6は、図5のサービス過程を流れ図でもう一度図示したもので、ウェブアプリケーションサーバー300及びメディアソースサーバー400からコンテンツを受信し(S600)、これをMSEメディアであるか否かによって(S602)、MSEメディアである場合には、再生を行わず、ユーザ装置200側で処理し得る形態でトランスコーディングのみを行い、第1ストリームを生成し(S604)、MSEメディアを除いた残りの領域である場合、実行し、出力画面を生成し、これをキャプチャ及びエンコーディングし、第2ストリームを生成する(S606)。生成された二つのストリームは、ストリーミング方式でユーザ装置200に伝送され(S608)、ユーザ装置200は、これをそれぞれデコーディングし(S610)、デコーディングされた二つのデータをオーバーレイ処理し、再生を行う(S612)。これにより、MSEメディアに対する再生をクラウドストリーミングサーバー100で行わず、ストリームだけ生成することによって、ユーザ装置200で再生するようにして、クラウドストリーミングサーバー100の負荷を減少させ、MSEメディアが二重で再生される非効率を防止できる。
図7は、本発明の実施形態クラウドストリーミングサービスのための装置のオペレーティング環境を示す図である。
図7及び以下の説明は、本発明が具現され得る適切なコンピューティング環境の簡単で且つ一般的な説明を提供する。要求事項ではないが、本発明は、コンピュータシステムによって実行されているプログラムモジュールのようなコンピュータ実行可能コマンドと関連して記述され得る。
一般的に、プログラムモジュールは、特定のタスクを行うか、特定の抽象データ類型を具現するルーチン、プログラム、オブジェクト、コンポネント、データ構造などを含む。コンピュータ実行可能コマンド、関連データ構造、及びプログラムモジュールは、本明細書に開示された発明の行為を実行するプログラムコード手段の例を示す。
図7を参照すれば、本発明を具現する例示的なコンピューティングシステムは、プロセッシングユニット11と、システムメモリ12と、該システムメモリ12を含む多様なシステムコンポネントを前記プロセッシングユニット11に連結させるシステムバス10とを含む形態よりなるコンピューティング装置を含む。
プロセッシングユニット11は、本発明の特徴を具現するように設計されたコンピュータ−実行可能コマンドを実行させることができる。
システムバス10は、多様なバスアーキテクチャー中の任意のものを使用するローカルバス、周辺バス、及びメモリバスまたはメモリコントローラーを含む複数類型のバス構造中の任意のものであることができる。
システムメモリ12は、ROM(Read Only Memory)12a及びRAM(Random Access Memory)12bを含む。始動中のようなとき、コンピュータシステム内の構成要素の間に情報を伝送することを助ける基本ルーチンを含む基本入出力システム(BIOS)13aは、一般的に、ROM12aに格納され得る。
コンピューティングシステムは、格納手段を含み、例えば、ハードディスクから情報を読み取るか、該ハードディスクに情報を記録するハードディスクドライブ15と、磁気ディスクから情報を読み取るか、該磁気ディスクに情報を記録する磁気ディスクドライブ16と、例えば、CD−ROMまたはその他光媒体などの光ディスクから情報を読み取るか、該光ディスクに情報を記録する光ディスクドライブ17とを含む。ハードディスクドライブ15、磁気ディスクドライブ16、及び光ディスクドライブ17は、それぞれハードディスクドライブインターフェース18、磁気ディスクドライブ−インターフェース19、及び光ドライブインターフェース20によってシステムバス10に接続される。
また、コンピューティングシステムは、格納手段として外装メモリ21をさらに具備し得る。前記外装メモリ21は、入出力インターフェース24を介してシステムバス10に接続され得る。
前述したドライブ及び該ドライブによって読み取り及び記録される関連コンピュータ読み取り可能な媒体は、コンピュータ実行可能コマンド、データ構造、プログラムモジュール及びその他データの不揮発性メモリを提供する。
本明細書で記述された例示的な環境は、ハードディスクドライブ15、磁気ディスクドライブ16及び光ディスクドライブ17を例示しているが、その他、磁気カセット、フラッシュメモリカード、DVD、ベルヌーイカートリッジ(Bernoulli cartridge)、RAM、ROMなどを含む、データを格納する他の類型のコンピュータ読み取り可能な媒体が利用され得る。
前記プロセッシングユニット11によってローディングされて実行される、オペレーティングシステム13b、一つ以上のアプリケーションプログラム13c、その他プログラムモジュール13d、及びプログラムデータ13eを含む一つ以上のプログラムモジュールを含むプログラムコード手段は、ハードディスクドライブ15、磁気ディスクドライブ16、光ディスクドライブ17、ROM12aまたはRAM12bに格納され得る。本発明によるクラウドストリーミングサービス提供方法は、プログラムモジュールで具現され、前記ハードディスクドライブ15、磁気ディスクドライブ16、光ディスクドライブ17、ROM12aまたはRAM12bのうち少なくとも一つに格納された後、プロセッシングユニット11によってローディングされて実行され得る。
また、前記コンピュータシステムは、キーボード、ポインティング装置、マイクロホン、ジョイスティック、ゲームパッド、スキャナなどのようなその他入力装置22を介してユーザから命令及び情報を入力され得る。これら入力装置22は、システムバス10に連結された入出力インターフェース24を介してプロセッシングユニット11に接続され得る。入出力インターフェース24は、例えば、直列ポートインターフェース、PS/2インターフェース、並列ポートインターフェース、USBインターフェース、IEEE(Institute of Electrical and Electronics Engineers)1394インターフェース(すなわち、ファイアワイヤ(FireWire)インターフェース)のような非常に多様な異なるインターフェースのうち任意のものを論理的に示すか、他のインターフェースの組合までも論理的に示すことができる。
しかも、本発明が適用されるコンピューティングシステムは、モニターあるいはLCDのようなディスプレイ装置26またはスピーカーやマイクロホンのようなオーディオ装置27をさらに含むことができ、これらは、ビデオ/オーディオインターフェース25を介してシステムバス10に接続される。
また、本発明を実行するコンピューティングシステムは、例えば、事務室−広域または企業−広域コンピュータネットワーク、ホームネットワーク、イントラネット、及び/またはインターネットのようなネットワークに接続可能である。コンピュータシステムは、このようなネットワークを介して、例えば、遠隔コンピュータシステム、遠隔アプリケーション、及び/または遠隔データベースのような外部ソースとのデータを交換し得る。
このために、本発明が適用されるコンピューティングシステムは、外部ソースからデータを受信し/受信するか、外部ソースにデータを伝送するネットワークインターフェース28を含む。
本発明において、このようなコンピューティングシステムは、ネットワークインターフェース28を介して遠隔地に位置する装置と情報を送受信し得る。
例えば、コンピュータシステムがユーザ装置200を意味する場合、ネットワークインターフェース28を介してクラウドストリーミングサーバー100と情報を送受信し得る。一方、コンピュータシステムがクラウドストリーミングサーバー100を意味する場合、ネットワークインターフェース28を介してユーザ装置200と情報を送受信し得る。ネットワークインターフェース28は、例えば、ネットワークインターフェースカード及び対応するネットワークドライバーインターフェース仕様(Network Driver Interface Specification:NDIS)スタックのような一つ以上のソフトウェア及び/またはハードウェアモジュールの論理的組合で示すことができる。
同様に、コンピュータシステムは、入出力インターフェース24を介して外部ソースからデータを受信するか、外部ソースにデータを伝送する。入出力インターフェース24は、モデム23(例えば、標準モデム、ケーブルモデム、またはデジタル加入者線(digital subscriber line:DSL)モデム)に連結され得、このようなモデム23を介して外部ソースからデータを受信し/受信するか、外部ソースにデータを伝送できる。
図7は、本発明に適切なオペレーティング環境を示すが、本発明の原理は、必要に応じて、適切な修正で、本発明の原理を具現し得る任意のシステムに採用され得る。図7に示された環境は、ただ例示的であり、本発明の原理が具現され得る非常に多様な環境の小さい一部も示さない。
なお、本発明のプログラム及びプログラム実行時に発生する多様な情報は、図7のようなコンピューティングシステムに関連した任意のコンピュータ読み取り可能な媒体に格納され、アクセスされ得る。例えば、このようなプログラムモジュールの一部及び関連プログラムデータの一部は、システムメモリ12に格納するために、オペレーティングシステム13b、アプリケーションプログラム13c、プログラムモジュール13d、及び/またはプログラムデータ13eに含まれることができる。
また、ハードディスクのような大容量(mass)格納装置がコンピューティングシステムに連結されれば、このようなプログラムモジュール及び関連プログラムデータは、大容量格納装置に格納され得る。
ネットワーク環境で、本発明に係るプログラムモジュールまたはその一部は、入出力インターフェース24のモデム23またはネットワークインターフェース25を介して連結された遠隔コンピュータシステム、例えば、クラウドストリーミングサーバー100及びユーザ装置200のコンピューティングシステムに関連したシステムメモリ及び/または大容量格納装置のような遠隔メモリ格納装置に格納され得る。このようなモジュールの実行は、前述したように、分散型環境で行われることができる。
方法段階は、オン入力(on input)データを動作させ、出力を発生させることによって、機能を行うためにコンピュータプログラムを実行する一つ以上のプログラム可能プロセッサによって行われることができる。方法段階は、また、特殊目的論理回路組織、例えばFPGA(field programmable gate array)またはASIC(application−specific integrated circuit)によって行われることができ、装置は、これらで具現され得る。
コンピュータプログラムの処理に適切なプロセッサは、例として、汎用及び特殊目的マイクロプロセッサーの両方とも、及び任意の種類のデジタルコンピュータの任意の一つ以上のプロセッサを含む。一般的に、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリまたは両方ともからコマンド及びデータを受信する。コンピュータの要素は、コマンドを実行する少なくとも一つのプロセッサと、コマンド及びデータを格納する一つ以上のメモリ装置を含む。
一般的に、コンピュータは、データを格納する一つ以上の大量格納装置、例えば、磁気−光ディスク、または光ディスクを含むことができるか、これらからデータを受信するか、これらにデータを送信するか、または送受信が可能になるように結合され得る。
コンピュータプログラムコマンド及びデータを具体化するに適切な情報キャリアは、例として半導体メモリ装置、例えば、ハードディスク、プロッピィーディスク及び磁気テープのような磁気媒体(Magnetic Media)、CD−ROM(Compact Disk Read Only Memory)、DVD(Digital Video Disk)のような光記録媒体(Optical Media)、フロップチカルディスク(Floptical Disk)のような磁気−光媒体(Magneto−Optical Media)、及びロム(ROM、Read Only Memory)、ラム(RAM、Random Access Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)などを含む。
プロセッサ及びメモリは、特殊目的論理回路組織によって補充されるか、これに含まれることができる。
本明細書は、多数の特定の具現物の詳細事項を含むが、これらは、如何なる発明や請求可能なものの範囲に対しても制限的なものと理解されてはならず、むしろ特定の発明の特定の実施形態に特有な特徴に対する説明として理解されなければならない。
個別的な実施形態の文脈で本明細書に記述された特定の特徴は、単一実施形態で組み合わせて具現されてもよい。反対に、単一実施形態の文脈で記述した多様な特徴も、個別的にあるいは如何なる適切な下位組合せでも複数の実施形態で具現可能である。
さらに、特徴が特定の組合せで動作し、初期にそのように請求されたように描写され得るが、請求された組合せからの1つ以上の特徴は、一部の場合に、その組合せから排除されてもよく、その請求された組合せは、下位組合せや下位組合せの変形物に変更されてもよい。
同様に、特定の手順で図面で動作を描写しているが、これは、好ましい結果を得るために図示された特定の手順や順次的な手順にそのような動作を行わなければならないか、すべての図示された動作が行われなければならないものと理解されてはならない。
特定の場合、マルチタスキングと並列プロセッシングが有利なことがある。また、前述した実施形態の多様なシステムコンポネントの分離は、そのような分離をすべての実施形態で要求するものと理解されてはならず、説明したプログラムコンポネントとシステムは、一般的に単一のソフトウェア製品に一緒に統合されるか、多重ソフトウェア製品にパッケージングされ得るという点を理解しなければならない。
本明細書で説明した主題の特定の実施形態を説明した。その他の実施形態は、以下の請求項の範囲内に属する。
例えば、請求項で引用された動作は、異なる手順に行われながらも、相変らず好適な結果を成就し得る。一例として、添付の図面に示したプロセスは、好適な結果を得るために、必ずその特定の図示された手順や順次的な手順を要求しない。
本記述した説明は、本発明の最上のモードを提示しており、本発明を説明するために、そして当業者が本発明を製作及び利用できるようにするための例を提供している。このように作成された本明細書と図面に開示された本発明の実施形態は、理解を助けるために特定例を提示したものに過ぎず、本発明の範囲を限定しようとするものではない。ここに開示された実施形態以外にも、本発明の技術的思想に基づく他の変形例が実施可能であることは、本発明の属する技術分野における通常の知識を有する者に自明である。
本発明によれば、クラウドストリーミングサーバーでMSEメディアの再生が発生しないようにして、クラウドストリーミングサーバーの資源を効率的に管理することによって、より多いユーザにクラウドストリーミングサービスを提供し得る。
したがって、クラウドストリーミングサービス産業を活性化させ、産業発展に貢献し得る。
また、本発明は、市販または営業の可能性が十分であり、且つ現実的に明白に実施し得る程度なので、産業上の利用可能性がある。
100 クラウドストリーミングサーバー
110 ブラウザーモジュール
112 ウェブモジュール
114 MSEモジュール
120 メディアソース格納モジュール
130 トランスコーディングモジュール
140 画面仮想化処理モジュール
200 ユーザ装置
210 第1ストリーム格納モジュール
220 第2ストリーム格納モジュール
230 第1デコーディングモジュール
240 第2デコーディングモジュール
250 再生モジュール
300 ウェブアプリケーションサーバー
400 メディアソースサーバー
500 通信網

Claims (7)

  1. コンテンツの第1データが格納されるメディアソース格納モジュールであって、前記コンテンツは、ビデオチャンクに相当する前記第1データと、当該第1データを除いた残りのデータに対応する第2データとを含む、前記メディアソース格納モジュールと、
    ユーザ装置からコンテンツの要請を受信したときに、コンテンツサーバーから前記第1データと前記第2データとを受信し、前記受信した前記第1データを前記メディアソース格納モジュールに格納し、前記第2データのみでコンテンツを実行し、前記第1データ無しで前記コンテンツの実行画面を出力するブラウザーモジュールと、
    前記メディアソース格納モジュールに格納された前記第1データを前記ユーザ装置で処理可能なフォーマットにトランスコーディングし、第1ストリームを生成するトランスコーディングモジュールと、
    前記出力されたコンテンツの実行画面をキャプチャし、前記キャプチャした前記実行画面をエンコーディングして、第2ストリームを生成する画面仮想化処理モジュールと、を含み、
    前記生成された第1および第2ストリームを前記ユーザ装置に伝送することを特徴とするクラウドストリーミングサーバー。
  2. 前記ブラウザーモジュールは、
    前記実行画面のうち、前記第1データに対応する部分を透明に処理することを特徴とする請求項1に記載のクラウドストリーミングサーバー。
  3. 前記第1データは、一定の長さに分割されたビデオチャンクであることを特徴とする請求項1に記載のクラウドストリーミングサーバー。
  4. クラウドストリーミングサーバーにコンテンツを要請するユーザ装置において、前記コンテンツは、ビデオチャンクに相当する第1データと、当該第1データを除いた残りのデータに対応する第2データとを含み、前記ユーザ装置は、
    前記第1データをトランスコーディングして生成された第1ストリームを受信して格納する第1ストリーム格納モジュールと、
    前記第1データを除いた前記第2データのみで前記コンテンツが実行されるときに出力される実行画面をキャプチャしてエンコードして生成される第2ストリームを受信して格納する第2ストリーム格納モジュールと、
    前記格納された第1ストリームをデコーディングする第1デコーディングモジュールと、
    前記格納された第2ストリームをデコーディングする第2デコーディングモジュールと、
    前記デコーディングした第1ストリーム及び第2ストリームをオーバーレイ処理し、最終出力画面を生成する再生モジュールと、を含むことを特徴とするユーザ装置。
  5. クラウドストリーミングサーバーがユーザ装置からコンテンツの要請を受ければ、コンテンツサーバーから前記コンテンツの第1データを受信する段階であって、前記コンテンツは、ビデオチャンクに相当する前記第1データと、当該第1データを除いた残りのデータに対応する第2データとを含む、前記第1データを受信する段階と、
    前記クラウドストリーミングサーバーが前記第1データを実行することなく前記ユーザ装置で処理可能なフォーマットに前記第1データをトランスコーディングし、第1ストリームを生成する段階と、
    前記クラウドストリーミングサーバーが前記コンテンツサーバーから前記第2データを受信する段階と、
    前記クラウドストリーミングサーバーが前記第2データのみで前記コンテンツを実行して前記コンテンツの実行画面を出力する段階と、
    前記クラウドストリーミングサーバーが前記出力された前記実行画面をキャプチャする段階と、
    前記クラウドストリーミングサーバーが前記キャプチャされた実行画面をエンコーディングし、第2ストリームを生成する段階と、
    前記クラウドストリーミングサーバーが前記生成された前記第1および第2ストリームを前記ユーザ装置に伝送する段階と、を含むことを特徴とするクラウドストリーミングサービス方法。
  6. 前記出力する段階は、
    前記実行画面のうち、前記第1データに対応する部分を透明に処理することを特徴とする請求項5に記載のクラウドストリーミングサービス方法。
  7. ユーザ装置がクラウドストリーミングサーバーからコンテンツの第1データに対してトランスコーディングされて生成された第1ストリームを受信して格納する段階であって、前記コンテンツは、ビデオチャンクに相当する前記第1データと、当該第1データを除いた残りのデータに対応する第2データとを含む、前記第1ストリームを受信して格納する段階と、
    前記ユーザ装置が前記クラウドストリーミングサーバーから前記第1データを除いた第2データのみで前記コンテンツが実行されるときに出力される実行画面をキャプチャしてエンコードして生成される第2ストリームを受信して格納する段階と、
    前記ユーザ装置が前記第1ストリームをデコーディングする段階と、
    前記ユーザ装置が前記第2ストリームをデコーディングする段階と、
    前記ユーザ装置が前記デコーディングした第1ストリーム及び第2ストリームをオーバーレイ処理し、最終出力画面を生成する段階と、を含むことを特徴とするクラウドストリーミングサービス方法。
JP2016251522A 2016-07-08 2016-12-26 クラウドストリーミングサービス提供方法及びそのための装置 Active JP6511038B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0087011 2016-07-08
KR1020160087011A KR101780782B1 (ko) 2016-07-08 2016-07-08 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
JP2018007228A JP2018007228A (ja) 2018-01-11
JP6511038B2 true JP6511038B2 (ja) 2019-05-08

Family

ID=57867982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016251522A Active JP6511038B2 (ja) 2016-07-08 2016-12-26 クラウドストリーミングサービス提供方法及びそのための装置

Country Status (5)

Country Link
US (1) US10791160B2 (ja)
EP (1) EP3267331B1 (ja)
JP (1) JP6511038B2 (ja)
KR (1) KR101780782B1 (ja)
CN (1) CN107592551B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413957A (zh) * 2018-04-28 2019-11-05 中移(苏州)软件技术有限公司 数据交换的方法以及处理器、服务器、数据交换平台
CN109151570B (zh) * 2018-10-10 2022-04-01 深圳市网心科技有限公司 一种基于html5的流媒体处理方法、系统及相关组件
KR102552753B1 (ko) * 2018-10-24 2023-07-05 에스케이텔레콤 주식회사 딜레이 절감을 위한 vmi 화면 표시 방법 및 장치
US20220322306A1 (en) * 2021-03-31 2022-10-06 Tencent America LLC Method and apparatus for defining egest configuration and protocols in 5g uplink streaming
KR102566263B1 (ko) * 2021-05-03 2023-08-11 주식회사 엘지유플러스 화면 제공을 위한 서비스 서버 및 그 동작 방법
KR102562174B1 (ko) * 2021-06-07 2023-08-01 주식회사 엔씨소프트 클라우드 게임 서비스 제공 시스템 및 클라우드 게임 서비스 제공 방법
KR102522681B1 (ko) * 2021-07-27 2023-04-17 에스케이스토아 주식회사 동영상 스트리밍 방법, 동영상 스트리밍 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
CN115695843A (zh) * 2022-10-27 2023-02-03 中国联合网络通信集团有限公司 预制视频播放方法、服务器、终端、介质及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9015230B2 (en) 2011-02-23 2015-04-21 Broadcom Corporation Gateway/set top box image merging for delivery to serviced client device
US9525900B2 (en) * 2011-09-15 2016-12-20 Google Inc. Video management system
US9569097B2 (en) * 2011-12-01 2017-02-14 Microsoft Technology Licesing, LLC Video streaming in a web browser
US20130219006A1 (en) 2012-02-21 2013-08-22 Sony Corporation Multiple media devices through a gateway server or services to access cloud computing service storage
CN104620583A (zh) * 2012-05-14 2015-05-13 卢卡·罗萨托 基于支持信息的残差数据的编码和重构
EP2859729B1 (en) * 2012-06-12 2020-09-16 Coherent Logix, Incorporated A distributed architecture for encoding and delivering video content
JP5959353B2 (ja) 2012-07-23 2016-08-02 三菱電機株式会社 遠隔表示装置
CN103581263B (zh) * 2012-08-06 2016-12-21 华为技术有限公司 Url点击事件的识别方法、装置和服务器
US11082490B2 (en) * 2012-11-28 2021-08-03 Nvidia Corporation Method and apparatus for execution of applications in a cloud system
CN105075273B (zh) * 2013-02-27 2019-03-26 苹果公司 自适应流式传输技术
US8869218B2 (en) * 2013-03-15 2014-10-21 Wowza Media Systems, LLC On the fly transcoding of video on demand content for adaptive streaming
EP2819417B1 (en) * 2013-06-24 2020-03-04 Canon Kabushiki Kaisha Method and device for streaming video from a server based on expected usages
CA2917719C (en) * 2013-07-11 2021-12-14 Dejero Labs Inc. Systems and methods for transmission of data streams
KR20160028226A (ko) 2014-09-03 2016-03-11 엘지전자 주식회사 디스플레이 디바이스 및 상기 디스플레이 디바이스에서 컨텐트 처리 방법
KR102252320B1 (ko) * 2014-10-15 2021-05-14 삼성전자주식회사 컨텐츠 재생 디바이스 및 그 방법

Also Published As

Publication number Publication date
EP3267331A1 (en) 2018-01-10
CN107592551A (zh) 2018-01-16
US20180013813A1 (en) 2018-01-11
CN107592551B (zh) 2020-07-31
JP2018007228A (ja) 2018-01-11
EP3267331B1 (en) 2020-02-19
KR101780782B1 (ko) 2017-09-21
US10791160B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
JP6511038B2 (ja) クラウドストリーミングサービス提供方法及びそのための装置
US10187668B2 (en) Method, system and server for live streaming audio-video file
CN107645491B (zh) 媒体流传输设备和媒体服务设备
US10979785B2 (en) Media playback apparatus and method for synchronously reproducing video and audio on a web browser
US8875208B1 (en) High quality multimedia transmission from a mobile device for live and on-demand viewing
JP4585479B2 (ja) サーバ装置および映像配信方法
US8719437B1 (en) Enabling streaming to a media player without native streaming support
WO2014054325A1 (ja) 符号化制御装置および符号化制御方法
KR101986995B1 (ko) 웹 브라우저 상에서 비디오와 오디오를 동기화하여 재생하는 미디어 재생 장치 및 방법
KR102050735B1 (ko) 클라우드 스트리밍 서비스를 위한 프락시 서버, 이를 이용한 클라우드 스트리밍 시스템 및 클라우드 스트리밍 서비스 제공 방법
KR102299615B1 (ko) 컨텐트 분산 네트워크들에서 엠펙 미디어 전송 통합을 위한 방법 및 장치
CN112399257B (zh) 云桌面视频播放方法、服务器、终端及存储介质
KR102346747B1 (ko) 클라우드 스트리밍 서비스 시스템, 리사이즈 기반의 멀티뷰 화면을 제공하는 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
KR102247886B1 (ko) 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
JP2012257196A (ja) 画面の共有に基づくストリーミングメディア転送システム及びその方法
KR101621530B1 (ko) 무선 네트워크를 통한 플래시 컨텐츠 제공 방법 및 그 시스템과 플래시 컨텐츠 변환 방법 및 그 장치
KR20140117889A (ko) 클라이언트 장치, 서버 장치, 멀티미디어 리디렉션 시스템 및 그 방법
KR102310070B1 (ko) 클라우드 스트리밍 서비스 제공을 위한 어플리케이션 캐싱 방법 및 이를 위한 장치
US10547878B2 (en) Hybrid transmission protocol
WO2016107174A1 (zh) 多媒体文件数据的处理方法及系统、播放器和客户端
KR20130077246A (ko) 스마트디바이스 상에서 파노라마 동영상 재생시 cpu에 의한 과도 처리 경감방법 및 과도 처리 경감시스템
KR20160087225A (ko) 클라우드 스트리밍 서비스 시스템, 멀티뷰 화면을 제공하기 위한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
KR102050736B1 (ko) 클라우드 스트리밍 시스템 및 그 시스템에서의 데이터 캐싱을 위한 장치
KR102273143B1 (ko) 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
KR102310069B1 (ko) 클라우드 스트리밍 시스템 및 그 시스템에서의 웹 형식이 아닌 데이터 참조를 위한 장치 및 방법

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20171218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190405

R150 Certificate of patent or registration of utility model

Ref document number: 6511038

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250