JP6527579B2 - クラウドストリーミングサービスシステム、スチールイメージ基盤クラウドストリーミングサービス方法及びそのための装置 - Google Patents

Description

本発明は、クラウドストリーミングサービスシステム、スチールイメージ基盤クラウドストリーミングサービス方法及びそのための装置（ＳＹＳＴＥＭ ＦＯＲ ＣＬＯＵＤ ＳＴＲＥＡＭＩＮＧ ＳＥＲＶＩＣＥ、ＭＥＴＨＯＤ ＯＦ ＣＬＯＵＤ ＳＴＲＥＡＭＩＮＧ ＳＥＲＶＩＣＥ ＢＡＳＥＤ ＯＮ ＳＴＩＬＬ ＩＭＡＧＥ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＴＨＥ ＳＡＭＥ）に関し、より詳細には、クラウドストリーミングサービス時に、変化が少ない部分に対してスチールイメージ基盤のクラウドストリーミングサービスを提供するとき、キャプチャされた画面によって圧縮技法を選択してエンコーディングすることによって、圧縮効率とサービス速度を向上させることができ、イメージタイプによるスチールイメージ圧縮技法でエンコーディングを行い、イメージの圧縮効率とサービス速度を向上させることができ、システム負荷及びネットワーク状態によってスチールイメージ圧縮技法を選択してエンコーディングすることによって、圧縮効率とサービス速度を向上させることができるクラウドストリーミングサービスシステム、スチールイメージ基盤クラウドストリーミングサービス方法及びそのための装置に関する。

本発明は、２０１４年７月３０日に出願された韓国特許出願第１０−２０１４−００９７３２２号、２０１４年８月２５日に出願された韓国特許出願第１０−２０１４−０１１０５５１号、２０１４年１０月１６日に出願された韓国特許出願第１０−２０１４−０１３９５５６号及び２０１４年１１月１１日に出願された韓国特許出願第１０−２０１４−０１５６００４号の出願日の利益を主張し、その内容の全部は、本明細書に含まれる。

クラウドストリーミングサービスは、基本的に、ビデオコーデック基盤のクラウドストリーミング技法が適用され、メニューディスプレイなどを適用する場合にも、不要に画面全体をキャプチャし、ビデオコーデックを利用して動作し、クラウドストリーミングサービスが非効率的であった。

すなわち、静的な画面がユーザの入力によって少しずつ変わる画面に対するクラウドストリーミング適用時には、ビデオコーデックを利用したクラウドストリーミングサービスよりも、イメージ基盤クラウドストリーミングサービスが効果的なことがある。

言い替えれば、スチールイメージ基盤のクラウドストリーミングサービスを行う場合、フレーム間の変化が発生した領域を正確に検出し、最小領域のみを伝送すると、さらに効果的なクラウドストリーミングサービスが可能である。

また、スチールイメージコーデックを適用する場合、圧縮対象イメージのイメージタイプによってそのデータ量が千差万別であり、圧縮に使用されるスチールイメージ圧縮技法でよってクラウドストリーミングサービスの効率性が大きく変わることができる。したがって、イメージタイプを迅速で且つ正確に区分し、適応的にイメージクラウドを適用できる新しい技法の必要性が切実に提起される。

また、スチールイメージ基盤のクラウドストリーミングサービスを行う場合、フレーム間の変化が発生した領域を正確に検出することが非常に重要な問題であり、したがって、さらに簡単で且つさらに効果的な変化領域検出技術が必要である。
しかも、ケーブルやＩＰＴＶ事業者が長期間多様な種類のセットトップボックスを供給しているため、セットトップボックスごとに性能の差異が千差万別であり、実際に最近１０余年の間に、総１５種類以上のセットトップが普及されて来た。また、良い性能のセットトップと悪い性能のセットトップとの間の性能の差異が非常に大きいため、コンテンツ供給者が所望する方式でコンテンツがユーザに供給されない場合が発生する。

また、スチールイメージ基盤のクラウドストリーミングサービスを行う場合、ウェブアプリのためのコードを作成するウェブアプリ開発者は、自分が従来使用した方式でコードを作成しようとし、クラウドストリーミングサーバーの入場では、できるだけ、アニメーションなどが適用されず、キャプチャすべきイメージ情報とアニメーションの属性に該当する情報のみを含むコードを希望するため、互いに相反する面がある。すなわち、ウェブアプリ開発者がＣＳサーバー側で所望のコードを提供するためには、従来自分が使用した方式ではなく、新しいコードを提供しなければならない問題がある。

関連先行技術としては、韓国公開特許第１０−２０１４−００７６６６８号、２０１３年０６月２３日公開（名称：クラウドストリーミング基盤のゲーム提供方法）及び韓国公開特許第１０−２０１４−００２７０４０号、２０１４年０３月０６日公開（名称：適応イメージ圧縮システム及びその方法）がある。

韓国公開特許第１０−２０１４−００７６６６８号 韓国公開特許第１０−２０１４−００２７０４０号

本発明の目的は、スチールイメージ基盤クラウドストリーミングサービスの提供時に、状況にあうスチールイメージ圧縮技法を使用することによって、圧縮効率とクラウドストリーミングサービス速度を向上させることにある。

また、本発明の目的は、スチールイメージ基盤クラウドストリーミングサービスの提供時に、イメージタイプに適したスチールイメージ圧縮技法を使用することによって、圧縮効率とクラウドストリーミングサービス速度を向上させることにある。

また、本発明の目的は、スチールイメージ基盤クラウドストリーミングサービスの提供時に、クラウドストリーミングサーバー状態に適したスチールイメージ圧縮技法を使用することによって、クラウドストリーミングサーバー負荷に発生し得るサービス遅延を防止し、速くサービスを提供することにある。

また、本発明の目的は、スチールイメージ基盤クラウドストリーミングサービスを通じてストリーミング圧出効率を極大化し、同一の帯域を通じて一層速くて且つさらに多いユーザを対象としてクラウドストリーミングサービスを提供することにある。

また、本発明の目的は、メニュー画面などのようにフレーム間の変化が大きくない場合、クラウドストリーミングサーバーがフレーム間の変化を検出し、当該変化が発生した領域のみをスチールイメージコーデックを利用して圧縮してストリーミングする、クラウドストリーミングサービス方法を提供することにある。

前記目的を達成するために、本発明によるクラウドストリーミングサーバーは、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャするキャプチャ部と、前記変化領域のサイズ及び前記変化領域に相当するイメージ性質のうちいずれか一つ以上を考慮してスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、前記スチールイメージ圧縮技法を利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングするエンコーディング部と、スチールイメージエンコーディングされた前記変化領域を前記ユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うセンディング部とを含む。

この際、エンコーディング部は、ＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して前記変化領域を圧縮できる。

この際、エンコーディング部は、前記変化領域のサイズが既定の基準値未満である場合、前記ＰＮＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングできる。

この際、エンコーディング部は、前記変化領域のサイズが前記基準値以上である場合、前記イメージ性質を考慮して、前記スチールイメージ圧縮技法を選択できる。

この際、エンコーディング部は、前記イメージ性質が自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）である場合、前記ＪＰＥＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングできる。

この際、エンコーディング部は、前記変化領域のサイズが既定の基準値以上であり、前記イメージ性質が合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）である場合、前記パレットＰＮＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングできる。

この際、エンコーディング部は、前記イメージ性質が前記自然イメージと前記合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）とが混合したイメージである場合、前記変化領域のうち前記自然イメージに相当する領域と前記変化領域のうち前記合成イメージに相当する領域を比較し、さらに多い領域に相当するイメージ性質によって前記スチールイメージ圧縮技法を選択できる。

この際、キャプチャ部は、前記変化したフレームに相当する画面領域のうち前記以前フレームに相当する画面領域と比較して、変化した領域を前記変化領域としてキャプチャできる。

この際、キャプチャ部は、前記ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、前記フレーム変化が少ない区間で前記変化領域をキャプチャできる。

この際、キャプチャ部は、前記ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、前記フレーム変化が少ない区間を検出できる。

また、本発明によるスチールイメージ基盤クラウドストリーミングサービス方法は、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャする段階と、前記変化領域のサイズ及び前記変化領域に相当するイメージ性質のうちいずれか一つ以上を考慮してスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、前記スチールイメージ圧縮技法を利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングする段階と、スチールイメージエンコーディングされた前記変化領域を前記ユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う段階とを含む。

この際、エンコーディングする段階は、ＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して前記変化領域を圧縮できる。

この際、エンコーディングする段階は、前記変化領域のサイズが既定の基準値未満である場合、前記ＰＮＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングできる。

この際、エンコーディングする段階は、前記変化領域のサイズが前記基準値以上である場合、前記イメージ性質を考慮して、前記スチールイメージ圧縮技法を選択できる。

この際、エンコーディングする段階は、前記イメージ性質が自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）である場合、前記ＪＰＥＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングできる。

この際、エンコーディングする段階は、前記変化領域のサイズが既定の基準値以上であり、前記イメージ性質が合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）である場合、前記パレットＰＮＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングできる。

この際、エンコーディングする段階は、前記イメージ性質が前記自然イメージと前記合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）とが混合したイメージである場合、前記変化領域のうち前記自然イメージに相当する領域と前記変化領域のうち前記合成イメージに相当する領域を比較し、さらに多い領域に相当するイメージ性質によって前記スチールイメージ圧縮技法を選択できる。

この際、キャプチャする段階は、前記変化したフレームに相当する画面領域のうち前記以前フレームに相当する画面領域と比較して、変化した領域を前記変化領域としてキャプチャできる。

この際、キャプチャする段階は、前記ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出する段階を含み、前記フレーム変化が少ない区間で前記変化領域をキャプチャできる。

この際、検出する段階は、前記ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、前記フレーム変化が少ない区間を検出できる。

また、本発明によるクラウドストリーミングサービスシステムは、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャし、前記変化領域のサイズ及び前記変化領域に相当するイメージ性質のうちいずれか一つ以上を考慮してスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、前記スチールイメージ圧縮技法を利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングし、スチールイメージエンコーディングされた前記変化領域を前記ユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うクラウドストリーミングサーバーと、前記クラウドストリーミングサーバーから前記クラウドストリーミングサービスに相当するアプリケーション実行結果画面を受信する端末とを含む。

また、本発明の他の実施形態に係るクラウドストリーミングサーバーは、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャするキャプチャ部と、前記変化領域に相当するイメージのカラー個数及びイメージ画素値の標準偏差のうち一つ以上を考慮して決定したイメージタイプによってスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、前記スチールイメージ圧縮技法を利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングするエンコーディング部と、スチールイメージエンコーディングされた前記変化領域を前記ユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うセンディング部とを含む。

この際、エンコーディング部は、自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）及び合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）のうちいずれか一つのイメージタイプによって前記スチールイメージ圧縮技法を選択できる。

この際、エンコーディング部は、前記変化領域に相当する前記イメージのカラー個数が既定の基準個数を超過する場合、前記イメージタイプを前記自然イメージとして決定できる。

この際、エンコーディング部は、前記変化領域に相当する前記イメージのカラー個数が前記既定の基準個数以下である場合、前記変化領域に相当する前記イメージ画素値の標準偏差を考慮して、前記イメージタイプを決定できる。

この際、エンコーディング部は、前記変化領域に相当する前記イメージのカラー個数が前記既定の基準個数以下であり、前記変化領域に相当する前記イメージ画素値の標準偏差が既定の基準値以下である場合、前記イメージタイプを前記合成イメージとして決定できる。

この際、エンコーディング部は、前記変化領域に相当する前記イメージ画素値の標準偏差が既定の基準値を超過する場合、前記イメージタイプを前記自然イメージとして決定できる。

この際、エンコーディング部は、前記イメージタイプによってＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して前記変化領域を前記スチールイメージエンコーディングできる。

この際、キャプチャ部は、前記変化したフレームに相当する画面領域のうち前記以前フレームに相当する画面領域と比較して、変化した領域を前記変化領域としてキャプチャできる。

この際、キャプチャ部は、前記ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、前記フレーム変化が少ない区間で前記変化領域をキャプチャできる。

この際、キャプチャ部は、前記ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、前記フレーム変化が少ない区間を検出できる。

また、本発明によるイメージタイプによるクラウドストリーミングサービス方法は、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャする段階と、前記変化領域に相当するイメージのカラー個数及びイメージ画素値の標準偏差のうち一つ以上を考慮して決定したイメージタイプによってスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、前記スチールイメージ圧縮技法を利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングする段階と、スチールイメージエンコーディングされた前記変化領域を前記ユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う段階とを含む。

この際、エンコーディングする段階は、自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）及び合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）のうちいずれか一つのイメージタイプによって前記スチールイメージ圧縮技法を選択できる。

この際、エンコーディングする段階は、前記変化領域に相当する前記イメージのカラー個数が既定の基準個数を超過する場合、前記イメージタイプを自然イメージとして決定できる。

この際、エンコーディングする段階は、前記変化領域に相当する前記イメージのカラー個数が前記既定の基準個数以下である場合、前記変化領域に相当する前記イメージ画素値の標準偏差を考慮して、前記イメージタイプを決定できる。

この際、エンコーディングする段階は、前記変化領域に相当する前記イメージのカラー個数が前記既定の基準個数以下であり、前記変化領域に相当する前記イメージ画素値の標準偏差が既定の基準値以下である場合、前記イメージタイプを合成イメージとして決定できる。

この際、エンコーディングする段階は、前記変化領域に相当する前記イメージ画素値の標準偏差が既定の基準値を超過する場合、前記イメージタイプを前記自然イメージとして決定できる。

この際、エンコーディングする段階は、前記イメージタイプによってＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して前記変化領域を前記スチールイメージエンコーディングできる。

この際、キャプチャする段階は、前記変化したフレームに相当する画面領域のうち前記以前フレームに相当する画面領域と比較して、変化した領域を前記変化領域としてキャプチャできる。

また、本発明の他の実施形態に係るクラウドストリーミングサービスシステムは、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャし、前記変化領域に相当するイメージのカラー個数及びイメージ画素値の標準偏差中の一つ以上を考慮して決定したイメージタイプによってスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、前記スチールイメージ圧縮技法を利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングし、スチールイメージエンコーディングされた前記変化領域を前記ユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うクラウドストリーミングサーバーと、前記クラウドストリーミングサーバーから前記クラウドストリーミングサービスに相当するアプリケーション実行結果画面を受信する端末とを含む。

また、本発明のさらに他の実施形態に係るクラウドストリーミングサーバーは、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャするキャプチャ部と、クラウドストリーミングサーバー負荷のサイズ及びネットワークのデータ処理率のうちいずれか一つ以上を考慮してスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、前記スチールイメージ圧縮技法を利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングするエンコーディング部と、スチールイメージエンコーディングされた前記変化領域を前記ユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うセンディング部とを含むことを特徴とするクラウドストリーミングサーバーを含む。

この際、エンコーディング部は、ＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して前記変化領域を圧縮できる。

この際、エンコーディング部は、前記クラウドストリーミングサーバー負荷のサイズが既定の基準値未満である場合、前記ＪＰＥＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングできる。

この際、エンコーディング部は、前記クラウドストリーミングサーバー負荷のサイズが前記既定の基準値以上である場合、前記ネットワークのデータ処理率を考慮して、前記スチールイメージ圧縮技法を選択できる。

この際、エンコーディング部は、前記ネットワークのデータ処理率が既定の処理率未満である場合、前記ＰＮＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングできる。

この際、エンコーディング部は、前記クラウドストリーミングサーバー負荷のサイズが既定の基準値以上であり、前記ネットワークのデータ処理率が前記既定の処理率以上である場合、前記パレットＰＮＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングできる。

この際、キャプチャ部は、前記変化したフレームに相当する画面領域のうち前記以前フレームに相当する画面領域と比較して、変化した領域を前記変化領域としてキャプチャできる。

この際、キャプチャ部は、前記ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、前記フレーム変化が少ない区間で前記変化領域をキャプチャできる。

この際、キャプチャ部は、前記ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、前記フレーム変化が少ない区間を検出できる。

また、本発明のさらに他の実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法は、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャする段階と、クラウドストリーミングサーバー負荷のサイズ及びネットワークのデータ処理率のうちいずれか一つ以上を考慮してスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、前記スチールイメージ圧縮技法を利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングする段階と、スチールイメージエンコーディングされた前記変化領域を前記ユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う段階とを含む。

この際、エンコーディングする段階は、ＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して前記変化領域を圧縮できる。

この際、エンコーディングする段階は、前記クラウドストリーミングサーバー負荷のサイズが既定の基準値未満である場合、前記ＪＰＥＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングできる。

この際、エンコーディングする段階は、前記クラウドストリーミングサーバー負荷のサイズが前記既定の基準値以上である場合、前記ネットワークのデータ処理率を考慮して、前記スチールイメージ圧縮技法を選択できる。

この際、エンコーディングする段階は、前記ネットワークのデータ処理率が既定の処理率未満である場合、前記ＰＮＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングできる。

この際、エンコーディングする段階は、前記クラウドストリーミングサーバー負荷のサイズが既定の基準値以上であり、前記ネットワークのデータ処理率が前記既定の処理率以上である場合、前記パレットＰＮＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングできる。

この際、キャプチャする段階は、前記変化したフレームに相当する画面領域のうち前記以前フレームに相当する画面領域と比較して、変化した領域を前記変化領域としてキャプチャできる。

この際、キャプチャする段階は、前記ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出する段階を含み、前記フレーム変化が少ない区間で前記変化領域をキャプチャできる。

この際、検出する段階は、前記ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、前記フレーム変化が少ない区間を検出できる。

また、本発明のさらに他の実施形態に係るクラウドストリーミングサービスシステムは、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャし、クラウドストリーミングサーバー負荷のサイズ及びネットワークのデータ処理率のうちいずれか一つ以上を考慮してスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、前記スチールイメージ圧縮技法を利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングし、スチールイメージエンコーディングされた前記変化領域を前記ユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うクラウドストリーミングサーバーと、前記クラウドストリーミングサーバーから前記クラウドストリーミングサービスに相当するアプリケーション実行結果画面を受信する端末とを含む。

また、本発明の課題解決のためのさらに他の手段として、前述した方法を実行させるために媒体に格納されたコンピュータプログラムを提供する。

本発明によれば、イメージ基盤クラウドストリーミングサービス時にフレーム間の画面変化領域を正確に且つ迅速に検出できる。したがって、クラウドストリーミングサービス時に最小限の領域のみを圧縮して伝送することによって、クラウドストリーミングサービスの効率性が向上し、より経済的に良質のイメージ基盤クラウドストリーミングサービスを提供できる。

また、本発明は、イメージ基盤ストリーミングの圧縮効率を極大化し、クラウドストリーミングサービスの効率性を向上させることができる。特に、同一の帯域を利用して一層速くて且つさらに多いユーザを対象とするイメージ基盤クラウドストリーミングサービスが可能である。

また、本発明は、イメージ基盤クラウドストリーミングサービス時に、フレーム間の画面変化領域を正確に且つ迅速に検出でき、クラウドストリーミングサービスの効率性が向上し、より経済的に良質のイメージ基盤クラウドストリーミングサービスを提供できる。

また、本発明は、イメージ基盤ストリーミング時にイメージタイプを正確に決定し、当該イメージタイプに適した圧縮技法を適用することによって、圧縮効率を極大化し、クラウドストリーミングサービスの効率性を向上させることができる。特に、同一の帯域を利用して一層速くて且つさらに多いユーザを対象とするイメージ基盤クラウドストリーミングサービスが可能である。

また、本発明は、スチールイメージ基盤クラウドストリーミングサービスの提供時に、状況にあうスチールイメージ圧縮技法を使用することによって、イメージの圧縮効率とクラウドストリーミングサービス速度を向上させることができる。

また、本発明は、スチールイメージ基盤クラウドストリーミングサービスの提供時に、クラウドストリーミングサーバー状態に適したスチールイメージ圧縮技法を使用することによって、クラウドストリーミングサーバー負荷に発生し得るサービス遅延を防止し、速くサービスを提供できる。

また、本発明は、スチールイメージ基盤クラウドストリーミングサービスを通じてストリーミング圧縮効率を極大化し、同一の帯域を通じて一層速くて且つさらに多いユーザを対象としてクラウドストリーミングサービスを提供できる。

図１は、本発明の一実施形態に係るクラウドストリーミングサービスシステムを示すブロック図である。 図２は、図１に示されたクラウドストリーミングサーバーの一例を示すブロック図である。 図３は、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングシステムを示す図である。 図４は、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービスで変化領域をキャプチャする過程を示す図である。 図５は、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法を示す動作流れ図である。 図６は、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法を詳細に示す動作流れ図である。 図７は、本発明の他の実施形態に係るクラウドストリーミングサービスシステムを示すブロック図である。 図８は、図７に示されたクラウドストリーミングサーバーの一例を示すブロック図である。 図９は、本発明の一実施形態に係るイメージタイプによるクラウドストリーミングサービス方法を示す動作流れ図である。 図１０は、本発明の一実施形態に係るイメージタイプによるクラウドストリーミングサービス方法を詳細に示す動作流れ図である。 図１１は、本発明のさらに他の実施形態に係るクラウドストリーミングサービスシステムを示すブロック図である。 図１２は、図１１に示されたクラウドストリーミングサーバーの一例を示すブロック図である。 図１３は、本発明の他の実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法を示す動作流れ図である。 図１４は、本発明の他の実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法を詳細に示す動作流れ図である。

以下、本発明を添付の図面を参照して詳しく説明する。ここで、繰り返される説明、本発明の要旨を不要にすることができる公知機能、及び構成に対する詳細な説明は省略する。本発明の実施形態は、当業界において平均的な知識を有する者に本発明をより完全に説明するために提供されるものである。したがって、図面においての要素の形状及びサイズなどは、より明確な説明のために誇張され得る。

以下、本発明による好適な実施形態を添付の図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係るクラウドストリーミングサービスシステムを示すブロック図である。

図１を参照すれば、本発明の一実施形態に係るクラウドストリーミングサービスシステムは、クラウドストリーミングサーバー１１０、端末装置１２０−１、…、１２０−Ｎ及びネットワーク１３０を含む。

クラウドストリーミングサーバー１１０は、端末装置１２０−１、…、１２０−Ｎからクラウドストリーミングサービス要請を受けてアプリケーションを実行し、アプリケーション実行結果に該当する実行結果画面を端末装置１２０−１、…、１２０−Ｎに提供する。

クラウドストリーミングサービスは、基本的に、ビデオコーデック基盤のクラウドストリーミング技法を適用するので、メニューディスプレイのような静的な画面に対してクラウドストリーミング技法を適用する場合にも、不要に画面全体をキャプチャしてビデオコーデックでエンコーディングする非効率的な方法でクラウドストリーミングサービスを行った。このような問題点を解決するために、本発明は、メニューディスプレイ画面のようにフレーム間の変化が大きくない場合には、クラウドストリーミングサーバーがフレーム間の変化を検出し、検出された変化領域のみをスチールイメージ圧縮技法でエンコーディングするクラウドストリーミングシステムを提供する。

クラウドストリーミングサーバー１１０は、以前フレームと比較して、変化したフレームに含まれる変化領域をキャプチャする。この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域を変化領域としてキャプチャできる。この際、端末装置１２０−１、…、１２０−Ｎに伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。この際、端末装置１２０−１、…、１２０−Ｎから発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。

また、クラウドストリーミングサーバー１１０は、変化領域のサイズ及び変化領域に相当するイメージ性質のうちいずれか一つ以上を考慮してスチールイメージ（ｓｔｉｌｌｉｍａｇｅ）圧縮技法を選択し、スチールイメージ圧縮技法を利用して一つのフレームに相応する変化領域をスチールイメージエンコーディングする。この際、ＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して変化領域を圧縮できる。この際、変化領域のサイズが既定の基準値未満である場合、ＰＮＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングできる。この際、変化領域のサイズが既定の基準値以上である場合、イメージ性質を考慮してスチールイメージ圧縮技法を選択できる。また、イメージ性質が自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）である場合、ＪＰＥＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングできる。この際、変化領域のサイズが既定の基準値以上であり、イメージ性質が合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）である場合、パレットＰＮＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングできる。この際、イメージ性質が自然イメージと合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）とが混合したイメージである場合、変化領域のうち自然イメージに相当する領域と変化領域のうち合成イメージに相応する領域を比較し、さらに多い領域に相当するイメージ性質によってスチールイメージ圧縮技法を選択できる。

また、クラウドストリーミングサーバー１１０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。

端末装置１２０−１、…、１２０−Ｎは、クラウドストリーミングサーバー１１０からクラウドストリーミングサービスに相当するアプリケーション実行結果画面を受信し、ユーザに提供する。

端末装置１２０−１、…、１２０−Ｎは、それぞれ通信網に連結され、クラウドコンピューティングシステムを基盤としてアプリケーションを実行できる装置であって、移動通信端末に限定されるものではなく、すべての情報通信機器、マルチメディア端末、有線端末、固定型端末及びＩＰ（Ｉｎｔｅｒｎｅｔ Pｒｏｔｏｃｏｌ）端末などの多様な端末であることができる。また、端末装置１２０−１、…、１２０−Ｎは、それぞれ携帯電話、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｄ）、ＭＩＤ（Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、デスクトップ（Ｄｅｓｋｔｏｐ）、タブレットパソコン（Ｔａｂｌｅｔ PＣ）、ノートパソコン（Ｎｏｔｅ ｂｏｏｋ）、ネットブック（Ｎｅｔ Ｂｏｏｋ）、個人携帯用情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ；ＰＤＡ）、スマートテレビ及び情報通信機器などのような多様な移動通信仕様を有するモバイル（Ｍｏｂｉｌｅ）端末であることができる。

ネットワーク１３０は、クラウドストリーミングサーバー１１０及び端末装置１２０−１、…、１２０−Ｎの間にデータを伝達する通路を提供するもので、従来利用されるネットワーク及び今後開発可能なネットワークをすべて包括する概念である。例えば、ネットワーク１３０は、限定された地域内で各種情報装置の通信を提供する有無線近距離通信網、移動体相互間及び移動体と移動体外部との通信を提供する移動通信網、衛星を利用して地球局と地球局間通信を提供する衛星通信網であるか、有無線通信網のうちいずれか一つであるか、二つ以上の結合よりなることができる。なお、ネットワーク１３０の伝送方式標準は、従来の伝送方式標準に限定されるものではなく、今後開発されるすべての伝送方式標準を含むことができる。また、図１で、クラウドストリーミングサーバー１１０と端末装置１２０−１、．．．、１２０−Ｎとの間に使用されるネットワークは、端末装置１２０−１、．．．、１２０−Ｎの相互間に使用されるネットワークと異なるものであってもよく、同じものであってもよい。

図２は、図１に示されたクラウドストリーミングサーバー１１０の一例を示すブロック図である。

図２を参照すれば、図１に示されたクラウドストリーミングサーバー１１０は、キャプチャ部２１０、エンコーディング部２２０、センディング部２３０及び格納部２４０を含む。

クラウドストリーミングサービスは、基本的に、ビデオコーデック基盤のクラウドストリーミング技法を適用するので、メニューディスプレイのような静的な画面に対してクラウドストリーミング技法を適用する場合にも、不要に画面全体をキャプチャしてビデオコーデックでエンコーディングする非効率的な方法でクラウドストリーミングサービスを行った。このような問題点を解決するために、本発明は、メニューディスプレイ画面のようにフレーム間の変化が大きくない場合には、クラウドストリーミングサーバーがフレーム間の変化を検出し、検出された変化領域のみをスチールイメージ圧縮技法でエンコーディングするクラウドストリーミングサーバー１１０を提供する。

キャプチャ部２１０は、以前フレームと比べて変化したフレームに含まれた変化領域をキャプチャする。ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャし、エンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間の変化が大きくない場合には、以前フレームと比べて変化したフレームの変化領域のみをキャプチャし、スチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイするとき、変化領域を除いた部分は、同一に示し、変化領域にのみ変化を与える方式でディスプレイできる。

この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比べて変化した領域を変化領域にキャプチャできる。例えば、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域としてキャプチャできる。このような変化領域は、ユーザの端末装置で入力される入力信号によってサイズや変化領域に相当するイメージの性質が多様である。

この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。

この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを行ったとき、フレームの変化が少ない静的なイベントまたは動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。

エンコーディング部２２０は、変化領域のサイズ及び変化領域に相当するイメージ性質のうちいずれか一つ以上を考慮してスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、スチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングする。例えば、変化領域は、フレームで変化する領域によって非常に小さいサイズからフレーム全体サイズに相当する大きいサイズまで多様にキャプチャされ得る。また、キャプチャされた変化領域のイメージ性質が一つの写真や絵のような自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）であるか、複数のイメージが結合して作られた合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）であることができる。また、キャプチャされた変化領域に自然イメージと合成イメージが同時に存在してもよい。

この際、ＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して変化領域を圧縮できる。ＰＮＧスチールイメージ圧縮技法は、エンコーディング時に、イメージの画質は良いが、データのサイズが大きくなって、伝送網の帯域幅が低い場合には、伝送速度が低下することがある。パレットＰＮＧスチールイメージ圧縮技法は、エンコーディング時に、イメージのデータサイズが減少し、伝送速度は保障できるが、８ビットで色相を表現するため、イメージ画質に劣化をもたらすことができる。ＪＰＥＧスチールイメージ圧縮技法は、圧縮効率が良いため、エンコーディング時に伝送データ量を大幅に低減できるが、圧縮効率が大きいため、エンコーディング及びデコーディングを行うとき、システム負荷を多く発生させることができる。

この際、変化領域のサイズが既定の基準値未満である場合、ＰＮＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングできる。例えば、変化領域のサイズが既定の基準値より小さいサイズである場合には、イメージのサイズが大きくないため、伝送するデータ量も大きくないため、相対的に画質が良くエンコーディングされ得るＰＮＧスチールイメージ圧縮技法を適用してエンコーディングできる。また、既定の基準値は、クラウドストリーミングサーバー１１０の処理性能、ネットワーク転送の中も及びサーバーシステム負荷などを考慮してサーバー管理者によって自由に設定され得る。

この際、変化領域のサイズが基準値以上である場合、イメージ性質を考慮してスチールイメージ圧縮技法を選択できる。変化領域のサイズが基準値以上であり、伝送するデータ量が大きい場合には、エンコーディング時に圧縮効率が良いＪＰＥＧスチールイメージ圧縮技法やデータサイズを低減できるパレットＰＮＧスチールイメージ圧縮技法を利用してエンコーディングできる。

この際、イメージ性質が自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）である場合、ＪＰＥＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングできる。ＪＰＥＧスチールイメージ圧縮技法は、一ピクセル周囲に互いに類似な色が集まっている自然イメージを圧縮したとき、圧縮効率がさらに効果的である。したがって、変化領域のサイズが基準値以上と大きく、変化領域に相当するイメージ性質が自然イメージである場合には、ＪＰＥＧスチールイメージ圧縮技法で変化領域をエンコーディングできる。

この際、変化領域のサイズが既定の基準値以上であり、イメージ性質が合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）である場合、パレットＰＮＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングできる。変化領域のサイズが大きいため、圧縮効率が良いＪＰＥＧスチールイメージ圧縮技法を使用できるが、合成イメージに対しては、ＪＰＥＧスチールイメージ圧縮技法も大きい効果を期待しにくいことがある。したがって、このような場合には、データのサイズを低減できるパレットＰＮＧスチールイメージ圧縮技法を利用して変化領域をエンコーディングできる。

この際、イメージ性質が自然イメージと合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）とが混合したイメージである場合、変化領域のうち自然イメージに相当する領域と変化領域のうち合成イメージに相当する領域を比較し、さらに多い領域に相当するイメージ性質によってスチールイメージ圧縮技法を選択できる。例えば、変化領域のうち自然イメージに相当する領域が合成イメージに相当する領域よりさらに多いと、ＪＰＥＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングし、変化領域のうち合成イメージに相当する領域が自然イメージに相当する領域よりさらに多いと、パレットＰＮＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングできる。

また、変化領域をエンコーディングするスチールイメージ圧縮技法を決定するために変化領域のサイズ及び変化領域に相当するイメージ性質を考慮する順序は、クラウドストリーミングサービスによって相異に決定され得る。

センディング部２３０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。エンコーディングを完了することによって、圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションが実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。

格納部２４０は、前述したように、本発明の実施形態に係るクラウドストリーミングサービス過程で発生する多様な情報を格納する。

実施形態によって、格納部２４０は、クラウドストリーミングサーバー１１０と独立的に構成され、クラウドストリーミングサービスのための機能を支援できる。この際、格納部２４０は、別途の大容量ストレージで動作でき、動作実行のための制御機能を含む。

また、前述したように構成されるクラウドストリーミングサーバー１１０は、一つ以上のサーバーで具現され得る。

一方、クラウドストリーミングサーバー１１０は、メモリが搭載され、その装置内で情報を格納できる。一具現例の場合、メモリは、コンピュータで読み取り可能な媒体である。一具現例で、メモリは、揮発性メモリユニットであることができ、他の具現例の場合、メモリは、揮発性メモリユニットであってもよい。一具現例の場合、格納装置は、コンピュータで読み取り可能な媒体である。多様な異なる具現例で、格納装置は、例えばハードディスク装置、光学ディスク装置、あるいはどんな他の大容量格納装置を含むこともできる。

図３は、スチールイメージ基盤クラウドストリーミングシステムを示す図である。

図３を参照すれば、サーバー３００では、ユーザの端末装置から発生するユーザ入力（Ｕｓｅｒ Ｉｎｐｕｔ）に相当するプログラム画面３１０を実行させて、キャプチャ（Ｓｃｒｅｅｎ Ｃａｐｔｕｒｅ）を行うことができる。この際、サーバー３００は、クラウドストリーミングサーバーとウェブアプリケーションサーバーを総称するサーバーであることができる。また、プログラム画面３１０を実行させてキャプチャ（Ｓｃｒｅｅｎ Ｃａｐｔｕｒｅ）を行う過程は、図２に示されたキャプチャ部２１０の動作流れと相当できる。

サーバー３００は、キャプチャ（Ｓｃｒｅｅｎ Ｃａｐｔｕｒｅ）されたプログラム画面３１０をスチールイメージ圧縮技法を用いてエンコーディング（Ｉｍａｇｅ Ｅｎｃｏｄｉｎｇ）３２０できる。この際、エンコーディング（Ｉｍａｇｅ Ｅｎｃｏｄｉｎｇ）３２０を行う過程は、図２に示されたエンコーディング部２２０の動作流れと相当できる。

この際、変化したフレームを以前フレームと比較して、変化した領域のみをキャプチャできる。また、変化した領域のサイズ及び変化した領域に相当するイメージ性質を考慮してＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を選択し、選択したスチールイメージ圧縮技法で変化した領域をエンコードできる。

その後、サーバー３００は、スチールイメージエンコーディングされた変化した領域をユーザの端末装置にストリーミング（Ｓｔｒｅａｍｉｎｇ）３３０し、スチールイメージ基盤のクラウドストリーミングサービスを提供できる。この際、ストリーミング（Ｓｔｒｅａｍｉｎｇ）３３０を行う過程は、図２に示されたセンディング部２３０の動作流れと相当できる。

その後、ユーザの端末装置では、受信したデータをレンダリング（Ｉｍａｇｅ Ｒｅｎｄｅｒｉｎｇ）３４０することによって、ユーザ入力（Ｕｓｅｒ Ｉｎｐｕｔ）によってアプリケーションで実行されたプログラム画面３１０がまるでユーザの端末装置で実行されたもののように、ユーザにディスプレイできる。

図４は、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービスで変化領域をキャプチャする過程を示す図である。

図４を参照すれば、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービスは、第１フレーム４１０と第２フレーム４２０を比較して、変化した変化領域４３０のみをキャプチャしてエンコーディングできる。

例えば、第１フレーム４１０と第２フレーム４２０でＢ、Ｃ、Ｄ及びＥの領域をメニューディスプレイと仮定したとき、第１フレーム４１０では、Ｃ領域にカーソルが位置することによって、Ｃ領域が他のＢ、Ｄ、及びＥ領域と区別され得るように陰影処理され、第２フレーム４２０では、Ｃ領域からＤ領域にカーソルが移動することによって、Ｄ領域が他のＢ、Ｃ及びＥ領域と区別され得るように陰影処理され得る。

この際、第１フレーム４１０と第２フレーム４２０を比較したとき、変化した領域であるＣとＤ領域のみを変化領域４３０としてキャプチャできる。また、変化領域４３０のサイズと変化領域４３０に相当するイメージ性質を考慮してスチールイメージ圧縮技法を選択し、選択したスチールイメージ圧縮技法を利用して変化領域４３０をエンコーディングできる。

このように第１フレーム４１０と第２フレーム４２０は、確かに変化があるフレームであって、従来のクラウドストリーミングサービス時には、二つのフレームを含んでフレームレートに相当する数のフレームをすべてキャプチャしてエンコーディングを行わなければならない。しかし、スチールイメージ基盤クラウドストリーミングサービスは、変化領域４３０のみをキャプチャしてスチールイメージ圧縮技法でエンコーディングするため、不要に多くのフレームとフレームの画面全体をキャプチャする従来のクラウドストリーミングサービス方法よりサービスの効率性を向上させることができる。

図５は、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法を示す動作流れ図である。

図５を参照すれば、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法は、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャする（Ｓ５１０）。ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャしてエンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間の変化が大きくない場合には、以前フレームと比較して、変化したフレームの変化領域のみをキャプチャしてスチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイするとき、変化領域を除いた部分は、同一に示し、変化領域のみに対して変化を与える方式でディスプレイできる。

この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域を変化領域としてキャプチャできる。例えば、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域としてキャプチャできる。このような変化領域は、ユーザの端末装置で入力される入力信号によってサイズや変化領域に相当するイメージの性質が多様である。

この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。

この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを実行したとき、フレームの変化が少ない静的なイベント、または動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。

また、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法は、変化領域のサイズ及び変化領域に相当するイメージ性質のうちいずれか一つ以上を考慮してスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、スチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングする（Ｓ５２０）。例えば、変化領域は、フレームで変化する領域によって非常に小さいサイズからフレーム全体サイズに相当する大きいサイズまで多様にキャプチャされ得る。また、キャプチャされた変化領域のイメージ性質が一つの写真や絵のような自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）であるか、複数のイメージが結合して作られた合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）であることができる。また、キャプチャされた変化領域に自然イメージと合成イメージが同時に存在することもできる。

この際、ＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して変化領域を圧縮できる。ＰＮＧスチールイメージ圧縮技法は、エンコーディング時にイメージの画質は良いが、データのサイズが大きくなって、伝送網の帯域幅が低い場合には、伝送速度が低下することがある。パレットＰＮＧスチールイメージ圧縮技法は、エンコーディング時に、イメージのデータサイズが減少し、伝送速度は保障できるが、８ビットで色相を表現するため、イメージ画質に劣化をもたらすことができる。ＪＰＥＧスチールイメージ圧縮技法は、圧縮効率が良いため、エンコーディング時に伝送データ量を大幅に低減できるが、圧縮効率が大きいため、エンコーディング及びデコーディングを行うとき、システム負荷を多く発生させることができる。

この際、変化領域のサイズが既定の基準値未満である場合、ＰＮＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングできる。例えば、変化領域のサイズが既定の基準値より小さいサイズである場合には、イメージのサイズが大きくないため、伝送するデータ量も大きくないため、相対的に画質が良くエンコーディングされ得るＰＮＧスチールイメージ圧縮技法を適用してエンコーディングできる。また、既定の基準値は、クラウドストリーミングサーバーの処理性能、ネットワーク伝送速度及びサーバーシステム負荷などを考慮してサーバー管理者によって自由に設定され得る。

この際、変化領域のサイズが基準値以上である場合、イメージ性質を考慮してスチールイメージ圧縮技法を選択できる。変化領域のサイズが基準値以上であり、伝送するデータ量が大きい場合には、エンコーディング時に、圧縮効率が良いＪＰＥＧスチールイメージ圧縮技法やデータサイズを低減できるパレットＰＮＧスチールイメージ圧縮技法を利用してエンコーディングできる。

この際、イメージ性質が自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）である場合、ＪＰＥＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングできる。ＪＰＥＧスチールイメージ圧縮技法は、一つのピクセル周囲に互いに類似な色が集まっている自然イメージを圧縮したとき、圧縮効率がさらに効果的である。したがって、変化領域のサイズが基準値以上と大きく、変化領域に相当するイメージ性質が自然イメージである場合には、ＪＰＥＧスチールイメージ圧縮技法で変化領域をエンコーディングできる。
この際、変化領域のサイズが既定の基準値以上であり、イメージ性質が合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）である場合、パレットＰＮＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングできる。変化領域のサイズが大きいため、圧縮効率が良いＪＰＥＧスチールイメージ圧縮技法を使用できるが、合成イメージに対しては、ＪＰＥＧスチールイメージ圧縮技法も大きい効果を期待しにくいことがある。したがって、このような場合には、データのサイズを低減できるパレットＰＮＧスチールイメージ圧縮技法を利用して変化領域をエンコーディングできる。

この際、イメージ性質が自然イメージと合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）とが混合したイメージである場合、変化領域のうち自然イメージに相当する領域と変化領域のうち合成イメージに相当する領域を比較し、さらに多い領域に相当するイメージ性質によってスチールイメージ圧縮技法を選択できる。例えば、変化領域のうち自然イメージに相当する領域が合成イメージに相当する領域よりさらに多いと、ＪＰＥＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングし、変化領域のうち合成イメージに相当する領域が自然イメージに相当する領域よりさらに多いと、パレットＰＮＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングできる。

また、変化領域をエンコーディングするスチールイメージ圧縮技法を決定するために、変化領域のサイズ及び変化領域に相当するイメージ性質を考慮する順序は、クラウドストリーミングサービスによって異なるように決定され得る。

また、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う（Ｓ５３０）。スチールイメージエンコーディングして圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションを実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。

図６は、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法を詳細に示す動作流れ図である。

図６を参照すれば、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法は、まず、クラウドストリーミングサーバーで以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャする（Ｓ６１０）。この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域を変化領域としてキャプチャできる。この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。

クラウドストリーミングサーバーは、変化領域のサイズが既定の基準値未満であるか否かを判断する（Ｓ６１５）。

段階（Ｓ６１５）の判断結果、変化領域のサイズが既定の基準値未満であれば、変化領域をＰＮＧスチールイメージ圧縮技法でエンコーディングする（Ｓ６２０）。ＰＮＧスチールイメージ圧縮技法は、エンコーディング時に、イメージの画質は良いが、データのサイズが大きくなって、伝送網の帯域幅が低い場合には、伝送速度が低下することがある。したがって、変化領域のイメージのサイズが大きくなく、伝送するデータ量も大きくないため、相対的に画質が良好にエンコーディングされ得るＰＮＧスチールイメージ圧縮技法を適用してエンコーディングできる。

段階（Ｓ６１５）の判断結果、変化領域のサイズが既定の基準値以上なら、変化領域に相当するイメージ性質が自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）であるか否かを判断する（Ｓ６２５）。

段階（Ｓ６２５）の判断結果、変化領域に相当するイメージ性質が自然イメージであれば、ＪＰＥＧスチールイメージ圧縮技法で変化領域をエンコーディングする（Ｓ６３０）。ＪＰＥＧスチールイメージ圧縮技法は、圧縮効率が良いため、エンコーディング時に、伝送データ量を大幅に低減できるが、圧縮効率が大きいため、エンコーディング及びデコーディングを行う時に、システム負荷を多く発生させることができる。また、ＪＰＥＧスチールイメージ圧縮技法は、多くの絵や写真が結合された合成イメージを圧縮した時より、一ピクセルの周囲に互いに類似な色が集まっている自然イメージを圧縮した時に圧縮効率がさらに効果的である。したがって、変化領域のサイズが基準値以上と大きくて、変化領域に相当するイメージ性質が自然イメージである場合には、ＪＰＥＧスチールイメージ圧縮技法で変化領域をエンコーディングできる。

段階（Ｓ６２５）の判断結果、変化領域に相当するイメージ性質が合成イメージであれば、パレットＰＮＧスチールイメージ圧縮技法で変化領域をエンコーディングする（Ｓ６４０）。変化領域のサイズが基準値以上と大きくて、変化領域に相当するイメージ性質が合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）である場合には、データのサイズを低減できるパレットＰＮＧスチールイメージ圧縮技法を利用して変化領域をエンコーディングできる。

その後、クラウドストリーミングサーバーは、スチールイメージエンコーディングされた変化領域をユーザに伝達する（Ｓ６５０）。スチールイメージエンコーディングして圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションを実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。

図７は、本発明の一実施形態に係るクラウドストリーミングサービスシステムを示すブロック図である。

図７を参照すれば、本発明の一実施形態に係るクラウドストリーミングサービスシステムは、クラウドストリーミングサーバー７１０、端末装置７２０−１、…、７２０−Ｎ及びネットワーク７３０を含む。

クラウドストリーミングサーバー７１０は、端末装置７２０−１、…、７２０−Ｎからクラウドストリーミングサービス要請を受けてアプリケーションを実行し、アプリケーション実行結果に該当する実行結果画面を端末装置７２０−１、…、７２０−Ｎに提供する。

クラウドストリーミングサービスは、基本的に、ビデオコーデック基盤のクラウドストリーミング技法を適用するため、メニューディスプレイのような静的な画面に対してクラウドストリーミング技法を適用する場合にも、不要に画面全体をキャプチャしてビデオコーデックでエンコーディングする非効率的な方法でクラウドストリーミングサービスを行った。このような問題点を解決するために、本発明は、メニューディスプレイ画面のようにフレーム間の変化が大きくない場合には、クラウドストリーミングサーバーがフレーム間の変化を検出し、検出された変化領域のみをスチールイメージ圧縮技法でエンコーディングするクラウドストリーミングシステムを提供する。

クラウドストリーミングサーバー７１０は、以前フレームと比較して変化したフレームに含まれた変化領域をキャプチャする。この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域を変化領域としてキャプチャできる。この際、端末装置７２０−１、…、７２０−Ｎに伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。この際、端末装置７２０−１、…、７２０−Ｎから発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。

また、クラウドストリーミングサーバー７１０は、変化領域に相当するイメージのカラー個数及びイメージ画素値の標準偏差のうち一つ以上を考慮して決定したイメージタイプによってスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、スチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコードする。この際、自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）及び合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）のうちいずれか一つのイメージタイプによってスチールイメージ圧縮技法を選択できる。この際、変化領域に相当るイメージのカラー個数が既定の基準個数を超過する場合、イメージタイプを自然イメージとして決定できる。この際、変化領域に相当するイメージのカラー個数が既定の基準個数以下である場合、変化領域に相当するイメージ画素値の標準偏差を考慮してイメージタイプを決定できる。この際、変化領域に相当するイメージのカラー個数が既定の基準個数以下であり、変化領域に相当するイメージ画素値の標準偏差が既定の基準値以下である場合、イメージタイプを合成イメージとして決定できる。この際、変化領域に相当するイメージ画素値の標準偏差が既定の基準値を超過する場合、イメージタイプを自然イメージとして決定できる。この際、イメージタイプによってＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して変化領域をスチールイメージエンコーディングできる。

また、クラウドストリーミングサーバー７１０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。

端末装置７２０−１、…、７２０−Ｎは、クラウドストリーミングサーバー７１０からクラウドストリーミングサービスに相当するアプリケーション実行結果画面を受信し、ユーザに提供する。

端末装置７２０−１、…、７２０−Ｎは、それぞれ通信網に連結され、クラウドコンピューティングシステムを基盤としてアプリケーションを実行できる装置であって、移動通信端末に限定されるものではなく、すべての情報通信機器、マルチメディア端末、有線端末、固定型端末及びＩＰ（Ｉｎｔｅｒｎｅｔ Pｒｏｔｏｃｏｌ）端末などの多様な端末であることができる。また、端末装置７２０−１、…、７２０−Ｎは、それぞれ携帯電話、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｄ）、ＭＩＤ（Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、デスクトップ（Ｄｅｓｋｔｏｐ）、タブレットパソコン（Ｔａｂｌｅｔ PＣ）、ノートパソコン（Ｎｏｔｅ ｂｏｏｋ）、ネットブック（Ｎｅｔ Ｂｏｏｋ）、個人携帯用情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ；ＰＤＡ）、スマートテレビ及び情報通信機器などのような多様な移動通信仕様を有するモバイル（Ｍｏｂｉｌｅ）端末であることができる。

ネットワーク７３０は、クラウドストリーミングサーバー７１０及び端末装置７２０−１、．．．、７２０−Ｎの間にデータを伝達する通路を提供するものであって、従来利用されるネットワーク及び今後開発可能なネットワークをすべて包括する概念である。例えば、ネットワーク７３０は、限定された地域内で各種情報装置の通信を提供する有無線近距離通信網、移動体相互間及び移動体と移動体外部との通信を提供する移動通信網、衛星を利用して地球局と地球局間の通信を提供する衛星通信網であるか、有無線通信網のうちいずれか一つであるか、二つ以上の結合よりなることができる。なお、ネットワーク７３０の伝送方式標準は、従来の伝送方式標準に限定されるものではなく、今後開発されるすべての伝送方式標準を含むことができる。また、図７で、クラウドストリーミングサーバー７１０と端末装置７２０−１、．．．、７２０−Ｎとの間に使用されるネットワークは、端末装置７２０−１、．．．、７２０−Ｎ相互間に使用されるネットワークと異なってもよく、同一であってもよい。

図８は、図７に示されたクラウドストリーミングサーバーの一例を示すブロック図である。

図８を参照すれば、図７に示されたクラウドストリーミングサーバー７１０は、キャプチャ部８１０、エンコーディング部８２０、センディング部８３０及び格納部８４０を含む。

クラウドストリーミングサービスは、基本的にビデオコーデック基盤のクラウドストリーミング技法を適用するため、メニューディスプレイのような静的な画面に対してクラウドストリーミング技法を適用する場合にも、不要に画面全体をキャプチャしてビデオコーデックでエンコーディングする非効率的な方法でクラウドストリーミングサービスを行った。このような問題点を解決するために、本発明は、メニューディスプレイ画面のようにフレーム間の変化が大きくない場合には、クラウドストリーミングサーバーがフレーム間の変化を検出し、検出された変化領域のみをスチールイメージ圧縮技法でエンコーディングするクラウドストリーミングサーバー７１０を提供する。

キャプチャ部８１０は、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャする。ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャしてエンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間の変化が大きくない場合には、以前フレームと比較して、変化したフレームの変化領域のみをキャプチャしてスチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイするとき、変化領域を除いた部分は、同一に示し、変化領域のみに対して変化を与える方式でディスプレイできる。

この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域を変化領域としてキャプチャできる。例えば、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域としてキャプチャできる。このような変化領域は、ユーザの端末装置で入力される入力信号によってサイズや変化領域に相当するイメージの性質が多様である。

この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。

この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを実行したときに、フレームの変化が少ない静的なイベント、または動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。

エンコーディング部８２０は、変化領域に相当するイメージのカラー個数及びイメージ画素値の標準偏差のうち一つ以上を考慮して決定したイメージタイプによってスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、スチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングする。例えば、キャプチャされた変化領域のイメージタイプが一つの写真や絵のようなタイプであるか、または複数のイメージが結合されて作られたイメージであることができるため、イメージタイプを決定し、それぞれのイメージタイプに適したスチールイメージ圧縮技法を選択してスチールイメージエンコーディングを行うことによって、変化領域の圧縮効率を上昇させることができる。

この際、自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）及び合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）のうちいずれか一つのイメージタイプによってスチールイメージ圧縮技法を選択できる。自然イメージは、自然的に発生した客体のイメージを意味できる。例えば、一つの写真や絵のような光学イメージだけでなく、Ｘ線と赤外線のような異なる波長のイメージを意味することもできる。合成イメージは、自然イメージとは異なって、コンピュータや人為的手段を通じて生成されるか、合成されたイメージを意味できる。

この際、変化領域に相当するイメージのカラー個数が既定の基準個数を超過する場合、イメージタイプを自然イメージとして決定できる。自然イメージの場合、自然的に発生した客体に対するイメージであることができるため、イメージを表現するカラーに適用された明度と彩度の変化が合成イメージより精巧なことがある。したがって、自然イメージを示すために構成された画素が表現するカラーの個数が合成イメージより多様であるため、変化領域に相当するイメージのカラー個数を考慮して変化領域に相当するイメージタイプを決定できる。例えば、既定の基準個数を１０万個に設定したら、変化領域に相当するイメージを構成するカラーの個数が１０万個を超過する場合には、イメージタイプを自然イメージとして決定し、１０万個以下の場合には、イメージタイプを合成イメージとして決定できる。

この際、変化領域に相当するイメージのカラー個数が既定の基準個数以下である場合、変化領域に相当するイメージ画素値の標準偏差を考慮してイメージタイプを決定できる。画素値の標準偏差は、変化領域に相当するイメージを構成する画素が示すカラー値の散布度であることができる。もし、カラー値の散布度が０であれば、すべてのカラーが同じ値という意味であることができるため、カラー値の散布度、すなわち画素値の標準偏差が小さいということは、イメージを構成するカラーの個数が少ないという意味と相通できる。したがって、このようなイメージ画素値の標準偏差を考慮して変化領域に相当するイメージのイメージタイプを決定できる。この際、変化領域に相当するイメージのカラー個数が既定の基準個数以下であり、変化領域に相当するイメージ画素値の標準偏差が既定の基準値以下である場合、イメージタイプを合成イメージとして決定できる。例えば、イメージのカラー個数に対して既定の基準個数が１０万個であり、イメージ画素値の標準偏差に対して既定の基準値がＮであると仮定できる。この際、変化領域に相当するイメージを構成するカラーの個数が１０万個以下であり、且つ変化領域に相当するイメージを構成する画素が示すカラー値の散布度がＮより小さい値である場合、変化領域に相当するイメージのイメージタイプを合成イメージとして決定できる。

この際、変化領域に相当するイメージ画素値の標準偏差が既定の基準値を超過する場合、イメージタイプを自然イメージとして決定できる。例えば、変化領域を相当するイメージ画素値の標準偏差が既定の基準値を超過したら、その分だけ、イメージを構成するカラーの個数が多いという意味であることができる。したがって、イメージ画素値の標準偏差が既定の基準値を超過したら、変化領域に相当するイメージが多いカラーで構成された自然イメージと判断できる。

この際、イメージタイプによってＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して変化領域をスチールイメージエンコーディングできる。

ＰＮＧスチールイメージ圧縮技法は、エンコーディング時に、イメージの画質は良いが、データのサイズが大きくなって、伝送網の帯域幅が低い場合には、伝送速度が低下する技法であり、ＪＰＥＧスチールイメージ圧縮技法は、圧縮効率が良いため、エンコーディング時に、伝送データ量を大幅に低減できるが、圧縮効率が大きいため、エンコーディング及びデコーディングを行う時に、システム負荷を多く発生させることができる技法である。また、ＪＰＥＧスチールイメージ圧縮技法は、一ピクセルの周囲に互いに類似な色が集まっている自然イメージを圧縮した時に圧縮効率がさらに効果的である。したがって、変化領域に相当するイメージタイプが自然イメージである場合には、ＪＰＥＧスチールイメージ圧縮技法で変化領域をエンコーディングできる。

また、変化領域が合成イメージである場合には、ＪＰＥＧスチールイメージ圧縮技法を使用しても、自然イメージのように圧縮効率を期待しにくいことがある。したがって、変化領域に相当するイメージのイメージタイプが合成イメージである場合には、イメージの画質を高めることができるＰＮＧスチールイメージ圧縮技法を選択し、変化領域のスチールイメージエンコーディングを行うことができる。

また、変化領域が合成イメージであり、変化領域のサイズが大きくて、データが大きい場合には、データのサイズを低減できるパレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）スチールイメージ圧縮技法を利用して変化領域をエンコーディングできる。パレットＰＮＧスチールイメージ圧縮技法は、エンコーディング時に、イメージのデータサイズが減少し、伝送速度は保障できるが、８ビットで色相を表現するため、イメージ画質に劣化をもたらすことができる。

センディング部８３０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。エンコーディングを完了することによって、圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションを実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。

格納部８４０は、前述したように、本発明の実施形態に係るクラウドストリーミングサービス過程で発生する多様な情報を格納する。

実施形態によって、格納部８４０は、クラウドストリーミングサーバー７１０と独立的に構成され、クラウドストリーミングサービスのための機能を支援できる。この際、格納部８４０は、別途の大容量ストレージで動作でき、動作遂行のための制御機能を含む。

また、前述したように構成されるクラウドストリーミングサーバー７１０は、一つ以上のサーバーで具現され得る。

なお、クラウドストリーミングサーバー７１０は、メモリが搭載され、その装置内で情報を格納できる。一具現例の場合、メモリは、コンピュータで読み取り可能な媒体である。一具現例で、メモリは、揮発性メモリユニットであってもよく、他の具現例の場合、メモリは、非揮発性メモリユニットであってもよい。一具現例の場合、格納装置は、コンピュータで読み取り可能な媒体である。多様な互いに異なる具現例で、格納装置は、例えば、ハードディスク装置、光学ディスク装置、あるいは他の大容量格納装置を含むこともできる。

図９は、本発明の一実施形態に係るイメージタイプによるクラウドストリーミングサービス方法を示す動作流れ図である。

図９を参照すれば、本発明の一実施形態に係るイメージタイプによるクラウドストリーミングサービス方法は、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャする（Ｓ９１０）。ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャしてエンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間の変化が大きくない場合には、以前フレームと比較して、変化したフレームの変化領域のみをキャプチャしてスチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイするとき、変化領域を除いた部分は、同一に示し、変化領域のみに対して変化を与える方式でディスプレイできる。

この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域を変化領域としてキャプチャできる。例えば、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域としてキャプチャできる。このような変化領域は、ユーザの端末装置で入力される入力信号によってサイズや変化領域に相当するイメージの性質が多様である。

この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。

この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを実行したときにフレームの変化が少ない静的なイベント、または動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。

また、本発明の一実施形態に係るイメージタイプによるクラウドストリーミングサービス方法は、変化領域に相当するイメージのカラー個数及びイメージ画素値の標準偏差のうち一つ以上を考慮して決定したイメージタイプによってスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、スチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングする（Ｓ９２０）。例えば、キャプチャされた変化領域のイメージタイプが一つの写真や絵のようなタイプであるか、または複数のイメージが結合されて作られたイメージであることができるため、イメージタイプを決定し、それぞれのイメージタイプに適したスチールイメージ圧縮技法を選択し、スチールイメージエンコーディングを行うことによって、変化領域の圧縮効率を上昇させることができる。

この際、自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）及び合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）のうちいずれか一つのイメージタイプによってスチールイメージ圧縮技法を選択できる。自然イメージは、自然的に発生した客体のイメージを意味できる。例えば、一つの写真や絵のような光学イメージだけでなく、Ｘ線と赤外線のような他の波長のイメージを意味することもできる。合成イメージは、自然イメージとは異なって、コンピュータや人為的手段を通じて生成されるか合成されたイメージを意味できる。

この際、変化領域に相当するイメージのカラー個数が既定の基準個数を超過する場合、イメージタイプを自然イメージとして決定できる。自然イメージの場合、自然的に発生した客体に対するイメージであることができるため、イメージを表現するカラーに適用された明度と彩度の変化が合成イメージより精巧なことがある。したがって、自然イメージを示すために構成された画素が表現するカラーの個数が合成イメージより多様であるため、変化領域に相当するイメージのカラー個数を考慮して変化領域に相当するイメージタイプを決定できる。例えば、既定の基準個数を１０万個に設定したら、変化領域に相当するイメージを構成するカラーの個数が１０万個を超過する場合には、イメージタイプを自然イメージとして決定し、１０万個以下である場合には、イメージタイプを合成イメージとして決定できる。

この際、変化領域に相当するイメージのカラー個数が既定の基準個数以下である場合、変化領域に相当するイメージ画素値の標準偏差を考慮してイメージタイプを決定できる。画素値の標準偏差は、変化領域に相当するイメージを構成する画素が示すカラー値の散布度であることができる。もし、カラー値の散布度が０であれば、すべてのカラーが同じ値という意味であることができるため、カラー値の散布度、すなわち画素値の標準偏差が小さいということは、イメージを構成するカラーの個数が少ないという意味と相通できる。したがって、このようなイメージ画素値の標準偏差を考慮して変化領域に相当するイメージのイメージタイプを決定できる。

この際、変化領域に相当するイメージのカラー個数が既定の基準個数以下であり、変化領域に相当するイメージ画素値の標準偏差が既定の基準値以下である場合、イメージタイプを合成イメージとして決定できる。例えば、イメージのカラー個数に対して既定の基準個数が１０万個であり、イメージ画素値の標準偏差に対して既定の基準値がＮであると仮定できる。この際、変化領域に相当するイメージを構成するカラーの個数が１０万個以下であり、且つ変化領域に相当するイメージを構成する画素が示すカラー値の散布度がＮより小さい値である場合、変化領域に相当するイメージのイメージタイプを合成イメージとして決定できる。

この際、変化領域に相当するイメージ画素値の標準偏差が既定の基準値を超過する場合、イメージタイプを自然イメージとして決定できる。例えば、変化領域を相当するイメージ画素値の標準偏差が既定の基準値を超過すると、その分だけ、イメージを構成するカラーの個数が多いという意味であることができる。したがって、イメージ画素値の標準偏差が既定の基準値を超過すると、変化領域に相当するイメージが多いカラーで構成された自然イメージと判断できる。

この際、イメージタイプによってＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して変化領域をスチールイメージエンコーディングできる。

ＰＮＧスチールイメージ圧縮技法は、エンコーディング時に、イメージの画質は良いが、データのサイズが大きくなるため、伝送網の帯域幅が低い場合には、伝送速度が低下する技法であり、ＪＰＥＧスチールイメージ圧縮技法は、圧縮効率が良いため、エンコーディング時に、伝送データ量を大幅に低減できるが、圧縮効率が大きいため、エンコーディング及びデコーディングを行うとき、システム負荷を多く発生させることができる技法である。また、ＪＰＥＧスチールイメージ圧縮技法は、一ピクセル周囲に互いに類似な色が集まっている自然イメージを圧縮したとき、圧縮効率がさらに効果的である。したがって、変化領域に相当するイメージタイプが自然イメージである場合には、ＪＰＥＧスチールイメージ圧縮技法で変化領域をエンコーディングできる。

また、変化領域が合成イメージである場合には、ＪＰＥＧスチールイメージ圧縮技法を使用しても、自然イメージのように圧縮効率を期待しにくいことがある。したがって、変化領域に相当するイメージのイメージタイプが合成イメージである場合には、イメージの画質を高めることができるＰＮＧスチールイメージ圧縮技法を選択し、変化領域のスチールイメージエンコーディングを行うことができる。

また、変化領域が合成イメージであり、変化領域のサイズが大きくて、データが大きい場合には、データのサイズを低減できるパレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）スチールイメージ圧縮技法を利用して変化領域をエンコーディングできる。パレットＰＮＧスチールイメージ圧縮技法は、エンコーディング時に、イメージのデータサイズが減少し、伝送速度は保障できるが、８ビットで色相を表現するため、イメージ画質に劣化をもたらすことができる。

また、本発明の一実施形態に係るイメージタイプによるクラウドストリーミングサービス方法は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う（Ｓ９３０）。エンコーディングを完了することによって、圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションを実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。

また、図９には図示されていないが、本発明の一実施形態に係るイメージタイプによるクラウドストリーミングサービス方法は、本発明の一実施形態に係るクラウドストリーミングサービス過程で発生する多様な情報を格納する。

図１０は、本発明の一実施形態に係るイメージタイプによるクラウドストリーミングサービス方法を詳細に示す動作流れ図である。

図１０を参照すれば、本発明の一実施形態に係るイメージタイプによるクラウドストリーミングサービス方法は、まず、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャする（Ｓ１０１０）。この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域を変化領域としてキャプチャできる。

その後、変化領域に相当するイメージのカラー個数が既定の基準個数を超過するか否かを判断する（Ｓ１０１５）。

段階（Ｓ１０１５）の判断結果、既定の基準個数を超過すると、変化領域のイメージタイプを自然イメージとして判断する（Ｓ１０２０）。

段階（Ｓ１０１５）の判断結果、既定の基準個数を超過しないと、変化領域に相当するイメージの画素値の標準偏差が既定の基準値を超過するか否かを判断する（Ｓ１０２５）。

段階（Ｓ１０２５）の判断結果、既定の基準値を超過すると、変化領域のイメージタイプを自然イメージとして判断する（Ｓ１０２０）。

段階（Ｓ１０２５）の判断結果、既定の基準値を超過しないと、変化領域のイメージタイプを合成イメージとして判断する（Ｓ１０３０）。

その後、所定の変化領域のイメージタイプによってスチールイメージ圧縮技法を選択する（Ｓ１０４０）。この際、ＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を選択できる。また、イメージタイプが合成イメージである場合、パレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）スチールイメージ圧縮技法を利用することもできる。

その後、選択したスチールイメージ圧縮技法を利用して変化領域をスチールイメージエンコーディングする（Ｓ１０５０）。

その後、スチールイメージエンコーディングされた変化領域をユーザの端末装置に伝達する（Ｓ１０６０）。スチールイメージエンコーディングして圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションを実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。

図１１は、本発明の一実施形態に係るクラウドストリーミングサービスシステムを示すブロック図である。

図１１を参照すれば、本発明の一実施形態に係るクラウドストリーミングサービスシステムは、クラウドストリーミングサーバー１１１０、端末装置１１２０−１、…、１１２０−Ｎ及びネットワーク１１３０を含む。

クラウドストリーミングサーバー１１１０は、端末装置１１２０−１、…、１１２０−Ｎからクラウドストリーミングサービス要請を受けてアプリケーションを実行し、アプリケーション実行結果に該当する実行結果画面を端末装置１１２０−１、…、１１２０−Ｎに提供する。

クラウドストリーミングサービスは、基本的にビデオコーデック基盤のクラウドストリーミング技法を適用するため、メニューディスプレイのような静的な画面に対してクラウドストリーミング技法を適用する場合にも、不要に画面全体をキャプチャしてビデオコーデックでエンコーディングする非効率的な方法でクラウドストリーミングサービスを行った。このような問題点を解決するために、本発明は、メニューディスプレイ画面のようにフレーム間の変化が大きくない場合には、クラウドストリーミングサーバーがフレーム間の変化を検出し、検出された変化領域のみをスチールイメージ圧縮技法でエンコーディングするクラウドストリーミングシステムを提供する。

クラウドストリーミングサーバー１１１０は、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャする。この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域を変化領域としてキャプチャできる。この際、端末装置１１２０−１、…、１１２０−Ｎに伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。この際、端末装置１１２０−１、…、１１２０−Ｎから発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。

また、クラウドストリーミングサーバー１１１０は、クラウドストリーミングサーバー負荷のサイズ及びネットワークのデータ処理率のうちいずれか一つ以上を考慮してスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、スチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングする。この際、ＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して変化領域を圧縮できる。この際、クラウドストリーミングサーバー負荷のサイズが既定の基準値未満である場合、ＪＰＥＧスチールイメージ圧縮技法を適用し、変化領域をエンコーディングできる。この際、クラウドストリーミングサーバー負荷のサイズが前記既定の基準値以上である場合、ネットワークのデータ処理率を考慮してスチールイメージ圧縮技法を選択できる。この際、ネットワークのデータ処理率が既定の処理率未満である場合、ＰＮＧスチールイメージ圧縮技法を適用し、変化領域をエンコーディングできる。この際、クラウドストリーミングサーバー負荷のサイズが既定の基準値以上であり、ネットワークのデータ処理率が既定の処理率以上である場合、パレットＰＮＧスチールイメージ圧縮技法を適用し、変化領域をエンコーディングできる。

また、クラウドストリーミングサーバー１１１０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。

端末装置１１２０−１、…、１１２０−Ｎは、クラウドストリーミングサーバー１１１０からクラウドストリーミングサービスに相当するアプリケーション実行結果画面を受信し、ユーザに提供する。

端末装置１１２０−１、…、１１２０−Ｎは、それぞれ通信網に連結され、クラウドコンピューティングシステム基盤でアプリケーションを実行できる装置であり、移動通信端末機に限定されるものではなく、すべての情報通信機器、マルチメディア端末、有線端末、固定型端末及びＩＰ（Ｉｎｔｅｒｎｅｔ Pｒｏｔｏｃｏｌ）端末などの多様な端末であることができる。また、端末装置１１２０−１、…、１１２０−Ｎは、それぞれ携帯電話、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｄ）、ＭＩＤ（Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、デスクトップ（Ｄｅｓｋｔｏｐ）、タブレットパソコン（Ｔａｂｌｅｔ PＣ）、ノートパソコン（Ｎｏｔｅ ｂｏｏｋ）、ネットブック（Ｎｅｔ Ｂｏｏｋ）、個人携帯用情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ；ＰＤＡ）、スマートテレビ及び情報通信機器などのような多様な移動通信遠慮を有するモバイル（Ｍｏｂｉｌｅ）端末であることができる。

ネットワーク１１３０は、クラウドストリーミングサーバー１１１０及び端末装置１１２０−１、…、１１２０−Ｎの間にデータを伝達する通路を提供するものであって、従来に利用されるネットワーク及び今後開発可能なネットワークをすべて包括する概念である。例えば、ネットワーク１１３０は、限定された地域内で各種情報装置の通信を提供する有無線近距離通信網、移動体相互間及び移動体と移動体外部との通信を提供する移動通信網、衛星を利用して地球局と地球局間通信を提供する衛星通信網であるか、有無線通信網のうちいずれか一つであるか、二つ以上の結合よりなることができる。なお、ネットワーク１１３０の伝送方式標準は、従来の伝送方式標準に限定されるものではなく、今後の開発されるすべての伝送方式標準を含む。また、図１１で、クラウドストリーミングサーバー１１１０と端末装置１１２０−１、…、１１２０−Ｎの間に使用されるネットワークは、端末装置１１２０−１、…、１１２０−Ｎの相互間に使用されるネットワークと異なっていてもよく、同一であってもよい。

図１２は、図１１に示されたクラウドストリーミングサーバーの一例を示すブロック図である。

図１２を参照すれば、図１１に示されたクラウドストリーミングサーバー１１１０は、キャプチャ部１２１０、エンコーディング部１２２０、センディング部１２３０及び格納部１２４０を含む。

クラウドストリーミングサービスは、基本的にビデオコーデック基盤のクラウドストリーミング技法を適用するため、メニューディスプレイのような静的な画面に対してクラウドストリーミング技法を適用する場合にも、不要に画面全体をキャプチャしてビデオコーデックでエンコーディングする非効率的な方法でクラウドストリーミングサービスを行った。このような問題点を解決するために、本発明は、メニューディスプレイ画面のようにフレーム間の変化が大きくない場合には、クラウドストリーミングサーバーがフレーム間の変化を検出し、検出された変化領域のみをスチールイメージ圧縮技法でエンコーディングするクラウドストリーミングサーバー１１１０を提供する。

キャプチャ部１２１０は、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャする。ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャしてエンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間の変化が大きくない場合には、以前フレームと比較して、変化したフレームの変化領域のみをキャプチャしてスチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイする時、変化領域を除いた部分は、同一に示し、変化領域のみに対して変化を与える方式でディスプレイできる。

この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域を変化領域としてキャプチャできる。例えば、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域としてキャプチャできる。このような変化領域は、ユーザの端末装置で入力される入力信号によってサイズや変化領域に相当するイメージの性質が多様である。

この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。

この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを実行したときにフレームの変化が少ない静的なイベント、または動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。

エンコーディング部１２２０は、クラウドストリーミングサーバー負荷のサイズ及びネットワークのデータ処理率のうちいずれか一つ以上を考慮してスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、スチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングする。

クラウドストリーミングサーバー負荷は、クラウドストリーミングサーバーで所望の効果を得るために、サーバーで取る行動に必要な動作や資源で、例えば、変化領域に該当するスチールイメージをエンコーディングするか、デコーディングするとき、クラウドストリーミングサーバー負荷が大きくなることができる。この際、クラウドストリーミングサーバー負荷の限界は、サーバーを構成するハードウェア機器によって多様に存在でき、もしクラウドストリーミングサーバー負荷の限界を超過する命令が入力されたら、サーバーの性能が低下するボトルネック現象が発生し得る。したがって、クラウドストリーミングサービス時に、クラウドストリーミングサーバー負荷のサイズを考慮して状況によってサーバー負荷が小さいスチールイメージ圧縮技法を選択できる。

また、ネットワークのデータ処理率は、同一のネットワーク帯域を基盤としてデータが処理される比率であって、ネットワークのデータ処理率も、ネットワーク帯域以上のデータ処理が要請される場合に、ボトルネック現象が発生し得る。したがって、ネットワークのデータ処理率を確認し、クラウドストリーミングサービス時に、データサイズを低減できるスチールイメージ圧縮技法を選択し、エンコーディングを行うことができる。

この際、ＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して変化領域を圧縮できる。ＰＮＧスチールイメージ圧縮技法は、エンコーディング時に、イメージの画質は良いが、データのサイズが大きくなって、伝送網の帯域幅が低い場合には、伝送速度が低下することがある。パレットＰＮＧスチールイメージ圧縮技法は、エンコーディング時に、イメージのデータサイズが減少し、伝送速度は保障できるが、８ビットで色相を表現するため、イメージ画質に劣化をもたらすことができる。ＪＰＥＧスチールイメージ圧縮技法は、圧縮効率が良いため、エンコーディング時に、伝送データ量を大幅に低減できるが、圧縮効率が大きいため、エンコーディング及びデコーディングを行う時に、システム負荷を多く発生させることができる。

この際、クラウドストリーミングサーバー負荷のサイズが既定の基準値未満である場合、ＪＰＥＧスチールイメージ圧縮技法を適用し、変化領域をエンコーディングできる。ＪＰＥＧスチールイメージ圧縮技法は、相対的にＰＮＧスチールイメージ圧縮技法及びパレットスチールイメージ圧縮技法より圧縮率が高いため、サーバーでエンコーディングを行うか、クライアントでデコーディングを行う時に、大きい負荷を発生させることができる。したがって、クラウドストリーミングサーバー負荷が大きくない時、ＪＰＥＧスチールイメージ圧縮技法を用いて変化領域をエンコーディングできる。また、ＪＰＥＧスチールイメージ圧縮技法は、圧縮率が良いため、データのサイズを減少させることができるので、ネットワークのデータ処理量が多い時に使用し、ネットワークのデータ処理量が増加することを防止できる。

この際、クラウドストリーミングサーバー負荷のサイズが既定の基準値以上である場合、ネットワークデータ処理率を考慮してスチールイメージ圧縮技法を選択できる。例えば、クラウドストリーミングサーバー負荷のサイズが既定の基準値以上である場合には、ＰＮＧスチールイメージ圧縮技法及びパレットＰＮＧスチールイメージ圧縮技法のうちいずれか一つを選択して変化領域をエンコーディングできる。この際、ＰＮＧスチールイメージ圧縮技法とパレットＰＮＧスチールイメージ圧縮技法のうちどの技法を選択するかによって、伝送されるデータのサイズが異なることができるため、ネットワークデータ処理率を考慮してスチールイメージ圧縮技法を選択できる。

この際、ネットワークのデータ処理率が既定の処理率未満である場合、ＰＮＧスチールイメージ圧縮技法を適用し、変化領域をエンコーディングできる。例えば、ＰＮＧスチールイメージ圧縮技法で変化領域をエンコーディングする場合には、ユーザ端末装置に提供される変化領域の画質は良いが、その分だけ、伝送されるデータのサイズが大きくなって、ネットワークの帯域が低い場合、サービス速度が低下することがある。したがって、ネットワークのデータ処理率が低くて、ネットワークが円滑な場合には、サービスの画質を高めることができるＰＮＧスチールイメージ圧縮技法で変化領域をエンコーディングできる。また、ＰＮＧスチールイメージ圧縮技法は、エンコーディング及びデコーディング時に、負荷が大きくないため、クラウドストリーミングサーバー負荷が大きい場合には、ＰＮＧスチールイメージ圧縮技法でエンコーディングを行い、サーバーの負荷がさらに大きくなることを防止できる。

この際、クラウドストリーミングサーバー負荷のサイズが既定の基準値以上であり、ネットワークのデータ処理率が既定の処理率以上である場合、パレットＰＮＧスチールイメージ圧縮技法を適用し、変化領域をエンコーディングできる。例えば、パレットＰＮＧスチールイメージ圧縮技法を適用し、変化領域をエンコーディングする場合には、画質の劣化が発生できるが、伝送されるデータのサイズを低減できる。したがって、ネットワークのデータ処理率が高くて、ボトルネック現象が発生する可能性がある場合には、データのサイズを低減できるパレットＰＮＧスチールイメージ圧縮技法を選択して変化領域をエンコーディングすることによって、データ伝送量がさらに増加することを防止できる。

また、変化領域をエンコーディングするスチールイメージ圧縮技法を決定するために、クラウドストリーミングサーバー負荷のサイズ及びネットワークのデータ処理率を考慮する順序は、クラウドストリーミングサービスによって異なるように決定され得る。

センディング部１２３０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。エンコーディングを完了することによって、圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションを実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。

格納部１２４０は、前述したように、本発明の実施形態に係るクラウドストリーミングサービス過程で発生する多様な情報を格納する。

実施形態によって、格納部１２４０は、クラウドストリーミングサーバー１１１０と独立的に構成され、クラウドストリーミングサービスのための機能を支援できる。この際、格納部１２４０は、別途の大容量ストレージで動作でき、動作遂行のための制御機能を含む。

また、前述したように構成されるクラウドストリーミングサーバー１１１０は、一つ以上のサーバーで具現され得る。

一方、クラウドストリーミングサーバー１１１０は、メモリが搭載され、その装置内で情報を格納できる。一具現例の場合、メモリは、コンピュータで読み取り可能な媒体である。一具現例で、メモリは、揮発性メモリユニットであってもよく、他の具現例の場合、メモリは、非揮発性メモリユニットであってもよい。一具現例の場合、格納装置は、コンピュータで読み取り可能な媒体である。多様な互いに異なる具現例で、格納装置は、例えばハードディスク装置、光学ディスク装置、あるいは他の大容量格納装置を含むこともできる。

図１３は、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法を示す動作流れ図である。

図１３を参照すれば、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法は、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャする（Ｓ１３１０）。ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャしてエンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間の変化が大きくない場合には、以前フレームと比較して、変化したフレームの変化領域のみをキャプチャしてスチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイする時に、変化領域を除いた部分は同一に示し、変化領域のみに対して変化を与える方式でディスプレイできる。

この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域を変化領域としてキャプチャできる。例えば、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域としてキャプチャできる。このような変化領域は、ユーザの端末装置で入力される入力信号によってサイズや変化領域に相当するイメージの性質が多様である。この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。

この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを実行したときに、フレームの変化が少ない静的なイベント、または動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。

また、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法は、クラウドストリーミングサーバー負荷のサイズ及びネットワークデータ処理率のうちいずれか一つ以上を考慮してスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、スチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングする（Ｓ１３２０）。

クラウドストリーミングサーバー負荷は、クラウドストリーミングサーバーで所望の効果を得るために、サーバーで取る行動に必要な動作や資源で、例えば、変化領域に該当するスチールイメージをエンコーディングするか、デコーディングするとき、クラウドストリーミングサーバー負荷が大きくなることができる。この際、クラウドストリーミングサーバー負荷の限界は、サーバーを構成するハードウェア機器によって多様に存在でき、もしクラウドストリーミングサーバー負荷の限界を超過する命令が入力されると、サーバーの性能が低下するボトルネック現象が発生し得る。したがって、クラウドストリーミングサービス時に、クラウドストリーミングサーバー負荷のサイズを考慮して状況によってサーバー負荷が小さいスチールイメージ圧縮技法を選択できる。

また、ネットワークのデータ処理率は、同一のネットワーク帯域を基盤でデータが処理される比率であって、ネットワークのデータ処理率もネットワーク帯域以上のデータ処理が要請される場合に、ボトルネック現象が発生し得る。したがって、ネットワークのデータ処理率を確認し、クラウドストリーミングサービス時に、データサイズを低減できるスチールイメージ圧縮技法を選択し、エンコーディングを行うことができる。

この際、ＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して変化領域を圧縮できる。ＰＮＧスチールイメージ圧縮技法は、エンコーディング時に、イメージの画質は良いが、データのサイズが大きくなって、伝送網の帯域幅が低い場合には、伝送速度が低下することがある。パレットＰＮＧスチールイメージ圧縮技法は、エンコーディング時に、イメージのデータサイズが減少し、伝送速度は保障できるが、８ビットで色相を表現するため、イメージ画質に劣化をもたらすことができる。ＪＰＥＧスチールイメージ圧縮技法は、圧縮効率が良いため、エンコーディング時に、伝送データ量を大幅に低減できるが、圧縮効率が大きいため、エンコーディング及びデコーディングを行うとき、システム負荷を多く発生させることができる。

この際、クラウドストリーミングサーバー負荷のサイズが既定の基準値未満である場合、ＪＰＥＧスチールイメージ圧縮技法を適用し、変化領域をエンコーディングできる。ＪＰＥＧスチールイメージ圧縮技法は、相対的にＰＮＧスチールイメージ圧縮技法及びパレットスチールイメージ圧縮技法より圧縮率が高いため、サーバーでエンコーディングを行うか、クライアントでデコーディングを行うとき、大きい負荷を発生させることができる。したがって、クラウドストリーミングサーバー負荷が大きくないとき、ＪＰＥＧスチールイメージ圧縮技法を用いて変化領域をエンコーディングできる。また、ＪＰＥＧスチールイメージ圧縮技法は、圧縮率が良いため、データのサイズを減少させることができるので、ネットワークのデータ処理量が多いときに使用し、ネットワークのデータ処理量が増加することを防止できる。

この際、クラウドストリーミングサーバー負荷のサイズが既定の基準値以上である場合、ネットワークデータ処理率を考慮してスチールイメージ圧縮技法を選択できる。例えば、クラウドストリーミングサーバー負荷のサイズが既定の基準値以上である場合には、ＰＮＧスチールイメージ圧縮技法及びパレットＰＮＧスチールイメージ圧縮技法のうちいずれか一つを選択して変化領域をエンコーディングできる。この際、ＰＮＧスチールイメージ圧縮技法とパレットＰＮＧスチールイメージ圧縮技法のうちどの技法を選択するかによって、伝送されるデータのサイズが異なることができるため、ネットワークデータ処理率を考慮してスチールイメージ圧縮技法を選択できる。

この際、ネットワークのデータ処理率が既定の処理率未満である場合、ＰＮＧスチールイメージ圧縮技法を適用し、変化領域をエンコーディングできる。例えば、ＰＮＧスチールイメージ圧縮技法で変化領域をエンコーディングする場合には、ユーザ端末装置に提供される変化領域の画質は良いが、その分だけ、伝送されるデータのサイズが大きくなって、ネットワークの帯域が低い場合、サービス速度が低下することがある。したがって、ネットワークのデータ処理率が低くて、ネットワークが円滑な場合には、サービスの画質を高めることができるＰＮＧスチールイメージ圧縮技法で変化領域をエンコーディングできる。また、ＰＮＧスチールイメージ圧縮技法は、エンコーディング及びデコーディング時に、負荷が大きくないため、クラウドストリーミングサーバー負荷が大きい場合には、ＰＮＧスチールイメージ圧縮技法でエンコーディングを行い、サーバーの負荷がさらに大きくなることを防止できる。

この際、クラウドストリーミングサーバー負荷のサイズが既定の基準値以上であり、ネットワークのデータ処理率が既定の処理率以上である場合、パレットＰＮＧスチールイメージ圧縮技法を適用し、変化領域をエンコーディングできる。例えば、パレットＰＮＧスチールイメージ圧縮技法を適用し、変化領域をエンコーディングする場合には、画質の劣化が発生できるが、伝送されるデータのサイズを低減できる。したがって、ネットワークのデータ処理率が高くて、ボトルネックが発生する可能性がある場合には、データのサイズを低減できるパレットＰＮＧスチールイメージ圧縮技法を選択し、変化領域をエンコーディングすることによって、データ伝送量がさらに増加することを防止できる。

また、変化領域をエンコーディングするスチールイメージ圧縮技法を決定するために、クラウドストリーミングサーバー負荷のサイズ及びネットワークのデータ処理率を考慮する順序は、クラウドストリーミングサービスによって相異に決定され得る。

また、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う（Ｓ１３３０）。スチールイメージエンコーディングして圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションを実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。

図１４は、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法を詳細に示す動作流れ図である。

図１４を参照すれば、本発明の一実施形態に係るスチールイメージ基盤クラウドストリーミングサービス方法は、まず、クラウドストリーミングサーバーで以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャする（Ｓ１４１０）。この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して、変化した領域を変化領域としてキャプチャできる。この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。

クラウドストリーミングサーバーは、クラウドストリーミングサーバー負荷のサイズが既定の基準値未満であるか否かを判断する（Ｓ１４１５）。

段階（Ｓ１４１５）の判断結果、クラウドストリーミングサーバー負荷のサイズが既定の基準値未満であれば、変化領域をＪＰＥＧスチールイメージ圧縮技法でエンコーディングする（Ｓ１４２０）。ＪＰＥＧスチールイメージ圧縮技法は、相対的にＰＮＧスチールイメージ圧縮技法及びパレットスチールイメージ圧縮技法より圧縮率が高いため、サーバーでエンコーディングを行うか、クライアントでデコーディングを行うとき、大きい負荷を発生させることができる。したがって、クラウドストリーミングサーバー負荷が大きくないとき、ＪＰＥＧスチールイメージ圧縮技法を用いて変化領域をエンコーディングできる。

段階（Ｓ１４１５）の判断結果、クラウドストリーミングサーバー負荷のサイズが既定の基準値以上であれば、ネットワークのデータ処理率が既定の処理率未満であるか否かを判断する（Ｓ１４２５）。

段階（Ｓ１４２５）の判断結果、ネットワークのデータ処理率が既定の処理率未満であれば、ＰＮＧスチールイメージ圧縮技法で変化領域をエンコーディングする（Ｓ１４３０）。ＰＮＧスチールイメージ圧縮技法で変化領域をエンコーディングする場合には、ユーザ端末装置に提供される変化領域の画質は良いが、その分だけ、伝送されるデータのサイズが大きくなって、ネットワークの帯域が低い場合、サービス速度が低下することがある。したがって、ネットワークのデータ処理率が低くて、ネットワークが円滑な場合には、サービスの画質を高めることができるＰＮＧスチールイメージ圧縮技法で変化領域をエンコーディングできる。

段階（Ｓ１４２５）の判断結果、ネットワークのデータ処理率が既定の処理率以上であれば、パレットＰＮＧスチールイメージ圧縮技法で変化領域をエンコーディングする（Ｓ１４４０）。パレットＰＮＧスチールイメージ圧縮技法を適用して変化領域をエンコーディングする場合には、画質の劣化が発生できるが、伝送されるデータのサイズを低減できる。したがって、ネットワークのデータ処理率が高くて、ボトルネック現象が発生する可能性がある場合には、データのサイズを低減できるパレットＰＮＧスチールイメージ圧縮技法を選択し、変化領域をエンコーディングすることによって、データ伝送量がさらに増加することを防止できる。

その後、クラウドストリーミングサーバーは、スチールイメージエンコーディングされた変化領域をユーザに伝達する（Ｓ１４５０）。スチールイメージエンコーディングして圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションを実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。

コンピュータプログラムコマンドとデータを格納するに適したコンピュータで読み取り可能な媒体は、例えば、記録媒体は、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（Ｍａｇｎｅｔｉｃ Ｍｅｄｉａ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ）のような光記録媒体（Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、フロプチカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びロム（ＲＯＭ、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ラム（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）のような半導体メモリを含む。プロセッサとメモリは、特殊目的の論理回路によって補充されるか、それに統合され得る。プログラム命令の例には、コンパイラーによって作われるもののような機械語コードだけでなく、インタプリターなどを使用してコンピュータによって実行され得る高級言語コードを含む。このようなハードウェア装置は、本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成され、その逆も同様である。

本明細書は、多数の特定の具現物の詳細事項を含むが、これらは、いかなる発明や請求可能なものの範囲に対しても制限的なものとして理解されてはならず、むしろ特定の発明の特定の実施形態に特有な特徴に対する説明として理解しなければならない。個別的な実施形態の文脈で本明細書に記述された特定の特徴は、単一実施形態で組み合わせて具現されることもできる。反対に、単一実施形態の文脈で記述した多様な特徴も個別的にあるいはいかなる適切な下位組合でも複数の実施形態で具現可能である。さらに、特徴が特定の組合で動作し、初期にそのように請求されたように描写され得るが、請求された組合からの一つ以上の特徴は、一部の場合にその組合から排除され得、その請求された組合は、下位組合や下位組合の変形物に変更され得る。

同様に、特定の手順で図面で動作を描いているが、これは、好適な結果を得るために図示されたその特定の手順や順次な順にそのような動作を実行しなければならないか、すべての図示された動作が実行されなければならないものと理解されてはならない。特定の場合、マルチタスキングと並列プロセッシングが有利であることができる。また、前述した実施形態の多様なシステムコンポネントの分離は、そのような分離をすべての実施形態で要求するものと理解されてはならず、説明したプログラムコンポネントとシステムは、一般的に単一のソフトウェア製品に一緒に統合されるか、多重ソフトウェア製品にパッケージングされ得るという点を理解しなければならない。

なお、本明細書と図面に開示された本発明の実施形態は、理解を助けるために特定の例を提示したものに過ぎず、本発明の範囲を限定しようとするものではない。ここに開示された実施形態以外にも、本発明の技術的思想に基づく他の変形例が実施可能であることは、本発明の属する技術分野における通常の知識を有する者に自明である。

本発明によれば、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャし、変化領域のサイズ及び変化領域に相当するイメージ性質のうちいずれか一つ以上を考慮してスチールイメージ圧縮技法を選択し、選択したスチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングし、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うことができる。また、スチールイメージ基盤クラウドストリーミングサービスを通じてストリーミング圧縮効率を極大化し、同一の帯域を通じて一層速くて且つさらに多いユーザを対象としてクラウドストリーミングサービスを提供できるため、クラウドストリーミングサービス提供者は、帯域拡張が必要な資源を節約しながら、ユーザに効率的なサービスを提供できる。

また、本発明によれば、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャし、変化領域に相当するイメージのカラー個数及びイメージ画素値の標準偏差のうち一つ以上を考慮して決定したイメージタイプによってスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、選択したスチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングし、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うことができる。また、イメージタイプによるクラウドストリーミングサービスを通じてストリーミング圧縮効率を極大化し、同一の帯域を通じて一層速くて且つさらに多いユーザを対象としてクラウドストリーミングサービスを提供できるため、クラウドストリーミングサービス提供者は、帯域拡張が必要な資源を節約しながら、ユーザに効率的なサービスを提供できる。

また、本発明によれば、以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャし、クラウドストリーミングサーバー負荷のサイズ及びネットワークのデータ処理率のうちいずれか一つ以上を考慮してスチールイメージ圧縮技法を選択し、選択したスチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングし、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うことができる。また、スチールイメージ基盤クラウドストリーミングサービスを通じてストリーミング圧縮効率を極大化し、同一の帯域を通じて一層速くて且つさらに多いユーザを対象としてクラウドストリーミングサービスを提供できるため、クラウドストリーミングサービス提供者は、帯域拡張が必要な資源を節約しながら、ユーザに効率的なサービスを提供できる。

Claims (8)

1. 以前フレームと比較して、変化したフレームに含まれた変化領域をキャプチャするキャプチャ部と、
   前記変化領域のサイズ及び前記変化領域のイメージ性質のうちいずれか一つ以上に基づいてスチールイメージ（ｓｔｉｌｌ ｉｍａｇｅ）圧縮技法を選択し、前記スチールイメージ圧縮技法を利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングするエンコーディング部と、
   スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うセンディング部と、を含み、
   前記イメージ性質は、
   自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）及び合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）のいずれかであり、
   前記エンコーディング部は、
   ＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して前記変化領域を圧縮し、
   前記変化領域のサイズが既定の基準値以上であり、前記イメージ性質が合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）である場合、前記パレットＰＮＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングし、
   前記変化領域に相当するイメージ画素値の標準偏差を考慮して変化領域に相当するイメージのイメージタイプを決定し、
   前記変化領域に相当するイメージのカラー個数が既定の基準個数以下であり、変化領域に相当するイメージ画素値の標準偏差が既定の基準値以下である場合、イメージタイプを合成イメージとして決定することを特徴とするクラウドストリーミングサーバー。
2. 前記エンコーディング部は、
   前記変化領域のサイズが既定の基準値未満である場合、前記ＰＮＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングすることを特徴とする請求項１に記載のクラウドストリーミングサーバー。
3. 前記エンコーディング部は、
   前記変化領域のサイズが前記基準値以上である場合、前記イメージ性質に基づいて、前記スチールイメージ圧縮技法を選択することを特徴とする請求項２に記載のクラウドストリーミングサーバー。
4. 前記エンコーディング部は、
   前記イメージ性質が自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）である場合、前記ＪＰＥＧスチールイメージ圧縮技法を適用し、前記変化領域をエンコーディングすることを特徴とする請求項１に記載のクラウドストリーミングサーバー。
5. 前記エンコーディング部は、
   前記イメージ性質が前記自然イメージと前記合成イメージ（ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅ）とが混合したイメージである場合、前記変化領域のうち前記自然イメージに相当する領域と前記変化領域のうち前記合成イメージに相当する領域を比較し、さらに多い領域に相当するイメージ性質によって前記スチールイメージ圧縮技法を選択することを特徴とする請求項４に記載のクラウドストリーミングサーバー。
6. 前記キャプチャ部は、
   前記変化したフレームに相当する画面領域のうち前記以前フレームに相当する画面領域と比較して、変化した領域を前記変化領域としてキャプチャすることを特徴とする請求項１に記載のクラウドストリーミングサーバー。
7. 前記キャプチャ部は、
   前記ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、前記フレーム変化が少ない区間で前記変化領域をキャプチャすることを特徴とする請求項６に記載のクラウドストリーミングサーバー。
8. 前記キャプチャ部は、
   前記ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、前記フレーム変化が少ない区間を検出することを特徴とする請求項７に記載のクラウドストリーミングサーバー。