JP5982436B2 - Screen transfer server device and screen transfer method - Google Patents
Screen transfer server device and screen transfer method Download PDFInfo
- Publication number
- JP5982436B2 JP5982436B2 JP2014157075A JP2014157075A JP5982436B2 JP 5982436 B2 JP5982436 B2 JP 5982436B2 JP 2014157075 A JP2014157075 A JP 2014157075A JP 2014157075 A JP2014157075 A JP 2014157075A JP 5982436 B2 JP5982436 B2 JP 5982436B2
- Authority
- JP
- Japan
- Prior art keywords
- screen data
- screen
- difference
- client device
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明の実施形態は、ユーザの操作に基づいて画面データを転送する画面転送サーバ、および画面転送方法に関する。 Embodiments described herein relate generally to a screen transfer server and a screen transfer method for transferring screen data based on a user operation.
クラウドアプリケーションの普及に伴い、ユーザの操作に基づき、サーバからクライアント(ユーザ側の端末装置)に画面データを転送するためのアプリケーションが増えている。
このアプリケーションとして、例えば、シンクライアント(Thin client)、アプリケーション仮想化、および、例えば非特許文献1に開示されるようなエッジコンピューティングプラットフォームにおいて端末の処理を肩代わりするエッジサーバ(以降、出力機能分割サーバと呼ぶ)などが挙げられる。
With the spread of cloud applications, an application for transferring screen data from a server to a client (terminal device on the user side) is increasing based on user operations.
As this application, for example, a thin client, application virtualization, and an edge server that takes over terminal processing in an edge computing platform as disclosed in Non-Patent Document 1, for example (hereinafter referred to as an output function division server) And so on).
これらの技術では、サーバが画面データをクライアントに継続的に送信するので、ネットワーク帯域の消費量が大きいことが課題である。よって、画面データをサーバからクライアントに送信する際には、全ての画面データを一括で送信するのではなく、画面表示に必要な最低限のデータのみを送信することにより、ネットワーク帯域の消費量を削減する必要がある。その一方で、画面データの更新や表示領域の更新が発生したときには、更新された画面データが速やかにクライアントに送信されてユーザに提供されなければならない。 In these technologies, since the server continuously transmits screen data to the client, the consumption of the network bandwidth is a problem. Therefore, when screen data is sent from the server to the client, not all screen data is sent at once, but only the minimum data required for screen display is sent, thereby reducing network bandwidth consumption. There is a need to reduce. On the other hand, when screen data update or display area update occurs, the updated screen data must be promptly transmitted to the client and provided to the user.
画面データの転送に関わる帯域削減技術として、例えば非特許文献2で示されるように、ディスプレイドライバ内の遅延量に応じて送信間隔を調整する方法や、例えば非特許文献3に示されるように、画面領域毎の更新量に応じて送信方法を動画または静止画に切り替える方法がある。
As a bandwidth reduction technique related to screen data transfer, for example, as shown in
しかしながら、非特許文献2に開示されたような方法は、ネットワークの混雑を検知してデータの送信レートを落とす方法である。この方法では、ユーザによるクライアントの操作にともなって表示領域が更新されたことを考慮して必要最低限の画面データをクライアントに送ることはできない。
However, the method disclosed in Non-Patent
また、非特許文献3に開示されたような方法は、送信方法を動画および静止画の何れかへ切り替えを行う方法であり、画像転送の帯域削減を実現することはできない。 Further, the method disclosed in Non-Patent Document 3 is a method of switching the transmission method to either a moving image or a still image, and cannot reduce the bandwidth of image transfer.
更に、上記のいずれの方法についても、ユーザの操作による表示画面の一部更新を考慮した画面転送方法ではなく、画面データ全体を転送する方法である。 Further, any of the above methods is not a screen transfer method considering partial update of the display screen by a user operation, but a method of transferring the entire screen data.
本発明は、画面更新に対する応答性能を維持した上で、画面データの転送に伴う帯域を削減することが可能になる画面転送サーバ装置、および画面転送方法を提供することを目的とする。 An object of the present invention is to provide a screen transfer server device and a screen transfer method that can reduce the bandwidth associated with the transfer of screen data while maintaining response performance to screen updates.
上記目的を達成するために、この発明の実施形態における画面転送サーバ装置の第1の態様は、所定の周期ごとに最新の画面データを作成する画面データ作成部と、前記作成された最新の画面データを取得する取得部と、前記取得部により前回取得した画面データを保持する保持部と、前記取得した最新の画面データと前記保持された前回取得した画面データとの差分をクライアント装置に送信する送信制御部とを具備し、前記画面データ作成部は、前記クライアント装置において画面データ読み込み要求が発生した場合に、該要求を受信した後、所定時間が経過するまで画面データの作成の周期を延長することを特徴とする画面転送サーバ装置を提供する。
上記目的を達成するために、この発明の実施形態における画面転送サーバ装置の第2の態様は、所定の周期ごとに最新の画面データを作成する画面データ作成部と、前記作成された最新の画面データを取得する取得部と、前記取得部により前回取得した画面データを保持する保持部と、前記取得した最新の画面データと前記保持された前回取得した画面データとの差分をクライアント装置に送信する送信制御部とを具備し、記送信制御部は、前記クライアント装置での画面におけるスクロールがなされた場合に、実際のスクロール量を前記クライアント装置での画面におけるスクロールのための操作がなされてから前記差分に相当する画面データが前記クライアント装置に到達するまでの時間差を考慮した、前記操作によりスクロールされると見込まれる所定のスクロール量だけ増加させたスクロール量に基づき、スクロール前の画面とスクロール後の画面との差分に相当する画面データを前記クライアント装置に送信することを特徴とする画面転送サーバ装置を提供する。
In order to achieve the above object, a first aspect of the screen transfer server device according to the embodiment of the present invention includes a screen data creation unit that creates the latest screen data for each predetermined period, and the created latest screen. An acquisition unit that acquires data, a holding unit that holds screen data acquired last time by the acquisition unit, and a difference between the acquired latest screen data and the held screen data acquired last time is transmitted to the client device. A transmission control unit, and when the screen data read request is generated in the client device, the screen data generation unit extends a screen data generation cycle until a predetermined time elapses after receiving the request. A screen transfer server device is provided.
In order to achieve the above object, a second aspect of the screen transfer server device according to the embodiment of the present invention includes a screen data creation unit that creates the latest screen data for each predetermined period, and the created latest screen. An acquisition unit that acquires data, a holding unit that holds screen data acquired last time by the acquisition unit, and a difference between the acquired latest screen data and the held screen data acquired last time is transmitted to the client device. A transmission control unit, and the transmission control unit, when scrolling on the screen on the client device, the actual scrolling amount after the operation for scrolling on the screen on the client device is made The screen data corresponding to the difference is scrolled by the operation in consideration of the time difference until it reaches the client device. Provided is a screen transfer server device that transmits screen data corresponding to a difference between a screen before scrolling and a screen after scrolling to the client device based on a scroll amount that is increased by a predetermined expected scroll amount. To do .
上記構成の画面転送サーバ装置の第3の態様は、第1または第2の態様において、前記差分は、画面上で定義された矩形領域における、前記取得した最新の画面データと前記保持された前回取得した画面データとの差分に相当する画面データである。 According to a third aspect of the screen transfer server device configured as described above, in the first or second aspect, the difference is the acquired latest screen data and the held previous time in a rectangular area defined on the screen. This is screen data corresponding to the difference from the acquired screen data.
上記構成の画面転送サーバ装置の第4の態様は、第1または第2の態様において、前記差分は、画面上のビット単位における、前記取得した最新の画面データと前記保持された前回取得した画面データとの差分に相当する画面データである。
上記構成の画面転送サーバ装置の第5の態様は、第1の態様において、前記送信制御部は、前記クライアント装置での画面におけるスクロールがなされた場合に、前記クライアント装置から取得した情報より求められる、スクロール量に基づき、スクロール前の画面とスクロール後の画面との差分に相当する画面データを前記クライアント装置に送信する。
According to a fourth aspect of the screen transfer server device configured as described above, in the first or second aspect, the difference is the acquired latest screen data and the retained previous acquired screen in bit units on the screen. This is screen data corresponding to the difference from the data.
According to a fifth aspect of the screen transfer server device configured as described above, in the first aspect, the transmission control unit is obtained from information acquired from the client device when the screen on the client device is scrolled. Based on the scroll amount, screen data corresponding to the difference between the screen before scrolling and the screen after scrolling is transmitted to the client device.
本発明の実施形態における画面転送方法の第1の態様は、画面転送サーバ装置に適用される方法であって、前記画面転送サーバ装置は、所定の周期ごとに最新の画面データを作成し、前記作成された最新の画面データを取得し、前回取得した前記画面データを保持し、前記取得した最新の画面データと前記保持された画面データとの差分をクライアント装置に送信し、前記クライアント装置において画面データ読み込み要求が発生した場合に、該要求を受信した後、所定時間が経過するまで画面データの作成の周期を延長する。
本発明の実施形態における画面転送方法の第2の態様は、画面転送サーバ装置に適用される方法であって、前記画面転送サーバ装置は、所定の周期ごとに最新の画面データを作成し、前記作成された最新の画面データを取得し、前回取得した前記画面データを保持し、前記取得した最新の画面データと前記保持された画面データとの差分をクライアント装置に送信し、前記クライアント装置での画面におけるスクロールがなされた場合に、実際のスクロール量を前記クライアント装置での画面におけるスクロールのための操作がなされてから前記差分に相当する画面データが前記クライアント装置に到達するまでの時間差を考慮した、前記操作によりスクロールされると見込まれる所定のスクロール量だけ増加させたスクロール量に基づき、スクロール前の画面とスクロール後の画面との差分に相当する画面データを前記クライアント装置に送信する。
A first aspect of a screen transfer method according to an embodiment of the present invention is a method applied to a screen transfer server device, wherein the screen transfer server device creates the latest screen data every predetermined cycle, and The latest screen data created is acquired, the screen data acquired last time is retained, the difference between the acquired latest screen data and the retained screen data is transmitted to the client device, and the screen is displayed on the client device. When a data read request is generated, the screen data creation cycle is extended until a predetermined time elapses after the request is received .
A second aspect of the screen transfer method according to the embodiment of the present invention is a method applied to a screen transfer server device, wherein the screen transfer server device creates the latest screen data every predetermined cycle, and The latest screen data created is acquired, the screen data acquired last time is retained, the difference between the acquired latest screen data and the retained screen data is transmitted to the client device, and the client device When the screen is scrolled, the actual scrolling amount is taken into account the time difference from when the operation for scrolling the screen on the client device is performed until the screen data corresponding to the difference reaches the client device. , Based on the scroll amount increased by a predetermined scroll amount expected to be scrolled by the operation, Transmitting the screen data corresponding to the difference between the screen after crawling previous screen and scroll to the client device.
本発明によれば、画面更新に対する応答性能を維持した上で、画面データの転送に伴う帯域を削減することができる。 According to the present invention, it is possible to reduce the bandwidth associated with the transfer of screen data while maintaining response performance to screen update.
以下、図面を参照して、この発明に係る実施形態を説明する。
図1は、本発明の実施形態における画面転送システムによる画面転送の手順の一例を示す図である。
本実施形態における画面転送システムは、ユーザが用いるクライアント10、および画面転送を行うサーバ20(以降、サーバ20と記載する)を有する。
このシステムは、サーバ20がクライアント10に送信する画面データの画面領域内に変化があった場合に、このクライアント10に送信する画面データの更新を行なう。
Embodiments according to the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram showing an example of a screen transfer procedure by the screen transfer system according to the embodiment of the present invention.
The screen transfer system according to the present embodiment includes a
In this system, when there is a change in the screen area of the screen data transmitted from the
サーバ20は、画面データ送信制御部21および画面データ作成部22を有する。画面データ送信制御部21は、クライアント10へ画面データを送信する。画面データ作成部22は、クライアント10向けの画面データを作成する。
The
サーバ20は、描画用タイマを内蔵し、この描画用タイマを一定周期毎に動作させることにより、画面データ送信制御部21に対して割り込みをかける。
画面データ送信制御部21は、描画用タイマによる割り込みを検知して、画面データ作成部22に画面データ取得要求を送信する。
画面データ作成部22は、画面データ取得要求に応じて、最新の画面データを作成して画面データ送信制御部21に送信する。
The
The screen data
In response to the screen data acquisition request, the screen
画面データ作成部22から画面データ送信制御部21に前回送信された画面データ、つまり最新の画面データより1回前に作成された画面データはサーバ20内の記憶装置に保持されている。
画面データ送信制御部21は、画面データ作成部22から取得した最新の画面データと、上記のように記憶装置に保持された画面データ、つまり画面データ作成部22から画面データ送信制御部21へ前回送信された画面データとを比較し、両画面データの差分をチェックする。
The screen data previously transmitted from the screen
The screen data
画面データ送信制御部21は、上記の両画面データに差分がある場合は、この差分画面データを示すリクエストメッセージをクライアント10に送信する。そして、上記のように記憶装置に保持されている画面データは、上記のように画面データ作成部22が作成した最新の画面データに更新される。この更新された画面データは、次回以降の差分の比較における、画面データ作成部22から画面データ送信制御部21へ前回送信された画面データとして使用される。
When there is a difference between the two screen data, the screen data
クライアント10は、サーバ20からの差分画面データを受信したら、この差分画面データに基づいて表示画面を更新するとともに、この差分画面データを受信したことを示す応答メッセージをサーバ20の画面データ送信制御部21に送信する。信頼性のあるプロトコル(例えば、TCP)を用いて差分画面データを送信する場合、応答メッセージを省略してもよい。
差分のチェックについては、画面データ上で予め定義された矩形領域に対して行ってもよいし、画面データ上のビット単位に対して行なわれてもよい。
When the
The difference check may be performed on a rectangular area defined in advance on the screen data, or may be performed on a bit unit on the screen data.
次に、画面をスクロールさせる際の動作について説明する。ユーザがクライアント10における画面でのスクロール操作を行ったときには、このクライアント10は、スクロール量を測定する。
クライアント10の表示装置がタッチパネルであれば、スクロール量は、画面上でのイベントの発生位置と速度に基づき、イベントの発生時間からの経過時間に対する画面移動の量として計算される。また、クライアント10の入力装置がリモコンであれば、スクロール量は、リモコンのボタン操作一回分に割り当てられたスクロール量に基づき計算される。
Next, the operation when scrolling the screen will be described. When the user performs a scroll operation on the screen of the
If the display device of the
クライアント10は、計算したスクロール量を示す情報をサーバ20に送信する。最新のスクロール位置の情報はサーバ20内の記憶装置に保持されている。サーバ20は、クライアント10からのスクロール量を自装置内の記憶装置に保持しているスクロール位置の情報に上書きすることで、スクロール量の情報を更新する。画面データ送信制御部21は、記憶装置に保持される最新の画面データと更新されたスクロール量に基づいて、この更新されたスクロール量に相当する差分画面データ、つまりスクロール前の画面とスクロール後の画面との差分を計算し、この差分画面データを示すリクエストメッセージをクライアント10に送信する。これにより、上記のように画面データ同士を比較しなくても差分を得ることができる。
もしくは、クライアント10が、最新のスクロール位置を記憶装置に保持し、イベントの発生位置と速度に基づき、更新が必要な画面データの座標を計算した上で、サーバ20に送信することも可能である。もしくは、クライアント10が、イベントの発生位置と速度を計測し、該情報をサーバ20に送信することにより、サーバ20がイベントの発生時間からの経過時間に対する画面移動の量を計算することもできる。
The
Alternatively, the
図3は、本発明の実施形態における画面転送システムによる、画面のスクロールの形態の一例を示す図である。図4は、本発明の実施形態における画面転送システムによる、画面のスクロール操作に伴う画面転送の手順の一例を示す図である。
図3では、スクロール方向が下方向の場合のイメージを示す。本実施形態でのスクロールの検出方向は、上下左右いずれのスクロール方向に対しても適用可能であるが、一部のスクロール方向にのみに適用することも可能である。
FIG. 3 is a diagram showing an example of a screen scroll mode by the screen transfer system according to the embodiment of the present invention. FIG. 4 is a diagram illustrating an example of a screen transfer procedure associated with a screen scroll operation by the screen transfer system according to the embodiment of the present invention.
FIG. 3 shows an image when the scroll direction is downward. The scroll detection direction in this embodiment can be applied to any scroll direction, up, down, left, and right, but can also be applied to only some scroll directions.
上記の差分情報の送信では、ユーザがクライアント10でスクロール操作を行ってから、画面情報がサーバ20からクライアント10に実際に到達するまでに時間差があるために、ユーザにとっての操作感が不自然になる場合がある。
In the transmission of the difference information, since there is a time difference from when the user performs a scroll operation on the
この操作感の不自然さを解消するために、画面データ送信制御部21は、クライアント10から送信されたスクロール量に、後にユーザによりスクロールされると見込まれるスクロール量に相当する所定の値を加算したスクロール量に相当する差分画面を作成し、この差分画面データを示すリクエストメッセージをクライアント10に送信する、いわゆる先読み処理を行なう。この先読み処理についても、上下左右いずれのスクロール方向に対しても適用可能である。また、この先読み処理では、クライアント10で測定したスクロール量に所定の値を該クライアント10で加算したスクロール量をサーバ20に送信するようにすることもできる。
In order to eliminate this unnatural feeling of operation, the screen data
次に、画面の読み込み状況に応じて描画タイマの動作間隔(描画処理間隔)を変化させることにより,ネットワーク帯域を削減するためのシーケンスを説明する。
図5は、本発明の実施形態における画面転送システムによる、画面データの描画処理間隔の延長の形態の一例を示す図である。
Next, a sequence for reducing the network bandwidth by changing the operation interval (drawing processing interval) of the drawing timer according to the screen reading state will be described.
FIG. 5 is a diagram showing an example of a form of extending the screen data drawing processing interval by the screen transfer system according to the embodiment of the present invention.
具体的には、サーバ20は、画面データ作成部22による画面データの描画(作成)処理間隔を管理するためのスケジューラを有する。
ユーザからの画面データ読み込み要求にしたがって、クライアント10は、画面データ読み込み要求をサーバ20に送信する。
これによりサーバ20の画面データ作成部22は、スケジューラ23からの描画開始指示に基づき、画面データを作成する。画面データ作成部22が画面データの描画を始めた直後は、画面のページの描画更新頻度が低い。このため、画面データ読み込み要求を画面データ作成部22が受信してから一定時間の間、描画処理間隔を通常の間隔t1より長いt2に延長する。スケジューラ23は、画面データ作成部22に対して行う描画開始の指示の間隔について間引き処理を行なうことになる。これにより画面転送の更新頻度が抑えられる。
上記の一定時間が経過した場合、画面データ作成部22における描画処理間隔を通常の描画処理間隔であるt1に戻す。
Specifically, the
In accordance with the screen data read request from the user, the
Thereby, the screen
When the predetermined time has elapsed, the drawing processing interval in the screen
以下、画面転送システムの各種実施例について説明する。
(第1の実施例)
図6は、本発明の実施形態における画面転送システムの機能構成の第1の例を示す図である。
図6に示したシステムは、例えばオンラインゲームや電子書籍システムに適用される。
Hereinafter, various embodiments of the screen transfer system will be described.
(First embodiment)
FIG. 6 is a diagram illustrating a first example of a functional configuration of the screen transfer system according to the embodiment of the present invention.
The system shown in FIG. 6 is applied to, for example, an online game or an electronic book system.
この図6に示したシステムでは、クライアント10は、画面転送サービスを提供するためのサーバ20が提供するサービスを利用する。このサーバ20は、画面データ送信制御部21、画面データ作成部22、スケジューラ23、画面データ保持部24、記憶装置25を有する。
In the system shown in FIG. 6, the
クライアント10は、コンテンツ取得要求をネットワーク(NW)30を介してサーバ20に送信する。コンテンツ取得要求には、サーバ、および、コンテンツを特定可能な情報(例えば、URI)を含む。
The
画面データ作成部22は、画面データ取得要求を取得した後、描画用タイマによる割り込みにより、最新の画面データ(コンテンツ)を作成し、該画面データを画面データ送信制御部21に送信する。
画面データ作成部22から前回送信された画面データは、サーバ20内の画面データ保持部24によりサーバ20内の記憶装置25に保持される。画面データ送信制御部21は、画面データ作成部22から送信された最新の画面データと、上記のように記憶装置25に保持された画面データ、つまり画面データ作成部22から画面データ送信制御部21へ前回送信された画面データとを比較し、両画面データの差分をチェックする。
After acquiring the screen data acquisition request, the screen
The screen data previously transmitted from the screen
画面データ送信制御部21は、上記の両画面データに差分がある場合は、この差分を示す差分画面データをクライアント10に送信する。画面データ保持部24は、上記のように記憶装置25に保持されている画面データを、上記のように画面データ作成部22から送信された最新の画面データに更新する。
When there is a difference between the two screen data, the screen data
コンテンツを保持するサーバ20における画面データ送信制御部21は、描画用タイマによる割り込みを検知して、画面データ作成部22に画面データ取得要求を送信する。画面データ送信制御部は、新たに取得した画面データと記憶装置25に保持された画面データとを比較し、両画面の差分をチェックする。画面データ送信制御部21は、上記の両画面に差分がある場合は、この差分を示す差分画面データを示すリクエストメッセージをクライアント10に送信する。画面データ保持部24は、上記のように記憶装置25に保持されている画面データを、上記のように画面データ作成部22から送信された最新の画面データに更新する。この差分は、例えば、コンテンツに含まれるプログラムにより画面データが動的に変化する、もしくは、ユーザの操作、などにより発生する。
The screen data
クライアント10は、サーバ20からの差分情報としての画面データを、ネットワーク30を介して受信したら、この差分画面データに基づいて表示画面を更新するとともに、この差分画面データを受信したことを示す応答メッセージをサーバ20の画面データ送信制御部21に送信する。信頼性のあるプロトコル(例えば、TCP)を用いて差分画面データを送信する場合、応答メッセージを省略してもよい。
When the
また、ユーザがクライアント10にてスクロール操作を行ったときには、上記のように、サーバ20は、スクロール量に相当する差分画面データをクライアント10に送信する。このスクロール量に相当する差分画面データの送信については上記のように、実際のスクロール量を所定値だけ増加させたスクロール量に相当する差分画面データを送信する、先読み処理を適用してもよい。
When the user performs a scroll operation on the
また、ユーザ操作にしたがって、画面データ読み込み要求をクライアント10がサーバ20に送信する。これにより、サーバ20の画面データ作成部22が画面データを作成する必要がある場合、画面データ読み込み要求受信した画面データ作成部22は、一定時間が経過するまでは、描画処理間隔を広げる。スケジューラ23は、上記により広げられた描画処理間隔に基づき、画面データ作成部22に描画開始の指示を行う間隔を一定時間広げることになる。つまり、上記のように、描画処理間隔の間引き処理を行なう。
Further, the
(第2の実施例)
図7は、本発明の実施形態における画面転送システムの機能構成の第2の例を示す図である。
図7に示したシステムは、コンテンツサーバ20aが送信するコンテンツ(画面データを作成するために必要な情報)を用いて、クライアント10にて画面データを表示するシステムである。このシステムでは、クライアント10とコンテンツサーバ20aの間に出力機能分割サーバ40を配置し、画面データを出力機能分割サーバ40にて作成する。
(Second embodiment)
FIG. 7 is a diagram illustrating a second example of the functional configuration of the screen transfer system according to the embodiment of the present invention.
The system shown in FIG. 7 is a system that displays screen data on the
この出力機能分割サーバ40は、画面データ送信制御部41、画面データ作成部42、スケジューラ43、画面データ保持部44、記憶装置45を有する。
クライアント10は、コンテンツ取得要求を送信する事前に、接続要求を管理サーバ50に送信する。管理サーバ50は、出力機能分割サーバのアクセス先(例えば、アドレスやポート番号)をクライアント10に返送する。クライアント10は、受信したアクセス先の情報をもとに、コンテンツ取得要求をネットワーク(NW)30を介して出力機能分割サーバ40に送信する。コンテンツ取得要求には、コンテンツサーバ、および、コンテンツを識別する情報(例えば、URI)を含む。
The output
The
出力機能分割サーバ40は、コンテンツ取得要求送転送部46を介して、コンテンツ取得要求をコンテンツサーバ20aに送信し、コンテンツを得る。出力機能分割サーバ40は、コンテンツサーバ20aからの受信したコンテンツをもとに画面データ作成部42にて、最新の画面データを作成する。
The output
コンテンツサーバ20aから前回送信されたコンテンツを元に作成された画面データは、出力機能分割サーバ40内の画面データ保持部44により出力機能分割サーバ40内の記憶装置45に保持される。画面データ送信制御部41は、コンテンツサーバ20aから送信された最新のコンテンツにより作成された画面データと、上記のように記憶装置45に保持された画面データ、つまりコンテンツサーバ20aから出力機能分割サーバ40へ前回送信されたコンテンツにより作成された画面データとを比較することで、両画面データの差分をチェックする。
The screen data created based on the content transmitted from the
画面データ送信制御部41は、上記の両画面データに差分がある場合は、この差分を示す差分画面データを上記に従い、クライアント10に送信する。画面データ保持部44は、上記のように記憶装置45に保持されている画面データを、上記のようにコンテンツサーバ20aから送信された最新のコンテンツを元に作成された画面データに更新する。
更に、出力機能分割サーバ40では、描画用タイマによる割り込みを検知して、新たな画面データを作成し、記憶装置45に保持されている画面データと比較する。画面データ送信制御部41は、上記の両画面データに差分がある場合は、この差分を示す差分画面データを上記に従い、クライアント10に送信する。この差分は、例えば、コンテンツサーバ20aがプッシュ処理により新しいコンテンツを送信する、もしくは、コンテンツに含まれるプログラムにより画面データが動的に変化する、もしくは、ユーザの操作、などにより発生する。
When there is a difference between the two screen data, the screen data
Further, the output
クライアント10は、出力機能分割サーバ40からの差分画面データを、ネットワーク30を介して受信したら、この差分画面データに基づいて表示画面を更新するとともに、この差分画面データを受信したことを示す応答メッセージを出力機能分割サーバ40の画面データ送信制御部41に送信する。信頼性のあるプロトコル(例えば、TCP)を用いて差分画面データを送信する場合、応答メッセージを省略してもよい。
When the
また、ユーザがクライアント10にてスクロール操作を行ったときには、上記のように、出力機能分割サーバ40は、スクロール量に相当する差分画面データをクライアント10に送信する。このスクロール量に相当する差分画面データの送信については、上記のように、所定値だけ増加させたスクロール量に相当する差分画面データを送信する、先読み処理を適用してもよい。
When the user performs a scroll operation on the
また、クライアント10がコンテンツ取得要求を、出力機能分割サーバ40に送信したときには、コンテンツ取得要求を受信した出力機能分割サーバ40は、コンテンツ取得要求転送部46を介して画面データの作成に必要なコンテンツをコンテンツサーバ20aより取得した上で、画面データ作成部42は、画面データを作成する。コンテンツ取得要求を受信した画面データ作成部は、一定時間が経過するまでは、描画処理間隔を広げる。スケジューラ43は、上記により広げられた描画処理間隔に基づき画面データ作成部42に描画開始の指示を行う間隔を一定時間広げることになる。つまり、上記のように、描画処理間隔の間引き処理を行なう。
When the
(第3の実施例)
図8は、本発明の実施形態における画面転送システムの機能構成の第3の例を示す図である。
図8に示したシステムは、Webサーバ20bが送信するWebコンテンツ(画面を作成するために必要な情報)を用いて、クライアント10にて画面データを表示するシステムにおいて、クライアント10とWebサーバ20bの間に出力機能分割サーバ40を配置し、画面データを出力機能分割サーバ40にて作成する。
(Third embodiment)
FIG. 8 is a diagram illustrating a third example of the functional configuration of the screen transfer system according to the embodiment of the present invention.
The system shown in FIG. 8 is a system in which screen data is displayed on the
クライアント10は、Webコンテンツ取得要求を送信する事前に、出力機能分割サーバに対する接続要求を管理サーバ50に送信し、管理サーバ50より出力機能分割サーバの接続先の情報(例えば、アドレスやポート番号)を受け取る。クライアント10は、Webコンテンツ取得要求をネットワーク(NW)30を介して出力機能分割サーバ40に送信する。Webコンテンツ取得要求には、Webサーバ、および、Webコンテンツを識別する情報(例えば、URL)を含む。
Prior to transmitting the Web content acquisition request, the
出力機能分割サーバ40は、コンテンツ取得要求送転送部46を介して、Webコンテンツ取得要求をコンテンツサーバ20aに送信し、応答を得る。出力機能分割サーバ40は、Webコンテンツサーバ20bからの応答をもとに画面データ作成部42にて、最新の画面データを作成する。
The output
Webサーバ20bから前回送信されたWebコンテンツを元に作成された画面データは、出力機能分割サーバ40内の画面データ保持部44により出力機能分割サーバ40内の記憶装置45に保持される。画面データ送信制御部41は、Webサーバ20bから送信された最新のWebコンテンツにより作成された画面データと、上記のように記憶装置45に保持された画面データ、つまりWebサーバ20bから出力機能分割サーバ40へ前回送信されたWebコンテンツを元に作成された画面データ比較する。上記の両画面データに差分がある場合は、この差分を示す差分画面データをクライアント10に送信する。この差分は、例えば、Webサーバ20bがプッシュ処理により新しいコンテンツを送信する、もしくは、Webコンテンツに含まれるプログラムにより画面データが動的に変化する、もしくは、ユーザ操作などにより発生する。
The screen data created based on the web content transmitted last time from the web server 20 b is held in the
画面データ保持部44は、上記のように記憶装置45に保持されている画面データを、上記のように最新の画面データに更新する。
The screen
クライアント10は、出力機能分割サーバ40からの差分画面データを、ネットワーク30を介して受信した後、差分画面データに基づいて表示画面を更新するとともに、この差分画面データを受信したことを示す応答メッセージを出力機能分割サーバ40の画面データ送信制御部41に送信する。信頼性のあるプロトコル(例えば、TCP)を用いて差分画面データを送信する場合、応答メッセージを省略してもよい。
The
また、ユーザがクライアント10にてスクロール操作を行ったときには、上記のように、出力機能分割サーバ40は、スクロール量に相当する差分画面データをクライアント10に送信する。このスクロール量に相当する差分画面データの送信については、上記のように、実際のスクロール量を所定値だけ増加させたスクロール量に相当する差分画面データを送信する、先読み処理を適用してもよい。
When the user performs a scroll operation on the
また、クライアント10がWebコンテンツ取得要求を、出力機能分割サーバ40に送信したときには、Webコンテンツ取得要求を受信した出力機能分割サーバ40は、コンテンツ取得要求転送部46を介して画面データの作成に必要なコンテンツをWebサーバ20bより取得した上で、画面データ作成部42は、画面データを作成する。Webコンテンツ取得要求を受信した画面データ作成部42は、一定時間が経過するまでは、描画処理間隔を広げる。スケジューラ43は、上記により広げられた描画処理間隔に基づき画面データ作成部42に描画開始の指示を行う間隔を一定時間広げる。つまり、上記のように、描画処理間隔の間引き処理を行なう。
Further, when the
以上説明した実施形態では、ユーザ操作などに基づく画面データの更新を考慮した上で最低限の画面データを送信することができるので、画面更新に対する応答性能を維持した上で、利用する帯域を削減することが可能となる。 In the embodiment described above, since the minimum screen data can be transmitted in consideration of the update of the screen data based on the user operation etc., the bandwidth to be used is reduced while maintaining the response performance to the screen update. It becomes possible to do.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
また、実施形態に記載した手法は、計算機(コンピュータ)に実行させることができるプログラム(ソフトウエア手段)として、例えば磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD、MO等)、半導体メモリ(ROM、RAM、フラッシュメモリ等)等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段(実行プログラムのみならずテーブルやデータ構造も含む)を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。 In addition, the method described in the embodiment is, for example, a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), optical disk (CD-ROM, DVD) as programs (software means) that can be executed by a computer (computer). , MO, etc.), a semiconductor memory (ROM, RAM, flash memory, etc.) or the like, or can be transmitted and distributed via a communication medium. The program stored on the medium side includes a setting program that configures software means (including not only the execution program but also a table and data structure) in the computer. A computer that implements this apparatus reads a program recorded on a recording medium, constructs software means by a setting program as the case may be, and executes the above-described processing by controlling the operation by this software means. The recording medium referred to in this specification is not limited to distribution, but includes a storage medium such as a magnetic disk or a semiconductor memory provided in a computer or a device connected via a network.
10…クライアント、20…サーバ、20a…コンテンツサーバ、20b…Webサーバ、21,41…画面データ送信制御部、22,42…画面データ作成部、23,43…スケジューラ、24,44…画面データ保持部、25,45…記憶装置、46…コンテンツ取得要求送転送部、30…ネットワーク、40…出力機能分割サーバ、50…管理サーバ。
DESCRIPTION OF
Claims (7)
前記作成された最新の画面データを取得する取得部と、
前記取得部により前回取得した画面データを保持する保持部と、
前記取得した最新の画面データと前記保持された前回取得した画面データとの差分をクライアント装置に送信する送信制御部とを備え、
前記画面データ作成部は、
前記クライアント装置において画面データ読み込み要求が発生した場合に、該要求を受信した後、所定時間が経過するまで画面データの作成の周期を延長することを特徴とする画面転送サーバ装置。 A screen data creation unit that creates the latest screen data at predetermined intervals;
An acquisition unit for acquiring the created latest screen data;
A holding unit for holding screen data acquired by the acquisition unit last time;
A transmission control unit that transmits a difference between the acquired latest screen data and the held previously acquired screen data to a client device;
The screen data creation unit
When a screen data read request is generated in the client device, the screen transfer server device extends the screen data creation cycle until a predetermined time elapses after receiving the request.
前記作成された最新の画面データを取得する取得部と、
前記取得部により前回取得した画面データを保持する保持部と、
前記取得した最新の画面データと前記保持された前回取得した画面データとの差分をクライアント装置に送信する送信制御部とを備え、
前記送信制御部は、
前記クライアント装置での画面におけるスクロールがなされた場合に、実際のスクロール量を前記クライアント装置での画面におけるスクロールのための操作がなされてから前記差分に相当する画面データが前記クライアント装置に到達するまでの時間差を考慮した、前記操作によりスクロールされると見込まれる所定のスクロール量だけ増加させたスクロール量に基づき、スクロール前の画面とスクロール後の画面との差分に相当する画面データを前記クライアント装置に送信することを特徴とする画面転送サーバ装置。 A screen data creation unit that creates the latest screen data at predetermined intervals;
An acquisition unit for acquiring the created latest screen data;
A holding unit for holding screen data acquired by the acquisition unit last time;
A transmission control unit that transmits a difference between the acquired latest screen data and the held previously acquired screen data to a client device;
The transmission control unit
When the screen on the client device is scrolled, the actual scrolling amount is changed from the operation for scrolling on the screen on the client device until the screen data corresponding to the difference reaches the client device. Based on the scroll amount increased by a predetermined scroll amount expected to be scrolled by the operation, the screen data corresponding to the difference between the screen before scrolling and the screen after scrolling is stored in the client device. A screen transfer server device characterized by transmitting.
前記クライアント装置での画面におけるスクロールがなされた場合に、前記クライアント装置から取得した情報より求められるスクロール量に基づき、スクロール前の画面とスクロール後の画面との差分に相当する画面データを前記クライアント装置に送信することを特徴とする請求項1に記載の画面転送サーバ装置。 The transmission control unit
When the screen on the screen of the client device is scrolled, screen data corresponding to the difference between the screen before scrolling and the screen after scrolling is obtained based on the scroll amount obtained from the information acquired from the client device. The screen transfer server device according to claim 1, wherein
前記画面転送サーバ装置は、
所定の周期ごとに最新の画面データを作成し、
前記作成された最新の画面データを取得し、
前回取得した前記画面データを保持し、
前記取得した最新の画面データと前記保持された画面データとの差分をクライアント装置に送信し、
前記クライアント装置において画面データ読み込み要求が発生した場合に、該要求を受信した後、所定時間が経過するまで画面データの作成の周期を延長することを特徴とする画面転送方法。 A method applied to a screen transfer server device,
The screen transfer server device
Create the latest screen data every predetermined cycle,
Get the latest screen data created,
Holds the previously acquired screen data,
Send the difference between the acquired latest screen data and the held screen data to the client device ,
When a screen data read request is generated in the client device, a screen transfer method is characterized in that after the request is received, a screen data creation cycle is extended until a predetermined time elapses .
前記画面転送サーバ装置は、The screen transfer server device
所定の周期ごとに最新の画面データを作成し、Create the latest screen data every predetermined cycle,
前記作成された最新の画面データを取得し、Get the latest screen data created,
前回取得した前記画面データを保持し、Holds the previously acquired screen data,
前記取得した最新の画面データと前記保持された画面データとの差分をクライアント装置に送信し、Send the difference between the acquired latest screen data and the held screen data to the client device,
前記クライアント装置での画面におけるスクロールがなされた場合に、実際のスクロール量を前記クライアント装置での画面におけるスクロールのための操作がなされてから前記差分に相当する画面データが前記クライアント装置に到達するまでの時間差を考慮した、前記操作によりスクロールされると見込まれる所定のスクロール量だけ増加させたスクロール量に基づき、スクロール前の画面とスクロール後の画面との差分に相当する画面データを前記クライアント装置に送信することを特徴とする画面転送方法。When the screen on the client device is scrolled, the actual scrolling amount is changed from the operation for scrolling on the screen on the client device until the screen data corresponding to the difference reaches the client device. Based on the scroll amount increased by a predetermined scroll amount expected to be scrolled by the operation, the screen data corresponding to the difference between the screen before scrolling and the screen after scrolling is stored in the client device. A screen transfer method characterized by transmitting.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014157075A JP5982436B2 (en) | 2014-07-31 | 2014-07-31 | Screen transfer server device and screen transfer method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014157075A JP5982436B2 (en) | 2014-07-31 | 2014-07-31 | Screen transfer server device and screen transfer method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016033790A JP2016033790A (en) | 2016-03-10 |
JP5982436B2 true JP5982436B2 (en) | 2016-08-31 |
Family
ID=55452640
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014157075A Active JP5982436B2 (en) | 2014-07-31 | 2014-07-31 | Screen transfer server device and screen transfer method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5982436B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6747150B2 (en) * | 2016-08-03 | 2020-08-26 | 富士通株式会社 | Information processing apparatus, information processing method, and information processing program |
WO2018142588A1 (en) | 2017-02-03 | 2018-08-09 | 楽天株式会社 | Information processing device, information processing method, program, and storage medium |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007241736A (en) * | 2006-03-09 | 2007-09-20 | Victor Co Of Japan Ltd | Server device and client device for remote desktop system |
JP4827950B2 (en) * | 2008-07-31 | 2011-11-30 | 富士通株式会社 | Server device |
JP2012063880A (en) * | 2010-09-14 | 2012-03-29 | Nec Corp | Scroll controller, control method and control program |
JP5633341B2 (en) * | 2010-11-30 | 2014-12-03 | カシオ計算機株式会社 | Client device, server device, and program for server-based computing system |
JP5789965B2 (en) * | 2010-12-01 | 2015-10-07 | 富士通株式会社 | Image transmission method, image transmission apparatus, and image transmission program |
-
2014
- 2014-07-31 JP JP2014157075A patent/JP5982436B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016033790A (en) | 2016-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102300077B1 (en) | Optimizing user interface data caching for future actions | |
US9536261B2 (en) | Resolving conflicts within saved state data | |
US10545749B2 (en) | System for cloud computing using web components | |
JP5894266B2 (en) | Application tile presentation format | |
KR102108583B1 (en) | Instantiable gesture objects | |
CN107831974B (en) | Information sharing method and device and storage medium | |
JP6007246B2 (en) | Predictive multi-layer cache architecture | |
US20130219383A1 (en) | Using an Application Cache to Update Resources of Installed Applications | |
US10581950B2 (en) | Local operation of remotely executed applications | |
US8516041B1 (en) | Pre-fetching asynchronously requested content | |
JP6338453B2 (en) | Information terminal, control method and program | |
JP2011164704A (en) | Client program, terminal, server device, system, and method | |
JP2017538178A (en) | Split application presentation between devices | |
JP2018110387A (en) | Method and system for bandwidth measurement and adaptive data transmission based on buffer in real time live environment | |
US20130151672A1 (en) | Cloud computing method, computing apparatus and server using the same | |
US20130007184A1 (en) | Message oriented middleware with integrated rules engine | |
JP2010152772A (en) | Information processor, information processing method and program | |
JP5982436B2 (en) | Screen transfer server device and screen transfer method | |
US9270788B2 (en) | Terminal device and data communication method thereof | |
KR20160022362A (en) | Synchronization points for state information | |
JP2015156209A (en) | information processing system | |
US11656746B2 (en) | Intercepted loading of web applications | |
JP6285579B2 (en) | Long polling processing method and system, and recording medium | |
TW201530435A (en) | Updating a user interface to a service | |
JP5637406B2 (en) | Data transmitting apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160126 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5982436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |