JP5521690B2 - 画面データ配信システム、サーバ、画面データ配信方法、及びプログラム - Google Patents
画面データ配信システム、サーバ、画面データ配信方法、及びプログラム Download PDFInfo
- Publication number
- JP5521690B2 JP5521690B2 JP2010071828A JP2010071828A JP5521690B2 JP 5521690 B2 JP5521690 B2 JP 5521690B2 JP 2010071828 A JP2010071828 A JP 2010071828A JP 2010071828 A JP2010071828 A JP 2010071828A JP 5521690 B2 JP5521690 B2 JP 5521690B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- window
- displayed
- server
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
ウィンドウのデザインや機能はOSやアプリケーションソフトによって異なるが、通常タイトルバーがあって、サイズ調整用のボタンやウィンドウを閉じるボタン等を有する。個々のウィンドウはユーザが自由に移動させたり、サイズを変更させたり、重ねて表示させたりすることができる。
(1)前面に表示させるウィンドウを変更する操作、
(2)前面に表示されているウィンドウを閉じる、または最小化する操作、
(3)前面に表示されているウィンドウを移動することで、背面に位置するウィンドウが表示されるようにする操作、
が挙げられる。
図10に示すように表示部の表示データ100にウィンドウ110、120を表示し、全画面をキャプチャして差分データを送るシステムでは、ウィンドウを変更する操作、閉じる操作、最小化操作、移動操作を行うと、変化領域が大きくなって、データ量が大きくなり、操作した結果の表示が遅くなったり、劣化したりする。
[第1の実施の形態]
<構 成>
図1は、本発明に係る画面データ配信システムの一実施の形態を示すブロック図である。
図1に示すシステムは、サーバ200、ネットワーク260、及びクライアント端末300を有する。
サーバ200は、制御部210、画面キャプチャ部220、エンコーダ部230、送信部240、及び画面データバッファ250を有する。
図2に示すように送信データ400にはすぐにデコードして表示するか、画面データバッファ350に保存するかを示す識別フラグ410(例えば、D、P)と、エンコードしたウィンドウとを識別するための識別子420(0x00000000,0x00000001,0x0000002等)と、エンコードされた画面データ430と、が含まれる。
ここで、「キャプチャ」には表示部に表示される表示データを保存する「キャプチャ」と、画面の一部を構成するウィンドウの画像データを保存する「キャプチャ」との2種類ある。
種別フラグ410に画面データバッファ350に保存するように指定された場合は、デコーダ部330でデコードした画面データを画面データバッファ350に保存する。
次に図1に示した画面データ配信システムの動作について述べる。
図3(a)〜図3(d)は、図1に示した画面データ配信システムのクライアント端末の表示部に表示される画面の一例である。
画面全体の表示データは、複数のウィンドウで構成されている場合があり、クライアント端末300の表示部340に一部が露出するようにウィンドウが重畳表示されることがある。
例えば、サーバからクライアント端末に送出されてキャプチャされた表示データ(表示データではない)の更新が少ない場合に送信すればよい。
特許文献1のように更新された領域(矩形)を抽出しているため、更新が少ない場合にはネットワークの帯域があいていて、データを送るのに都合が良い。
本画面配信システムは、ユーザがマウスやキーボード(いずれも図示せず)の操作を行っている間の時間(例えば数秒)を利用して、サーバ200がクライアント端末300にウィンドウの表示順位を通知し、ウィンドウのデータを送信し、クライアント端末300は、ネットワークの待機中にウィンドウのデータを受信し、サーバ200から通知されたウィンドウの表示順位に基づいて複数のウィンドウを表示部に一部が露出するように重畳表示する。
図4に示すシーケンス図は、画面が切り替わらず、かつ変化領域(他のウィンドウの背面に位置し、非表示となっている領域)の面積が閾値以上の場合を示しており、図3(a)〜(d)に対応している。
デスクトップ全体の画面である表示データをキャプチャすると、キャプチャデータを制御部210に送る(ステップS3)。
制御部210は、前回画面と評価領域とを検出し(ステップS4)、エンコーダ部230にエンコード要求を行う(ステップS5)。
エンコーダ部230は、エンコードを行ってエンコードデータを制御部210に送る(ステップS6)。
制御部210は、送信部240に送信要求を行い(ステップS7)、送信部240は、送信データ400を、クライアント端末の受信部320に送信する(ステップS8)。
デコーダ部330はデコードしたデータを制御部310に送り、制御部310は表示部340に表示要求を送り(ステップS11)、表示部340は図3(a)に示すウィンドウをデスクトップ内に表示する。このとき、ウィンドウ110の背面に位置し、非表示となって表示されない領域(図3(d))のデータは送信済みであるため、ユーザが操作する場合には表示時間を短縮することができる。
図5に示すシーケンス図は、画面が切り替わらず、かつ変化領域(他のウィンドウの背面に位置し、非表示となっている領域)の面積が閾値未満の場合を示しており、図3(a)〜(d)に対応している。
サーバ200の制御部210は、画面キャプチャ部220にキャプチャ要求を行うと(ステップS21)、画面キャプチャ部220は、画面の一部を構成する、指定されたウィンドウ画像をキャプチャし(ステップS22)、キャプチャした画像データを制御部210に送る(ステップS23)。
制御部210は、エンコーダ部230にエンコード要求を行い(ステップS24)、エンコーダ部230は制御部210にエンコードデータを送る(ステップS25)。
制御部210は、送信部240に送信要求を行い(ステップS26)、送信部240は制御部210に応答すると共に、クライアント端末300の受信部320に送信データ400を送信する(ステップS27)。
デコーダ部330は制御部310に応答すると、制御部310は画面データバッファ350にデータの保存要求を行う(ステップS30)。
なお、本実施の形態では、前面に表示されているウィンドウ110と背面に表示されているウィンドウ120との表示を切り換える場合で説明したが、本発明はこれに限定されるものではなく、ウィンドウ110を移動させることによって、ウィンドウ120が全体表示される場合や、ウィンドウ110が最小化されたり、閉じられたり、ウィンドウ120が全体表示されるような状態に変化した場合も同様である。
図6(a)、(b)は、図1に示した画面データ配信システムのクライアント端末の表示部に表示される画面の他の一例である。
図6(a)に示す状態から図6(b)に示す状態にウィンドウを切替えた場合、サーバ200の制御部210は、クライアント端末300に画面でデータバッファ350内のウィンドウ120の画像データを表示するようにコマンドを送信する。
クライアント端末300の制御部310は、画面データバッファ350内を検索し、識別子420としてウィンドウ120の画像データを取得し、表示部340に表示する。
図7に示すシーケンス図は、画面が切り替わり、かつ変化領域(他のウィンドウの背面に位置し、非表示となっている領域)の面積が閾値以上の場合を示しており、図6(a)、(b)に対応している。
サーバ200の制御部210は、送信部240に受信データバッファの表示要求を行い(ステップS41)、送信部240は、クライアント端末300の受信部320に受信データバッファの表示要求を行い(ステップS42)、受信部320は制御部310に信号を送ると、制御部310は画面データバッファ350にウィンドウデータ取得を行い(ステップS43)、画面データバッファ350はウィンドウデータを制御部310に送り、制御部310は表示部340に表示要求を行い(ステップS44)、これを受けて表示部340はウィンドウを表示する。これと同時に、サーバ200の制御部210は、ウィンドウデータ取得要求を画面データバッファ250に行い(ステップS45)、画面データバッファ250は制御部に応答する。
制御部210は、基準画面と評価領域とを検出し(ステップS50)、エンコーダ部230にエンコード要求を行い(ステップS51)、エンコーダ部230は制御部210にエンコードデータを送る(ステップS52)。
制御部210は、送信部240に送信要求を行い(ステップS53)、送信部240はクライアント端末300の受信部320に送信データ400を送信する(ステップS54)。
受信部320は、送信データを制御部310に送り(ステップS55)、制御部310は受信部320に応答信号を送ると共に、デコーダ部330にデコード要求を行う(ステップS56)。
デコーダ部330は、デコードしたデータを制御部310に送ると、制御部310は、表示部340に表示要求を行い(ステップS57)、表示部340はデコードしたデータに基づくウィンドウを表示する。
図8(a)〜(c)は、本発明に係る画面データ配信システムの他の実施の形態を示す説明図である。
第3の実施の形態の第1の実施の形態との相違点は、クライアント端末がサーバからのウィンドウのデータの一部を切り出して表示する点である。
これはサーバに比べてクライアント端末の解像度が低い場合、もしくはミニノートパソコンのように画面サイズが小さい(例えば、10型以下)の場合、サーバからのウィンドウのうち例えば左上1/4程度の大きさしか表示できないような場合である。
これにより、ウィンドウの切り替え操作時の表示時間を短縮することができる。
以上で説明した本発明にかかる画面データ配信システムは、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されて
いてもよい。
<記憶媒体>
ここで、記憶媒体としては、例えば、CD−ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD−R(CD Recordable)、DVD(Digital Versatile Disk)などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)、FeRAM(強誘電体メモリ)等の半導体メモリやHDD(Hard Disc Drive)が挙げられる。
210、310 制御部
220 画面キャプチャ部
230 エンコーダ部
240 送信部
250、350 画面データバッファ
260 ネットワーク
300 クライアント端末
320 受信部
330 デコーダ部
340 表示部
400 送信データ
Claims (13)
- サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムであって、
前記サーバは、
前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、当該サーバからクライアント端末に対しキャプチャされて送出された表示データの更新された領域が所定の閾値より少ない場合に、該ウィンドウの全体が表示される前に送出することを特徴とする画面データ配信システム。 - 前記サーバは、
前記複数のウィンドウを識別するための識別情報を前記クライアント端末に送ることを特徴とする請求項1記載の画面データ配信システム。 - 前記サーバは、
前記クライアント端末に前記ウィンドウの表示順位を通知する通知手段と、前記ウィンドウのデータを送信するための送信手段とを備え、
前記クライアント端末は、前記ネットワークの待機中に前記ウィンドウのデータを受信する受信手段を備え、前記サーバから通知された前記ウィンドウの表示順位及び前記識別情報に基づいて複数のウィンドウを前記表示手段に重畳表示させることを特徴とする請求項2記載の画面データ配信システム。 - 前記サーバは、前記サーバが表示させようとしている画面をキャプチャする画面キャプチャ部と、前記画面キャプチャ部がキャプチャした表示データ及び前記ウィンドウの画像データを送信データにエンコードするエンコーダ部と、前記送信データを前記クライアント端末に送信する送信部とを備え、
前記送信データには、デコードして表示するか画面データバッファに保存するかを示す識別フラグと、エンコードしたウィンドウを識別するための識別子と、エンコードしたウィンドウのデータと、が含まれることを特徴とする請求項1または2記載の画面データ配信システム。 - 前記サーバは、所定の値より差分領域が少ない場合、最前面に表示されていないウィンドウの画像データをキャプチャし、保存する画面データバッファと、
前記キャプチャしたウィンドウの画像データは種別フラグとして保存する他のバッファと、を備え、
前記キャプチャしたウィンドウを識別する値がさらに他の識別子に指定することを特徴とする請求項3記載の画面データ配信システム。 - 前記クライアント端末は、前記種別フラグに表示されるように指定されると、前記ウィンドウのデータを前記表示手段に表示するためデコードするデコーダ部と、
前記種別フラグに前記画面のデータバッファに保存するように指定された場合、前記デコーダ部でデコードしたウィンドウのデータを保存する画面データバッファ部と、を備えたことを特徴とする請求項1から4の何れか一項記載の画面データ配信システム。 - 前記サーバは、他のウィンドウの背面に位置し、非表示となっているウィンドウが露出するように表示を切り替えると、前記クライアント端末に前記画面データバッファ内の最前面のウィンドウのデータを表示するようにコマンドを送信するようにしたことを特徴とする請求項1から5の何れか一項記載の画面データ配信システム。
- 前記クライアント端末は、前記コマンドを受信すると、前記画面データバッファ内を検索し、前記識別子をキーとして前記非表示になっているウィンドウのデータを取得し、表示手段に表示するようにしたことを特徴とする請求項6記載の画面データ配信システム。
- 前記サーバは、前記画面バッファから取得した前記ウィンドウのデータを前記非表示になっているウィンドウの領域に適用し、差分領域の検出を行い、前記差分領域についてエンコードし、データを前記クライアント端末に送信するようにしたことを特徴とする請求項7記載の画面データ配信システム。
- 前記クライアント端末の表示手段が前記サーバから送られるウィンドウの一部を切り出して部分表示する場合において、現在部分表示しているウィンドウに接する領域のデータを予め送信しておくことを特徴とする請求項1から8のいずれか一項記載の画面データ配信システム。
- サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムに用いられるサーバであって、
前記サーバは、
前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、当該サーバからクライアント端末に対しキャプチャされて送出された表示データの更新された領域が所定の閾値より少ない場合に、該ウィンドウの全体が表示される前に送出するための送信手段を備えたことを特徴とするサーバ。 - サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信方法であって、
前記サーバは、
前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、当該サーバからクライアント端末に対しキャプチャされて送出された表示データの更新された領域が所定の閾値より少ない場合に、該ウィンドウの全体が表示される前に送出することを特徴とする画面データ配信方法。 - サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムのコンピュータに、
前記サーバが、
前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウを重畳して画面に表示させる手順、
非表示となっている領域を有するウィンドウの画像データを、当該サーバからクライアント端末に対しキャプチャされて送出された表示データの更新された領域が所定の閾値より少ない場合に、該ウィンドウの全体が表示される前に送出させる手順、を実行させることを特徴とするサーバ用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010071828A JP5521690B2 (ja) | 2010-03-26 | 2010-03-26 | 画面データ配信システム、サーバ、画面データ配信方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010071828A JP5521690B2 (ja) | 2010-03-26 | 2010-03-26 | 画面データ配信システム、サーバ、画面データ配信方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011204089A JP2011204089A (ja) | 2011-10-13 |
JP5521690B2 true JP5521690B2 (ja) | 2014-06-18 |
Family
ID=44880654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010071828A Expired - Fee Related JP5521690B2 (ja) | 2010-03-26 | 2010-03-26 | 画面データ配信システム、サーバ、画面データ配信方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5521690B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5891524B2 (ja) * | 2011-11-11 | 2016-03-23 | 株式会社Ube科学分析センター | 電子顕微鏡遠隔表示装置 |
JPWO2015107672A1 (ja) | 2014-01-17 | 2017-03-23 | 富士通株式会社 | 画像処理プログラム、画像処理方法、および画像処理装置 |
JP6178436B2 (ja) * | 2016-01-06 | 2017-08-09 | 株式会社Ube科学分析センター | 電子顕微鏡遠隔表示システム |
DE102019116961A1 (de) | 2019-06-24 | 2020-12-24 | Grimme Landmaschinenfabrik Gmbh & Co. Kg | Verfahren zur Beobachtung von Arbeitsprozessen einer landwirtschaftlichen Maschine, digitales Videosystem und landwirtschaftliche Maschine |
JP7433144B2 (ja) | 2020-06-19 | 2024-02-19 | 株式会社オービック | 画面ショット撮影装置、画面ショット撮影方法およびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4672561B2 (ja) * | 2006-01-26 | 2011-04-20 | シャープ株式会社 | 画像処理装置、受信装置、放送システム、画像処理方法、画像処理プログラム、および記録媒体 |
JP2008129954A (ja) * | 2006-11-22 | 2008-06-05 | Victor Co Of Japan Ltd | サーバ装置及びクライアント装置 |
US8108799B2 (en) * | 2007-03-30 | 2012-01-31 | Microsoft Corporation | Remoting of windows presentation framework based applications in a non-composed desktop |
JP4946667B2 (ja) * | 2007-07-02 | 2012-06-06 | カシオ計算機株式会社 | サーバ装置およびプログラム |
JP5646805B2 (ja) * | 2008-01-16 | 2014-12-24 | 株式会社スクウェア・エニックス | オンラインゲームサーバ、オンラインゲームシステム、およびオンラインゲームプログラム |
JP5281324B2 (ja) * | 2008-07-11 | 2013-09-04 | 株式会社ソニー・コンピュータエンタテインメント | 画面出力コンバータ、ディスプレイ装置および画面表示方法 |
-
2010
- 2010-03-26 JP JP2010071828A patent/JP5521690B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011204089A (ja) | 2011-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11727079B2 (en) | Cooperative web browsing using multiple devices | |
EP2517470B1 (en) | Systems and methods for video-aware screen capture and compression | |
JP5521690B2 (ja) | 画面データ配信システム、サーバ、画面データ配信方法、及びプログラム | |
US10176492B2 (en) | Information processing apparatus and information processing system to display information based on status of application | |
US20060233192A1 (en) | Display control method and information processing apparatus | |
CN110582012B (zh) | 视频切换方法、视频处理方法、装置及存储介质 | |
CN104685873A (zh) | 编码控制设备以及编码控制方法 | |
US9729931B2 (en) | System for managing detection of advertisements in an electronic device, for example in a digital TV decoder | |
JP2006050144A (ja) | 画像表示方法及び画像表示プログラム | |
JP5683550B2 (ja) | 表示方法及び表示システム | |
JP2019191962A (ja) | 画面送信プログラム、画面送信方法及び画面送受信システム | |
US20060214950A1 (en) | Multi-view video switching control methods and systems | |
JP2014011566A (ja) | 画像表示装置及び監視カメラシステム | |
CN113596561A (zh) | 视频流播放方法、装置、电子设备和计算机可读存储介质 | |
US20220286617A1 (en) | Image capturing control apparatus, information processing apparatus, control methods thereof, image capturing apparatus, and storage medium | |
WO2016032865A1 (en) | Thumbnail generation | |
JP2012074999A (ja) | 画像データ伝送システム、サーバ装置、クライアント端末、画像データ伝送方法、及び制御プログラム | |
CN112653903B (zh) | 一种lcd多屏异显方法及系统 | |
US11962743B2 (en) | 3D display system and 3D display method | |
US20220334692A1 (en) | Generating a video frame for a user interface operation during content presentation | |
JP2011176405A (ja) | 画像表示装置 | |
JP5407479B2 (ja) | 画像伝送システム、画像伝送装置、クライアント端末、画像伝送方法、及び、画像伝送プログラム | |
JP6490946B2 (ja) | 画像処理装置 | |
JP6490945B2 (ja) | 画像処理装置 | |
JPWO2013145699A1 (ja) | 画像転送システム、画像転送方法、端末装置、画像送信方法、及び、画像送信プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20110920 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140324 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5521690 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |