WO2016059737A1 - 画面生成装置、画面生成システム、及び、画面生成方法 - Google Patents

画面生成装置、画面生成システム、及び、画面生成方法 Download PDF

Info

Publication number
WO2016059737A1
WO2016059737A1 PCT/JP2015/003350 JP2015003350W WO2016059737A1 WO 2016059737 A1 WO2016059737 A1 WO 2016059737A1 JP 2015003350 W JP2015003350 W JP 2015003350W WO 2016059737 A1 WO2016059737 A1 WO 2016059737A1
Authority
WO
WIPO (PCT)
Prior art keywords
operation signal
screen generation
terminals
touch
determination unit
Prior art date
Application number
PCT/JP2015/003350
Other languages
English (en)
French (fr)
Inventor
伊藤　智祥
影山　光宏
力 福田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2016553950A priority Critical patent/JPWO2016059737A1/ja
Priority to EP15851388.7A priority patent/EP3208694A4/en
Publication of WO2016059737A1 publication Critical patent/WO2016059737A1/ja
Priority to US15/251,412 priority patent/US20160370885A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0382—Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC

Definitions

  • This disclosure makes it possible to receive operations by a plurality of client terminals at the server and to operate one desktop of the server at each client terminal in desktop virtualization formed by the screen generation server and the client terminal.
  • FIG. 1 is a schematic diagram of a screen generation system using a screen generation server and a client terminal.
  • FIG. 2 is a block diagram illustrating a configuration of a screen generation system including a screen generation server and a client terminal according to the first embodiment.
  • FIG. 3 is a diagram illustrating a list of touch operation signals used in the screen generation system.
  • FIG. 4 is a diagram showing a list of mouse operation signals used in the screen generation system.
  • FIG. 5 is a diagram illustrating a conversion table between touch operation signals and mouse operation signals.
  • FIG. 6A is a diagram illustrating a touch operation signal transfer method.
  • FIG. 6B is a diagram illustrating a touch operation signal transfer method.
  • FIG. 7 is a diagram illustrating advantages and disadvantages of each method of touch operation signal transfer.
  • FIG. 1 is a schematic diagram of a screen generation system using a screen generation server and a client terminal.
  • FIG. 2 is a block diagram illustrating a configuration of a screen generation system including a screen
  • FIG. 1 is a schematic diagram of a screen generation system using a screen generation server and a client terminal that performs desktop virtualization.
  • the screen generation system shown in FIG. 1 displays HTML content obtained by combining a large number of videos on the desktop screen of the screen generation server 10 using a browser, and integrates it into a single video stream to display a large display 200.
  • it is configured to distribute to various client terminals 20 such as the smartphone 300 and the tablet 400. In this way, by integrating a large number of videos into a single video stream and delivering them, the client terminal 20 can display HTML content combining a number of videos that cannot be reproduced and displayed.
  • the client terminal 20 reproduces / displays the rendered video of the HTML content 110 transmitted from the screen generation server 10.
  • the client terminal 20 includes an encoded data receiving unit 21, a video decoding unit 22, a display unit 23, a touch panel 24, and an operation signal transmission unit 25.
  • an encoded data receiving unit 21 a video decoding unit 22
  • a display unit 23 a touch panel 24
  • an operation signal transmission unit 25 an operation signal transmission unit 25.
  • the operation signal conversion unit 17 converts the touch operation signal received from the operation type determination unit 16 into a mouse operation signal, and transmits the converted mouse operation signal to the browser 11. Details of the mouse operation signal and details of the conversion process will be described later.
  • the browser 11 (11a, 11b, 11c) draws a screen of content to be transmitted to each corresponding client terminal 20 (20a, 20b, 20c).
  • the browser 11 displays / reproduces the HTML content 110 existing on the network or accumulated in the screen generation server 10.
  • the browser 11 receives a mouse operation signal from the operation signal conversion unit 17 and performs an event issuance processing unit 18 that performs an event issuance process on the HTML content 110, and an operation type determination unit via a communication unit such as WebSocket.
  • a touch operation signal receiving unit 19 that directly receives a touch operation signal from 16 is provided.
  • the method 1 since the method 1 does not receive touch operation signals from other client terminals 20b and 20c while processing the touch operation of a certain client terminal 20a, the processing time such as swipe and pinch in / out is several seconds. It cannot be applied to operations that may extend.
  • one desktop screen of the screen generation server 10 is shared by four client terminals, but may be shared by two or more client terminals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

　複数の端末からタッチ操作の第１操作信号を受信し、複数の端末の各々に対応したコンテンツを送信する画面生成装置であって、第１操作信号を受信する操作信号受信部と、第１操作信号の種別を判定する操作種別判定部と、第１操作信号をマウス操作の第２操作信号に変換する操作信号変換部と、操作種別判定部の判定結果に基づいて、第１操作信号、又は、第２操作信号で複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える。これにより、複数のクライアント端末による操作をサーバで受信し、サーバの１つのデスクトップを各々のクライアント端末で操作することを可能とする。

Description

画面生成装置、画面生成システム、及び、画面生成方法
　本開示は、複数の端末からのタッチ操作信号を受信し、複数の端末の各々に対応したコンテンツを生成・送信する画面生成装置、画面生成システム、及び、画面生成方法に関する。
　運用の柔軟性や可用性、コストメリットの観点から、仮想化技術の急速な普及が進んでいる。仮想化技術とは、サーバなどのハードウェア内のリソース（ＣＰＵ、メモリ、ディスク）を、物理的な構成にとらわれずに、論理的に統合・分割して利用可能とする技術である。このような仮想化技術の一つとして、特許文献１に開示されるように、従来クライアント端末で行っていたデスクトップ上の描画処理をサーバで実行し、その処理結果をクライアント端末に映像コンテンツとして送信するというデスクトップの仮想化技術がある。
国際特許公開第２０１２／１３３３００号
　本開示は、画面生成サーバ及びクライアント端末により形成されるデスクトップ仮想化において、複数のクライアント端末による操作をサーバで受信し、サーバの１つのデスクトップを各々のクライアント端末で操作することを目的とする。
　本開示の画面生成装置は、複数の端末からタッチ操作の第１操作信号を受信し、複数の端末の各々に対応したコンテンツを送信する画面生成装置であって、第１操作信号を受信する操作信号受信部と、第１操作信号の種別を判定する操作種別判定部と、第１操作信号をマウス操作の第２操作信号に変換する操作信号変換部と、操作種別判定部の判定結果に基づいて、第１操作信号、又は、第２操作信号で複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備えるものである。
　本開示の画面生成システムは、複数の端末と、複数の端末からタッチ操作の第１操作信号を受信し、複数の端末の各々に対応したコンテンツを送信する画面生成装置を備える画面生成システムであって、複数の端末は、タッチパネルにより入力された第１操作信号の種別を判定する操作種別判定部と、第１操作信号と操作種別判定部の判定結果を画面生成装置に送信する操作信号送信部を備え、画面生成装置は、第１操作信号を受信する操作信号受信部と、第１操作信号をマウス操作の第２操作信号に変換する操作信号変換部と、操作種別判定部の判定結果に基づいて、第１操作信号、又は、第２操作信号で複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備えるものである。
　本開示の画面生成方法は、複数の端末からタッチ操作の第１操作信号を受信し、複数の端末の各々に対応したコンテンツを送信する画面生成方法であって、第１操作信号を受信し、第１操作信号の種別を判定し、判定結果に基づいて、第１操作信号、又は、第１操作信号を変換したマウス操作の第２操作信号で複数の端末に対応したコンテンツの画面を生成するものである。
　本開示は、画面生成サーバ及びクライアント端末により形成されるデスクトップ仮想化において、複数のクライアント端末による操作をサーバで受信し、サーバの１つのデスクトップを各々のクライアント端末で操作することを可能とする。
図１は、画面生成サーバ及びクライアント端末による画面生成システムの概略図である。 図２は、実施の形態１にかかる画面生成サーバ及びクライアント端末による画面生成システムの構成を示すブロック図である。 図３は、画面生成システムで使用するタッチ操作信号の一覧を示す図である。 図４は、画面生成システムで使用するマウス操作信号の一覧を示す図である。 図５は、タッチ操作信号とマウス操作信号の変換テーブルを示す図である。 図６Ａは、タッチ操作信号の転送方式を示す図である。 図６Ｂは、タッチ操作信号の転送方式を示す図である。 図７は、タッチ操作信号転送の各方式の長所・短所を示す図である。 図８は、タッチ操作の種別の分類を表す図である。 図９は、操作種別判定部の処理フローを表すフローチャートである。 図１０は、操作信号変換部の処理フローを表すフローチャートである。 図１１は、実施の形態２にかかる画面生成サーバ及びクライアント端末による画面生成システムの構成を示すブロック図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態１）
　［１．概略］
　図１は、デスクトップ仮想化を行う画面生成サーバ及びクライアント端末による画面生成システムの概略図である。図１に示す画面生成システムは、多数の映像を組合せたＨＴＭＬコンテンツを、ブラウザを用いて画面生成サーバ１０のデスクトップ画面上に表示し、これを１本の映像ストリームに統合して、大型ディスプレイ２００、スマートフォン３００、タブレット４００などの各種のクライアント端末２０へ配信する構成としている。このように、多数の映像を１本の映像ストリームに統合して配信することで、クライアント端末２０は再生表示できないほど多数の映像を組合せたＨＴＭＬコンテンツの表示が可能となる。
　また、画面生成システムは、クライアント端末２０から画面生成サーバ１０のデスクトップを操作可能とする。このとき、画面生成システムは、クライアント端末２０でユーザのタッチ操作に基づいて受信したタッチ操作信号を画面生成サーバ１０に送信し、画面生成サーバ１０でそのタッチ操作信号を画面生成サーバ１０のデスクトップに反映する。クライアント端末２０が、スマートフォン３００、タブレット４００などのタッチパネルを有するデバイスであった場合、クライアント端末２０は、画面生成サーバ１０へタッチ操作に関するタッチ操作信号を送信する。このとき、画面生成サーバ１０は、タッチ操作信号をデスクトップ上のマウス操作に関するマウス操作信号に変換することで、クライアント端末２０から受信したタッチ操作信号をデスクトップに反映させることができる。
　画面生成サーバ１０は、デスクトップ画面にスマートフォン３００、タブレット４００の画面よりも広い面積を確保することできる。そのため、画面生成サーバ１０は、複数のクライアント端末向けのブラウザを同時に表示することができる。例えば、画面生成サーバ１０のデスクトップ画面の解像度が３８４０×２１６０（４Ｋ解像度）で、クライアント端末２０の画面の解像度が１９２０×１０８０（Ｆｕｌｌ　ＨＤ解像度）であったとする。このとき、画面生成サーバ１０は、デスクトップ上に１９２０×１０８０の描画領域のブラウザを４つ重ならないように配置し、このデスクトップ画面をキャプチャした後にブラウザの描画領域をクリッピングする。そして、画面生成サーバ１０は、クリッピングした各々のブラウザの描画領域の画像をエンコードした結果を、４つのブラウザの各々に対応する４つのクライアント端末に送信する。これにより、画面生成サーバ１０の１つのデスクトップ画面を、４台のクライアント端末で共用することができる。
　画面生成サーバ１０は、所定のオペレーティングシステムを動作させることにより、各種のアプリケーションを実行する。例えば、画面生成サーバ１０は、オペレーティングシステムを動作させることにより、ブラウザ上でマウス操作を実行する。複数のクライアント端末２０が同時に１つのオペレーティングシステムにより動作する画面生成サーバ１０に接続される場合、従来はいずれか１台のクライアント端末がマウス操作を占有することになる。従って、画面生成サーバ１０は、マウス操作を占有するクライアント端末２０以外のクライアント端末２０からのタッチ操作をマウス操作に変換することができない。
　そのため、画面生成サーバ１０は、１つのデスクトップを利用して複数のクライアント端末２０の画面イメージを生成する能力があるにもかかわらず、操作系の制約により１つのデスクトップに対して１台のクライアント端末２０しか収容できないという課題がある。発明者らは、デスクトップ仮想化の開発の過程において本課題を認識し、その課題を解決する画面生成装置、画面生成システム、及び、画面生成方法を発案するに至った。以下では、本開示にかかる画面生成装置、画面生成、及び、画面生成方法システムの技術的思想を具現化した一例として、実施の形態１の詳細を説明する。
　［２．システム構成］
　図２は、実施の形態１にかかる画面生成サーバ１０及び、クライアント端末２０の構成を示すブロック図である。画面生成サーバ１０は、複数のクライアント端末２０と同時に接続することができる。以下の説明では、複数のクライアント端末２０として、３台のクライアント端末２０ａ、２０ｂ、２０ｃが存在しているとする。
　まず、クライアント端末２０の構成について説明する。クライアント端末２０は、画面生成サーバ１０から送信されるＨＴＭＬコンテンツ１１０の描画映像を再生・表示する。クライアント端末２０は符号化データ受信部２１、映像復号化部２２、表示部２３、タッチパネル２４、操作信号送信部２５を備える。以下、クライアント端末２０の構成について説明する。
　符号化データ受信部２１は、画面生成サーバ１０とのネットワーク通信を行う通信モジュールである。符号化データ受信部２１は、画面生成サーバ１０より送信される映像符号化データを受信し、映像復号化部２２へ映像データを送信する。
　映像復号化部２２は、符号化データ受信部２１より受信した映像符号化データを復号化し、映像データを復号化する復号化モジュールである。そして、映像復号化部２２は、生成した映像データを表示部２３に送信する。
　表示部２３は、映像復号化部２２から受信した映像データをクライアント端末２０の利用者に対して表示する液晶ディスプレイなどの表示デバイスである。
　タッチパネル２４は、クライアント端末２０の利用者からのタッチ操作を入力し、操作信号送信部２５へタッチ操作信号を送信する。タッチ操作信号の詳細については後述する。
　操作信号送信部２５は、タッチパネル２４から受信したタッチ操作信号を画面生成サーバ１０に送信する通信モジュールである。
　続いて、画面生成サーバ１０の構成について説明する。画面生成サーバ１０は、複数のクライアント端末２０ａ、２０ｂ、２０ｃからの映像配信リクエストに応じて、複数のクライアント端末２０ａ、２０ｂ、２０ｃに各々の映像を配信する。また、画面生成サーバ１０は、各クライアント端末２０ａ、２０ｂ、２０ｃのタッチ操作信号を受信し、各ブラウザ１１ａ、１１ｂ、１１ｃに反映する。ブラウザ１１（１１ａ、１１ｂ、１１ｃ）は、各々のクライアント端末２０（２０ａ、２０ｂ、２０ｃ）に対応する。
　画面生成サーバ１０は、ブラウザ１１（１１ａ、１１ｂ、１１ｃ）、画面キャプチャ部１２、映像符号化部１３、符号化データ送信部１４、操作信号受信部１５、操作種別判定部１６、操作信号変換部１７の各ブロックを有する。以下、これらの構成について説明する。
　操作信号受信部１５は、クライアント端末２０から第１操作信号としてのタッチ操作信号を受信する通信モジュールである。操作信号受信部１５は、受信したタッチ操作信号を操作種別判定部１６に送信する。
　操作種別判定部１６は、操作信号受信部１５から受信したタッチ操作信号に基づいて、タッチ操作の種別（タップ、フリック、スワイプなど）を判定し、操作種別によってタッチ操作信号を操作信号変換部１７又はブラウザ１１に送信する。操作種別に基づいてタッチ操作信号の送信経路を選択する理由については後述する。
　操作信号変換部１７は、操作種別判定部１６から受信したタッチ操作信号をマウス操作信号へ変換し、ブラウザ１１に変換後のマウス操作信号を送信する。マウス操作信号の詳細および変換処理の詳細は後述する。
　ブラウザ１１（１１ａ、１１ｂ、１１ｃ）は、対応する各クライアント端末２０（２０ａ、２０ｂ、２０ｃ）に送信するコンテンツの画面を描画する。そして、ブラウザ１１は、ネットワーク上に存在する、或いは、画面生成サーバ１０内に蓄積されたＨＴＭＬコンテンツ１１０を表示・再生する。また、ブラウザ１１は、操作信号変換部１７からマウス操作信号を受信してＨＴＭＬコンテンツ１１０に対してイベント発行処理を行うイベント発行処理部１８と、ＷｅｂＳｏｃｋｅｔなどの通信手段を介して、操作種別判定部１６からタッチ操作信号を直接受信するタッチ操作信号受信部１９を有している。イベント発行処理は、ブラウザに表示されたＨＴＭＬコンテンツをマウスで操作（例えば、リンクのクリックなど）した際に、マウスで操作された座標（Ｘ，Ｙ）の情報から、ＨＴＭＬコンテンツ内のどの要素に対して操作イベント情報を送信するべきかを決定する、「座標⇒要素変換」処理である。また、ブラウザ１１が操作信号の受信経路を２種類具備している理由については後述する。
　画面キャプチャ部１２は、デスクトップをキャプチャし、キャプチャされた画面から各ブラウザ１１ａ、１１ｂ、１１ｃの表示領域をクリッピングする。そして、画面キャプチャ部１２は、各クリッピング画像を映像符号化部１３へ送信する。
　映像符号化部１３は、画面キャプチャ部１２から受信したクリッピング画像を映像として符号化し、符号化データ送信部１４へ送信する符号化モジュールである。映像符号化部１３は、各クライアント端末２０ａ、２０ｂ、２０ｃ向けの映像符号化データを並行して生成する。
　符号化データ送信部１４は、各クライアント端末２０ａ、２０ｂ、２０ｃへ符号化データを送信するネットワーク通信モジュールである。
　［３．タッチ操作信号］
　タッチ操作信号は、クライアント端末２０の利用者のタッチ操作の内容をイベントと補足情報の組合せで表現したものである。図３に本開示の画面生成システムで使用するタッチ操作信号の一覧を示す。イベント「ＤＯＷＮ」は、タッチパネル２４に接触物、例えば、指が接触した場合に発生する。イベント「ＤＯＷＮ」が発生したとき、指の接触位置の座標情報が補足情報として与えられる。イベント「ＭＯＶＥ」は、イベント「ＤＯＷＮ」発生後にタッチパネル２４上を指が移動した場合に発生する。イベント「ＭＯＶＥ」が発生したとき、指の移動先の座標情報が補足情報として与えられる。イベント「ＵＰ」は、指がタッチパネル２４から離脱した場合に発生する。イベント「ＵＰ」が発生したとき、指の離脱位置を表す座標情報が補足情報として与えられる。イベント「ＳＣＡＬＥ」は、イベント「ＤＯＷＮ」発生後に、指がタッチパネル２４上をピンチイン／ピンチアウトした場合に発生する。イベント「ＳＣＡＬＥ」が発生したとき、拡大／縮小率を示す情報が補足情報として与えられる。イベント「ＲＯＴＡＴＥ」は、イベント「ＤＯＷＮ」発生後に、指がタッチパネル２４上を回転した場合に発生する。イベント「ＲＯＴＡＴＥ」が発生したとき、回転角度を示す情報が補足情報として与えられる。
　［４．マウス操作信号］
　マウス操作信号は、マウス操作の内容をイベントと補足情報の組合せで表現したものである。図４に本開示の画面生成システムで使用するマウス操作信号の一覧を示す。イベント「ＬＥＦＴ_ＢＵＴＴＯＮ_ＤＯＷＮ」は、マウスの左ボタンが押されたことを示す。イベント「ＬＥＦＴ_ＢＵＴＴＯＮ_ＤＯＷＮ」が発生したとき、左ボタンが押されたときのマウスポインタの座標情報が補足情報として与えられる。イベント「ＭＯＶＥ」は、マウスが移動した際に発生する。イベント「ＭＯＶＥ」が発生したとき、マウスポインタの移動先の座標情報が補足情報として与えられる。イベント「ＬＥＦＴ_ＢＵＴＴＯＮ_ＵＰ」は、マウスボタンが離される際に発生する。イベント「ＬＥＦＴ_ＢＵＴＴＯＮ_ＵＰ」が発生したとき、マウスボタンが離された時点のマウスポインタの位置を表す座標情報が補足情報として与えられる。
　［５．タッチ操作信号とマウス操作信号の対応テーブル］
　図５は、操作信号変換部１７が参照するタッチ操作信号とマウス操作信号の対応テーブルである。まず、操作信号変換部１７は、図５のテーブルのタッチ操作信号のイベント欄を参照し、現在処理中のタッチ操作信号のイベントの行を選択する。次に、操作信号変換部１７は、選択した行のマウス操作のイベントを参照し、送信するマウス操作信号のイベントを決定する。これにより、操作信号変換部１７は、タッチ操作信号をマウス操作信号へと変換することができる。
　［６．タッチ操作信号の送信経路について］
　上述したように、１つのオペレーティングシステムにより動作する画面生成サーバ１０に、複数のクライアント端末２０が同時に接続される場合、従来はいずれか１台のクライアント端末２０がマウス操作を占有することになる。従って、画面生成サーバ１０は、マウス操作を占有するクライアント端末２０以外のクライアント端末２０からのタッチ操作をマウス操作に変換することができない。そこで、１つのデスクトップで複数のクライアント端末２０のタッチ操作を受信可能にするために、図６Ａ、図６Ｂに示す２つの方式のどちらかを使用することが考えられる。図６Ａ、図６Ｂは、タッチ操作信号の転送方式を示す図である。
　図６Ａは、指がタッチパネルに触れてから離れるまでをタッチ操作の１処理単位として、例えば、処理単位毎にマウス操作をクライアント端末２０ａが占有し、他のクライアント端末２０ｂ、２０ｃからのタッチ操作入力を排他する方式１を示している。マウス操作を占有するクライアント端末２０ａからのタッチ操作信号は、マウス操作信号へと変換された後に、対応するブラウザ１１ａへと第１経路で送信される。
　一方、図６Ｂは、ＷｅｂＳｏｃｋｅｔなどを使用して、マウス操作を経由せずに、各クライアント端末２０ａ、２０ｂ、２０ｃからのタッチ操作信号を、対応するブラウザ１１ａ、１１ｂ、１１ｃへと第２経路で直接送信する方式２を示している。
　図７は、方式１及び方式２の長所・短所を比較した結果を示す。図７に記載している「座標⇒要素変換処理」は、タッチ操作の補足情報として送信される座標から、イベント発行対象のＨＴＭＬ要素を決定する処理である。方式１では、タッチ操作はブラウザをマウス操作した場合と同様に処理される。すなわち、この処理はブラウザにより行われる。一方、方式２では、ブラウザ上で動作しているＪａｖａＳｃｒｉｐｔ（登録商標）がタッチ操作のイベントを直接受信するため、「座標⇒要素変換処理」をＪａｖａＳｃｒｉｐｔ（登録商標）で実装しなければならない。この処理は、操作イベントが発生する都度、操作対象となる各要素に対して、イベント発行対象であるかを判定する処理を行うこととなる。そのため、操作対象要素が増えるほど処理負荷が大きくなる。従って、方式２は、処理対象の要素数が多い場合には適用が困難である。
　一方、方式１は、あるクライアント端末２０ａのタッチ操作を処理している最中には、他のクライアント端末２０ｂ、２０ｃからのタッチ操作信号を受信しないため、スワイプ、ピンチイン／アウトといった処理時間が数秒にわたる可能性がある操作に対しては適用できない。
　このように、方式１、方式２ともに適用が困難なケースが存在するため、どちらか一方の方式で全てのタッチ操作を扱うことは難しい。そこで本開示の画面生成装置、画面生成システム、及び、画面生成方法では、タッチ操作を特性に応じて分類した上で、タッチ操作の種別に応じて、方式１、方式２の好適な方式を適用するハイブリッド方式を採用することとした。すなわち、操作種別判定部１６は、クライアント端末２０から受信したタッチ操作信号の種別に応じて、マウス操作経由でブラウザに送信する経路と、ブラウザ１１に直接送信する経路の２種類を使い分ける。
　図８は、主なタッチ操作の種別の分類結果を示す。図８が示す分類結果の分類軸は、１）操作時間の長い／短い、及び、２）ＨＴＭＬコンテンツにおいて操作対象要素の要素数が多い／少ないである。この分類によると、タッチ操作は、グループＡ、Ｂ、Ｃの３つのグループに分かれる。
　グループＡに属するタッチ操作は、操作時間が短く、操作対象要素が画面上に多数存在するという特性を有する。グループＡには、タップ操作、フリック操作が属する。例えば、タップ操作はタッチパネル２４に接触してから離脱するまでの時間が１００ミリ秒未満であり、操作時間が非常に短い。また、タップ操作の操作対象要素はリンクやリスト内のアイテムであり、画面内に多数の処理対象要素をもつケースがある。そのため、グループＡに属するタッチ操作については、「座標⇒要素変換処理」を行うＪａｖａＳｃｒｉｐｔ（登録商標）の実装が困難である。従って、グループＡに属するタッチ操作に対しては、方式２は不適であり、方式１が好適となる。
　グループＢに属するタッチ操作は、操作時間が長く、画面内に操作対象となる要素の数が少ないという特性を有する。グループＢには、スワイプ操作、ピンチ操作、ローテート操作が属する。例えば、スワイプ操作は、画面に接触してから離脱するまでの操作が数秒以上となる場合もあり、操作時間が長くなるケースがある。そのため、方式１による排他制御を行うと、タッチ操作信号が受理されないクライアント端末２０が発生する可能性が高い。また、グループＢに属するタッチ操作は、リストや画面全体をスクロールするなど、ある程度の広さの領域を持つ要素に対する操作であるため、操作対象を画面内に多数配置するケースはあまりない。そのため、グループＢに属するタッチ操作については、「座標⇒要素変換処理」を行うＪａｖａＳｃｒｉｐｔ（登録商標）の実装が比較的容易である。従って、グループＢに属するタッチ操作については、方式１は不適であり、方式２が好適となる。
　グループＣに属するタッチ操作は、操作時間が長く、操作対象要素が多数存在するという特性を有する。グループＣには、ロングタップが属する。ロングタップは、操作時間が長いケースがあるともに、操作対象要素が画面内に多数の処理対象要素をもつケースがある。従って、このグループＣに属する操作は、方式１、方式２ともに不適である。このグループＣに属するタッチ操作は、実施の形態１にかかるシステムでは利用できないが、このグループＣに属する操作はロングタップのみである。この操作が使用不能であってもコンテンツ制作やユーザインタフェース設計への影響はほとんどないものと考える。なお、本開示は、グループＣに属するタッチ操作を、排除するものではない。すなわち、グループＣに属するタッチ操作については、設計思想に応じて、方式１或いは方式２を採用することとしてもよい。
　以上より、操作種別判定部１６は、タッチ操作信号の操作種別を判定する。そして、操作種別判定部１６は、グループＡのタッチ操作であると判定した場合は、タッチ操作信号の送信を方式１（マウス操作信号に変換して送信）とし、グループＢのタッチ操作であると判定した場合は、タッチ操作信号の送信を方式２（タッチ操作信号を直接送信）とする。これにより、各々の方式の短所を補って実用可能な操作処理を行うことができる。
　［７．操作種別判定部１６の処理フロー］
　図９は、操作種別判定部１６の動作を示すフローチャートである。まず、操作種別判定部１６は、クライアント端末２０からタッチ操作信号を受信する（ステップＳ１０１）。次に、操作種別判定部１６は、受信したタッチ操作信号のイベントが「ＳＣＡＬＥ」又は「ＲＯＴＡＴＥ」であるかを判定する（ステップＳ１０２）。タッチ操作信号が「ＳＣＡＬＥ」又は「ＲＯＴＡＴＥ」であった場合（ステップＳ１０２におけるＹｅｓ）、操作種別判定部１６は、タッチ操作信号がピンチ又はローテートであると判定する（ステップＳ１０３）。ピンチ及びローテートは、グループＢに属するタッチ操作であるので、操作種別判定部１６は、方式２を採用しタッチ操作信号をブラウザ１１へ送信し（ステップＳ１０４）、ステップＳ１０１へ戻る。
　ステップＳ１０２においてタッチ操作信号のイベントが「ＳＣＡＬＥ」又は「ＲＯＴＡＴＥ」でない場合（ステップＳ１０２におけるＮｏ）、操作種別判定部１６は、タッチ操作信号が「ＤＯＷＮ」であるかを判定する（ステップＳ１０５）。タッチ操作信号が「ＤＯＷＮ」である場合（ステップＳ１０５におけるＹｅｓ）、操作種別判定部１６は、タッチ操作信号の送信経路が未確定である場合にタッチ操作信号を一旦保存しておくためのメモリのキュー内のタッチ操作信号を全削除する（ステップＳ１０６）。そして、操作種別判定部１６は、ステップＳ１０１において受信したタッチ操作信号をメモリのキュー内に保存する（ステップＳ１０７）。続いて、操作種別判定部１６は、イベント「ＤＯＷＮ」を受信したタイミングを管理するため、メモリに現在時刻を保存し（ステップＳ１０８）、ステップＳ１０１へ戻る。
　ステップＳ１０５においてタッチ操作信号が「ＤＯＷＮ」でない場合（ステップＳ１０５におけるＮｏ）、操作種別判定部１６は、ステップＳ１０８で記録された時刻情報と、現在時刻とに基づいて、イベント「ＤＯＷＮ」を受信してから所定時間（数十ミリ秒～数百ミリ秒を想定）が過ぎているかどうかを判定する（ステップＳ１０９）。所定時間を過ぎている場合（ステップＳ１０９におけるＹｅｓ）、操作種別判定部１６は、タッチ操作の種別はスワイプであると判定する（ステップＳ１１０）。スワイプは、グループＢに属するタッチ操作であるので、操作種別判定部１６は、方式２を採用する。そして、操作種別判定部１６は、メモリのキュー内に存在するタッチ操作信号と、最新のタッチ操作信号をブラウザに直接送信し（ステップＳ１１１）、ステップＳ１０１へ戻る。
　ステップＳ１０９において所定時間を経過していない場合（ステップＳ１０９におけるＮｏ）、操作種別判定部１６は、タッチ操作信号のイベントが「ＵＰ」であるかを判定する（ステップＳ１１２）。タッチ操作信号が「ＵＰ」である場合（ステップＳ１１２におけるＹｅｓ）、タッチ操作がタップ又はフリップであると判定する（ステップＳ１１３）。タップ及び、フリップは、グループＡに属するタッチ操作であるので、操作種別判定部１６は、方式１を採用する。そして、操作種別判定部１６は、メモリのキュー内に存在するタッチ操作信号と、最新のタッチ操作信号を操作信号変換部１７に送信する（ステップＳ１１４）。操作種別判定部１６は、ステップＳ１１４においてタッチ操作信号を操作信号変換部１７に送信した後、ステップＳ１０８においてメモリ内に保存していた時刻情報をクリアし（ステップＳ１１５）、ステップＳ１０１へ戻る。
　ステップＳ１１２においてタッチ操作信号が「ＵＰ」でない場合（ステップＳ１１２におけるＮｏ）、操作種別判定部１６は、タッチ操作信号をメモリのキューに保存し（ステップＳ１１６）、ステップＳ１０１へ戻る。
　図１０は操作信号変換部１７の動作を示すフローチャートである。まず、操作信号変換部１７は、タッチ操作信号を操作種別判定部１６より受信する（ステップＳ２０１）。次に、操作信号変換部１７は、図５に示したタッチ操作信号とマウス操作信号の対応関係を記述したテーブルを参照し、タッチ操作信号をマウス操作信号に変換する（ステップＳ２０２）。そして、操作信号変換部１７は、対応するマウス操作信号をブラウザ１１に送信する（ステップＳ２０３）。ステップＳ２０３が終わると、ステップＳ２０１に戻り、ステップＳ２０１～ステップＳ２０３の処理を繰り返す。
　以上のように、操作種別判定部１６は、各クライアント端末２０から受信したタッチ操作信号に基づいて、タッチ操作の種別（タップ、フリック、スワイプなど）を判定し、その判定結果に応じて、タッチ操作信号を操作信号変換部１７へ送ってマウス操作に変換してからブラウザ１１へ送るか、マウス操作には変換せずにブラウザ１１へ直接送信するかを判定する。そして、ブラウザ１１が操作種別判定部１６の判定結果に基づいて、タッチ操作信号、又は、マウス操作信号でコンテンツを生成する。これにより、複数のクライアント端末による操作を、サーバの１つのデスクトップで操作することが可能となる。
　なお、本実施の形態において、画面生成サーバ１０の１つのデスクトップ画面を、４台のクライアント端末で共用するとしたが、２台以上のクライアント端末で共用するとしてもよい。
　なお、本実施の形態において、画面生成サーバ１０のデスクトップ画面（解像度が３８４０×２１６０）をクライアント端末２０の画面（解像度が１９２０×１０８０）を複数台分描画できる１つの画面としたが、クライアント端末２０の画面（解像度が１９２０×１０８０）を複数台分描画できる複数のシートを有するブック形式としてもよい。
　（実施の形態２）
　上記の実施の形態１においては、操作種別判定部１６は、画面生成サーバ１０に配置されている場合を示したが、本実施の形態はこれに限定されない。図１１は、実施の形態２にかかる画面生成サーバ及びクライアント端末の構成を示すブロック図である。図１１に示すように、画面生成システムは、操作種別判定部２６がクライアント端末２０に設置されていてもよい。
　実施の形態２では、操作種別判定部２６が各クライアント端末２０に設置されており、タッチ操作信号を操作信号送信部２５、操作信号受信部１５を介して送信するとき判定したグループＡとグループＢをポート分けして送信する。これらの点以外の構成は、図２に示す実施の形態１の構成と同様であるため説明を省略する。操作種別判定部２６を各クライアント端末２０に設置する構成とすることで、操作種別判定を各クライアント端末２０が実施することとなり、処理負荷が分散される利点がある。
　なお、本実施の形態において、操作種別判定部２６からタッチ操作信号をポート分けして送信するとしたが、操作種別判定部２６がタッチ操作信号とタッチ操作信号の判定結果を操作信号受信部１５に送信し、操作信号受信部１５がタッチ操作信号の判定結果に基づいて、タッチ操作信号のグループＡとグループＢを操作信号変換部１７又はタッチ操作信号受信部１９に分けて送信するとしてもよい。これにより、操作信号送信部２５のポートの数を低減することができる。
　本開示にかかる画面生成装置、画面生成システム、及び、画面生成方法は、画面生成サーバ、或いは、画面生成サーバに接続されるクライアント端末に適用することができる。
１０　画面生成サーバ
１１，１１ａ，１１ｂ，１１ｃ　ブラウザ
１２　画面キャプチャ部
１３　映像符号化部
１４　符号化データ送信部
１５　操作信号受信部
１６　操作種別判定部
１７　操作信号変換部
１８　イベント発行処理部
１９，１９ａ，１９ｂ，１９ｃ　タッチ操作信号受信部
２０，２０ａ，２０ｂ，２０ｃ　クライアント端末
２１　符号化データ受信部
２２　映像復号化部
２３　表示部
２４　タッチパネル
２５　操作信号送信部
２６　操作種別判定部
１１０　ＨＴＭＬコンテンツ
２００　大型ディスプレイ
３００　スマートフォン
４００　タブレット

Claims (7)

  1. 　複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成装置であって、
    　前記第１操作信号を受信する操作信号受信部と、
    　前記第１操作信号の種別を判定する操作種別判定部と、
    　前記第１操作信号をマウス操作の第２操作信号に変換する操作信号変換部と、
    　前記操作種別判定部の判定結果に基づいて、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える画面生成装置。
  2. 　前記操作種別判定部は、前記第１操作信号を操作時間および操作対象要素数によって判定する請求項１に記載の画面生成装置。
  3. 　前記タッチ操作がスワイプ、ピンチ、ローテートのいずれかのとき、前記ブラウザは前記第１操作信号で前記コンテンツを生成する請求項１に記載の画面生成装置。
  4. 　前記タッチ操作がタップ、又は、フリックのとき、前記ブラウザは前記第２操作信号で前記コンテンツを生成する請求項１に記載の画面生成装置。
  5. 　複数の端末と、複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成装置を備える画面生成システムであって、
    　前記複数の端末は、
    　　　タッチパネルにより入力されたタッチ操作を前記第１操作信号として前記画面生成装置に送信する操作信号送信部を備え、
    　前記画面生成装置は、
    　　　前記第１操作信号を受信する操作信号受信部と、
    　　　前記第１操作信号の種別を判定する操作種別判定部と、
    　　　前記第１操作信号をマウス操作の第２操作信号に変換する操作信号変換部と、
    　　　前記操作種別判定部の判定結果に基づいて、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える画面生成システム。
  6. 　複数の端末と、前記複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成装置を備える画面生成システムであって、
    　前記複数の端末は、
    　　　タッチパネルにより入力された前記第１操作信号の種別を判定する操作種別判定部と、
    　　　前記第１操作信号と前記操作種別判定部の判定結果を前記画面生成装置に送信する操作信号送信部を備え、
    　前記画面生成装置は、
    　　　前記第１操作信号を受信する操作信号受信部と、
    　　　前記第１操作信号をマウス操作の第２操作信号に変換する操作信号変換部と、
    　　　前記操作種別判定部の判定結果に基づいて、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える画面生成システム。
  7. 　複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成方法であって、
    　前記第１操作信号を受信し、
    　前記第１操作信号の種別を判定し、
    　前記判定結果に基づいて、前記第１操作信号、又は、前記第１操作信号を変換したマウス操作の第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する画面生成方法。
PCT/JP2015/003350 2014-10-14 2015-07-03 画面生成装置、画面生成システム、及び、画面生成方法 WO2016059737A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016553950A JPWO2016059737A1 (ja) 2014-10-14 2015-07-03 画面生成装置、画面生成システム、及び、画面生成方法
EP15851388.7A EP3208694A4 (en) 2014-10-14 2015-07-03 Screen generation device, screen generation system, and screen generation method
US15/251,412 US20160370885A1 (en) 2014-10-14 2016-08-30 Screen generating device, screen generating system, and screen generating method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-209578 2014-10-14
JP2014209578 2014-10-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/251,412 Continuation US20160370885A1 (en) 2014-10-14 2016-08-30 Screen generating device, screen generating system, and screen generating method

Publications (1)

Publication Number Publication Date
WO2016059737A1 true WO2016059737A1 (ja) 2016-04-21

Family

ID=55746303

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003350 WO2016059737A1 (ja) 2014-10-14 2015-07-03 画面生成装置、画面生成システム、及び、画面生成方法

Country Status (4)

Country Link
US (1) US20160370885A1 (ja)
EP (1) EP3208694A4 (ja)
JP (1) JPWO2016059737A1 (ja)
WO (1) WO2016059737A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187379A (ja) * 2008-02-07 2009-08-20 Toshiba Corp 仮想計算機サーバ装置、更新画像検出方法およびプログラム
JP2010256972A (ja) * 2009-04-21 2010-11-11 Digital Electronics Corp サーバ装置、サーバ・クライアントシステム、サーバプログラムおよびそれを記録した記録媒体
JP2012079084A (ja) * 2010-10-01 2012-04-19 Nomura Research Institute Ltd リモートデスクトップシステムおよび業務アプリケーション移行システム
JP2013143103A (ja) * 2012-01-12 2013-07-22 Ricoh Co Ltd 情報処理システム、情報処理装置、及び情報処理プログラム
JP2014137671A (ja) * 2013-01-16 2014-07-28 Japan Digital Laboratory Co Ltd リモートアクセス制御システム、方法、およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292181B1 (en) * 1994-09-02 2001-09-18 Nec Corporation Structure and method for controlling a host computer using a remote hand-held interface device
US6137473A (en) * 1994-09-02 2000-10-24 Nec Corporation System and method for switching control between a host computer and a remote interface device
US6289320B1 (en) * 1998-07-07 2001-09-11 Diebold, Incorporated Automated banking machine apparatus and system
US6727889B2 (en) * 2001-09-14 2004-04-27 Stephen W. Shaw Computer mouse input device with multi-axis palm control
US20040015551A1 (en) * 2002-07-18 2004-01-22 Thornton Barry W. System of co-located computers with content and/or communications distribution
US7325033B2 (en) * 2002-07-18 2008-01-29 Clearcube Technology, Inc. Video conferencing system using video manager to provide picture-in-picture image to display devices located remotely from co-located computing systems
JP4421517B2 (ja) * 2005-06-07 2010-02-24 株式会社東芝 情報処理サーバ、遠隔操作システムおよび遠隔操作方法
KR101573212B1 (ko) * 2008-03-04 2015-12-02 삼성전자주식회사 바이오 마우스 및 바이오 키보드를 포함하는 원격 의료 진단 장치 및 이를 이용하는 방법
WO2012048007A2 (en) * 2010-10-05 2012-04-12 Citrix Systems, Inc. Touch support for remoted applications
US9128548B2 (en) * 2012-10-17 2015-09-08 Perceptive Pixel, Inc. Selective reporting of touch data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187379A (ja) * 2008-02-07 2009-08-20 Toshiba Corp 仮想計算機サーバ装置、更新画像検出方法およびプログラム
JP2010256972A (ja) * 2009-04-21 2010-11-11 Digital Electronics Corp サーバ装置、サーバ・クライアントシステム、サーバプログラムおよびそれを記録した記録媒体
JP2012079084A (ja) * 2010-10-01 2012-04-19 Nomura Research Institute Ltd リモートデスクトップシステムおよび業務アプリケーション移行システム
JP2013143103A (ja) * 2012-01-12 2013-07-22 Ricoh Co Ltd 情報処理システム、情報処理装置、及び情報処理プログラム
JP2014137671A (ja) * 2013-01-16 2014-07-28 Japan Digital Laboratory Co Ltd リモートアクセス制御システム、方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3208694A4 *

Also Published As

Publication number Publication date
EP3208694A1 (en) 2017-08-23
US20160370885A1 (en) 2016-12-22
JPWO2016059737A1 (ja) 2017-08-03
EP3208694A4 (en) 2017-10-04

Similar Documents

Publication Publication Date Title
AU2006216079B2 (en) Systems and methods for transferring data between computing devices
JP5451397B2 (ja) リモートインターラクションに応答してビデオコンテンツを配信するためのアーキテクチャー
CN108733771B (zh) 共享应用，包括允许检索、展示和遍历信息资源的共享应用
CN102664937B (zh) 云端运算图形服务器及云端运算图形服务方法
CN105637886B (zh) 用于向客户端提供图形用户界面的服务器，以及客户端
US20180113663A1 (en) Browser based display system for displaying image data
JP6272331B2 (ja) ネットワークを介して接続された少なくとも２台の端末装置間でリモートプレゼンテーションをするための方法
CN102802068A (zh) 智能电视遥控方法及系统
US20120235924A1 (en) Display systems, methods, and apparatus
EP3076647B1 (en) Techniques for sharing real-time content between multiple endpoints
WO2020253453A1 (zh) 图像切换方法、装置、电子设备及存储介质
US20140215358A1 (en) Screen sharing system and central apparatus
WO2017045283A1 (zh) 终端间屏幕控制的方法、装置和存储介质
WO2020135776A1 (zh) 交互数据的传输方法、装置、终端及服务器
JP6453345B2 (ja) テレビ装置上でウェブ・コンテンツをリモート・レンダリングするための方法、システムおよび媒体
CN102664924A (zh) 远程协助过程中的信息处理方法及装置
CN103959208A (zh) 基于互联网浏览器远程用户界面虚拟鼠标光标定位的方法
US20130124614A1 (en) Thin client system and server apparatus
US20120268650A1 (en) System and method for a thin-client terminal system using a serial bus
WO2016059737A1 (ja) 画面生成装置、画面生成システム、及び、画面生成方法
US9411760B2 (en) System and method for a thin-client terminal system with a local screen buffer using a serial bus
TWI427531B (zh) 遠端管理系統及其方法
JP2017033397A (ja) 操作情報共有装置、アプリ実行装置、操作情報共有システム、情報処理装置、およびプログラム
CN112714272A (zh) 设备间控制方法、终端和计算机可读存储介质
CN111694442B (zh) 一种降低分布式kvm系统鼠标延时的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15851388

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016553950

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015851388

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015851388

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE