JP6623908B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP6623908B2
JP6623908B2 JP2016078350A JP2016078350A JP6623908B2 JP 6623908 B2 JP6623908 B2 JP 6623908B2 JP 2016078350 A JP2016078350 A JP 2016078350A JP 2016078350 A JP2016078350 A JP 2016078350A JP 6623908 B2 JP6623908 B2 JP 6623908B2
Authority
JP
Japan
Prior art keywords
event
window
unit
control device
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016078350A
Other languages
English (en)
Other versions
JP2017188036A (ja
Inventor
宏太 板倉
宏太 板倉
西口 直樹
直樹 西口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016078350A priority Critical patent/JP6623908B2/ja
Priority to EP17165315.7A priority patent/EP3229115A1/en
Priority to US15/481,660 priority patent/US10429989B2/en
Publication of JP2017188036A publication Critical patent/JP2017188036A/ja
Application granted granted Critical
Publication of JP6623908B2 publication Critical patent/JP6623908B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0383Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/027Arrangements and methods specific for the display of internet documents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、マルチディスプレイシステムにおけるイベント制御技術に関する。
複数の表示装置を用いた大画面に、ユーザ端末で生成した画像を表示させるマルチディスプレイ技術が知られている。例えば、ユーザ端末から画像の構成情報を表示装置に送って、表示装置側で構成情報を展開して画像を生成するようにすれば、ユーザ端末における処理負荷が減り、伝送するデータ量も抑えられる。
更に、表示装置側で表示面に対する操作を受け付けて、その操作に応じて画像が更新されるようにすれば、より利便性が高まる。
但し、例えばドラッグのように連続する操作によって発生するイベント群が、一の表示装置における表示面内に納まるとは限らない。
特開2013−218468号公報 特開2015−56172号公報
本発明の目的は、一側面では、複数の表示装置の表示面に跨る操作を、一連の操作として扱えるようにすることである。
一態様に係る情報処理装置は、マルチディスプレイシステムにおける第1表示面及び第2表示面に跨るウインドウ内で発生するイベントを制御する情報処理装置であって、(A)第1表示面におけるウインドウ内へのユーザ操作に伴う第1イベントが発生した第1位置を記録する記録部と、(B)所定の条件に従って、第2表示面におけるウインドウ内へのユーザ操作に伴う第2イベントが発生した第2位置が第1位置と近接すると判定した場合に、第1イベントのIDと第2イベントのIDとを対応付ける対応付け部と、(C)第2表示面におけるウインドウ内へのユーザ操作に伴う第3イベントのIDが第2イベントのIDと一致する場合に、第3イベントのIDを第1イベントのIDに変換する変換部とを含む。
一側面としては、複数の表示装置の表示面に跨る操作を、一連の操作として扱えるようになる。
図1は、マルチディスプレイシステムの概要を示す図である。 図2は、ネットワーク構成例を示す図である。 図3は、ネットワーク構成例を示す図である。 図4は、イベントの発生位置の例を示す図である。 図5は、イベントの発生位置の例を示す図である。 図6は、クライアント端末のモジュール構成例を示す図である。 図7は、第1表示制御装置のモジュール構成例を示す図である。 図8は、サーバ装置のモジュール構成例を示す図である。 図9は、初期段階のシーケンス例を示す図である。 図10は、アプリケーションテーブルの例を示す図である。 図11は、管理テーブルの例を示す図である。 図12は、初期段階のシーケンス例を示す図である。 図13は、ウインドウテーブルの例を示す図である。 図14は、コンテンツテーブルの例を示す図である。 図15は、タッチ開始のシーケンス例を示す図である。 図16は、イベントテーブルの例を示す図である。 図17は、タッチ開始のシーケンス例を示す図である。 図18は、タッチ移動のシーケンス例を示す図である。 図19は、タッチ移動のシーケンス例を示す図である。 図20は、タッチ終了のシーケンス例を示す図である。 図21は、タッチ開始のシーケンス例を示す図である。 図22は、関連テーブルの例を示す図である。 図23は、タッチ移動のシーケンス例を示す図である。 図24は、タッチ移動のシーケンス例を示す図である。 図25は、タッチ終了のシーケンス例を示す図である。 図26は、タッチ終了のシーケンス例を示す図である。 図27は、タッチ終了のシーケンス例を示す図である。 図28は、タッチ終了のシーケンス例を示す図である。 図29は、タッチ終了のシーケンス例を示す図である。 図30は、実施の形態2に係る第1表示制御装置のモジュール構成例を示す図である。 図31は、タッチ開始のシーケンス例を示す図である。 図32は、タッチ開始のシーケンス例を示す図である。 図33は、タッチ移動のシーケンス例を示す図である。 図34は、タッチ移動のシーケンス例を示す図である。 図35は、タッチ終了のシーケンス例を示す図である。 図36は、タッチ開始のシーケンス例を示す図である。 図37は、タッチ移動のシーケンス例を示す図である。 図38は、タッチ移動のシーケンス例を示す図である。 図39は、タッチ終了のシーケンス例を示す図である。 図40は、タッチ終了のシーケンス例を示す図である。 図41は、タッチ終了のシーケンス例を示す図である。 図42は、タッチ終了のシーケンス例を示す図である。 図43は、タッチ終了のシーケンス例を示す図である。 図44は、クライアント端末のハードウエア構成例を示す図である。 図45は、コンピュータの機能ブロック図である。
[実施の形態1]
図1に、本実施の形態に係るマルチディスプレイシステムの概要を示す。この例では、ユーザが保持するクライアント端末101から送られたコンテンツデータ103に基づいて、左側の表示面105と右側の表示面107とが並べられた全体画面にコンテンツ画像109を表示させる。この例では、表示面を横に並べる例を示すが、表示面を縦に並べるようにしてもよい。また、マトリクス状に表示面を並べるようにしてもよい。
図2に、ネットワーク構成例を示す。第1表示制御装置201は、図1に示した左側の表示面105を提供する表示装置を有する。第2表示制御装置203は、図1に示した右側の表示面107を提供する表示装置を有する。サーバ装置205は、クライアント端末101と、各表示制御装置(この例では、第1表示制御装置201及び第2表示制御装置203)とを仲介し、主に各表示制御装置におけるウインドウ枠に関するデータを管理する。
表示装置は、例えば液晶ディスプレイ、プラズマディスプレイあるいはプロジェクタである。液晶ディスプレイ及びプラズマディスプレイの場合には、装置の表示画面が表示面である。プロジェクタの場合には、画像が投影されるスクリーンが表示面である。
第1表示制御装置201及び第2表示制御装置203は、第1ネットワークを介してサーバ装置205と接続している。第1ネットワークは、例えばLAN(Local Area Network)である。第1表示制御装置201及び第2表示制御装置203は、有線によって、あるいは無線によって第1ネットワークに接続している。サーバ装置205も、有線によって、あるいは無線によって第1ネットワークに接続している。
クライアント端末101は、第2ネットワークを介して、第1ネットワークに接続する機能を備えている。この例において、第2ネットワークはインターネットであり、クライアント端末101は、移動体通信網を介してインターネットに接続する機能を備えている。
図3に、別のネットワーク構成例を示す。クライアント端末101は、直接第1ネットワークに接続するようにしてもよい。クライアント端末101は、有線によって第1ネットワークに接続してもよいし、無線によって第1ネットワークに接続するようにしてもよい。
タッチによるスライド操作の例について説明する。図4に、イベントの発生位置を示す。位置401から位置419にかけてスライド操作を行うと、最初に位置401においてタッチ開始のイベントが発生する。順次位置403、位置405及び位置407においてタッチ移動のイベントが発生する。そして、表示面105の端に相当する位置409においてタッチ終了のイベントが発生する。
続いて、表示面107の端に相当する位置411においてタッチ開始のイベントが発生する。順次位置413、位置415及び位置417においてタッチ移動のイベントが発生する。そして、位置419においてタッチ終了のイベントが発生する。
本実施の形態では、位置409においてタッチ終了のイベントが発生した時点から所定時間を経過する前に、位置409に近接する位置411においてタッチ開始のイベントが発生すると、表示面105側で発生したイベントIDと表示面107側で発生したイベントIDとを関連付ける。そして、表示面107側で発生したイベントIDを、表示面105側で発生したイベントIDに変換してイベントデータをクライアント端末101に渡す。このようにすれば、クライアント端末101において一連のスライド操作であると認識する。
図5に、位置409においてタッチ終了のイベントが発生して、そのまま終了するパターンを示す。位置409においてタッチ終了のイベントが発生した時点から所定時間を経過すると、タッチ終了のイベントをクライアント端末101に渡す。尚、座標系に関しては後述する。
各装置のモジュール構成について説明する。図6に、クライアント端末101のモジュール構成例を示す。クライアント端末101は、OS(オペレーティングシステム)601、第1ブラウザ603、第1送信部605、第1受信部607、第1初期化部609、第1受付部611、発火部613、アプリケーションテーブル記憶部621及び第1コンテンツ記憶部623を有する。
OS601は、クライアント端末101の資源やプログラムを管理する。第1ブラウザ603は、コンテンツデータ103に対するブラウジング処理を行う。この例におけるコンテンツデータ103は、HTML(HyperText Markup Language)ファイルとCSS(Cascading Style Sheets)ファイルとを含んでいる。HTMLファイルは、表示要素データを含む構成定義情報の例である。CSSファイルは、スタイル定義情報の例である。表示要素は、例えばボタンである。
第1送信部605は、各種データの送信を行う。第1受信部607は、各種データの受信を行う。第1初期化部609は、初期化処理を行う。第1受付部611は、ユーザからの指示を受け付ける。発火部613は、第1ブラウザ603におけるイベントを発火させる。つまり、発火部613は、第1ブラウザ603におけるイベントを発生させる。
アプリケーションテーブル記憶部621は、アプリケーションテーブル(図10)を記憶する。第1コンテンツ記憶部623は、コンテンツデータ103を記憶する。
上述した第1送信部605、第1受信部607、第1初期化部609、第1受付部611及び発火部613は、ハードウエア資源(例えば、図44)と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
上述したアプリケーションテーブル記憶部621及び第1コンテンツ記憶部623は、ハードウエア資源(例えば、図44)を用いて実現される。
図7に、第1表示制御装置201のモジュール構成例を示す。第1表示制御装置201は、OS701、第2ブラウザ703、第2送信部705、第2受信部707、第2初期化部709、第2受付部711、第1算出部713、第1特定部715、第2算出部717、第1更新部719、表示処理部721、ウインドウテーブル記憶部731、コンテンツテーブル記憶部733、第2コンテンツ記憶部735、表示バッファ737、描画バッファ739、表示装置751及びタッチパネル装置753を有する。
OS701は、タッチパネル装置753を制御するドライバを含む。第2ブラウザ703は、コンテンツデータ103に対するブラウジング処理を行う。具体的には、第2ブラウザ703は、コンテンツ画像109を描画バッファ739に描画する。第2送信部705は、各種データの送信を行う。第2受信部707は、各種データの受信を行う。第2初期化部709は、初期化処理を行う。第2受付部711は、各種イベントを受け付ける。第1算出部713は、イベントが発生したウインドウ内位置を算出する。第1特定部715は、イベントが発生した位置に該当する表示要素を特定する。例えば、HTMLによって記述されたパスで表示要素が特定される。第2算出部717は、ウインドウ座標系のイベント発生位置を、表示要素座標系のイベント発生位置に変換する。第1更新部719は、HTMLファイルを更新する。表示処理部721は、描画バッファ739に描画されたコンテンツ画像109の全部または一部をウインドウデータに従って表示バッファ737にコピーする。更に、表示処理部721は、表示バッファ737にコピーされたコンテンツ画像109を表示装置751に表示させる。
ウインドウテーブル記憶部731は、ウインドウテーブル(図13)を記憶する。コンテンツテーブル記憶部733は、コンテンツテーブル(図14)を記憶する。第2コンテンツ記憶部735は、コンテンツデータ103を記憶する。表示バッファ737は、表示面に表示させる画像データを保持する。描画バッファ739は、コンテンツ画像109を描画するために用いられる。表示装置751は、例えば液晶ディスプレイ、プラズマディスプレイあるいはプロジェクタである。タッチパネル装置753は、ポインティングデバイスの例である。タッチペン装置に置き換えてもよい。
上述した第2送信部705、第2受信部707、第2初期化部709、第2受付部711、第1算出部713、第1特定部715、第2算出部717、第1更新部719及び表示処理部721は、ハードウエア資源(例えば、図45)と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
上述したウインドウテーブル記憶部731、コンテンツテーブル記憶部733、第2コンテンツ記憶部735、表示バッファ737及び描画バッファ739は、ハードウエア資源(例えば、図45)を用いて実現される。
第2表示制御装置203のモジュール構成は、第1表示制御装置201のモジュール構成と同様である。
図8に、サーバ装置205のモジュール構成例を示す。サーバ装置205は、第3送信部801、第3受信部803、第3初期化部805、種別判定部807、近接判定部809、第2特定部811、登録部813、第2更新部815、経過判定部817、変換部819、消去部821、生成部823、対応付け部825、管理テーブル記憶部831、イベントテーブル記憶部833及び関連テーブル記憶部835を有する。
第3送信部801は、各種データの送信を行う。第3受信部803は、各種データの受信を行う。第3初期化部805は、初期化処理を行う。種別判定部807は、イベントの種別に関する判定を行う。近接判定部809は、イベント発生位置の位置関係を判定する。第2特定部811は、例えばメインの表示制御装置IDを特定する。メインの表示制御装置IDは、2つの表示制御装置のうち、メインとなるイベントIDを発生させた方の装置を特定する。登録部813は、イベントレコードの追加を行う。第2更新部815は、イベントレコードを更新する。経過判定部817は、イベント発生のタイムスタンプから所定時間が経過したか否かを判定する。変換部819は、イベントIDの変換を行う。消去部821は、不要なレコードの消去を行う。生成部823は、イベントデータの生成を行う。対応付け部825は、イベントIDの対応付けを行う。
管理テーブル記憶部831は、管理テーブル(図11)を記憶する。イベントテーブル記憶部833は、イベントテーブル(図16)を記憶する。関連テーブル記憶部835は、関連テーブル(図22)を記憶する。
上述した第3送信部801、第3受信部803、第3初期化部805、種別判定部807、近接判定部809、第2特定部811、登録部813、第2更新部815、経過判定部817、変換部819、消去部821、生成部823及び対応付け部825は、ハードウエア資源(例えば、図45)と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
上述した管理テーブル記憶部831、イベントテーブル記憶部833及び関連テーブル記憶部835は、ハードウエア資源(例えば、図45)を用いて実現される。
以下、マルチディスプレイシステムにおけるシーケンスについて説明する。まず、左側の表示面105と右側の表示面107とが並べられた全体画面上にウインドウを生成する場合のシーケンスについて説明する。
図9に、初期段階のシーケンス例を示す。クライアント端末101の第1初期化部609は、クライアント端末101のOS601にウインドウを生成させる(S901)。クライアント端末101の第1初期化部609は、クライアント端末101の第1ブラウザ603によるコンテンツデータ103のブラウジング処理を起動する(S903)。クライアント端末101の第1初期化部609は、アプリケーションテーブルにアプリケーションレコードを追加する(S905)。尚、第1初期化部609は、第1ブラウザ603の内部に設けられていてもよい。
図10に、アプリケーションテーブルの例を示す。この例におけるアプリケーションテーブルは、アプリケーションに対応するレコード(以下、アプリケーションレコードという。)を有している。アプリケーションは、コンテンツデータ103に対応するものとする。アプリケーションレコードは、アプリケーションIDを設定するためのフィールドと、クライアント端末IDを設定するためのフィールドと、ウインドウIDを設定するためのフィールドと、各表示制御装置IDを設定するためのフィールドと、HTMLファイル名を設定するためのフィールドと、CSSファイル名を設定するためのフィールドとを有している。クライアント端末IDは、当該クライアント端末101のIDである。ウインドウIDは、ブラウジング処理による画面を表示するウインドウを識別する。表示制御装置IDは、当該ウインドウの一部を表示する表示装置751を制御する装置を識別する。
図9の説明に戻る。クライアント端末101の第1受付部611が、コンテンツ伝送の指示を受け付けたと判定すると(S907)、クライアント端末101の第1送信部605は、第1表示制御装置201、第2表示制御装置203及びサーバ装置205へウインドウ生成の指示を送信する(S909)。ウインドウ生成の指示は、ウインドウIDを含む。当該指示は、ウインドウの位置、ウインドウサイズや表示制御装置の指定に関するデータを含んでもよい。
第1表示制御装置201の第2受信部707は、ウインドウ生成の指示を受信する(S911)。第2表示制御装置203の第2受信部707も、ウインドウ生成の指示を受信する(S913)。
更に、サーバ装置205の第3受信部803も、ウインドウ生成の指示を受信する(S915)。サーバ装置205の第3初期化部805は、管理テーブルを生成する(S917)。
図11に、管理テーブルの例を示す。この例では、管理テーブルのヘッダ部において、ウインドウIDを保持する。この例における管理テーブルは、各座標系に対応するレコードを有している。ウインドウデータのレコードは、ウインドウの位置を設定するためのフィールドと、ウインドウサイズを設定するためのフィールドとを有している。
ウインドウの位置は、ウインドウの基準点を指すX座標とY座標とによって特定される。この例では、ウインドウの左上端点が基準点である。ウインドウサイズは、幅と高さによって特定される。尚、ウインドウにおける他の点(例えば、重心)を、ウインドウの基準点としてもよい。
この例において、管理テーブルの第1レコードには、全体座標系のウインドウデータが設定される。同じく管理テーブルの第2レコードには、第1表示制御装置201の表示座標系のウインドウデータが設定される。同じく管理テーブルの第3レコードには、第2表示制御装置203の表示座標系のウインドウデータが設定される。
この例における管理テーブルの第1レコードは、ウインドウID「W1」によって識別されるウインドウが、全体座標系における位置(1000,500)に、幅「2000」と高さ「2000」とのサイズで設定されることを示している。また、ウインドウID「W1」によって識別されるウインドウが、第1表示制御装置201の表示座標系における位置(1000,500)に、幅「2000」と高さ「2000」とのサイズで設定されることを示している。更に、ウインドウID「W1」によって識別されるウインドウが、第2表示制御装置203の表示座標系における位置(−1000,500)に、幅「2000」と高さ「2000」とのサイズで設定されることを示している。複数のウインドウが生成される場合には、複数の管理テーブルが設けられる。
全体座標系におけるウインドウの位置について説明する。この例におけるコンテンツ画像109を表示するウインドウの幅は、2000(ドット)である。同じくウインドウの高さも、2000(ドット)である。そして、左上端点は、全体座標系における位置(1000,500)に該当する。つまり、全体座標系における位置(1000,500)に、ウインドウの基準点が設定されている。右下端点は、全体座標系における位置(3000,2500)に該当する。
第1表示制御装置201の表示座標系におけるウインドウの位置について説明する。上述したように、第1表示制御装置201の表示座標系は、図1に示した左側の表示面105の表示座標系を意味する。左側の表示面105の幅は、2000(ドット)であり、左側の表示面105の高さは、3000(ドット)である。そして、コンテンツ画像109を表示するウインドウの基準点(この例では、ウインドウの左上端点)は、第1表示制御装置201の表示座標系における位置(1000,500)に該当する。尚、コンテンツ画像109を表示するウインドウの右下端点は、第1表示制御装置201の表示座標系における位置(3000,2500)に該当する。
第2表示制御装置203の表示座標系におけるウインドウの位置について説明する。上述したように、第2表示制御装置203の表示座標系は、図1に示した右側の表示面107の表示座標系を意味する。右側の表示面107の幅は、2000(ドット)であり、右側の表示面107の高さは、3000(ドット)である。そして、コンテンツ画像109を表示するウインドウの基準点(この例では、ウインドウの左上端点)は、第2表示制御装置203の表示座標系における位置(−1000,500)に該当する。尚、コンテンツ画像109を表示するウインドウの右下端点は、第2表示制御装置203の表示座標系における位置(1000,2500)に該当する。
図9の説明に戻る。図9に示すシーケンスから、端子A1、端子B1、端子C1及び端子D1を介して、図12に示すシーケンスに移る。
サーバ装置205の第3送信部801は、第1表示制御装置201のウインドウデータを第1表示制御装置201へ送信する(S1201)。ウインドウデータは、第1表示制御装置201の表示座標系によるウインドウ位置及びウインドウサイズを含む。第1表示制御装置201の第2初期化部709は、ウインドウテーブルにウインドウレコードを追加し、当該レコードに受信したウインドウデータに含まれるウインドウ位置及びウインドウサイズを設定する(S1203)。
図13に、ウインドウテーブルの例を示す。この例におけるウインドウテーブルは、ウインドウに対応するレコード(以下、ウインドウレコードという。)を有している。ウインドウレコードは、ウインドウIDを設定するためのフィールドと、ウインドウ位置を設定するためのフィールドと、ウインドウサイズを設定するためのフィールドとを有している。ウインドウIDは、当該ウインドウを識別する。ウインドウ位置は、当該表示制御装置の表示座標系における当該ウインドウの位置である。
図12の説明に戻る。サーバ装置205の第3送信部801は、第2表示制御装置203のウインドウデータを送信する(S1205)。ウインドウデータは、第2表示制御装置203の表示座標系によるウインドウ位置及びウインドウサイズを含む。第2表示制御装置203の第2初期化部709は、ウインドウテーブルにウインドウレコードを追加し、当該レコードに受信したウインドウデータに含まれるウインドウ位置及びウインドウサイズを設定する(S1207)。
一方、クライアント端末101の第1送信部605は、コンテンツデータ103であるHTMLファイルとCSSファイルとを第1表示制御装置201及び第2表示制御装置203へ送信する(S1209)。
第1表示制御装置201の第2受信部707は、HTMLファイルとCSSファイルとを受信すると、HTMLファイル名とCSSファイル名とを、コンテンツテーブルのコンテンツレコードに設定し、HTMLファイルとCSSファイルを第1表示制御装置201の第2コンテンツ記憶部735に記憶する(S1211)。
図14に、コンテンツテーブルの例を示す。この例におけるコンテンツテーブルは、コンテンツデータ103に対応するレコード(以下、コンテンツレコードという。)を有している。コンテンツレコードは、ウインドウIDを設定するためのフィールドと、HTMLファイル名を設定するためのフィールドと、CSSファイル名を設定するためのフィールドとを有している。ウインドウIDは、当該コンテンツを表示するウインドウを識別する。
図12の説明に戻る。第1表示制御装置201の第2初期化部709は、ウインドウデータに基づいて、第1表示制御装置201のOS701にウインドウを生成させる(S1213)。第1表示制御装置201の第2初期化部709は、第1表示制御装置201の第2ブラウザ703によるコンテンツデータ103のブラウジング処理を起動する(S1215)。
第2表示制御装置203の第2受信部707は、HTMLファイルとCSSファイルとを受信すると、HTMLファイル名とCSSファイル名とを、コンテンツテーブルのコンテンツレコードに設定し、HTMLファイルとCSSファイルを第2表示制御装置203の第2コンテンツ記憶部735に記憶する(S1217)。
第2表示制御装置203の第2初期化部709は、ウインドウデータに基づいて、第2表示制御装置203のOS701にウインドウを生成させる(S1219)。第2表示制御装置203の第2初期化部709は、第2表示制御装置203の第2ブラウザ703によるコンテンツデータ103のブラウジング処理を起動する(S1221)。端子B2及び端子D2を介して、図15に示すシーケンスに移る。
図15以降、図4に示したパターンにおけるシーケンスについて説明する。第1表示制御装置201の第2受付部711は、OS701からタッチ開始のイベントを受け付ける(S1501)。第1表示制御装置201の第1算出部713は、タッチ開始のイベントが発生したウインドウ内位置を算出する(S1503)。つまり、第1算出部713は、ウインドウデータに基づいて、全体座標系における位置をウインドウ座標系の位置に変換する。第1表示制御装置201の第2送信部705は、第1イベントデータをサーバ装置205へ送信する(S1505)。第1イベントデータは、イベントID、ウインドウID、ウインドウ内位置及びイベント種別(タッチ開始)を含んでいる。
サーバ装置205の第3受信部803が第1イベントデータを受信すると(S1507)、サーバ装置205の種別判定部807は、当該イベントの種別がタッチ開始であるか否かを判定する。サーバ装置205の種別判定部807が当該イベントの種別がタッチ開始であると判定すると(S1509)、サーバ装置205の近接判定部809は、第1イベントの位置の近くで発生しているイベントが有るか否かを判定する。この判定処理については、図21において詳述する。ここでは、サーバ装置205の近接判定部809は、近くで発生しているイベントが無いと判定する(S1511)。
近くで発生しているイベントが無い場合には、サーバ装置205の第2特定部811は、メインの表示制御装置IDを特定する(S1513)。メインの表示制御装置IDは、このタッチ開始から始まるイベント群を取りまとめる表示制御装置を識別する。具体的には、第1イベントデータの送信元である表示制御装置のIDが特定される。
サーバ装置205の登録部813は、イベントレコードを追加する(S1515)。図16に、イベントテーブルの例を示す。この例におけるイベントテーブルは、有効イベントに対応するレコード(以下、イベントレコードという。)を有している。イベントレコードは、有効イベントIDを設定するためのフィールドと、メインの表示制御装置IDを設定するためのフィールドと、ウインドウIDを設定するためのフィールドと、イベント種別を設定するためのフィールドと、ウインドウ内位置を設定するためのフィールドと、タイムスタンプを設定するためのフィールドとを有している。有効イベントIDは、S1507で受信した第1イベントデータに含まれるイベントIDである。メインの表示制御装置IDは、S1507で受信した第1イベントデータの送信元装置を識別する。ウインドウIDは、当該イベントが発生したウインドウを識別する。イベント種別は、最後に発生したイベントの種別である。具体的には、タッチ開始、タッチ移動或いはタッチ終了のいずれかが設定される。ウインドウ内位置は、最後に発生したイベントの位置であって、ウインドウ座標系を基準とする。タイムスタンプは、最後にイベントが発生した時点を特定する。
図15の説明に戻る。サーバ装置205の登録部813は、イベントレコードにタイムスタンプを付する(S1517)。サーバ装置205の第3送信部801は、メインの表示制御装置(この例では、第1表示制御装置201)へ第2イベントデータを送信する(S1519)。第2イベントデータは、イベントID、ウインドウID、ウインドウ内位置及びイベント種別(タッチ開始)を含んでいる。
第1表示制御装置201の第2受信部707は、第2イベントデータを受信する(S1521)。端子B3を介して、図17に示すシーケンスに移る。
クライアント端末101の処理は、端子A2を介して図12に示した処理から続く。第2表示制御装置203の処理は、端子C2を介して図12に示した処理から続く。第1表示制御装置201の第1特定部715は、イベントが発生した位置を含む表示要素を特定する(S1701)。このとき、第1表示制御装置201の第1特定部715は、表示要素の領域を第2ブラウザ703に問い合わせる。更に、第1表示制御装置201の第2算出部717は、表示要素の領域に基づいて、表示要素内の位置を算出する(S1703)。つまり、ウインドウ座標系のイベント発生位置を、表示要素座標系のイベント発生位置に変換する。第1表示制御装置201の第2送信部705は、第3イベントデータをクライアント端末101へ送信する(S1705)。第3イベントデータは、イベントID、ウインドウID、表示要素ID、表示要素内の位置及びイベント種別(タッチ開始)を含んでいる。
クライアント端末101の第1受信部607が第3イベントデータを受信すると(S1707)、クライアント端末101の発火部613は、イベントを発火させる(S1709)。この処理によって、第2ブラウザ703において第3イベントデータに基づくイベントが発生する。そして、HTMLファイルに含まれる表示要素データが更新されることがある。クライアント端末101の第1送信部605は、HTMLファイル(又は更新された表示要素データ)を第1表示制御装置201及び第2表示制御装置203へ送信する(S1711)。
第1表示制御装置201の第2受信部707がHTMLファイル(又は更新された表示要素データ)を受信すると(S1713)、第1表示制御装置201の第1更新部719は、HTMLファイルを更新し、ブラウジング処理に供する(S1715)。
第2表示制御装置203の第2受信部707がHTMLファイル(又は更新された表示要素データ)を受信すると(S1717)、第2表示制御装置203の第1更新部719は、HTMLファイルを更新し、ブラウジング処理に供する(S1719)。端子B4を介して、図18に示すシーケンスに移る。
サーバ装置205の処理は、端子D3を介して図15に示した処理から続く。続いて、第1表示制御装置201の第2受付部711は、OS701からタッチ移動のイベントを受け付ける(S1801)。第1表示制御装置201の第1算出部713は、タッチ移動のイベントが発生したウインドウ内位置を算出する(S1803)。そして、第1表示制御装置201の第2送信部705は、第1イベントデータをサーバ装置205へ送信する(S1805)。第1イベントデータは、イベントID、ウインドウID、ウインドウ内位置及びイベント種別(タッチ移動)を含んでいる。
サーバ装置205の第3受信部803が第1イベントデータを受信すると(S1807)、サーバ装置205の種別判定部807は、当該イベントの種別がタッチ移動であるか否かを判定する。サーバ装置205の種別判定部807が当該イベントの種別がタッチ移動であると判定すると(S1809)、サーバ装置205の第2特定部811は、第1イベントデータに含まれるイベントIDと同じイベントIDのイベントレコードがあるか否かをと判定する。同じイベントIDのイベントレコードがあると判定すると(S1811)、サーバ装置205の第2特定部811は、当該イベントレコードに含まれるメインの表示制御装置IDを特定する(S1813)。更に、サーバ装置205の第2更新部815は、当該イベントレコードに含まれるイベント種別、ウインドウ内位置及びタイムスタンプを更新する(S1815)。そして、サーバ装置205の第3送信部801は、メインの表示制御装置(この例では、第1表示制御装置201)へ第2イベントデータを送信する(S1817)。第2イベントデータは、イベントID、ウインドウID、ウインドウ内位置及びイベント種別(タッチ移動)を含んでいる。
第1表示制御装置201の第2受信部707は、第2イベントデータを受信する(S1819)。端子B5を介して、図19に示すシーケンスに移る。
クライアント端末101の処理は、端子A3を介して図17に示した処理から続く。第2表示制御装置203の処理は、端子C3を介して図17に示した処理から続く。図19に示すシーケンスでは、タッチ移動のイベントに関して、S1901からS1919において、図17のS1701からS1719の処理と同様の処理を行う。また、後続するタッチ移動のイベントに関して、上述した一連の処理が繰り返される。そして、端子B6を介して、図20に示すシーケンスに移る。
サーバ装置205の処理は、端子D4を介して図18に示した処理から続く。第1表示制御装置201の第2受付部711がOS701からタッチ終了のイベントを受け付けると(S2001)、第1表示制御装置201の第1算出部713は、タッチ終了のイベントが発生したウインドウ内位置を算出する(S2003)。第1表示制御装置201の第2送信部705は、第1イベントデータをサーバ装置205へ送信する(S2005)。第1イベントデータは、イベントID、ウインドウID、ウインドウ内位置及びイベント種別(タッチ終了)を含んでいる。
サーバ装置205の第3受信部803が第1イベントデータを受信すると(S2007)、サーバ装置205の種別判定部807は、当該イベントの種別がタッチ終了であるか否かを判定する。この例では、サーバ装置205の種別判定部807が当該イベントの種別がタッチ終了であると判定し(S2009)、サーバ装置205の第2特定部811は、第1イベントデータに含まれるイベントIDと同じイベントIDのイベントレコードがあると判定する(S2011)。サーバ装置205の第2更新部815は、イベント種別、イベントレコードにおけるイベント種別、ウインドウ内位置及びタイムスタンプを更新する(S2013)。そして、タッチ終了のイベントに対する処理を終える。但し、タッチ終了のイベントをタッチ移動のイベントに変換するようにしてもよい。
尚、サーバ装置205の経過判定部817は、各イベントレコードについてタイムスタンプから所定時間経過したか否かの判定を繰り返している。この段階では、当該イベントレコードのタイムスタンプから所定時間経過していないと判定する(S2015)。端子D5を介して、図21に示すシーケンスに移る。
第2表示制御装置203の処理は、端子C4を介して図19に示した処理から続く。第2表示制御装置203の第2受付部711がOS701からタッチ開始のイベントを受け付けると(S2101)、第2表示制御装置203の第1算出部713は、タッチ開始のイベントが発生したウインドウ内位置を算出する(S2103)。第2表示制御装置203の第2送信部705は、第1イベントデータをサーバ装置205へ送信する(S2105)。第1イベントデータは、イベントID、ウインドウID、ウインドウ内位置及びイベント種別(タッチ開始)を含んでいる。
この段階で、サーバ装置205の経過判定部817は、S2015の処理の場合と同様にタイムスタンプから所定時間経過していないと判定しているものとする(S2107)。サーバ装置205の第3受信部803が第1イベントデータを受信すると(S2109)、サーバ装置205の種別判定部807は、当該イベントの種別がタッチ開始であると判定する(S2111)。
このとき、サーバ装置205の近接判定部809は、近くで発生しているイベントが有るか否かを判定する。近接判定部809は、例えばイベントレコードに設定されているウインドウ内位置と第1イベントデータに含まれるウインドウ内位置の距離が閾値を下回る場合に、近くで発生しているイベントが有ると判定する。また、近接判定部809は、イベントレコードに設定されているウインドウ内位置が、隣の表示領域と接する辺から所定距離以内であり、更に第1イベントデータに含まれるウインドウ内位置が隣の表示領域と接する辺から所定距離以内であることを条件に加えるようにしてもよい。更に、近接判定部809は、イベントレコードに設定されているイベント種別が、タッチ終了であり、更に第1イベントデータに含まれるイベント種別が、タッチ開始であることを条件に加えるようにしてもよい。
サーバ装置205の近接判定部809が、近くで発生しているイベントが有ると判定すると(S2113)、サーバ装置205の対応付け部825は、関連テーブルに関連レコードを追加する(S2115)。
図22に、関連テーブルの例を示す。この例における関連テーブルは、イベントの関連付けのレコード(以下、関連レコードという。)を有している。関連レコードは、メインイベントIDを設定するためのフィールドと、サブイベントIDを設定するためのフィールドとを有している。メインイベントIDは、関連レコードが追加される際に近くで発生しているイベントのIDである。サブイベントIDは、関連レコードが追加される際に第1イベントデータに含まれているイベントのIDである。
図21の説明に戻る。図21に示すシーケンスから端子C5及び端子D6を介して、図23に示すシーケンスに移る。
第1表示制御装置201の処理は、端子B7を介して図20に示した処理から続く。第2表示制御装置203の第2受付部711は、OS701からタッチ移動のイベントを受け付ける(S2301)。第2表示制御装置203の第1算出部713は、タッチ移動のイベントが発生したウインドウ内位置を算出する(S2303)。そして、第2表示制御装置203の第2送信部705は、第1イベントデータをサーバ装置205へ送信する(S2305)。第1イベントデータは、イベントID、ウインドウID、ウインドウ内位置及びイベント種別(タッチ移動)を含んでいる。
サーバ装置205の第3受信部803が第1イベントデータを受信すると(S2307)、サーバ装置205の種別判定部807は、当該イベントの種別がタッチ移動であると判定する(S2309)。サーバ装置205の第2特定部811が第1イベントデータに含まれるイベントIDが有効イベントIDのフィールドに設定されているイベントレコードがないと判定すると(S2311)、サーバ装置205の第2特定部811は、メインイベントIDを特定する(S2313)。具体的には、第1イベントデータに含まれるイベントIDがサブイベントIDのフィールドに設定されている関連レコードにおけるメインイベントIDが特定される。
サーバ装置205の第2特定部811は、メインの表示制御装置IDを特定する(S2315)。具体的には、メインイベントIDが有効イベントIDのフィールドに設定されているイベントレコードにおけるメインの表示制御装置IDが特定される。サーバ装置205の第2更新部815は、当該イベントレコードにおけるイベント種別、ウインドウ内位置及びタイムスタンプを更新する(S2317)。サーバ装置205の変換部819は、第1イベントデータに含まれるイベントIDをメインイベントIDに変換して、第2イベントデータを生成する(S2319)。サーバ装置205の第3送信部801は、メインの表示制御装置(この例では、第1表示制御装置201)へ第2イベントデータを送信する(S2321)。第2イベントデータは、イベントID、ウインドウID、ウインドウ内位置及びイベント種別(タッチ移動)を含んでいる。
第1表示制御装置201の第2受信部707は、第2イベントデータを受信する(S2323)。端子B8及び端子C6を介して、図24に示すシーケンスに移る。
クライアント端末101の処理は、端子A4を介して図19に示した処理から続く。図24に示すシーケンスでは、タッチ移動のイベントに関して、S2401からS2419において、図17のS1701からS1719の処理と同様の処理を行う。また、後続するタッチ移動のイベントに関して、上述した一連の処理が繰り返される。そして、端子C7を介して、図25に示すシーケンスに移る。
サーバ装置205の処理は、端子D7を介して図23に示した処理から続く。第2表示制御装置203の第2受付部711がOS701からタッチ終了のイベントを受け付けると(S2501)、第2表示制御装置203の第1算出部713は、タッチ終了のイベントが発生したウインドウ内位置を算出する(S2503)。第2表示制御装置203の第2送信部705は、第1イベントデータをサーバ装置205へ送信する(S2505)。第1イベントデータは、イベントID、ウインドウID、ウインドウ内位置及びイベント種別(タッチ終了)を含んでいる。
サーバ装置205の第3受信部803が第1イベントデータを受信すると(S2507)、サーバ装置205の種別判定部807は、当該イベントの種別がタッチ終了であると判定する(S2509)。また、サーバ装置205の第2特定部811は、第1イベントデータに含まれるイベントIDと同じ有効イベントIDのイベントレコードがないと判定する(S2511)。サーバ装置205の第2特定部811は、関連レコードに基づいてメインイベントIDを特定する(S2513)。
サーバ装置205の第2特定部811は、イベントレコードに基づいてメインの表示制御装置IDを特定する(S2515)。サーバ装置205の第2更新部815は、当該イベントレコードにおけるイベント種別、ウインドウ内位置及びタイムスタンプを更新する(S2517)。サーバ装置205の経過判定部817は、当該イベントレコードのタイムスタンプから所定時間経過していないと判定する(S2519)。端子D8を介して、図26に示すシーケンスに移る。
第1表示制御装置201の処理は、端子B9を介して図24に示した処理から続く。ここで、サーバ装置205の経過判定部817は、図25のS2519の処理において判定対象であったイベントレコードについて、タイムスタンプから所定時間経過したと判定する(S2601)。サーバ装置205の生成部823は、所定時間経過したタイムスタンプが設定されているイベントレコードに基づいて、タッチ終了の第2イベントデータを生成する(S2603)。第2イベントデータは、ウインドウID、ウインドウ内位置及びイベント種別(タッチ終了)の他に、図25のS2513において特定されたメインイベントIDを含む。サーバ装置205の第3送信部801は、メインの表示制御装置へ第2イベントデータを送信する(S2605)。
第1表示制御装置201の第2受信部707は、第2イベントデータを受信する(S2607)。
一方、サーバ装置205の消去部821は、第2イベントデータに含まれるイベントIDに対応するイベントレコードを消去する(S2609)。サーバ装置205の消去部821は、更に、当該イベントIDがいずれかのフィールドに設定されている関連レコードを消去する(S2611)。端子B10を介して、図27に示すシーケンスに移る。
クライアント端末101の処理は、端子A5を介して図24に示した処理から続く。第2表示制御装置203の処理は、端子C8を介して図25に示した処理から続く。図27に示すシーケンスでは、タッチ終了のイベントに関して、S2701からS2719において、図17のS1701からS1719の処理と同様の処理を行う。そして、図4に示したパターンについて当該イベントに関する処理が完了する。
次に、図5に示したパターンにおけるシーケンスについて説明する。図28に、図20に示したシーケンスに続くシーケンスを示す。つまり、第1表示制御装置201の処理は、端子B7を介して図20に示した処理から続く。サーバ装置205の処理は、端子D5を介して図20に示した処理から続く。
この段階で、サーバ装置205の経過判定部817は、図20に示すS2015の処理において判定対象であったイベントレコードについて、タイムスタンプから所定時間経過したと判定する(S2801)。サーバ装置205の生成部823は、所定時間経過したタイムスタンプが設定されているイベントレコードに基づいて、タッチ終了の第2イベントデータを生成する(S2803)。第2イベントデータは、ウインドウID、ウインドウ内位置及びイベント種別(タッチ終了)の他に、当該イベントレコードに設定されているイベントID、つまりメインイベントIDを含む。サーバ装置205の第3送信部801は、メインの表示制御装置(この例では、第1表示制御装置201)へ第2イベントデータを送信する(S2805)。
第1表示制御装置201の第2受信部707は、第2イベントデータを受信する(S2807)。
一方、サーバ装置205の消去部821は、第2イベントデータに含まれるイベントIDに対応するイベントレコードを消去する(S2809)。サーバ装置205の消去部821は、更に、当該イベントIDがいずれかのフィールドに設定されている関連レコードを消去する(S2811)。端子B11を介して、図29に示すシーケンスに移る。
クライアント端末101の処理は、端子A4を介して図19に示した処理から続く。第2表示制御装置203の処理は、端子C4を介して図19に示した処理から続く。図29に示すシーケンスでは、タッチ終了のイベントに関して、S2901からS2919において、図17のS1701からS1719の処理と同様の処理を行う。そして、図5に示したパターンについて当該イベントに関する処理が完了する。
本実施の形態によれば、複数の表示装置の表示面に跨る操作を、一連の操作として扱えるようになる。
また、ウインドウ座標系に基づくので、位置関係を特定する処理が簡単になる。
[実施の形態2]
本実施の形態では、実施の形態1におけるイベント開始以降のサーバ装置205における処理を、メインの表示制御装置(この例では、第1表示制御装置201)において行う例について説明する。
図30に、実施の形態2に係る第1表示制御装置201のモジュール構成例を示す。実施の形態2に係る第1表示制御装置201は、図7に示したモジュールに加えて、種別判定部807、近接判定部809、第2特定部811、登録部813、第2更新部815、経過判定部817、変換部819、消去部821、生成部823、対応付け部825、イベントテーブル記憶部833及び関連テーブル記憶部835を有する。また、第1表示制御装置201は、端判定部827及び転送テーブル記憶部837を有する。端判定部827は、位置が表示面の端に該当するか否かを判定する。転送テーブル記憶部837は、他の表示制御装置にデータを転送すべきイベント毎に転送レコードを有する。転送レコードは、転送先を特定する表示制御装置IDと当該イベントのIDとを対応付ける。
図31を用いて、図4に示したパターンにおけるシーケンスについて説明する。第1表示制御装置201の処理は、端子B2を介して図12に示した処理から続く。第1表示制御装置201の第2受付部711は、OS701からタッチ開始のイベントを受け付ける(S3101)。第1表示制御装置201の第1算出部713は、タッチ開始のイベントが発生したウインドウ内位置を算出する(S3103)。そして、第1表示制御装置201の種別判定部807は、当該イベントの種別がタッチ開始であるか否かを判定する。そして、第1表示制御装置201の種別判定部807がタッチ開始であると判定すると(S3105)、第1表示制御装置201の近接判定部809は、近くで発生しているイベントが有るか否かを判定する。この例では、第1表示制御装置201の端判定部827がタッチ位置が表示面の端に該当しないと判定するので、第1表示制御装置201の近接判定部809は近くで発生しているイベントが無いと判定する。尚、タッチ位置が表示面の端に該当する場合には、隣接する表示面の表示制御装置に対して近くでイベントが発生しているか問い合わせる。第1表示制御装置201の近接判定部809が近くで発生しているイベントが無いと判定すると(S3107)、第1表示制御装置201の登録部813は、イベントレコードを追加する(S3109)。更に、第1表示制御装置201の登録部813は、タイムスタンプを付する(S3111)。端子E1を介して、図32に示すシーケンスに移る。
クライアント端末101の処理は、端子A2を介して図12に示した処理から続く。第2表示制御装置203の処理は、端子C2を介して図12に示した処理から続く。図32に示すシーケンスでは、タッチ開始のイベントに関して、S3201からS3219において、図17のS1701からS1719の処理と同様の処理を行う。そして、端子E2を介して、図33に示すシーケンスに移る。
第1表示制御装置201の第2受付部711がOS701からタッチ移動のイベントを受け付けると(S3301)、第1表示制御装置201の第1算出部713は、タッチ移動のイベントが発生したウインドウ内位置を算出する(S3303)。第1表示制御装置201の第2送信部705は、当該イベントのIDが設定されている転送レコードがあるか否かを判定する。この例では、当該イベントのIDが設定されている転送レコードがないので、イベントデータを転送しないと判定する(S3304)。そして、第1表示制御装置201の種別判定部807が当該イベントの種別がタッチ移動であると判定すると(S3305)、第1表示制御装置201の第2更新部815は、当該イベントのIDが有効イベントIDのフィールドに設定されているイベントレコードにおけるイベント種別、ウインドウ内位置及びタイムスタンプを更新する(S3307)。端子E3を介して、図34に示すシーケンスに移る。
クライアント端末101の処理は、端子F1を介して図32に示した処理から続く。第2表示制御装置203の処理は、端子G1を介して図32に示した処理から続く。図34に示すシーケンスでは、タッチ移動のイベントに関して、S3401からS3419において、図17のS1701からS1719の処理と同様の処理を行う。そして、端子E4を介して、図35に示すシーケンスに移る。
第1表示制御装置201の第2受付部711がOS701からタッチ終了のイベントを受け付けると(S3501)、第1表示制御装置201の第1算出部713は、タッチ終了のイベントが発生したウインドウ内位置を算出する(S3503)。第1表示制御装置201の第2送信部705は、当該イベントのIDが設定されている転送レコードがあるか否かを判定する。この例では、第1表示制御装置201の第2送信部705は、当該イベントのIDが設定されている転送レコードがないので、イベントデータを転送しないと判定する(S3504)。第1表示制御装置201の種別判定部807が当該イベントの種別がタッチ終了であると判定すると(S3505)、第1表示制御装置201の第2更新部815は、当該イベントのIDに対応するイベントレコードにおけるイベント種別、ウインドウ内位置及びタイムスタンプを更新する(S3507)。この段階で、第1表示制御装置201の経過判定部817は、当該タイムスタンプから所定時間経過していないと判定する(S3509)。また、後続するタッチ移動のイベントに関して、上述した一連の処理が繰り返される。そして、端子E5を介して、図36に示すシーケンスに移る。
第2表示制御装置203の処理は、端子G2を介して図34に示した処理から続く。第2表示制御装置203の第2受付部711がOS701からタッチ開始のイベントを受け付けると(S3601)、第2表示制御装置203の第1算出部713は、タッチ開始のイベントが発生したウインドウ内位置を算出する(S3603)。そして、第2表示制御装置203の第2送信部705は、第1イベントデータを送信する(S3605)。第1イベントデータは、イベントID、ウインドウID、ウインドウ内位置及びイベント種別(タッチ開始)を含んでいる。
この段階で、第1表示制御装置201の経過判定部817は、図35に示したS3509の処理の場合と同様にタイムスタンプから所定時間経過していないと判定しているものとする(S3607)。第1表示制御装置201の第2受信部707が第1イベントデータを受信すると(S3609)、第1表示制御装置201の種別判定部807は、当該イベントの種類がタッチ開始であると判定する(S3611)。そして、第1表示制御装置201の近接判定部809が近くで発生しているイベントが有ると判定すると(S3613)、第1表示制御装置201の第2送信部705は、転送要の通知(イベントIDを含む。)を第2表示制御装置203へ送る(S3614)と共に、第1表示制御装置201の対応付け部825は、関連テーブルに関連レコードを追加する(S3615)。メインイベントIDのフィールドには、関連レコードが追加される際に近くで発生しているイベントのIDが設定される。サブイベントIDには、関連レコードが追加される際に第1イベントデータに含まれているイベントのIDが設定される。第2表示制御装置203の第2受信部707が転送要の通知を受信すると(S3617)、第2表示制御装置203の対応付け部825は、転送レコードを追加する(S3619)。転送レコードには、転送要の通知に含まれるイベントIDと、当該通知の送信元に相当する第1表示制御装置201のIDが設定される。端子E6及び端子G3を介して、図37に示すシーケンスに移る。
第2表示制御装置203の第2受付部711がOS701からタッチ移動のイベントを受け付けると(S3701)、第2表示制御装置203の第1算出部713は、タッチ移動のイベントが発生したウインドウ内位置を算出する(S3703)。第2表示制御装置203の第2送信部705は、当該イベントのIDが設定されている転送レコードがあるか否かを判定する。この例では、第2表示制御装置203の第2送信部705は、当該イベントのIDが設定されている転送レコードがあるので、イベントデータを転送すると判定する(S3704)。そして、第2表示制御装置203の第2送信部705は、第1イベントデータを第1表示制御装置201へ送信する(S3705)。第1イベントデータは、イベントID、ウインドウID、ウインドウ内位置及びイベント種別(タッチ移動)を含んでいる。
第1表示制御装置201の第2受信部707が第1イベントデータを受信すると(S3707)、第1表示制御装置201の種別判定部807は、当該イベントの種別がタッチ移動であると判定する(S3709)。第1表示制御装置201の第2特定部811は、メインイベントIDを特定する(S3711)。具体的には、第1イベントデータに含まれるイベントIDがサブイベントIDのフィールドに設定されている関連レコードにおけるメインイベントIDが特定される。第1表示制御装置201の第2更新部815は、メインイベントIDが有効イベントIDのフィールドに設定されているイベントレコードにおけるイベント種別、ウインドウ内位置及びタイムスタンプを更新する(S3713)。第1表示制御装置201の変換部819は、第1イベントデータのイベントIDをメインイベントIDに変換して、第2イベントデータを生成する(S3715)。端子E7及び端子G4を介して、図38に示すシーケンスに移る。
クライアント端末101の処理は、端子F2を介して図34に示した処理から続く。図38に示すシーケンスでは、タッチ移動のイベントに関して、S3801からS3819において、図17のS1701からS1719の処理と同様の処理を行う。端子E8及び端子G5を介して、図39に示すシーケンスに移る。
第2表示制御装置203の第2受付部711がOS701からタッチ終了のイベントを受け付けると(S3901)、第2表示制御装置203の第1算出部713は、タッチ終了のイベントが発生したウインドウ内位置を算出する(S3903)。第2表示制御装置203の第2送信部705は、当該イベントのIDが設定されている転送レコードがあるか否かを判定する。この例では、第2表示制御装置203の第2送信部705は、当該イベントのIDが設定されている転送レコードがあるので、イベントデータを転送すると判定する(S3904)。そして、第2表示制御装置203の第2送信部705は、第1イベントデータを第1表示制御装置201へ送信する(S3905)。第1イベントデータは、イベントID、ウインドウID、ウインドウ内位置及びイベント種別(タッチ終了)を含んでいる。第2表示制御装置203の消去部821は、当該転送レコードを消去する(S3906)。
第1表示制御装置201の第2受信部707が第1イベントデータを受信すると(S3907)、第1表示制御装置201の種別判定部807は、当該イベントの種別がタッチ終了であると判定する(S3909)。第1表示制御装置201の第2特定部811は、関連レコードに基づいてメインイベントIDを特定する(S3911)。第1表示制御装置201の第2更新部815は、有効イベントIDのフィールドに当該メインイベントIDが設定されているイベントレコードにおけるイベント種別、ウインドウ内位置及びタイムスタンプを更新する(S3913)。この段階で、第1表示制御装置201の経過判定部817は、当該タイムスタンプから所定時間経過していないと判定する(S3915)。端子E9を介して、図40に示すシーケンスに移る。
その後、第1表示制御装置201の経過判定部817が当該タイムスタンプから所定時間経過したと判定すると(S4001)。第1表示制御装置201の生成部823は、タッチ終了の第2イベントデータ(メインイベントIDを含む)を生成する(S4003)。第1表示制御装置201の消去部821は、メインイベントIDが有効イベントIDのフィールドに設定されているイベントレコードを消去する(S4005)。第1表示制御装置201の消去部821は、メインイベントIDを含む関連レコードを消去する(S4007)。端子E10を介して、図41に示すシーケンスに移る。
クライアント端末101の処理は、端子F3を介して図38に示した処理から続く。第2表示制御装置203の処理は、端子G6を介して図39に示した処理から続く。図41に示すシーケンスでは、タッチ終了のイベントに関して、S4101からS4119において、図17のS1701からS1719の処理と同様の処理を行う。そして、図4に示したパターンについて当該イベントに関する処理が完了する。
次に、図42を用いて、図5に示したパターンにおけるシーケンスについて説明する。第1表示制御装置201の処理は、端子E5を介して図35に示した処理から続く。第1表示制御装置201の経過判定部817がタイムスタンプから所定時間経過したと判定すると(S4201)、第1表示制御装置201の生成部823は、所定時間経過したタイムスタンプが設定されているイベントレコードに基づいて、タッチ終了の第2イベントデータを生成する(S4203)。第1表示制御装置201の消去部821は、メインイベントIDが有効イベントIDのフィールドに設定されているイベントレコードを消去する(S4205)。第1表示制御装置201の消去部821は、メインイベントIDを含む関連レコードを消去する(S4207)。端子E11を介して、図43に示すシーケンスに移る。
クライアント端末101の処理は、端子F2を介して図34に示した処理から続く。第2表示制御装置203の処理は、端子G2を介して図34に示した処理から続く。図43に示すシーケンスでは、タッチ終了のイベントに関して、S4301からS4319において、図17のS1701からS1719の処理と同様の処理を行う。そして、図5に示したパターンについて当該イベントに関する処理が完了する。
本実施の形態によれば、データ伝送量が比較的少なくて済む。
図44に、クライアント端末101のハードウエア構成例を示す。クライアント端末101は、プロセッサ4401、記憶部4403、アンテナ4411、無線制御部4413、オーディオ制御部4415、スピーカ4417、マイク4419、ディスプレイ4421、タッチパッド4423、カメラ4425及びGPS装置4427を有している。
プロセッサ4401は、モデムCPU(Central Processing Unit)とアプリケーションCPUからなることもある。記憶部4403は、例えば、ROM(Read Only Memory)4405とRAM(Random Access Memory)4407とフラッシュメモリ4409を有している。ROM4405は、例えば、予め設定されているデータやプログラムを格納している。RAM4407は、例えば、アプリケーションなどのプログラムやデータを展開する領域を含んでいる。フラッシュメモリ4409は、例えば、オペレーティングシステムやアプリケーションなどのプログラムを格納しており、更に随時データを格納する。
タッチパッド4423は、例えば、ディスプレイ4421の表示面上に配置されたパネル状のセンサであり、タッチ操作を受け付ける。ディスプレイ4421は、例えば、アプリケーションが表示させる各種画面を表示する。具体的には、ディスプレイ4421とタッチパッド4423とを一体としたタッチパネルとして用いられる。タッチパッド4423へのタッチ操作によって、タッチイベントが発生する。タッチパッド4423の他に、キーを設けるようにしてもよい。
アンテナ4411は、例えばセルラー方式の無線データを受信する。無線制御部4413は、無線通信の制御を行う。無線通信の制御により、電話の音声通信やデータ通信が行われる。
オーディオ制御部4415は、音データに関するアナログ/デジタル変換とデジタル/アナログ変換を行う。スピーカ4417は、アナログデータを音として出力する。マイク4419は、音をアナログデータに変換する。
カメラ4425は、動画や写真画像の撮影に用いられる。GPS装置4427は、位置を計測する。
以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上述の機能ブロック構成はプログラムモジュール構成に一致しない場合もある。
また、上で説明した各記憶領域の構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ、処理の順番を入れ替えることや複数の処理を並列に実行させるようにしても良い。
なお、上で述べた第1表示制御装置201、第2表示制御装置203及びサーバ装置205は、コンピュータ装置であって、図45に示すように、メモリ2501とCPU(Central Processing Unit)2503とハードディスク・ドライブ(HDD:Hard Disk Drive)2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティングシステム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
以上述べた本発明の実施の形態をまとめると、以下のようになる。
本実施の形態に係る情報処理装置は、マルチディスプレイシステムにおける第1表示面及び第2表示面に跨るウインドウ内で発生するイベントを制御する情報処理装置であって、(A)第1表示面におけるウインドウ内へのユーザ操作に伴う第1イベントが発生した第1位置を記録する記録部と、(B)所定の条件に従って、第2表示面におけるウインドウ内へのユーザ操作に伴う第2イベントが発生した第2位置が第1位置と近接すると判定した場合に、第1イベントのIDと第2イベントのIDとを対応付ける対応付け部と、(C)第2表示面におけるウインドウ内へのユーザ操作に伴う第3イベントのIDが第2イベントのIDと一致する場合に、第3イベントのIDを第1イベントのIDに変換する変換部とを含む。
このようにすれば、複数の表示装置の表示面に跨る操作を、一連の操作として扱えるようになる。
更に、第1位置及び第2位置が、ウインドウ座標系に基づくようにしてもよい。
このようにすれば、位置関係を特定する処理が簡単になる
更に、第1イベントのタイプは、ポインティング終了であってもよい。第2イベントのタイプは、ポインティング開始であってもよい。加えて、第3イベントのタイプは、ポイント移動であってもよい。
このようにすれば、複数の表示装置の表示面に跨るスライド操作を、一連のスライド操作として扱えるようになる。
所定の条件は、第1位置が第2表示面との境界付近であり、且つ第2位置が第1表示面との境界付近であるという条件を含むようにしてもよい。
このようにすれば、複数の表示装置の表示面に跨らない操作に対する誤動作を防げる。
対応付け部は、第1イベントが発生してから所定時間が経過していない場合に、第1位置と近接する第2位置に係る第2イベントが発生した場合に対応付けを行うようにしてもよい。
このようにすれば、一連でない操作に対する誤動作を防げる。
なお、上記情報処理装置の処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、CD−ROM、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納されるようにしてもよい。尚、中間的な処理結果は、一般的にメインメモリ等の記憶装置に一時保管される。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
マルチディスプレイシステムにおける第1表示面及び第2表示面に跨るウインドウ内で発生するイベントを制御する情報処理装置であって、
前記第1表示面における前記ウインドウ内へのユーザ操作に伴う第1イベントが発生した第1位置を記録する記録部と、
所定の条件に従って、前記第2表示面における前記ウインドウ内へのユーザ操作に伴う第2イベントが発生した第2位置が前記第1位置と近接すると判定した場合に、前記第1イベントのIDと前記第2イベントのIDとを対応付ける対応付け部と、
前記第2表示面における前記ウインドウ内へのユーザ操作に伴う第3イベントのIDが前記第2イベントのIDと一致する場合に、前記第3イベントのIDを前記第1イベントのIDに変換する変換部と
を含む情報処理装置。
(付記2)
前記第1位置及び前記第2位置は、ウインドウ座標系に基づく
付記1記載の情報処理装置。
(付記3)
前記第1イベントのタイプは、ポインティング終了であり、
前記第2イベントのタイプは、ポインティング開始であり、
前記第3イベントのタイプは、ポイント移動である
付記1又は2記載の情報処理装置。
(付記4)
前記所定の条件は、前記第1位置が前記第2表示面との境界付近であり、且つ前記第2位置が前記第1表示面との境界付近であるという条件を含む
付記1乃至3のいずれか1つ記載の情報処理装置。
(付記5)
前記対応付け部は、前記第1イベントが発生してから所定時間が経過していない場合に、前記第1位置と近接する前記第2位置に係る前記第2イベントが発生した場合に対応付けを行う
付記1乃至4のいずれか1つ記載の情報処理装置。
(付記6)
マルチディスプレイシステムにおける第1表示面及び第2表示面に跨るウインドウ内で発生するイベントを制御する情報処理方法であって、
前記第1表示面における前記ウインドウ内へのユーザ操作に伴う第1イベントが発生した第1位置を記録し、
所定の条件に従って、前記第2表示面における前記ウインドウ内へのユーザ操作に伴う第2イベントが発生した第2位置が前記第1位置と近接すると判定した場合に、前記第1イベントのIDと前記第2イベントのIDとを対応付け、
前記第2表示面における前記ウインドウ内へのユーザ操作に伴う第3イベントのIDが前記第2イベントのIDと一致する場合に、前記第3イベントのIDを前記第1イベントのIDに変換する
処理を含み、コンピュータにより実行される情報処理方法。
(付記7)
マルチディスプレイシステムにおける第1表示面及び第2表示面に跨るウインドウ内で発生するイベントを制御するコンピュータに、
前記第1表示面における前記ウインドウ内へのユーザ操作に伴う第1イベントが発生した第1位置を記録し、
所定の条件に従って、前記第2表示面における前記ウインドウ内へのユーザ操作に伴う第2イベントが発生した第2位置が前記第1位置と近接すると判定した場合に、前記第1イベントのIDと前記第2イベントのIDとを対応付け、
前記第2表示面における前記ウインドウ内へのユーザ操作に伴う第3イベントのIDが前記第2イベントのIDと一致する場合に、前記第3イベントのIDを前記第1イベントのIDに変換する
処理を実行させる情報処理プログラム。
101 クライアント端末 103 コンテンツデータ
105 表示面 107 表示面
109 コンテンツ画像 201 第1表示制御装置
203 第2表示制御装置 205 サーバ装置
601 OS 603 第1ブラウザ
605 第1送信部 607 第1受信部
609 第1初期化部 611 第1受付部
613 発火部 621 アプリケーションテーブル記憶部
623 第1コンテンツ記憶部 701 OS
703 第2ブラウザ 705 第2送信部
707 第2受信部 709 第2初期化部
711 第2受付部 713 第1算出部
715 第1特定部 717 第2算出部
719 第1更新部 721 表示処理部
731 ウインドウテーブル記憶部 733 コンテンツテーブル記憶部
735 第2コンテンツ記憶部 737 表示バッファ
739 描画バッファ 751 表示装置
753 タッチパネル装置 801 第3送信部
803 第3受信部 805 第3初期化部
807 種別判定部 809 近接判定部
811 第2特定部 813 登録部
815 第2更新部 817 経過判定部
819 変換部 821 消去部
823 生成部 825 対応付け部
827 端判定部 831 管理テーブル記憶部
833 イベントテーブル記憶部 835 関連テーブル記憶部
837 転送テーブル記憶部

Claims (7)

  1. マルチディスプレイシステムにおける第1表示面及び第2表示面に跨るウインドウ内で発生するイベントを制御する情報処理装置であって、
    前記第1表示面における前記ウインドウ内へのユーザ操作に伴う第1イベントが発生した第1位置を記録する記録部と、
    所定の条件に従って、前記第2表示面における前記ウインドウ内へのユーザ操作に伴う第2イベントが発生した第2位置が前記第1位置と近接すると判定した場合に、前記第1イベントのIDと前記第2イベントのIDとを対応付ける対応付け部と、
    前記第2表示面における前記ウインドウ内へのユーザ操作に伴う第3イベントのIDが前記第2イベントのIDと一致する場合に、前記第3イベントのIDを前記第1イベントのIDに変換する変換部と
    を含む情報処理装置。
  2. 前記第1位置及び前記第2位置は、ウインドウ座標系に基づく
    請求項1記載の情報処理装置。
  3. 前記第1イベントのタイプは、ポインティング終了であり、
    前記第2イベントのタイプは、ポインティング開始であり、
    前記第3イベントのタイプは、ポイント移動である
    請求項1又は2記載の情報処理装置。
  4. 前記所定の条件は、前記第1位置が前記第2表示面との境界付近であり、且つ前記第2位置が前記第1表示面との境界付近であるという条件を含む
    請求項1乃至3のいずれか1つ記載の情報処理装置。
  5. 前記対応付け部は、前記第1イベントが発生してから所定時間が経過していない場合に、前記第1位置と近接する前記第2位置に係る前記第2イベントが発生した場合に対応付けを行う
    請求項1乃至4のいずれか1つ記載の情報処理装置。
  6. マルチディスプレイシステムにおける第1表示面及び第2表示面に跨るウインドウ内で発生するイベントを制御する情報処理方法であって、
    前記第1表示面における前記ウインドウ内へのユーザ操作に伴う第1イベントが発生した第1位置を記録し、
    所定の条件に従って、前記第2表示面における前記ウインドウ内へのユーザ操作に伴う第2イベントが発生した第2位置が前記第1位置と近接すると判定した場合に、前記第1イベントのIDと前記第2イベントのIDとを対応付け、
    前記第2表示面における前記ウインドウ内へのユーザ操作に伴う第3イベントのIDが前記第2イベントのIDと一致する場合に、前記第3イベントのIDを前記第1イベントのIDに変換する
    処理を含み、コンピュータにより実行される情報処理方法。
  7. マルチディスプレイシステムにおける第1表示面及び第2表示面に跨るウインドウ内で発生するイベントを制御するコンピュータに、
    前記第1表示面における前記ウインドウ内へのユーザ操作に伴う第1イベントが発生した第1位置を記録し、
    所定の条件に従って、前記第2表示面における前記ウインドウ内へのユーザ操作に伴う第2イベントが発生した第2位置が前記第1位置と近接すると判定した場合に、前記第1イベントのIDと前記第2イベントのIDとを対応付け、
    前記第2表示面における前記ウインドウ内へのユーザ操作に伴う第3イベントのIDが前記第2イベントのIDと一致する場合に、前記第3イベントのIDを前記第1イベントのIDに変換する
    処理を実行させる情報処理プログラム。
JP2016078350A 2016-04-08 2016-04-08 情報処理装置、情報処理方法及び情報処理プログラム Expired - Fee Related JP6623908B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016078350A JP6623908B2 (ja) 2016-04-08 2016-04-08 情報処理装置、情報処理方法及び情報処理プログラム
EP17165315.7A EP3229115A1 (en) 2016-04-08 2017-04-06 Control device, control method, and control program
US15/481,660 US10429989B2 (en) 2016-04-08 2017-04-07 Control device, control method, and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016078350A JP6623908B2 (ja) 2016-04-08 2016-04-08 情報処理装置、情報処理方法及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2017188036A JP2017188036A (ja) 2017-10-12
JP6623908B2 true JP6623908B2 (ja) 2019-12-25

Family

ID=58692290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016078350A Expired - Fee Related JP6623908B2 (ja) 2016-04-08 2016-04-08 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (3)

Country Link
US (1) US10429989B2 (ja)
EP (1) EP3229115A1 (ja)
JP (1) JP6623908B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271074A (zh) * 2018-09-05 2019-01-25 Oppo广东移动通信有限公司 一种窗口调整方法、窗口调整装置及移动终端
US11157047B2 (en) * 2018-11-15 2021-10-26 Dell Products, L.P. Multi-form factor information handling system (IHS) with touch continuity across displays
US10976983B2 (en) * 2019-03-26 2021-04-13 International Business Machines Corporation Smart collaboration across multiple locations

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8031174B2 (en) * 2007-01-03 2011-10-04 Apple Inc. Multi-touch surface stackup arrangement
US8049732B2 (en) * 2007-01-03 2011-11-01 Apple Inc. Front-end signal compensation
US7920129B2 (en) * 2007-01-03 2011-04-05 Apple Inc. Double-sided touch-sensitive panel with shield and drive combined layer
JP4697558B2 (ja) 2009-03-09 2011-06-08 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2011048610A (ja) * 2009-08-27 2011-03-10 Jvc Kenwood Holdings Inc 画像表示システム、及び画像表示方法
US8539384B2 (en) * 2010-02-25 2013-09-17 Microsoft Corporation Multi-screen pinch and expand gestures
JP5535751B2 (ja) * 2010-04-30 2014-07-02 Necカシオモバイルコミュニケーションズ株式会社 入力装置、入力プログラム、及び入力方法
US8823656B2 (en) * 2010-08-30 2014-09-02 Atmel Corporation Touch tracking across multiple touch screens
JP5229289B2 (ja) * 2010-09-24 2013-07-03 日本電気株式会社 表示装置、座標通知方法およびプログラム
US20120235924A1 (en) 2011-03-16 2012-09-20 Hochmuth Roland M Display systems, methods, and apparatus
JP2013218468A (ja) 2012-04-06 2013-10-24 Sharp Corp 情報処理システム、表示端末装置、サーバ、情報処理方法およびプログラム
TW201413517A (zh) * 2012-09-26 2014-04-01 Hon Hai Prec Ind Co Ltd 顯示系統及顯示控制方法
JP6255826B2 (ja) 2013-09-13 2018-01-10 株式会社リコー システム、情報処理装置、画像表示方法、プログラム、記憶媒体
JP6364872B2 (ja) * 2014-03-28 2018-08-01 セイコーエプソン株式会社 情報処理装置、プロジェクター、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US10429989B2 (en) 2019-10-01
JP2017188036A (ja) 2017-10-12
US20170293389A1 (en) 2017-10-12
EP3229115A1 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
JP6623908B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US9565265B2 (en) Method and apparatus for automatically optimizing the loading of images in a cloud-based proxy service
US10289603B2 (en) Dynamic search partitioning
JP2014515895A (ja) ビデオエンコードシステムおよび方法
WO2013124521A1 (en) A system and a method for determining context
US10848434B2 (en) Performance management for query processing
CN104995616A (zh) 基于云的虚拟移动设备
CN101035123A (zh) 生成cookie的方法和系统
US20120173603A1 (en) Information communication system and portable information device
JP5220141B2 (ja) Url短縮装置、短縮url処理装置、方法及びプログラム
US10242102B2 (en) Network crawling prioritization
KR20160146710A (ko) 대역폭 종속 파일 전송을 위한 방법 및 시스템
JPWO2016147373A1 (ja) 表示方法、情報処理装置、表示制御装置及びプログラム
US9632742B2 (en) Adaptive design editor for web applications
US20050237996A1 (en) Electronic apparatus system and data control apparatus
JP2008242668A (ja) 画像処理装置、記憶領域の管理方法、およびコンピュータプログラム
TWI646475B (zh) 影像形成系統及影像形成方法
CN104252463B (zh) 一种基于web系统的db2数据库管理方法
US10341420B1 (en) Approaches for preparing and delivering bulk data to clients
KR100911754B1 (ko) 피어가 분산된 임베디드 웹 서버 시스템
KR101434234B1 (ko) 피드백 정보를 제공하는 전자 액자 서비스를 위한 방법 및 장치
KR101711617B1 (ko) 가상 데스크탑 인프라 시스템 및 그의 데이터 처리 방법
WO2014068757A1 (ja) 情報処理システム、データ管理方法及びプログラム
US20170150033A1 (en) Information processing apparatus, network camera and processing system
US20120110061A1 (en) Load reduction and response time reduction for web-based applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191111

R150 Certificate of patent or registration of utility model

Ref document number: 6623908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees