JP7425507B2 - 情報処理端末およびプログラム - Google Patents

Description

本発明は、遠隔表示および遠隔操作を行うための情報処理端末に関する。

情報処理端末（ソース端末という）の処理内容を物理的に離れた場所で確認しつつ当該端末を遠隔操作することを目的として、ソース端末接続して、ソース端末に表示されている画面と同じ画面を表示する（いわゆるミラーリング）とともに、ユーザの操作を受け付けてソース端末に供給する（遠隔操作）を実現するための遠隔端末が提案されている（特許文献１）。

国際公開第２０１８／１５９５７９号

特許文献１には、タッチパネルを有する遠隔端末と複数のソース端末とを接続し、当該タッチパネル上のタッチ位置に応じて、どのソース端末に対する入力操作なのかを判定し、判定の結果に応じて位置情報の送信先を決定することが記載されている。

ここで、近年、情報処理端末の種類多岐にわたっており、ソース端末の画面と遠隔端末とでは画面サイズや縦横比といった表示デバイスのハードウェア性能が異なることが想定される。

また、仮に、ソース端末と遠隔端末の表示に関するハードウェア性能が同一であったとしても、特許文献１に記載のように、複数のソース端末と同時に接続する場合は、遠隔端末の表示装置において画面領域を分割して各ソース端末から送信された画像を表示することになる。この場合、ソース端末に表示される画像と、遠隔隔末に表示される画像とは、表示態様（画像サイズ等）が異なることになる。このような状況において、遠隔端末においてタッチ操作等によって画面上の位置を指定した場合、遠隔端末の画面上の位置と整合することが保証されない。つまり、遠隔端末にて行ったタッチ操作の内容がソース端末にて正しく再現されない虞がある。

本発明は、表示デバイスのハードウェア性能や接続しているソース端末の数に依存することなく、ソース端末の画面にて表示されている画面を遠隔端末にて再現するとともに、遠隔端末にて入力された操作内容をソース端末の画面で再現することを目的とする。

本発明は、一の態様において、表示部と、複数の他の端末の画面に表示されている画像を示す画像データを受信する受信部と、前記複数の他の端末から受信した画像データに基づく画像を、前記表示部の表示画面の、前記複数の他の端末の各々と対応付けられた複数の区分画面領域にそれぞれ表示する表示制御部と、前記表示画面上の位置の指定を受付ける受付部と、該受付けた位置が属する区分画面領域に対応付けられた他の端末を特定し、当該区分画面領域に表示されている画像上の位置に対応する、該特定された他の端末の画面上の位置を示す位置情報を算出する算出部と、前記位置情報を、該特定された他の端末に送信する送信部とを有する情報処理端末を提供する。

好ましい態様において、前記表示制御部は、前記受付部にて受付けた位置に基づいてユーザの操作内容を特定し、該特定された操作内容に基づいて、該受付けた位置が属する区分画面領域に表示されている画像について、拡大、縮小、回転、又はスクロールを実行し、ユーザからの指示に応じて、他の端末から受信した画像データに基づく画像に該特定された操作内容が直接反映された画像を前記表示部に表示するとともに、該受付けた位置に基づく位置情報を当該他の端末に送信しない非同期モードと、当該操作内容が直接反映されない画像を前記表示部に表示するとともに、該受付けた位置に基づく位置情報を当該他の端末に送信する同期モードとを切り替える切り替え部を更に有する。

好ましい態様において、前記複数の区分画面領域のうち、位置が指定された場合に前記位置情報の算出を実行するアクティブ領域と、当該算出を実行しない非アクティブ領域とを設定する設定部を更に有する。

好ましい態様において、前記設定部は、前記非アクティブ領域内の位置が指定された場合、当該非アクティブ領域を前記アクティブ領域に変更する。

好ましい態様において、前記表示制御部は、各区分画面領域のサイズおよび形状に基づいて、前記画像データに基づく画像の縦横比を保ったまま、表示サイズおよび表示方向を決定する。

好ましい態様において、前記複数の他の端末の各々ついて、当該他の端末の画面において表示されている画像上の位置と当該画面上の位置との対応関係を示す表示機能情報を記憶する記憶部を更に備え、前記表示制御部は、通信接続時に特定された各他の端末に対応付けて記憶されている前記表示機能情報に基づいて、前記位置情報の算出を行う。

好ましい態様において、前記表示制御部は、前記複数の他の端末から受信した画像データのデータ量に基づいて、前記表示部に表示される画像のサイズ、又は解像度を決定する。

本発明は、他の観点において、表示部を有するコンピュータに、複数の他の端末の画面に表示されている画像を示す画像データを受信するステップと、前記複数の他の端末から受信した画像データに基づく画像を、前記表示部の表示画面の、前記複数の他の端末の各々と対応付けられた複数の区分画面領域にそれぞれ表示するステップと、前記表示画面上の位置の指定を受付けるステップと、該受付けた位置が属する区分画面領域に対応付けられた他の端末を特定し、当該区分画面領域に表示されている画像上の位置に対応する、該特定された他の端末の画面上の位置を示す位置情報を算出するステップと、前記位置情報を、該特定された他の端末に送信するステップとを実行させるためのプログラムを提供する。

本発明によれば、ソース端末の画面にて表示されている画像を遠隔端末にて再現するとともに、遠隔端末にて入力された操作内容をソース端末上で再現できる。

情報処理システム１００の全体構成の例を示す図。 ソース端末１０の構成の例を示す図。 情報処理端末２０の構成の例を示す図。 機能情報管理テーブルＴｂ１の例を示す図。 ウィンドウ定義テーブルＴｂ２の例を示す図。 画面割当てテーブルＴｂ３の例を示す図。 表示状態管理テーブルＴｂ４の例を示す図。 表示部２０２の表示画面ＳＣの構成例を示す図。 ソース端末１０の画像を区分画面領域に割当てた例を示す図。 区分画面領域ＣＲ１に表示される画像ＧＲ１の例を示す図。 情報処理システム１００の接続時の動作の例を示すシーケンス図。 情報処理端末２０の画像処理の動作の流れの例を示すフロー図。 位置情報変換処理の動作の流れの例を示すフロー図。 ソース端末１０の画像を区分画面領域に割当てた他の例を示す図。

＜実施形態＞
＜情報処理システムの構成＞
図１は、情報処理システム１００の全体構成の例を示す図である。図１に示す通り、情報処理システム１００は、ソース端末１０Ａ、１０Ｂ（以下、これらを区別しない場合には単に「ソース端末１０」という）と、情報処理端末２０とを有する。ソース端末１０は、操作対象となる情報資源（ソース）としての画像を表示する端末である。ソース端末１０は、例えば、パーソナルコンピュータ用モニタ、スマートフォン、テレビ等である。

例えば、図１に示すソース端末１０Ａは、サイズが２７インチのパーソナルコンピュータ用モニタである。このソース端末１０Ａの画像解像度は１９２０×１０８０でそのアスペクト比（縦横比）は１６：９である。

また、図１に示すソース端末１０Ｂは、サイズが６．１インチのスマートフォンである。このソース端末１０Ｂの画像解像度は１２８４×２７７８で、そのアスペクト比は約９：１９．５である。

以下では、説明の便宜上、ソース端末としてソース端末１０Ａ、ソース端末１０Ｂのみが登場するが、図１に情報処理システム１００が有するソース端末１０の数は２つに限らず、１つでもよいし３つ以上であってもよい。また、ソース端末１０は、複数の機器の組合せで構成されてもよい。例えば、ソース端末１０は、液晶テレビのマルチメディアインタフェースに画像処理プロセッサを搭載したドングルを装着したものであってもよい。

情報処理端末２０は、無線通信により１以上のソース端末１０に接続し、そのソース端末１０を遠隔操作する端末である。例えば、図１に示す情報処理端末２０は、モニタサイズ１２インチのタブレットＰＣである。この情報処理端末２０の画像解像度は１９２０×１２００で、そのアスペクト比は１６：１０である。

図１に示す例で情報処理端末２０は、２つの異なるソース端末１０であるソース端末１０Ａ、１０Ｂにそれぞれ接続し、それらに表示されている画像を、自端末の分割した画面にそれぞれ表示させている。ユーザは、情報処理端末２０の分割された画面の各領域に対して操作をすることで、ソース端末１０Ａ、１０Ｂのそれぞれを操作することができる。

＜ソース端末の構成＞
図２は、ソース端末１０の構成の例を示す図である。図２に示すソース端末１０は、通信部１０１、表示部１０２、放音部１０３、記憶部１０４、音声制御部１０５、表示制御部１０６、入力部１０７、及び制御部１１０を有する。

制御部１１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有し、ＣＰＵがＲＯＭ及び記憶部１０４に記憶されているコンピュータプログラム（以下、単にプログラムという）を読み出して実行することによりソース端末１０の各部を制御する。また、制御部１１０は、音声制御部１０５を介して放音部１０３を、表示制御部１０６を介して表示部１０２を、それぞれ制御する。

放音部１０３は、音声制御部１０５の制御の下で音を放出する装置であり、例えば、スピーカ、ヘッドホン等である。

音声制御部１０５は、制御部１１０の指示に応じて放音部１０３を制御する装置であり、例えばサウンドコントローラである。

表示部１０２は、液晶ディスプレイ等の表示画面を有しており、表示制御部１０６の制御の下、画像を表示する。

表示制御部１０６は、制御部１１０の指示に応じて表示部１０２を制御する装置であり、例えば、ディスプレイコントローラ、グラフィックコントローラである。表示制御部１０６は、ＧＰＵ（Graphics Processing Unit）を有してもよいし、描画処理機能を有する１以上のＣＰＵとして実装されてもよい。

記憶部１０４は、半導体メモリ（ソリッドステートドライブ）やハードディスクドライブ等の記憶手段であり、制御部１１０のＣＰＵに読み込まれる各種のプログラム、データ等を記憶する。

入力部１０７は、各種の指示をするための操作ボタン、キーボード、タッチパネル等の操作子（図示せず）を備えており、ユーザによる操作を受付けてその操作内容に応じた信号を制御部１１０に送る。また、入力部１０７は、操作内容特定部１０８、及び位置情報検出部１０９を有する。

入力部１０７が有する位置情報検出部１０９は、ユーザの操作で指示される画面上、又は画像上の位置を示す位置情報を検出する。位置情報検出部１０９は、例えば、上述したタッチパネルである。このタッチパネルは、透明な材質で形成され、表示部１０２の表示画面の上に重ねて配置される。位置情報検出部１０９は、検出した位置情報を操作内容特定部１０８に送る。

入力部１０７が有する操作内容特定部１０８は、上述した操作子によって受付けられたユーザの操作を特定する。操作内容特定部１０８は、ユーザの操作に応じて操作子が発した信号を受信し、例えば、記憶部１０４に記憶された対応表を参照して、受信した信号のパターンから、ユーザが行った操作の内容を特定する。なお、操作内容特定部１０８は、上述した位置情報検出部１０９から受取った位置情報を、ユーザの操作を示す信号として用いる。

なお、入力部１０７の機能の一部、又は全部は、制御部１１０によって実現されてもよい。

通信部１０１は、無線により通信回線（図示せず）に接続する通信回路である。ソース端末１０は、通信部１０１により、通信回線に接続された他の装置（すなわち、情報処理端末２０を含む外部装置）と情報をやり取りする。

通信部１０１は、いわゆる無線ＬＡＮの規格、例えばＩＥＥＥ８０２．１１に準拠した方式により、ソース端末１０と通信回線とを接続する機能を提供する。なお、ソース端末１０は、通信回線を介さずに直接、情報処理端末２０と接続してもよい。例えば、各ソース端末１０と情報処理端末２０とは、近距離無線通信（Near Field Communication、ＮＦＣ）の規格、例えばＩＳＯ／ＩＥＣ１８０９２（ＮＦＣＩＰ－１）、ＩＳＯ／ＩＥＣ１４４４３、ＩＳＯ／ＩＥＣ１５６９３、又はＩＥＥＥ８０２．１５に準拠した方式で互いに接続する機能を有していてもよい。例えば、ソース端末１０と情報処理端末２０とは、Ｍｉｒａｃａｓｔ（登録商標）、ＡｉｒＰｌａｙ（登録商標）等の１対１の無線通信によるディスプレイ伝送技術を用いて接続されてもよい。

また、ソース端末１０と情報処理端末２０とは、ＩＥＥＥ８０２．３に準拠した方式等の有線で直接、通信可能に接続されてもよい。この場合、通信部１０１は、有線通信のインタフェースである。

＜情報処理端末の構成＞
図３は、情報処理端末２０の構成の例を示す図である。図３に示す情報処理端末２０は、制御部２００、通信部２０１、表示部２０２、放音部２０３、記憶部２０４、音声制御部２０５、受付部２０６、及び表示制御部２１２を有する。

通信部２０１は、無線により通信回線（図示せず）に接続する通信回路である。情報処理端末２０は、通信部２０１により、通信回線に接続された他の装置（すなわち、ソース端末１０を含む外部装置）と情報をやり取りする。なお、通信部２０１は、有線通信のインタフェースであってもよい。

通信部２０１は、受信部２１３、及び送信部２１４を有する。通信部２０１の受信部２１３は、複数のソース端末１０から、それらの画面に表示されている画像を示す画像データをそれぞれ受信する。つまり、この受信部２１３は、複数の他の端末の画面に表示されている画像を示す画像データを受信する受信部の例である。

通信部２０１の送信部２１４は、情報処理端末２０から上述した複数のソース端末１０へ情報を送信する。

制御部２００は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭ及び記憶部２０４に記憶されているプログラムを読み出して実行することにより情報処理端末２０の各部を制御する。

また、制御部２００は、音声制御部２０５を介して放音部２０３を、表示制御部２１２を介して表示部２０２を、それぞれ制御する。

放音部２０３は、音声制御部２０５の制御の下で音を放出する装置であり、例えば、スピーカ、ヘッドホン等である。

音声制御部２０５は、放音部２０３を制御する装置であり、例えばサウンドコントローラである。具体的には、音声制御部２０５は、各ソース端末１０から受信した映像信号から音声信号をそれぞれ分離し、必要に応じてこれらの音声信号をミックスしあるいはユーザから選択され複数のソース端末１０のうちユーザが選択した一のソース端末に係る音声信号のみを選択する処理を行い、処理された音声信号を放音部２０３に供給する。

表示部２０２は、液晶ディスプレイ等の表示画面を有しており、表示制御部２１２の制御の下、画像を表示する。

表示制御部２１２は、表示部２０２を制御する装置であり、例えば、ディスプレイコントローラ、グラフィックコントローラである。表示制御部２１２は、ＧＰＵを有してもよいし、描画処理機能を有する１以上のＣＰＵとして実装されてもよい。

上述した受信部２１３が複数のソース端末１０から画像データをそれぞれ受信すると、表示制御部２１２は、表示部２０２の画面をソース端末１０の数だけ区分する。区分された画面の領域（以下、「区分画面領域」ともいう）は、ソース端末１０のそれぞれに対応付けられる。表示制御部２１２は、複数のソース端末１０から受信した画像データに基づく画像を、それぞれそのソース端末１０に対応付けられた区分画面領域に表示する。

なお、ソース端末１０から受信した画像データに基づく画像は、情報処理端末２０において、画像のサイズ変更、拡大・縮小、回転（表示方向の変更）等の調整が行われた後の画像を含む。この場合、これらの調整がソース端末１０に送られ、ソース端末１０は、調整後の画像を表示するとともに、その画像を示す画像データを情報処理端末２０に再送信する。情報処理端末２０において行われる画像の調整は、他に一部分の切り出し、区分画面領域全体に対する表示位置の調整、解像度／ビットレート／フレームレートの調整等を含む。例えば、ソース端末１０における画像のサイズよりも区分画面領域のサイズが小さい場合、情報処理端末２０は、その画像の一部分を切り出す。

つまり、表示制御部２１２は、複数の他の端末から受信した画像データに基づく画像を、表示部の表示画面の、複数の他の端末の各々と対応付けられた複数の区分画面領域にそれぞれ表示する表示制御部の例である。

受付部２０６は、各種の指示をするための操作ボタン、キーボード、タッチパネル等の操作子（図示せず）を備えており、ユーザによる操作を受付けてその操作内容に応じた信号を制御部２００に送る。なお、受付部２０６の機能の一部、又は全部は、制御部２００によって実現されてもよい。

また、受付部２０６は、操作内容特定部２０７、及び位置情報検出部２０８を有する。

受付部２０６が有する位置情報検出部２０８は、ユーザの操作で指示される画面上、又は画像上の位置を示す位置情報を検出する。位置情報検出部２０８は、例えば、上述したタッチパネルである。このタッチパネルは、透明な材質で形成され、表示部２０２の表示画面の上に重ねて配置されてもよい。

なお、位置情報検出部２０８は、ユーザが意図する表示画面上の位置を検出できるものであればタッチパネルに限らない。位置情報検出部２０８は、例えば、マウス、ジョイスティック、トラックボール、ポインティングスティック等でもよい。位置情報検出部２０８は、検出した位置情報を操作内容特定部２０７に送る。

受付部２０６が有する操作内容特定部２０７は、上述した操作子によって受付けられたユーザの操作を特定する。操作内容特定部２０７は、ユーザの操作に応じて操作子が発した信号を受信し、例えば、記憶部２０４に記憶された対応表を参照して、受信した信号のパターンから、ユーザが行った操作の内容を特定する。

なお、操作内容特定部２０７は、上述した位置情報検出部２０８から受取った位置情報を用いて、ユーザから表示部２０２の画面上の位置の指定を受付ける。つまり、操作内容特定部２０７、及び位置情報検出部２０８を有するこの受付部２０６は、表示画面上の位置の指定を受付ける受付部の例である。

ここで、上述した受付部２０６がユーザから表示部２０２の画面上の位置の指定を受付けるとともに、そのユーザの操作の内容を特定すると、表示制御部２１２は、特定されたこの操作の内容に応じて表示部２０２の区分画面領域に表示されている画像を変化させる。例えば、ユーザの操作が、画像を拡大、縮小、回転、又はスクロールをさせるという内容である場合、表示制御部２１２は、この内容に応じて区分画面領域に表示されている画像を拡大、縮小、回転、又はスクロールをさせる。

なお、ユーザの操作の内容の特定は、受付部２０６の操作内容特定部２０７が行っていたが、表示制御部２１２が行ってもよい。

つまり、この表示制御部２１２は、受付部にて受付けた位置に基づいてユーザの操作内容を特定し、特定されたこの操作内容に基づいて、受付けた位置が属する区分画面領域に表示されている画像について、拡大、縮小、回転、又はスクロールを実行する表示制御部の例である。

また、上述した受付部２０６がユーザから表示部２０２の画面上の位置の指定を受付けるとともに、そのユーザの操作の内容を特定すると、通信部２０１の送信部２１４は、指定された位置を示す位置情報を、その位置を含む区分画面領域に対応付けられたソース端末１０に送信する。つまり、この送信部２１４は、位置情報を、特定された他の端末に送信する送信部の例である。

記憶部２０４は、ソリッドステートドライブ、ハードディスクドライブ等の記憶手段であり、各種のプログラム、データ等を記憶する。

また、記憶部２０４は、テーブル群を記憶する。図３に示すこの記憶部２０４が記憶するテーブル群は、機能情報管理テーブルＴｂ１、ウィンドウ定義テーブルＴｂ２、画面割当てテーブルＴｂ３、及び表示状態管理テーブルＴｂ４である。

＜機能情報管理テーブル＞
図４は、機能情報管理テーブルＴｂ１の例を示す図である。図４に示す機能情報管理テーブルＴｂ１は、ソース端末１０のそれぞれを識別する識別情報を記述した「ソース端末ＩＤ」の欄と、そのソース端末１０の機能を記述した「機能情報」の欄とを対応付けて記憶する。

「ソース端末ＩＤ」の欄は、例えば、ソース端末１０のＭＡＣ（Media Access Control）アドレスが記述される。

「機能情報」の欄は、「画像解像度」の項目と、「座標分解能」の項目とを含む。「画像解像度」の項目は、画像に関する情報のうち、例えば、走査方式におけるプログレッシブ又はインタレースの区別、有効垂直解像度等の情報を含む。

「座標分解能」の項目は、例えば、画面内の縦、横に配列されたピクセルの数の情報を含む。なお、画像解像度のみの情報から、画像上の位置から一義的に画面（タッチパネル）上の位置が決定できる必要はない。これらの機能情報は、表示機能情報とも呼ばれる。

機能情報管理テーブルＴｂ１は、ソース端末１０ごとに、そのソース端末１０の画像解像度と座標分解能とを記憶する。したがって、この機能情報管理テーブルＴｂ１を記憶部２０４に記憶する情報処理端末２０は、ソース端末１０のそれぞれの表示部１０２の画面において表示されている画像上の位置と、その画面上の位置との対応関係を特定することができる。つまり、機能情報管理テーブルＴｂ１を記憶する記憶部２０４は、複数の他の端末の各々ついて、その端末の画面において表示されている画像上の位置とその画面上の位置との対応関係を示す表示機能情報を記憶する記憶部の例である。

なお、この機能情報管理テーブルＴｂ１は、情報処理端末２０がソース端末１０と接続する度に更新してもよい。この場合、情報処理端末２０の制御部２００は、ソース端末１０との通信接続時に、そのソース端末１０に対応付けて記憶されている表示機能情報を特定する。

＜ウィンドウ定義テーブル＞
図５は、ウィンドウ定義テーブルＴｂ２の例を示す図である。図５に示すウィンドウ定義テーブルＴｂ２は、「区分画面領域」の欄、「エリアの位置・形状・サイズ」の欄、及び「アクティブ／非アクティブ指定」の欄を対応付けて記憶する。

「区分画面領域」の欄は、情報処理端末２０の表示部２０２において区分された表示画面の区分画面領域のそれぞれに割当てられた識別情報（ここでは通し番号）を記憶する。

「エリアの位置・形状・サイズ」の欄は、対応する通し番号で識別される区分画面領域の位置、形状、サイズの情報を記憶する。

「アクティブ／非アクティブ指定」の欄は、対応する通し番号で識別される区分画面領域がアクティブであるか、非アクティブであるかの区別を記憶する。

＜画面割当てテーブル＞
図６は、画面割当てテーブルＴｂ３の例を示す図である。図６に示す画面割当てテーブルＴｂ３は、「区分画面領域」の欄と、「ソース端末ＩＤ」の欄とを対応付けて記憶する。画面割当てテーブルＴｂ３における「区分画面領域」の欄は、ウィンドウ定義テーブルＴｂ２における「区分画面領域」の欄に対応している。また、画面割当てテーブルＴｂ３における「ソース端末ＩＤ」の欄は、機能情報管理テーブルＴｂ１における「ソース端末ＩＤ」の欄に対応している。すなわち、画面割当てテーブルＴｂ３によって、機能情報管理テーブルＴｂ１と、ウィンドウ定義テーブルＴｂ２とは、関連づけられる。

＜表示状態管理テーブル＞
図７は、表示状態管理テーブルＴｂ４の例を示す図である。図７に示す表示状態管理テーブルＴｂ４は、「区分画面領域」の欄と、「表示状態」の欄とを対応付けて記憶する。ここで表示状態管理テーブルＴｂ４における「区分画面領域」の欄は、ウィンドウ定義テーブルＴｂ２における「区分画面領域」の欄に対応している。

図７に示す表示状態管理テーブルＴｂ４における「表示状態」の欄は、「拡大・縮小率」、「画像の中心位置」、及び「向き」の項目を有する。

「拡大・縮小率」の項目は、対応する通し番号で識別される区分画面領域に表示された画像の拡大率、又は縮小率を示す。この「拡大・縮小率」の項目は、例えば、ソース端末１０における画像の大きさを基準にしたときの情報処理端末２０における画像の大きさの割合を百分率で表した数値を記憶する。

「画像の中心位置」の項目は、対応する通し番号で識別される区分画面領域において表示されている、ソース端末１０の表示画面を示す画像（元画像ともいう）の中心位置を記憶する。

「向き」の項目は、対応する通し番号で識別される区分画面領域に表示された画像の、元画像に対する向きを記憶する。例えば、区分画面領域に表示された画像の上下左右と、元画像の上下左右が一致している場合、この項目は「オリジナル」である。一方、区分画面領域に表示された画像が、元画像を９０度左回転させたものである場合、この項目は「９０度左回転」である。

＜制御部の機能的構成＞
図３に示す制御部２００は、上述したプログラムを実行することにより、算出部２０９、モード切替部２１０、及び設定部２１１として機能する。

制御部２００により実現される設定部２１１は、受付部２０６がユーザから受付けた指示に応じて、上述した記憶部２０４に含まれるウィンドウ定義テーブルＴｂ２を更新する。これにより、設定部２１１は、区分画面領域のそれぞれについて、アクティブであるか非アクティブであるかの指定を設定する。

アクティブ指定がされた区分画面領域は、位置が指定された場合にその位置を示す位置情報の算出を実行する区分画面領域である。一方、非アクティブ指定がされた区分画面領域は、位置が指定された場合にその位置を示す位置情報の算出を実行しない区分画面領域である。

つまり、この設定部２１１は、複数の区分画面領域のうち、位置が指定された場合に位置情報の算出を実行するアクティブ領域と、この算出を実行しない非アクティブ領域とを設定する設定部の例である。

なお、アクティブであるか非アクティブであるかの指定は、上述した通り、区分画面領域ごとに行われてもよいが、一つの区分領域内にアクティブ・非アクティブがそれぞれ設定されてもよい。

制御部２００により実現されるモード切替部２１０は、受付部２０６がユーザの操作の内容を特定し、特定されたその操作の内容がモードの切替を示している場合に、表示のモードを切り替える。表示のモードは、非同期モード及び同期モードである。

非同期モードは、ユーザからの指示に応じて、ソース端末１０から受信した画像データに基づく画像に処理を施すとともに、受付けた位置に基づく位置情報をソース端末１０に送信しないモードである。なお、表示制御部２１２は、上述した処理が施された画像、つまり、ユーザの操作内容が情報処理端末２０の内部で直接反映された画像を表示部２０２に表示する。

同期モードは、ソース端末１０から受信した画像データに基づく画像に対し、ユーザからの指示に応じた処理を情報処理端末２０の内部で直接反映させず、受付けた位置に基づく位置情報をソース端末１０に送信するモードである。

つまり、このモード切替部２１０は、ユーザからの指示に応じて、他の端末から受信した画像データに基づく画像に特定された操作内容が直接反映された画像を表示部に表示するとともに、受付けた位置に基づく位置情報を他の端末に送信しない非同期モードと、操作内容が直接反映されない画像を表示部に表示するとともに、受付けた位置に基づく位置情報を他の端末に送信する同期モードとを切り替える切り替え部の例である。

このモード切替部２１０によるモードの切り替えにより、情報処理端末２０は、自端末における表示画像に対してなされたタッチ、長押し、ピンチイン、ピンチアウト等の各種操作をソース端末１０の画面で表示される画像に反映させる「完全ミラーリング」と、反映させない「不完全ミラーリング」と、を使い分けることができる。例えば、ソース端末１０の処理結果を監視することが目的である場合は、同期モードを選択してソース端末１０の画面に表示される内容と情報処理端末２０の画面に表示された表示内容とをリアルタイムに同期させる一方、ソース端末１０の画面に表示された内容をじっくり詳細に確認したい場合に非同期モードを選択し、拡大やスクロール等の操作を行って必要な確認をした後に再び同期モードに変更する、といった使用方法が考えられる。非同期モードでは、ソース端末１０との間の通信を行う必要がないので、非同期モードに比べて、拡大やスクロール等の表示処理が高速化するため、操作レスポンスが向上する。このように、モードを適宜切り替える機能を設けることで、ユーザ利便性が向上する。

図８は、表示部２０２の表示画面ＳＣの構成例を示す図である。情報処理端末２０の表示部２０２は、液晶ディスプレイ等の表示画面ＳＣを有する。この表示画面ＳＣは、情報処理端末２０において実行されるアプリケーションプログラム自体に対しての指示を受け付ける領域ＯＲと、ソース端末１０で表示されている画像に対しての指示を受け付ける領域ＣＲと、を有する。図８に示す通り、２つのソース端末１０を操作する場合に、領域ＣＲは、区分画面領域ＣＲ１、及び区分画面領域ＣＲ２に区分される。

領域ＯＲは、モード切替ボタンＩＣ１を有する。ユーザがこのモード切替ボタンＩＣ１を押す操作をすると、受付部２０６は、この操作の内容を、「モードを切り替える操作」として特定する。これによりモード切替部２１０は、表示部２０２の表示のモードを切り替える。切り替えの対象となる表示は、全ての区分画面領域であってもよいし、直前に操作された区分画面領域であってもよい。また、この切り替えの対象となる表示は、上述した「アクティブ指定」がされた区分画面領域であってもよい。

算出部２０９は、受付部２０６がユーザから表示部２０２の画面上の位置の指定を受付けると、記憶部２０４に記憶された上述のテーブル群を参照し、受付けた位置が属する区分画面領域に対応付けられたソース端末１０を特定する。そして、この算出部２０９は、上述したテーブル群に基づいて、区分画面領域に表示されている画像上の、上述した位置に対応する、ソース端末１０の画面上の位置を示す位置情報を算出する。

つまり、この算出部２０９は、受付けた位置が属する区分画面領域に対応付けられた他の端末を特定し、この区分画面領域に表示されている画像上の位置に対応する、この特定された他の端末の画面上の位置を示す位置情報を算出する算出部の例である。

また、記憶部２０４に記憶された上述のテーブル群のうち、いずれかは情報処理端末２０がソース端末１０と接続する度に更新されることがある。この場合、算出部２０９は、ソース端末１０との通信接続時にその表示機能情報を特定し、その表示機能情報に基づいて、位置情報の算出を行う。すなわち、この算出部２０９は、通信接続時に特定された他の端末のそれぞれに対応付けて記憶されている表示機能情報に基づいて、その端末の画面上の位置を示す位置情報を算出する算出部の例である。

図９は、ソース端末１０の画像を区分画面領域に割当てた例を示す図である。上述した通り、領域ＣＲは、区分画面領域ＣＲ１、及び区分画面領域ＣＲ２に区分されている。区分画面領域ＣＲ１の幅はＷ１で高さはＨ１である。また、区分画面領域ＣＲ２の幅はＷ２で高さはＨ２である。

算出部２０９は、画面割当てテーブルＴｂ３を参照して、各区分画面領域に対応付けられたソース端末１０の識別情報（ソース端末ＩＤ）を特定する。また、算出部２０９は、機能情報管理テーブルＴｂ１を参照して、ソース端末１０のそれぞれの機能情報を特定する。

そして、算出部２０９は、各ソース端末１０に表示されている画像の大きさを、アスペクト比維持の有無、及び表示方向維持の有無に応じて、それぞれ対応する区分画面領域の高さ、幅に対応させ、その画像の代表の位置（ここでは中心座標）と拡大・縮小率を算出する。算出された代表の位置、及び拡大・縮小率は、表示状態管理テーブルＴｂ４に記憶される。

図９に示す区分画面領域ＣＲ１は、図１に示すソース端末１０Ａに対応付けられている。例えば、アスペクト比を変えず、回転せずに（オリジナルの向きのまま）ソース端末１０Ａの画面上の画像の全体を区分画面領域ＣＲ１に表示させるように設定されている場合、まず、算出部２０９は、区分画面領域ＣＲ１の幅Ｗ１と高さＨ１のアスペクト比を算出するとともに、ソース端末１０Ａの機能情報から画像解像度を取得する。

ここで、ソース端末１０Ａの画像解像度が「１０８０ｐ」であるなら、画像のアスペクト比は１６：９と特定される。算出部２０９は、このアスペクト比と、区分画面領域ＣＲ１のアスペクト比とを比較し、ソース端末１０Ａの画像が区分画面領域ＣＲ１に、例えば、ちょうど収まるように拡大・縮小率、及び代表位置を算出する。

つまり、この算出部２０９は、各区分画面領域のサイズおよび形状に基づいて、画像データに基づく画像の縦横比を保ったまま、表示サイズおよび表示方向を決定する算出部の例である。

算出部２０９は、ソース端末１０Ａの画像を区分画面領域ＣＲ１に表示させるにあたって、図９に示すように高さＣＨ１、幅ＣＷ１を算出し、拡大・縮小率、代表位置等を算出して、これらにより表示状態管理テーブルＴｂ４を更新する。また、算出部２０９は、ウィンドウ定義テーブルＴｂ２に、区分画面領域ＣＲ１内に表示される画像の位置・形状・サイズを記憶してもよい。

これにより、算出部２０９は、受付部２０６がユーザから表示部２０２の画面上の位置の指定を受付けたときに、その位置に対応する、ソース端末１０の画面上の位置を示す位置情報を算出することができる。

上述の例で算出部２０９は、ソース端末１０の画面上の画像の全体を対応する区分画面領域に表示させる設定のとき、その区分画面領域に全体が表示される最大の拡大・縮小率を算出したが、他の設定のときに異なる数値を算出してもよい。例えば、算出部２０９は、拡大・縮小率が決められている場合、それに応じた表示位置を算出してもよい。また、ソース端末１０におけるオリジナルの画像のサイズをそのまま用いる設定がされている場合、算出部２０９は、それに応じた表示位置を算出してもよい。また、縦、横のうち、いずれか一方を優先するように設定されている場合、算出部２０９は、優先されている方の長さが区分画面領域の長さに合う最大の拡大・縮小率を算出してもよい。

また、算出部２０９は、受付部２０６の操作内容特定部２０７において特定された操作内容に応じて、区分画面領域に表示させる画像の拡大・縮小率、代表位置等を算出する。

図１０は、区分画面領域ＣＲ１に表示される画像ＧＲ１の例を示す図である。算出部２０９は、ソース端末１０Ａの画像ＧＲ１を、アスペクト比を変えず、かつ、回転させずに区分画面領域ＣＲ１に表示させる場合、その指示に応じた拡大・縮小率、代表位置等を算出する。その結果、情報処理端末２０は、図１０の（ａ）に示したように画像ＧＲ１を区分画面領域ＣＲ１に表示させる。

例えば、受付部２０６がユーザからピンチイン操作を受付けた場合、算出部２０９は、その操作に応じた拡大・縮小率で代表位置を算出する。ピンチイン操作とは、画面をつまむようにして複数本の指を近づける操作である。その結果、情報処理端末２０は、図１０の（ｂ）に示したように画像ＧＲ１を区分画面領域ＣＲ１に表示させる。

また、例えば、受付部２０６がユーザから下向きのフリック操作を受付けた場合、算出部２０９は、その操作に応じて代表位置を算出する。その結果、情報処理端末２０は、図１０の（ｃ）に示したように画像ＧＲ１を区分画面領域ＣＲ１の下端まで移動させて表示させる。

また、例えば、受付部２０６がユーザから左９０度回転のジェスチャー操作を受付けた場合、算出部２０９は、その操作に応じて拡大・縮小率、代表位置等を算出する。その結果、情報処理端末２０は、図１０の（ｄ）に示したように画像ＧＲ１をオリジナルの向きに対して９０度だけ左向きに回転させて区分画面領域ＣＲ１の大きさに合うように拡大、縮小して表示させる。

また、例えば、受付部２０６がユーザからピンチアウト操作を受付けた場合、算出部２０９は、その操作に応じた拡大・縮小率で代表位置を算出する。ピンチアウト操作とは、画面上の操作対象を広げるように複数本の指を離していき、画面を拡大させる操作である。その結果、情報処理端末２０は、図１０の（ｅ）に示したように画像ＧＲ１を図１０の（ａ）に示したよりも拡大させて区分画面領域ＣＲ１に表示させる。

ここで、例えば、受付部２０６がユーザから左向きのフリック操作を受付けた場合、算出部２０９は、その操作に応じて代表位置を算出する。その結果、情報処理端末２０は、図１０の（ｆ）に示したように画像ＧＲ１を左にスクロールさせる。画像ＧＲ１のスクロールは、その右端が区分画面領域ＣＲ１の右端に現れると停止される。

＜情報処理システムの接続時の動作＞
図１１は、情報処理システム１００の接続時の動作の例を示すシーケンス図である。複数のソース端末１０は、それぞれ自端末の識別情報を含む無線信号を発信する（ステップＳ６０１）。遠隔操作端末である情報処理端末２０は、この無線信号を受信し、これを発信したソース端末１０に向けて接続を要求する（ステップＳ６０２）。

情報処理端末２０は、ソース端末１０の識別情報であるソース端末ＩＤを確認し（ステップＳ６０３）、機能情報管理テーブルＴｂ１から機能情報（表示機能情報）を読み出す（ステップＳ６０４）。

例えば、機能情報管理テーブルＴｂ１にソース端末１０の機能情報が記憶されていない場合、情報処理端末２０は、ソース端末１０に機能情報を要求する（ステップＳ６０５）。ソース端末１０は、この要求に応じて情報処理端末２０に機能情報を送信する（ステップＳ６０６）。これにより、情報処理端末２０、及びソース端末１０は、互いに画像、音声、動画等を共有する接続を確立する（ステップＳ６０７）。

＜情報処理端末の画像処理の動作＞
図１２は、情報処理端末２０の画像処理の動作の流れの例を示すフロー図である。情報処理端末２０の制御部２００は、受付部２０６を監視してユーザのタッチ操作を検知したか否かを判断する（ステップＳ５０２）。制御部２００は、タッチ操作を検知していないと判断する間（ステップＳ５０２；ＮＯ）、この判断を続ける。

一方、タッチ操作を検知したと判断した場合（ステップＳ５０２；ＹＥＳ）、制御部２００は、ユーザにタッチされた位置が操作アイコン（モード切替ボタンＩＣ１等）を指定するものであるか否かを判断する（ステップＳ５０４）。タッチされた位置が操作アイコンを指定するものであると判断した場合（ステップＳ５０４；ＹＥＳ）、制御部２００は、タッチされた各操作アイコンに応じた処理を行い（ステップＳ５０６）、処理をステップＳ５０２に戻す。

一方、タッチされた位置が操作アイコンを指定するものではない、と判断した場合（ステップＳ５０４；ＮＯ）、制御部２００は、タッチされたその位置がアクティブ領域内であるか否かを判断する（ステップＳ５０８）。タッチされた位置がアクティブ領域内でないと判断した場合（ステップＳ５０８；ＮＯ）、制御部２００は、ユーザのタッチ操作を無視し（ステップＳ５１０）、処理をステップＳ５０２に戻す。

なお、ステップＳ５１０において、制御部２００は、タッチされた領域をアクティブ指定にしてもよい。この場合、情報処理端末２０は、タッチ等により位置が指定された非アクティブ領域をアクティブ領域に変更する。つまり、この情報処理端末２０は、非アクティブ領域内の位置が指定された場合、その非アクティブ領域をアクティブ領域に変更する設定部の例である。これにより、情報処理端末２０は、タッチ等の簡単な操作で、領域を非アクティブからアクティブに切り替えることができる。

この場合、位置が指定された非アクティブ領域がアクティブ領域に変更される直前までアクティブ領域であった他の区分画面領域は、非アクティブ領域に変更されてもよい。

タッチされた位置がアクティブ領域内である、と判断する場合（ステップＳ５０８；ＹＥＳ）、制御部２００は、そのタッチされた位置を含む区分画面領域に同期モードが設定されているか否かを判断する（ステップＳ５１２）。

タッチされた位置を含む区分画面領域に同期モードが設定されている、と判断する場合（ステップＳ５１２；ＹＥＳ）、制御部２００は、タッチされたその位置を示す位置情報の変換を行う（ステップＳ５１４）。すなわち、制御部２００は、記憶部２０４のテーブル群を参照して、ユーザによりタッチされたその位置の表示部２０２における位置情報を、ソース端末１０の表示部１０２における位置情報に変換する。そして、制御部２００は、通信部２０１の送信部２１４からソース端末１０へ、変換した位置情報の送信を行う（ステップＳ５１６）

タッチされた位置を含む区分画面領域に同期モードが設定されていない、と判断する場合（ステップＳ５１２；ＮＯ）、制御部２００は、受付けた操作内容の特定を行い（ステップＳ５１８）、その操作内容に応じた描画処理を行う（ステップＳ５２０）。

図１３は、位置情報変換処理の動作の流れの例を示すフロー図である。情報処理端末２０の制御部２００は、記憶部２０４に記憶されたテーブル群を参照し、例えば、ユーザから受付けた操作によって指定される、情報処理端末２０の表示部２０２の表示画面上の位置を特定する（ステップＳ７０２）。次に制御部２００は、特定した位置を、この位置が属する区分画面領域内で定義された座標に変換する（ステップＳ７０４）。

さらに制御部２００は、上述した位置を変換した座標を、区分画面領域に表示されている画像（つまりコンテンツ）上の位置に変換する（ステップＳ７０６）。そして、制御部２００は、その画像上の位置をソース端末１０の画面上の位置に変換する（ステップＳ７０８）。

これにより、情報処理端末２０は、ユーザから受付けた操作が示す位置を、ソース端末１０の画面上の位置に変換する。したがって、情報処理端末２０から変換された位置の情報を受けたソース端末１０は、情報処理端末２０のユーザが指定した位置を、あたかもソース端末１０で指定されたかのように取り扱うことができる。

以上、説明した構成により情報処理システム１００は、ソース端末１０のそれぞれの画面にて表示されているコンテンツ（静止画、動画）を情報処理端末２０（遠隔操作端末）にて再現するとともに、情報処理端末２０にて入力された操作内容をソース端末１０上で再現することができる。

特に、複数のソース端末１０のそれぞれの画面と、情報処理端末２０の画面とで、サイズや形状（縦横比）等の表示機能上の違いがあっても、情報処理端末２０は、ソース端末１０の画像を適切に表示することができる。また、情報処理端末２０で入力された操作は、ソース端末１０で適切に反映される。

また、ソース端末１０は、コンテンツの出力機能と変換された位置情報とを受信する機能を備えていれば、情報処理端末２０から受信した位置情報を、自端末の画面（ソース端末１０がドングル等である場合には、自端末が直接、接続された表示装置の画面）に対してなされたタッチ操作やマウス等による操作が示す位置情報と同等に扱うことができる。

＜変形例＞
制御部１１０、及び制御部２００は、汎用的なプロセッサであるＣＰＵを有していたが、他のプロセッサを有してもよい。ここで用いられる他のプロセッサは、例えば、ＦＰＧＡ（Field Programmable Gate Array）であってもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）や、他のプログラマブル論理デバイスであってもよい。

上述した実施形態において、制御部２００は、算出部２０９として機能していたが、表示制御部２１２が算出部２０９として機能してもよい。この場合、この表示制御部２１２は、各区分画面領域のサイズおよび形状に基づいて、画像データに基づく画像の縦横比を保ったまま、表示サイズおよび表示方向を決定する表示制御部の例である。
要するに、本発明に係る情報処理システムにおいて、表示部を有するコンピュータと一以上の他の端末とが接続され、前記１以上の他の端末の画面に表示されている画像を示す画像データを受信するステップと、前記１以上の他の端末から受信した画像データに基づく画像を、前記表示部の表示画面の、前記１以上の他の端末の各々と対応付けられた区分画面領域にそれぞれ表示するステップと、前記表示画面上の位置の指定を受付けるステップと、該受付けた位置が属する区分画面領域に対応付けられた他の端末を特定し、当該区分画面領域に表示されている画像上の位置に対応する、該特定された他の端末の画面上の位置を示す位置情報を算出するステップと、前記位置情報を、該特定された他の端末に送信するステップとが実行されていればよい。

また、上述した算出部２０９として機能する場合、この表示制御部２１２は、通信接続時に特定された各他の端末に対応付けて記憶されている表示機能情報に基づいて、位置情報の算出を行う表示制御部の例である。

上述した実施形態、又は変形例において、制御部２００は、例えば、ソース端末１０との通信接続時に、機能情報管理テーブルＴｂ１を参照し、そのソース端末１０の表示機能情報を特定していた。しかし、制御部２００は、ソース端末１０との通信接続時に、そのソース端末１０に表示機能情報を要求してもよい。また、制御部２００は、ソース端末１０から受信する画像データのデータ量に基づいて、そのソース端末１０の表示機能情報を決定してもよい。

この決定は、表示制御部２１２が行ってもよい。つまり、この場合、表示制御部２１２は、他の端末から受信した画像データのデータ量に基づいて、表示部に表示される画像のサイズ、又は解像度を決定する表示制御部の例である。

例えば、情報処理端末２０は、動画のストリーミング再生を行う場合等において、ソース端末１０から単位時間当たりに受信する画像データの送料が所定値に達したら、そのソース端末１０に対応する区分画面領域に表示する画像の解像度を下げてもよい。この場合、情報処理端末２０は、画像処理の負荷が軽減される。

上述した実施形態において、２つのソース端末１０を操作する場合に、領域ＣＲは、左右に配置された区分画面領域ＣＲ１、及び区分画面領域ＣＲ２に区分されていた。しかし、情報処理端末２０の表示部２０２に定められた領域ＣＲに割当てられるソース端末１０の数は２つに限らない。

情報処理端末２０は、１つのソース端末１０を１つの領域ＣＲに割当ててもよい。この場合、領域ＣＲは分割（区分）されることなく、そのまま１つのソース端末１０に割当てられる。また、情報処理端末２０は、領域ＣＲをソース端末１０の数だけ区分して、３つ以上のソース端末１０を割当ててもよい。

また、領域ＣＲを複数の区分画面領域に区分する場合、それぞれの区分画面領域は、様々に配置され得る。

図１４は、ソース端末１０の画像を区分画面領域に割当てた他の構成例を示す図である。情報処理端末２０は、複数の区分画面領域を横に配置するのではなく、図１４の（ａ）に示すように、一方が他方に包含されるように配置してもよい。図１４の（ａ）に示す例で、区分画面領域ＣＲ２は、区分画面領域ＣＲ１に包含されている。この例において、区分画面領域ＣＲ１と区分画面領域ＣＲ２とは、いわゆる「親子」の配置関係となっている。また、区分画面領域は、完全分離の配置、包含の配置に限らず、一部が重複した配置（いわゆる「オーバーラップ」の配置）であってもよい。ある区分画面領域が他の区分画面領域と重複、又は包含関係にあるとき、アクティブ、非アクティブの指定は、区分画面領域内の特定の領域に設定されてもよい。

また、情報処理端末２０は、領域ＣＲをソース端末１０の数以上に区分して、区分したそれらの区分画面領域にソース端末１０を割当ててもよい。換言すると、接続しているいずれのソース端末の画面も表示されない領域が、領域ＣＲ内に設定されてもよい。例えば、情報処理端末２０は、図１４の（ｂ）に示すように、領域ＣＲを３つの区分画面領域ＣＲ１、ＣＲ２、ＣＲ３に区分し、そのうちの２つにソース端末１０を割当ててもよい。例えば、ソース端末１０Ａが区分画面領域ＣＲ１に、ソース端末１０Ｂが区分画面領域ＣＲ２に割当てられると、区分画面領域ＣＲ３は、いずれのソース端末１０にも割当てられていない領域となる。この区分画面領域ＣＲ３は、ソース端末１０が割当てられていないため、ユーザの操作が行われても、その操作が反映されるソース端末１０が存在しない。

また、ソース端末１０が割当てられない区分画面領域を、ソース端末１０が割当てられる区分画面領域同士の間に配置してもよい。例えば、情報処理端末２０は、図１４の（ｄ）に示すように、区分画面領域ＣＲ１と区分画面領域ＣＲ２との間に、いずれのソース端末１０にも割当てられていない区分画面領域ＣＲ３を配置する。これにより、一方の区分画面領域に対して行ったスワイプ操作等が、他の区分画面領域に侵入して誤認識される可能性が低減される。

例えば、図１４の（ｄ）に示す画面において情報処理端末２０が、区分画面領域ＣＲ１に触れたユーザの指を検知したとする。この指が区分画面領域ＣＲ１から区分画面領域ＣＲ３を経由して区分画面領域ＣＲ２まで移動したことを検知した場合、情報処理端末２０の制御部２００は、（１）区分画面領域ＣＲ１への指の接触開始を検知し、（２）区分画面領域ＣＲ３内を触れたまま横切る指を検知し、（３）区分画面領域ＣＲ３との境界から区分画面領域ＣＲ２に入った指を検知する。この検知の順序とそれぞれの時間との組合せからなるパターンを予め決められた条件と照合し、制御部２００は、区分画面領域ＣＲ２に対する操作を無効として、区分画面領域ＣＲ１への操作のみを有効と判断してもよい。

つまり、いずれのソース端末１０にも割当てられていない区分画面領域を設けて、操作を受け付ける画面領域を制限することで、情報処理端末２０は、スワイプ操作時等の誤操作を防止することができる。

上述した情報処理端末２０の制御部２００により実行されるプログラムは、磁気テープ及び磁気ディスク等の磁気記録媒体、光ディスク等の光記録媒体、光磁気記録媒体、半導体メモリ等の、コンピュータ装置が読取り可能な記録媒体に記憶された状態で提供し得る。また、このプログラムは、インターネット等の通信回線経由でダウンロードされてもよい。

この制御部２００により実行されるプログラムは、表示部を有するコンピュータに、１以上の他の端末の画面に表示されている画像を示す画像データを受信するステップと、１以上の他の端末から受信した画像データに基づく画像を、表示部の表示画面の、１以上の他の端末の各々と対応付けられた複数の区分画面領域にそれぞれ表示するステップと、表示画面上の位置の指定を受付けるステップと、受付けた位置が属する区分画面領域に対応付けられた他の端末を特定し、区分画面領域に表示されている画像上の位置に対応する、特定された他の端末の画面上の位置を示す位置情報を算出するステップと、位置情報を、特定された他の端末に送信するステップと、を実行させるためのプログラムの例である。

１０（１０Ａ、１０Ｂ）…ソース端末、１００…情報処理システム、１０１…通信部、１０２…表示部、１０３…放音部、１０４…記憶部、１０５…音声制御部、１０６…表示制御部、１０７…入力部、１０８…操作内容特定部、１０９…位置情報検出部、１１０…制御部、２０…情報処理端末、２００…制御部、２０１…通信部、２０２…表示部、２０３…放音部、２０４…記憶部、２０５…音声制御部、２０６…受付部、２０７…操作内容特定部、２０８…位置情報検出部、２０９…算出部、２１０…モード切替部、２１１…設定部、２１２…表示制御部、２１３…受信部、２１４…送信部、Ｔｂ１…機能情報管理テーブル、Ｔｂ２…ウィンドウ定義テーブル、Ｔｂ３…画面割当てテーブル、Ｔｂ４…表示状態管理テーブル。

Claims (8)

1. 表示部と、
   複数の他の端末の画面に表示されている画像を示す画像データを受信する受信部と、
   前記複数の他の端末から受信した画像データに基づく画像を、前記表示部の表示画面の、前記複数の他の端末の各々と対応付けられた複数の区分画面領域にそれぞれ表示する表示制御部と、
   前記表示画面上の位置の指定を受付ける受付部と、
   該受付けた位置が属する区分画面領域に対応付けられた他の端末を特定し、当該区分画面領域に表示されている画像上の位置に対応する、該特定された他の端末の画面上の位置を示す位置情報を算出する算出部と、
   前記位置情報を、該特定された他の端末に送信する送信部と、
   前記複数の区分画面領域のうち、位置が指定された場合に前記位置情報の算出を実行するアクティブ領域と、当該算出を実行しない非アクティブ領域とを設定する設定部と、
   ユーザからの指示に応じて、他の端末から受信した画像データに基づく画像に該特定された操作内容が直接反映された画像を前記表示部に表示するとともに、該受付けた位置に基づく位置情報を当該他の端末に送信しない非同期モードと、当該操作内容が直接反映されない画像を前記表示部に表示するとともに、該受付けた位置に基づく位置情報を当該他の端末に送信する同期モードとを切り替える切り替え部と
   を有する情報処理端末。
2. 前記表示制御部は、前記受付部にて受付けた位置に基づいてユーザの操作内容を特定し、該特定された操作内容に基づいて、該受付けた位置が属する区分画面領域に表示されている画像について、拡大、縮小、回転、又はスクロールを実行する、
   請求項１に記載の情報処理端末。
3. 前記表示制御部は、各区分画面領域のサイズおよび形状に基づいて、前記画像データに
   基づく画像の縦横比を保ったまま、表示サイズおよび表示方向を決定する
   請求項１に記載の情報処理端末。
4. 前記複数の他の端末の各々ついて、当該他の端末の画面において表示されている画像上の位置と当該画面上の位置との対応関係を示す表示機能情報を記憶する記憶部を更に備え、
   前記表示制御部は、通信接続時に特定された各他の端末に対応付けて記憶されている前記表示機能情報に基づいて、前記位置情報の算出を行う、
   請求項１に記載の情報処理端末。
5. 前記表示制御部は、前記複数の他の端末から受信した画像データのデータ量に基づいて、前記表示部に表示される画像のサイズ、又は解像度を決定する
   請求項１に記載の情報処理端末。
6. 前記表示画面には、前記複数の他の端末のいずれとも対応付けられない区分画面領域を示す画像が含まれる
   請求項１に記載の情報処理端末。
7. 前記受付部において検知した位置の変化が、他の端末に対応付けられた区分画面領域といずれの端末にも対応付けられていない区分画面領域とに跨る場合、前記表示制御部は、当該検知した順序と検知した時間とに基づいて、操作が有効なまたは無効な区分領域を判定する
   請求項６に記載の情報処理端末。
8. 表示部を有するコンピュータに、
   複数の他の端末の画面に表示されている画像を示す画像データを受信するステップと、
   前記複数の他の端末から受信した画像データに基づく画像を、前記表示部の表示画面の、前記複数の他の端末の各々と対応付けられた複数の区分画面領域にそれぞれ表示するステップと、
   前記表示画面上の位置の指定を受付けるステップと、
   該受付けた位置が属する区分画面領域に対応付けられた他の端末を特定し、当該区分画面領域に表示されている画像上の位置に対応する、該特定された他の端末の画面上の位置を示す位置情報を算出するステップと、
   前記位置情報を、該特定された他の端末に送信するステップと、
   前記複数の区分画面領域のうち、位置が指定された場合に前記位置情報の算出を実行す
   るアクティブ領域と、当該算出を実行しない非アクティブ領域とを設定するステップと
   ユーザからの指示に応じて、他の端末から受信した画像データに基づく画像に該特定さ
   れた操作内容が直接反映された画像を前記表示部に表示するとともに、該受付けた位置に
   基づく位置情報を当該他の端末に送信しない非同期モードと、当該操作内容が直接反映さ
   れない画像を前記表示部に表示するとともに、該受付けた位置に基づく位置情報を当該他
   の端末に送信する同期モードとを切り替えるステップと
   を実行させるためのプログラム。

Images