JP6003230B2 - 情報処理システム、サーバ装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、複数の情報処理端末を有する情報処理システム、サーバ装置、情報処理方法及びプログラムに関する。

液晶等の薄型表示装置とこれに付随するタッチパネルとを有する、いわゆるスマートフォンやタブレット端末が普及している。これらスマートフォンやタブレット端末が備える表示装置は、現在普及している範囲では高々１０インチのサイズを有する、いわゆる中小型の表示装置である。これは、スマートフォンやタブレット端末が携帯して使用されることを前提とする以上、設計上の制約といえる。

一方、パーソナルコンピュータ（ＰＣ）においては、Ｗｉｎｄｏｗｓ（登録商標）などにおいて、一つのＰＣに複数のディスプレイ装置を接続し、これらディスプレイ装置に表示される画面を連続的に表示し、あたかも一つのディスプレイ装置であるかのように扱うマルチディスプレイと呼ばれる技術が採用されている。このマルチディスプレイを、スマートフォンやタブレット端末においても実現しようというニーズはあり、複数の技術が提案されている（特許文献１及び特許文献２参照）。これら特許文献１、２に開示された技術では、複数のスマートフォンやタブレット端末を同一平面上に隣接して並べ、ユーザがこれらスマートフォンやタブレット端末を連続的にタッチすることでその位置関係を判定し、判定された位置関係に基づいてマルチディスプレイ表示用の画面を生成している。

特開２０１１−１９７７７６号公報 特開２０１１−４８６１０号公報

しかしながら、これら特許文献１、２に開示された技術は、いずれも同一の画面サイズまたは解像度を有する表示装置を有するスマートフォンやタブレット端末を同一平面上に隣接して並べることを前提としている。従って、異なる画面サイズまたは解像度を有するスマートフォンやタブレット端末を並べてマルチディスプレイ表示を実現することは困難であった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、異なる画面サイズまたは解像度を有するスマートフォンやタブレット端末を並べてマルチディスプレイ表示を実現することの可能な情報処理システム、サーバ装置、情報処理方法及びプログラムを提供することにある。

本発明は、画面表示を行う表示部、ユーザによる入力座標を検出する入力検出部及び外部装置との間で通信を行う通信部を備える複数の情報処理端末と、これら情報処理端末との間で通信を行う通信部を有するサーバ装置とを備える情報処理システムに適用される。
そして、情報処理端末は、ユーザにより連続的な入力がされると、入力検出部により検出された入力開始座標及び入力終了座標と表示部のサイズとを、通信部によりサーバ装置に送信させる入力座標出力部を備え、サーバ装置は、通信部が受信した入力開始座標、入力終了座標及び表示部のサイズと、これらを通信部が受信したタイミングとに基づいて、入力開始座標、入力終了座標及び表示部のサイズを送信した情報処理端末の表示部の相対座標を決定する相対座標処理部を備えることを特徴とする。

相対座標処理部は、通信部が受信した入力開始座標、入力終了座標及び表示部のサイズと、これらを通信部が受信したタイミングとに基づいて、入力開始座標、入力終了座標及び表示部のサイズを送信した情報処理端末の表示部の相対座標を決定する。この相対座標処理部は、情報処理端末の表示部のサイズを考慮して、この情報処理端末の表示部の相対座標を決定することができる。

ここで、サーバ装置に、相対座標処理部により決定された情報処理端末の表示部の相対座標に基づいて、情報処理端末の表示部に表示すべき単一の画面を構成するデータを生成し、このデータを通信部により情報処理端末に送信させる表示画面処理部を設けてもよい。

また、情報処理端末に、ユーザによる入力検出部への連続的な入力に先立って、グループ化要求信号を生成してこのグループ化要求信号を通信部によりサーバ装置に送信させるグループ化信号処理部を設けるとともに、サーバ装置に、通信部が受信したグループ化要求信号に基づいて、このグループ化要求信号を送信した情報処理端末をグループ化するグループ化処理部を設け、相対座標処理部が、グループ化処理部によりグループ化された情報処理端末の表示部の相対座標を決定してもよい。

また、サーバ装置は、複数の情報処理端末のいずれか一つであってもよく、さらには、サーバ装置及び複数の情報処理端末は同一のネットワーク内に存在してもよい。

また、本発明は、画面表示を行う表示部、ユーザによる入力座標を検出する入力検出部、外部装置との間で通信を行う通信部、及びユーザにより連続的な入力がされると、入力検出部により検出された入力開始座標、入力終了座標及び表示部のサイズを、通信部によりサーバ装置に送信させる入力座標出力部を備える複数の情報処理端末と、これら情報処理端末との間で通信を行う通信部を有するサーバ装置とを備える情報処理システムに用いられるサーバ装置に適用される。
そして、このサーバ装置は、情報処理端末から送信された入力開始座標、入力終了座標及び表示部のサイズと、情報処理端末から送信された入力開始座標、入力終了座標及び表示部のサイズが通信部により受信されたタイミングとに基づいて、送信のあった情報処理端末の表示部の相対座標を決定する相対座標処理部を備えることを特徴とする。

さらに、本発明は、表示画面を備え、ユーザによる入力座標を検出するとともに外部装置との間で通信を行う複数の情報処理端末と、これら情報処理端末との間で通信を行うサーバ装置とを備える情報処理システムにおける情報処理方法に適用される。
そして、情報処理端末は、ユーザにより連続的な入力がされると、入力開始座標及び入力終了座標を検出し、検出した入力開始座標、入力終了座標及び表示画面のサイズをサーバ装置に送信し、サーバ装置は、情報処理端末から入力開始座標、入力終了座標及び表示部のサイズを受信し、受信した入力開始座標、入力終了座標及び表示画面のサイズとこれらを受信したタイミングとに基づいて、送信のあった情報処理端末の表示画面の相対座標を決定することを特徴とする。

そして、本発明は、表示画面を備え、ユーザによる入力座標を検出するとともに外部装置との間で通信を行う複数の情報処理端末と、これら情報処理端末との間で通信を行うサーバ装置とを備える情報処理システムに用いられるコンピュータにより読取可能なプログラムに適用される。
そして、このプログラムは、読み込まれて実行されると、情報処理端末に、ユーザにより連続的な入力がされると、入力開始座標及び入力終了座標を検出させ、検出した入力開始座標、入力終了座標及び表示画面のサイズをサーバ装置に送信させ、サーバ装置に、情報処理端末から入力開始座標、入力終了座標及び表示部のサイズを受信させ、受信した入力開始座標、入力終了座標及び表示画面のサイズとこれらを受信したタイミングとに基づいて、送信のあった情報処理端末の表示画面の相対座標を決定させることを特徴とする。

本発明によれば、相対座標処理部が、通信部が受信した入力開始座標、入力終了座標及び表示部のサイズと、これらを通信部が受信したタイミングとに基づいて、入力開始座標、入力終了座標及び表示部のサイズを送信した情報処理端末の表示部の相対座標を決定する。この相対座標処理部は、情報処理端末の表示部のサイズを考慮して、この情報処理端末の表示部の相対座標を決定することができる。従って、異なる画面サイズまたは解像度を有する情報処理端末を配置した場合でも、これら情報処理端末の表示部の相対座標を決定することができ、異なる画面サイズまたは解像度を有するスマートフォンやタブレット端末を並べてマルチディスプレイ表示を実現することが可能になる。

本発明の第１の実施形態である情報処理システムの概略構成を示す図である。 第１の実施形態の情報処理システムを構成する情報処理端末の概略構成を示すブロック図である。 第１の実施形態の情報処理端末を示す機能ブロック図である。 第１の実施形態の情報処理システムを構成するサーバ装置を示す機能ブロック図である。 第１の実施形態の情報処理システムの動作を示す図であって、グループ化処理動作を説明するためのフローチャートである。 第１の実施形態の情報処理システムの動作を示す図であって、レイアウト検出動作を説明するためのフローチャートである。 第１の実施形態の情報処理システムの動作を示す図であって、画面生成処理動作を説明するためのフローチャートである。 第１の実施形態の情報処理システムの動作を示す図であって、情報処理端末における座標検出を説明するための図である。 第１の実施形態の情報処理システムにおいて表示される画面の一例を示す図である。 本発明の第２の実施形態である情報処理システムの概略構成を示す図である。 第２の実施形態の情報処理システムにおいて表示される画面の一例を示す図である。 本発明の第３の実施形態である情報処理システムの概略構成を示す図である。 本発明の第４の実施形態である情報処理システムの概略構成を示す図である。 本発明の第５の実施形態である情報処理システムの概略構成の一例を示す図である。 本発明の第５の実施形態である情報処理システムの概略構成の他の例を示す図である。 本発明の第５の実施形態である情報処理システムの概略構成のまた他の例を示す図である。

以下、図面を参照して、本発明の実施形態である情報処理システムについて説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態である情報処理システムの概略構成を示す図である。本実施形態の情報処理システム１０は、複数台（本実施形態では３台）の情報処理端末２０から構成されている。情報処理端末２０は、いわゆるスマートフォンやタブレット端末からなる。これら３台の情報処理端末２０のうち、１台の情報処理端末２０ａはサーバ装置として動作し、他の２台の情報処理端末２０ｂ、２０ｃとの間で通信を行う。以降の説明においては、情報処理端末２０ａを単にサーバ装置（同一の符号で表す）と呼ぶことがある。また、サーバ装置２０ａとそれ以外の情報処理端末２０ｂ、２０ｃを区別せずに説明する場合は、符号２０で代表して説明する。

（情報処理端末の概略構成）
図２は、本実施形態の情報処理システムに用いられる情報処理端末２０の概略構成を示す図である。上述したサーバ装置としての情報処理端末２０ａとそれ以外の情報処理端末２０ｂ、２０ｃとは概略構成が同一であるので、ここでは区別せずに説明を行う。

図２において、情報処理端末２０は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、液晶ドライバ２４、液晶パネル２５、無線通信モジュール２６、アンテナ２７、移動体通信モジュール２８、音声インタフェース（Ｉ／Ｆ）２９、マイクロフォン３０、スピーカ３１、アンテナ３２、入力インタフェース（Ｉ／Ｆ）３３及びタッチパネル３４を備え、これらは共通のバスにより接続されている。

ＣＰＵ２１は、ＲＯＭ２２内に格納されたファームウェア等のプログラムがＲＡＭ２３において展開された後で実行されることで、情報処理端末２０全体の動作制御を行う。ＲＯＭ２２には、上述のファームウェア等のプログラムが格納されている。ＲＡＭ２３は、情報処理端末２０のワークメモリとして動作し、各種プログラム及びデータが一時的に格納される。

液晶パネル２５は、その略矩形状の表示面が情報処理端末２０の表面に露出して設けられている。液晶ドライバ２４は、表示画面を構成するデータがＣＰＵ２１からこの液晶ドライバ２４に供給されると、液晶パネル２５の表示面に所望の表示画面を表示するようにこの液晶パネル２５を駆動する。

無線通信モジュール２６は、例えばＩＥＥＥ（The Institute of Electrical and Electronics Engineers）８０２．１１規格に準拠してアンテナ２７を介して他の情報処理端末２０との間で無線通信を行う。すなわち、本実施形態の情報処理端末２０は相互に無線通信を行うことで無線ＬＡＮネットワークを形成する。この無線通信モジュール２６は、アクセスポイントまたはクライアントの少なくとも一方で動作することが可能であり、いずれの動作を行うかについてはＣＰＵ２１の制御に基づく。本実施形態では、後述のようにサーバ装置として動作する情報処理端末２０ａの無線通信モジュール２６はアクセスポイントとして動作し、それ以外の情報処理端末２０ｂ、２０ｃの無線通信モジュール２６はクライアントとして動作する。

移動体通信モジュール２８は、例えばＩＭＴ（International Mobile Telecommunication）−２０００規格に準拠してアンテナ３２を介して図略の基地局との間で移動体無線通信を行う。すなわち、移動体通信モジュール２８は、基地局から受信した電波をデコードして得られた音声信号を、音声インタフェース２９を介してスピーカ３１から発音させ、音声インタフェース２９を介してマイクロフォン３０が集音した音声をエンコードして、アンテナ３２を介して電波として基地局に送信する。

タッチパネル３４は、本実施形態では液晶パネル２５の表示面の上面に重畳されて設けられ、この液晶パネル２５の表示面と略同一の大きさを有する。上述のように液晶パネル２５の表示面は略矩形状であるので、タッチパネル３４も同様に矩形状である。タッチパネル３４は、ユーザがこのタッチパネル３４に接触した際に、その接触位置をタッチパネル３４上の２次元の座標値として検出する。通常、ユーザは情報処理端末２０に対して何らかの入力を行うためにタッチパネル３４に接触するので、この接触位置座標はユーザによる入力位置座標である。従って、以降の説明においては、接触位置座標を入力位置座標とも称する。タッチパネル３４により検出されたユーザの入力位置座標は、入力インタフェース３３を介してＣＰＵ２１に入力される。なお、本実施例においては、タッチパネル３４が液晶パネル２５の表示面の上面に重畳されて設けられ、この液晶パネル２５の表示面と略同一の大きさを有するので、ユーザからすると、液晶パネル２５の表示面をタッチすることで所定の入力が行えたように見える。このようなインタフェース動作を実現するには、液晶パネル２５の表示面に所定のボタン表示等を行い、このボタン表示の表示位置に対応するタッチパネル３４の位置がユーザにより接触されたことを検出することで行える。

（情報処理端末の機能）
次に、図３は、本実施形態の情報処理端末の概略構成を示す機能ブロック図である。本実施形態において、サーバ装置でもある情報処理端末２０ａと、サーバ装置２０ａ以外の情報処理端末２０ｂ、２０ｃは、後に詳述する機能及び動作が異なる。従って、情報処理端末２０ａと情報処理端末２０ｂ、２０ｃの機能については別々に説明する。図３に示す機能ブロック図は、サーバ装置２０ａ以外の情報処理端末２０ｂ、２０ｃの概略構成を示す機能ブロック図である。

図３において、情報処理端末２０ｂ、２０ｃは、表示部４１、入力検出部４２、入力座標出力部４３、グループ化信号処理部４４、記憶部４５及び通信部４６を備えている。

表示部４１は、記憶部４５に一時的に格納されている表示用画面データに基づいて、表示面に所定の表示画面を表示する。入力検出部４２は、ユーザによる入力位置座標を検出し、その結果を入力座標出力部４３に出力する。入力座標出力部４３は、入力検出部４２により検出された入力位置座標に基づいて、ユーザが連続的に入力した入力位置座標のうち、その入力開始位置座標及び入力終了位置座標を生成する。入力座標出力部４３により生成された入力開始位置座標及び入力終了位置座標は記憶部４５に一時的に格納される。

グループ化信号処理部４４は、ユーザによる入力位置座標を入力検出部４２が検出した結果に基づいて、他の情報処理端末２０ａ、２０ｂ、２０ｃに対してグループ化要求信号を生成する。

記憶部４５には、入力座標出力部４３により生成された入力開始位置座標及び入力終了位置座標、及びグループ化信号処理部４４により生成されたグループ化要求信号が一時的に格納されるとともに、表示部４１に表示される表示用画面データも一時的に格納される。

通信部４６は、記憶部４５に格納された、入力座標出力部４３により生成された入力開始位置座標及び入力終了位置座標、表示部４１の解像度、及びグループ化信号処理部４４により生成されたグループ化要求信号を他の情報処理端末２０ａ、２０ｂ、２０ｃに送信するとともに、表示部４１に表示される表示用画面データを他の情報処理端末２０ａ、２０ｂ、２０ｃから受信する。

（サーバ装置の機能）
図４は、本実施形態のサーバ装置でもある情報処理端末２０ａの概略構成を示す機能ブロック図である。図４において、サーバ装置２０ａは、表示部５１、入力検出部５２、入力座標出力部５３、相対座標処理部５４、グループ化処理部５５、表示画面処理部５６、記憶部５７及び通信部５８を備えている。

表示部５１は、記憶部５７に一時的に格納されている表示用画面データに基づいて、表示面に所定の表示画面を表示する。入力検出部５２は、ユーザによる入力位置座標を検出し、その結果を入力座標出力部５３に出力する。入力座標出力部５３は、入力検出部５２により検出された入力位置座標に基づいて、ユーザが連続的に入力した入力位置座標のうち、その入力開始位置座標及び入力終了位置座標を生成する。入力座標出力部５３により生成された入力開始位置座標及び入力終了位置座標は記憶部５７に一時的に格納される。

相対座標処理部５４は、記憶部５７に格納された、このサーバ装置２０ａの入力開始位置座標及び入力終了位置座標、及び、他の情報処理端末２０ｂ、２０ｃの入力開始位置座標及び入力終了位置座標に基づいて、サーバ装置２０ａ及び他の情報処理端末２０ｂ、２０ｃが備える表示部４１、５１の表示画面の相対座標を算出する。算出された表示部４１、５１の表示画面の相対座標は記憶部５７に一時的に格納される。

グループ化処理部５５は、他の情報処理端末２０ｂ、２０ｃから送信され、通信部５８により受信されたグループ化要求信号に基づいて、サーバ装置２０ａを含めた他の情報処理端末２０ｂ、２０ｃをグループ化する処理を行う。グループ化処理結果は記憶部５７に一時的に格納される。

表示画面処理部５６は、記憶部５７に格納された、表示部４１、５１の表示画面の相対座標に基づき、サーバ装置２０ａ、他の情報処理端末２０ｂ、２０ｃの表示部の表示画面を単一の画面とする、いわゆるマルチディスプレイにより表示する表示画面データを生成する。生成された表示画面データは記憶部５７に一時的に格納される。

記憶部５７には、入力座標出力部５３により生成された入力開始位置座標及び入力終了位置座標、他の情報処理端末２０ｂ、２０ｃの入力座標出力部４３により生成され、通信部４６により送信されて通信部５８が受信した入力開始位置座標及び入力終了位置座標及びその受信タイミング、相対座標処理部５４により生成されたサーバ装置２０ａ及び他の情報処理端末２０ｂ、２０ｃが備える表示部４１、５１の表示画面の相対座標、グループ化処理部５５により処理されたグループ化処理結果、及び表示画面処理部５６により生成された表示画面データが一時的に格納されるとともに、表示部５１に表示される表示用画面データも一時的に格納される。

通信部５８は、記憶部５７に格納された、入力座標出力部５３により生成された入力開始位置座標及び入力終了位置座標、他の情報処理端末２０ｂ、２０ｃの入力座標出力部４３により生成され、通信部４６により送信されて通信部５８が受信した入力開始位置座標及び入力終了位置座標及びその受信タイミング、相対座標処理部５４により生成されたサーバ装置２０ａ及び他の情報処理端末２０ｂ、２０ｃが備える表示部４１、５１の表示画面の相対座標、及び表示画面処理部５６により生成された表示画面データを他の情報処理端末２０ｂ、２０ｃに送信するとともに、グループ化要求信号を他の情報処理端末２０ｂ、２０ｃから受信する。

なお、図３及び図４の機能ブロック図に示した機能ブロックと、図２に示すハードウェアとの関係は以下の通りになる。すなわち、表示部４１及び表示部５１は液晶パネル２５及び液晶ドライバ２４の動作により実現され、入力検出部４２及び入力検出部５２はタッチパネル３４及び入力インタフェース３３の動作により実現され、入力座標出力部４３、グループ化信号処理部４４、入力座標出力部５３、相対座標処理部５４、グループ化処理部５５、表示画面処理部５６はＣＰＵ２１の動作により実現され、記憶部４５及び記憶部５７はＲＡＭ２３の動作により実現され、そして、通信部４６及び通信部５８は無線通信モジュール２６及びアンテナ２７の動作により実現される。

なお、本実施形態では、図８に示すように、全ての情報処理端末２０ａ〜２０ｃは外形略矩形状を有する同一構成であり、また、その表示面の大きさ、液晶パネル２５及びタッチパネル３４の解像度も同一であるため、図８のように並べて配置した場合、Ｘ座標軸及びＹ座標軸は各情報処理端末２０ａ〜２０ｃにおいて共通し、また、各情報処理端末２０ａ〜２０ｃの画素ピッチも同一であるとともに、タッチパネル３４、ひいては入力検出部４２、５２により検出された座標値と実際の位置との関係は各情報処理端末２０ａ〜２０ｃにおいて共通する。

（ペアリング処理）
次いで、図５〜図７に示すフローチャートを用いて、本実施形態の情報処理システムの動作について説明する。
図５は、本実施形態の情報処理システムの動作を説明する図であって、グループ化処理動作を説明するためのフローチャートである。このフローチャートに示すグループ化処理動作は、図６のレイアウト検出動作に先立って実行される。

まず、グループ化を希望する情報処理端末２０ａ〜２０ｃは、共通のプログラムを実行することで、図５に示すグループ化処理動作を開始する。なお、以下の説明において、個々の情報処理端末２０ａ〜２０ｃを区別する目的で、情報処理端末２０ａ〜２０ｃに番号を付して説明することがある。ここに、端末０はサーバ装置として動作する情報処理端末２０ａを示し、端末１は情報処理端末２０ｂ、端末２は情報処理端末２０ｃを示す。

ステップＳ１では、サーバ装置として動作する情報処理端末２０ａ及び他の情報処理端末２０ｂ、２０ｃのＣＰＵ２１は、自身の端末をペアリングモード、すなわちグループ化処理モードに設定する。続いてステップＳ２では、情報処理端末２０ａ〜２０ｃのＣＰＵ２１は、他の情報処理端末２０ａ〜２０ｃ（ここではサーバ装置として動作する情報処理端末２０ａも問い合わせ先に含まれる）に対して、同一ネットワーク内にサーバ装置として動作する情報処理端末２０ａが存在するかどうかを問い合わせるコマンドを通信部４６、５８を通じてブロードキャストし、サーバ装置として動作する情報処理端末２０ａからの返信を待つ。

そして、サーバ装置として動作する情報処理端末２０ａからの返信があった場合（ステップＳ２においてＹＥＳ）、ステップＳ３に移行して、グループ化信号処理部４４は、サーバ装置として動作する情報処理端末２０ａに対してグループ化要求信号を通信部４６を介して送信する。この、グループ化要求信号送信指示は、一例として、表示部４１にグループ化処理動作用の画面を表示し、この画面中にグループ化要求信号送出を指示するボタンを表示させ、このボタンがユーザにより押されたことを入力検出部４２が検出したら、グループ化信号処理部４４がグループ化要求信号を生成することにより行えばよい。サーバ装置として動作する情報処理端末２０ａは、この情報処理端末２０ｂ、２０ｃからのグループ化要求信号を通信部５８を介して受信する。

ステップＳ４では、グループ化処理を希望する全ての情報処理端末２０ｂ〜２０ｃにおいてグループ化処理が行われたかどうかが判定され、全ての情報処理端末２０ｂ〜２０ｃにおいてグループ化処理が行われた場合（ステップＳ４においてＹＥＳ）、サーバ装置として動作する情報処理端末２０ａのグループ化処理部５５は、ステップＳ５において、受信したグループ化要求信号に基づいて、グループ化要求信号を送信した情報処理端末２０ｂ、２０ｃ及び自身を１つのグループとして登録し、そのグループ化処理結果を記憶部５７に登録するとともに、グループ化処理が終了して以降はグループ化動作（ペアリング）が開始することを通信部５８を介して他の情報処理端末２０ｂ、２０ｃに通知する。全ての情報処理端末２０ｂ〜２０ｃにおいてグループ化処理が行われていない場合（ステップＳ４においてＮＯ）、ステップＳ２に戻って、サーバ装置として動作する情報処理端末２０ａからの返信を一定時間待つ。このステップＳ４における判定は、例えば、グループ化要求信号の受信を一定時間待つことにより行えばよい。

（レイアウト検出）
次に、図６は、本実施形態の情報処理システムの動作を示す図であって、レイアウト検出動作を説明するためのフローチャートである。既に説明したように、図６のフローチャートに示すレイアウト検出動作は、図５のフローチャートに示すグループ化処理動作終了後に行われる。

まず、ステップＳ１１において、ユーザが情報処理端末２０ａ〜２０ｃのタッチパネルに接触したことを入力検出部４２、５２が検出したかどうかが判定される。その結果、入力検出部４２、５２が検出した場合（ステップＳ１１においてＹＥＳ）、ステップＳ１２に移行し、入力検出部４２、５２が検出していない場合は（ステップＳ１１においてＮＯ）、検出されるまで待機する。

ステップＳ１２では、入力検出部４２、５２が検出した入力位置座標に基づき、入力座標出力部４３、５３は入力開始位置座標及び入力終了位置座標を算出する。これら入力開始位置座標及び入力終了位置座標は記憶部４５、５７に一時的に格納される。また、サーバ装置として動作する情報処理端末２０ａ以外の情報処理端末２０ｂ、２０ｃの通信部４６は、記憶部４５に格納された入力開始位置座標及び入力終了位置座標及び表示部４１の解像度を、サーバ装置として動作する情報処理端末２０ａに送信し、情報処理端末２０ａの通信部５８はこれを受信する。受信された入力開始位置座標、入力終了位置座標、表示部４１の解像度及び受信タイミングは記憶部５７に一時的に格納される。

ステップＳ１２の動作を、図８を参照してより詳細に説明する。
図８に示す例では、情報処理端末２０ａ〜２０ｃは同一平面上で横方向に隣接するように並べられている。また、サーバ装置として動作する情報処理端末２０ａ（端末０）は左端に、それ以外の情報処理端末２０ｂ、２０ｃ（端末１、２）は真ん中及び右端に配置されている。

なお、以下の実施形態において、図８に示すように、通常の使用形態においてユーザが表示部４１、５１（液晶パネル２５）の表示面、及びこの表示面の上面に重畳されたタッチパネル３４を縦長にして保持し、操作することを基準とする情報処理端末２０ａ〜２０ｃの場合、表示面の左上を原点（0,0）とし、表示面の短手方向にＸ軸を、長手方向にＹ軸を取ることにする。このような情報処理端末２０ａ〜２０ｃの例としては、いわゆるスマートフォンが挙げられる。一方、例えば図１４に示すように、通常の使用形態においてユーザが表示部４１、５１（液晶パネル２５）の表示面、及びこの表示面の上面に重畳されたタッチパネル３４を横長にして保持し、操作することを基準とする情報処理端末２０ｎの場合、表示面の左上（図１４では配置の関係で右上にある）を原点（0,0）とし、表示面の長手方向にＸ軸を、短手方向にＹ軸を取ることにする。このような情報処理端末２０ｎの例としては、いわゆるタブレット端末が挙げられる。

この状態で、ユーザが矢印Ａ１で示すように、情報処理端末２０ａ〜２０ｃのタッチパネル３４を一筆書き状態で、図中左から右に連続的に接触すると、入力検出部４２、５２はユーザによる入力位置座標を検出する。入力座標出力部４３、５３は、この入力位置座標に基づいて、各情報処理端末２０ａ〜２０ｃにおけるユーザの入力開始位置座標及び入力終了位置座標を算出する。これら入力開始位置座標及び入力終了位置座標は記憶部４５、５７に一時的に格納される。

図示例において、情報処理端末２０ａ（Ｎ＝０）における入力開始位置座標及び入力終了位置座標はそれぞれ（inX₀,inY₀）（outX₀,outY₀）であったとする。同様に、情報処理端末２０ｂ（Ｎ＝１）における入力開始位置座標及び入力終了位置座標はそれぞれ（inX₁,inY₁）（outX₁,outY₁）、情報処理端末２０ｃ（Ｎ＝２）における入力開始位置座標及び入力終了位置座標はそれぞれ（inX₂,inY₂）（outX₂,outY₂）であったとする。なお、Ｘ座標軸及びＹ座標軸は、情報処理端末２０ａ〜２０ｃの表示面の水平方向及び垂直方向である。

従って、入力座標出力部４３、５３は、情報処理端末２０ａ〜２０ｃにおける入力開始位置座標及び入力終了位置座標である（inX₀,inY₀）（outX₀,outY₀）、（inX₁,inY₁）（outX₁,outY₁）、（inX₂,inY₂）（outX₂,outY₂）を算出し、算出された入力開始位置座標及び入力終了位置座標である（inX₀,inY₀）（outX₀,outY₀）、（inX₁,inY₁）（outX₁,outY₁）、（inX₂,inY₂）（outX₂,outY₂）は記憶部４５、５７に一時的に格納される。

そして、サーバ装置として動作する情報処理端末２０ａ以外の情報処理端末２０ｂ、２０ｃの通信部４６は、記憶部４５に格納された入力開始位置座標及び入力終了位置座標である（inX₁,inY₁）（outX₁,outY₁）、（inX₂,inY₂）（outX₂,outY₂）及び表示部４１の解像度をサーバ装置として動作する情報処理端末２０ａに送信し、情報処理端末２０ａの通信部５８はこれを受信する。受信された入力開始位置座標及び入力終了位置座標である（inX₁,inY₁）（outX₁,outY₁）、（inX₂,inY₂）（outX₂,outY₂）及び表示部４１の解像度、さらに各情報処理端末２０ｂ、２０ｃからの入力開始位置座標等の受信タイミングは記憶部５７に一時的に格納される。この記憶部５７には、情報処理端末２０ａにおける入力開始位置座標及び入力終了位置座標である（inX₀,inY₀）（outX₀,outY₀）が既に格納されている。

図６に戻り、ステップＳ１３では、サーバ装置として動作する情報処理端末２０ａが、グループ化された他の情報処理端末２０ｂ、２０ｃの全てから入力開始位置座標等を受信したかどうかが判定され、全ての情報処理端末２０ｂ、２０ｃから受信した場合（ステップＳ１３においてＹＥＳ）、ステップＳ１４において画面生成処理動作が実行される。画面生成処理動作の詳細については後述する。全ての情報処理端末２０ｂ、２０ｃから受信していない場合（ステップＳ１３においてＮＯ）、ステップＳ１１に戻る。なお、グループ化された全ての情報処理端末２０ｂ、２０ｃから受信したかどうかの判定は、記憶部５７に記憶されたグループ化処理結果に基づいて行われる。

（画面生成処理）
次に、図７は、本実施形態の情報処理システムの動作を示す図であって、画面生成処理動作を説明するためのフローチャートである。既に説明したように、図７のフローチャートに示す画面生成処理動作は、図６のフローチャートにおけるステップＳ１４の動作の詳細である。

図７に示す画面生成処理動作においては、端末情報構造体と名付けた構造体を用いる。この端末情報構造体は、上述した入力開始位置座標等のデータをまとめたものであり、例えばＣ言語で下記のように記述される。
sturuct_ST_POSITION{
int nDispX ：端末上の表示部の位置
int nDispY ：端末上の表示部の位置
int nDispWidth ：端末上の表示部の幅
int nDispHeight ：端末上の表示部の高さ
inX,inY
：入力開始位置座標
outX,outY
：入力終了位置座標
nDirection ：端末の向き
int nX ：サーバ装置２０ａとの相対座標
int nY ：サーバ装置２０ａとの相対座標
}ST_POSITION

ステップＳ２１では、サーバ装置として動作する情報処理端末２０ａの相対座標処理部５４が、記憶部５７に格納された、情報処理端末２０ｂ、２０ｃの入力開始位置座標、入力終了位置座標、表示部４１の解像度及び受信タイミング、さらに情報処理端末２０ａの入力開始位置座標、入力終了位置座標、及び表示部５１の解像度に基づき、これら情報処理端末２０ａ〜２０ｃの表示部の接続状態、すなわちどの情報処理端末２０ａ〜２０ｃが隣接する位置にあるかを判定する。具体的には、端末ｎの端末情報構造体の数値に基づき、以下のように判定する。
・stPos[n].outX=0：次の端末は左にある
・stPos[n].outY=0：次の端末は上にある
・stPos[n].outX≧stPos[n].nDispWidth：次の端末は右にある
・stPos[n].outY≧stPos[n].nDispHeight：次の端末は下にある
ここに、「次の端末」とは、情報処理端末２０ａが入力開始位置座標等を受信したタイミングが端末ｎの次である情報処理端末２０ｂ、２０ｃを示す。上述のように、ユーザは連続的に入力動作を行っている（図８参照）ので、情報処理端末２０ａが入力開始位置座標等を受信したタイミングにより隣接する情報処理端末２０ａ〜２０ｃを特定することができ、しかも、その接続状態まで判定することができる。

次に、ステップＳ２２では、サーバ装置として動作する情報処理端末２０ａの相対座標処理部５４が、情報処理端末２０ａの表示部５１を基準とした各情報処理端末２０ａ〜２０ｃの表示部４１、５１の相対座標を算出する。具体的には、相対座標処理部５４は、端末ｎの入力開始位置座標及び入力終了位置座標を、端末ｎ−１の表示部４１における相対座標に変換する。次いで、変換された端末ｎ−１の表示部における端末ｎの入力開始位置座標及び入力終了位置座標の相対座標値に基づいて、端末ｎの表示部の端末ｎ−１の表示部４１における相対座標値を得る。これを、ｎ＝０、すなわちサーバ装置として動作する情報処理端末２０ａまで繰り返して、最終的に情報処理端末２０ａの表示部５１を基準とした各情報処理端末２０ａ〜２０ｃの表示部４１、５１の相対座標を算出する。

次に、ステップＳ２３では、ステップＳ２２において算出された情報処理端末２０ａ〜２０ｃの表示部４１、５１の相対座標に基づき、これら情報処理端末２０ａ〜２０ｃの表示部４１、５１により表示可能な表示画面のサイズを算出する。より詳細には、図６のフローチャートに示すレイアウト検出動作時において、例えば図８のように各情報処理端末２０ａ〜２０ｃが配置されていたとすると、これら情報処理端末２０ａ〜２０ｃの表示部４１、５１、言い換えれば液晶パネル２５の表示面を全て含む仮想的な表示画面のサイズを算出する。ここにいう仮想的な表示画面は、全ての情報処理端末２０ａ〜２０ｃの液晶パネル２５の表示面を単純に足し合わせたものであってもよい。この場合、仮想的な表示画面は、幾つかの表示画面が間隔を持って並べられたものとなる。あるいは、全ての情報処理端末２０ａ〜２０ｃの液晶パネル２５の表示面を包含する矩形状の一体化した表示画面を仮想的な表示画面としてもよい。この場合、仮想的な表示画面に存在していても実際の情報処理端末２０ａ〜２０ｃの表示部４１、５１には表示されない領域が存在することになる。当然、全ての情報処理端末２０ａ〜２０ｃの液晶パネル２５の表示面を包含する一体化した表示画面は矩形状に限られない。このサイズが、マルチディスプレイ動作において表示可能な画面のサイズとなる。

次に、ステップＳ２４では、情報処理端末２０ａの表示画面処理部５６が、ステップＳ２３で算出された、情報処理端末２０ａ〜２０ｃの表示部４１、５１により表示可能な表示画面のサイズに基づき、マルチディスプレイ動作において各情報処理端末２０ａ〜２０ｃの表示部４１、５１に表示すべき表示画面データを生成する。この表示画面データは記憶部５７に一時的に格納される。

そして、ステップＳ２５では、ステップＳ２４において算出された各情報処理端末２０ａ〜２０ｃの表示画面データを、通信部５８を介して情報処理端末２０ｂ、２０ｃに送信する。送信された表示画面データは情報処理端末２０ｂ、２０ｃにおいて表示されるとともに、情報処理端末２０ａにおいても表示される。図９は、ステップＳ２５によって送信された表示画面用データが各情報処理端末２０ａ〜２０ｃの表示部４１、５１において表示された状態の一例を示す図である。図９に示すように、情報処理端末２０ａ〜２０ｃの表示部４１、５１を用いてマルチディスプレイ動作が実行できている。

以上、詳細に説明したように、本実施形態においては、各情報処理端末２０ａ〜２０ｃにおいて検出された入力開始位置座標、入力終了位置座標、解像度及び受信タイミングに基づいて各情報処理端末２０ａ〜２０ｃの表示部の相対座標を算出し、これに基づいてこれら情報処理端末２０ａ〜２０ｃの表示部４１、５１が表示可能な表示画面のサイズを算出している。従って、情報処理端末２０ａ〜２０ｃの解像度が異なっていても、解像度の差異を反映して各情報処理端末２０ａ〜２０ｃの表示部の相対座標を算出することができ、異なる画面サイズまたは解像度を有するスマートフォンやタブレット端末を並べてマルチディスプレイ表示を実現することが可能になる。

（第２の実施形態）
図１０は、本発明の第２の実施形態である情報処理システムの概略構成を示す図である。本実施形態の情報処理システムは、図示のように４つの情報処理端末２０ｄ〜２０ｇから構成されており、各々の情報処理端末２０ｄ〜２０ｇの構成は、上述した第１の実施形態である情報処理システムを構成する情報処理端末２０ａ〜２０ｃと同一である。従って、同一の構成要素については同一の符号を付し、その説明を簡略化する。

本実施形態では、情報処理端末２０ｄ〜２０ｇは、図中の縦方向に２つ、横方向に２つ、それぞれ隣接して配置されている。従って、矢印Ａ２〜Ａ４に示すように、ユーザが、これら情報処理端末２０ｄ〜２０ｇのタッチパネル３４を一筆書き状態で、図中反時計回り方向に連続的に接触すると、これら情報処理端末２０ｄ〜２０ｇがグループ化処理され、情報処理端末２０ｄ〜２０ｇの表示部４１、５１が表示可能な表示画面のサイズが算出される。そして、図１１に示すように、情報処理端末２０ｄ〜２０ｇの表示部４１、５１を用いてマルチディスプレイ動作が可能となる。
従って、本実施例によっても、上述の第１の実施形態と同様の作用効果を得ることが可能である。

（第３の実施形態）
図１２は、本発明の第３の実施形態である情報処理システムの概略構成を示す図である。本実施形態の情報処理システムは、図示のように２つの情報処理端末２０ｈ、２０ｉから構成されており、情報処理端末２０ｈ、２０ｉの液晶パネル２５の表示画面の解像度が異なっている。より正確には、情報処理端末２０ｉの液晶パネル２５の表示画面の解像度は、情報処理端末２０ｈの液晶パネル２５の表示画面の解像度よりも大きく構成されている。なお、情報処理端末２０ｈ、２０ｉの液晶パネル２５の表示画面の画素ピッチはそれぞれ同一とされている。それ以外の各々の情報処理端末２０ｈ、２０ｉの構成は、上述した第１及び第２の実施形態である情報処理システムを構成する情報処理端末２０ａ〜２０ｇと同一である。従って、同一の構成要素については同一の符号を付し、その説明を簡略化する。

本実施形態では、情報処理端末２０ｈ、２０ｉは、図中の横方向に隣接して配置されている。従って、矢印Ａ５に示すように、ユーザが、これら情報処理端末２０ｈ、２０ｉのタッチパネル３４を一筆書き状態で、図中左から右方向に連続的に接触すると、これら情報処理端末２０ｈ、２０ｉがグループ化処理され、情報処理端末２０ｈ、２０ｉの表示部４１、５１が表示可能な表示画面のサイズが算出される。そして、情報処理端末２０ｈ、２０ｉの表示部４１、５１を用いてマルチディスプレイ動作が可能となる。
従って、本実施例によっても、上述の第１及び第２の実施形態と同様の作用効果を得ることが可能である。

（第４の実施形態）
上述した第１〜第３の実施形態においては、情報処理システムを構成する情報処理端末２０ａ〜２０ｉのいずれかがサーバ装置として動作している。しかしながら、本発明はかかる構成に限定されず、情報処理端末と別体にサーバ装置を設けてもよい。

図１３は、本発明の第４の実施形態である情報処理システムの概略構成を示す図である。図１３において、本発明の情報処理システムは３つの情報処理端末２０ｊ〜２０ｍを備えている。これら情報処理端末２０ｊ〜２０ｍはルータ６０との間で、ＩＥＥＥ８０２．１１規格に準拠した無線通信を行っており、さらに、情報処理端末２０ｊ〜２０ｍは、ルータ６０及びインターネット６１を介して外部に存在するサーバ装置６２と接続されている。このサーバ装置６２は、上述の第１の実施形態における情報処理端末２０ａと同様の動作を行うものである。
従って、本実施例によっても、上述の第１〜第３の実施形態と同様の作用効果を得ることが可能である。

（第５の実施形態）
上述の各実施形態では、相対座標処理部５４は、端末ｎの入力開始位置座標及び入力終了位置座標を、端末ｎ−１の表示部４１における相対座標に変換し、次いで、変換された端末ｎ−１の表示部における端末ｎの入力開始位置座標及び入力終了位置座標の相対座標値に基づいて、端末ｎの表示部の端末ｎ−１の表示部４１における相対座標値を得ていた（図７ステップＳ２２参照）。従って、例えば図８に示すように、情報処理端末２０ａ〜２０ｃの上端部が揃えられない状態で配置されていたとしても、それはユーザが意図的にそのように配置したものであると判断し、図９に示すように、情報処理端末２０ａ〜２０ｃに表示される画面は上端部が揃っていないものになっていた。しかしながら、配置位置の若干のずれは情報処理端末側で修正することがユーザーフレンドリーであるとも考えられる。第５の実施形態では、この、ユーザによる情報処理端末の配置位置の若干のずれを修正する構成を説明する。

図１４に示す例では、情報処理端末２０ｎ、２０ｐの上端部が揃えられておらず、情報処理端末２０ｐの上端部が情報処理端末２０ｎの上端部よりやや上方に位置している。この場合、情報処理端末２０ｎの入力終了位置座標outX₀及び情報処理端末２０ｐの入力開始位置座標inY₁は等しい値を取らない。そこで、画面生成処理動作、詳細には第１の実施形態では図７のステップＳ２２において行われる相対座標算出動作において、outX₀とinY₁との値の差の絶対値|outX₀-inY₁|が所定値以下である場合は、情報処理端末２０ｎ、２０ｐはほぼ上端部が揃えられた状態にある（ユーザはほぼ上端部を揃えて配置した意図がある）ものと判断し、outX₀=inY₁として処理し、相対座標算出動作を行う。ここに、上述した「所定値」に限定はないが、ユーザが意図して上端部を揃えずに配置したのか、それともユーザが意図して上端部を揃えて配置したにもかかわらず結果的に揃えられずに配置したのかを判別できる値であることが好ましい。一例として、実際の寸法として0.5mm〜1cmに相当する値が挙げられる。

次に、図１５に示す例では、情報処理端末２０ｑ、２０ｒの右端部が揃えられておらず、情報処理端末２０ｒの右端部が情報処理端末２０ｑの右端部よりやや右方に位置している。この場合、上述した座標系の取り方からすると、そもそも情報処理端末２０ｑの入力終了位置座標outX₀及び情報処理端末２０ｒの入力開始位置座標inY₁は等しい値を取らない。そこで、画面生成処理動作、詳細には第１の実施形態では図７のステップＳ２２において行われる相対座標算出動作において、まず、図１４に示す例と同様に、情報処理端末２０ｑの入力終了位置座標outX₀と情報処理端末２０ｒの入力開始位置座標inY₁との値を比較する。座標軸の関係で、情報処理端末２０ｑの入力終了位置座標outX₀と情報処理端末２０ｒの入力開始位置座標inY₁との値の差の絶対値|outX₀-inY₁|は所定値以下にはならない。そこで、次に、outX₀とinY₁との差の絶対値が所定値より大きい場合は、情報処理端末の２０ｑの入力終了位置座標から右端部までの値と情報処理端末２０ｒの入力開始位置座標から右端部までの値との差の絶対値が所定値以下であるかを判断する。具体的には、W₀-outX₀とH₁-inY₁との値の差の絶対値|W₀-outX₀-H₁-inY₁|が所定値以下であるかを判断し、所定値以下である場合は、情報処理端末２０ｑ、２０ｒはほぼ右端部が揃えられた状態にある（ユーザはほぼ右端部を揃えて配置した意図がある）ものと判断し、W₀-outX₀=H₁-inY₁として処理し、相対座標算出動作を行う。ここに、W₀及びH₁はそれぞれ情報処理端末２０ｑ、２０ｒの表示面の長手方向の長さ（幅、高さ）である。

このように、対となる情報処理端末２０が接触している位置（辺）によっては、入力終了位置座標outX,outY及び入力終了位置座標inX,inYを単純に比較しただけでは、その位置関係及び隣接関係を正確に把握できないこともありうるので、検出された入力終了位置座標outX,outY及び入力終了位置座標inX,inYに加えて、情報処理端末２０の表示面の幅、高さ（長手方向、短手方向の長さ）を利用して、対となる情報処理装置２０が接触している位置（辺）を検出して相対座標算出動作を行うことが好ましい。加えて、上述した各実施形態において、情報処理端末２０の外形は略矩形状であるから、各情報処理端末２０が隣接、接触しうる位置は概略４辺あり、これらの組み合わせにより、図１４、図１５に示すように、入力終了位置座標及び入力開始位置座標のＸ座標またはＹ座標を比較するばかりでなく、入力終了位置座標のＸ座標と入力開始位置座標のＹ座標、あるいは入力終了位置座標のＹ座標と入力開始位置座標のＸ座標とを比較して相対座標算出動作を行うこともあり得る。

さらに、図１６に示す例では、情報処理端末２０ｓ、２０ｔの右端部が揃えられておらず、情報処理端末２０ｔの表示面右端部が情報処理端末２０ｓの表示面右端部よりやや右方に位置している。この場合も、上述した座標系の取り方からすると、そもそも情報処理端末２０ｓの入力終了位置座標outY₀及び情報処理端末２０ｔの入力開始位置座標inX₁は等しい値を取らない。そこで、画面生成処理動作、詳細には第１の実施形態では図７のステップＳ２２において行われる相対座標算出動作において、まず、図１４に示す例と同様に、情報処理端末２０ｓの入力終了位置座標outY₀と情報処理端末２０ｔの入力開始位置座標inX₁との値を比較する。座標軸の関係で、情報処理端末２０ｓの入力終了位置座標outY₀と情報処理端末２０ｔの入力開始位置座標inX₁との値の差の絶対値|outY₀-inX₁|は所定値以下にはならない。そこで、次に、outY₀とinX₁との差の絶対値が所定値より大きい場合は、情報処理端末２０ｓの入力終了位置座標から右端部までの値と情報処理端末２０ｔの入力開始位置座標から右端部までの値との差の絶対値が所定値以下であるかを判断する。具体的には、H₀-outY₀とW₁-inX₁との値の差の絶対値|H₀-outY₀-W₁-inX₁|が所定値以下であるかを判断し、所定値以下である場合は、情報処理端末２０ｓ、２０ｔはほぼ右端部が揃えられた状態にある（ユーザはほぼ右端部を揃えて配置した意図がある）ものと判断し、H₀-outY₀=W₁-inX₁として処理し、相対座標算出動作を行う。ここに、H₀及びW₁はそれぞれ情報処理端末２０ｓ、２０ｔの表示面の長手方向及び短手方向の長さ（高さ、幅）である。

ここで、ユーザは各情報処理端末２０の座標原点（0,0）を意識して揃えて配置するとは限らないので、上述した例以外にも様々な相対座標算出動作の例があり得る。例えば、図１６に示す例において、情報処理端末２０ｓの座標原点が右上に位置した場合、情報処理端末２０ｓの入力終了位置座標の値と情報処理端末２０ｔの入力開始位置座標から右端部までの値との差の絶対値が所定値以下であるかを判断する。具体的には、outY₀とW₁-inX₁との値の差の絶対値|outY₀-W₁-inX₁|が所定値以下であるかを判断し、所定値以下である場合は、情報処理端末２０ｓ、２０ｔはほぼ右端部が揃えられた状態にある（ユーザはほぼ右端部を揃えて配置した意図がある）ものと判断し、outY₀=W₁-inX₁として処理し、相対座標算出動作を行う。

加えて、本実施形態では、隣り合う一対の情報処理端末２０の隣接関係、位置関係を入力終了位置座標及び入力開始位置座標、さらには情報処理端末２０の表示面の幅、長さを用いて検出し、微調整を行っていたが、グループ化された全ての情報処理端末２０について一旦、図７のステップＳ２２において行われる相対座標算出動作を行い、さらに各情報処理端末２０の表示面の相対座標を比較して上述と同様の微調整を行ってもよい。

（変形例）
本発明の情報処理システム、サーバ装置、情報処理方法及びプログラムは、その細部が上述した第１〜第５の実施形態に限定されず、種々の変形例が可能である。
一例として、上述の第１〜第５実施形態では、情報処理端末間の通信がＩＥＥＥ８０２．１１規格に準拠したもの、すなわち無線ＬＡＮ規格に準拠したものであったが、情報処理端末間における相互通信が可能な無線通信規格であれば限定はない。一例として、Ｂｌｕｅｔｏｏｈ（登録商標）規格に準拠した無線通信が可能な情報処理端末が採用可能であり、この場合、上述したグループ化処理は、Ｂｌｕｅｔｏｏｔｈ規格におけるペアリング動作により実施されればよい。あるいは、ＮＦＣ（Near Field Communication）規格（ＩＳＯ／ＩＥＣ １８０９２及びＩＳＯ／ＩＥＣ ２１４８１）に準拠した無線通信が可能な情報処理端末であってもよい。ＮＦＣ規格の場合、情報処理端末を極めて近接した位置に配置することで、上述したグループ化処理動作を開始させることが可能である。

また、上述の第３の実施形態では、情報処理端末の液晶パネルの解像度が異なる例について説明したが、この第３の実施形態も含めて、情報処理端末の液晶パネルの画素ピッチは同一であった。しかしながら、液晶パネルの画素ピッチが異なる情報処理端末であっても本発明は適用可能である。一例として、情報処理端末がＯＳ（Operating System）としてＡｎｄｒｏｉｄ（商標）を採用していた場合、DisplayMetricsオブジェクトを用いることで、異なる解像度及び画素ピッチを有する情報処理端末においても、上述の実施形態で説明したマルチディスプレイ動作が可能となる。
具体的には、DisplayMetricsオブジェクトを用いて、液晶パネルの横方向の画素数（widthPixels）、縦方向の画素数（heightPixels）、横方向の解像度（xdpi）、縦方向の解像度（ydpi） を取得し、

により算出すればよい。あるいは、各情報処理端末がこれら液晶パネルの横方向の画素数、縦方向の画素数、横方向の解像度、縦方向の解像度を記憶部内に保持し、グループ化処理動作時にこれらデータを送信してもよく、また、サーバ装置が、各情報処理端末の記憶部にアクセスしてこれらデータを読み出してもよい。

また、上述した各実施形態において、例えば図８に示すようにユーザは各情報処理端末の表示面を一筆書きを描くように接触、入力していたが、ユーザによる入力はこれに限定されず、連続的な入力であればよい。ここにいう「連続的」とは、ユーザが指を情報処理端末の表示面から離すことなく、接触、入力開始位置（入力開始位置座標）から、ユーザの指が情報処理装置の表示面に触れていることを検出した最後の位置（入力終了位置座標）まで続けて、の意味である。従って、例えば図８においては、情報処理端末が検出している入力開始位置座標及び入力終了位置座標は、情報処理端末の表示面の外延にタッチパネルが設けられていない領域（額縁領域と呼ばれることがある）が存在するため、完全に連続的に存在するわけではなく、一の情報処理端末における入力終了位置座標と次の情報処理端末における入力開始位置座標との間には一定の距離が存在するが、ユーザは矢印Ａ１に示すように一連の動作で入力を行っているので、このような入力も「連続的」である。

また、上述した各実施形態において、情報処理端末及びサーバ装置を動作させるプログラムはＲＯＭ内に格納されていたが、このプログラムは、例えばＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）等の光学記録媒体、ＵＳＢ（Universal Serial Bus）フラッシュメモリ等の半導体記録媒体により外部から供給されてもよい。加えて、外部ネットワークに存在するサーバに格納されたプログラムをネットワーク経由でダウンロードしてもよい。

１０ 情報処理システム
２０、２０ａ〜２０ｔ 情報処理端末
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ 液晶ドライバ
２５ 液晶パネル
２６ 無線通信モジュール
２７、３２ アンテナ
２８ 移動体通信モジュール
２９ 音声インタフェース
３０ マイクロフォン
３１ スピーカ
３３ 入力インタフェース
３４ タッチパネル
４１、５１ 表示部
４２、５２ 入力検出部
４３、５３ 入力座標出力部
４４ グループ化信号処理部
４５、５７ 記憶部
４６、５８ 通信部
５４ 相対座標処理部
５５ グループ化処理部
５６ 表示画面処理部
６０ ルータ
６１ インターネット
６２ サーバ装置

Claims (16)

1. 画面表示を行う表示部、ユーザによる入力座標を検出する入力検出部及び外部装置との間で通信を行う通信部を備える複数の情報処理端末と、
   これら情報処理端末との間で通信を行う通信部を有するサーバ装置と
   を備える情報処理システムにおいて、
   前記情報処理端末は、ユーザにより連続的な入力がされると、前記入力検出部により検出された入力開始座標及び入力終了座標と前記表示部のサイズとを、前記通信部により前記サーバ装置に送信させる入力座標出力部を備え、
   前記サーバ装置は、前記通信部が受信した前記入力開始座標、前記入力終了座標及び前記表示部のサイズと、これらを前記通信部が受信したタイミングとに基づいて、前記入力開始座標、前記入力終了座標及び前記表示部のサイズを送信した前記情報処理端末の前記表示部の相対座標を決定する相対座標処理部を備え、
   この相対座標処理部は、第１の前記情報処理端末の前記入力終了座標と、前記通信部が受信したタイミングが前記第１の情報処理端末の次である第２の前記情報処理端末の前記入力開始座標との差の絶対値を算出し、この絶対値に基づいて、これら入力終了座標及び入力開始座標の値を補正するか否かを判定する
   ことを特徴とする情報処理システム。
2. 前記サーバ装置は、前記相対座標処理部により決定された前記情報処理端末の前記表示部の相対座標に基づいて、前記情報処理端末の前記表示部に表示すべき単一の画面を構成するデータを生成し、このデータを前記通信部により前記情報処理端末に送信させる表示画面処理部を備える
   ことを特徴とする請求項１記載の情報処理システム。
3. 前記情報処理端末は、ユーザによる入力検出部への連続的な入力に先立って、グループ化要求信号を生成してこのグループ化要求信号を前記通信部により前記サーバ装置に送信させるグループ化信号処理部を備え、
   前記サーバ装置は、前記通信部が受信した前記グループ化要求信号に基づいて、このグループ化要求信号を送信した前記情報処理端末をグループ化するグループ化処理部を備え、
   前記相対座標処理部は、前記グループ化処理部によりグループ化された前記情報処理端末の前記表示部の相対座標を決定する
   ことを特徴とする請求項１または２記載の情報処理システム。
4. 前記サーバ装置は、複数の前記情報処理端末のいずれか一つであることを特徴とする請求項１〜３のいずれかに記載の情報処理システム。
5. 前記サーバ装置及び複数の前記情報処理端末は同一のネットワーク内に存在することを特徴とする請求項１〜４のいずれかに記載の情報処理システム。
6. 前記相対座標処理部は、前記第１の前記情報処理端末の前記表示部の幅及び高さの一方と前記第１の前記情報処理端末の前記入力終了座標との第１の差、及び前記第２の前記情報処理端末の前記表示部の幅及び高さの一方と前記第２の前記情報処理端末の前記入力開始座標との第２の差を算出し、これら第１の差と第２の差との差分の絶対値に基づいて、前記入力終了座標及び入力開始座標の値を補正するか否かを判定する
   ことを特徴とする請求項１〜５のいずれかに記載の情報処理システム。
7. 前記入力座標出力部は、前記入力開始座標及び前記入力終了座標を互いに直交するＸ座標及びＹ座標として出力し、
   前記相対座標処理部は、前記通信部が受信した前記入力開始座標、前記入力終了座標及び前記表示部のサイズと、これらを前記通信部が受信したタイミングとに基づいて、複数の前記情報処理端末の前記表示部の接続状態を判定し、この判定結果に基づいて、前記第１の情報処理端末の前記入力終了座標及び前記第２の情報処理端末の前記入力開始座標のそれぞれについて、Ｘ座標またはＹ座標のいずれを用いて前記入力終了座標と前記入力開始座標との差の絶対値を算出するかを決定する
   ことを特徴とする請求項１〜６のいずれかに記載の情報処理システム。
8. 画面表示を行う表示部、ユーザによる入力座標を検出する入力検出部、外部装置との間で通信を行う通信部、及びユーザにより連続的な入力がされると、前記入力検出部により検出された入力開始座標、入力終了座標及び前記表示部のサイズを、前記通信部によりサーバ装置に送信させる入力座標出力部を備える複数の情報処理端末と、
   これら情報処理端末との間で通信を行う通信部を有する前記サーバ装置と
   を備える情報処理システムに用いられるサーバ装置であって、
   前記情報処理端末から送信された前記入力開始座標、前記入力終了座標及び前記表示部のサイズと、前記情報処理端末から送信された前記入力開始座標、前記入力終了座標及び前記表示部のサイズが前記通信部により受信されたタイミングとに基づいて、送信のあった前記情報処理端末の前記表示部の相対座標を決定する相対座標処理部を備え、
   この相対座標処理部は、第１の前記情報処理端末の前記入力終了座標と、前記通信部が受信したタイミングが前記第１の情報処理端末の次である第２の前記情報処理端末の前記入力開始座標の差との絶対値を算出し、この絶対値に基づいて、これら入力終了座標及び入力開始座標の値を補正するか否かを判定する
   ことを特徴とするサーバ装置。
9. 前記相対座標処理部は、前記第１の前記情報処理端末の前記表示部の幅及び高さの一方と前記第１の前記情報処理端末の前記入力終了座標との第１の差、及び前記第２の前記情報処理端末の前記表示部の幅及び高さの一方と前記第２の前記情報処理端末の前記入力開始座標との第２の差を算出し、これら第１の差と第２の差との差分の絶対値に基づいて、前記入力終了座標及び入力開始座標の値を補正するか否かを判定する
   ことを特徴とする請求項８に記載のサーバ装置。
10. 前記入力座標出力部は、前記入力開始座標及び前記入力終了座標を互いに直交するＸ座標及びＹ座標として出力し、
    前記相対座標処理部は、前記情報処理端末から送信された前記入力開始座標、前記入力終了座標及び前記表示部のサイズと、これらを前記通信部が受信したタイミングとに基づいて、複数の前記情報処理端末の前記表示部の接続状態を判定し、この判定結果に基づいて、前記第１の情報処理端末の前記入力終了座標及び前記第２の情報処理端末の前記入力開始座標のそれぞれについて、Ｘ座標またはＹ座標のいずれを用いて前記入力終了座標と前記入力開始座標との差の絶対値を算出するかを決定する
    ことを特徴とする請求項８または９に記載のサーバ装置。
11. 表示画面を備え、ユーザによる入力座標を検出するとともに外部装置との間で通信を行う複数の情報処理端末と、
    これら情報処理端末との間で通信を行うサーバ装置と
    を備える情報処理システムにおける情報処理方法であって、
    前記情報処理端末は、ユーザにより連続的な入力がされると、入力開始座標及び入力終了座標を検出し、検出した前記入力開始座標、前記入力終了座標及び前記表示画面のサイズを前記サーバ装置に送信し、
    前記サーバ装置は、
    前記情報処理端末から前記入力開始座標、前記入力終了座標及び前記表示画面のサイズを受信し、受信した前記入力開始座標、前記入力終了座標及び前記表示画面のサイズとこれらを受信したタイミングとに基づいて、送信のあった前記情報処理端末の前記表示画面の相対座標を決定し、
    また、第１の前記情報処理端末から受信した前記入力終了座標と、受信したタイミングが前記第１の情報処理端末の次である第２の前記情報処理端末から受信した前記入力開始座標との差の絶対値を算出し、この絶対値に基づいて、これら入力終了座標及び入力開始座標の値を補正するか否かを判定する
    ことを特徴とする情報処理方法。
12. 前記サーバ装置は、前記第１の前記情報処理端末の前記表示画面の幅及び高さの一方と前記第１の前記情報処理端末の前記入力終了座標との第１の差、及び前記第２の前記情報処理端末の前記表示画面の幅及び高さの一方と前記第２の前記情報処理端末の前記入力開始座標との第２の差を算出し、これら第１の差と第２の差との差分の絶対値に基づいて、前記入力終了座標及び入力開始座標の値を補正するか否かを判定する
    ことを特徴とする請求項１１に記載の情報処理方法。
13. 前記情報処理端末は、前記入力開始座標及び前記入力終了座標を互いに直交するＸ座標及びＹ座標として出力し、
    前記サーバ装置は、前記情報処理端末から送信された前記入力開始座標、前記入力終了座標及び前記表示画面のサイズと、これらを前記サーバ装置が受信したタイミングとに基づいて、複数の前記情報処理端末の前記表示画面の接続状態を判定し、この判定結果に基づいて、前記第１の情報処理端末から受信した前記入力終了座標及び前記第２の情報処理端末から受信した前記入力開始座標のそれぞれについて、Ｘ座標またはＹ座標のいずれを用いて前記入力終了座標と前記入力開始座標との差の絶対値を算出するかを決定する
    ことを特徴とする請求項１１または１２に記載の情報処理方法。
14. 表示画面を備え、ユーザによる入力座標を検出するとともに外部装置との間で通信を行う複数の情報処理端末と、
    これら情報処理端末との間で通信を行うサーバ装置と
    を備える情報処理システムに用いられるコンピュータにより読取可能なプログラムであって、
    このプログラムは、読み込まれて実行されると、
    前記情報処理端末に、ユーザにより連続的な入力がされると、入力開始座標及び入力終了座標を検出させ、検出した前記入力開始座標、前記入力終了座標及び前記表示画面のサイズを前記サーバ装置に送信させ、
    前記サーバ装置に、前記情報処理端末から前記入力開始座標、前記入力終了座標及び前記表示画面のサイズを受信させ、受信した前記入力開始座標、前記入力終了座標及び前記表示画面のサイズとこれらを受信したタイミングとに基づいて、送信のあった前記情報処理端末の前記表示画面の相対座標を決定させ、
    また、前記サーバ装置に、第１の前記情報処理端末から受信した前記入力終了座標と、受信したタイミングが前記第１の情報処理端末の次である第２の前記情報処理端末から受信した前記入力開始座標との差の絶対値を算出し、この絶対値に基づいて、これら入力終了座標及び入力開始座標の値を補正するか否かを判定させる
    ことを特徴とするコンピュータにより読取可能なプログラム。
15. 前記サーバ装置に、前記第１の前記情報処理端末の前記表示画面の幅及び高さの一方と前記第１の前記情報処理端末の前記入力終了座標との第１の差、及び前記第２の前記情報処理端末の前記表示画面の幅及び高さの一方と前記第２の前記情報処理端末の前記入力開始座標との第２の差を算出し、これら第１の差と第２の差との差分の絶対値に基づいて、前記入力終了座標及び入力開始座標の値を補正するか否かを判定させる
    ことを特徴とする請求項１４に記載のコンピュータにより読取可能なプログラム。
16. 前記情報処理端末に、前記入力開始座標及び前記入力終了座標を互いに直交するＸ座標及びＹ座標として出力させ、
    前記サーバ装置に、前記情報処理端末から送信された前記入力開始座標、前記入力終了座標及び前記表示画面のサイズと、これらを前記サーバ装置が受信したタイミングとに基づいて、複数の前記情報処理端末の前記表示画面の接続状態を判定し、この判定結果に基づいて、前記第１の情報処理端末から受信した前記入力終了座標及び前記第２の情報処理端末から受信した前記入力開始座標のそれぞれについて、Ｘ座標またはＹ座標のいずれを用いて前記入力終了座標と前記入力開始座標との差の絶対値を算出するかを決定させる
    ことを特徴とする請求項１４または１５に記載のコンピュータにより読取可能なプログラム。

Images