JP5282079B2 - マルチディスプレイシステム、端末、方法及びプログラム - Google Patents

Description

本発明は、マルチディスプレイに関する。

多数人に見せるデジタルサイネージなど各種情報技術分野において、テレビジョン受像機やプラズマ、液晶などの表示装置を複数組み合わせて１つの大画面を構成するマルチディスプレイが知られている。従来のマルチディスプレイでは、各表示装置を、予め計画した相互の位置関係通りに固定して設置し、表示内容全体を分割した部分画像を前記位置関係に合わせて各表示装置に出力することで全体の表示内容を表示していた。

特許第３９７９１４５号

しかしながら、表示装置ごとに位置関係や表示する部分画像との関係を予め定めておくことは、煩雑なうえ、状況や機会に応じて動的に構成する柔軟性に欠け、適用分野が限られるという課題があった。

なお、複数の表示装置の組み合わせ方に柔軟性を持たせるため、単位となる各表示装置に、上下左右方向に対応した接続ポートを設け、隣接する表示装置の隣接方向に応じた接続ポート同士をケーブル接続することで位置関係を識別させる技術はあるが（例えば、特許文献１参照）、接続用のポートやケーブルといった４方向の各々に独立した専用の特殊なハードウェアが必須で、機会に応じて動的に利用可能な技術ではないという課題があった。また、この技術では、隣接させる方向を考慮したケーブル接続が必要で、操作が直感的でないという課題もあった。

上記のような課題に対し、本発明の目的は、複数の表示装置を組み合わせたマルチディスプレイを簡易かつ動的に実現することである。

上記の目的をふまえ、本発明の一態様（１）は、複数の端末と、前記端末を制御するサーバ装置と、を有し、前記複数の端末を組み合わせて単一の画像を表示するマルチディスプレイシステムであって、前記端末は、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける接続操作受付手段と、端末で入力された操作の情報を前記サーバ装置へ伝送する操作伝送手段と、を有し、前記サーバ装置は、複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定する判定手段と、前記隣接関係を有する端末に対しその隣接関係に応じた前記画像の表示部分を表示する制御を行う表示制御手段と、を有することを特徴とする。

本発明の他の態様（７）は、上記態様を方法のカテゴリで捉えたもので、複数の端末と、前記端末を制御するサーバ装置と、を有し、前記複数の端末を組み合わせて単一の画像を表示するマルチディスプレイシステムにおける情報処理方法であって、前記端末においてコンピュータが、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける接続操作受付処理と、前記端末においてコンピュータが、端末で入力された操作の情報を前記サーバ装置へ伝送する操作伝送処理と、前記サーバ装置においてコンピュータが、複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定する判定処理と、前記端末及び前記サーバ装置の少なくとも一方においてコンピュータが、前記隣接関係を有する端末に対しその隣接関係に応じた前記画像の表示部分を表示する制御を行う表示制御処理と、を行うことを特徴とする。

本発明の他の態様（６）は、本発明を端末として捉えたもので、他の端末と複数組み合わせて単一の画像を表示する端末であって、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける接続操作受付手段と、端末で入力された操作の情報を他の端末との間で伝送する操作伝送手段と、複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定する判定手段と、前記隣接関係を有する端末に対しその隣接関係に応じた表示制御を行う表示制御手段と、を有することを特徴とする。

本発明の他の態様（８）は、上記態様を方法のカテゴリで捉えたもので、他の端末と複数組み合わせて単一の画像を表示する端末における情報処理方法であって、コンピュータが、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける接続操作受付処理と、コンピュータが、端末で入力された操作の情報を他の端末との間で伝送する操作伝送処理と、コンピュータが、複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定する判定処理と、コンピュータが、前記隣接関係を有する端末に対しその隣接関係に応じた表示制御を行う表示制御処理と、を行うことを特徴とする。

本発明の他の態様（９）は、上記態様をコンピュータ・プログラムのカテゴリで捉えたもので、他の端末と複数組み合わせて単一の画像を表示する端末のコンピュータを制御するコンピュータ・プログラムであって、コンピュータに、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付けさせ、コンピュータに、端末で入力された操作の情報を他の端末との間で伝送させ、コンピュータに、複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定させ、コンピュータに、前記隣接関係を有する端末に対しその隣接関係に応じた表示制御を行わせることを特徴とする。

このように、隣り合わせる情報表示装置すなわち端末に対して、軽く衝突させたりタッチ操作など所定の接続操作を行い、それを基に端末又はサーバで、端末の隣接関係を判定し、その隣接関係に応じた表示制御を行うことにより、専用の特殊なハードウェア無しで、マルチディスプレイを簡易かつ動的に実現することが可能となる。また、接続対象の端末に同時に接続操作をするという直感的な操作によってマルチディスプレイを容易に実現できる。特に、携帯する人が多いスマートフォンなどのモバイル端末を必要な時にその場で組み合わせてマルチディスプレイを構成することはとりわけ好適な例である。

本発明の他の態様（２）は、上記いずれかの態様において、前記接続操作受付手段は、前記端末に設けたセンサにより、隣接させる前記端末の隣接に係る辺同士の衝突を前記接続操作として受け付けることを特徴とする。

このように、隣接させる端末の辺を軽くぶつけ合う接続操作は、板状物同士を隙間無く隣接させる場合の自然な動作であり、このような接続操作を加速度センサなどで検出し受け付けることにより、明快な操作で簡易かつ動的にマルチディスプレイを実現できる。

本発明の他の態様（３）は、上記いずれかの態様において、前記接続操作受付手段は、前記センサにより、一方向に上昇した加速度が反対方向の加速度に急変することを計測したときに前記衝突を検出することを特徴とする。

このように、隣接させる端末を手などで互いに寄せていく際の加速度と、それが衝突により反対方向の加速度に急変することと、を計測したときに衝突を検出することにより、端末同士を軽くぶつける接続操作を簡易な処理で確実に検出することができる。

本発明の他の態様（４）は、上記いずれかの態様において、前記接続操作は、隣接させる前記端末それぞれのタッチパネル面にタッチしている指先を隣接させる辺に向けて滑らせる操作であることを特徴とする。

このように、隣接させる端末のタッチパネル面のうち隣接する辺に近い部分同士を、指でタッチしながら滑らせる接続操作は、物をつまみ寄せて接合させる場合の自然な動作であり、このような接続操作をタッチパネル機能で検出し受け付けることにより、明快な操作で簡易かつ動的にマルチディスプレイを実現できる。

本発明の他の態様（５）は、上記いずれかの態様において、前記判定手段は、前記隣接関係として、前記各端末の辺のうち前記滑らせる操作の軌跡の終端からみて最寄の辺同士が隣接することと、前記各端末の表示領域のうち前記軌跡の終端から最寄の外縁部が隣接位置であることと、を判定し、前記表示制御手段は、前記隣接位置を含む前記隣接関係に応じた前記画像の表示部分を表示する制御を行うことを特徴とする。

このように、端末同士の隣接関係として、つまみ寄せる接続操作をした辺同士を隣接させることに加え、各端末のタッチパネルを兼ねた表示領域のうち、つまむ操作の軌跡の終端から最寄の外縁部の隣接位置として判定し、これに基づき各端末の表示内容の範囲を制御することにより、端末の表示領域のサイズが不揃いでも、また段違いに組み合わせるなど自由な位置関係で、マルチディスプレイが実現できる。

なお、上記の各態様とは異なるカテゴリ（装置に対し方法、方法に対しプログラムなど）や、以下に説明するさらに具体的な各態様も本発明に含まれる。異なるカテゴリについては、「手段」を「処理」又は「ステップ」のように適宜読み替えるものとする。また、処理やステップの実行順序は上記のものに限定されず、適宜変更したりまとめて処理するなど、変更可能である。

本発明によれば、複数の表示装置を組み合わせたマルチディスプレイを簡易かつ動的に実現することが可能となる。

本発明の実施形態の構成を例示する機能ブロック図。 本発明の実施形態で用いる情報（データ）を例示する図。 本発明の実施形態における処理手順を例示するフローチャート。 本発明の実施形態において、全体画像の一部を端末に表示させる状態を例示する概念図。 本発明の実施形態において、端末を衝突させる接続操作を例示する概念図。 本発明の実施形態において、ジャイロなどの三軸加速度センサによる加速度の計測を例示する概念図。 本発明の実施形態において、衝突として検出する加速度の変化をグラフとして例示する概念図。 本発明の実施形態において、指を用いた接続操作を例示する概念図。 本発明の実施形態において、互いにサイズが異なる端末を段違いに隣接させる状態を例示する概念図。 本発明の実施形態において、列と行からなるインデックスで表わされる隣接位置ごとに、対応する表示範囲の全体画像中における基準位置座標を例示する概念図。 本発明の実施形態において、インデックスを用いた隣接位置の処理を例示する概念図。 本発明の実施形態において、サーバを用いない構成を例示する機能ブロック図。 本発明の実施形態において、斜め方向に隣接させた端末を例示する概念図。

次に、本発明を実施するための形態（「実施形態」と呼ぶ）について、図に沿って説明する。なお、背景技術や課題などで既に述べた内容と共通の前提事項については適宜省略する。

〔１．構成〕
本実施形態は、図１の構成図に示すマルチディスプレイシステム（以下「本システム」とも呼ぶ）に関するもので、本システムは、複数の端末Ｔ（ここではＴＡ，ＴＢを例示するが、より多数でもよい）と、端末Ｔを制御するサーバ装置１（以下「サーバ１」又は「サーバ」とも呼ぶ）と、を有し、複数の端末Ｔを組み合わせて単一の画像を表示するシステムである。端末Ｔ及びサーバ装置１は、一般的なコンピュータの構成として少なくとも、ＣＰＵなどの演算制御部６と、主メモリや補助記憶装置等の記憶装置７と、通信ネットワークＮ（インターネット、携帯電話網、ＬＡＮなど）との通信手段８（無線ＬＡＮアダプタや通信ゲートウェイ装置など）と、を有する。特に端末Ｔは、液晶表示パネルなどの表示装置Ｄと、タッチパネルなどの入力装置Ｍと、を有する。

そして、端末Ｔ及びサーバ１では、記憶装置７に予め記憶（インストール）した図示しない所定のコンピュータ・プログラムが演算制御部６を制御することで、図１に示す各手段などの要素（１０，２０など）を実現する。端末Ｔ（ＴＡやＴＢなど）の機能を実現するプログラムは、端末Ｔに製造時から組み込んでもよいが、端末Ｔに予めインストールしておくアプリケーション・ソフトウェア（「端末アプリ」とも呼ぶこととする）が一般的と考えられる。そして、実現される各要素のうち、情報の記憶手段は、記憶装置７において各種のデータベース（「ＤＢ」とも表す）やファイル、配列等の変数、各種スタックやレジスタ、システム設定値など任意の形式で実現できる。

このような記憶手段のうち、サーバ１の画像記憶手段１５は、端末Ｔに表示するための画像の全体（文字列や文書を画像化したものも含め「全体画像」とも呼ぶこととする）を記憶している手段であり、この全体画像としては、地図のように、個々の端末の表示画面サイズを超えるもので、複数の端末にまたがって表示すると有用なものが考えられる。各端末Ｔの表示内容は、この画像記憶手段１５から読み出してサーバ１から適宜なタイミングで各端末Ｔに配信するものでもよいし、上記端末アプリに含めて予め配信しておいてもよい。

これに対応し、各端末Ｔの画像記憶手段３２は、端末アプリに予め含まれている画像、又はサーバ１から適宜なタイミングで配信される画像を記憶している手段であり、ここでいう「画像」は、ビットマップ等の画像でもよいし、表示のたびレンダリングで画像化される文字列等のテキストデータでもよく、さらに、上記全体画像でもよいし、全体画像のうち個々の端末で表示すべき範囲である部分画像でもよい。部分画像に代えて、全体画像の中で部分画像に相当する範囲の座標などを記憶してもよい。

また、サーバ１及び端末Ｔの隣接記憶手段３５は、図２に例示するように、端末ごとにどのような相対的位置関係で隣接しているかを記憶する手段であるが、具体的には後述する。また、記憶手段以外の各手段は、以下のような情報処理の機能・作用を実現・実行する処理手段であるが、説明のために整理した機能単位であり、実際のハードウェア要素やソフトウェアモジュールとの一致は問わない。

〔２．作用〕
上記のように構成した本実施形態における処理手順を図３のフローチャートに示す。
〔２−１．作用の概要〕
概要としては、まず、端末Ｔにおいて、接続操作受付手段１０が、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付け（ステップＳ１１：「ＹＥＳ」）、操作伝送手段２０が、このような接続操作を含め、端末Ｔで入力された操作の情報をサーバ１へ伝送する（ステップＳ１２）。サーバ１では、各端末Ｔからの接続操作の情報を受信し（ステップＳ２１）、判定手段３０が、複数の端末Ｔに入力された接続操作のタイミング及び隣接方向の情報に基づいて、端末Ｔ間の隣接関係を判定し（ステップＳ２２）、判定した隣接関係を隣接記憶手段３５に記憶させる（ステップＳ２３）。

また、サーバ１の表示制御手段４０は、隣接関係を有する端末Ｔに対しその隣接関係に応じた画像の表示部分を表示する制御として、例えば、図４に例示するように、全体画像Ｇを、隣接関係に応じて部分画像（例えばＧＡ）に分割して端末Ｔへ送信する（ステップＳ２４）。サーバ１の表示制御手段４０による上記のような制御に応じて、端末Ｔの表示制御手段４５は、隣接関係に応じてサーバ１から送信された部分画像を受信し（ステップＳ１３）、受信した部分画像を表示装置Ｄに表示させる（ステップＳ１４）。

なお、サーバ１の表示制御手段４０が行う制御は、部分画像の送信に限らず、例えば画面内容をなす単一の画像のうち表示すべき範囲の座標を送信するなどでもよく、この場合、端末Ｔ側の表示制御手段４５は、サーバ１もしくは他の情報源から受信し又は予め上記端末アプリに含まれている画像を、画像記憶手段３２から読み出し、受信した座標に応じて画面表示する。画面表示の更新については後述する。

〔２−２．衝突の検出〕
上記の作用のうち、接続操作受付手段１０が受け付ける接続操作（ステップＳ１１）の一態様は、図５（１）に例示するように、隣接させようとする端末の双方を所定の待ち受け状態にしたうえで、机上などで、双方の端末の隣接させようとする辺同士が相互に接近するように一方又は双方の端末に力を加え、軽く衝突させる（図５（２））ことである。

この場合、接続操作受付手段１０は、端末Ｔに設けたセンサ９により、隣接させる端末の隣接に係る辺同士の衝突を前記接続操作として受け付ける。より具体的には、接続操作受付手段１０は、三次元空間におけるｘ軸、ｙ軸、ｚ軸方向の加速度（例えば図６）をそれぞれ検出するジャイロセンサそのほか三軸加速度センサなどのセンサ９により、図７に示すように、一方向に上昇した加速度が反対方向の加速度に急変することを計測したときに衝突を検出する。この場合、接続操作に含まれる隣接方向の情報は、加速度の方向となる。

〔２−３．ピンチ操作〕
また、接続操作受付手段１０が受け付ける接続操作（ステップＳ１１）の他の態様としては、二つの端末にまたがって指先をつまむように滑らせるマルチタッチ操作（「ピンチ操作」などとも呼ばれる）でもよい。すなわち、図８に例示するように、隣接させようとする端末ＴＡ，ＴＢの双方を所定の待ち受け状態で、隣接させようとする辺同士を実際に隣接させて机上などに安置し、両端末それぞれのタッチパネル面にタッチしている指先Ｆ１，Ｆ２を、破線矢印で示すように、隣接させる辺に向けて滑らせ、これを接続操作受付手段１０で検出し接続操作として受け付ける。

この場合、接続操作に含まれる隣接方向の情報は、ピンチ操作で指を滑らせる方向となる。典型的には、判定手段３０は、隣接関係として、各端末の辺のうち前記滑らせる操作の軌跡の終端からみて最寄の辺同士が隣接することと、各端末の表示領域のうち前記軌跡の終端から最寄の外縁部が隣接位置であることと、を接続操作に基づいて判定する。そして、表示制御手段４０は、判定された隣接位置を含む隣接関係に応じた部分画像を表示する制御を行う。

一例として、図９は、まず、破線の矩形で示す複数の端末ＴＡ，ＴＢ，ＴＣ，ＴＤの隣接関係を示す概念図であり、端末の表示画面周囲の額縁部分は省略する。また、破線の矢印（例えばＫＡ，ＫＢ）は、指先を滑らせた操作の各軌跡を示す。そして、この例では、例えば端末ＴＡとＴＢの隣接関係としては、端末ＴＡ側からみれば操作の軌跡ＫＡに近い右辺が、また、端末ＴＢ側からみれば操作の軌跡ＫＢに近い左辺が、相手方と隣接する。また、端末ＴＡとＴＢの表示領域のうち軌跡ＫＡ及びＫＢの終端から最寄の外縁部である点Ｘの位置が隣接位置である。この位置の各端末ＴＡ及びＴＢ上における表示領域上の位置座標と各端末ＴＡ及びＴＢの表示領域サイズから、図９に例示するような位置関係としての隣接関係が一意に特定できる。

また、図９は同時に、実線の矩形で示す全体画像Ｇから、各端末ＴＡ，ＴＢ，ＴＣ，ＴＤに対応する部分画像ＧＡ，ＧＢ，ＧＣ，ＧＤ（端末と部分画像を同じ破線の矩形で示す）を切り出してそれぞれ対応する端末ＴＡ，ＴＢ，ＴＣ，ＴＤに例示する状態を示す概念図である。

上記のように、端末の隣接関係として、ピンチ操作による軌跡の終端から最寄の外縁部が隣接位置であることを判定することにより、各端末がどの辺で、すなわち相対位置関係で隣接するかだけでなく、隣接する辺同士がどのような位置のずれを持って隣接するのかが特定できるので、端末の表示領域のサイズが不揃いでも、また段違いに組み合わせるなど自由な位置関係で（例えば図９）、マルチディスプレイが実現できる。

〔２−４．表示の更新〕
なお、端末Ｔ上で、画面における画像（狭義の画像に限らず文字の画像でもよい）の表示内容を変化させる操作（「画像操作」と呼ぶこととする）があった場合には（図３のステップＳ１５：「ＹＥＳ」）、操作伝送手段２０がその操作内容をサーバ１に送信する（ステップＳ１６）。サーバ１側では、操作内容を受信すると（ステップＳ２５：「ＹＥＳ」）、表示制御手段４０が、操作で変更となった各端末に表示させる部分画像や表示範囲を送信する（ステップＳ２６）。具体的には、操作により相対的に表示位置が変わった場合は新たな表示範囲を、また操作で表示内容が変わるなら少なくとも更新された部分（全体でもよい）の画像を該当する端末に送信して更新する。送信対象は、変化にかかわる端末のみでもよいし全端末でもよい。

〔２−５．実例〕
次に、接続操作により端末を隣接させてゆく一例を示す。説明の簡単化のため、各端末の画面サイズは共通で横２００画素×縦３００画素とする。また、この例では、各端末の隣接位置を、図１０に例示するように、横方向を列１、列２、列３…、縦方向を行ａ、行ｂ、行ｃ…と表わす情報（「インデックス」と呼び「ＩＤＸ」とも略記することとする）で示す。図１０の例では、全体画像Ｇのうち、例えば、隣接位置がＩＤＸ：１ａの端末における表示範囲（図中、左上の部分）は座標（０，０）を左上隅とし、隣接位置がＩＤＸ：２ａの端末における表示範囲（図中、右上の部分）は座標（２００，０）を左上隅とする。

図１１は、上記のようなインデックスを用いた処理の概要について、シーケンス図的に示す概念図であり、端末アプリによる処理を図の左側、サーバによる処理を図の右側に示す。大まかには、図３に示したフローチャートの前半に相当する流れに沿ったもので、図３の一部の処理ステップ（例えば、ステップＳ１２やステップＳ２１など）に対応する部分には括弧書きでそれらステップの記号を示している。

最初に、ある端末ＴＡの右端と端末ＴＢの左端を衝突させる接続操作が１２時４６分に行われたとする。この時点では、どちらの端末にもインデックスは未設定である（「ＩＤＸ：ｎｕｌｌ」）。この接続操作の情報（例えば情報Ｄ１）として、端末が、接続操作のあった時刻、接続方向（例えば、端末ＴＡの右端、端末ＴＢの左端）、端末ＩＤ、ＩＤＸ（未設定の場合は「ｎｕｌｌ」）をサーバに送信し（処理Ｐ１）、サーバはこれを受信する（処理Ｐ２）。

なお、画面サイズが一律固定でない端末で、指先を滑らせるピンチ操作による接続操作の場合には、上記のような各端末の接続方向に加えて又はそれに替えて、接続に係る辺や、その辺において指の軌跡の最寄点であって相互に接続される点（例えば図９の点Ｘ）の位置、さらには画面サイズの情報など、適宜な情報項目をさらに送信する。この場合は、サーバではそれに応じて、表示範囲の開始位置座標（例えば図９で部分画像ＧＤについては左上隅の座標Ｄ１）だけでなく、部分画像の終了位置座標（同じく例えば右下隅の座標Ｄ２）や表示サイズについても計算し、その後の表示制御に用いる。

サーバでは、受信した接続操作の情報（例えば情報Ｄ１）を基に隣接関係の判定を行う。ステップＳ２１において、インデックス（ＩＤＸ）について、情報Ｄ１では両端末ＴＡ，ＴＢとも「ｎｕｌｌ」なので、接続開始の初期設定となる。すなわち、端末ＴＡがその右端で衝突しているからＩＤＸに「１ａ」、端末ＴＢはその左端で衝突しているからＩＤＸに「２ａ」を設定する。また、この例では、インデックスが未割当の端末に対しては、インデックスと共に、全体の表示画像のうち、その端末で表示すべき範囲の表示座標（この例では、各端末で表示サイズは固定の横２００画素×縦３００画素であるから、開始位置座標のみ）を設定し、例えば、情報Ｄ２のように送信する（処理Ｐ３）。

情報Ｄ２の例では、端末ＴＡにはインデックスとして「１ａ」、表示座標として「（０，０）」が、端末ＴＢにはインデックスとして「２ａ」、表示座標として「（２００，０）」が、それぞれ対応付けられて、含まれている。このように各端末ＴＡ，ＴＢに付与（設定及び送信）されたインデックスと表示座標は、端末が受信し（処理Ｐ４）、それにしたがって、表示座標に対応した範囲の画像を表示する（処理Ｐ５）。

続いて、上記の処理で端末ＴＡの右側に隣接した端末ＴＢのさらに右隣に、新たな端末ＴＣを隣接させる接続操作を、１２時５０分に行ったとする。この時点では、端末ＴＢには既にインデックス「２ａ」が付与されているので、端末からサーバへの情報Ｄ３については、端末ＴＢのインデックス「２ａ」が含まれ、端末ＴＣのインデックスは「ｎｕｌｌ」で送信される。そして、サーバでは、このように受信したインデックスと、接続方向（例えば、端末ＴＢが左端、端末ＴＣが右端）との関係に基づいて、新規なインデックス（ここでは例えば「３ａ」）を端末ＴＣに割当てる（情報Ｄ４）。この状態における隣接記憶手段３５の記憶内容を図２は示しており、端末ＴＣはインデックスが「２ａ」の端末ＴＢの右側に衝突したので、行番号に１加算したインデックスは「３ａ」となっている。

〔２−６．サーバを用いない例〕
以上の例で示したサーバ（図１）は必須ではなく、各端末間の通信に基づいて個々の端末が相対的な隣接位置の管理やそれに応じた表示制御を行ってもよく、この場合、各端末間の制御関係は、対等でもよいし、何らかの主従関係を導入し、例えばマスター（となった端末）がスレイブ（となった端末）に、表示すべき画像を配信したり表示範囲の座標を送信し、また、スクロールの連動など表示制御の指示を送ってもよい。

このようにサーバを用いず端末で処理する場合の構成例を図１２に示す。この図において、端末Ｔ１，Ｔ２は、他の端末と複数組み合わせて単一の画像を表示する端末であって、必要な情報は図１に示したようなサーバを経由せず、図１２に破線矢印で示すように直接交換する。そして、これら端末Ｔ１，Ｔ２に同時に接続操作を加えたとする。この場合、端末Ｔ１とＴ２それぞれの接続操作受付手段１０は、上記のように隣接させる端末（この場合、Ｔ１とＴ２）に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける。

そして、各端末Ｔ１，Ｔ２で入力された操作の情報を、それぞれの操作伝送手段２１が他方の端末Ｔ２，Ｔ１に伝送し、双方又は一方の端末の判定手段３１が、複数の端末Ｔ１，Ｔ２に入力された接続操作のタイミング及び隣接方向の情報に基づいて、端末Ｔ１，Ｔ２間の隣接関係を判定する。ここで、隣接関係の判定は、端末Ｔ１，Ｔ２の双方で行ってその判定結果を交換し照合するようにすれば判定精度が改善でき、また、端末Ｔ１又はＴ２のいずれか一方（例えば、先に接続操作の待受状態になった端末、もしくは、相手方からの接続操作の情報が先に届いた方の端末）で行うようにすれば動作応答が迅速円滑となる。

各端末Ｔ１，Ｔ２で、加えられた接続操作から判定する隣接関係に応じたインデックス（ＩＤＸ）を設定する一例を示す。すなわち、各端末では、自分がＩＤＸ「ｎｕｌｌ」で、相手も「ｎｕｌｌ」なら、初期設定として、相互に所定のＩＤＸ（例えば「１ａ」と「２ａ」など）を設定する。自分がＩＤＸ有りで相手が「ｎｕｌｌ」なら何もしない。自分がＩＤＸ「ｎｕｌｌ」で相手が有りなら、相手のＩＤＸの行番号若しくは列番号を相手との接続方向に応じて加減算したＩＤＸを自分に設定する。

そして、以降、このように判定された隣接関係に係る端末Ｔ１，Ｔ２の表示制御手段４６が、これら隣接関係を有する端末Ｔ１，Ｔ２に対しその隣接関係に応じた表示制御を行う。この表示制御は、例えば、上記の判定を行った一方の端末がマスターとなって、各端末での画像操作の情報を取りまとめたうえで、自端末でそれに基づいた表示を行う一方、他方の端末に表示内容や表示範囲などの情報を送信するのでもよいし、画像操作があった端末から他の端末に、表示内容や表示範囲などの情報を送信するのでもよい。

〔３．効果〕
以上のように、隣り合わせる情報表示装置すなわち端末に対して、軽く衝突させたり（例えば図５）タッチ操作（例えば図８）など所定の接続操作を行い、それを基に端末又はサーバで、端末の隣接関係を判定し、その隣接関係に応じた表示制御を行うことにより（例えば図４、図９）、専用の特殊なハードウェア無しで、マルチディスプレイを簡易かつ動的に実現することが可能となる。また、接続対象の端末に同時に接続操作をするという直感的な操作によってマルチディスプレイを容易に実現できる。特に、携帯する人が多いスマートフォンなどのモバイル端末を必要な時にその場で組み合わせてマルチディスプレイを構成することはとりわけ好適な例である。

特に、本実施形態において、隣接させる端末の辺を軽くぶつけ合う接続操作は（例えば図５）、板状物同士を隙間無く隣接させる場合の自然な動作であり、このような接続操作を加速度センサなどで検出し受け付けることにより、明快な操作で簡易かつ動的にマルチディスプレイを実現できる。

とりわけ、本実施形態において、隣接させる端末を手などで互いに寄せていく際の加速度と、それが衝突により反対方向の加速度に急変することと、を計測したときに衝突を検出することにより（例えば図７）、端末同士を軽くぶつける接続操作を簡易な処理で確実に検出することができる。

また、隣接させる端末のタッチパネル面のうち隣接する辺に近い部分同士を、指でタッチしながら滑らせる接続操作は（例えば図８）、物をつまみ寄せて接合させる場合の自然な動作であり、このような接続操作をタッチパネル機能で検出し受け付けることにより、明快な操作で簡易かつ動的にマルチディスプレイを実現できる。

さらに、端末同士の隣接関係として、つまみ寄せる接続操作をした辺同士を隣接させることに加え、各端末のタッチパネルを兼ねた表示領域のうち、つまむ操作の軌跡の終端から最寄の外縁部の隣接位置として判定し、これに基づき各端末の表示内容の範囲を制御することにより（例えば図９）、端末の表示領域のサイズが不揃いでも、また段違いに組み合わせるなど自由な位置関係で、マルチディスプレイが実現できる。

〔４．他の実施形態〕
なお、上記各実施形態は例示に過ぎず、本発明は、以下に例示するものやそれ以外の他の実施態様も含むものである。例えば、各構成図、データの図、フローチャートの図などは例示に過ぎず、各要素の有無、その配置や処理実行などの順序、具体的内容などは適宜変更可能である。一例として、上記実施形態では、サーバや端末の隣接記憶手段３５で端末同士の位置関係も含む情報を記憶する例を示したが（例えば図２）、そのような隣接記憶手段は無くてもよい。すなわち、各端末について判定した隣接関係を基に設定したインデックスから各端末が隣接関係を持つ端末のグループを判断するようにしてもよい。

また、上記実施形態では、接続方向が端末の辺に対応し上下左右の場合を示したが、本発明は、例えば、図１３に例示するＩＤＸ「１ａ」と「２ａ」、「２ａ」と「３ｂ」のように、接続方向が端末の辺に対して傾斜した場合にも対応できる。この場合、加速度センサなどから得る衝突やピンチ操作の方向や位置に応じた角度範囲で隣接するものとして表示範囲に応じた部分画像の切り出しを行い、表示範囲の中心位置などに応じてインデックスを決定すればよい。

また、図１１では、接続操作が同時か否かの基準として時分（例えば「１２時４６分」）の例を示したが、実際には、秒単位やミリ秒単位など任意の基準でよい。また、サーバ１は、複数の装置を組み合わせて実現してもよく、個々の記憶手段を別個独立のサーバ装置やシステムで実現する構成も一般的である。

また、サーバの機能によっては、外部のプラットフォーム等をＡＰＩ（アプリケーション・プログラム・インタフェース）やネットワークコンピューティング（いわゆるクラウドなど）で呼び出して実現するなど、構成は柔軟に変更できる。さらに、本発明に関する手段などの各要素は、コンピュータの演算制御部に限らず物理的な電子回路など他の情報処理機構で実現してもよい。

１ サーバ（サーバ装置）
６ 演算制御部
７ 記憶装置
８ 通信手段
９ センサ
１０ 接続操作受付手段
２０，２１ 操作伝送手段
３０，３１ 判定手段
１５，３２ 画像記憶手段
３５ 隣接記憶手段
４０，４５，４６ 表示制御手段
Ｄ 表示装置
Ｄ１〜Ｄ４ 情報
Ｆ１，Ｆ２ 指先
Ｇ 全体画像
ＧＡ，ＧＢ，ＧＣ，ＧＤ 部分画像
Ｍ 入力装置
Ｎ 通信ネットワーク
Ｐ１〜Ｐ５ 処理
Ｔ（ＴＡ，ＴＢ，ＴＣ，ＴＤ，Ｔ１，Ｔ２） 端末

Claims (9)

1. 複数の端末と、前記複数の端末を制御するサーバ装置と、を有し、前記複数の端末を組み合わせて単一の画像を表示するマルチディスプレイシステムであって、
   前記複数の端末の各々は、
   前記複数の端末に対して入力される接続操作を受け付ける接続操作受付手段と、
   前記接続操作の前記複数の端末の各々における入力時刻を示す時刻情報、及び、前記接続操作の前記複数の端末の各々に対する入力方向を示す方向情報を前記サーバ装置へ伝送する操作伝送手段と、
   を有し、
   前記サーバ装置は、
   前記時刻情報及び前記方向情報を前記複数の端末の各々から受信する受信手段と、
   前記時刻情報及び前記方向情報に基づいて、前記接続操作が前記複数の端末の各々に同時に入力されたものであり、かつ、前記複数の端末の各々に同時に入力された前記接続操作の前記入力方向が、共に、前記複数の端末により挟まれる特定の辺に向かう方向であるときに、前記特定の辺を隣接辺として前記複数の端末が互いに隣接すると判定する判定手段と、
   互いに隣接する前記複数の端末のそれぞれに対し、隣接関係に応じた表示制御を行う表示制御手段と、
   を有することを特徴とするマルチディスプレイシステム。
2. 前記接続操作受付手段は、前記複数の端末間において、前記複数の端末のいずれかの辺を互いに衝突させる操作を前記接続操作として受け付け、
   前記操作伝送手段は、衝突がなされた時刻を前記時刻情報として前記サーバ装置へ伝送し、前記衝突させる操作により前記複数の端末の各々に加えられる加速度の方向を前記方向情報として前記サーバ装置へ伝送し、
   前記判定手段は、前記時刻情報及び前記方向情報に基づいて、前記複数の端末の各々において衝突がなされた、前記複数の端末により挟まれる特定の辺を前記隣接辺として前記複数の端末が互いに隣接すると判定する、
   ことを特徴とする請求項１に記載のマルチディスプレイシステム。
3. 前記接続操作受付手段は、前記複数の端末の各々に設けられたセンサにより、一方向に上昇した加速度が反対方向の加速度に急変することを計測したときに前記衝突させる操作を受け付ける、
   ことを特徴とする請求項２に記載のマルチディスプレイシステム。
4. 前記接続操作受付手段は、前記複数の端末の各々のタッチパネル面にタッチしている指先を滑らせる操作を前記接続操作として受け付け、
   前記操作伝送手段は、前記滑らせる操作の前記複数の端末の各々における入力時刻を前記時刻情報として前記サーバ装置へ伝送し、前記滑らせる操作の入力方向を前記方向情報として前記サーバ装置へ伝送し、
   前記判定手段は、前記時刻情報及び前記方向情報に基づいて、前記滑らせる操作が前記複数の端末の各々に同時に入力されたものであり、かつ、前記複数の端末の各々に同時に入力された前記滑らせる操作の前記入力方向が、共に、前記複数の端末により挟まれる特定の辺に向かう方向であるときに、前記特定の辺を隣接辺として前記複数の端末が互いに隣接すると判定する、
   ことを特徴とする請求項１に記載のマルチディスプレイシステム。
5. 前記判定手段は、前記隣接関係として、前記複数の端末の各々の辺のうち前記滑らせる操作の軌跡の終端からみて最寄の辺同士が隣接することと、前記複数の端末の各々の表示領域のうち前記軌跡の終端から最寄の外縁部が隣接位置であることと、を判定し、
   前記表示制御手段は、前記隣接位置を含む前記隣接関係に応じた前記画像の表示部分を表示する制御を行う、
   ことを特徴とする請求項４に記載のマルチディスプレイシステム。
6. 他の端末と組み合わされて単一の画像を表示する端末であって、
   自端末に対して入力される第１の接続操作を受け付ける接続操作受付手段と、
   前記他の端末に対して入力された第２の接続操作の入力時刻を示す時刻情報、及び、前記第２の接続操作の前記他の端末に対する入力方向を示す方向情報を受信する受信手段と、
   前記時刻情報及び前記方向情報に基づいて、前記第１の接続操作と前記第２の接続操作とが同時に入力されたものであり、かつ、前記第１の接続操作の自端末に対する入力方向及び前記第２の接続操作の前記他の端末に対する入力方向が、共に、自端末と前記他の端末とにより挟まれる特定の辺に向かう方向であるときに、前記特定の辺を隣接辺として自端末と前記他の端末とが互いに隣接すると判定する判定手段と、
   互いに隣接する自端末及び前記他の端末に対し、隣接関係に応じた表示制御を行う表示制御手段と、
   を有することを特徴とする端末。
7. 複数の端末と、前記複数の端末を制御するサーバ装置と、を有し、前記複数の端末を組み合わせて単一の画像を表示するマルチディスプレイシステムにおける情報処理方法であって、
   前記複数の端末の各々においてコンピュータが、
   前記複数の端末に対して入力される接続操作を受け付ける接続操作受付処理と、
   前記接続操作の前記複数の端末の各々における入力時刻を示す時刻情報、及び、前記接続操作の前記複数の端末の各々に対する入力方向を示す方向情報を前記サーバ装置へ伝送する操作伝送処理と、
   を行い、
   前記サーバ装置においてコンピュータが、
   前記時刻情報及び前記方向情報を前記複数の端末の各々から受信する受信処理と、
   前記時刻情報及び前記方向情報に基づいて、前記接続操作が前記複数の端末の各々に同時に入力されたものであり、かつ、前記複数の端末の各々に同時に入力された前記接続操作の前記入力方向が、共に、前記複数の端末により挟まれる特定の辺に向かう方向であるときに、前記特定の辺を隣接辺として前記複数の端末が互いに隣接すると判定する判定処理と、
   互いに隣接する前記複数の端末のそれぞれに対し、隣接関係に応じた表示制御を行う表示制御処理と、
   を行う、
   ことを特徴とする情報処理方法。
8. 他の端末と組み合わされて単一の画像を表示する端末における情報処理方法であって、
   コンピュータが、
   自端末に対して入力される第１の接続操作を受け付ける接続操作受付処理と、
   前記他の端末に対して入力された第２の接続操作の入力時刻を示す時刻情報、及び、前記第２の接続操作の前記他の端末に対する入力方向を示す方向情報を受信する受信処理と、
   前記時刻情報及び前記方向情報に基づいて、前記第１の接続操作と前記第２の接続操作とが同時に入力されたものであり、かつ、前記第１の接続操作の自端末に対する入力方向及び前記第２の接続操作の前記他の端末に対する入力方向が、共に、自端末と前記他の端末とにより挟まれる特定の辺に向かう方向であるときに、前記特定の辺を隣接辺として自端末と前記他の端末とが互いに隣接すると判定する判定処理と、
   互いに隣接する自端末及び前記他の端末に対し、隣接関係に応じた表示制御を行う表示制御処理と、
   を行う、
   ことを特徴とする情報処理方法。
9. 他の端末と組み合わされて単一の画像を表示する端末のコンピュータを制御するコンピュータ・プログラムであって、
   コンピュータに、
   自端末に対して入力される第１の接続操作を受け付けさせ、
   前記他の端末に対して入力された第２の接続操作の入力時刻を示す時刻情報、及び、前記第２の接続操作の前記他の端末に対する入力方向を示す方向情報を受信させ、
   前記時刻情報及び前記方向情報に基づいて、前記第１の接続操作と前記第２の接続操作とが同時に入力されたものであり、かつ、前記第１の接続操作の自端末に対する入力方向及び前記第２の接続操作の前記他の端末に対する入力方向が、共に、自端末と前記他の端末とにより挟まれる特定の辺に向かう方向であるときに、前記特定の辺を隣接辺として自端末と前記他の端末とが互いに隣接すると判定させ、
   互いに隣接する自端末及び前記他の端末に対し、隣接関係に応じた表示制御を行わせる、
   ことを特徴とするコンピュータ・プログラム。

Images