上述の特許文献1のシステムの場合,複数の携帯端末を縦,横に組み合わせることで,一つの表示装置を形成し,画面を表示することが可能となる。しかし,元の画面を表示していた中心となる携帯端末が,元の画面を,組み合わせた各携帯端末で表示する表示領域ごとに分割し,それを各携帯端末に送る,という処理が行われている。
そのため中心となる携帯端末において元の画面を分割する処理,各携帯端末に画面を送る処理が必要となる。したがって,中心となる携帯端末にかかる負荷が大きい。そして画面のデータを送る必要性から通信量が多くなり,通信時間を要するので,非接触ICによる通信に,充分な高速性を確保できない場合,処理に遅延が発生する。
また,中心となる携帯端末において処理を行っているので,画面を分割して表示することしか行えず,組み合わせた各携帯端末において,その画面に対して書き込み等の編集を行うことができない。そのため,グループで作業を行う場合に作業の制約が発生する。
非特許文献1のシステムの場合,複数のタブレット端末を縦,横に組み合わせることで,一つの表示装置を形成し,画面を表示する点は特許文献1と同じである。しかし,非特許文献1のシステムはクライアント・サーバ型の構成である。そのため,各タブレット端末での操作はすべて,サーバに一旦送られ,サーバで操作に対する処理が実行された後,その画面が各タブレット端末に送られている。そのため,タブレット端末からサーバへのデータの送信,サーバでの処理,サーバからタブレット端末へのデータの送信が必要となり,それぞれに処理の時間を要する。したがって,組み合わされているタブレット端末のうち,どれか一つで操作を行った場合,それがほかのタブレット端末に反映されるまでには遅延が発生する。またサーバとの通信が確保できる環境でなければ使用することもできない。そして,サーバでの処理を行うため,処理が集中し,処理の遅延が発生しやすい。
特に,複数のグループが生成される学校教育や企業研修の場面においては,各グループで独自に行われる処理のすべてをサーバが一手に担って処理をすることになるため,サーバの負荷が増大してしまう。さらに,授業の進行状況によっては,学習者が利用する多数の可搬型通信端末が一斉にネットワークへの接続を行うことも想定される。その際には,サーバを経由するシステムの場合,サーバの負荷が大きくなり,処理の遅延が発生する可能性が高い。
このような問題から非特許文献1の場合には,複数のタブレット端末を組み合わせたとしても,その処理時間の遅延から,操作がすぐにほかの端末に反映されず,一体性を感じにくい構成となっている。特に学校教育の分野においては,グループ学習を通した「気づきの共有」,「話し合いの活発化」,「学習者同士の交流」という協働的な学びの効果を引き出すことが求められている。そのためにも,操作内容のスムースな反映(可視化)は必要である。
本発明者は上記課題に鑑み,特定の可搬型通信端末に負荷がかからず,また,一つの画面を複数の可搬型通信端末で表示している場合に,どの可搬型通信端末の画面上で操作が行われたとしても,それを反映させることができる表示システムを発明した。
第1の発明は,複数の可搬型通信端末を組み合わせて一つの表示装置として表示を行う表示システムであって,前記可搬型通信端末の通信相手となる可搬型通信端末を特定し,その可搬型通信端末との間の組み合わせ位置を,可搬型通信端末の表示装置に組み合わせる方向を表示させてその選択を受け付けることで決定する組み合わせ位置決定処理部と,可搬型通信端末における操作入力を受け付けて操作ログ情報を生成する操作入力受付処理部と,前記生成した操作ログ情報を前記通信相手の可搬型通信端末に対して,直接送信する操作ログ情報送信処理部と,前記通信相手の可搬型通信端末から,その可搬型通信端末における操作入力に基づく操作ログ情報を,直接受信する操作ログ情報受信処理部と,前記生成した操作ログ情報または前記受信した操作ログ情報に対応する操作を実行する操作実行処理部と,前記組み合わせ位置に対応した領域の表示処理を実行する表示処理部と,を有しており,前記操作入力受付処理部は,前記可搬型通信端末で行われた操作入力を受け付け,前記組み合わせ位置に基づいて,前記操作入力におけるクライアント座標が変換された絶対座標を含む操作ログ情報を生成し,前記表示処理部は,前記通信相手の可搬型通信端末から受信した操作ログ情報における絶対座標を,前記組み合わせ位置に基づいてクライアント座標に変換して,前記組み合わせ位置に対応した領域の表示処理を実行する,表示システムである。
本発明の表示システムのように構成することで,可搬型通信端末で行われた操作は,操作ログ情報としてほかの可搬型通信端末に直接送信される。そして,操作ログ情報に基づく操作の実行処理,表示処理は各可搬型通信端末で行われる。その結果,一台の可搬型通信端末に処理を集中して操作を実行することがないため,特定の可搬型通信端末に負荷はかからない構成を実現することができる。また,本発明の構成によると,各可搬型通信端末における操作をそれぞれ送り合うことになるので,どの可搬型通信端末で行った操作であっても,ほかの可搬型通信端末に反映させることが可能となる。さらに,サーバなどを介さずに処理を実行できるので,通信時間が節約でき,またインターネットなどのネットワーク接続が確保できない場合でも,処理を実行することができる。
たとえば,本発明を学校の授業で用いる場合,授業の進行状況によっては,学習者が利用する多数の可搬型通信端末が一斉にネットワーク接続を行うことも想定できる。その際に,サーバ経由のシステムの場合,サーバの負荷が大きくなり,処理の遅延が発生する可能性が高い。
また,本発明の表示システムは,接続関係にある可搬型通信端末の各々が,同じ操作ログ情報を利用する構成としている。そのため,各可搬型通信端末では操作ログ情報に基づく操作処理の実行結果をそれぞれ有している。一方,その表示は,各可搬型通信端末を組み合わせた場合の,自らの可搬型通信端末の位置の表示を行う。たとえば,可搬型通信端末4台を縦2台,横2台で接続して組み合わせた場合において,組み合わせた位置が左上となる可搬型通信端末であれば,その可搬型通信端末ではほかの可搬型通信端末と同じ操作ログ情報を利用して操作を実行するが,表示装置の表示領域で表示するのは,4つの表示領域のうち,左上の表示領域となるのである。このように構成することで,複数の可搬型通信端末を並べて組み合わせると,あたかも一つの表示装置として用いたような表示を実現することが可能となる。
また,本発明の表示システムでは,接続関係にある可搬型通信端末の各々が同じ操作ログ情報を利用する構成としているので,接続関係にあるグループによる協働作業状態から接続関係を解消して個別の作業に移行する場合であっても,任意のタイミングで接続関係を解消し,個別の作業にスムースに移行することができる。特に学校教育の分野においては,このようなグループによる協働操作から個別作業へのスムースな以降の実現は,学習者の思考を停止させず,作業の連続性を保つという意味において,大きな効果を奏する。
一方,非特許文献1のようにサーバを用いたシステムの場合,サーバに接続した各端末による操作は,サーバ上で実行され,すべてサーバで管理される。そしてサーバから各端末に対して表示する内容の配信処理を行うことで,各端末で表示する内容の情報を保存する。そのため,グループによる協働操作状態から接続関係を解消して個別の作業に移行する際には,サーバからのデータを配信する処理の実行を待たなければならない。
また,接続関係にある可搬型通信端末のうちの特定の端末のみがすべてのデータを保有し,操作処理,配信処理を一手に担う仮想的な「親端末」となって本発明と同様の機能を実現させるということも考えられる。しかし,この方法を用いる場合,「親端末」となる可搬型通信端末において,操作処理と配信処理の両方の処理を行うための高い処理性能が要求される。
このように本発明の表示システムを用いることによって,特定の可搬型通信端末に負荷がかからず,また,一つの画面を複数の可搬型通信端末で表示している場合に,どの可搬型通信端末の画面上で操作が行われたとしても,それを反映させることができる表示システムが可能となる。
上述の発明において,前記表示システムは,可搬型通信端末間での直接通信を行うための接続確立処理の開始の入力を受け付けると,所定の照会情報を配信する照会情報配信処理部と,前記照会情報に対応する通信相手の可搬型通信端末から送られた応答情報を受け取り,前記照会情報と前記応答情報とが一致または対応しているかを判定する対応関係判定処理部と,前記判定結果に基づいて前記通信相手の可搬型通信端末との間で接続を確立する接続確立処理部,を有する表示システムのように構成することができる。
ほかの可搬型通信端末との直接通信の接続を確立するには,本発明のように実行することがよい。たとえば,一クラスが20人である小学校の授業において,一人一台の可搬型通信端末を利用する場面を想定すると,多数の学習者が同時に可搬型通信端末の利用の開始がなされる。特に,4人1グループで各々の可搬型通信端末を組み合わせて学習を開始する場合であれば,5つのグループで同時に,上述の直接通信の接続を確立する処理が実行されることとなる。その場合,特定のグループに属する学習者の可搬型通信端末とのみ接続を確立する必要があるが,本発明のように送信情報と応答情報を用いることで,それを容易に実現することができる。
上述の発明において,前記組み合わせ位置決定処理部は,前記対応関係判定処理部による判定結果に基づいて,前記通信相手の可搬型通信端末を特定し,その可搬型通信端末との間の組み合わせ位置を決定する,表示システムのように構成することができる。
可搬型通信端末の組み合わせ方にはさまざまな方法があるが,本発明のような処理を実行することで,操作性がよく,容易に実現することができる。すなわち,対応関係判定処理部における照会情報,応答情報として,組み合わせ位置を示す情報を含む場合には,その判定結果によって,通信相手の可搬型通信端末の特定とその組み合わせ位置の決定が行える。たとえば,照会情報として「右」を含み,応答情報として「左」を含む場合には,それらの可搬型通信端末をその組み合わせ位置として特定,決定することができる。
上述の発明において,前記表示システムは,可搬型通信端末間のタイミングを同期させるためのタイミング情報を,前記通信相手の可搬型通信端末に対して送信するタイミング同期処理部,を有する表示システムのように構成することができる。
本発明では操作ログ情報を用いて,各可搬型通信端末でそれぞれ表示処理を実行することから,日時情報などのタイミングを示す情報の共通化をしておく必要がある。つまり,各々の可搬型通信端末において独自に処理を実行しているにもかかわらず,複数の可搬型通信端末を並べて組み合わせると,あたかも一つの表示装置として,一体性を感じやすい表示を実現させることを実現するには,表示が同時またはほぼ同時に実行される必要がある。そこで本発明のような処理を実行することでタイミングを同期化させることが求められる。
また,本発明の日時情報などのタイミングを同期させて各可搬型通信端末で同じ操作ログ情報を利用する場合,一台の可搬型通信端末で実行した操作,たとえば「Undo(アンドゥ)操作(一つ処理を前に戻す操作)」を,即時にほかの可搬型通信端末に対して反映させることもできる。これは,タイミングを各可搬型通信端末で同期し,ある可搬型通信端末で行った操作ログ情報をほかの可搬型通信端末にも送信し,それぞれの可搬型通信端末で処理を実行させているためである。
このように,ほかの可搬型通信端末で行った操作を即時に反映させることができるという点も,あたかも一つの表示装置として一体性を感じやすい表示を実現させるという点で,重要なものとなる。
上述の発明において,前記表示システムは,前記操作入力受付処理部で生成した操作ログ情報および/または前記操作ログ情報受信処理部で受信した操作ログ情報とを記憶する操作ログ情報記憶部,を有しており,前記操作ログ情報送信処理部は,前記接続確立処理部で新たな通信相手の可搬型通信端末との間で接続を確立すると,その接続確立前における前記操作ログ情報記憶部に記憶する操作ログ情報を,前記新たな通信相手の可搬型通信端末に対して送信する,表示システムのように構成することができる。
本発明のように,各可搬型通信端末で操作ログ情報を記憶しておき,ほかの可搬型通信端末と接続中に,あらたな可搬型通信端末がその接続に追加されると(たとえば4台で一つのグループを形成している場合に,あらたに2台が追加されると),その2台に対して,今までの操作ログ情報を送る必要がある。これによって,接続しているすべての可搬型通信端末で同じ操作ログ情報を利用することができ,一つの表示装置として,一体性のある表示を行うことが可能となる。
上述の表示システムは,本発明の表示プログラムを利用することで実現できる。すなわち,複数の可搬型通信端末を組み合わせて一つの表示装置として表示を行う表示システムにおける表示プログラムであって,前記表示プログラムは,前記可搬型通信端末を,前記可搬型通信端末の通信相手となる可搬型通信端末を特定し,その可搬型通信端末との間の組み合わせ位置を,可搬型通信端末の表示装置に組み合わせる方向を表示させてその選択を受け付けることで決定する組み合わせ位置決定処理部,可搬型通信端末における操作入力を受け付けて操作ログ情報を生成する操作入力受付処理部,前記生成した操作ログ情報を前記通信相手の可搬型通信端末に対して,直接送信する操作ログ情報送信処理部,前記通信相手の可搬型通信端末から,その可搬型通信端末における操作入力に基づく操作ログ情報を,直接受信する操作ログ情報受信処理部,前記生成した操作ログ情報または前記受信した操作ログ情報に対応する操作を実行する操作実行処理部,前記組み合わせ位置に対応した領域の表示処理を実行する表示処理部,として機能させる表示プログラムであって,前記操作入力受付処理部は,前記可搬型通信端末で行われた操作入力を受け付け,前記組み合わせ位置に基づいて,前記操作入力におけるクライアント座標が変換された絶対座標を含む操作ログ情報を生成し,前記表示処理部は,前記通信相手の可搬型通信端末から受信した操作ログ情報における絶対座標を,前記組み合わせ位置に基づいてクライアント座標に変換して,前記組み合わせ位置に対応した領域の表示処理を実行する,表示プログラムである。
本発明の表示プログラムを可搬型通信端末に読み込ませて実行することで,第1の発明と同様の技術的効果を得ることができる。
本発明の表示システムによって,特定の可搬型通信端末に負荷がかからず,また,一つの画面を複数の可搬型通信端末で表示している場合に,どの可搬型通信端末の画面上で編集が行われたとしても,それを反映させることができる。
本発明の表示システム1の全体の概念図の一例を図1に示す。また,表示システム1のシステム構成の一例の概念図を図2に示す。
表示システム1は,各学習者が利用する可搬型通信端末において実現される。表示システム1における可搬型通信端末は,好ましくはタッチパネル型表示装置72を備えた可搬型通信端末である。図3に可搬型通信端末のハードウェア構成の一例を示す。可搬型通信端末は,プログラムの演算処理を実行するCPUなどの演算装置70と,情報を記憶するRAMやハードディスクなどの記憶装置71と,タッチパネルにより入力が可能な,タッチパネルディスプレイなどのタッチパネル型表示装置72と,演算装置70の処理結果や記憶装置71に記憶する情報を,端末間で直接通信をする通信装置73とを有している。
タッチパネル型表示装置72は,そのディスプレイ上で,直接,所定の入力デバイス(タッチパネル用のペンなど)や指などによって入力を行える点で,表示装置と入力装置の機能が一体化した装置である。
本発明における各手段は,その機能が論理的に区別されているのみであって,物理上あるいは事実上は同一の領域を為していても良い。
本発明の表示システム1は,各学習者が利用する可搬型通信端末に備えられる。表示システム1は,照会情報配信処理部10と対応関係判定処理部11と接続確立処理部12と組み合わせ位置決定処理部13とタイミング同期処理部14と操作入力受付処理部15と操作ログ情報記憶部16と操作ログ情報送信処理部17と操作ログ情報受信処理部18と操作実行処理部19と表示処理部20とを有する。なお,各可搬型通信端末では同じ機能を備えていることが好ましい。
照会情報配信処理部10は,本発明の表示システム1の処理の開始の入力を受け付ける。たとえば可搬型通信端末におけるタッチパネル型表示装置72の所定箇所に表示した領域が選択されたことの入力を受け付ける。そして,後述する図5におけるように組み合わせの処理を実行するための所定距離内にいるほかの可搬型通信端末に対して照会情報(key)をブロードキャスト配信する。
対応関係判定処理部11は,ほかの可搬型通信端末から送られた応答情報(value)を受け取り,照会情報配信処理部10が配信した照会情報と一致または対応する応答情報(value)であるかを判定する。
照会情報とは,組み合わせ可能な可搬型通信端末が,通信可能範囲内(アドホック・モードであれば通信の届く所定距離内。その他の通信形態であればネットワーク通信が可能な範囲内)にあるかどうかを問い合わせるためにブロードキャスト配信する情報をいう。なお,ブロードキャスト配信に代えて,接続の対象となりうる複数の端末を指定したユニキャスト配信で行う方法でも構わない。
また,応答情報とは,照会情報を受信した可搬型通信端末が,その照会情報に対して返信する情報をいう。
そして対応関係判定処理部11では,照会情報と応答情報の対応関係の判定のため,図26に示す判定テーブルに基づいて,対応関係の判定を行うが,それに限定されない。
接続確立処理部12は,対応関係判定処理部11で照会情報と応答情報との対応関係が一致または対応していると判定した場合には,照会情報(key)を送った可搬型通信端末と応答情報(value)を返した可搬型通信端末との間で接続を確立する。
この際の可搬型通信端末間における直接接続(一般的に,「Peer to Peer」,「P2P」と称される通信アーキテクチャ)の形態は,可搬型通信端末間での直接の近距離無線通信(一般的に,「アドホック・モード」と称される通信接続形態)による接続である。「アドホック・モード」で通信をすることにより,ローカル・エリア・ネットワーク(LAN)に接続できない環境(たとえば,本発明の表示システムを学校で利用する場合であれば,屋外で行う観察や実験など)であったとしても,本発明の表示システムを実現することが可能となる。なお,直接接続の形態はアドホック・モードに限定されず,可搬型通信端末間における直接接続が実現できる形態であれば,どのような通信接続形態を用いても良い。
タイミング同期処理部14は,接続確立処理部12で複数の可搬型通信端末同士で接続を確立すると,それらの可搬型通信端末間でタイミングを同期する処理を実行する。なおタイミングとしては日時情報がその一例としてあるが,それに限られず,一定のタイミングで計時されるタイマなどであってもよい。
具体的な処理の一例としては,照会情報(key)を配信した可搬型通信端末のタイミング(日時情報)をほかの可搬型通信端末に送信し,送信された日時情報に揃える形で,当該ほかの可搬型通信端末のタイミング(日時情報)を同期する処理を実行するという方法がある。この場合,タイミングの同期処理に関しては,照会情報(key)を配信した可搬型通史端末は仮想的な「基準端末」(タイミングの基準となる端末),応答情報(value)を送信した可搬型通信端末は仮想的な「修正対象端末」(タイミングを基準端末にあわせて修正する端末)という形で取り扱う。なお,接続が確立された可搬型通信端末間においてタイミングが同期できれば,どのような処理形式を用いても良い。
操作入力受付処理部15は,学習者が利用する可搬型通信端末に対する操作の入力を受け付ける。操作入力受付処理部15で操作入力を受け付けることで,操作ログ情報が生成され,後述する操作ログ情報記憶部16に記憶させる。操作ログ情報には,タイミングを示す情報と操作内容とを示す情報と,場合によっては座標情報を含む。
操作ログ情報記憶部16は,操作入力受付処理部15で生成した操作ログ情報,操作ログ情報受信処理部18で受信した操作ログ情報を記憶する。図6に操作ログ情報記憶部16の一例を模式的に示す。また,操作ログ情報における操作内容を示す操作ログ情報そのものを記憶するほか,操作対象となる客体の情報(オブジェクト,素材)を必要に応じて記憶させる。なお,複数の操作で同一の客体の情報を用いる場合には,一つだけ記憶しておけばよい。
操作ログ情報送信処理部17は,操作入力受付処理部15で生成した操作ログ情報を,当該可搬型通信端末と接続が確立しているほかの可搬型通信端末に対して送信する。この際に,操作ログ情報そのものを送信するほか,操作対象となる客体の情報がある場合には,その情報も操作ログ情報に対応付けて送信する。なお,すでに操作対象となる客体の情報が送受信され,各可搬型通信端末で記憶している場合には,その客体の情報は送らずに,操作ログ情報のみを送ればよい。これによって,送信する情報量を減らすことができる。客体の一致は,客体一致判定機能を設け,不一致の場合に客体の送信要求を操作ログ情報を送信した端末に通知するように構成してもよい。客体の一致判定は,客体の識別情報(ファイル名など)や,客体のサイズ,位置といった情報で判定することができる。このような構成とすることで,可搬型通信端末間で参照する客体にずれが生じることをなくすことができる。
操作ログ情報受信処理部18は,当該可搬型通信端末と接続が確立しているほかの可搬型通信端末から,当該ほかの可搬型通信端末で行われた操作入力に対する操作ログ情報を受信する。
操作実行処理部19は,操作入力受付処理部15で受け付けた操作ログ情報,操作ログ情報受信処理部18で受信した操作ログ情報,操作ログ情報記憶部16に記憶した操作ログ情報に基づいて,その操作ログ情報に対応する操作の処理を実行する。この操作の際には,操作ログ情報の操作内容に応じて,操作対象となる客体に対して処理を実行する。
表示処理部20は,操作実行処理部19における処理結果を,組み合わせ位置決定処理部13で決定した組み合わせ位置に基づいて,その組み合わせ位置における領域の表示を,可搬型通信端末のタッチパネル型表示装置72に行う。この際に,タッチパネル型表示装置72で表示する画像の座標変換を行った上で表示を行う。表示処理部20は,操作ログ情報における相対座標であるクライアント座標が可搬型通信端末の表示領域内にあるかを判定し,あると判定した場合には表示処理を行い,ないと判定した場合には表示処理は行わない。また,操作ログ情報における処理の内容が表示位置に依存しない処理の場合には,その表示処理を行う。なお,クライアント座標変換後,表示領域内か否かの判定をしても良し,絶対座標である物理座標のまま表示領域内か否かの判定をして,表示する場合にはクライアント座標への座標の変換処理をしても良い。
可搬型通信端末を組み合わせて表示を行う場合の基本的処理を説明する。本発明の表示システム1では,画面に表示するコンテンツの編集可能領域を示す絶対座標である物理座標と,各可搬型通信端末のタッチパネル型表示装置72上で表示する範囲を示す相対座標であるクライアント座標とがある。この座標の関係を図8に示す。図8の場合,クライアント座標の原点(cx,cy)は,物理座標(X=500,Y=300)となる。そのため,物理座標とクライアント座標相互間の座標変換は,クライアント座標または物理座標に対して,加算または減算をすることにより座標変換が行える。
すなわち,クライアント座標は,物理座標の値から,物理座標の原点からその可搬型通信端末における原点までの距離を減算した距離を算出すれば良く,絶対座標は,クライアント座標の値に,物理座標の原点からその可搬型通信端末における原点までの距離を加算した値を算出すればよい。
たとえば図8では,物理座標が(X,Y),可搬型通信端末Aのクライアント座標が(cx1,cy1),可搬型通信端末Bのクライアント座標が(cx2,cy2),可搬型通信端末Cのクライアント座標が(cx3,cy3),可搬型通信端末Dのクライアント座標が(cx4,cy4)であったとする。この場合,クライアント座標から物理座標への変換処理は,
可搬型通信端末Aでは,
X=cx1,Y=cy1
可搬型通信端末Bでは,
X=cx2+500,Y=cy
可搬型通信端末Cでは,
X=cx3,Y=cy3+300
可搬型通信端末Dでは,
X=cx4+500,Y=cy4+300
となる。
また,物理座標からクライアント座標への変換処理は,
可搬型通信端末Aでは,
cx1=X,cy1=Y
可搬型通信端末Bでは,
cx2=X−500,cy2=Y
可搬型通信端末Cでは,
cx3=X,cy3=Y−300
可搬型通信端末Dでは,
cx4=X−500,cy4=Y−300
となる。
したがって,たとえば図1(b)のように可搬型通信端末A乃至可搬型通信端末Dを組み合わせた場合には,図9に示すような物理座標,クライアント座標の関係となる。すなわち,物理座標(X,Y)として(0,0)から(999,599)となり,物理座標上の各可搬型通信端末の表示領域を物理座標で示すと,可搬型通信端末Aが(cx1,cy1)として物理座標(0,0)から(499,299)となり,可搬型通信端末Bが(cx2,cy2)として(500,0)から(999,299)となり,可搬型通信端末Cが(cx3,cy3)として(0,300)から(499,599)となり,可搬型通信端末Dが(cx4,cy4)として(500,300)から(999,599)となる。
各可搬型通信端末では,上記物理座標に含まれている範囲を,各々のタッチパネル型表示装置72で表示する。そしてその際には,物理座標を各タッチパネル型表示装置72のクライアント座標(相対座標)に変更しなければならない。たとえば図9の場合,可搬型通信端末Aのクライアント座標(cx1,cy1)=(X,Y),可搬型通信端末Bのクライアント座標(cx2,cy2)=(X−500,Y),可搬型通信端末Cのクライアント座標(cx3,cy3)=(X,Y−300),可搬型通信端末Dのクライアント座標(cx4,cy4)=(X−500,Y−300)を演算することで,物理座標で与えられる情報をクライアント座標に変更してタッチパネル型表示装置72で表示を行う。
つぎに本発明の表示システム1の処理プロセスの一例を,図4のフローチャート,図5のシーケンス図を用いて説明する。なお,以下の説明ではタイミングとして日時情報を用いる場合を説明する。また,学校の授業におけるグループ学習であって,4人の学習者(生徒)(学習者A乃至学習者D)がそれぞれの可搬型通信端末(可搬型通信端末A乃至可搬型通信端末D)を組み合わせる場合を説明する。また,実施例1では,座標に依存しない場合の処理を説明する。
まず各学習者が利用する可搬型通信端末を組み合わせ,可搬型通信端末同士で接続を確立し,直接の通信を行う場合,相手方のIPアドレスなどの通信に用いる識別情報を取得する必要がある。そこで,ある可搬型通信端末において,接続確立処理を開始することの選択を照会情報配信処理部10で受け付けると(S100),図5に示す接続確立の処理を開始する(S110)。
たとえば学習者Aが可搬型通信端末Aにおいて接続確立処理を開始することの選択を行うと,それを可搬型通信端末Aの照会情報配信処理部10で受け付け,keyとなる照会情報をブロードキャスト配信する。ここではグループ学習処理を行うので,keyとして,たとえば学習者Aが所属する班の情報(たとえば「Bグループ」)を配信する。このkeyとなる照会情報は,学習者が可搬型通信端末にログインする際に,学習者と対応付けられている情報を用いることが好ましいが,それに限定されず,接続確立処理を開始する際に入力を受け付けても良い。
可搬型通信端末B乃至可搬型通信端末Dの接続確立処理部12は,可搬型通信端末Aからブロードキャスト配信されたkeyとなる情報を受け付け,一致または対応する情報がある可搬型通信端末は,keyに対応するvalue(たとえば「Bグループ」)をブロードキャスト配信(本実施例では,とくに「アドホック・モード」を用いる)により返す。
以上のようにして可搬型通信端末Aからブロードキャスト配信したkeyとなる情報に対応するvalueとなる情報を,可搬型通信端末B乃至可搬型通信端末Dから受け取ると,可搬型通信端末Aの接続確立処理部12は,可搬型通信端末Aと,可搬型通信端末B乃至可搬型通信端末Dとの間でネットワーク接続に用いる情報,たとえばIPアドレスを送りあい,通信接続を確立する。また,可搬型通信端末Aは,可搬型通信端末B乃至可搬型通信端末Dに対して,可搬型通信端末B乃至可搬型通信端末Dのネットワーク接続に用いる情報,たとえばIPアドレスを送る。これによって,可搬型通信端末B乃至可搬型通信端末Dは,可搬型通信端末A以外のほかの可搬型通信端末との間で,通信接続を確立する。
なお,keyやvalueとしては,同じグループに所属している可搬型通信端末同士かを判定する場合には,keyとして当該可搬型通信端末を利用している学習者の所属学級情報(たとえば「1−A」)や班の識別情報(たとえば「Bグループ」)となり,ほかの可搬型通信端末はそれを利用する学習者の所属学級情報(たとえば「1−A」)や班の識別情報(たとえば「Bグループ」)をvalueとして返す。そして対応関係判定処理部11において,keyとvalueが一致または対応する情報であれば,正当な通信相手として判定する。
また,可搬型通信端末同士で表示している画面の内容(たとえば台紙のサイズやページの種別など)が一致または対応している場合には正当な通信相手として判定しても良い。この場合,keyとして当該可搬型通信端末で表示している台紙のタイトルを送り,対応する台紙を開いている可搬型通信端末は,valueとして台紙のタイトル,台紙データのキャッシュ,台紙データのデータ量などを返す。そして対応関係判定処理部11において,keyとvalueが一致または対応している情報かを判定する。
また可搬型通信端末同士を組み合わせる場合に,その組み合わせる位置が対応しているかによって,正当な通信相手かを判定しても良い。この場合,keyとしては,可搬型通信端末を組み合わせる機能を動作させている旨を送り,同一機能を起動中の可搬型通信端末はその旨をvalueとして返す。そして選択された組み合わせの位置(上下左右斜めのいずれか(たとえば右)をkeyとして送り,組み合わせとして対応する位置(例えば左)が選択されている可搬型通信端末はその旨をvalueとして返す。
「アドホック・モード」は,所定範囲内,たとえば数メートルの範囲内でのみ電波が届くように設定されているため,広範囲に対してブロードキャスト配信が行われるわけではない。
以上のようにして,可搬型通信端末同士の間で,直接の通信の接続が確立できる。すなわち,可搬型通信端末A乃至可搬型通信端末Dは,相互に,直接の通信が可能である。これを模式的に示すのが図1(a)である。
なお,可搬型通信端末Aの照会情報配信処理部10がkeyとなる情報を配信してから所定時間内にvalueとなる情報を配信を受けなかった場合には,その可搬型通信端末は,接続確立の対象となる端末ではない,と判定する。
照会情報配信処理部10は,valueを受け取った可搬型通信端末が正当な通信相手であるかを対応関係判定処理部11で判定するため,keyをブロードキャスト配信し,それに対するvalueを受け取る処理を複数回,繰り返しても良い。この場合,異なるkeyを配信しても良い。
つぎに,可搬型通信端末の組み合わせ方向を特定するため,各可搬型通信端末の組み合わせ位置決定処理部13で組み合わせの方向を特定する。この場合,可搬型通信端末の表示装置に組み合わせる方向を表示させ,その選択を受け付けることで,対応する組み合わせ方向の可搬型通信端末と組み合わせが行われる。たとえば,可搬型通信端末Aで組み合わせ方向として右側の選択を受け付けると,可搬型通信端末Bで左側の選択を受け付けていれば,可搬型通信端末Aが左側,可搬型通信端末Bが右側の位置関係で組み合わされる。また,可搬型通信端末Aで組み合わせ方向として下側の選択を受け付けると,可搬型通信端末Cで上側の選択を受け付けていれば,可搬型通信端末Aが上側,可搬型通信端末Cが下側の位置関係で組み合わされる。可搬型通信端末Bで組み合わせ方向として下側の選択を受け付けると,可搬型通信端末Dで上側の選択を受け付けていれば,可搬型通信端末Bが上側,可搬型通信端末Dが下側の位置関係で組み合わされる。このように可搬型通信端末の組み合わせ方向の選択を組み合わせ位置決定処理部13で受け付けることで,組み合わせの位置関係が設定できる。
なお,接続確立処理において,key,valueとして組み合わせ方向の情報を用いた場合には,接続確立処理を行うのと同時に,組み合わせの位置関係の設定もできる。
以上のように各可搬型通信端末が組み合わされた状態が図1(b)である。なお,位置関係を設定した情報は,組み合わされている各可搬型通信端末A乃至可搬型通信端末Dの間で情報を送受信することで共通化している。これによって,自らの可搬型通信端末の原点と,物理座標の原点との位置関係を特定できる。
このようにして各可搬型通信端末の位置関係を特定すると,各可搬型通信端末の表示処理部20は,特定した位置関係に基づいて,一つの表示装置として表示する場合の物理座標(絶対座標)と,各可搬型通信端末の表示装置におけるクライアント座標(相対座標)の位置関係を特定する。特に,上記物理座標の原点と,各可搬型通信端末の表示装置における相対座標の原点との位置関係を特定することで,物理座標とクライアント座標の変換式を生成する。
つぎに,通信接続が確立している可搬型通信端末同士では,日時情報を揃える必要があるので,各可搬型通信端末のタイミング同期処理部14は,可搬型通信端末同士での日時情報の同期処理を実行する(S120)。この場合,通信接続が確立している可搬型通信端末のうち一つを基準として,その日時情報をほかの可搬型通信端末に対しても送信し,それを受け取った可搬型通信端末が日時情報を更新する。
たとえば可搬型通信端末Aの日時情報に揃える場合,可搬型通信端末Aのタイミング同期処理部14が,自らの日時情報「2013年9月20日12時00分36秒」を可搬型通信端末B乃至可搬型通信端末Dに送信する。可搬型通信端末B乃至可搬型通信端末Dのタイミング同期処理部14は,可搬型通信端末Aから送られた日時情報「2013年9月20日12時00分36秒」を受け取り,自らの日時情報を,受け取った日時情報「2013年9月20日12時00分36秒」に更新する。
なお,上記では可搬型通信端末A乃至可搬型通信端末Dがほぼ同じときに接続確立処理が行われるので,可搬型通信端末Aから,可搬型通信端末B乃至可搬型通信端末Dに日時情報を送信して同期処理を実行する場合を説明したが,異なるときに行う場合には,たとえば可搬型通信端末Aと可搬型通信端末Bで日時情報の同期処理が実行された後,可搬型通信端末Bと可搬型通信端末Cで日時情報の同期処理が実行されても良い。
タイミング同期処理を図7に模式的に示す。
このようにしてタイミング同期処理部で日時情報の同期処理が行われると,組み合わせをした可搬型通信端末同士を隣り合わせる(図1(b)の状態)ことで,一つの表示を行うことができる。この処理を以下に説明する。
可搬型通信端末A乃至可搬型通信端末Dが図1(b),図9のように組み合わせられている場合,たとえば可搬型通信端末Aのタッチパネル型表示装置72に対して操作「AAAA」を行うと,操作入力受付処理部15が操作「AAAA」を受け付ける(S130)。そして操作入力受付処理部15は,受け付けた操作「AAAA」が行われたクライアント座標を絶対座標に変換し,図10に示す操作ログ情報を生成する。たとえば操作「AAAA」がクライアント座標(cx1,cy1)=(100,100)に対して行われた場合,それを絶対座標(X,Y)=(100,100)に変更し,それを含む操作ログ情報を生成する(S140)。操作入力受付処理部15は,生成した操作ログ情報を操作ログ情報記憶部16に記憶させる。
そして,可搬型通信端末Aの操作ログ情報送信処理部17は,生成した操作ログ情報を,接続が確立している可搬型通信端末B乃至可搬型通信端末Dに送信する(S150)。S140で送られた操作ログ情報を,可搬型通信端末B乃至可搬型通信端末Dの操作ログ情報受信処理部18で受信する(S160)。これを模式的に示すのが図11である。
操作ログ情報を受信すると,可搬型通信端末B乃至可搬型通信端末Dのそれぞれの操作ログ情報記憶部16に記憶させ,操作実行処理部19がそれぞれに対応した操作処理を実行する。操作処理は接続しているすべての端末で各々実行する。そして可搬型通信端末B乃至可搬型通信端末Dのそれぞれの表示処理部20は,受信した操作ログ情報における物理座標をそれぞれのクライアント座標に変換する(S170)。たとえば可搬型通信端末Bの表示処理部20はクライアント座標(cx2,cy2)=(−400,100)に変換し,可搬型通信端末Cの表示処理部20はクライアント座標(cx3,cy3)=(100,−200)に変換し,可搬型通信端末Dの表示処理部20はクライアント座標(cx4,cy4)=(−400,−200)に変換する。可搬型通信端末Aでは,もともとクライアント座標で入力を受け付けているので,それを用いればよい。これを模式的に示すのが図12である。
そうすると,操作「AAAA」については,可搬型通信端末B乃至可搬型通信端末Dではそのそれぞれのタッチパネル型表示装置72の表示範囲内にはない。しかし,操作「AAAA」は座標に依存しない処理なので,各可搬型通信端末A乃至可搬型通信端末Dでは操作「AAAA」に対応する表示処理を実行する(S180)。
つぎに,可搬型通信端末Bのタッチパネル型表示装置72のクライアント座標(100,200)で操作「BBBB」が行われたとする。可搬型通信端末Bの操作入力受付処理部15は,受け付けた操作「BBBB」が行われたクライアント座標(cx2,cy2)=(100,200)を,物理座標(X,Y)=(600,200)に変更し,それを含む操作ログ情報を生成する(S130,S140)。可搬型通信端末Bの操作入力受付処理部15は,生成した操作ログ情報を操作ログ情報記憶部16に記憶させる。
そして,可搬型通信端末Bの操作ログ情報送信処理部17は,生成した操作ログ情報を,接続が確立している可搬型通信端末A,可搬型通信端末Cおよび可搬型通信端末Dに送信する(S150)。これを模式的に示すのが図13である。S140で送られた操作ログ情報を,可搬型通信端末A,可搬型通信端末Cおよび可搬型通信端末Dの操作ログ情報受信処理部18で受信する(S160)。
操作ログ情報を受信すると,可搬型通信端末A,可搬型通信端末Cおよび可搬型通信端末Dのそれぞれの操作ログ情報記憶部16に記憶させ,操作実行処理部19で操作ログ情報に対応する操作処理を実行する。操作処理は接続しているすべての端末で各々実行する。そして可搬型通信端末A,可搬型通信端末Cおよび可搬型通信端末Dのそれぞれの表示処理部20は,受信した操作ログ情報における物理座標をそれぞれのクライアント座標に変換する(S170)。たとえば可搬型通信端末Aの表示処理部20はクライアント座標(cx1,cy1)=(600,200)に変換し,可搬型通信端末Cの表示処理部20はクライアント座標(cx3,cy3)=(600,−100)に変換し,可搬型通信端末Dの表示処理部20はクライアント座標(cx4,cy4)=(100,−100)に変換する。これを模式的に示すのが図14である。
そうすると,操作「BBBB」については,可搬型通信端末A,可搬型通信端末Cおよび可搬型通信端末Dではそのそれぞれのタッチパネル型表示装置72の表示範囲内にはない。しかし,操作「BBBB」は座標に依存しない処理なので,各可搬型通信端末A乃至可搬型通信端末Dでは操作「BBBB」に対応する処理を実行する(S180)。
以上のような処理を複数回繰り返すことで,可搬型通信端末A乃至可搬型通信端末Dでは操作ログ情報が一致することとなる。そして操作ログ情報に基づいて各可搬型通信端末での表示を行うので,それぞれの操作を迅速に反映することができる。また,サーバに依存しないので,処理の遅延の発生もしないし,サーバへの処理の集中も発生しない。
なお,表示処理部20における表示処理の際には,操作ログ情報を基準にレイヤー管理を行って表示を行う。すなわち,操作ログ情報記憶部16に記憶する操作ログ情報の順番に,各操作でのオブジェクトが一番上位に表示されるように,レイヤー管理を行う。このレイヤー管理の概念を図27および図28に示す。図27はレイヤーの上下の管理を模式的に示す図であり,図28は,タッチパネル型表示装置72での表示を模式的に示す図である。
このように,画像の表示に関して,すべて操作ログ情報を基準として管理を行うので,組み合わせをした各可搬型通信端末間において,表示上の同期を容易に実現することができ,表示のずれがなくなる。また,別途,図面のレイヤー情報を管理する構成要素などを設ける必要がなく,従来の画像表示システムと比べて,より簡易な形で画像表示を実現することができる。
つぎに,実施例2では,座標に依存する場合の処理を説明する。たとえばある可搬型通信端末で表示している画像を,ほかの可搬型通信端末まで移動させて表示させる場合を説明する。図15にこの場合の概念図を模式的に示す。なお,図15では,可搬型通信端末のタッチパネル型表示装置72の座標関係をわかりやすくするため,可搬型通信端末のタッチパネル型表示装置72以外の部分を省略して図示している。以下の実施例では図15に示すように,可搬型通信端末Aで表示している画像情報を,組み合わせている4台の可搬型通信端末の中心付近に移動させる場合を説明する。なお,可搬型通信端末A乃至可搬型通信端末Dは,実施例1と同様の処理ですでに接続の確立処理(S100,S110),日時の同期処理(S120)は実行されているとする。
まず可搬型通信端末Aの利用者は,画像情報「Flower1.jpg」を可搬型通信端末Aで表示する操作を行う。この操作入力を可搬型通信端末Aの操作入力受付処理部15で受け付け(S130),図16に示すような操作ログ情報を生成する(S140)。図16の操作ログ情報では,操作対象が「Flower1.jpg」に対して,操作内容「表示」を行い,その場合,画像情報の幅を示す物理座標(Width)が(300,400),高さを示す物理座標が(50,250)であることを示している。なお,上述のように,操作入力の受け付けは,可搬型通信端末Aでのクライアント座標(相対座標)であるが,操作ログ情報は物理座標(絶対座標)で生成されるので,相対座標から絶対座標への変換が行われた後に,物理座標として操作ログ情報に含まれる。
このようにして可搬型通信端末Aの操作入力受付処理部15が操作ログ情報を生成すると,操作ログ情報記憶部16に記憶する。この状態が図17である。
そして可搬型通信端末Aの操作ログ情報送信処理部17は,操作入力受付処理部15が生成した上記操作ログ情報を,可搬型通信端末Aに組み合わせられている可搬型通信端末B乃至可搬型通信端末Dに対して,送信する(S150)。この際に,処理の客体となる画像情報も送られる。つまり,図16の操作ログ情報を送信することとなる。
可搬型通信端末B乃至可搬型通信端末Dの各操作ログ情報受信処理部18は,可搬型通信端末Aから送られた操作ログ情報を受信する(S160)。そうすると,可搬型通信端末B乃至可搬型通信端末Dの各操作実行処理部19は操作ログ情報に対応する操作処理を実行し,各表示処理部20は,受信した操作ログ情報に基づいて,操作ログ情報における物理座標をそれぞれの可搬型通信端末のクライアント座標に変換する(S170)。
図16の場合,操作ログ情報における物理座標がWidth(X1,X2)=(300,400),Height(Y1,Y2)=(50,250)なので,可搬型通信端末Bの表示処理部20はクライアント座標として,Width(cx21,cx22)=(−200,−100),Height(cy21,cy22)=(50,250),可搬型通信端末Cの表示処理部20はクライアント座標として,Width(cx31,cx32)=(300,400),Height(cy31,cy32)=(−250,−50),可搬型通信端末Dの表示処理部20はクライアント座標Width(cx41,cx42)=(−200,−100),Height(cy41,cy42)=(−250,−50)を算出する。
そうすると,可搬型通信端末B乃至可搬型通信端末Dの各タッチパネル型表示装置72の表示範囲外であることから,各表示処理部20は表示を行わない。したがって,可搬型通信端末Aの表示処理部20が,可搬型通信端末Aのタッチパネル型表示装置72で表示を行う(S180)。
つぎに,ユーザが可搬型通信端末Aで表示する画像「Flower1.jpg」を図18の位置まで移動する操作を行う。この操作入力を可搬型通信端末Aの操作入力受付処理部15で受け付け(S130),移動する操作を行う。そうすると,操作入力受付処理部15は,図19に示すような操作ログ情報を生成する(S140)。操作ログ情報を生成すると,操作ログ情報記憶部16に記憶する。
また,可搬型通信端末Aの操作ログ情報送信処理部17は,上記操作ログ情報を,可搬型通信端末Aに組み合わせられている可搬型通信端末B乃至可搬型通信端末Dに対して,送信する(S150)。
可搬型通信端末B乃至可搬型通信端末Dの各操作ログ情報受信処理部18は,可搬型通信端末Aから送られた操作ログ情報を受信する(S160)。そうすると,可搬型通信端末B乃至可搬型通信端末Dの各操作実行処理部19は操作ログ情報に対応する操作処理を実行し,各表示処理部20は,受信した操作ログ情報に基づいて,操作ログ情報における物理座標をそれぞれの可搬型通信端末のクライアント座標に変換する(S170)。
図19の場合,操作ログ情報における物理座標がWidth(X1,X2)=(450,550),Height(Y1,Y2)=(200,400)なので,可搬型通信端末Bの表示処理部20はクライアント座標として,Width(cx21,cx22)=(−50,50),Height(cy21,cy22)=(200,400),可搬型通信端末Cの表示処理部20はクライアント座標として,Width(cx31,cx32)=(450,550),Height(cy31,cy32)=(−100,100),可搬型通信端末Dの表示処理部20はクライアント座標Width(cx41,cx42)=(−50,50),Height(cy41,cy42)=(−100,100)を算出する。
そうすると,可搬型通信端末Aの表示処理部20は,Width(cx11,cx12)=(450,500),Height(cy11,cy12)=(200,300)の範囲で,可搬型通信端末Bの表示処理部20は,Width(cx21,cx22)=(0,50),Height(cy21,cy22)=(200,300)の範囲で,可搬型通信端末Cの表示処理部20は,Width(cx31,cx32)=(450,500),Height(cy31,cy32)=(0,100)の範囲で,可搬型通信端末Dの表示処理部20は,Width(cx41,cx42)=(0,50),Height(cy41,cy42)=(0,100)の範囲で,それぞれ表示が可能なので,対応する領域の表示処理を行う。(S180)。
すなわち,可搬型通信端末Aの表示処理部20は,Width(cx11,cx12)=(450,500),Height(cy11,cy12)=(200,300)の領域に,画像情報「Flower1.jpg」の物理座標Width(X1,X2)=(450,500),Height(Y1,Y2)=(200,300)の範囲を表示する。また,可搬型通信端末Bの表示処理部20は,Width(cx31,cx32)=(0,50),Height(cy31,cy32)=(200,300)の領域に,画像情報「Flower1.jpg」の物理座標Width(X1,X2)=(500,550),Height(Y1,Y2)=(200,300)の範囲を表示する。また,可搬型通信端末Cの表示処理部20は,Width(cx21,cx22)=(450,500),Height(cy21,cy22)=(0,100)の領域に,画像情報「Flower1.jpg」の物理座標Width(X1,X2)=(450,500),Height(Y1,Y2)=(300,400)の範囲を表示する。加えて,可搬型通信端末Dの表示処理部20は,Width(cx41,cx42)=(0,50),Height(cy41,cy42)=(0,100)の領域に,画像情報「Flower1.jpg」の物理座標Width(X1,X2)=(500,550),Height(Y1,Y2)=(300,400)の範囲を表示する。
以上のような処理を各可搬型通信端末の表示システム1で処理を実行することで,複数の可搬型通信端末を組み合わせて,一つの表示装置を形成することができる。また,特定の可搬型通信端末が中心となって処理を行うのではなく,操作が行われた可搬型通信端末がほかの可搬型通信端末に対して,操作ログ情報を含む情報を送ることで,可搬型通信端末同士で情報を共通化,均一化し,各可搬型通信端末で対応する領域だけ表示を行っている。そのため,処理が分散化され,特定の可搬型通信端末に処理の集中が発生することもない。
また,可搬型通信端末間で直接通信を行う構成となっているので,サーバが不要となる。したがってサーバとの通信ができない環境下,たとえばwi−fi環境のない屋外などでもグループ学習を実行することができる。
なお,上述で説明した図15では,可搬型通信端末A内で画像情報「Flower1.jpg」の移動操作を行っているので,ユーザが可搬型通信端末Aのタッチパネル型表示装置72で画像情報を選択して移動する操作を行い終わった後に,移動操作の終了を検知し,操作ログ情報を操作入力受付処理部15が生成した。
しかし実際の処理では,図24に示すように,たとえば可搬型通信端末Aのタッチパネル型表示装置72から可搬型通信端末Bのタッチパネル型表示装置72まで画像情報を移動させる操作を行う場合もある。この場合,物理座標上は,一連の移動の操作となるが,実際には,図1(b)に示すように,異なる可搬型通信端末での移動は,タッチパネル型表示装置72が連続しているのではなく,可搬型通信端末のフレームが存在している。そこで,図25に示すように,操作入力受付処理部15は,フレームから外れた段階で操作入力の終了を検知し,操作ログ情報を一旦生成し,各可搬型通信端末に対して送信する。そして,フレームに入った段階で再び,操作入力の開始を検知し,移動が終了後,操作ログ情報を生成し,各可搬型通信端末に対して送信する処理を実行する。これを模式的に示すのが図25である。
すなわち,図25のように移動操作が行われる場合,可搬型通信端末Aの操作入力受付処理部15は,移動操作を検出すると,入力デバイス(指やタッチペンなど)が可搬型通信端末Aのフレームの位置まで到達すると移動操作が終了したとして操作ログ情報を生成する。そして可搬型通信端末Aの操作ログ情報送信処理部17が,可搬型通信端末B乃至可搬型通信端末Dに対して送信する。また,可搬型通信端末Bの操作入力受付処理部15は,入力デバイスが可搬型通信端末Bのフレームの位置まで到来すると移動操作が開始したとして操作ログ情報を生成する。そして可搬型通信端末Bの操作ログ情報送信処理部17が,可搬型通信端末A,可搬型通信端末Cおよび可搬型通信端末Dに対して送信する。
このような処理によって,可搬型通信端末のタッチパネル型表示装置72を跨いだ処理を実行することができる。
つぎに,可搬型通信端末で表示している画像情報の表示サイズを変更する場合を説明する。ここでは,実施例2の状態の画像情報に対して,表示サイズを変更する場合を説明する。この処理を模式的に示すのが,図20である。
可搬型通信端末Dの利用者は,可搬型通信端末Dで表示している画像情報を拡大する操作を行う。この操作入力を可搬型通信端末Dの操作入力受付処理部15で受け付ける(S130)。そして,図21に示すような操作ログ情報を生成する(S140)。図21の操作ログ情報では,操作対象が「Flower1.jpg」に対して,操作内容「サイズ変更」を行い,その場合,画像情報の幅を示す物理座標(Width)が(450,700),高さを示す物理座標が(200,550)であることを示している。
このようにして可搬型通信端末Dの操作入力受付処理部15が操作ログ情報を生成すると,操作ログ情報記憶部16に記憶される。
そして可搬型通信端末Dの操作ログ情報送信処理部17は,操作入力受付処理部15が生成した上記操作ログ情報を,可搬型通信端末Dに組み合わせられている可搬型通信端末A乃至可搬型通信端末Cに対して,送信する(S150)。
可搬型通信端末A乃至可搬型通信端末Cの各操作ログ情報受信処理部18は,可搬型通信端末Dから送られた操作ログ情報を受信する(S160)。そうすると,可搬型通信端末A乃至可搬型通信端末Cの各操作実行処理部19は操作ログ情報に対応する操作処理(表示サイズを変更する処理)を実行し,各表示処理部20は,受信した操作ログ情報に基づいて,操作ログ情報における物理座標をそれぞれの可搬型通信端末のクライアント座標に変換する(S170)。
図21の場合,操作ログ情報における物理座標がWidth(X1,X2)=(450,700),Height(Y1,Y2)=(200,550)なので,可搬型通信端末Aの表示処理部20はクライアント座標として,Width(cx11,cx12)=(450,700),Height(cy11,cy12)=(200,550),可搬型通信端末Bの表示処理部20はクライアント座標として,Width(cx21,cx22)=(−50,200),Height(cy21,cy22)=(200,550),可搬型通信端末Cの表示処理部20はクライアント座標として,Width(cx31,cx32)=(450,700),Height(cy31,cy32)=(−100,250)を算出する。
そうすると,可搬型通信端末Aの表示処理部20は,Width(cx11,cx12)=(450,500),Height(cy11,cy12)=(200,300)の範囲で,可搬型通信端末Bの表示処理部20は,Width(cx21,cx22)=(0,200),Height(cy21,cy22)=(200,300)の範囲で,可搬型通信端末Cの表示処理部20は,Width(cx31,cx32)=(450,500),Height(cy31,cy32)=(0,250)の範囲で,可搬型通信端末Dの表示処理部20は,Width(cx41,cx42)=(0,200),Height(cy41,cy42)=(0,250)の範囲で,それぞれ表示が可能なので,対応する領域の表示処理を行う。(S180)。
すなわち,可搬型通信端末Aの表示処理部20は,Width(cx11,cx12)=(450,500),Height(cy11,cy12)=(200,300)の領域に,画像情報「Flower1.jpg」の物理座標Width(X1,X2)=(450,500),Height(Y1,Y2)=(200,300)の範囲を表示する。また,可搬型通信端末Bの表示処理部20は,Width(cx21,cx22)=(0,200),Height(cy21,cy22)=(200,300)の領域に,画像情報「Flower1.jpg」の物理座標Width(X1,X2)=(500,700),Height(Y1,Y2)=(200,300)の範囲を表示する。また,可搬型通信端末Cの表示処理部20は,Width(cx31,cx32)=(450,500),Height(cy31,cy32)=(0,250)の領域に,画像情報「Flower1.jpg」の物理座標Width(X1,X2)=(450,500),Height(Y1,Y2)=(300,550)の範囲を表示する。加えて,可搬型通信端末Dの表示処理部20は,Width(cx41,cx42)=(0,200),Height(cy41,cy42)=(0,250)の領域に,画像情報「Flower1.jpg」の物理座標Width(X1,X2)=(500,700),Height(Y1,Y2)=(300,550)の範囲を表示する。
以上のような処理を各可搬型通信端末の表示システム1で処理を実行することで,表示サイズが変更された場合であっても,一つの表示装置として表示を行うことができる。
本実施例では,操作が競合した場合の処理について説明する。ここで競合とは,複数の操作が同一または異なる可搬型通信端末で行われた場合をいう。本発明では,上述のとおり,ある可搬型通信端末で行われた操作について操作ログ情報が生成され,それがほかの操作ログ情報に対して送信される。そして各可搬型通信端末では,生成されたまたは受信した操作ログ情報に基づいて表示を行う。
たとえば可搬型通信端末Bにおいて,画像情報「Flower1.jpg」のサイズ変更操作,可搬型通信端末Cにおいて,画像情報「Flower1.jpg」の移動操作が,ほぼ同じタイミングで行われるとする。この場合,可搬型通信端末Bの操作入力受付処理部15では図22(a)に示す操作ログ情報が,可搬型通信端末Cの操作入力受付処理部15では図22(b)に示す操作ログ情報が,それぞれ生成される。
そして可搬型通信端末Bの操作ログ情報送信処理部17は,可搬型通信端末A,可搬型通信端末Cおよび可搬型通信端末Dに対して図22(a)に示す操作ログ情報を,可搬型通信端末Cの操作ログ情報送信処理部17は,可搬型通信端末A,可搬型通信端末Bおよび可搬型通信端末Dに対して図22(b)に示す操作ログ情報を,それぞれ送信する。そして可搬型通信端末A乃至可搬型通信端末Dの各操作ログ情報受信処理部18は,可搬型通信端末B,可搬型通信端末Cから送信された操作ログ情報を受信し,操作ログ情報記憶部16に記憶させるとともに,各操作実行処理部19および表示処理部20が,操作ログ情報記憶部16に記憶する操作ログ情報のうち,古い日時情報の操作ログ情報から順番に処理を行う。図23に各可搬型通信端末の操作ログ情報記憶部16に記憶される操作ログ情報の一例を模式的に示す。
以上のように,本発明の表示処理システムでは,操作ログ情報に基づいて表示処理を行うので,原則として競合が発生しない。また仮に同一の日時情報を有する操作ログ情報の場合には,操作ログ情報に記憶が早いほうから順番に処理を行う。そのため,すべての操作ログ情報を適切に処理が実行できる。
各実施例において,可搬型通信端末間の接続が一時的に切断される場合もある。その場合には,切断を検出した可搬型通信端末は接続の回復を検出後,ほかの可搬型通信端末に対して,切断後までの操作ログ情報を送信するように要求する。たとえば操作ログ情報の送信要求と,切断した日時情報をほかの可搬型通信端末に送信する。
そして上記要求を受信したほかの可搬型通信端末は,その切断した日時情報以降の操作ログ情報を操作ログ情報記憶部16から抽出し,当該送信要求を送った可搬型通信端末に返す。そして送信要求を送った可搬型通信端末では,送られた操作ログ情報を操作ログ情報記憶部16に記憶させる。そして操作実行処理部19で対応する処理を実行させ,表示処理部20で表示をさせる。
これによって,各可搬型通信端末間で操作ログ情報を常に一致させることができるので,接続が一時的に切断されたとしてもすぐに復旧することができる。
実施例5では,可搬型通信端末間の接続が一時的に切断された場合を説明したが,接続している可搬型通信端末の一部が自ら接続の切断を行えてもよい。この場合,切断をした可搬型通信端末では,独自の編集作業を実行する。
そして,切断をした可搬型通信端末が再度,接続を行う場合には,上述の各実施例と同様の処理を実行することで,再度,接続の確立処理を行う。そして,接続をしていた可搬型通信端末のうち,いずれかの端末の接続確立処理部12で新たな可搬型通信端末との再接続を認識すると,その端末の操作ログ情報送信処理部17は,操作ログ情報記憶部16に記憶する操作ログ情報を抽出し,その再接続を確立した可搬型通信端末に対して送信を行う。
再接続をした可搬型通信端末の操作ログ情報受信処理部18では,受信した操作ログ情報を操作ログ情報記憶部16に記憶させ,操作実行処理部19でその操作ログ情報に対応する操作処理,表示処理部20における表示処理を実行する。このような処理を実行することで,再接続をした場合であっても,操作ログ情報の同期をすることができるので,接続をしている各可搬型通信端末を一台の表示装置のように機能させることができる。
実施例6の処理によって,グループによる協働作業状態から接続関係を解消して,個別の編集作業に移行し,さらにその後,再度,グループの協働作業に移行する場合であっても,スムースな作業移行を実現できる。つまり,切断した可搬型通信端末は,再接続後に,切断から再接続までに実行した操作ログ情報と,その操作ログ情報に関係する客体の情報とを再接続したほかの可搬型通信端末に通知するだけで良く,通信するデータ量は極小化することができる。
これに対し,サーバを介する場合は,再接続した可搬型通信端末からサーバに送られた操作ログ情報と,関係する客体の情報とをほかの可搬型通信端末の操作ログ情報および客体の情報とマージし,そのマージした内容を接続中のすべての可搬型通信端末に通知する必要があるため,通信するデータ量が多くなる。つまり,サーバを介したシステムの場合には,各可搬型通信端末は再接続の処理時に,自身の編集結果を一旦,サーバに送信し,サーバ上で操作の統合処理を行い,その後,サーバから各可搬型通信端末に対する操作の統合をした結果の画像の配信を待たなければならない。
これに対して本発明は,個別の編集作業時に追加した情報または操作ログ情報を共通化する処理を行うだけで,グループの協働作業への再接続をスムースに実現することができる。具体的にいえば,本実施例では,可搬型通信端末の各々で操作ログ情報をすでに記憶している状態であるので,ほかの可搬型通信端末が個別の編集作業時に実行した操作ログ情報などを取得し,再接続時に同期したタイミングに沿って,可搬型通信端末の各々で処理を実行することにより,操作対象となるデータの全体を配信する処理を行わずに,操作の対象となる全体のデータの共通化をすることが可能となる。これによって,個別の編集作業と,グループの協働作業との間を任意のタイミングで移行することができる。
とくに学校の教育分野では,一般的に,授業の進行状況や学習の進捗状況に応じて,教員が任意のタイミングで学習者に対して次の行動の指示を出す。その際,本実施例のように,任意のタイミングでスムースな作業の移行(特に,個別の編集作業とグループの協働作業との間を,作業の連続性を損なわない形での作業の移行)が実現されることは,授業を実施する教員にとっても,使いやすさの面において大きな効果があるといえる。