JP7487542B2 - 通信端末、通信システム、通信方法、プログラム - Google Patents

通信端末、通信システム、通信方法、プログラム Download PDF

Info

Publication number
JP7487542B2
JP7487542B2 JP2020076341A JP2020076341A JP7487542B2 JP 7487542 B2 JP7487542 B2 JP 7487542B2 JP 2020076341 A JP2020076341 A JP 2020076341A JP 2020076341 A JP2020076341 A JP 2020076341A JP 7487542 B2 JP7487542 B2 JP 7487542B2
Authority
JP
Japan
Prior art keywords
operation data
data
communication
unit
electronic whiteboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020076341A
Other languages
English (en)
Other versions
JP2021174173A (ja
Inventor
将 小笠原
滋 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2020076341A priority Critical patent/JP7487542B2/ja
Publication of JP2021174173A publication Critical patent/JP2021174173A/ja
Application granted granted Critical
Publication of JP7487542B2 publication Critical patent/JP7487542B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、通信端末、通信システム、通信方法、及び、プログラムに関する。
インターネット等の通信ネットワークを介して遠隔地との間で通信する通信システムが普及している。当該通信システムとしては、例えば、遠隔会議を行う会議システムが挙げられる。一般的な会議システムでは、遠隔会議を行う当事者の一方が利用する通信端末が、会議室の被写体の画像や音をデジタルデータに変換して、当事者の他方が利用する通信端末に送信する。次に、当事者の他方が利用する通信端末は、ディスプレイに画像を表示させると共にスピーカから音を出力させる。これにより、実際の会議に近い状態で遠隔地間の会議を行うことができる。更に、一方の通信端末側で保持又は表示中の資料等を示す画像データを、通信ネットワークを介して他方の通信端末に送信することで、画像データを共有することが可能である(特許文献1参照)。
また、企業や教育機関、行政機関等における会議等において、ディスプレイに画像を表示させ、この画像の上に、ユーザーが、文字、数字及び図形等のストローク画像を描画する電子黒板等の通信端末が利用されている(特許文献2参照)。このストローク画像は、通信端末が利用者により電子ペンや手でディスプレイ上に接触して移動させることで描いた内容を電子的に変換して、座標データ等のストロークデータを生成することによって描画される。更に、一方の通信端末でストローク画像が描画された場合、このストローク画像を再生するためのストロークデータが通信ネットワークを介して他方の通信端末に送信されることで、他方の通信端末でも同じストローク画像が表示される。
以上より、一方の通信端末が、表示中又は記憶している資料等の画像データ、及びストローク画像を再生するためのストロークデータを、通信ネットワークを介して他方の通信端末に送信することで、他方の通信端末は資料や画面背景等の資料画像を表示すると共にストローク画像を表示することができる。
しかしながら、従来の通信端末では、ストローク等の表示データに対し移動や拡縮などの操作を連続してユーザーが行った場合でも、最終的な結果を表示するまで各操作を順番に処理しなければならないという問題があった。
本発明は、上記課題に鑑み、各操作を順番に処理しなくても最終的な結果を表示することができる通信端末を提供することを目的とする。
上記課題に鑑み、本発明は、表示データを表示する通信端末であって、前記通信端末に対する操作を受け付ける受付部と、前記受付部が受け付けた操作に関する操作データを、所定の処理の対象として、操作の対象の前記表示データの識別情報と共に記憶する操作データ記憶部と、前記操作データ記憶部に記憶されている、前記所定の処理が行われていない操作データの対象である前記表示データの識別情報と、前記受付部が操作を受け付けた表示データの識別情報とが同じ場合、前記所定の処理が行われていない前記操作データ記憶部の操作データを前記受付部が受け付けた操作データに置き換える送信情報管理部と、を有することを特徴とする。
各操作を順番に処理しなくても最終的な結果を表示することができる通信端末を提供することができる。
通信システムが扱うデータの階層図である。 前の操作の本反映が完了してから次の操作データを電子黒板が通信管理システムに送信する理由を説明する図である。 複数の拠点でストロークが共有される場合のデータの流れを説明する図である。 他拠点が起点となってストロークが操作された場合のデータの流れを説明する図である。 拠点が自拠点のみの場合のデータの流れを説明する図である。 電子黒板の操作が通信管理システムで拒否された場合のデータの流れを説明する図である。 ユーザーがストロークを連続で移動した場合の送信待ちデータを示す図である。 送信待ちの操作データ、ユーザーの操作データ等を示す図である。 本実施形態の通信ルートを示した概略図である。 電子黒板の使用イメージ図である。 本実施形態に係る電子黒板のハードウェア構成図である。 本実施形態に係る通信管理システム、中継装置、及び画像保存装置のハードウェア構成図である。 本実施形態に係る通信システムの全体構成図である。 本実施形態に係る通信システムの各機能ブロック図である。 操作データのリストテーブルを示す概念図である。 認証管理テーブルを示す概念図である。 端末管理テーブルを示す概念図である。 宛先リスト管理テーブルを示す概念図である。 セッション管理テーブルを示す概念図である。 中継装置管理テーブルを示す概念図である。 操作データ管理テーブルを示す概念図である。 電子黒板間で遠隔通信を開始する準備段階の処理を示したシーケンス図である。 電子黒板1aで表示される宛先リストの画面例である。 遠隔通信を開始する処理を示したシーケンス図である。 資料画像の画像データ及びストローク画像のストロークデータを共有する処理を示したシーケンス図である。 資料画像の画像データ及びストローク画像のストロークデータを共有する処理を示したシーケンス図である。 (a)電子黒板1aの画面例、(b)電子黒板1bの画面例、(c)電子黒板1aの画面例、(d)電子黒板1bの画面例を示す図である。 電子黒板が操作データを操作データのリストテーブルに登録する処理を説明するフローチャート図の一例である。
以下、本発明を実施するための形態の一例として、通信システムと通信システムが行う通信方法について図面を参照しながら説明する。
<用語について>
表示データは、電子黒板のディスプレイに表示されるデータである。本実施形態では主にストロークであるが、ファイルから読み出されたイメージ(画像)等が表示データとなる場合もある。表示データには、手書きデータそのものだけでなく、手書きデータが文字認識により変換されたテキストデータ、「済」「秘」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。表示データは本実施形態ではオブジェクトという用語で説明される。
手書きデータとは、ディスプレイ上でユーザーが入力手段を連続的に移動させた座標点列を軌跡として表示したデータである。また、ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークといい、ストロークにより手書きされたデータをストロークデータという。手書きデータは1つ以上のストロークデータを有する。本実施形態では簡略化のためストロークデータを単にストロークという用語で説明する。
所定の処理とは、操作データ記憶部に記憶されている操作データに対し行われる決まった処理である。本実施形態の処理は、電子黒板が通信管理システムに操作データを送信し、後述するgidを得ることをいう。この他、他の電子黒板からの応答、他の電子黒板の処理待ちなどが所定の処理でもよい。
通信端末は画像と音声の少なくとも一方を送信し遠隔コミュニケーションを実現する装置である。本実施形態では電子黒板を例にして説明する。
<本実施形態の通信システムの補足>
まず、図1~図7を参照して、本実施形態の通信システム100について補足する。図1は、通信システムが扱うデータの階層図である。図1では、扱われるデータとして手書きされるストロークを例にして説明する。
データは会議ごとに管理される。また、会議は1つ以上のページを有し、各ページは1つ以上のストロークを有している。各ストロークはそれ自身の座標点列のほか、電子黒板が採番したid(ストロークの識別情報)、及び、サーバに相当する通信管理システムが電子黒板から送信されたストロークの操作に対し採番するgid(グローバルID)を有している。なお、図1ではストロークの持つ座標点列は省略している。グローバルIDは操作の識別情報であり各電子黒板に送信されても変更されない。
電子黒板はページの切り替えが可能であり、各ストロークは電子黒板の持つどのページに書かれた線かを識別するため、「parent」という、ストロークを有するページの識別情報(親)を有する。
これらストロークやページが有する情報で操作の整合性が保たれている。ストロークの移動、拡縮、色・太さの変更、などが行われると、idはそのまま引き継がれるが、gidは操作のたびに採番される(新しくなる)。
続いて、図2を参照して、仮反映と本反映について説明する。図2は前の操作の本反映が完了してから次の操作データを電子黒板が通信管理システムに送信する理由を説明する図である。
図2(a)に示すように、ユーザーが同じストローク201を複数回連続で操作する場合がある。図2(a)では、ユーザーがI、IIの2回、ストローク201を移動している。
この場合、一般には、以下のような順序で処理される。図2(b)は一般的な処理の順序を説明する図である。ここでいう一般的とは「ゆっくりとした操作」又は「通信帯域が十分」などの意味である。
1.ユーザーがIの移動を実行する。
(ア) 電子黒板はIの操作データを仮反映する。仮反映とはすぐに操作を反映させることをいう。仮反映により移動自体はリアルタイムに実行される。仮反映とは通信管理システムからgidが通知されるまでの状態である。したがって、ストローク201は図2(b)の中央に移動する。
(イ) 電子黒板はIの操作データを通信管理システムに送信する。
2.通信管理システムがIの操作データの応答(gid)を電子黒板に送信する。
(ア) 電子黒板は仮反映の操作データを本反映する。本反映とはgidの順番で操作データをストローク201に反映させることをいう。電子黒板がIの操作データを本反映してもストローク201には変化がない(まだ、IIの操作が行われていない。)。
3. ユーザーがIIの移動を実行する。
(ア) 電子黒板はIIの操作データを仮反映する。したがって、ストローク201は図2(b)の右に移動する。
(イ) 電子黒板はIIの操作データを通信管理システムに送信する。
4.通信管理システムがIIの操作データの応答(gid)を電子黒板に送信する。
(ア) 電子黒板は仮反映の操作データを本反映する。電子黒板がIIの操作データを本反映してもストローク201には変化がない。このように、一般的な処理の順序では、特に不都合が起こらない。
次に、図2(c)を参照して、通信管理システムからの応答が返る前にユーザーが同じストロークを操作した場合を説明する。
1.ユーザーがIの移動を実行する。
(ア) 電子黒板はIの操作データを仮反映する。したがって、ストローク201は図2(c)の中央に移動する。
(イ) 電子黒板はIの操作データを通信管理システムに送信する。
2.ユーザーがIIの移動を実行する。
(ア) 電子黒板はIIの操作データを仮反映する。したがって、ストローク201は図2(c)の右に移動する。
(イ) 電子黒板はIIの操作データを通信管理システムに送信する。
3.通信管理システムがIの操作データの応答を電子黒板に送信する。
(ア) 電子黒板は仮反映の操作データを本反映する。この結果、ストロークがIで操作された場所(図2(c)の中央)に戻る。
4.通信管理システムがIIの操作データの応答を電子黒板に送信する。
(ア) 電子黒板は仮反映の操作データを本反映する。この結果、ストロークがIIで操作された場所(図2(c)の右)に移動する。
このように通信管理システムからの応答が遅れた場合(gidが帰る前に連続して操作された場合)、ストロークはユーザーが意図した通りに表示されない(ストロークが元の位置に戻ってから、再度、移動先に移動するようにみえる)。
このような現象を抑制するため、電子黒板は、電子黒板に仮反映した操作データを送信する前に、その操作データの対象のオブジェクトがすでに送信済みの操作データに含まれているか確認する(つまり、gidを受信していない応答待ちの操作データに含まれているかを確認する)。含まれている場合、電子黒板は仮反映した操作データを通信管理システムに送信しない(送信待ちのリストに追加しておく)。仮反映した操作データのgidが帰ってきたら、時間的に次の操作データを通信管理システムに送信する、という方法を採用している。したがって、最終的な操作が本反映されるまでに時間がかかることになる。
以下、図3~図6では、仮反映と本反映を前提として通信システム100が共有するデータの流れを説明する。
図3は、複数の拠点でストロークが共有される場合のデータの流れを説明する図である。
(i) ユーザーはストロークAを移動する。
(ii) 電子黒板1aは操作データA(操作内容、操作対象のオブジェクトのid)を生成し、自身に仮反映する。仮反映により、ストロークAは移動する。
(iii) 電子黒板1aは操作データAを通信管理システム5に送信する。
(iv) 通信管理システム5は受信した操作データAに対し、gidを採番する。
(v) 通信管理システム5は電子黒板1aを含む、同じ会議に参加中の全ての電子黒板1bに対し、操作データA(gidを含む)を送信する。
(vi) 各電子黒板1は受信した操作データAをgidの順序に従い本反映する。本反映により、操作データAが再度、電子黒板1aに反映される。
図4は、他拠点が起点となってストロークが操作された場合のデータの流れを説明する図である。
(i) 電子黒板1bは操作データB(操作内容、操作対象のオブジェクト)を生成し、自身に仮反映する。電子黒板1bは操作データBを通信管理システム5に送信する。
(ii) 通信管理システム5は受信した操作データBに対し、gidを採番する。
(iii) 通信管理システム5は電子黒板1bを含む、同じ会議に参加中の全ての電子黒板1aに対し、操作データB(gidを含む)を送信する。
(iv) 各電子黒板1は受信した操作データBをgidの順序に従い本反映する。電子黒板1aは操作データBを仮反映していないので、本反映により初めて操作データBによりストロークBを表示する。
図5は、拠点が自拠点のみの場合のデータの流れを説明する図である。
(i) ユーザーはストロークCを移動する。
(ii) 電子黒板1aは操作データC(操作内容、操作対象のオブジェクト)を生成し、自身に仮反映する。
(iii) 電子黒板1aは操作データCを通信管理システム5に送信する。
(iv) 通信管理システム5は受信した操作データCに対し、gidを採番する。
(v) 通信管理システム5は電子黒板1aに操作データC(gidを含む)を送信する。
(vi) 電子黒板1aは受信した操作データCをgidの順序に従い本反映する。
図6は、電子黒板の操作が通信管理システム5で拒否された場合のデータの流れを説明する図である。
(i) ユーザーはストロークDを移動する。
(ii) 電子黒板1aは操作データD(操作内容、操作対象のオブジェクト)を生成し、自身に仮反映する。
(iii) 電子黒板1aは操作データDを通信管理システム5に送信する。
(iv) 通信管理システム5は受信した操作データDを拒絶する。拒絶される場合とは、例えば、操作データDが破損しているような場合である。
(v) 通信管理システム5は電子黒板1aに操作データDが拒絶された旨を送信する。
(vi) 電子黒板1aは操作が拒絶されたので、受信した操作データDを元に戻す(この場合、ストロークDは移動前の場所に戻って表示される)。
<送信待ちの操作データのリスト>
続いて、本実施形態の技術と比較される比較技術について説明する。比較技術は公知技術や従来技術とは限らないことに注意されたい。比較技術では、図2で説明したように、同じストロークをユーザーが続けて操作した場合、前の操作データの本反映が完了した後で、電子黒板1が次の操作データを通信管理システム5に送信する。その結果、ユーザーがストロークの位置調整などで同じストロークを連続で複数回操作した場合に送信待ちの操作データが滞留し、最終的な操作が本反映されるまでに時間がかかる。
図7は、ユーザーがストロークAを連続で移動した場合の送信待ちデータを示す。図7では、7つの操作データが送信待ちになっている。図7のようにユーザーが連続でストロークAを動作させると、以下のような順序で処理される。図7の送信待ちの操作データのリストはキュー構造になっており、一つの操作データのgidを電子黒板1が受信した場合に電子黒板1が次のデータを送信する。図2で説明したように、ユーザーが意図した通りに電子黒板1を動作させるためである。
1.電子黒板がNo.1の操作データを仮反映して、通信管理システム5に送信する。
2.通信管理システム5はNo.1の操作データのgidを採番し、電子黒板1に送信する。
3.電子黒板1がNo.1の操作データを本反映する。
4.電子黒板1がNo.2の操作データを仮反映し、通信管理システム5に送信する。
5.通信管理システム5はNo.2の操作データのgidを採番し、電子黒板1に送信する。
6.電子黒板1はNo.2の操作データを本反映する。
・・・
N-2.電子黒板1はNo.7の操作データ仮反映し、通信管理システム5に送信する。
N-1.通信管理システム5はNo.7の操作データのgidを採番し、電子黒板1に送信する。
N. 電子黒板1はNo.7の操作データを本反映する。
このように、電子黒板1と通信管理システム5の間のネットワーク帯域が狭い場合、No.7の操作データが電子黒板に反映されるまでに多くの時間を要する。
<本実施形態の通信システムの処理>
次に、図8を参照して、本実施形態の電子黒板1が操作データを処理する方法を説明する。本実施形態の電子黒板1は、通信管理システム5に送信前の操作データのうち、同じオブジェクトに対する操作は最終的なものだけを反映する。ユーザーが望んでいるのは最終的な位置を確定させ、遠隔地と共有することであるので、途中の操作を省略しても不都合は少ない。
このため、電子黒板1は、ユーザーが新たな操作を入力した際、送信待ちの操作データの中に同じオブジェクトに対する操作データが登録されている場合、送信待ち操作データを、最新の操作データで置き換える。一例として、ストロークAへの操作データが送信待ちの場合にユーザーがストロークAを再度操作する場合を説明する。
図8は送信待ちの操作データ、ユーザーの操作データ等を示す。図8(a)のような、ストロークAを移動する送信待ちの操作データがあるとする。ユーザーが新たにストロークAを操作し、図8(b)のような操作データが、送信待ちのリストに追加されるとする。
比較技術では、送信待ちデータのNo.2に図8(b)の操作データが追加される。その場合、No.1の操作データが通信管理システム5に送信され、通信管理システム5からgidが戻ってきてから、電子黒板1はNo.2の操作データを通信管理システム5に送信する。そのため、No.2の操作データの本反映までに時間がかかってしまう。
本実施形態では、この課題を以下のように解決する。ユーザーが電子黒板1に反映したいのは、追加された最後のユーザー操作であるため、送信待ちのNo.1の操作データは通信管理システム5が他の電子黒板に反映させる(gidを採番する)必要がない。
そこで、電子黒板1は送信待ちのNo.1の操作データの内容とユーザーが追加した最新の操作データを入れ替える。図8(c)は、順番が入れ替えられた送信待ちの操作データを示す。送信待ちされていたNo.1の操作データは通信管理システム5に送信されないので、ユーザーの操作を電子黒板1がより早期に本反映することができる。送信待ちの操作データが複数ある場合は生じないが、仮にある場合、電子黒板は、最新の操作データのみを送信待ちのリストに登録し、それ以外は削除してよい。
なお、電子黒板1は、通信管理システムに操作データを送信してgid待ちの操作データであっても、最新の操作データに置き換えてよい。通信管理システムからgidと共に操作データが電子黒板1に送信されるので、電子黒板1は本反映すればよいためである。
〔通信システムの概略〕
<通信ルート>
まず、図9を用いて、複数の電子黒板1b,1b間で描画しながらビデオ会議を行うための通信システム100について説明する。図9は、本実施形態の通信ルートを示した概略図である。なお、「ビデオ会議」ではなく「テレビ会議」と呼ばれる場合もある。また、ここでは、一例として、ビデオ会議について説明するが、打ち合わせや単なる会話等であってもよい。
通信システム100は、複数の電子黒板1a,1b、中継装置3、通信管理システム5、及び画像保存装置7によって構築されている。電子黒板1a,1bは、通話用の映像データ及び音データ、並びに、共有用の画像データ及びストロークデータ等のコンテンツデータの相互通信を行う。なお、ストロークデータは、ストローク画像を再生(再現)するために必要なデータであり、座標データ、線の幅データ、線の色データ、ベクトルデータ等が含まれる。電子黒板1a,1bは、通話用の映像データ及び音データの送受信により、相手側の映像及び音を再生することで、遠隔ビデオ通話が可能となる。
電子黒板1a,1bは、共有用の資料画像の画像データを送受信することにより、通信システム100を利用する参加者が、同じ資料画像を共有することができる。資料画像は、電子黒板1のディスプレイに表示される画像であり、会議の資料、ディスプレイに表示される背景画像、ディスプレイ画面をキャプチャされた場合のキャプチャ画面等の画像である。また、電子黒板1a,1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システム100を利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等で手書きストロークにより描画された線等を示す画像である。ストローク画像は、ディスプレイ上の座標を特定する点を示すストロークデータによって表示される。
なお、通信システム100は、2つの電子黒板1a,1bに限らず、3つ以上の電子黒板によって構築されてもよい。以降、電子黒板1b,1bの総称を示す場合は、「電子黒板1」と示す。
図9では、電子黒板1a,1bの一例としてビデオ会議機能が搭載された電子黒板が示されている。なお、映像データの画像は、動画であっても静止画であってもよい。
また、ビデオ会議の開始を要求する要求元としての電子黒板は「開始端末」と表され、要求先である宛先(中継先)としての電子黒板は「宛先端末」と表されている。図9では、電子黒板1aが開始端末として、電子黒板1bが宛先端末として表されている。但し、電子黒板1bからビデオ会議の開始を要求する場合は、電子黒板1bが開始端末となり、電子黒板1aが宛先端末となる。なお、各電子黒板1b,1bは、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内又は屋外と屋外での通信で使われてもよい。
中継装置3は、コンピュータによって構成され、複数の電子黒板1b,1b間で、通話用のコンテンツデータを中継する処理を行う。
通信管理システム5は、コンピュータによって構成され、電子黒板1b,1bからのログイン認証、電子黒板1b、1bの通信状況の管理、宛先リストの管理、及び中継装置3の通信状況等を一元的に管理する。また、通信管理システム5は、複数の電子黒板1b,1b間で、共有用のストロークデータを中継する。
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の資料画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。即ち、画像保存装置7は、電子黒板1bからアップロードされた画像データを保存して、電子黒板1aにダウンロードする。
なお、中継装置3、通信管理システム5及び画像保存装置7は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
また、通信システム100において、電子黒板1a,1bとの間では、通信管理システム5を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、電子黒板1a,1bとの間では、中継装置3を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音データの4つの各データを送受信するための4つのセッションが確立される。図9では、これら4つのセッションをまとめて、画像・音データ用セッションsedとして示している。なお、画像・音データ用セッションsedは、必ずしも4つのセッションである必要はなく、4つのセッション数より少ない又は多いセッション数であってもよい。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、通信セッションを確立してもよい。
更に、通信システム100において、電子黒板1a,1bとの間では、管理情報用セッションseiを利用して、ストロークデータの送受信を行うことができる。
ここで、本実施形態で扱われる映像データの映像の解像度について説明する。低解像度の映像データは、例えば、横が160画素、縦が120画素から成り、ベース画像となる。中解像度の映像データは、横が320画素、縦が240画素から成る。高解像度の映像データは、例えば、横が640画素、縦が480画素から成る。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の映像データのみから成る低画質の映像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の映像データ、及び中解像度の映像データから成る中画質の映像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の映像データ、中解像度の映像データ、及び高解像度の映像データから成る高画質の映像データが中継される。音データは、映像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。
<電子黒板の使用イメージ>
図10は、電子黒板の使用イメージ図である。電子黒板1は、図10に示されているように、電子黒板1は、下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、及び本体153の前面に設けられたディスプレイ180によって構成されている。本体153には、後述のCPU101等が内蔵されている。そして、利用者は、電子ペン190を用いて、ディスプレイ180に文字等のストローク画像を入力(描画)することができる。
〔ハードウェア構成〕
次に、本実施形態のハードウェア構成を説明する。
<電子黒板のハードウェア構成>
図11は、電子黒板のハードウェア構成図である。図11に示されているように、電子黒板1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F105、及び、外部機器接続I/F(Interface)106を備えている。
これらのうち、CPU101は、電子黒板1全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。SSD104は、電子黒板用のプログラム等の各種データを記憶する。ネットワークI/F105は、通信ネットワークNとの通信を制御する。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ130、外付け機器(マイク140、スピーカ150、カメラ160)である。
また、電子黒板1は、キャプチャデバイス111、GPU112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、及び近距離通信回路119のアンテナ119a、電源スイッチ122及び選択スイッチ類123を備えている。
これらのうち、キャプチャデバイス111は、外付けのPC(Personal Computer))170のディスプレイに対して映像情報を静止画又は動画として表示させる。GPU(Graphics Processing Unit)112は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ180等へ出力するために画面表示の制御及び管理を行う。接触センサ114は、ディスプレイ180上に電子ペン190やユーザーの手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。接触センサ114は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ180の上側両端部に設置された2つ受発光装置が、ディスプレイ180に平行して複数の赤外線を放射し、ディスプレイ180の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。電子ペンコントローラ116は、電子ペン190と通信することで、ディスプレイ180へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ122は、電子黒板1の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類123は、例えば、ディスプレイ180の表示の明暗や色合い等を調整するためのスイッチ群である。
更に、電子黒板1は、バスライン110を備えている。バスライン110は、図11に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ116が、電子ペン190のペン先及びペン尻だけでなく、電子ペン190のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
<通信管理システム、中継装置、及び画像保存装置のハードウェア構成>
図12は、本実施形態に係る通信管理システム5のハードウェア構成図である。通信管理システム5の一例としてのコンピュータは、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk ReWritable)ドライブ514、メディアI/F516、及び、バスライン510を備えている。
これらのうち、CPU501は、通信管理システム5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、通信管理用プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。ネットワークI/F509は、インターネット等の通信ネットワークNを利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD-RWドライブ514は、DVD-RWに対するデータの読み出し又は書き込み(記憶)を制御する。なお、DVD-RWドライブでなく、BD-RE(Blu-ray(登録商標)Disc Rewritable)等のディスクに対するデータの読み出し又は書き込み(記憶)を制御してもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出し又は書き込み(記憶)を制御する。
また、バスライン510は、図12に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、図9に示されている中継装置3及び画像保存装置7のハードウェア構成は、通信管理システム5のハードウェア構成と同様であるため、その説明を省略する。但し、中継装置3の場合は、HD504に中継用プログラムが記憶されている。また、画像保存装置7の場合は、HD504に画像保存用プログラムが記憶されている。
〔通信システムの全体構成〕
続いて、図13を用いて、通信システム100の全体構成について説明する。図13は、本発明の実施形態に係る通信システム100の全体構成図である。
図13において、電子黒板1aは拠点A、電子黒板1bは拠点Bに設置されている。例えば、拠点Aは日本の東京事業所で、拠点Bは日本の大阪事業所である。拠点Aでは利用者A1が電子黒板1aを利用し、拠点Bでは利用者B1,B2が電子黒板1bを利用している。
更に、電子黒板1a,1b、中継装置3、通信管理システム5、及び画像保存装置7は、インターネット等の通信ネットワークNを介してデータの相互通信を行うことができる。なお、通信ネットワークNには、無線通信部分が含まれてもよい。
なお、図13では、電子黒板1a,1bは、ともに映像通信可能な電子黒板である。
〔通信システムの機能構成〕
次に、図14乃至図20を用いて、本実施形態の機能構成について説明する。図14は、本実施形態に係る通信システム100の各機能ブロック図である。
<電子黒板1aの機能構成>
図14に示されているように、電子黒板1aは、送受信部11a、受付部12a、映像・音処理部13a、表示制御部14a、判断部15a、画像処理部17a、近距離通信部18a、送信情報管理部21a、及び記憶・読出処理部19aを有している。これら各部は、図11に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能、又は機能する手段である。また、電子黒板1aは、図11に示されているRAM103、及び図11に示されているフラッシュメモリ104によって構築される記憶部1000aを有している。
(操作データのリストテーブル)
図15は、操作データのリストテーブルを示す概念図である。記憶部1000aには、図15に示されているような操作データのリストテーブルによって構成されている操作データ記憶部1001が構築されている。この操作データのリストテーブルでは、No、対象オブジェクト、操作内容、操作後の位置、及び、操作のgidが関連付けられて管理される。Noは送信順を表しており、操作データはこの順番に通信管理システム5に送信される。対象オブジェクトは操作の対象のオブジェクトの識別情報である。操作内容は、具体的にどのような操作が行われたかを示す。操作後の位置はオブジェクトの位置を示す。操作のgidは通信管理システム5から通知された操作のグローバルIDである。グローバルとは各拠点の電子黒板1において共通という意味である。操作のgidを除いて、受付部12aがオブジェクトへの操作を受け付けた場合に登録される。操作のgidは、通信管理システム5からgidが送信されると登録される。したがって、操作のgidを除く各項目が登録されてから操作のgidが登録されるまでが仮反映の状態である。操作のgidが登録されると本反映の状態となる。
厳密には、操作データのリストテーブルに登録されている各操作データは、gidが通知されること(所定の処理の実行)で消去される。本反映された操作データは別の操作履歴テーブルに転記されるので操作内容は維持される。しかし、図15では説明のため、操作のgidが登録された状態が表示されている。したがって、電子黒板1は最新の操作データと同じ対象オブジェクトが操作データ記憶部1001に登録されているかどうかを判断すればよい。
(電子黒板1aの各機能構成)
次に、電子黒板1aの各構成要素について説明する。送受信部11aは、通信ネットワークNを介して他の端末、装置又はシステムと各種データ(又は情報)の送受信を行う。また、送受信部11aは、開始部としての役割も果たし、電子黒板1b等の他の通信端末と通信を開始する処理を行う。受付部12aは、利用者から電子ペン190等による各種入力を受け付ける。
映像・音処理部13aは、ビデオ会議機能の主な処理を行う。例えば、映像・音処理部13aは、マイク140の出力信号及びカメラ160の出力信号に共づき、映像データ及び音データのエンコード等のデジタル処理を行う。また、映像・音処理部13aは、送受信部11aで受信された映像データ及び音データに基づき、映像信号を生成したり音信号を生成したりする。映像・音処理部13a、解像度の異なる映像データを組み合わせる処理を行う。
表示制御部14aは、ディスプレイ180に映像信号(画像信号)等を出力するための制御を行う。判断部15aは、各種判断を行う。
画像処理部17aは、電子黒板機能の主な処理を行う。例えば、画像処理部17aは、受付部12aによって受け付けられた電子ペン190等のストロークに基づいてストローク画像及びストロークデータを作成したり、送受信部11aによって受信されたストロークデータに基づいてストローク画像を作成したりする。また、画像処理部17aは、送受信部11aで受信された資料画像の画像データに基づき、画像信号を生成する。
送信情報管理部21aは、通信管理システム5に送信する操作データのリストテーブルを記憶部1000aで管理する。また、操作データのリストテーブルに登録されている操作データと、ユーザーが新たに操作した操作データが同じオブジェクトに対するものか否かを判断する。同じ場合は、操作データのリストテーブルの操作データをユーザーが新たに操作した操作データ(最新の操作データ)で置き換える。
近距離通信部18aは、近距離通信部を有する各端末との間で、近距離無線通信により、データの取得及び提供を行う。
記憶・読出処理部19は、記憶部1000又はUSBメモリ130等の記録媒体1010に各種データを記憶したり、記憶部1000又は記録媒体1010に記憶された各種データを読み出したりする処理を行う。
更に、記憶部1000には、他の端末との通信を行う際に受信される映像データ及び音データが、受信される度に上書き記憶される。このうち、上書きされる前の映像データによってディスプレイ180に画像が表示され、上書きされる前の音データによってスピーカ150から音声が出力される。
<電子黒板1bの機能構成>
図14に示されているように、電子黒板1bは、送受信部11b、受付部12b、映像・音処理部13b、表示制御部14b、判断部15b、画像処理部17b、近距離通信部18b、送信情報管理部21b、及び記憶・読出処理部19bを有している。送受信部11b、受付部12b、映像・音処理部13b、表示制御部14b、判断部15b、画像処理部17b、近距離通信部18b、及び記憶・読出処理部19bは、それぞれ、送受信部11a、受付部12a、映像・音処理部13a、表示制御部14a、判断部15a、画像処理部17a、近距離通信部18a、送信情報管理部21a、及び記憶・読出処理部19aと同様の機能を有しているため、これらの説明を省略する。
<中継装置の機能構成>
図14に示されているように、中継装置3は、転送部を兼ねた送受信部31、判断部35、及び記憶・読出処理部39を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開された中継用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、中継装置3は、図12に示されているRAM503、HD504によって構築される記憶部3000を有している。
(中継装置の各機能構成)
次に、中継装置3の各機能構成について詳細に説明する。図14に示されている中継装置3の送受信部31は、通信ネットワークNを介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。また、送受信部31は、転送部としての役割も果たし、所定の端末ら送信されて来た映像データ及び音データを、他の端末に転送する。判断部35は、データの遅延状態等の判断等の各種判断を行う。
記憶・読出処理部39は、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出したりする処理を行う。
<通信管理システムの機能構成>
図14に示されているように、通信管理システム5は、送受信部51、認証部52、生成部53、選択部54、判断部55、操作データ管理部56、及び記憶・読出処理部59を有している。これら各部は、図14に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、通信管理システム5は、図12に示されているHD504により構築される記憶部5000を有している。
(認証管理テーブル)
図16は、認証管理テーブルを示す概念図である。記憶部5000には、図16に示されているような認証管理テーブルによって構成されている認証管理DB5001が構築されている。この認証管理テーブルでは、通信管理システム5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、図16に示されている認証管理テーブルにおいて、電子黒板1aの端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。なお、パスワードは認証情報の一例であり、認証情報にはアクセストークンも含まれる。端末IDは通信端末を識別する識別情報であるが、ユーザー等を識別する機能も有している。通信IDと呼ばれる場合もある。メールアドレスで代用してもよい。
(端末管理テーブル)
図17は、端末管理テーブルを示す概念図である。記憶部5000には、図17に示されているような端末管理テーブルによって構成されている端末管理DB5002が構築されている。この端末管理テーブルでは、各電子黒板1を識別するための端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理システム5で受信された受信日時、及び各電子黒板1のIPアドレスが関連付けられて管理される。例えば、図17に示されている端末管理テーブルにおいて、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「ONライン(通信可能)」で、通信管理システム5でログイン要求情報が受信された日時が「2015年4月10日の13時40分」で、この端末1aaのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名、及び端末のIPアドレスは、各電子黒板1が、通信管理システム5によるサービスの提供を受けるために事前登録する際に記憶される。
(宛先リスト管理テーブル)
図18は、宛先リスト管理テーブルを示す概念図である。記憶部5000には、図18に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5003が構築されている。この宛先リスト管理テーブルでは、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、図18に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補は、端末IDが「01ba」の電子黒板1b等であることが示されている。この宛先端末の候補は、任意の開始端末から通信管理システム5に対する追加又は削除の要請により、追加又は削除されることで更新される。
なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、端末ID等の宛先に関する情報が羅列されていてもよい。
(セッション管理テーブル)
図19は、セッション管理テーブルを示す概念図である。記憶部5000には、図19に示されているようなセッション管理テーブルによって構成されているセッション管理DB5004が構築されている。このセッション管理テーブルでは、各電子黒板と中継装置3との間で相互通信を行うためのセッションを識別するための通信セッションID毎に、使用される中継装置3の中継装置ID、電子黒板1(開始端末)の端末ID、電子黒板1(宛先端末)の端末ID、宛先端末において映像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間が示されている遅延情報を宛先端末から送られて来て通信管理システム5で受信された受信日時が関連付けられて管理される。例えば、図19に示されているセッション管理テーブルにおいて、セッションID「se01」を用いて実行された通信セッションで、中継装置(中継装置ID「111a」)は、端末IDが「01aa」の電子黒板と、端末IDが「01db」の電子黒板との間で、映像データ及び音データを中継しており、電子黒板(宛先端末)において「2015年4月10日の13時41分」時点における映像データの遅延時間が200(ms)であることが示されている。
(中継装置管理テーブル)
図20は、中継装置管理テーブルを示す概念図である。記憶部5000には、図20に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5005が構築されている。この中継装置管理テーブルでは、複数の中継装置3中継装置ID毎に、各中継装置3の稼動状態、稼動状態が示される状態情報が通信管理システム5で受信された受信日時、中継装置3のIPアドレス、及び、中継装置3における最大データ伝送速度(Mbps)が関連付けられて管理される。例えば、図20に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置3は、稼動状態が「ONライン」で、通信管理システム5で状態情報が受信された日時が「2014年4月10日の13時30分」で、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。
(操作データ管理テーブル)
図21は、操作データ管理テーブルを示す概念図である。記憶部5000には、図21に示されているような操作データ管理テーブルによって構成されている操作データ管理DB5006が構築されている。この操作データ管理テーブルでは、操作のgid、操作内容、操作後の位置、及び、対象オブジェクト(id)が関連付けられて管理される。各項目の内容は図15の操作データのリストテーブルと同様でよい。一方、操作データ管理テーブルには各電子黒板の操作データが登録される。したがって、操作データ管理テーブルでは対象オブジェクト(id)が重複する場合がある。この操作データが各電子黒板1に送信されることで、同じオブジェクトに対する操作を各電子黒板1が共有できる。
(通信管理システムの各機能構成)
図14に示されている通信管理システム5の送受信部51は、通信ネットワークNを介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。
認証部52は、送受信部51を介して受信されたログイン要求に含まれている端末ID及びパスワードを検索キーとし、記憶部5000の認証管理DB5001を検索し、認証管理DB5001に同一の組の端末ID及びパスワードが管理されているかを判断することによって認証を行う。生成部53は、電子黒板1からの通信開始要求(S62参照)に基づき、通信セッションを識別するためのセッションIDを生成する。選択部54は、複数の中継装置3から最終的に1つの中継装置3を選択する処理を行う。判断部55は、各種判断を行う。操作データ管理部56は、各電子黒板1から送信される操作データのgidを採番し、操作データを同じ会議に参加している全ての電子黒板1に送信する。記憶・読出処理部59は、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出したりする処理を行う。
<画像保存装置の機能構成>
図14に示されているように、画像保存装置7は、送受信部71、及び記憶・読出処理部79を有している。これら各部は、図14に示されている各構成要素のいずれかが、HD504からRAM503上に展開された画像保存用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、画像保存装置7は、図12に示されているRAM503、HD504によって構築される記憶部7000を有している。
(画像保存装置の各機能構成)
次に、画像保存装置7の各機能構成について詳細に説明する。図14に示されている画像保存装置7の送受信部71は、通信ネットワークNを介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。記憶・読出処理部79は、記憶部7000に各種データを記憶したり、記憶部7000に記憶された各種データを読み出したりする処理を行う。
〔実施形態の処理又は動作〕
次に、図22乃至図27を用いて、本実施形態に係る通信システム100における処理又は動作を説明する。
<遠隔通信の準備段階の処理>
まず、図22及び図23を用いて、ログイン要求端末としての電子黒板1aが行う通信の準備処理を説明する。なお、図22は、電子黒板間で遠隔通信を開始する準備段階の処理を示したシーケンス図である。図23は、電子黒板1aで表示される宛先リストの画面例である。なお、電子黒板1bがログイン共有を行う処理も電子黒板1aの処理と同様であるため、説明を省略する。
まず、電子黒板1aで電源スイッチ122がONされると、受付部12aが、電源ONを受け付ける(ステップS22)。
次に、送受信部11aは、通信ネットワークNを介して通信管理システム5に、ログイン認証の要求を示すログイン要求情報を送信する(ステップS23)。このログイン要求情報には、電子黒板1aの端末ID及びパスワードが含まれている。
次に、通信管理システム5の記憶・読出処理部59は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、認証管理テーブル(図16参照)を検索し、同一の端末ID及び同一のパスワードが管理されているかを判断することによって端末の認証を行う(ステップS24)。ここでは、記憶・読出処理部59によって、同一の端末ID及び同一のパスワードが管理されているものとして、続けて説明する。
記憶・読出処理部59によって、同一の端末ID及び同一のパスワードが管理されているものとして、正当な利用権限を有する端末からのログイン要求であると判断された場合には、記憶・読出処理部59は、端末管理テーブル(図17参照)において、上記ステップS23で受信された端末IDのレコードの稼動状態のフィールド部分を「ONライン(通信可能)」に変更すると共に、受信日時のフィールド部分に上記ステップS23によってログイン要求情報が受信された受信日時を記憶する(ステップS25)。これにより、端末管理テーブルには、端末ID「01aa」に、稼動状態「オンライン(通信可能)」、受信日時「2015.4.10.13:40」及びIPアドレス「1.2.1.3」が関連付けて管理されることになる。なお、端末のIPアドレスは、事前に登録されているのではなく、上記ステップS23で電子黒板1aから送信されるようにしてもよい。
次に、記憶・読出処理部59は、上記ステップS23によって受信された電子黒板1aの端末IDを含む新しいレコードを、セッション管理テーブル(図19参照)で追加して管理する(ステップS26)。そして、通信管理システム5の送受信部51は、上記ステップ24の処理によって得られた認証結果が示された認証結果情報を、通信ネットワークNを介して、上記ログイン要求してきた電子黒板1aに送信する(ステップS27)。
ログイン要求端末(電子黒板1a)の送受信部11aが、正当な利用権限を有する端末であると判断された結果が示された認証結果情報を受信すると、送受信部11aが通信ネットワークNを介して通信管理システム5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS28)。これにより、通信管理システム5の送受信部51は、宛先リスト要求情報を受信する。
次に、記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図18参照)を検索し、ログイン要求端末(電子黒板1a)と通信することができる宛先候補の端末IDを読み出すと共に、この端末IDに対応する宛先名を端末管理テーブル(図17参照)から読み出す(ステップS29)。ここでは、ログイン要求端末(電子黒板1a)の端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。
次に、通信管理システム5の送受信部51は、記憶・読出処理部59を介して記憶部5000から宛先リスト枠のデータ及び稼動状態を示すアイコンのデータを読み出す(ステップS30)と共に、この宛先リスト枠及びアイコン並びに記憶・読出処理部59によって読み出された端末ID及び宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、ログイン要求端末(電子黒板1a)に送信する(ステップS31)。これにより、ログイン要求端末(電子黒板1a)では、送受信部11aが宛先リスト情報を受信し、記憶・読出処理部19aが記憶部1000aへ宛先リスト情報を記憶する(ステップS32)。このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理システム5が全ての端末の宛先リスト情報を一元管理している。よって、通信システム100に新たな電子黒板が含まれるようになったり、既に含まれている端末に替えて新機種の端末を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、通信管理システム5側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。
また、通信管理システム5の記憶・読出処理部59は、上記の読み出した宛先候補の端末IDを検索キーとして、端末管理テーブル(図17参照)を検索し、上記端末ID毎に、対応する稼動状態を読み出すことで、宛先候補としての電子黒板の各稼動状態を取得する(ステップS33)。
次に、送受信部51は、上記ステップS33で使用された検索キーとしての端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワークNを介してログイン要求端末(電子黒板1a)に送信する(ステップS34)。
次に、ログイン共有端末(電子黒板1a)の記憶・読出処理部19aは、順次、通信管理システム5から受信した端末の状態情報を記憶部1000aに記憶する(ステップS35)。よって、ログイン要求端末(電子黒板1a)は、上記各電子黒板の状態情報を受信することで、ログイン要求端末(電子黒板1a)と通信することができる宛先候補である電子黒板1b等の現時点のそれぞれの稼動状態を取得することができる。
次に、ログイン要求端末(電子黒板1a)の表示制御部14aは、記憶部1000aに記憶されている宛先リスト情報、及び端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成すると共に、表示制御部14aが、電子黒板1aのディスプレイ180に対して、図23に示されている宛先リスト画面1100を表示する(ステップS36)。この宛先リスト画面1100には、宛先候補毎に、稼動状態を示すアイコン、端末ID、及び宛先名が表示されている。図23では、各端末の稼動状態を示したアイコンが、上から「オフライン」、「オンライン(通信可能)」として表示されている。
一方、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて宛先リスト管理テーブル(図18参照)を検索することにより、ログイン要求端末(電子黒板1a)の端末ID「01aa」を宛先候補として登録している他の端末の端末IDを抽出する(ステップS37)。図18に示されている宛先リスト管理テーブルでは、読み出される他の端末の端末IDは、「01ab」、「01ba」、「01da」等である。
次に、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて端末管理テーブル(図17参照)を検索し、ログイン要求端末(電子黒板1a)の稼動状態を取得する(ステップS38)。
そして、送受信部51は、上記ステップS37で抽出された端末IDに係る端末のうち、端末管理テーブル(図17参照)で稼動状態が「オンライン」となっている端末に、上記ステップS38で取得されたログイン要求端末(電子黒板1a)の端末ID「01aa」と稼動状態「オンライン」が含まれる「端末の状態情報」を送信する(ステップS39)。なお、送受信部51が電子黒板1bに端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル(図17参照)で管理されている電子黒板のIPアドレスを参照する。これにより、ログイン要求端末(電子黒板1a)を宛先候補として通信することができる他の宛先端末のそれぞれに、上記ログイン要求端末(電子黒板1a)の端末ID「01aa」、及び稼動状態「オンライン」を伝えることができる。よって、宛先候補(電子黒板1b等)においても、宛先候補の状態を表示させることができる(ステップS40)。
<遠隔通信の開始処理>
続いて、図24を用いて、電子黒板1aが電子黒板1bに対して遠隔通信を開始する処理を説明する。図24は、遠隔通信を開始する処理を示したシーケンス図である。
まず、要求元端末(電子黒板1a)の利用者が図17に示されている宛先候補(端末ID「01ba」)を押下して電子黒板1bを選択すると、図14に示されている受付部12aは、宛先端末(電子黒板1b)との通話を開始する要求を受け付ける(ステップS61)。そして、要求元端末(電子黒板1a)の送受信部11aは、通信管理システム5に対して、通話を開始したい旨を示す開始要求情報を送信する(ステップS62)。この開始要求情報には、要求元端末(電子黒板1a)の端末ID「01aa」、及び宛先端末(電子黒板1b)の端末ID「01ba」が含まれている。これにより、通信管理システム5の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末(電子黒板1a)のIPアドレスを受信する。
そして、記憶・読出処理部59は、開始要求情報に含まれる要求元端末(電子黒板1a)の端末ID「01aa」及び宛先端末(電子黒板1b)の端末ID「01ba」に基づき、端末管理テーブル(図17参照)において、上記端末ID「01aa」、及び端末ID「01ba」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する(ステップS63)。なお、この状態では、要求元端末(電子黒板1a)、及び宛先端末(電子黒板1b)は、ビデオ会議を開始していないが、通話中状態となり、第3の電子黒板端末が要求元端末(電子黒板1a)又は宛先端末(電子黒板1b)と通話しようとすると、いわゆる通話中状態を示す旨の通知音又は表示が出力される。
次に、実際に利用される中継装置3を選択するためのセッションを実行する処理を説明する。まず、通信管理システム5の生成部53は、中継装置3を選択するためのセッションの実行に用いられるセッションIDを生成する(ステップS64)。ここでは、セッションID「se1」が生成された場合について説明する。
そして、記憶・読出処理部59は、セッション管理テーブル(図19参照)に、上記ステップS64で生成されたセッションID「se1」、要求元端末(電子黒板1a)の端末ID「01aa」、及び宛先端末(電子黒板1b)の端末ID「01ba」を関連付けて記憶して管理する(ステップS65)。
次に、図14に示されている通信管理システム5の選択部54は、中継装置管理テーブル(図20参照)及び端末管理テーブル(図17参照)に基づいて、要求元端末(電子黒板1a)及び宛先端末(電子黒板1b)の2拠点間の通話を中継するための中継装置3の選択を行う(ステップS66)。具体的には、中継装置管理テーブル(図20参照)において稼動状態が「ONライン」の中継装置に係る中継装置IDのうち、端末管理テーブル(図17参照)において要求元端末(電子黒板1a)のIPアドレスに近いIPアドレスの中継装置3に係る中継装置IDが選択される。ここでは、中継装置3(中継装置ID「111a」)が選択された場合について、以降、続けて説明する。
以上のステップS66における中継装置の選択の処理が終了すると、通信管理システム5の送受信部51は、要求元端末(電子黒板1a)に対して、中継装置選択情報を送信する(ステップS67-1)。この中継装置選択情報には、上記ステップS66によって選択された中継装置3のIPアドレス、及び上記ステップS64によって生成されたセッションID「se1」が含まれている。これにより、要求元端末(電子黒板1a)は、中継装置選択情報の送信元である通信管理システム5のIPアドレスを取得することができる。
更に、通信管理システム5の送受信部51は、宛先端末(電子黒板1b)に対して、中継装置選択情報を送信する(ステップS67-2)。この中継装置選択情報には、上記ステップS66によって選択された中継装置3のIPアドレス、要求元端末(電子黒板1a)の端末ID「01aa」、及び上記ステップS64によって生成されたセッションID「se1」が含まれている。これにより、宛先端末(電子黒板1b)は、セッションID「se1」におけるセッションの実行において、中継装置選択情報の送信元である通信管理システム5のIPアドレスを取得することができる。
次に、上記ステップS67-1の処理に対して、要求元端末(電子黒板1a)の送受信部11は、通信管理システム5に対して、上記ステップS67-1の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS68-1)。この受信完了情報には、上記ステップS67-1の処理で送受信されたセッションIDが含まれている。これにより、通信管理システム5は、特定のセッションID「se1」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
更に、上記ステップS67-2の処理に対して、宛先端末(電子黒板1b)は、同様に通信管理システム5へ、上記ステップS67-2の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS68-2)。この場合も、通信管理システム5は、特定のセッションID「se1」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
以上により、電子黒板1a,1bは、上記ステップS66で選択された中継装置3を介して、映像データ及び音データを送受信することで、ビデオ会議を行うことができる。
<資料画像及びストローク画像の通信処理>
続いて、図25乃至図27を用いて、電子黒板1に表示されている資料画像及び入力されたストローク画像の通信処理について説明する。図25及び図26は、資料画像の画像データ及びストローク画像のストロークデータを共有する処理を示したシーケンス図である。ここでは、電子黒板1a,1bで資料画像の画像データ及びストローク画像のストロークデータを共有する場合であって、電子黒板1aで表示された資料画像及び入力されたストローク画像が、電子黒板1bでも表示される場合について説明する。図27のうち、(a)は電子黒板1aの画面例、(b)は電子黒板1bの画面例、(c)は電子黒板1aの画面例、(d)は電子黒板1bの画面例である。
まず、拠点Aの電子黒板1aでは、表示制御部14aによって図27(a)に示されている画面がディスプレイ180上に表示されている。ここでは、資料画像d1、拠点Bの映像v2、資料画像d1を共有する場合に押下される「共有」ボタンb1が表示されている。この状態で、電子黒板1aの利用者aが「共用」ボタンb1を押下すると、受付部12aが利用者aから資料画像の共有処理を受け付ける(ステップS101)。次に、送受信部11aは、通信管理システム5に対して、資料画像の画像データの保存位置を示すURL(Uniform Resource Locator)を要求する旨を示す要求情報を送信する(ステップS102)。これにより、通信管理システム5の送受信部51は、要求情報を受信する。なお、URLは保存位置情報の一例であり、保存位置情報にはURI(Uniform Resource Identifier)も含まれる。
次に、通信管理システム5の生成部53は、資料画像の画像データの保存位置を示すURLを生成する(S103)。そして、送受信部51は、電子黒板1aに対して、生成部53によって生成された画像データのURLを送信する。これにより、電子黒板1aの送受信部11aは、画像データのURLを受信する。
次に、電子黒板1aの送受信部11aは、通信管理システム5に対して、資料画像の画像データのアップロードの開始通知を送信する(ステップS105)。これにより、通信管理システム5の送受信部51は、開始通知を受信する。
次に、送受信部51は、遠隔会議中の相手側の電子黒板1bに対して、開始通知を転送する(ステップS106)。これにより、電子黒板1bの送受信部11bは、開始通知を受信する。電子黒板1bの表示制御部14dは、電子黒板1bのディスプレイ180上に、図27(b)に示されているような画面を表示させる(ステップS107)。ここでは、もともと拠点Aの映像v1及び共有する場合に押下される「共有」ボタンb2が表示されており、ステップS106の開始通知により、資料画像の画像データのダウンロードの時間経過を視覚的に示す砂時計のアイコンc2を表示する出力が行われる。
また、時間経過は、静止画の砂時計によって示したり、砂の動きがある動画の砂時計によって示したりすることができる。また、砂時計のアイコンc2は、画像データをダウンロードする予定である旨を示す予定情報の一例である。予定情報の他の例としては、砂時計以外のアイコン(例えば、時計のアイコン)であっても良いし、アイコンではなく文字(及び/又は「記号」)であってもよいし、アイコンと文字(及び/又は「記号」)の組み合わせであってもよい。また、予定情報は、音による通知であってもよい。この場合、表示制御部14dではなく、映像・音処理部13aによってスピーカ150から音の出力が行われる。
なお、電子黒板1aは、上記ステップS105の処理後に上記ステップS102の処理を行ってもよい。また、通信管理システム5は、上記ステップS105により画像データのアップロード開始通知を受信した後に、上記ステップS104により画像データのURLを送信してもよい。
続いて、電子黒板1aの送受信部11aは、ステップS104で受信した画像保存装置7に係るURLに対して、資料画像の画像データのアップロードを行う(ステップS108)。これにより、画像保存装置7の送受信部71は、画像データを受信する。そして、画像保存装置7の記憶・読出処理部79は、記憶部7000におけるURLに対して、画像データを記憶する(ステップS109)。
続いて、拠点Aでは、利用者A1が、電子ペン190や手Hを電子黒板1aのディスプレイ180上に接触して移動させることで、受付部12aが、移動のストローク(軌跡)の入力を受け付ける(ステップS110)。そして、画像処理部17aがストロークに基づいて、2次元のディスプレイ180上にストローク画像を表示させるためのストロークデータ(例えば、座標データ(x,y))を作成すると共に、表示制御部14aが電子黒板1aのディスプレイ180上にストローク画像を表示させる(ステップS111)。これにより、図27(c)に示されているように、ストローク画像st1が表示される。
送信情報管理部21aは、受付部12aが受け付けた操作データを操作データのリストテーブルに登録するか、又は、リストテーブルの操作データと置き換える(ステップS111-2)。詳細は図28にて説明する。この時点で、No、対象オブジェクト、及び、操作内容、操作後の位置、が登録される。
次に、送受信部11aは、通信管理システム5に対して、ステップS111で作成されたストローク画像を再生するためのストロークデータ(操作データ)を送信する(ステップS112)。
なお、送受信部11aは、仮反映の状態の操作データが操作データのリストテーブルに登録されている場合は、本反映になるまで次の操作データを通信管理システム5に送信しない。本実施形態でも図2で説明した不都合を抑制するため、仮反映の状態の操作データが操作データのリストテーブルに登録されている場合はステップS112-2で置き換えないので、この判断が行われる。
通信管理システム5の送受信部51は、ストローク画像のストロークデータを受信する。そして、通信管理システム5では、記憶・読出処理部59が、ストロークデータを記憶する(ステップS113)。操作データ管理部56はgidを採番する。
送受信部51は、送信元の電子黒板1aに対して、記憶した操作データを送信する(ステップS113-2)。これにより、電子黒板1aはgidを含む操作データを受信し、送信情報管理部21aがidでリストテーブルを検索し、同じidに対応付けて、gidを登録する。
次に、送受信部51は、相手側の電子黒板1bに対して、記憶したストロークデータを転送する(ステップS114)。これにより、電子黒板1bの送受信部11bは、ストロークデータを受信する。そして、電子黒板1bでは、画像処理部17bがストロークデータに基づいてストローク画像を作成し、表示制御部14dが電子黒板1bのディスプレイ180上にストローク画像を表示させる(ステップS115)。これにより、図27(d)に示されているように、相手側の電子黒板1aと同じストローク画像st1が表示される。
続いて、図26に示されているように、画像保存装置7の送受信部71は、電子黒板1aに対して、資料画像の画像データのアップロードが完了した旨を示す完了通知を送信する(ステップS121)。これにより、電子黒板1aの送受信部11aが、完了通知を受信する。
次に、電子黒板1aの送受信部11aが、通信管理システム5に対して、資料画像の画像データのアップロードが完了した旨を示す完了通知を送信する(ステップS122)。この完了通知には、ステップS104で受信された画像データのURLが含まれている。これにより、通信管理システム5の送受信部51は、完了通知を受信する。そして、送受信部51は、相手側の電子黒板1bに対して、URLを含む完了通知を転送する(ステップS123)。これにより、電子黒板1bの送受信部11bは、完了通知を受信する。
次に、電子黒板1bの送受信部11bは、ステップS123で受信した画像保存装置7に係るURLに対して、資料画像の画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS124)。これにより、画像保存装置7の送受信部71は、要求情報を受信する。
次に、画像保存装置7では、記憶・読出処理部79がURLに基づいて、記憶部7000から要求対象である資料画像の画像データを読み出す(ステップS125)。そして、送受信部71が、要求元である電子黒板1bに対して、要求対象である資料画像の画像データを送信する(ステップS126)。これにより、電子黒板1bの送受信部11bは、画像データのダウンロード(受信)を行う。そして、電子黒板1b側では、表示制御部14bが、図27(d)に示されている画面上に、図27(c)に示されている資料画像d1と同じ資料画像を表示させると共に、それまで表示していた砂時計のアイコンc2を非表示にする。
<操作データのリスト管理テーブルへの登録処理>
図25のステップS111-2の処理について詳細に説明する。図28は、電子黒板1aが操作データを操作データのリストテーブルに登録する処理を説明するフローチャート図の一例である。
まず、電子黒板1aの受付部12aがユーザーによる操作データの入力を受け付ける(S201)。
次に、送信情報管理部21aは同じオブジェクトに対する操作データが操作データのリストテーブルに登録されているか否かを判断する(S202)。
ステップS202の判断がNoの場合、送信情報管理部21aは操作データのリストテーブルの最後に操作データを登録する(S203)。
ステップS202の判断がYesの場合、送信情報管理部21aは操作データのリストテーブルにある同じオブジェクトの操作データを、最新の操作データに置き換える(S204)。最新の操作データが操作データのリストテーブルの先頭にある場合、電子黒板1は最新の操作データが操作データのリストテーブルに登録された直後に操作データを通信管理システム5に送信できる。置き換えられた操作データがgid待ちの場合、送信情報管理部21aはリストテーブルの操作データを最新の操作データに置き換えるのでなく最新の操作データを追加する。送受信部11aがgidを受信した場合、受付部12aが受け付けた操作に関する操作データを通信管理システム5に送信する。なお、「置き換える」は「入れ替える」「上書きする」などでもよい。
このようにすることで、最終的な操作データのみが操作データのリストテーブルに追加される。したがって、最終的な操作データが操作の直後に通信管理システム5に送信されるので、電子黒板1は途中の操作データを送信しなくてよく、最終的な結果を早期に表示することができる。
〔実施形態の主な効果〕
以上説明したように、最新の操作データと同じオブジェクトに対する送信待ちの操作データがある場合、電子黒板1は送信待ちの操作データとユーザーが追加した最新の操作データを入れ替える。これにより、最終的な操作でない途中の操作データは通信管理システム5に送信されないので、ユーザーの操作を電子黒板1がより早期に本反映することができる。
<その他の適用例>
上記実施形態では、通信端末の一例として、電子黒板であるオフィス機器について説明したが、これに限るものではない。通信端末の他の例として、PC、スマートフォン、スマートウォッチ、カーナビゲーション端末等が含まれる。更に、通信端末には、医療機器が含まれる。医療機器の場合には、資料画像が患者の画像となる。
また、上記実施形態では、通信システム100によってビデオ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、遠隔診断、又は、一方向での情報の提示に使用されても構わない。
また、図14などの構成例は、電子黒板1、通信管理システム5、中継装置3、及び、画像保存装置7による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。電子黒板1、通信管理システム5、中継装置3、及び、画像保存装置7の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、通信管理システム5は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
更に、通信管理システム5は、開示された処理ステップ、例えば図25、図26等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、通信管理システム5が有する複数の情報処理装置によって実行され得る。また、通信管理システム5は、1つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)や従来の回路モジュール等のデバイスを含むものとする。
1 電子黒板
3 中継装置
5 通信管理システム
7 画像保存装置
100 通信ネットワーク
特開2011-254453号公報 特開2015-70543号公報

Claims (8)

  1. 表示データを表示する通信端末であって、
    前記通信端末に対する操作を受け付ける受付部と、
    前記受付部が受け付けた操作に関する操作データを、所定の処理の対象として、操作の対象の前記表示データの識別情報と共に記憶する操作データ記憶部と、
    前記操作データ記憶部に記憶されている、前記所定の処理が行われていない操作データの対象である前記表示データの識別情報と、前記受付部が操作を受け付けた表示データの識別情報とが同じ場合、前記所定の処理が行われていない前記操作データ記憶部の操作データを前記受付部が受け付けた操作データに置き換える送信情報管理部と、
    を有することを特徴とする通信端末。
  2. 前記送信情報管理部は、前記操作データ記憶部に記憶されている前記所定の処理が行われていない操作データの対象である前記表示データの識別情報と、前記受付部が操作を受け付けた表示データの識別情報とが同じでない場合、前記受付部が受け付けた操作に関する操作データを、前記受付部が操作を受け付けた前記表示データの識別情報と共に前記操作データ記憶部に記憶させることを特徴とする請求項1に記載の通信端末。
  3. 前記操作データ記憶部に記憶されている前記操作データを通信管理システムに送信することで、前記表示データに対する操作を他の通信端末と共有し、
    前記所定の処理として、前記操作データ記憶部に記憶されている前記操作データであって操作の対象の前記表示データの識別情報を含む前記操作データを前記通信管理システムに送信して、前記操作データ及び操作データの識別情報を受信する通信部を有し、
    前記通信管理システムから受信した前記操作データに含まれている前記表示データの識別情報を前記操作データ記憶部で検索し、適合した前記表示データの識別情報に対応付けて前記操作データの識別情報を前記操作データ記憶部に記憶させることを特徴とする請求項1又は2に記載の通信端末。
  4. 前記通信部は、前記受付部が受け付けた操作に関する前記操作データの対象である前記表示データの識別情報と同じ識別情報の前記表示データに対する前記操作データが、前記通信管理システムに送信済みであるが、前記操作データを送信済みの前記表示データの識別情報に対応付けて前記操作データの識別情報が前記操作データ記憶部に記憶されていない場合、
    前記受付部が受け付けた操作に関する前記操作データを前記通信管理システムに送信しないことを特徴とする請求項3に記載の通信端末。
  5. 前記通信部は、前記受付部が受け付けた操作に関する前記操作データの対象である前記表示データの識別情報と同じ識別情報の前記表示データに対する前記操作データの前記識別情報を受信した場合、
    前記受付部が受け付けた操作に関する前記操作データを前記通信管理システムに送信することを特徴とする請求項4に記載の通信端末。
  6. 他の通信端末と通信端末とがネットワークを介して通信し、表示データを共有する通信システムであって、
    前記通信端末は、
    前記通信端末に対する操作を受け付ける受付部と、
    前記受付部が受け付けた操作に関する操作データを、所定の処理の対象として、操作の対象の前記表示データの識別情報と共に記憶する操作データ記憶部と、
    前記操作データ記憶部に記憶されている、前記所定の処理が行われていない操作データの対象である前記表示データの識別情報と、前記受付部が操作を受け付けた表示データの識別情報とが同じ場合、前記所定の処理が行われていない前記操作データ記憶部の操作データを前記受付部が受け付けた操作データに置き換える送信情報管理部と、を有し、
    前記他の通信端末は、
    前記通信端末から受信した前記操作データに基づいて、前記表示データを表示することを特徴とする通信システム。
  7. 表示データを表示する通信端末が行う通信方法であって、
    受付部が、前記通信端末に対する操作を受け付けるステップと、
    前記受付部が受け付けた操作に関する操作データを、所定の処理の対象として、操作の対象の前記表示データの識別情報と共に操作データ記憶部に記憶させるステップと、
    前記操作データ記憶部に記憶されている、前記所定の処理が行われていない操作データの対象である前記表示データの識別情報と、前記受付部が操作を受け付けた表示データの識別情報とが同じ場合、前記所定の処理が行われていない前記操作データ記憶部の操作データを前記受付部が受け付けた操作データに置き換えるステップと、
    を有することを特徴とする通信方法。
  8. 表示データを表示する通信端末に、
    前記通信端末に対する操作を受け付けるステップと、
    受付部が受け付けた操作に関する操作データを、所定の処理の対象として、操作の対象の前記表示データの識別情報と共に操作データ記憶部に記憶させるステップと、
    前記操作データ記憶部に記憶されている、前記所定の処理が行われていない操作データの対象である前記表示データの識別情報と、前記受付部が操作を受け付けた表示データの識別情報とが同じ場合、前記所定の処理が行われていない前記操作データ記憶部の操作データを前記受付部が受け付けた操作データに置き換えるステップと、
    を実行させるプログラム。
JP2020076341A 2020-04-22 2020-04-22 通信端末、通信システム、通信方法、プログラム Active JP7487542B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020076341A JP7487542B2 (ja) 2020-04-22 2020-04-22 通信端末、通信システム、通信方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020076341A JP7487542B2 (ja) 2020-04-22 2020-04-22 通信端末、通信システム、通信方法、プログラム

Publications (2)

Publication Number Publication Date
JP2021174173A JP2021174173A (ja) 2021-11-01
JP7487542B2 true JP7487542B2 (ja) 2024-05-21

Family

ID=78279626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020076341A Active JP7487542B2 (ja) 2020-04-22 2020-04-22 通信端末、通信システム、通信方法、プログラム

Country Status (1)

Country Link
JP (1) JP7487542B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265063A (ja) 2003-02-28 2004-09-24 Canon Inc 情報処理方法および装置
WO2013183212A1 (ja) 2012-06-07 2013-12-12 日本電気株式会社 操作共有コマンド通信制御システムおよび操作共有コマンド通信制御方法
JP2014056455A (ja) 2012-09-13 2014-03-27 Konica Minolta Inc 操作制御方法及び操作制御プログラム並びに操作制御装置
JP2016529634A (ja) 2013-12-24 2016-09-23 ドロップボックス, インコーポレイテッド 複数のデバイス及び複数のユーザにわたるサーバサイドのストレージと断続的なネットワーク接続中のローカルの仮想的な状態を維持するシステム及び方法
WO2017154565A1 (ja) 2016-03-09 2017-09-14 コニカミノルタ株式会社 共同作業システム、編集制御プログラム及び編集制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265063A (ja) 2003-02-28 2004-09-24 Canon Inc 情報処理方法および装置
WO2013183212A1 (ja) 2012-06-07 2013-12-12 日本電気株式会社 操作共有コマンド通信制御システムおよび操作共有コマンド通信制御方法
JP2014056455A (ja) 2012-09-13 2014-03-27 Konica Minolta Inc 操作制御方法及び操作制御プログラム並びに操作制御装置
JP2016529634A (ja) 2013-12-24 2016-09-23 ドロップボックス, インコーポレイテッド 複数のデバイス及び複数のユーザにわたるサーバサイドのストレージと断続的なネットワーク接続中のローカルの仮想的な状態を維持するシステム及び方法
WO2017154565A1 (ja) 2016-03-09 2017-09-14 コニカミノルタ株式会社 共同作業システム、編集制御プログラム及び編集制御方法

Also Published As

Publication number Publication date
JP2021174173A (ja) 2021-11-01

Similar Documents

Publication Publication Date Title
US11146695B2 (en) Communication management system, communication system, communication control method, and recording medium
US11539764B2 (en) Communication management system, communication system, communication management device, image processing method, and non-transitory computer-readable medium
US11394757B2 (en) Communication terminal, communication system, and method of sharing data
JP7373712B2 (ja) 通信端末、通信システム、データ共有方法およびプログラム
JP7400345B2 (ja) 通信端末、通信システム、データ共有方法およびプログラム
US20200296145A1 (en) Communication terminal, communication system, and display control method
US11799925B2 (en) Communication system, communication terminal, and screen sharing method
JP7487542B2 (ja) 通信端末、通信システム、通信方法、プログラム
JP7476548B2 (ja) 通信端末、通信システム、表示方法、及びプログラム
JP2022029341A (ja) 通信システム、通信端末、通信方法、及びプログラム
JP7358934B2 (ja) 通信管理システム、通信システム、通信方法、及びプログラム
JP2020156085A (ja) 通信管理システム、通信システム、通信管理装置、画像処理方法、及びプログラム
JP7476596B2 (ja) 通信端末、方法、プログラム、およびシステム
JP7467986B2 (ja) 通信端末、通信システム、通信方法およびプログラム
JP2021022041A (ja) 通信端末、通信システム、表示制御方法およびプログラム
JP2020149344A (ja) 通信端末、通信システム、表示制御方法およびプログラム
JP7476586B2 (ja) 通信端末、通信システム、画面共有方法およびプログラム
JP7215341B2 (ja) 通信端末、通信システム、表示制御方法およびプログラム
US11636233B2 (en) Communication terminal sharing image data with counterpart communication terminal, system including the same, and method for controlling image capture
JP2022021017A (ja) 通信端末、情報通信システム、通信方法及びプログラム
JP2016195389A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
JP2016195386A (ja) 通信システム、通信方法
JP6736919B2 (ja) 通信端末、通信システム、通信方法、及びプログラム
JP2021190733A (ja) 通信端末、通信システム、通信方法、及びプログラム
JP2016195387A (ja) 通信端末、通信システム、通信方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240422

R150 Certificate of patent or registration of utility model

Ref document number: 7487542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150