JP7373712B2 - 通信端末、通信システム、データ共有方法およびプログラム - Google Patents

通信端末、通信システム、データ共有方法およびプログラム Download PDF

Info

Publication number
JP7373712B2
JP7373712B2 JP2019149693A JP2019149693A JP7373712B2 JP 7373712 B2 JP7373712 B2 JP 7373712B2 JP 2019149693 A JP2019149693 A JP 2019149693A JP 2019149693 A JP2019149693 A JP 2019149693A JP 7373712 B2 JP7373712 B2 JP 7373712B2
Authority
JP
Japan
Prior art keywords
data
communication
information
screen
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019149693A
Other languages
English (en)
Other versions
JP2021033408A (ja
Inventor
寛 日野原
滋 中村
佑一 河崎
将 小笠原
毅史 本間
篤 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019149693A priority Critical patent/JP7373712B2/ja
Priority to US16/989,889 priority patent/US11416202B2/en
Publication of JP2021033408A publication Critical patent/JP2021033408A/ja
Application granted granted Critical
Publication of JP7373712B2 publication Critical patent/JP7373712B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/10Use of a protocol of communication by packets in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、通信端末、通信システム、データ共有方法およびプログラムに関する。
インターネット等の通信ネットワークを介して遠隔地との間で通信する通信システムが普及している。当該通信システムとしては、例えば、遠隔会議を行う会議システムが挙げられる。一般的な会議システムにおいて、遠隔会議を行う当事者の一方が利用する通信端末側で保持または表示中の画像データを、通信ネットワークを介して当事者の他方が利用する通信端末に送信することで、画像データを共有することができる(特許文献1参照)。これにより、実際の会議に近い状態で遠隔地との会議を行うことができる。
また、企業や教育機関、行政機関等における会議等において、ディスプレイに画像を表示させ、この画像の上に、利用者が、文字、数字および図形等のストローク画像を描画する電子黒板等の通信端末が利用されている(特許文献2参照)。このストローク画像は、通信端末が利用者により電子ペンや手でディスプレイ上に接触して移動させることで描いた内容を電子的に変換して、座標データ等のストロークデータを生成することによって描画される。さらに、一方の通信端末でストローク画像が描画された場合、このストローク画像を再生するためのストロークデータが通信ネットワークを介して他方の通信端末に送信されることで、他方の通信端末でも同じストローク画像が表示される。
さらに、表示される画像データである表示データを複数の端末間で共有する場合において、表示データに描画された情報に基づく情報量に応じて、表示データへの情報の描画を抑止する方法も開示されている(特許文献3参照)。
しかしながら、既に他の通信端末を用いた会議が行われており、多くのデータが共有する必要がある場合、会議に途中参加する拠点の通信端末に全てのデータを共有されるまでに時間が掛かる。そのため、従来の方法では、途中参加する通信端末の利用者は、既に行われている会議の内容を迅速に把握することができず、他の通信端末の利用者との円滑なコミュニケーションに支障が生じてしまうという課題があった。
上述した課題を解決すべく、請求項1に係る発明は、他の通信端末との間において画像データ及びストロークデータを共有する通信端末であって、前記他の通信端末との間で共有される前記画像データ及び前記ストロークデータを管理する通信管理装置に対して、前記他の通信端末との遠隔会議への参加を要求する参加要求を送信する送信手段と、前記遠隔会議において前記他の通信端末によって生成された、前記画像データ及び前記ストロークデータにより構成される複数の画面データのうち、前記他の通信端末に表示されている表示画面を構成する画面データを、前記通信管理装置から受信する受信手段と、前記受信された前記画面データに係る表示画面を、表示部に表示させる表示制御手段と、前記参加要求に応じて前記通信管理装置から送信された前記遠隔会議の情報を示す会議情報に基づいて、前記他の通信端末によって生成された複数の画面データのうち、前記他の通信端末に表示されている表示画面を特定するとともに、前記会議情報に含まれる前記表示画面を構成する複数の前記画面データを識別する識別情報に基づいて、共有する画面データの優先度を特定する特定手段と、を備え、前記送信手段は、前記優先度に応じて共有される前記表示画面に対応する画面データの取得を要求するデータ取得要求を、前記通信管理装置に対して送信し、前記受信手段は、前記データ取得要求に応じて前記通信管理装置から送信された前記画面データを受信する、通信端末である。
本発明によれば、遠隔会議に途中参加する通信端末に対して、他の通信端末との間で適切にデータを共有させることで、円滑なコミュニケーションに寄与することができるという効果を奏する。
実施形態に係る通信システムにおける通信ルートの一例を示した概略図である。 実施形態に係る電子黒板の使用イメージについて説明するための図である。 実施形態に係る電子黒板のハードウエア構成の一例を示す図である。 実施形態に係る通信管理装置、中継装置および画像保存装置のハードウエア構成の一例を示す図である。 実施形態に係る通信システムのシステム構成の一例を示す図である。 実施形態に係る通信システムの機能構成の一例を示す図である。 実施形態に係る描画画面情報の一例を概略的に説明するための図である。 実施形態に係る操作情報管理DBに記憶されている操作情報の一例を概略的に説明するための図である。 (A)は実施形態に係る認証管理テーブルの一例を示す概念図であり、(B)は実施形態に係る端末管理テーブルの一例を示す概念図である。 (A)は実施形態に係る宛先リスト管理テーブルの一例を示す概念図であり、(B)は実施形態に係るセッション管理テーブルの一例を示す概念図であり、(C)は実施形態に係る中継装置管理テーブルの一例を示す概念図である。 実施形態に係る描画画面情報管理テーブルの一例を示す概念図である。 電子黒板間で遠隔通信を開始する準備段階の処理の一例を示すシーケンス図である。 電子黒板に表示される宛先リスト画面の一例を示す図である。 遠隔通信を開始する処理の一例を示すシーケンス図である。 実施形態に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。 実施形態に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。 実施形態に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。 実施形態に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。 (A)~(D)電子黒板の間で共有される描画画面の一例を示す図である。 実施形態に係る通信システムにおける途中参加端末に対してデータを共有する処理を示すシーケンス図である。 実施形態に係る通信システムにおける途中参加端末に対してデータを共有する処理を示すシーケンス図である。 実施形態に係る電子黒板における共有データの優先度の特定処理の一例を示すフローチャートである。
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
●通信システムの概略●
●通信ルート
まず、図1を用いて、複数の電子黒板1a,1b間で描画しながらビデオ会議を行なうための通信システムについて説明する。図1は、実施形態に係る通信システムにおける通信ルートの一例を示した概略図である。なお、「ビデオ会議」は、「テレビ会議」、「遠隔会議」等と呼ばれる場合もある。また、「ビデオ会議」「テレビ会議」または「遠隔会議」の会議は、複数の端末の間で画像データおよびストロークデータを共有するセッションの一例である。例えば、画像データおよびストロークデータを共有するセッションは、遠隔授業、遠隔診察、打ち合わせ、単なる会話等を行う、会議以外のセッションであってもよい。また、画像データおよびストロークデータを共有するセッションは、一方向での情報の提示に使用されてもよい。
通信システムは、複数の電子黒板1a,1b、中継装置3、通信管理装置5および画像保存装置7によって構築されている。電子黒板1a,1bは、通話用の画像データおよび音データ、並びに、共有用の画像データおよびストロークデータ等のコンテンツデータの相互通信を行う。ストロークデータには、ストローク画像を再生(再現)するために必要なデータであり、座標データ、線の幅データ、線の色データ、ベクトルデータ等が含まれている。また、ストロークデータは、電子黒板1a,1bによってシリアライズされた文字列として送受信される。電子黒板1a,1bは、通話用の画像データおよび音データの送受信により、相手側の拠点の拠点画像および音を再生することで、遠隔ビデオ通話が可能となる。
電子黒板1a,1bは、共有用の背景画像の画像データを送受信することにより、通信システムを利用する参加者が、同じ背景画像を共有することができる。背景画像は、電子黒板1のディスプレイに表示された画像である。背景画像には、例えば、会議の資料等の電子ファイルがディスプレイ180に表示された資料画像が含まれている。背景画像の画像データは、例えば、JPEG(Joint Photographic Experts Group)等のファイル形式で送受信される。また、電子黒板1a,1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システムを利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等で手書きストロークにより描画された線等を示す画像である。ストローク画像は、ディスプレイ上の座標を特定する点を示すストロークデータによって表示される。
なお、通信システムは、二つの電子黒板1a,1bに限らず、三つ以上の電子黒板によって構築されてもよい。以降、電子黒板1a,1bの総称を示す場合は、「電子黒板1」と示す。また、電子黒板1は、通信機能、描画機能および表示機能等を備える通信端末の一例である。通信端末は、例えば、通信システムに対応するアプリケーションプログラムがインストールされたPC(Personal Computer)、スマートフォン、タブレット端末、スマートウォッチ、カーナビゲーション端末、ゲーム機またはテレプレゼンスロボット等であってもよい。さらに、通信端末は、医療機器であってもよい。医療機器の場合には、背景画像が患者の画像となる。
図1では、電子黒板1a,1bの一例としてビデオ会議機能が搭載された電子黒板が示されている。なお、拠点画像データに係る拠点画像は、動画であっても静止画であってもよい。
また、ビデオ会議の開始を要求する要求元としての電子黒板は「開始端末」と表され、要求先である宛先(中継先)としての電子黒板は「宛先端末」と表されている。図1では、電子黒板1aが開始端末として、電子黒板1bが宛先端末として表されている。ただし、電子黒板1bからビデオ会議の開始を要求する場合は、電子黒板1bが開始端末となり、電子黒板1aが宛先端末となる。なお、各電子黒板1a,1bは、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内または屋外と屋外での通信で使われてもよい。
中継装置3は、コンピュータによって構成され、複数の電子黒板1a,1b間で、通話用のコンテンツデータを中継する処理を行なう。
通信管理装置5は、コンピュータによって構成され、電子黒板1a,1bからのログイン認証、電子黒板1a,1bの通信状況の管理、宛先リストの管理、および中継装置3の通信状況等を一元的に管理する。また、通信管理装置5は、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する。
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の背景画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。すなわち、画像保存装置7は、電子黒板1bからアップロードされた画像データを保存して、電子黒板1aにダウンロードする。
なお、中継装置3、通信管理装置5および画像保存装置7は、それぞれが単一のコンピュータによって構築されてもよいし、各装置の各部(機能または手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。ここで、通信管理装置5と画像保存装置7は、複数の電子黒板1a,1b間で共有されるデータを管理するサーバシステム6を構成する。このサーバシステム6は、通信管理装置5および画像保存装置7の各部(機能または手段)を備える単一のコンピュータによって構成されてもよい。また、画像保存装置7は、通信管理装置5に変わり、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する構成であってもよい。
また、通信システムにおいて、電子黒板1a,1bとの間では、通信管理装置5を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、電子黒板1a,1bとの間では、中継装置3を介して、高解像度の拠点画像データ、中解像度の拠点画像データ、低解像度の拠点画像データ、および音データの四つの各データを送受信するための四つのセッションが確立される。図1では、これら四つのセッションをまとめて、画像・音データ用セッションsedとして示している。なお、画像・音データ用セッションsedは、必ずしも四つのセッションである必要はなく、四つのセッション数より少ないまたは多いセッション数であってもよい。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、通信セッションを確立してもよい。さらに、通信システムにおいて、通信管理装置5が中継装置3の機能を有しており、通信管理装置5を介して電子黒板1a,1bとの間の画像・音データ用セッションsedが確立されてもよい。
さらに、通信システムにおいて、電子黒板1a,1bとの間では、管理情報用セッションseiを利用して、ストロークデータの送受信を行うことができる。
ここで、本実施形態で扱われる拠点画像データの画像の解像度について説明する。低解像度の拠点画像データは、例えば、横が160画素、縦が120画素から成り、ベース画像となる。中解像度の拠点画像データは、横が320画素、縦が240画素から成る。高解像度の拠点画像データは、例えば、横が640画素、縦が480画素から成る。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の拠点画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の拠点画像データ、および中解像度の拠点画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の拠点画像データ、中解像度の拠点画像データ、および高解像度の拠点画像データから成る高画質の画像データが中継される。音データは、拠点画像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。
●電子黒板の使用イメージ
図2は、実施形態に係る電子黒板の使用イメージについて説明するための図である。電子黒板1は、図2に示されているように、電子黒板1は、下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、および本体153の前面に設けられたディスプレイ180によって構成されている。本体153には、後述のCPU101等が内蔵されている。そして、利用者は、電子ペン190を用いて、ディスプレイ180に文字等のストローク画像を入力(描画)することができる。ディスプレイ180は、表示部の一例である。
●ハードウエア構成●
次に、図3および図4を用いて、通信システムを構成する各装置または端末のハードウエア構成について説明する。なお、図3および図4に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
●電子黒板のハードウエア構成
図3は、実施形態に係る電子黒板のハードウエア構成の一例を示す図である。図3に示されているように、電子黒板1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F(Interface)105、および外部機器接続I/F106を備えている。
これらのうち、CPU101は、電子黒板1全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM103は、CPU101のワークエリアとして使用される揮発性のメモリである。SSD104は、電子黒板用のプログラム等の各種データを記憶する大容量の記憶装置である。ネットワークI/F105は、電子黒板1を通信ネットワーク100に接続し、通信を行うための通信インターフェースである。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ130、外付け機器(マイク140、スピーカ150、カメラ160)である。
また、電子黒板1は、キャプチャデバイス111、GPU(Graphics Processing Unit)112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、近距離通信回路119のアンテナ119a、電源スイッチ122および選択スイッチ類123を備えている。
これらのうち、キャプチャデバイス111は、外付けのPC170のディスプレイ等に対して画像データ(画像情報)を静止画または動画として表示させる。GPU112は、グラフィクスを専門に扱う半導体チップ(プロセッサ)である。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ180等へ出力するために画面表示の制御および管理を行う。接触センサ114は、ディスプレイ180上に電子ペン190や利用者の手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。接触センサ114は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ180の上側両端部に設置された二つの受発光装置が、ディスプレイ180に平行して複数の赤外線を放射し、ディスプレイ180の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された二つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。電子ペンコントローラ116は、電子ペン190と通信することで、ディスプレイ180へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ122は、電子黒板1の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類123は、例えば、ディスプレイ180の表示の明暗や色合い等を調整するためのスイッチ群である。
さらに、電子黒板1は、バスライン110を備えている。バスライン110は、図3に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する二つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いてもよい。また、電子ペンコントローラ116が、電子ペン190のペン先およびペン尻だけでなく、電子ペン190の利用者が握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
●通信管理装置、中継装置、および画像保存装置のハードウエア構成
図4は、実施形態に係る通信管理装置、中継装置および画像保存装置のハードウエア構成の一例を示す図である。通信管理装置5の一例としてのコンピュータは、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk ReWritable)ドライブ514、メディアI/F516、およびバスライン510を備えている。
これらのうち、CPU501は、通信管理装置5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM503は、CPU501のワークエリアとして使用される揮発性のメモリである。HD504は、通信管理用プログラム等の各種データを記憶する大容量の記憶装置である。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。ネットワークI/F509は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。DVD-RWドライブ514は、DVD-RW513に対するデータの読み出しまたは書き込み(記憶)を制御する。なお、DVD-RW513は、DVD-R等であってもよい。また、DVD-RWドライブ514は、BD-RE(Blu-ray(登録商標) Disc Rewritable)またはCD-RW(Compact Disc-ReWritable)等のディスクに対するデータの読み出しまたは書き込み(記憶)を制御するブルーレイドライブまたはCD-RWドライブ等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出しまたは書き込み(記憶)を制御する。また、バスライン510は、図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
また、中継装置3は、一般的なコンピュータによって構築されており、図6に示されているように、CPU301、ROM302、RAM303、HD304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、キーボード311、ポインティングデバイス312、DVD-RWドライブ314、メディアI/F316およびバスライン310を備えている。これらは、それぞれ通信管理装置5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RWドライブ514、メディアI/F516、およびバスライン510と同様の構成であるため、説明を省略する。ただし、中継装置3の場合は、HD304に中継用プログラムが記憶されている。
さらに、画像保存装置7は、一般的なコンピュータによって構築されており、図6に示されているように、CPU701、ROM702、RAM703、HD704、HDDコントローラ705、ディスプレイ706、外部機器接続I/F708、ネットワークI/F709、キーボード711、ポインティングデバイス712、DVD-RWドライブ714、メディアI/F716およびバスライン710を備えている。これらは、それぞれ通信管理装置5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RWドライブ514、メディアI/F516、およびバスライン510と同様の構成であるため、説明を省略する。また、画像保存装置7の場合は、HD704に画像保存用プログラムが記憶されている。
また、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD、ブルーレイディスク、SDカード等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、電子黒板1は、本発明に係るプログラムが実行されることで本発明に係るデータ共有方法を実現する。
●通信システムの全体構成●
続いて、図5を用いて、通信システムの全体構成について説明する。図5は、実施形態に係る通信システムのシステム構成の一例を示す図である。
図5において、電子黒板1aは拠点A、電子黒板1bは拠点B、電子黒板1cは拠点Cに設置されている。例えば、拠点Aは日本の東京事業所で、拠点Bは中国の北京事業所、拠点CはアメリカのワシントンD.C.事業所である。拠点Aでは利用者A1が電子黒板1aを利用し、拠点Bでは利用者B1,B2が電子黒板1bを利用し、拠点Cでは利用者C1が電子黒板1cを利用しているものとする。
さらに、電子黒板1a,1b,1c、中継装置3、通信管理装置5、および画像保存装置7は、例えば、インターネットやLAN(Local Area Network)等の通信ネットワーク100を介して、相互にデータの送受信を行なうことができる。なお、通信ネットワーク100には、有線だけでなく、Wi-Fi(登録商標)等の無線による通信が行われる箇所があってもよい。
●通信システムの機能構成●
次に、図6乃至図11を用いて、本実施形態に係る通信システムの機能構成について説明する。図6は、実施形態に係る通信システムの機能構成の一例を示す図である。なお、図6では、図5に示されている各端末、装置およびサーバのうち、後述の処理または動作に関連しているものが示されている。
●電子黒板1の機能構成
まず、図6を用いて、電子黒板1a,1b,1cの機能構成について説明する。なお、電子黒板1a1b,1cが有している機能は同様であるため、ここでは、電子黒板1が有している機能として説明する。電子黒板1は、送受信部11、受付部12、画像・音処理部13、表示制御部14、判断部15、画像処理部16、近距離通信部18および記憶・読出処理部19を有している。これら各部は、図3に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能、または機能する手段である。また、電子黒板1は、図3に示されているRAM103、SSD104またはUSBメモリ130によって構築される記憶部1000を有している。
送受信部11は、図3に示されているCPU101からの命令、およびネットワークI/F105によって実現され、通信ネットワーク100を介して、他の端末、装置またはシステムと各種データ(または情報)の送受信を行う機能である。送受信部11は、例えば、開始部としての役割も果たし、他の電子黒板1と通信を開始する処理を行う。また、送受信部11は、例えば、他の電子黒板との間で、ディスプレイ180に表示させる描画画面データを、通信管理装置5を介して送受信する。送受信部11は、送信手段の一例である。また、送受信部11は、受信手段の一例である。さらに、送受信部11は、通信手段の一例である。受付部12は、図3に示されているCPU101からの命令、並びに接触センサ114および電子ペンコントローラ116によって実現され、利用者から電子ペン190等による各種入力を受け付ける。
画像・音処理部13は、図3に示されているCPU101からの命令によって実現され、ビデオ会議機能の主な処理を行う。画像・音処理部13は、例えば、マイク140の出力信号およびカメラ160の出力信号に共づき、拠点画像データおよび音データのエンコード等のデジタル処理を行う。また、画像・音処理部13は、例えば、送受信部11で受信された拠点画像データおよび音データに基づき、画像信号を生成したり音信号を生成したりする。さらに、画像・音処理部13は、例えば、解像度の異なる拠点画像データを組み合わせる処理を行う。
表示制御部14は、図3に示されているCPU101からの命令、および図3に示されているディスプレイコントローラ113によって実現され、ディスプレイ180に画像信号等を出力するための制御を行う機能である。表示制御部14は、例えば、画像処理部16によって生成された描画画面データに係る描画画面を、ディスプレイ180に表示させる。表示制御部14は、表示制御手段の一例である。判断部15は、図3に示されているCPU101からの命令によって実現され、各種判断を行う機能である。判断部15は、例えば、通信管理装置5から送信された遠隔会議の情報を示す会議データに基づいて、他の電子黒板1によって生成された複数の画面データのうち、他の電子黒板1に現在表示されている描画画面を特定する。判断部15は、特定手段の一例である。
画像処理部16は、図3に示されているCPU101からの命令、およびキャプチャデバイス111によって実現され、電子黒板機能の主な処理を行う機能である。画像処理部16は、例えば、受付部12によって受け付けられた電子ペン190等のストロークに基づいてストロークデータおよびストローク画像を生成する。また、画像処理部16は、例えば、送受信部11によって受信されたストロークデータに基づいてストローク画像を生成する。さらに、画像処理部16は、例えば、生成したストローク画像を含む描画画面データを生成する。
近距離通信部18は、図3に示されているCPU101からの命令、並びに近距離通信回路119およびアンテナ119aによって実行され、ICカードやスマートフォン等の近距離通信部を有する各端末との間で、近距離無線通信により、データの取得および提供を行なう機能である。
記憶・読出処理部19は、図3に示されているCPU101からの命令によって実行され、記憶部1000に各種データを記憶させ、または記憶部1000から各種データを読み出す機能である。記憶部1000には、他の端末との通信を行う際に受信される拠点画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の拠点画像データによってディスプレイ180に画像が表示され、上書きされる前の音データによってスピーカ150から音声が出力される。さらに、記憶部1000には、ディスプレイ180に描画されたストローク画像に係るストロークデータ、およびディスプレイ180に表示された背景画像に係る背景画像データが記憶される。
○描画画面情報
図7は、実施形態に係る描画画面情報の一例を概略的に説明するための図である。図7は、描画画面管理DB1001に記憶されている電子黒板1に表示される描画画面の状態の一例のイメージを示している。
図7の例では、描画画面は、「会議」、「ページ(ページ1~4)」、「ストローク(ストローク1~5)」の階層構造を有している。「ストローク」は、本実施形態に係るストロークデータに対応しており、「ページ」毎に管理されている。また、「ページ」とは、ディスプレイ180に表示された1ページの画面(表示画面)を示す。さらに、「会議」とは、電子黒板1によって実行されている会議の情報を示す。例えば、ストローク1には、ストローク1を識別するストロークID(id=sr048)、親となるページ1を特定する情報(parent=pag04)、描画データ1を識別するgid「g048」、および描画データ1等が含まれている。例えば、ストローク1が表すストローク画像に対して、移動等の操作が行われると、ストロークID(id=sr048)は、そのまま引き継がれるが、描画データ1と描画データ1を識別するgid「g048」は、更新される。描画データ1は、ストローク1を再現するための描画データである。描画データ1には、例えば、座標データ、線の幅データ、線の色データ、およびベクトルデータ等が含まれている。
電子黒板1は、ページの切り替えが可能であり、「ページ」は、電子黒板1の各ページに対応している。例えば、ページ1には、ページ1を識別するページID(id=pag01)、親となる「会議」を特定するための情報(parent=se01)、ページ(ページデータ)を識別するgid「g01」、および画像データ1等が含まれている。画像データ1は、ページ1を構成する背景画像の画像データである。すなわち、画像データ1は、ページ1に表示されている背景画像を示す。また、ページ2には、画像データが含まれていない。これは、ページ2が背景画像を有していない(空白の背景である)ことを意味する。
「会議」は、通信システム1が管理するセッションに対応しており、例えば、セッションを識別するセッションID(id=se01)等によって管理されている。例えば、電子黒板1の画像処理部16は、ストローク1~5に含まれている描画データ1~5を用いて、ページ1に描画されたストローク画像を生成することができる。
○操作情報
ここで、図8を用いて、電子黒板1で実行された描画画面に対する操作を示す操作情報について説明する。図8は、実施形態に係る操作情報の一例を概略的に説明するための図である。図8に示されている操作情報には、電子黒板1に表示される描画画面に対して実行された操作の情報が記憶されている。図8に示されている操作情報には、ストロークデータを識別するためのストロークID(Id)、ストロークデータが描画されたページを識別するためのページID(DistId)、描画画面に対して実行された操作の種類を示す操作種別情報(Operation Type)、操作対象となるデータの種別を示すデータ種別情報(Data Type)、操作対象となるデータの内容を示すデータ詳細情報(Date)が含まれている。
このうち、操作種別情報には、描画画面に含まれているストロークやページに対して、利用者によって実行された操作の種類が示されている。例えば、操作対象がストロークである場合において、操作種別情報は、ストロークが描画されたときには「Add(追加)」、ストロークが削除されたときには「Remove(削除)」、ストロークが移動されたときには「Update」が示される。また、データ種別情報には、操作対象がストロークである場合には「Stroke」、ページである場合には「Page」が示される。さらに、操作対象がストロークである場合において、データ詳細情報は、ストロークデータに対応し、座標データ、線の幅データ、線の色データ等の情報が含まれる。データ詳細情報は、後述する描画画面情報管理テーブル(図11参照)に示されているbodyの情報に対応している。
なお、操作対象となるデータは、ストロークまたはページ単位に限られず、複数のストロークの集合であるオブジェクト単位であってもよい。このオブジェクトには、ストロークが文字もしくは数値等の記号としてOCR(Optical Character Reader)処理されたテキスト、日付もしくは時刻等のシステム生成文字、三角形、星もしくは円形等の予め定められた図形、または矢印、線分もしくはベジェ曲線等の線等が含まれる。
●中継装置の機能構成
続いて、図6を用いて、中継装置3の機能構成について説明する。中継装置3は、転送部を兼ねた送受信部31、判断部35および記憶・読出処理部39を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD304からRAM303上に展開された中継用プログラムに従ったCPU501からの命令によって動作することで実現される機能、または機能する手段である。また、中継装置3は、図4に示されているRAM303、HD304または記録メディア315によって構築される記憶部3000を有している。
送受信部31は、図4に示されているCPU301からの命令、およびネットワークI/F309によって実現され、通信ネットワーク100を介して、他の端末、装置またはシステムと各種データ(または情報)の送受信を行う機能である。また、送受信部31は、転送部としての役割も果たし、所定の端末ら送信されて来た拠点画像データおよび音データを、他の端末に転送する。判断部35は、図4に示されているCPU301からの命令によって実現され、データの遅延状態等の判断等の各種判断を行なう機能である。
記憶・読出処理部39は、図4に示されているCPU301からの命令によって実行され、記憶部3000に各種データを記憶させ、または記憶部3000に記憶された各種データを読み出す機能である。
●通信管理装置の機能構成
続いて、図6を用いて、通信管理装置5の機能構成について説明する。通信管理装置5は、送受信部51、認証部52、判断部53、端末管理部54、セッション管理部55、中継装置管理部56、描画画面情報管理部57および記憶・読出処理部59を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理用プログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、通信管理装置5は、図4に示されているRAM503、HD504または記録メディア515によって構築される記憶部5000を有している。
送受信部51は、図4に示されているCPU501からの命令、およびネットワークI/F509によって実現され、通信ネットワーク100を介して、他の端末または装置と各種データ(または情報)の送受信を行う機能である。送受信部51は、例えば、電子黒板1に対して、他の電子黒板1から送信されたストロークデータの送受信を行う。
認証部52は、図4に示されているCPU501からの命令によって実現され、ログイン要求元の認証を行う機能である。認証部52は、送受信部51によってログイン要求情報を受信した場合、認証管理DB5001を用いて、ログイン要求元の認証処理を実行する。判断部53は、図4に示されているCPU501からの命令によって実現され、各種判断を行う機能である。
端末管理部54は、図4に示されているCPU501からの命令によって実現され、電子黒板1の状態に応じて、端末管理DB5002で管理されている電子黒板1に関する各種情報を管理する機能である。端末管理部54は、例えば、端末管理DB5002における稼動状態、受信日時、端末のIPアドレス等の情報を更新する。また、端末管理部54は、宛先リスト管理DB5003を管理し、電子黒板1からの要求に応じて、宛先リスト管理DB5003で管理されている宛先端末の端末IDを含む宛先リスト情報を提供する。
セッション管理部55は、図4に示されているCPU501からの命令によって実現され、通信システムで開催されるセッションを管理する機能である。セッション管理部55は、例えば、電子黒板1から通信の開始を要求する開始要求情報に応じて、セッションを識別するためのセッションIDを生成する。また、セッション管理部55は、例えば、セッションIDに対応づけて、セッションに関する各種情報をセッション管理DB5004に記憶させて管理する。
中継装置管理部56は、図4に示されているCPU501からの命令によって実現され、複数の中継装置3からセッションの中継に用いる中継装置3を選択する機能である。中継装置管理部56は、例えば、中継装置管理DB5005を管理し、中継装置管理DB5005に記憶されている各中継装置3に関する各種情報を用いて、中継装置3を選択する。中継装置管理部56は、例えば、中継装置管理DB5005に記憶されている各中継装置3のIPアドレスと、開始端末のIPアドレスとから、開始端末の近くにある中継装置3を選択する。また、中継装置管理部56は、例えば、中継装置管理DB5005に記憶されている各中継装置3の最大データ伝送速度等に基づいて、中継装置3を選択する。なお、本実施形態では、セッションの中継に用いる中継装置3の選択方法は任意の方法であって良い。また、通信システムが有する中継装置3の数は、一つであってもよい。
描画画面情報管理部57は、図4に示されているCPU501からの命令によって実現され、各電子黒板1(通信端末)の間で送受信される描画画面に関する各種データを管理する機能である。描画画面情報管理部57は、例えば、セッションに参加している電子黒板1から、セッションseiで送信されるストロークデータを、セッションIDと関連づけて、描画画面情報管理DB5006に記憶して管理する。
記憶・読出処理部59は、図4に示されているCPU501からの命令によって実行され、記憶部5000に各種データを記憶させ、または記憶部5000に記憶された各種データを読み出す機能である。
○認証管理テーブル
図9(A)は、実施形態に係る認証管理テーブルの一例を示す概念図である。記憶部5000には、図9(A)に示されているような認証管理テーブルによって構成されている認証管理DB5001が構築されている。この認証管理テーブルでは、通信管理装置5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連づけられて管理される。例えば、図9(A)に示されている認証管理テーブルにおいて、電子黒板1a(通信端末)の端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。なお、パスワードは認証情報の一例であり、認証情報にはアクセストークンも含まれる。
○端末管理テーブル
図9(B)は、実施形態に係る端末管理テーブルの一例を示す概念図である。記憶部5000には、図9(B)に示されているような端末管理テーブルによって構成されている端末管理DB5002が構築されている。この端末管理テーブルでは、各電子黒板1(通信端末)を識別するための端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理装置5で受信された受信日時、および各電子黒板1(通信端末)のIPアドレスが関連づけられて管理される。例えば、図9(B)に示されている端末管理テーブルにおいて、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「Online(通信可能)」で、通信管理装置5でログイン要求情報が受信された日時が「2019年2月10日の13時40分」で、この端末1aaのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名、および端末のIPアドレスは、各電子黒板1が、通信管理装置5によるサービスの提供を受けるために事前登録する際に記憶される。
○宛先リスト管理テーブル
図10(A)は、実施形態に係る宛先リスト管理テーブルの一例を示す概念図である。記憶部5000には、図10(A)に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5003が構築されている。この宛先リスト管理テーブルでは、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連づけられて管理される。例えば、図10(A)に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補は、端末IDが「01ba」の電子黒板1b等であることが示されている。この宛先端末の候補は、任意の開始端末から通信管理装置5に対する追加または削除の要請により、追加または削除されることで更新される。
なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、端末ID等の宛先に関する情報が羅列されていてもよい。
○セッション管理テーブル
図10(B)は、実施形態に係るセッション管理テーブルの一例を示す概念図である。記憶部5000には、図10(B)に示されているようなセッション管理テーブルによって構成されているセッション管理DB5004が構築されている。このセッション管理テーブルでは、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するためのセッションID毎に、使用される中継装置3の中継装置ID、電子黒板1(開始端末)の端末ID、電子黒板1(宛先端末)の端末ID、宛先端末において拠点画像データが受信される際の受信の遅延時間(ms)、およびこの遅延時間が示されている遅延情報を宛先端末から送られて来て通信管理装置5で受信された受信日時が関連づけられて管理される。例えば、図10(B)に示されているセッション管理テーブルにおいて、セッションID「se01」を用いて実行された通信セッションで、中継装置(中継装置ID「111a」)は、端末IDが「01aa」の電子黒板と、端末IDが「01db」の電子黒板との間で、拠点画像データおよび音データを中継しており、電子黒板(宛先端末)において「2019年2月10日の13時41分」時点における拠点画像データの遅延時間が200(ms)であることが示されている。
○中継装置管理テーブル
図10(C)は、実施形態に係る中継装置管理テーブルの一例を示す概念図である。記憶部5000には、図10(C)に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5005が構築されている。この中継装置管理テーブルでは、中継装置3の中継装置ID毎に、各中継装置3の稼動状態、稼動状態が示される状態情報が通信管理装置5で受信された受信日時、中継装置3のIPアドレス、および、中継装置3における最大データ伝送速度(Mbps)が関連づけられて管理される。例えば、図10(C)に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置3は、稼動状態が「Online」で、通信管理装置5で状態情報が受信された日時が「2019年2月10日の13時30分」で、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。
○描画画面情報管理テーブル
図11は、実施形態に係る描画画面情報管理テーブルの一例を示す概念図である。記憶部5000には、図11に示されているような描画画面情報管理テーブルによって構成されている描画画面情報管理DB5006が構築されている。この描画画面情報管理テーブルには、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するためのセッションID毎に、電子黒板1の間で共有される描画画面に関する各種データが記憶されて管理されている。描画画面情報管理テーブルに示されているデータは、各電子黒板1の描画画面管理DB1001に記憶されている描画画面の状態(図7参照)に対応している。
描画画面情報管理テーブルに示されているデータには、各データを識別するためのID、各データの発生順序を示すシーケンス番号、データの内容を示す情報(body)、並びに親となるデータを特定するための情報(parent)が含まれている。例えば、複数の電子黒板1によって実行されている遠隔会議を示す会議情報の場合、描画画面情報管理テーブルには、実行されている会議を識別するための会議ID(セッションID)、会議によって生成されたページを示す情報(children)並びに電子黒板1に現在表示されている描画画面を構成するページを示す情報(current page)が含まれている。また、例えば、ページデータの場合、描画画面情報管理テーブルには、ページ(ページデータ)を識別するためのページID、該当するページを構成する背景画像データの保存位置を示すURL(Uniform Resource Locator)が含まれている。
さらに、例えば、ストロークデータの場合、描画画面情報管理テーブルには、「ストローク描画」イベントによって生成されたストロークデータを識別するためのストロークID、ストロークデータの内容を示す情報、および親となるページ(ページデータ)を特定するための情報(parent)が含まれている。この場合、ストロークデータの内容を示す情報(body)には、描画されたストロークの色、描画されたストロークの線の太さを示す幅、および描画されたストロークの頂点(x,y)の情報が含まれている。
ここで、「ストローク描画」は、利用者による描画情報の入力処理であり、例えば、利用者が電子ペン190をディスプレイ180に押し付け、この状態で電子ペン190を移動させ、ディスプレイ180から電子ペン190を離すまでのイベントである。また、ストロークの色は、RGBA(Red Green Blue Alpha)のデータ形式で、各要素が0-255の数値で表される。さらに、描画されたストロークの線の太さの幅は、ピクセル数で表される。また、描画されたストロークの頂点は、XY座標で表され、それぞれの頂点をベジェ曲線で結ぶとストロークを示す線分となる。この描画画面情報管理テーブルにより、通信管理装置5は、特定の通信セッションを用いたビデオ会議等によって発生したストロークデータを含む描画画面に関する各種データを管理することができる。
●画像保存装置の機能構成
次に、図6を用いて、画像保存装置7の機能構成について説明する。画像保存装置7は、送受信部71、生成部73および記憶・読出処理部79を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD704からRAM703上に展開された画像保存用プログラムに従ったCPU701からの命令によって動作することで実現される機能、または機能する手段である。また、画像保存装置7は、図4に示されているRAM703、HD704または記録メディア715によって構築される記憶部7000を有している。
送受信部71は、図4に示されているCPU701からの命令、およびネットワークI/F709によって実現され、通信ネットワーク100を介して、他の端末または装置と各種データ(または情報)の送受信を行う機能である。生成部73は、図4に示されているCPU701からの命令によって実現され、背景画像データの保存位置を示すURLを生成する機能である。記憶・読出処理部79は、図4に示されているCPU701からの命令によって実行され、記憶部7000に各種データを記憶させ、または記憶部7000に記憶された各種データを読み出す機能である。
●実施形態の処理または動作●
続いて、図12乃至図20を用いて、本実施形態に係る通信システムにおける処理または動作を説明する。
●遠隔通信の準備段階の処理
まず、図12および図13を用いて、ログイン要求端末としての電子黒板1aが行なう通信の準備処理を説明する。図12は、電子黒板間で遠隔通信を開始する準備段階の処理の一例を示すシーケンス図である。図13は、電子黒板に表示される宛先リスト画面の一例を示す図である。なお、電子黒板1bがログイン共有を行う処理も電子黒板1aの処理と同様であるため、説明を省略する。
まず、電子黒板1aで電源スイッチ122がONされると、受付部12aが、電源ONを受け付ける(ステップS11)。
次に、送受信部11aは、通信ネットワーク100を介して、通信管理装置5へログイン認証の要求を示すログイン要求情報を送信する(ステップS12)。このログイン要求情報には、電子黒板1aの端末IDおよびパスワードが含まれている。これら端末IDおよびパスワードは、記憶・読出処理部19aによって記憶部1000aから読み出されて、送受信部11aに送られたデータである。なお、これら端末IDおよびパスワードは、これに限るものではなく、利用者がキーボード等の入力手段によって入力した端末IDやパスワードが送信されてもよい。また、電子黒板1aに接続されたSIM(Subscriber Identity Module Card)カードやSDカード等の記録媒体から読み出された端末IDやパスワードが送信されてもよい。これにより、通信管理装置5の送受信部51は、電子黒板1aから送信されたログイン要求情報を受信する。
次に、通信管理装置5の認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末IDおよびパスワードを検索キーとして、認証管理テーブル(図9(A)参照)を検索する。また、認証部52は、ログイン要求情報に含まれている端末IDおよびパスワードの組み合わせが、認証管理テーブルで管理されている場合、電子黒板1aのログインを許可する(ステップS13)。ここで、ログイン要求情報に含まれている端末IDおよびパスワードの組合せが、認証管理テーブルで管理されている場合、ステップS14以降の処理が実行される。
電子黒板1aのログインが許可された場合、端末管理部54は、端末管理テーブル(図9(B)参照)において、電子黒板1aの端末ID「01aa」に対応する情報を更新する。例えば、端末管理部54は、端末ID「01aa」に対応する「稼動状態」の情報を「Online(通信可能)」」に変更するとともに、「受信日時」の情報を、ログイン要求情報を受信した日時に更新する(ステップS14)。なお、端末のIPアドレスの情報は、事前に登録されているのではなく、上記ステップS12で電子黒板1aから送信されたIPアドレスを用いるようにしても良い。これにより、端末管理テーブルには、例えば、図9(B)に示されているように端末ID「01aa」に、稼動状態「Online(通信可能)」、受信日時「2019.2.10.13:40」およびIPアドレス「1.2.1.3」が関連づけて管理されることになる。
次に、セッション管理部55は、ステップS12によって受信された電子黒板1aの端末ID「01aa」を、「開始端末の端末ID」とする新しいレコードを、セッション管理テーブル(図10(B)参照)に追加して管理する(ステップS15)。そして、送受信部51は、ステップ13の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク100を介して、上記ログイン要求してきた電子黒板1aへ送信する(ステップS16)。
電子黒板1a(ログイン要求端末)の送受信部11aは、ログインが許可されたことを示す認証結果情報を受信すると、通信ネットワーク100を介して通信管理装置5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS17)。これにより、通信管理装置5の送受信部51は、宛先リスト要求情報を受信する。
次に、端末管理部54は、電子黒板1a(ログイン要求端末)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図10(A)参照)を検索し、電子黒板1aと通信することができる宛先候補の端末IDを読み出す。また、端末管理部54は、端末管理テーブル(図9(B))から、宛先候補の端末IDに対応する宛先名を読み出す(ステップS18)。ここでは、電子黒板1aの端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。
次に、送受信部51は、記憶・読出処理部59を介して、例えば、記憶部5000から宛先リスト枠のデータおよび稼動状態を示すアイコンのデータ等を読み出す(ステップS19)。また、送受信部51は、読み出した宛先リスト枠およびアイコン、並びにステップS18で抽出した端末IDおよび宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、電子黒板1aへ送信する(ステップS20)。これにより、電子黒板1aは、送受信部11aが宛先リスト情報を受信し、記憶・読出処理部19aが記憶部1000aに、受信した宛先リスト情報を記憶する(ステップS21)。
このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理装置5が全ての端末の宛先リスト情報を一元管理している。よって、通信システムに新たな電子黒板1が含まれるようになったり、既に含まれている端末に替えて新機種の端末を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、本実施形態に係る通信システムは、通信管理装置5側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。
また、端末管理部54は、ステップ18で抽出した宛先候補の端末IDを検索キーとして、端末管理テーブル(図9(B)参照)を検索し、宛先候補の端末ID毎に、対応する稼動状態を読み出す。これにより、端末管理部54は、宛先候補の端末IDに対応する各電子黒板1の各稼動状態を取得する(ステップS22)。
次に、送受信部51は、ステップS22で検索キーとして使用された端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク100を介して、電子黒板1aに送信する(ステップS23)。
次に、電子黒板1aの記憶・読出処理部19aは、順次、通信管理装置5から受信した端末の状態情報を記憶部1000aに記憶する(ステップS24)。よって、電子黒板1aは、上記各電子黒板の状態情報を受信することで、電子黒板1aと通信することができる宛先候補である電子黒板1b等の現時点のそれぞれの稼動状態を取得することができる。
次に、表示制御部14aは、記憶部1000aに記憶されている宛先リスト情報、および端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成する。また、表示制御部14aは、作成した宛先リストを用いて、電子黒板1aのディスプレイ180に対して、図13に示されているような宛先リスト画面800を表示させる(ステップS25)。この宛先リスト画面800には、宛先候補毎に、稼動状態を示すアイコン、端末ID、および宛先名が表示されている。図13では、各端末の稼動状態を示したアイコンが、上から「Offline」、「Online(通信可能)」として表示されている。
一方、通信管理装置5の端末管理部54は、電子黒板1aの端末ID「01aa」に基づいて宛先リスト管理テーブル(図10(A)参照)を検索することにより、電子黒板1aを宛先候補として登録している他の端末の端末IDを抽出する(ステップS26)。図10(A)に示されている宛先リスト管理テーブルでは、読み出される他の端末の端末IDは、「01ba」、「01ca」、「01da」等である。
次に、端末管理部54は、電子黒板1aの端末ID「01aa」に基づいて端末管理テーブル(図9(B)参照)を検索し、電子黒板1aの稼動状態を取得する(ステップS27)。
そして、送受信部51は、ステップS26で抽出された端末IDに係る端末のうち、端末管理テーブル(図9(B)参照)で稼動状態が「Online」となっている端末に、ステップS27で取得された電子黒板1aの端末ID「01aa」と稼動状態「Online」が含まれる「端末の状態情報」を送信する(ステップS28)。なお、送受信部51が電子黒板1bに端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル(図9(B)参照)で管理されている電子黒板のIPアドレスを参照する。これにより、電子黒板1aを宛先候補として通信することができる他の宛先端末のそれぞれに、電子黒板1aの端末ID「01aa」、および稼動状態「Online」を伝えることができる。よって、宛先候補(電子黒板1b等)においても、宛先候補の状態を表示させることができる(ステップS29)。
●遠隔通信の開始処理
続いて、図14を用いて、電子黒板1aが電子黒板1bに対して遠隔通信を開始する処理を説明する。図14は、遠隔通信を開始する処理の一例を示すシーケンス図である。
まず、開始端末(電子黒板1a)の利用者A1が図13に示されている宛先候補(端末ID「01ba」)を押下して電子黒板1bを選択すると、受付部12aは、宛先端末(電子黒板1b)との通話を開始する要求を受け付ける(ステップS31)。そして、開始端末(電子黒板1a)の送受信部11aは、通信管理装置5に対して、通話を開始したい旨を示す開始要求情報を送信する(ステップS32)。この開始要求情報には、開始端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」が含まれている。これにより、通信管理装置5の送受信部51は、上記開始要求情報を受信すると共に、送信元である開始端末(電子黒板1a)のIPアドレスを受信する。
そして、端末管理部54は、開始要求情報に含まれる開始端末(電子黒板1a)の端末ID「01aa」および宛先端末(電子黒板1b)の端末ID「01ba」に基づき、端末管理テーブル(図9(B)参照)を更新する。例えば、端末管理部54は、開始要求情報に含まれる開始端末の端末ID「01aa」、宛先端末の端末ID「01ba」に基づき、端末管理テーブルにおいて、端末ID「01aa」、「01ba」に対応する「稼動状態」を「オンライン(通信中)」に更新する。なお、この状態では、開始端末である電子黒板1a、および宛先端末である電子黒板1bは、セッションに参加していないが、通信中状態として管理する(ステップS33)。なお、この状態では、開始端末(電子黒板1a)、および宛先端末(電子黒板1b)は、ビデオ会議を開始していないが、通話中状態となり、第3の電子黒板(例えば、途中参加端末)が開始端末(電子黒板1a)または宛先端末(電子黒板1b)と通話しようとする(途中参加しようとする)と、いわゆる通話中状態を示す旨の通知音または表示が出力される。
次に、実際に利用される中継装置3を選択するためのセッションを実行する処理を説明する。まず、通信管理装置5のセッション管理部55は、電子黒板1aと電子黒板1bとの間で開催されるセッションを識別するためのセッションIDを生成する(ステップS34)。ここでは、セッションID「se01」が生成された場合について説明する。
そして、セッション管理部55は、セッション管理テーブル(図10(B)参照)に、ステップS34で生成されたセッションID「se01」、開始端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」を関連づけて記憶して管理する(ステップS35)。
次に、中継装置管理部56は、開始端末(電子黒板1a)と宛先端末(電子黒板1b)との間のセッションを中継する中継装置3を選択する(ステップ36)。例えば、中継装置管理部56は、中継装置管理テーブル(図10(C)参照)において稼動状態が「Online」の中継装置3に係る中継装置IDのうち、端末管理テーブル(図9(B)参照)において開始端末(電子黒板1a)のIPアドレスに近いIPアドレスの中継装置3を選択する。ここでは、中継装置ID「111a」の中継装置3が選択された場合について、以降、続けて説明する。
以上のステップS36における中継装置の選択の処理が終了すると、通信管理装置5の送受信部51は、開始端末(電子黒板1a)に対して、中継装置選択情報を送信する(ステップS37-1)。この中継装置選択情報には、ステップS36によって選択された中継装置3のIPアドレス、およびステップS34によって生成されたセッションID「se01」が含まれている。これにより、開始端末(電子黒板1a)は、中継装置選択情報の送信元である通信管理装置5のIPアドレスを取得することができる。
さらに、通信管理装置5の送受信部51は、宛先端末(電子黒板1b)に対して、中継装置選択情報を送信する(ステップS37-2)。この中継装置選択情報には、ステップS36によって選択された中継装置3のIPアドレス、開始端末(電子黒板1a)の端末ID「01aa」、およびステップS34によって生成されたセッションID「se01」が含まれている。これにより、宛先端末(電子黒板1b)は、セッションID「se01」におけるセッションの実行において、中継装置選択情報の送信元である通信管理装置5のIPアドレスを取得することができる。
次に、開始端末(電子黒板1a)の送受信部11は、通信管理装置5に対して、ステップS37-1の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38-1)。この受信完了情報には、ステップS37-1の処理で送受信されたセッションIDが含まれている。これにより、通信管理装置5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
さらに、宛先端末(電子黒板1b)は、同様に通信管理装置5へ、ステップS37-2の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38-2)。この場合も、通信管理装置5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
以上により、電子黒板1a,1bは、上記ステップS36で選択された中継装置3を介して、拠点画像データおよび音データを送受信することで、ビデオ会議を行うことができる。
●電子黒板間でのデータの共有処理
続いて、図15乃至図19を用いて、電子黒板1の間でデータを共有する処理について説明する。図15乃至図18は、実施形態に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。ここでは、電子黒板1a,1bで背景画像データおよびストロークデータを共有する場合であって、電子黒板1aで表示された背景画像および入力されたストローク画像が、電子黒板1bでも表示される場合について説明する。また、図15乃至図18の処理において、図7等に示されているページ4に対応する画面データが共有されるものとする。
まず、拠点Aにおいて、利用者A1が電子ペン190や手Hを電子黒板1aのディスプレイ180上に接触して移動させることで、電子黒板1aの受付部12aは、移動のストローク(軌跡)の入力を受け付ける(ステップS51)。画像処理部16aは、受付部12aによって入力が受け付けられたストロークに基づいて、2次元のディスプレイ180上にストローク画像を表示させるためのストロークデータ(例えば、座標データ(x,y))を作成する(ステップS52)。そして、表示制御部14aは、電子黒板1aのディスプレイ180上に、ストローク画像を表示させる(ステップS53)。
次に、送受信部11aは、通信管理装置5に対して、ステップS52で作成されたストローク画像を再生するためのストロークデータを送信する(ステップS54)。これにより、通信管理装置5の送受信部51は、電子黒板1aから送信されたストロークデータを受信する。そして、描画画面情報管理部57は、描画画面情報管理DB5006(図11参照)に、ステップS54によって受信されたストロークデータを記憶させる(ステップS55)。この場合、描画画面情報管理部57は、図11に示されるように、送受信部11aによって受信されたストロークデータを、発生順(シーケンス順)に、実行されている遠隔会議を示す会議ID(セッションID)に関連づけて描画画面情報管理テーブルに記憶させる。また、描画画面情報管理部57は、ステップS54によって受信されたストロークデータに対応するgidを採番する。
次に、送受信部51は、電子黒板1aに対して、ステップS55によって記憶されたストロークデータ、および描画画面情報管理部57によって採番されたgidを送信する(ステップS56)。これにより、電子黒板1aは、通信管理装置5から送信されたストロークデータおよびgidを受信する。電子黒板1aは、ストロークデータが受け付けられたことを把握することができるとともに、採番されたgidを知ることができる。
また、送受信部51は、相手側の電子黒板1bに対して、ストロークデータおよびgidを送信する(ステップS57)。これにより、電子黒板1bの送受信部11bは、通信管理装置5から送信されたストロークデータおよびgidを受信する。そして、電子黒板1bの画像処理部16bは、送受信部11bによって受信されたストロークデータに基づいて、ストローク画像を生成する(ステップS58)。そして、表示制御部14bは、ステップS67によって生成されたストローク画像を、電子黒板1bのディスプレイ180上に表示させる(ステップS59)。これにより、通信システムは、電子黒板1aに描画されたストローク画像を、電子黒板1bに共有させることができる。
続いて、図16に示されているように、拠点Aの電子黒板1aの受付部12aは、背景画像の共有処理を受け付ける(ステップS61)。具体的には、電子黒板1aの利用者A1が、ディスプレイ180に表示されている所定の共有ボタンを押下すると、受付部12aは、背景画像の共有処理を受け付ける。
次に、送受信部11aは、通信管理装置5に対して、ページ情報の追加を要求する旨を示すページ情報追加要求を送信する(ステップS62)。このページ情報追加要求には、追加を要求するページを識別するためのページID、および親となる会議を特定するための情報(parent)が含まれている。この場合、送受信部11aは、例えば、通信管理装置5に対して、ページID「pag04」およびparent「se01」を含むページ情報追加要求を送信する。これにより、通信管理装置5の送受信部51は、電子黒板1aから送信されたページ情報追加要求を受信する。
次に、描画画面情報管理部57は、描画画面情報管理DB5006(図11参照)に、ステップS62によって受信された各種情報をページ情報として記憶させる(ステップS63)。また、描画画面情報管理部57は、描画画面情報管理DB5006に記憶させるページ(ページデータ)に対応するgidを採番する。
そして、送受信部51は、電子黒板1aに対して、描画画面情報管理DB5006にページ情報が追加されたことを示すページ情報追加通知を送信する(ステップS64)。このページ情報追加通知には、追加されたページを識別するためのページID、親となる会議を特定するための情報(parent)、描画画面情報管理部57によって採番されたgidの情報が含まれている。この場合、送受信部51は、例えば、電子黒板1aに対して、ページID「pag04」、parent「se01」およびgid「gid04」を含むページ情報追加通知を送信する。これにより、電子黒板1aの送受信部11aは、通信管理装置5から送信されたページ情報追加通知を受信する。さらに、送受信部51は、相手側の電子黒板1bに対して、ページ情報追加通知を送信する(ステップS65)。このページ情報追加通知に含まれている情報は、ステップS64によって電子黒板1aに対して送信された情報と同様である。これにより、電子黒板1bの送受信部11bは、通信管理装置5から送信されたページ情報追加通知を受信する。
続いて、電子黒板1aの送受信部11aは、通信管理装置5に対して、会議情報の更新を要求する旨を示す会議情報更新要求を送信する(ステップS66)。この会議情報更新要求には、更新を要求する会議情報のgid、会議を識別するための会議ID、会議によって生成されたページを示す情報(children)、および電子黒板1aに現在表示されているページの情報(current page)が含まれている。この場合、送受信部11aは、通信管理装置5に対して、gid「gid1」、会議ID「se01」、children「pag01、pag02、pag03、pag04」およびcurrent page「pag04」を含む会議情報更新要求を送信する。これにより、通信管理装置5の送受信部51は、電子黒板1aから送信された会議情報更新要求を受信する。
次に、描画画面情報管理部57は、ステップS67によって受信された各種情報に基づいて、描画画面情報管理DB5006(図11参照)に記憶された会議情報を更新する(ステップS67)。この場合、描画画面情報管理部57は、描画画面情報管理テーブルを検索することにより、送受信部51によって受信された会議IDに関連づけられているbodyの情報を更新する。また、描画画面情報管理部57は、ステップS67によって受信された会議情報のgid(「gid1」)を更新する(例えば、gid「gid2」)。
そして、送受信部51は、電子黒板1aに対して、会議情報が更新されたことを示す会議情報更新通知を送信する(ステップS68)。この会議情報更新通知には、ステップS67によって更新されたgid、会議を識別するための会議ID、会議によって生成されたページを示す情報(children)、電子黒板1aに現在表示されているページの情報(current page)が含まれている。この場合、送受信部51は、例えば、電子黒板1aに対して、gid「gid2」、会議ID「se01」、children「pag01、pag02、pag03、pag04」およびcurrent page「pag04」を含む会議情報更新通知を送信する。これにより、電子黒板1aの送受信部11aは、通信管理装置5から送信された会議情報更新通知を受信する。さらに、送受信部51は、相手側の電子黒板1bに対して、会議情報更新通知を送信する(ステップS69)。この会議情報更新通知に含まれている情報は、ステップS68によって電子黒板1aに対して送信された情報と同様である。これにより、電子黒板1bの送受信部11bは、通信管理装置5から送信された会議情報更新通知を受信する。
続いて、電子黒板1aの送受信部11aは、画像保存装置7に対して、背景画像データのアップロード要求を送信する(ステップS70)。この場合、送受信部51は、例えば、予め定められた所定のアップロード用のURL(例えば、「http://○○○.jp/upload」)に対して、背景画像データを送信する。これにより、画像保存装置7の送受信部71は、電子黒板1aから送信されたアップロード要求を受信する。画像保存装置7の記憶・読出処理部79は、記憶部7000に対して、ステップS70によって受信された背景画像データを記憶する(ステップS71)。また、生成部73は、ステップS71によって記憶された背景画像データの保存位置を示すURLを生成する(ステップS72)。ここで、URLは保存位置情報の一例であり、保存位置情報にはURI(Uniform Resource Identifier)も含まれる。そして。送受信部71は、電子黒板1aに対して、背景画像データのアップロードが完了した旨を示すアップロード完了通知を送信する(ステップS73)。このアップロード完了通知には、ステップS72によって生成されたURLが含まれている。これにより、電子黒板1aの送受信部11aは、画像保存装置7から送信されたアップロード完了通知を受信する。
続いて、図17および図18を用いて、電子黒板1aから画像保存装置7に背景画像データがアップロードされた後の処理について説明する。まず、図17を用いて、ステップS62に示されているように、電子黒板1aがページ情報追加通知を送信していた場合の処理について説明する。
図17に示されているように、電子黒板1aの送受信部11aは、通信管理装置5に対して、ページ情報の更新を要求する旨を示すページ情報更新要求を送信する(ステップS81)。このページ情報更新要求には、ページを識別するためのページID、親となる会議を特定するための情報(parent)、ステップ64によって受信されたページのgidの情報、およびステップS73によって受信されたURLの情報が含まれている。この場合、送受信部11aは、例えば、通信管理装置5に対して、ページID「pag04」、parent「se01」、gid「gid04」、URL「△△△.jpeg」を含むページ情報更新要求を送信する。これにより、通信管理装置5の送受信部51は、電子黒板1aから送信されたページ情報更新要求を受信する。
次に、描画画面情報管理部57は、ステップS81によって受信された各種情報に基づいて、描画画面情報管理DB5006(図11参照)に記憶されているページ情報を更新する(ステップS82)。具体的には、描画画面情報管理部57は、描画画面情報管理テーブルを検索することにより、ステップS81によって受信されたページIDに関連づけられているbodyの情報を更新する。また、描画画面情報管理部57は、ステップS81によって受信されたページのgid(「gid04」)を更新する(例えば、gid「gid05」)。
そして、通信管理装置5の送受信部51は、電子黒板1aに対して、ページ情報が更新されたことを示すページ情報更新通知を送信する(ステップS83)。このページ情報更新通知には、ページを識別するためのページID、親となる会議を特定するための情報(parent)、ステップ82によって更新されたページのgidの情報、および背景画像データのURLの情報が含まれている。この場合、送受信部51は、例えば、電子黒板1aに対して、ページID「pag04」、parent「se01」、gid「gid05」およびURL「△△△.jpeg」を含むページ情報更新通知を送信する。これにより、電子黒板1aの送受信部11aは、通信管理装置5から送信されたページ情報更新通知を受信する。また、通信管理装置5の送受信部51は、相手方の電子黒板1bに対して、ページ情報更新通知を送信する(ステップS84)。このページ情報更新通知に含まれている情報は、ステップS83によって電子黒板1aに対して送信された情報と同様である。これにより、電子黒板1bの送受信部11bは、通信管理装置5から送信されたページ情報更新通知を受信する。
電子黒板1bの送受信部11bは、ステップS84によって受信された画像保存装置7に係るURLに対して、背景画像データのダウンロードを要求する旨を示すダウンロード要求を送信する(ステップS85)。これにより、画像保存装置7の送受信部71は、電子黒板1bから送信されたダウンロード要求を受信する。
次に、画像保存装置7の記憶・読出処理部79は、送受信部71によって受信されたダウンロード要求に示されているURLに基づいて、記憶部7000から要求対象である背景画像データを読み出す(ステップS86)。そして、送受信部71が、要求元である電子黒板1bに対して、要求対象である背景画像データを送信する(ステップS87)。これにより、電子黒板1bの送受信部11bは、背景画像データのダウンロード(受信)を行う。そして、電子黒板1bの表示制御部14bは、送受信部11bによってダウンロード(受信)された背景画像データに係る背景画像を、ディスプレイ180に表示させる(ステップS88)。
続いて、図18を用いて、電子黒板1aから通信管理装置5に対して、ステップS62に示されているようなページ情報追加通知を送信していない場合の処理について説明する。
図18に示されているように、まず、電子黒板1aの送受信部11aは、通信管理装置5に対して、ページ情報の追加を要求する旨を示すページ情報追加要求を送信する(ステップS91)。このページ情報追加要求には、追加を要求するページを識別するためのページID、親となる会議を特定するための情報(parent)、およびステップS73によって受信された背景画像データのURLの情報が含まれている。この場合、送受信部11aは、例えば、通信管理装置5に対して、ページID「pag04」、parent「se01」、およびURL「△△△.jpeg」を含むページ情報追加要求を送信する。これにより、通信管理装置5の送受信部51は、電子黒板1aから送信されたページ情報追加要求を受信する。
次に、描画画面情報管理部57は、描画画面情報管理DB5006(図11参照)に、ステップS91によって受信された各種情報をページ情報として記憶させる(ステップS92)。また、描画画面情報管理部57は、描画画面情報管理DB5006に記憶させるページ(ページデータ)に対応するgidを採番する。
そして、送受信部51は、電子黒板1aに対して、描画画面情報管理DB5006にページ情報が追加されたことを示すページ情報追加通知を送信する(ステップS93)。このページ情報追加通知には、追加されたページを識別するためのページID、親となる会議を特定するための情報(parent)、描画画面情報管理部57によって採番されたgidの情報、および背景画像データのURLの情報が含まれている。この場合、送受信部51は、例えば、電子黒板1aに対して、ページID「pag04」、parent「se01」、gid「gid04」および「△△△.jpeg」を含むページ情報追加通知を送信する。これにより、電子黒板1aの送受信部11aは、通信管理装置5から送信されたページ情報追加通知を受信する。さらに、送受信部51は、相手側の電子黒板1bに対して、ページ情報追加通知を送信する(ステップS94)。このページ情報追加通知に含まれている情報は、ステップS93によって電子黒板1aに対して送信された情報と同様である。これにより、電子黒板1bの送受信部11bは、通信管理装置5から送信されたページ情報追加通知を受信する。
続いて、電子黒板1aの送受信部11aは、通信管理装置5に対して、会議情報の更新を要求する旨を示す会議情報更新要求を送信する(ステップS95)。この会議情報更新要求には、更新を要求する会議情報のgid、会議を識別するための会議ID、会議によって生成されたページを示す情報(children)、および電子黒板1aに現在表示されているページの情報(current page)が含まれている。この場合、送受信部11aは、通信管理装置5に対して、gid「gid1」、会議ID「se01」、children「pag01、pag02、pag03、pag04」およびcurrent page「pag04」を含む会議情報更新要求を送信する。これにより、通信管理装置5の送受信部51は、電子黒板1aから送信された会議情報更新要求を受信する。
次に、描画画面情報管理部57は、ステップS95によって受信された各種情報に基づいて、描画画面情報管理DB5006(図11参照)に記憶された会議情報を更新する(ステップS96)。この場合、描画画面情報管理部57は、描画画面情報管理テーブルを検索することにより、送受信部51によって受信された会議IDに関連づけられているbodyの情報を更新する。また、描画画面情報管理部57は、ステップS95によって受信された会議情報のgid(「gid1」)を更新する(例えば、gid「gid2」)。
そして、送受信部51は、電子黒板1aに対して、会議情報が更新されたことを示す会議情報更新通知を送信する(ステップS97)。この会議情報更新通知には、ステップS96によって更新されたgid、会議を識別するための会議ID、会議によって生成されたページを示す情報(children)、電子黒板1aに現在表示されているページの情報(current page)が含まれている。この場合、送受信部51は、例えば、電子黒板1aに対して、gid「gid2」、会議ID「se01」、children「pag01、pag02、pag03、pag04」およびcurrent page「pag04」を含む会議情報更新通知を送信する。これにより、電子黒板1aの送受信部11aは、通信管理装置5から送信された会議情報更新通知を受信する。さらに、送受信部51は、相手側の電子黒板1bに対して、会議情報更新通知を送信する(ステップS98)。この会議情報更新通知に含まれている情報は、ステップS68によって電子黒板1aに対して送信された情報と同様である。これにより、電子黒板1bの送受信部11bは、通信管理装置5から送信された会議情報更新通知を受信する。以降のステップS99~ステップS102の処理は、図17に示されているステップS85~ステップS88の処理と同様であるため説明を省略する。
これにより、電子黒板1aと電子黒板1bは、ディスプレイ180に表示されるストローク画像および背景画像を共有することができる。一方の電子黒板1(例えば、電子黒板1a)に表示された背景画像に係る背景画像データは、画像保存装置7にアップロードされ、他方の電子黒板1(例えば、電子黒板1b)にダウンロード可能な状態となる。また、一方の電子黒板1(例えば、電子黒板1a)に描画されたストロークに係るされたストロークデータは、通信管理装置5を経由して他方の電子黒板1(例えば、電子黒板1b)に共有される。さらに、電子黒板1に表示される描画画面(ページ)の作成および描画画面(ページ)の変更等の操作情報(図8参照)についても、通信管理装置5を経由して、それぞれの電子黒板1に共有される。なお、ステップS51~ステップS59に示されているストロークデータの共有処理と図16乃至図18に示されている背景画像データの共有処理の順序は前後してもよく、または並行して行われてもよい。
ここで、図19を用いて、電子黒板1aと電子黒板1bとの間で共有される描画画面について説明する。まず、図19(A)に示されている描画画面200aには、背景画像v1およびストローク画像st1が表示されている。また、図19(B)に示されている描画画面200bには、ストローク画像st2が表示されている。さらに、図19(C)に示されている描画画面200cは、背景画像v3およびストローク画像st3が表示されている。また、図19(D)に示されている描画画面200dは、背景画像v4およびストローク画像st4が表示されている。
このように、電子黒板1aと電子黒板1bには、図19(A)~(D)に示されているような複数の描画画面が共有されている。また、電子黒板1aおよび電子黒板1bは、図7に示されている描画画面情報として、ディスプレイ180に表示させる描画画面を構成する画面データ(背景画像データおよびストロークデータ)を管理している。例えば、図19(A)に示されている描画画面200aは、「ページ1」の画面データに対応する描画画面であり、図19(B)に示されている描画画面200bは、「ページ2」の画面データに対応する描画画面である。また、例えば、図19(C)に示されている描画画面200cは、「ページ3」の画面データに対応する描画画面であり、図19(D)に示されている描画画面200dは、「ページ4」の画面データに対応する描画画面である。なお、図20に示されている描画画面200a~200dは、ディスプレイ180に表示される表示画面の一例である。
●途中参加端末に対するデータの共有処理
続いて、図20乃至図22を用いて、複数の拠点の電子黒板1を用いて行われている遠隔会議(ビデオ会議)中において、他の拠点の電子黒板1が途中参加する場合の例を説明する。図20および図21は、実施形態に係る通信システムにおける途中参加端末に対してデータを共有する処理の一例を示したシーケンス図である。以下の例では、電子黒板1aと電子黒板1bとの間で行われている遠隔会議(ビデオ会議)に、電子黒板1cが途中参加する場合の例を説明する。また、電子黒板1aおよび電子黒板1bは、それぞれ図7に示されている「ページ1」~「ページ4」の画面データによって構成される描画画面情報を共有しているものとして説明する。さらに、電子黒板1aおよび電子黒板1bには、「ページ4」の画面データに対応する描画画面(例えば、図19(D)に示されている描画画面200d)が表示されているものとする。ここで、電子黒板1cは、通信端末の一例であり、電子黒板1aまたは電子黒板1bは、他の通信端末の一例である。
まず、電子黒板1aと電子黒板1bとの間で実施されている遠隔会議(ビデオ会議)へ途中参加する電子黒板1cの送受信部11cは、通信管理装置5に対して、実施(実行)されている遠隔会議への参加を要求する旨を示す会議参加要求を送信する(ステップS201)。ここで、電子黒板1cは、図12および図14を用いて説明した処理によって、セッションID「se01」における通信セッションが確立されるものとして説明する。
次に、通信管理装置5の送受信部51は、セッションID「se01」の通信セッションを用いて遠隔会議を実施(実行)している電子黒板1aへ、電子黒板1cが遠隔会議に参加したことを示す会議参加通知を送信する(ステップS202)。これにより、電子黒板1aの送受信部11aは、通信管理装置5から送信された会議参加通知を受信する。同様に、送受信部51は、電子黒板1bへ会議参加通知を送信する(ステップS203)。これにより、電子黒板1bの送受信部11bは、通信管理装置5から送信された会議参加通知を受信する。これによって、電子黒板1aの利用者A1、並びに電子黒板1bの利用者B1およびB2は、電子黒板1cが遠隔会議に参加してきたことを知ることができる。
次に、電子黒板1cの送受信部11cは、参加を要求した遠隔会議の情報を示す会議情報の取得を要求する旨を示す会議情報取得要求を、通信管理装置5に対して送信する(ステップS204)。これにより、通信管理装置5の送受信部51は、電子黒板1cから送信された会議情報取得要求を受信する。通信管理装置5の記憶・読出処理部59は、遠隔会議が行われている通信セッションのセッションIDを検索キーとして、描画画面情報管理DB5006(図11参照)を検索することにより、対応する会議情報を読み出す(ステップS205)。この場合、記憶・読出処理部59は、セッションID「se01」に対応する会議ID「se01」に関連づけられたデータを会議情報として読み出す。この会議情報には、会議によって生成されたページを示す情報(children(例えば、「pag01,pag02,pag03,pag04」))並びに電子黒板1に現在表示されている描画画面を構成するページを示す情報(current page(例えば、「pag04」))が含まれている。そして、通信管理装置5の送受信部51は、電子黒板1cに対して、ステップS205によって読み出された会議情報を送信する(ステップS206)。これにより、電子黒板1cの送受信部11cは、通信管理装置5から送信された会議情報を受信する。
次に、判断部15cは、送受信部11cによって受信された会議情報に基づいて、電子黒板1aおよび電子黒板1bとの間で共有するデータの優先度を特定する(ステップS207)。ここで、図22を用いて、電子黒板1cにおける共有データの優先度の特定処理について説明する。図22は、実施形態に係る電子黒板における共有データの優先度の特定処理の一例を示すフローチャートである。
まず、判断部15cは、会議情報に含まれている「current page」に示されているページIDを抽出する(ステップS207-1)。次に、判断部15cは、抽出したページIDによって識別されるページの画面データを、優先的に共有するデータとして特定する(ステップS207-2)。ここで、ステップS207-2によって特定される画面データは、電子黒板1aおよび電子黒板1bに現在表示されている描画画面を構成する画面データである。この場合、判断部15cは、例えば、「current page」に示されているページID「pag04」によって識別される「ページ4」の画面データを、優先的に共有するデータとして特定する。
次に、判断部15cは、会議情報に含まれている「children」に示されているページIDを抽出する(ステップS207-3)。そして、判断部15cは、ステップS207-3によって複数のページIDが抽出された場合(ステップS207-4のYES)、処理をステップS207-5へ移行させる。一方で、判断部15cは、ステップS207-3によって一つのページIDのみが抽出された場合(ステップS207-4のNO)、処理を終了する。すなわち、判断部15cは、ステップS207-3の処理によって、ステップS207-1によって抽出されたページID以外のページIDが抽出されたかどうかを判断する。
そして、判断部15cは、ステップS207-4によって抽出されたページIDによって識別される複数のページの画面データの優先順位を特定する(ステップS207-5)。この場合、優先的に共有するデータとして特定した画面データ以外の優先順位は、それぞれの画面データが生成された順番で特定されてもよいし、データ量が小さい順番に特定されてもよい。このように、電子黒板1cの判断部15cは、他の電子黒板1に現在表示されている描画画面を構成する画面データを、他の複数の画面データよりも優先的に共有するデータとして特定する。
図20に戻り、電子黒板1cの送受信部11cは、通信管理装置5に対して、判断部15cによって特定された優先的に共有する画面データを示すページ情報の取得を要求する旨を示すページ情報取得要求を送信する(ステップS208)。このページ情報取得要求には、判断部15cによって特定された優先的に共有する画面データのページを識別するためのページIDが含まれている。この場合、ページ情報取得要求には、ページID「pag04」が含まれている。なお、ページ情報取得要求には、図22に示されている処理によって特定された優先順位が対応づけられた他のページID(「pag01,pag02,pag03」)が含まれていてもよい。これにより、通信管理装置5の送受信部51は、電子黒板1cから送信されたページ情報取得要求を受信する。
次に、通信管理装置5の記憶・読出処理部59は、ステップS208によって受信されたページ情報取得要求に含まれているページIDを検索キーとして描画画面情報管理DB5006(図11参照)を検索することにより、対応するページ情報を読み出す(ステップS209)。この場合、記憶・読出処理部59は、ページID「pag04」に関連づけられたデータをページ情報として読み出す。このページ情報には、ページID「pag04」によって識別される「ページ4」を構成する背景画像データの保存位置を示すURLが含まれている。なお、ページ情報には、ステップS208によって受信された他のページIDによって識別されるページ(例えば、「ページ1」、「ページ2」、「ページ3」)を構成する背景画像データのURLが含まれていてもよい。そして、送受信部51は、電子黒板1cに対して、ステップS209によって読み出されたページ情報を送信する(ステップS210)。これにより、電子黒板1cの送受信部11cは、通信管理装置5から送信されたページ情報を受信する。
続いて、図21に示されているように、電子黒板1cの送受信部11cは、ステップS210によって受信された画像保存装置7に係るURLに対して、背景画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS211)。これにより、画像保存装置7の送受信部71は、電子黒板1cから送信された要求情報を受信する。次に、画像保存装置7の記憶・読出処理部79は、ステップS211によって受信されたURLに基づいて、記憶部7000から要求対象である背景画像データを読み出す(ステップS212)。そして、送受信部71は、要求元である電子黒板1cに対して、要求対象である背景画像データを送信する(ステップS213)。これにより、電子黒板1cの送受信部11cは、背景画像データのダウンロードを開始する。
また、電子黒板1cの送受信部11cは、通信管理装置5に対して、ストロークデータのダウンロードを要求する旨を示す要求情報を送信する(ステップS214)。これにより、通信管理装置5の送受信部51は、電子黒板1cから送信された要求情報を受信する。そして、通信管理装置5の記憶・読出処理部59は、ステップS210によって受信されたページ情報に示されているページIDを検索キーとして、描画画面情報管理DB5006(図11参照)を検索することにより、ページIDに関連づけられたストロークデータを読み出す(ステップS215)。この場合、記憶・読出処理部59は、ページID「pag04」が親(parent)であるストロークデータを読み出す。そして、送受信部51は、電子黒板1cに対して、ステップS215によって読み出されたストロークデータの送信を開始する(ステップS216)。これにより、電子黒板1cの送受信部11cは、ストロークデータのダウンロード(受信)を開始する。なお、ステップ211~213の処理、およびステップS214~216の処理の順序は前後してもよく、または並列して行われてもよい。
このように、電子黒板1cは、通信管理装置5から送信された会議情報に基づいて他の電子黒板である電子黒板1aおよび電子黒板1bに現在表示されている描画画面を構成する画面データを特定することによって、特定した画面データのダウンロードを優先的に開始することができる。
電子黒板1cの送受信部11cは、背景画像データのダウンロードが完了した場合、背景画像データのダウンロードが完了したことを示す背景画像データの送信完了通知を、画像保存装置7から受信する。また、電子黒板1cの送受信部11cは、複数のストロークデータのダウンロードが完了した場合、複数のストロークデータのダウンロードが完了したことを示すストロークデータの送信完了通知を受信する。ここで、背景画像データの送信完了通知は、背景画像データと同一のパケットで送信されてもよく、背景画像データとは別のパケットとして送信されてもよい。ストロークデータの送信完了通知の場合も同様である。
電子黒板1cの画像処理部16cは、送受信部11cによってストロークデータの送信完了通知が受信された場合、ダウンロードされたストロークデータに基づいて、ディスプレイ180に表示されるストローク画像を生成する(ステップS217)。この場合、画像処理部16cは、ダウンロードされた「ページ4」に対応するストロークデータに基づいて、ストローク画像st4(図19(D)参照)を生成する。
そして、表示制御部14cは、送受信部11cによって背景画像データの送信完了通知およびストロークデータの送信完了通知が受信された場合、ダウンロードされた背景画像データに係る背景画像および画像処理部16cによって生成されたストローク画像を含む描画画面を、ディスプレイ180に表示させる(ステップS218)。この場合、表示制御部14cは、ダウンロードされた「ページ4」に対応する背景画像データに係る背景画像v4および画像処理部16cによって生成されたストローク画像st4を含む描画画面200d(図19(D)参照)を、ディスプレイ180に表示させる。これにより、電子黒板1cは、電子黒板1aおよび電子黒板1bに現在表示されている描画画面を優先的に表示させることで、遠隔会議に途中参加する電子黒板1cの利用者が迅速に会議の話題へ追従させることができる。
なお、電子黒板1cは、上記の「ページ4」の画面データを構成する背景画像データおよびストロークデータのダウンロードの後、図22に示されている処理によって特定された優先順位に基づいて、残りの画面データのダウンロードを随時行う。また、電子黒板1cは、残りの画面データのダウンロードを、「ページ4」の画面データのダウンロードと並行して行ってもよい。
従来、複数の電子黒板1の間で行われている遠隔会議に途中参加する場合において、既に多くの背景画像等の画面データが共有されている場合、データの共有に時間が掛かり、途中参加するおいて、会議の内容を把握するのに時間を要していた。例えば、図19(A)~(D)に示されているような四つの描画画面が共有されており、図19(D)に示されているような描画画面200d(ページ4)が電子黒板1に表示されている場合、この状態で遠隔会議に途中参加する場合、途中参加する拠点の電子黒板1には、画面データの1ページ目から順番にデータの共有が行われるので、全てのデータの共有が完了するまで、途中参加する拠点の参加者は、他の電子黒板に現在表示されている描画画面200d(ページ4)の内容を把握することができず、会議の話題に加わることができなかった。
そこで、本実施形態に係る途中参加端末である電子黒板1cは、通信管理装置5によって管理されている遠隔会議の情報を示す会議情報に基づいて、電子黒板1aおよび電子黒板1bに現在表示されている描画画面を構成する画面データを特定し、特定した画面データのダウンロードを優先的に実行する。そのため、電子黒板1cは、遠隔会議を行っている他の電子黒板に現在表示されている描画画面を構成する画面データ(ページ)の情報を優先的に共有し、表示されていない描画画面を構成する画面データ(ページ)の情報の共有を後回しにすることで、全てのデータの共有が終わっていなくても途中参加した参加者が迅速に話題に追従することができる。これにより、通信システム1は、遠隔会議に途中参加する電子黒板1cに対して、他の電子黒板である電子黒板1aおよび電子黒板1bとの間で適切にデータを共有させることで、円滑なコミュニケーションに寄与することができるとともに、会議効率を向上させることができる。
なお、図20乃至図22において、電子黒板1aと電子黒板1bとの遠隔会議によって発生した背景画像データおよびストロークデータを、途中参加端末(電子黒板1c)に共有する場合の処理を説明したが、図20乃至図22に示されている処理は、遠隔会議への途中参加端末に対する処理に限られない。例えば、遠隔会議の開始前に開始端末(電子黒板1a)のディスプレイ180に表示されている背景画像データおよびストロークデータを、遠隔会議の開始時に宛先端末(電子黒板1bまたは電子黒板1c)に共有する場合においても同様の処理をおこなってもよい。この場合、開始端末と宛先端末との通信セッションの確立時に、開始端末が背景画像データおよびストロークデータをサーバシステム6にアップロードするとともに、宛先端末がサーバシステム6にアップロードされた背景画像データおよびストロークデータをダウンロードする。
また、上記説明において、電子黒板1cが共有データの優先度の特定を行う構成を示したが、共有データの優先度の特定処理は、通信管理装置5によって行われる構成であってもよい。この場合、通信管理装置5の判断部53は、ステップ205によって読み出された会議情報を用いて、図22に示されている共有データの優先度の特定処理を実行する。次に、通信管理装置5の記憶・読出処理部59は、判断部53によって特定された優先的に共有する画面データのページを識別するためのページIDを検索キーとして描画画面情報管理DB5006(図11参照)を検索することにより、対応するページ情報を読み出す。通信管理装置5の送受信部51は、電子黒板1cに対して、記憶・読出処理部59によって読み出されたページ情報を送信する。そして、電子黒板1cの送受信部11cは、受信されたページ情報に基づいて、図21に示されているステップ211以降の画面データのダウンロード処理を実行する。これにより、通信システム1は、通信管理装置5によって共有データの優先度を特定する場合においても、電子黒板1cに対して、遠隔会議を行っている他の電子黒板に現在表示されている描画画面(ページ)の情報を優先的に共有させることができる。
●まとめ●
以上説明したように、本発明の一実施形態に係る電子黒板1cは、他の通信端末(例えば、電子黒板1aまたは電子黒板1b)との間においてデータを共有する通信端末である。電子黒板1cは、他の通信端末との間で共有されるデータを管理する通信管理装置5に対して、他の通信端末との遠隔会議への参加を要求する参加要求を送信し、遠隔会議において他の通信端末によって生成された複数の画面データのうち、他の通信端末に表示されている描画画面(表示画面の一例)を構成する画面データを、通信管理装置5から受信する。そして、電子黒板1cは、受信された画面データに係る描画画面を、ディスプレイ180(表示部の一例)に表示させる。これにより、電子黒板1cは、他の通信端末に表示されている描画画面を構成する画面データを優先的にダウンロードすることで、電子黒板1cの利用者に迅速に遠隔会議の話題に参加させることできるとともに、円滑なコミュニケーションに寄与することができる。
また、本発明の一実施形態に係る電子黒板1c(通信端末の一例)は、他の通信端末(例えば、電子黒板1aまたは電子黒板1b)との遠隔会議への参加を要求する参加要求に応じて通信管理装置5から送信された、遠隔会議の情報を示す会議情報に基づいて、他の通信端末によって生成された複数の画面データのうち、他の通信端末に表示されている描画画面(表示画面の一例)を特定する。そして、電子黒板1cは、特定された描画画面を構成する画面データを示すページ情報を要求するページ情報取得要求(データ取得要求の一例)を、通信管理装置5に対して送信し、ページ情報取得要求に応じて通信管理装置5から送信されたページ情報を受信する。これにより、電子黒板1cは、通信管理装置5によって管理されている会議情報に基づいて他の通信端末に表示されている描画画面を特定することで、現在の遠隔会議の話題の内容である他の通信端末に現在表示されている描画画面を構成する画面データを、優先的に共有することができる。
さらに、本発明の一実施形態に係る電子黒板1c(通信端末の一例)は、通信管理装置5から送信された会議情報に示されている複数の画面データを識別するためのページ識別情報に基づいて、画面データに対応するデータをダウンロードする優先順位を特定する。これにより、電子黒板1cは、他の通信端末に現在表示されている描画画面を構成する画面データを優先的に共有し、表示されていない描画画面を構成する画面データの共有を後回しにすることで、全ての画面データの共有が終わっていなくても電子黒板1cの利用者に迅速に遠隔会議の話題に追従させることができる。
また、本発明の一実施形態に係る電子黒板1c(通信端末の一例)は、ダウンロードされたストロークデータを用いて生成されるストローク画像、および背景画像データを用いて生成される背景画像を、ディスプレイ180(表示部の一例)に表示させる。これにより、電子黒板1cは、他の通信端末に現在表示されている描画画面を優先的に表示させることで、電子黒板1cの利用者に迅速に会議の話題へ追従させることができる。
さらに、本発明の一実施形態に係る電子黒板1c(通信端末の一例)において、遠隔会議において他の通信端末によって生成された複数の画面データは、複数の他の通信端末(例えば、電子黒板1aおよび電子黒板1b)の間で共有されている画面データである。これにより、電子黒板1cは、遠隔会議を行っている他の電子黒板に現在表示されている描画画面を構成する画面データを優先的に共有することで、遠隔会議に途中参加した電子黒板1cの利用者に迅速に遠隔会議の話題に追従させることができるとともに、会議効率を向上させることができる。
●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを,事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
これまで本発明の一実施形態に係る通信端末、通信システム、データ共有方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
1a 電子黒板(他の通信端末の一例)
1b 電子黒板(他の通信端末の一例)
1c 電子黒板(通信端末の一例)
3 中継装置
5 通信管理装置
6 サーバシステム
7 画像保存装置
11a,11b 送受信部(通信手段の一例)
11c 送受信部(送信手段の一例、受信手段の一例)
14 表示制御部(表示制御手段の一例)
15 判断部(特定手段の一例)
180 ディスプレイ(表示部の一例)
特開2011-254453号公報 特開2015-70543号公報 特開2015-99424号公報

Claims (12)

  1. 他の通信端末との間において画像データ及びストロークデータを共有する通信端末であって、
    前記他の通信端末との間で共有される前記画像データ及び前記ストロークデータを管理する通信管理装置に対して、前記他の通信端末との遠隔会議への参加を要求する参加要求を送信する送信手段と、
    前記遠隔会議において前記他の通信端末によって生成された、前記画像データ及び前記ストロークデータにより構成される複数の画面データのうち、前記他の通信端末に表示されている表示画面を構成する画面データを、前記通信管理装置から受信する受信手段と、
    前記受信された前記画面データに係る表示画面を、表示部に表示させる表示制御手段と、
    前記参加要求に応じて前記通信管理装置から送信された前記遠隔会議の情報を示す会議情報に基づいて、前記他の通信端末によって生成された複数の画面データのうち、前記他の通信端末に表示されている表示画面を特定するとともに、前記会議情報に含まれる前記表示画面を構成する複数の前記画面データを識別する識別情報に基づいて、共有する画面データの優先度を特定する特定手段と、
    を備え
    前記送信手段は、前記優先度に応じて共有される前記表示画面に対応する画面データの取得を要求するデータ取得要求を、前記通信管理装置に対して送信し、
    前記受信手段は、前記データ取得要求に応じて前記通信管理装置から送信された前記画面データを受信する、
    通信端末。
  2. 前記特定手段は、前記優先度に応じて優先的に共有するデータとして特定した前記画面データ以外の優先度を、それぞれの画面データが生成された順番、又はデータ量が小さい順番、に特定する請求項1に記載の通信端末。
  3. 前記特定手段は、前記会議情報に示されている複数の前記画面データを識別するための識別情報に基づいて、前記他の通信端末に現在表示されている表示画面を特定する請求項1又は2に記載の通信端末。
  4. 前記特定手段は、前記会議情報に示されている前記識別情報に基づいて、前記画面データに対応するデータをダウンロードする優先順位を特定する請求項1乃至のいずれか一項に記載の通信端末。
  5. 前記画面データは、前記表示画面を構成するストロークデータを識別するストロークデータ識別情報を含み、
    前記受信手段は、受信された前記画面データに含まれているストロークデータ識別情報により識別されるストロークデータを、前記通信管理装置からダウンロードする請求項1乃至4のいずれか一項に記載の通信端末。
  6. 前記画面データは、前記表示画面を構成する背景画像に係る背景画像データを識別する画像データ識別情報を含み、
    前記受信手段は、受信された前記画面データに含まれている画像データ識別情報により識別される背景画像データを、当該背景画像データが記憶された画像保存装置からダウンロードする請求項1乃至5のいずれか一項に記載の通信端末。
  7. 請求項6に記載の通信端末であって、
    前記表示制御手段は、ダウンロードされた前記ストロークデータを用いて生成されるストローク画像、およびダウンロードされた前記背景画像データに係る背景画像を、表示部に表示させる通信端末。
  8. 前記遠隔会議において前記他の通信端末によって生成された複数の画面データは、複数の前記他の通信端末の間で共有されている画面データである請求項1乃至7のいずれか一項に記載の通信端末。
  9. 請求項に記載の通信端末と、前記他の通信端末と、
    前記通信管理装置と、前記画像保存装置と、を備える通信システム。
  10. 請求項9に記載の通信システムであって、
    前記他の通信端末は、
    前記画像保存装置に対して当該他の通信端末に表示された背景画像に係る前記背景画像データを送信するとともに、前記通信管理装置に対して当該他の通信端末によって描画されたストロークに係る前記ストロークデータを送信する通信手段を備える通信システム。
  11. 他の通信端末との間において画像データ及びストロークデータを共有する通信端末が実行するデータ共有方法であって、
    前記他の通信端末との間で共有される前記画像データ及び前記ストロークデータを管理する通信管理装置に対して、前記他の通信端末との遠隔会議への参加を要求する参加要求を送信する送信ステップと、
    前記遠隔会議において前記他の通信端末によって生成された、前記画像データ及び前記ストロークデータにより構成される複数の画面データのうち、前記他の通信端末に表示されている表示画面を構成する画面データを、前記通信管理装置から受信する受信ステップと、
    前記受信された前記画面データに係る表示画面を、表示部に表示させる表示制御ステップと、
    前記参加要求に応じて前記通信管理装置から送信された前記遠隔会議の情報を示す会議情報に基づいて、前記他の通信端末によって生成された複数の画面データのうち、前記他の通信端末に表示されている表示画面を特定するとともに、前記会議情報に含まれる前記表示画面を構成する複数の前記画面データを識別する識別情報に基づいて、共有する画面データの優先度を特定する特定ステップと、
    を実行し
    前記送信ステップにおいて、前記優先度に応じて共有される前記表示画面に対応する画面データの取得を要求するデータ取得要求を、前記通信管理装置に対して送信し、
    前記受信ステップにおいて、前記データ取得要求に応じて前記通信管理装置から送信された前記画面データを受信する、
    データ共有方法。
  12. コンピュータに、請求項11に記載の方法を実行させるプログラム。
JP2019149693A 2019-08-19 2019-08-19 通信端末、通信システム、データ共有方法およびプログラム Active JP7373712B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019149693A JP7373712B2 (ja) 2019-08-19 2019-08-19 通信端末、通信システム、データ共有方法およびプログラム
US16/989,889 US11416202B2 (en) 2019-08-19 2020-08-11 Communication terminal, communication system, method of sharing data, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019149693A JP7373712B2 (ja) 2019-08-19 2019-08-19 通信端末、通信システム、データ共有方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021033408A JP2021033408A (ja) 2021-03-01
JP7373712B2 true JP7373712B2 (ja) 2023-11-06

Family

ID=74645336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019149693A Active JP7373712B2 (ja) 2019-08-19 2019-08-19 通信端末、通信システム、データ共有方法およびプログラム

Country Status (2)

Country Link
US (1) US11416202B2 (ja)
JP (1) JP7373712B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022025652A (ja) 2020-07-29 2022-02-10 株式会社リコー 通信端末、通信システム、通信方法及びプログラム
US11553012B2 (en) * 2020-09-30 2023-01-10 Ringcentral, Inc. System and method of intelligently sharing conference content
US11539801B1 (en) * 2021-08-04 2022-12-27 Lemon Inc. Shared augmented reality sessions for rendering video effects
US11627182B2 (en) 2021-08-04 2023-04-11 Lemon Inc. Share based augmented reality content service system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192036A (ja) 2010-03-15 2011-09-29 Ricoh Co Ltd 画面共有システム、管理サーバ、情報処理装置、画面共有管理方法、プログラムおよび記録媒体
JP2013232124A (ja) 2012-04-27 2013-11-14 Ideep Solutions Corp 電子会議システム
JP2015099424A (ja) 2013-11-18 2015-05-28 株式会社リコー 情報処理端末、情報処理方法、プログラム、及び情報処理システム
JP2015103131A (ja) 2013-11-27 2015-06-04 株式会社リコー 端末装置、プログラム、画面共有方法及び画面共有システム
JP2015127944A (ja) 2013-11-28 2015-07-09 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム
WO2015129550A1 (ja) 2014-02-28 2015-09-03 株式会社リコー 伝送制御システム、伝送システム、伝送制御方法、及び記録媒体
JP2016171424A (ja) 2015-03-12 2016-09-23 株式会社リコー 通信システム、伝送端末、通信方法、プログラム
JP2016212482A (ja) 2015-04-30 2016-12-15 株式会社リコー 情報処理システム、情報取得方法、情報処理装置及びプログラム
JP2017134735A (ja) 2016-01-29 2017-08-03 株式会社リコー 情報処理装置、参加者数確認方法、プログラム及び情報処理システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8504624B2 (en) * 2009-09-08 2013-08-06 Ricoh Co., Ltd. Stroke and image aggregation and analytics
EP2355472B1 (en) * 2010-01-22 2020-03-04 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving handwriting animation message
JP2011254442A (ja) 2010-05-06 2011-12-15 Ricoh Co Ltd 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム
JP2012058799A (ja) 2010-09-06 2012-03-22 Ricoh Co Ltd 画像表示システム、画像表示方法およびプログラム
JP6343897B2 (ja) 2013-09-30 2018-06-20 株式会社リコー 伝送端末、伝送方法、及びプログラム
EP3072039B1 (en) * 2013-11-19 2019-08-14 Wacom Co., Ltd. Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication
EP3098717B1 (en) * 2014-01-22 2018-11-28 Ricoh Company, Limited Data transmission system, terminal device, program, and data transmission method
JP2015207819A (ja) * 2014-04-17 2015-11-19 株式会社リコー 情報処理装置、情報処理システム、通信制御方法およびプログラム
US20160036873A1 (en) * 2014-08-01 2016-02-04 Smart Technologies Ulc Custom input routing using messaging channel of a ucc system
JP5846270B2 (ja) 2014-09-04 2016-01-20 株式会社リコー 画像処理システム、情報処理装置
CN107534704B (zh) * 2015-05-07 2020-11-06 株式会社理光 一种经由通信网络连接的信息处理方法、设备和介质
JP6269609B2 (ja) * 2015-07-28 2018-01-31 株式会社リコー 情報処理装置、画像表示方法、通信システム、プログラム
US10868923B2 (en) 2018-11-30 2020-12-15 Ricoh Company, Ltd. Communication management system, communication system, communication control method, and recording medium

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192036A (ja) 2010-03-15 2011-09-29 Ricoh Co Ltd 画面共有システム、管理サーバ、情報処理装置、画面共有管理方法、プログラムおよび記録媒体
JP2013232124A (ja) 2012-04-27 2013-11-14 Ideep Solutions Corp 電子会議システム
JP2015099424A (ja) 2013-11-18 2015-05-28 株式会社リコー 情報処理端末、情報処理方法、プログラム、及び情報処理システム
JP2015103131A (ja) 2013-11-27 2015-06-04 株式会社リコー 端末装置、プログラム、画面共有方法及び画面共有システム
JP2015127944A (ja) 2013-11-28 2015-07-09 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム
WO2015129550A1 (ja) 2014-02-28 2015-09-03 株式会社リコー 伝送制御システム、伝送システム、伝送制御方法、及び記録媒体
JP2016171424A (ja) 2015-03-12 2016-09-23 株式会社リコー 通信システム、伝送端末、通信方法、プログラム
JP2016212482A (ja) 2015-04-30 2016-12-15 株式会社リコー 情報処理システム、情報取得方法、情報処理装置及びプログラム
JP2017134735A (ja) 2016-01-29 2017-08-03 株式会社リコー 情報処理装置、参加者数確認方法、プログラム及び情報処理システム

Also Published As

Publication number Publication date
US11416202B2 (en) 2022-08-16
JP2021033408A (ja) 2021-03-01
US20210055904A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
JP7373712B2 (ja) 通信端末、通信システム、データ共有方法およびプログラム
US11146695B2 (en) Communication management system, communication system, communication control method, and recording medium
JP7413693B2 (ja) 通信端末、通信システム、データ共有方法およびプログラム
JP7326963B2 (ja) 通信端末、通信システム、画像共有方法およびプログラム
JP7400345B2 (ja) 通信端末、通信システム、データ共有方法およびプログラム
JP6720513B2 (ja) 通信端末、通信システム、通信制御方法、及びプログラム
JP2020149338A (ja) 通信端末、通信システム、表示制御方法およびプログラム
JP6314539B2 (ja) 伝送端末、伝送システム、伝送方法及びプログラム
JP2022049507A (ja) 通信システム、通信端末、画面共有方法、及びプログラム
JP2021022041A (ja) 通信端末、通信システム、表示制御方法およびプログラム
JP7243323B2 (ja) 通信端末、通信システム、表示制御方法およびプログラム
JP7476586B2 (ja) 通信端末、通信システム、画面共有方法およびプログラム
JP7467986B2 (ja) 通信端末、通信システム、通信方法およびプログラム
JP7396136B2 (ja) 通信管理装置、通信システム、通信方法およびプログラム
JP7476596B2 (ja) 通信端末、方法、プログラム、およびシステム
JP2020198078A (ja) 情報処理装置、情報処理システム及び情報処理方法
JP7358934B2 (ja) 通信管理システム、通信システム、通信方法、及びプログラム
JP7476548B2 (ja) 通信端末、通信システム、表示方法、及びプログラム
JP7487542B2 (ja) 通信端末、通信システム、通信方法、プログラム
JP7215341B2 (ja) 通信端末、通信システム、表示制御方法およびプログラム
JP2022029341A (ja) 通信システム、通信端末、通信方法、及びプログラム
JP2021039617A (ja) 情報処理システム、情報処理装置、画像表示方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231002

R151 Written notification of patent or utility model registration

Ref document number: 7373712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151