JP7400345B2 - 通信端末、通信システム、データ共有方法およびプログラム - Google Patents

通信端末、通信システム、データ共有方法およびプログラム Download PDF

Info

Publication number
JP7400345B2
JP7400345B2 JP2019194952A JP2019194952A JP7400345B2 JP 7400345 B2 JP7400345 B2 JP 7400345B2 JP 2019194952 A JP2019194952 A JP 2019194952A JP 2019194952 A JP2019194952 A JP 2019194952A JP 7400345 B2 JP7400345 B2 JP 7400345B2
Authority
JP
Japan
Prior art keywords
image data
data
image
communication
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019194952A
Other languages
English (en)
Other versions
JP2021068346A (ja
Inventor
航太 長岡
寛 日野原
毅史 本間
滋 中村
佑一 河崎
将 小笠原
達朗 杉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019194952A priority Critical patent/JP7400345B2/ja
Priority to US17/068,851 priority patent/US20210126955A1/en
Priority to EP20203344.5A priority patent/EP3817326A1/en
Publication of JP2021068346A publication Critical patent/JP2021068346A/ja
Application granted granted Critical
Publication of JP7400345B2 publication Critical patent/JP7400345B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/401Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Description

本発明は、通信端末、通信システム、データ共有方法およびプログラムに関する。
インターネット等の通信ネットワークを介して遠隔地との間で通信する通信システムが普及している。当該通信システムとしては、例えば、遠隔会議を行う会議システムが挙げられる。一般的な会議システムにおいて、遠隔会議を行う当事者の一方が利用する通信端末側で保持または表示中の画像データを、通信ネットワークを介して当事者の他方が利用する通信端末に送信することで、画像データと音声データを共有することができる(特許文献1参照)。これにより、実際の会議に近い状態で遠隔地との会議を行うことができる。
また、一方の通信端末に入力された画像データを、他方の通信端末によってキャプチャ処理することによって、遠隔通信された画像データを双方の通信端末で保持することができる方法も知られている(特許文献2)。
しかしながら、従来の方法では、共有元の通信端末に入力された画像データは、圧縮されたデータとして共有先の通信端末へ送信される。そのため、共有先の通信端末には、共有元の通信端末に表示された画像と比較して低画質の画像が表示されるため、共有先の通信端末に表示された画像のキャプチャ処理を行った場合に、取得されるキャプチャ画像の画質が劣化してしまうという課題があった。
上述した課題を解決すべく、請求項1に係る発明は、他の通信端末との間でデータを共有する通信端末であって、前記他の通信端末に入力された第1の画像データが圧縮された第2の画像データに係る画像を表示部に表示させる表示制御手段と、表示された前記第2の画像データに係る画像に対するキャプチャ画像の取得要求を、前記他の通信端末との間で共有される共有データを管理するサーバへ送信する送信手段と、前記取得要求に応じて前記他の通信端末によって取得された、前記第1の画像データに係る画像のキャプチャ画像データを、前記サーバから受信する受信手段と、前記キャプチャ画像データが受信された場合、前記他の通信端末との間で共有される共有データを生成する共有データ生成手段と、表示された前記第2の画像データに係る画像に対するキャプチャ要求を受け付ける受付手段と、前記キャプチャ要求が受け付けられた場合、表示された前記第2の画像データに係る画像のキャプチャ画像データを取得する取得手段と、を備え、前記共有データ生成手段は、取得された前記第2の画像データに係る画像のキャプチャ画像データを含む前記共有データを生成し、前記送信手段は、前記キャプチャ要求が受け付けられた場合、前記取得要求を、前記サーバへ送信し、前記共有データ生成手段は、前記第1の画像データに係る画像のキャプチャ画像データが受信された場合、前記共有データに含まれる、前記第2の画像データに係る画像のキャプチャ画像データ、を前記第1の画像データに係る画像のキャプチャ画像データに差し替える通信端末である。
本発明によれば、他の通信端末から送信された画像データに対して取得されるキャプチャ画像の画質を向上させることができるという効果を奏する。
実施形態に係る通信システムにおける通信ルートの一例を示した概略図である。 実施形態に係る電子黒板の使用イメージについて説明するための図である。 実施形態に係る電子黒板のハードウエア構成の一例を示す図である。 実施形態に係る通信管理装置、中継装置および画像保存装置のハードウエア構成の一例を示す図である。 実施形態に係る通信システムのシステム構成の一例を示す図である。 実施形態に係る通信システムの機能構成の一例を示す図である。 実施形態に係る共有データの一例を概略的に説明するための図である。 (A)は実施形態に係る認証管理テーブルの一例を示す概念図であり、(B)は実施形態に係る端末管理テーブルの一例を示す概念図である。 (A)は実施形態に係る宛先リスト管理テーブルの一例を示す概念図であり、(B)は実施形態に係るセッション管理テーブルの一例を示す概念図であり、(C)は実施形態に係る中継装置管理テーブルの一例を示す概念図である。 実施形態に係る共有データ管理テーブルの一例を示す概念図である。 電子黒板間で遠隔通信を開始する準備段階の処理の一例を示すシーケンス図である。 電子黒板に表示される宛先リスト画面の一例を示す図である。 遠隔通信を開始する処理の一例を示すシーケンス図である。 実施形態に係る電子黒板間で背景画像データおよびストロークデータを共有する処理の一例を示すシーケンス図である。 実施形態に係る電子黒板間で背景画像データおよびストロークデータを共有する処理の一例を示すシーケンス図である。 (A)は電子黒板1aに表示される表示画面の一例を示す図であり、(B)は電子黒板1bに表示される表示画面の一例である。 実施形態に係る通信システムにおけるキャプチャ画像の取得処理の一例を示すシーケンス図である。 実施形態に係る電子黒板間において共有されたページの一例を示す図である。 実施形態に係る電子黒板におけるキャプチャ可否の選択処理の一例を示すフローチャートである。 (A)は電子黒板1aに表示されるキャプチャ可否選択画像の一例を示す図であり、(B)は電子黒板1bに表示されるキャプチャ拒否通知画像の一例を示す図である。 (A)および(B)は、電子黒板1aにおけるキャプチャ画像の加工処理について説明するための図である。 複数の電子黒板との間で背景画像を共有する場合に電子黒板1bに表示される表示画面の一例を示す図である。 実施形態に係る通信システムにおけるキャプチャ画像の取得処理の別の例を示すシーケンス図である。 電子黒板1bによって生成されるページについて説明するための図である。
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
●通信システムの概略●
●通信ルート
まず、図1を用いて、複数の電子黒板1a,1b間で描画しながらビデオ会議を行なうための通信システムについて説明する。図1は、実施形態に係る通信システムにおける通信ルートの一例を示した概略図である。なお、「ビデオ会議」は、「テレビ会議」、「遠隔会議」等と呼ばれる場合もある。また、「ビデオ会議」「テレビ会議」または「遠隔会議」の会議は、複数の端末の間で画像データおよびストロークデータを共有するセッションの一例である。例えば、画像データおよびストロークデータを共有するセッションは、遠隔授業、遠隔診察、打ち合わせ、単なる会話等を行う、会議以外のセッションであってもよい。また、画像データおよびストロークデータを共有するセッションは、一方向での情報の提示に使用されてもよい。
通信システムは、複数の電子黒板1a,1b、中継装置3、通信管理装置5および画像保存装置7によって構築されている。電子黒板1a,1bは、通話用の画像データおよび音データ、並びに、共有用の画像データおよびストロークデータ等のコンテンツデータの相互通信を行う。ストロークデータには、ストローク画像を再生(再現)するために必要なデータであり、座標データ、線の幅データ、線の色データ、ベクトルデータ等が含まれている。電子黒板1a,1bは、通話用の画像データおよび音データの送受信により、相手側の拠点の拠点画像および音を再生することで、遠隔ビデオ通話が可能となる。
電子黒板1a,1bは、共有用の背景画像の画像データを送受信することにより、通信システムを利用する参加者が、同じ背景画像を共有することができる。背景画像は、電子黒板1のディスプレイに表示された画像である。背景画像には、例えば、会議の資料等の電子ファイルがディスプレイ180に表示された資料画像が含まれている。背景画像の画像データは、例えば、JPEG(Joint Photographic Experts Group)等のファイル形式で送受信される。また、電子黒板1a,1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システムを利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等で手書きストロークにより描画された線等を示す画像である。ストローク画像は、ディスプレイ上の座標を特定する点を示すストロークデータによって表示される。
なお、通信システムは、二つの電子黒板1a,1bに限らず、三つ以上の電子黒板によって構築されてもよい。以降、電子黒板1a,1bの総称を示す場合は、「電子黒板1」と示す。また、電子黒板1は、通信機能、描画機能および表示機能等を備える通信端末の一例である。通信端末は、例えば、通信システムに対応するアプリケーションプログラムがインストールされたPC(Personal Computer)、スマートフォン、タブレット端末、スマートウォッチ、カーナビゲーション端末、ゲーム機またはテレプレゼンスロボット等であってもよい。さらに、通信端末は、医療機器であってもよい。医療機器の場合には、背景画像が患者の画像となる。
図1では、電子黒板1a,1bの一例としてビデオ会議機能が搭載された電子黒板が示されている。なお、拠点画像データに係る拠点画像は、動画であっても静止画であってもよい。
また、ビデオ会議の開始を要求する要求元としての電子黒板は「開始端末」と表され、要求先である宛先(中継先)としての電子黒板は「宛先端末」と表されている。図1では、電子黒板1aが開始端末として、電子黒板1bが宛先端末として表されている。ただし、電子黒板1bからビデオ会議の開始を要求する場合は、電子黒板1bが開始端末となり、電子黒板1aが宛先端末となる。なお、各電子黒板1a,1bは、複数の拠点間での通信や、同じ拠点内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内または屋外と屋外での通信で使われてもよい。
中継装置3は、コンピュータによって構成され、複数の電子黒板1a,1b間で、通話用のコンテンツデータを中継する処理を行なう。
通信管理装置5は、コンピュータによって構成され、電子黒板1a,1bからのログイン認証、電子黒板1a,1bの通信状況の管理、宛先リストの管理、および中継装置3の通信状況等を一元的に管理する。また、通信管理装置5は、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する。
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の背景画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。すなわち、画像保存装置7は、電子黒板1bからアップロードされた画像データを保存して、電子黒板1aにダウンロードする。
なお、中継装置3、通信管理装置5および画像保存装置7は、それぞれが単一のコンピュータによって構築されてもよいし、各装置の各部(機能または手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。ここで、通信管理装置5と画像保存装置7は、複数の電子黒板1a,1b間で共有されるデータを管理するサーバ6を構成する。このサーバ6は、通信管理装置5および画像保存装置7の各部(機能または手段)を備える単一のコンピュータによって構成されてもよい。また、画像保存装置7は、通信管理装置5に変わり、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する構成であってもよい。
また、通信システムにおいて、電子黒板1a,1bとの間では、通信管理装置5を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、電子黒板1a,1bとの間では、中継装置3を介して、高解像度の拠点画像データ、中解像度の拠点画像データ、低解像度の拠点画像データ、および音データの四つの各データを送受信するための四つのセッションが確立される。図1では、これら四つのセッションをまとめて、画像・音データ用セッションsedとして示している。なお、画像・音データ用セッションsedは、必ずしも四つのセッションである必要はなく、四つのセッション数より少ないまたは多いセッション数であってもよい。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、通信セッションを確立してもよい。さらに、通信システムにおいて、通信管理装置5が中継装置3の機能を有しており、通信管理装置5を介して電子黒板1a,1bとの間の画像・音データ用セッションsedが確立されてもよい。
さらに、通信システムにおいて、電子黒板1a,1bとの間では、管理情報用セッションseiを利用して、ストロークデータの送受信を行うことができる。
ここで、本実施形態で扱われる拠点画像データの画像の解像度について説明する。低解像度の拠点画像データは、例えば、横が160画素、縦が120画素から成り、ベース画像となる。中解像度の拠点画像データは、横が320画素、縦が240画素から成る。高解像度の拠点画像データは、例えば、横が640画素、縦が480画素から成る。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の拠点画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の拠点画像データ、および中解像度の拠点画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の拠点画像データ、中解像度の拠点画像データ、および高解像度の拠点画像データから成る高画質の画像データが中継される。音データは、拠点画像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。
●電子黒板の使用イメージ
図2は、実施形態に係る電子黒板の使用イメージについて説明するための図である。電子黒板1は、図2に示されているように、電子黒板1は、下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、および本体153の前面に設けられたディスプレイ180によって構成されている。本体153には、後述のCPU101等が内蔵されている。そして、利用者は、電子ペン190を用いて、ディスプレイ180に文字等のストローク画像を入力(描画)することができる。ディスプレイ180は、表示部の一例である。
●ハードウエア構成●
次に、図3および図4を用いて、通信システムを構成する各装置または端末のハードウエア構成について説明する。なお、図3および図4に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
●電子黒板のハードウエア構成
図3は、実施形態に係る電子黒板のハードウエア構成の一例を示す図である。図3に示されているように、電子黒板1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F(Interface)105、および外部機器接続I/F106を備えている。
これらのうち、CPU101は、電子黒板1全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM103は、CPU101のワークエリアとして使用される揮発性のメモリである。SSD104は、電子黒板用のプログラム等の各種データを記憶する大容量の記憶装置である。ネットワークI/F105は、電子黒板1を通信ネットワーク100に接続し、通信を行うための通信インターフェースである。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ130、外付け機器(マイク140、スピーカ150、カメラ160)である。
また、電子黒板1は、キャプチャデバイス111、GPU(Graphics Processing Unit)112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、近距離通信回路119のアンテナ119a、電源スイッチ122および選択スイッチ類123を備えている。
これらのうち、キャプチャデバイス111は、外付けのPC170のディスプレイ等に対して画像データ(画像情報)を静止画または動画として表示させる。GPU112は、グラフィクスを専門に扱う半導体チップ(プロセッサ)である。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ180等へ出力するために画面表示の制御および管理を行う。接触センサ114は、ディスプレイ180上に電子ペン190や利用者の手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。接触センサ114は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ180の上側両端部に設置された二つの受発光装置が、ディスプレイ180に平行して複数の赤外線を放射し、ディスプレイ180の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された二つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。電子ペンコントローラ116は、電子ペン190と通信することで、ディスプレイ180へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ122は、電子黒板1の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類123は、例えば、ディスプレイ180の表示の明暗や色合い等を調整するためのスイッチ群である。
さらに、電子黒板1は、バスライン110を備えている。バスライン110は、図3に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する二つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いてもよい。また、電子ペンコントローラ116が、電子ペン190のペン先およびペン尻だけでなく、電子ペン190の利用者が握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
●通信管理装置、中継装置、および画像保存装置のハードウエア構成
図4は、実施形態に係る通信管理装置、中継装置および画像保存装置のハードウエア構成の一例を示す図である。通信管理装置5の一例としてのコンピュータは、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk ReWritable)ドライブ514、メディアI/F516、およびバスライン510を備えている。
これらのうち、CPU501は、通信管理装置5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM503は、CPU501のワークエリアとして使用される揮発性のメモリである。HD504は、通信管理用プログラム等の各種データを記憶する大容量の記憶装置である。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。ネットワークI/F509は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。DVD-RWドライブ514は、DVD-RW513に対するデータの読み出しまたは書き込み(記憶)を制御する。なお、DVD-RW513は、DVD-R等であってもよい。また、DVD-RWドライブ514は、BD-RE(Blu-ray(登録商標) Disc Rewritable)またはCD-RW(Compact Disc-ReWritable)等のディスクに対するデータの読み出しまたは書き込み(記憶)を制御するブルーレイドライブまたはCD-RWドライブ等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出しまたは書き込み(記憶)を制御する。また、バスライン510は、図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
また、中継装置3は、一般的なコンピュータによって構築されており、図4に示されているように、CPU301、ROM302、RAM303、HD304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、キーボード311、ポインティングデバイス312、DVD-RWドライブ314、メディアI/F316およびバスライン310を備えている。これらは、それぞれ通信管理装置5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RWドライブ514、メディアI/F516、およびバスライン510と同様の構成であるため、説明を省略する。ただし、中継装置3の場合は、HD304に中継用プログラムが記憶されている。
さらに、画像保存装置7は、一般的なコンピュータによって構築されており、図4に示されているように、CPU701、ROM702、RAM703、HD704、HDDコントローラ705、ディスプレイ706、外部機器接続I/F708、ネットワークI/F709、キーボード711、ポインティングデバイス712、DVD-RWドライブ714、メディアI/F716およびバスライン710を備えている。これらは、それぞれ通信管理装置5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RWドライブ514、メディアI/F516、およびバスライン510と同様の構成であるため、説明を省略する。また、画像保存装置7の場合は、HD704に画像保存用プログラムが記憶されている。
また、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD、ブルーレイディスク、SDカード等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、電子黒板1は、本発明に係るプログラムが実行されることで本発明に係るデータ共有方法を実現する。
●通信システムの全体構成●
続いて、図5を用いて、通信システムの全体構成について説明する。図5は、実施形態に係る通信システムのシステム構成の一例を示す図である。
図5において、電子黒板1aは拠点A、電子黒板1bは拠点B、電子黒板1cは拠点Cに設置されている。例えば、拠点Aは日本の東京事業所で、拠点Bは中国の北京事業所である。拠点Aでは利用者A1が電子黒板1aを利用し、拠点Bでは利用者B1,B2が電子黒板1bを利用し、拠点Cでは利用者C1が電子黒板1cを利用しているものとする。
さらに、電子黒板1a,1b,1c、中継装置3、通信管理装置5、および画像保存装置7は、例えば、インターネットやLAN(Local Area Network)等の通信ネットワーク100を介して、相互にデータの送受信を行なうことができる。なお、通信ネットワーク100には、有線だけでなく、Wi-Fi(登録商標)等の無線による通信が行われる箇所があってもよい。
●通信システムの機能構成●
次に、図6乃至図10を用いて、本実施形態に係る通信システムの機能構成について説明する。図6は、実施形態に係る通信システムの機能構成の一例を示す図である。なお、図6では、図5に示されている各端末、装置およびサーバのうち、後述の処理または動作に関連しているものが示されている。
●電子黒板の機能構成
まず、図6を用いて、電子黒板1a,1b,1cの機能構成について説明する。なお、電子黒板1a,1b,1cが有している機能は同様であるため、ここでは、電子黒板1が有している機能として説明する。電子黒板1は、通信部11、受付部12、画像・音処理部13、表示制御部14、判断部15、画像処理部16、キャプチャ画像取得部17、共有データ生成部18、近距離通信部21、データ入力部22および記憶・読出処理部19を有している。これら各部は、図3に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能、または機能する手段である。また、電子黒板1は、図3に示されているRAM103、SSD104またはUSBメモリ130によって構築される記憶部1000を有している。
通信部11は、図3に示されているCPU101からの命令、およびネットワークI/F105によって実現され、通信ネットワーク100を介して、他の端末、装置またはシステムと各種データ(または情報)の通信を行う機能である。通信部11は、例えば、他の電子黒板1との間で共有する画面データを、通信管理装置5を介して送受信する。また、通信部11は、例えば、開始部としての役割も果たし、他の電子黒板1と通信を開始する処理を行う。さらに、通信部11は、例えば、ディスプレイ180に表示された背景画像に対するキャプチャ画像の取得要求を、通信管理装置5へ送信する。また、通信部11は、他の電子黒板1に表示された背景画像のキャプチャ画像データを、通信管理装置5から受信する。
受付部12は、図3に示されているCPU101からの命令、並びに接触センサ114および電子ペンコントローラ116によって実現され、利用者から電子ペン190等による各種入力を受け付ける。受付部12は、例えば、電子ペン190等をディスプレイ180に接触させて移動させることで、ストロークの入力を受け付ける。また、受付部12は、例えば、ディスプレイ180に表示された各種選択画面に対する選択を受け付ける。
画像・音処理部13は、図3に示されているCPU101からの命令によって実現され、ビデオ会議機能の主な処理を行う。画像・音処理部13は、例えば、マイク140の出力信号およびカメラ160の出力信号に共づき、拠点画像データおよび音データのエンコード等のデジタル処理を行う。また、画像・音処理部13は、例えば、通信部11で受信された拠点画像データおよび音データに基づき、画像信号を生成したり音信号を生成したりする。さらに、画像・音処理部13は、例えば、解像度の異なる拠点画像データを組み合わせる処理を行う。
表示制御部14は、図3に示されているCPU101からの命令、および図3に示されているディスプレイコントローラ113によって実現され、ディスプレイ180に画像信号等を出力するための制御を行う機能である。表示制御部14は、例えば、外部機器からデータ入力部22を介して入力された背景画像データに係る背景画像、または他の電子黒板1から送信された背景画像データに係る背景画像を、ディスプレイ180に表示させる。判断部15は、図3に示されているCPU101からの命令によって実現され、各種判断を行う機能である。
画像処理部16は、図3に示されているCPU101からの命令、およびキャプチャデバイス111によって実現され、電子黒板機能の主な処理を行う機能である。画像処理部16は、例えば、受付部12によって受け付けられた電子ペン190等のストロークに基づいてストロークデータおよびストローク画像を生成する。また、画像処理部16は、例えば、通信部11によって受信されたストロークデータに基づいてストローク画像を生成する。さらに、画像処理部16は、例えば、データ入力部22から入力された背景画像データに対するデータ圧縮処理を行う。また、画像処理部16は、例えば、キャプチャ画像取得部17によって取得されたキャプチャ画像に対する加工処理を行う。
キャプチャ画像取得部17は、図3に示されているCPU101からの命令によって実現され、ディスプレイ180に表示された背景画像のキャプチャ画像を取得する機能である。ここで、キャプチャとは、ディスプレイ180に表示されている背景画像であるテキスト、静止画、動画等の内容を画像として電子黒板1に記憶させる処理であり、キャプチャ画像とは、キャプチャ処理によって取得された画像である。
共有データ生成部18は、図3に示されているCPU101からの命令によって実現され、後述する図7に示すような共有データを生成する機能である。共有データとは、複数の電子黒板1の間で共有して記憶されるデータである。共有データには、背景画像のキャプチャ画像データおよびストロークデータが含まれている。
近距離通信部21は、図3に示されているCPU101からの命令、並びに近距離通信回路119およびアンテナ119aによって実行され、ICカードやスマートフォン等の近距離通信部を有する各端末との間で、近距離無線通信により、データの取得および提供を行なう機能である。
データ入力部22は、図3に示されているCPU101からの命令、および外部機器接続I/F106によって実現され、PC170またはUSB130等の外部機器からのデータ入力を受け付ける機能である。データ入力部22は、例えば、外部機器に記憶された画像データ(背景画像データ)の入力を受け付ける。
記憶・読出処理部19は、図3に示されているCPU101からの命令によって実行され、記憶部1000に各種データを記憶させ、または記憶部1000から各種データを読み出す機能である。記憶部1000には、他の端末との通信を行う際に受信される拠点画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の拠点画像データによってディスプレイ180に画像が表示され、上書きされる前の音データによってスピーカ150から音声が出力される。さらに、記憶部1000には、ディスプレイ180に描画されたストローク画像に係るストロークデータ、およびディスプレイ180に表示された背景画像のキャプチャ画像データが記憶される。
○共有データ情報
図7は、実施形態に係る共有データ情報の一例を概略的に説明するための図である。図7は、共有データ管理DB1001に記憶されている他の電子黒板1との間で共有されている共有データの状態の一例のイメージを示している。
図7の例では、描画画面は、「会議」、「ページ(ページ1~4)」、「ストローク(ストローク1~5)」の階層構造を有している。「ストローク」は、本実施形態に係るストロークデータに対応しており、「ページ」毎に管理されている。また、「ページ」とは、ディスプレイ180に表示された1ページの画面(表示画面)に係る画像データが記憶された状態を示す。さらに、「会議」とは、電子黒板1によって実行されている会議の情報を示す。例えば、ストローク1には、ストローク1を識別するためのストロークID(id=sr001)、ストローク1が存在するページ1を特定するための情報(parent=pag01)、描画データ1のgid(global id)「g001」、および描画データ1等が含まれている。例えば、ストローク1が表すストローク画像に対して、移動等の操作が行われると、ストロークID(id=sr001)は、そのまま引き継がれるが、描画データ1と描画データ1のgid「g001」は、更新される。描画データ1は、ストローク1を再現するための描画データである。描画データ1には、例えば、座標データ、線の幅データ、線の色データ、およびベクトルデータ等が含まれている。
電子黒板1は、ページの切り替えが可能であり、「ページ」は、電子黒板1の各ページに対応している。例えば、ページ1には、ページ1を識別するためのページID(id=pag01)、電子黒板1で実行されている「会議」を特定するための情報(parent=se01)、ページ(ページデータ)のgid「g01」、および画像データ1等が含まれている。画像データ1は、ページ1を構成する背景画像がキャプチャされたキャプチャ画像データである。すなわち、画像データ1は、ページ1に表示されている背景画像を示す。なお、ページには、画像データが含まれていなくてもよい。この場合、画像データが含まれているページは、背景画像を有していない(空白の背景である)ことを意味する。
「会議」は、電子黒板1で実行されている会議に対応しており、会議を識別するための会議IDおよび会議(会議情報)のgid「g1」によって管理されている。また、電子黒板1が他の電子黒板との遠隔通信を行っている場合、会議IDは、セッションを識別するためのセッションID(id=se01)に対応している。例えば、電子黒板1の画像処理部16は、ストローク1~5に含まれている描画データ1~5を用いて、ページ1に描画されたストローク画像を生成することができる。なお、各階層に示されいるgid(global id)は、他の電子黒板との間でデータの共有を行う際に、通信管理装置5によって採番される。また、図7に示されている共有データの階層構造は、複数の電子黒板1の間で共有される。
●中継装置の機能構成
続いて、図6を用いて、中継装置3の機能構成について説明する。中継装置3は、転送部を兼ねた通信部31、判断部35および記憶・読出処理部39を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD304からRAM303上に展開された中継用プログラムに従ったCPU501からの命令によって動作することで実現される機能、または機能する手段である。また、中継装置3は、図4に示されているRAM303、HD304または記録メディア315によって構築される記憶部3000を有している。
通信部31は、図4に示されているCPU301からの命令、およびネットワークI/F309によって実現され、通信ネットワーク100を介して、他の端末、装置またはシステムと各種データ(または情報)の送受信を行う機能である。また、通信部31は、転送部としての役割も果たし、所定の端末ら送信されて来た拠点画像データおよび音データを、他の端末に転送する。判断部35は、図4に示されているCPU301からの命令によって実現され、データの遅延状態等の判断等の各種判断を行なう機能である。
記憶・読出処理部39は、図4に示されているCPU301からの命令によって実行され、記憶部3000に各種データを記憶させ、または記憶部3000に記憶された各種データを読み出す機能である。
●通信管理装置の機能構成
続いて、図6を用いて、通信管理装置5の機能構成について説明する。通信管理装置5は、通信部51、認証部52、判断部53、端末管理部54、セッション管理部55、中継装置管理部56、共有データ管理部57および記憶・読出処理部59を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理用プログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、通信管理装置5は、図4に示されているRAM503、HD504または記録メディア515によって構築される記憶部5000を有している。
通信部51は、図4に示されているCPU501からの命令、およびネットワークI/F509によって実現され、通信ネットワーク100を介して、他の端末または装置と各種データ(または情報)の送受信を行う機能である。通信部51は、例えば、電子黒板1に対して、他の電子黒板1から送信されたストロークデータの送受信を行う。
認証部52は、図4に示されているCPU501からの命令によって実現され、ログイン要求元の認証を行う機能である。認証部52は、通信部51によってログイン要求情報を受信した場合、認証管理DB5001を用いて、ログイン要求元の認証処理を実行する。判断部53は、図4に示されているCPU501からの命令によって実現され、各種判断を行う機能である。
端末管理部54は、図4に示されているCPU501からの命令によって実現され、電子黒板1の状態に応じて、端末管理DB5002で管理されている電子黒板1に関する各種情報を管理する機能である。端末管理部54は、例えば、端末管理DB5002における稼動状態、受信日時、端末のIPアドレス等の情報を更新する。また、端末管理部54は、宛先リスト管理DB5003を管理し、電子黒板1からの要求に応じて、宛先リスト管理DB5003で管理されている宛先端末の端末IDを含む宛先リスト情報を提供する。
セッション管理部55は、図4に示されているCPU501からの命令によって実現され、通信システムで開催されるセッションを管理する機能である。セッション管理部55は、例えば、電子黒板1から通信の開始を要求する開始要求情報に応じて、セッションを識別するためのセッションIDを生成する。また、セッション管理部55は、例えば、セッションIDに対応づけて、セッションに関する各種情報をセッション管理DB5004に記憶させて管理する。
中継装置管理部56は、図4に示されているCPU501からの命令によって実現され、複数の中継装置3からセッションの中継に用いる中継装置3を選択する機能である。中継装置管理部56は、例えば、中継装置管理DB5005を管理し、中継装置管理DB5005に記憶されている各中継装置3に関する各種情報を用いて、中継装置3を選択する。中継装置管理部56は、例えば、中継装置管理DB5005に記憶されている各中継装置3のIPアドレスと、開始端末のIPアドレスとから、開始端末の近くにある中継装置3を選択する。また、中継装置管理部56は、例えば、中継装置管理DB5005に記憶されている各中継装置3の最大データ伝送速度等に基づいて、中継装置3を選択する。なお、本実施形態では、セッションの中継に用いる中継装置3の選択方法は任意の方法であって良い。また、通信システムが有する中継装置3の数は、一つであってもよい。
共有データ管理部57は、図4に示されているCPU501からの命令によって実現され、各電子黒板1(通信端末)の間で送受信される共有データに関する各種データを管理する機能である。共有データ管理部57は、例えば、セッションに参加している電子黒板1から、セッションseiで送信されるストロークデータおよび背景画像のキャプチャ画像データを、セッションIDと関連づけて、共有データ管理DB5006に記憶して管理する。
記憶・読出処理部59は、図4に示されているCPU501からの命令によって実行され、記憶部5000に各種データを記憶させ、または記憶部5000に記憶された各種データを読み出す機能である。
○認証管理テーブル
図8(A)は、実施形態に係る認証管理テーブルの一例を示す概念図である。記憶部5000には、図8(A)に示されているような認証管理テーブルによって構成されている認証管理DB5001が構築されている。この認証管理テーブルでは、通信管理装置5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連づけられて管理される。例えば、図8(A)に示されている認証管理テーブルにおいて、電子黒板1a(通信端末)の端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。なお、パスワードは認証情報の一例であり、認証情報にはアクセストークンも含まれる。
○端末管理テーブル
図8(B)は、実施形態に係る端末管理テーブルの一例を示す概念図である。記憶部5000には、図8(B)に示されているような端末管理テーブルによって構成されている端末管理DB5002が構築されている。この端末管理テーブルでは、各電子黒板1(通信端末)を識別するための端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理装置5で受信された受信日時、および各電子黒板1(通信端末)のIPアドレスが関連づけられて管理される。例えば、図8(B)に示されている端末管理テーブルにおいて、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「Online(通信可能)」で、通信管理装置5でログイン要求情報が受信された日時が「2019年2月10日の13時40分」で、この端末1aaのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名、および端末のIPアドレスは、各電子黒板1が、通信管理装置5によるサービスの提供を受けるために事前登録する際に記憶される。
○宛先リスト管理テーブル
図9(A)は、実施形態に係る宛先リスト管理テーブルの一例を示す概念図である。記憶部5000には、図9(A)に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5003が構築されている。この宛先リスト管理テーブルでは、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連づけられて管理される。例えば、図9(A)に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補は、端末IDが「01ba」の電子黒板1b等であることが示されている。この宛先端末の候補は、任意の開始端末から通信管理装置5に対する追加または削除の要請により、追加または削除されることで更新される。
なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、端末ID等の宛先に関する情報が羅列されていてもよい。
○セッション管理テーブル
図9(B)は、実施形態に係るセッション管理テーブルの一例を示す概念図である。記憶部5000には、図9(B)に示されているようなセッション管理テーブルによって構成されているセッション管理DB5004が構築されている。このセッション管理テーブルでは、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するためのセッションID毎に、使用される中継装置3の中継装置ID、電子黒板1(開始端末)の端末ID、電子黒板1(宛先端末)の端末ID、宛先端末において拠点画像データが受信される際の受信の遅延時間(ms)、およびこの遅延時間が示されている遅延情報を宛先端末から送られて来て通信管理装置5で受信された受信日時が関連づけられて管理される。例えば、図9(B)に示されているセッション管理テーブルにおいて、セッションID「se01」を用いて実行された通信セッションで、中継装置(中継装置ID「111a」)は、端末IDが「01aa」の電子黒板と、端末IDが「01db」の電子黒板との間で、拠点画像データおよび音データを中継しており、電子黒板(宛先端末)において「2019年2月10日の13時41分」時点における拠点画像データの遅延時間が200(ms)であることが示されている。
○中継装置管理テーブル
図9(C)は、実施形態に係る中継装置管理テーブルの一例を示す概念図である。記憶部5000には、図9(C)に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5005が構築されている。この中継装置管理テーブルでは、中継装置3の中継装置ID毎に、各中継装置3の稼動状態、稼動状態が示される状態情報が通信管理装置5で受信された受信日時、中継装置3のIPアドレス、および、中継装置3における最大データ伝送速度(Mbps)が関連づけられて管理される。例えば、図9(C)に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置3は、稼動状態が「Online」で、通信管理装置5で状態情報が受信された日時が「2019年2月10日の13時30分」で、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。
○共有データ管理テーブル
図10は、実施形態に係る共有データ管理テーブルの一例を示す概念図である。記憶部5000には、図10に示されているような共有データ管理テーブルによって構成されている共有データ管理DB5006が構築されている。この共有データ管理テーブルには、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するためのセッションID毎に、複数の電子黒板1の間で共有して記憶されている共有データに関する各種データが記憶されて管理されている。共有データ管理テーブルに示されているデータは、各電子黒板1の共有データ管理DB1001に記憶されている共有データの状態(図7参照)に対応している。
共有データ管理テーブルに示されているデータには、各データを識別するためのID、各データの発生順序を示すシーケンス番号、データの内容を示す情報(body)、並びに親となるデータを特定するための情報(parent)が含まれている。例えば、複数の電子黒板1によって実行されている遠隔会議を示す会議データの場合、共有データ管理テーブルには、実行されている会議を識別するための会議ID(セッションID)、会議によって生成されたページを示す情報(children)並びに電子黒板1に現在表示されている表示画面を構成するページを示す情報(current page)が含まれている。また、例えば、ページデータの場合、共有データ管理テーブルには、ページ(ページデータ)を識別するためのページID、該当するページを構成する背景画像データの記憶位置を示すURL(Uniform Resource Locator)が含まれている。
さらに、例えば、ストロークデータの場合、共有データ管理テーブルには、「ストローク描画」イベントによって生成されたストロークデータを識別するためのストロークID、ストロークデータの内容を示す情報、および親となるページ(ページデータ)を特定するための情報(parent)が含まれている。この場合、ストロークデータの内容を示す情報(body)には、描画されたストロークの色、描画されたストロークの線の太さを示す幅、および描画されたストロークの頂点(x,y)の情報が含まれている。
ここで、「ストローク描画」は、利用者による描画情報の入力処理であり、例えば、利用者が電子ペン190をディスプレイ180に押し付け、この状態で電子ペン190を移動させ、ディスプレイ180から電子ペン190を離すまでのイベントである。また、ストロークの色は、RGBA(Red Green Blue Alpha)のデータ形式で、各要素が0-255の数値で表される。さらに、描画されたストロークの線の太さの幅は、ピクセル数で表される。また、描画されたストロークの頂点は、XY座標で表され、それぞれの頂点をベジェ曲線で結ぶとストロークを示す線分となる。この共有データ管理テーブルにより、通信管理装置5は、特定の通信セッションを用いたビデオ会議等によって発生したストロークデータを含む表示画面に関する各種データを管理することができる。
●画像保存装置の機能構成
次に、図6を用いて、画像保存装置7の機能構成について説明する。画像保存装置7は、通信部71、生成部73および記憶・読出処理部79を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD704からRAM703上に展開された画像保存用プログラムに従ったCPU701からの命令によって動作することで実現される機能、または機能する手段である。また、画像保存装置7は、図4に示されているRAM703、HD704または記録メディア715によって構築される記憶部7000を有している。
通信部71は、図4に示されているCPU701からの命令、およびネットワークI/F709によって実現され、通信ネットワーク100を介して、他の端末または装置と各種データ(または情報)の送受信を行う機能である。生成部73は、図4に示されているCPU701からの命令によって実現され、背景画像データの記憶位置を示すURLを生成する機能である。記憶・読出処理部79は、図4に示されているCPU701からの命令によって実行され、記憶部7000に各種データを記憶させ、または記憶部7000に記憶された各種データを読み出す機能である。
●実施形態の処理または動作●
続いて、図11乃至図25を用いて、本実施形態に係る通信システムにおける処理または動作を説明する。
●遠隔通信の準備段階の処理
続いて、図11および図12を用いて、ログイン要求端末としての電子黒板1aが行なう通信の準備処理を説明する。図11は、電子黒板間で遠隔通信を開始する準備段階の処理の一例を示すシーケンス図である。図12は、電子黒板に表示される宛先リスト画面の一例を示す図である。なお、電子黒板1bがログイン共有を行う処理も電子黒板1aの処理と同様であるため、説明を省略する。
まず、電子黒板1aで電源スイッチ122がONされると、受付部12aが、電源ONを受け付ける(ステップS11)。
次に、通信部11aは、通信ネットワーク100を介して、通信管理装置5へログイン認証の要求を示すログイン要求情報を送信する(ステップS12)。このログイン要求情報には、電子黒板1aの端末IDおよびパスワードが含まれている。これら端末IDおよびパスワードは、記憶・読出処理部19aによって記憶部1000aから読み出されて、通信部11aに送られたデータである。なお、これら端末IDおよびパスワードは、これに限るものではなく、利用者がキーボード等の入力手段によって入力した端末IDやパスワードが送信されてもよい。また、電子黒板1aに接続されたSIM(Subscriber Identity Module Card)カードやSDカード等の記録媒体から読み出された端末IDやパスワードが送信されてもよい。これにより、通信管理装置5の通信部51は、電子黒板1aから送信されたログイン要求情報を受信する。
次に、通信管理装置5の認証部52は、通信部51を介して受信したログイン要求情報に含まれている端末IDおよびパスワードを検索キーとして、認証管理テーブル(図8(A)参照)を検索する。また、認証部52は、ログイン要求情報に含まれている端末IDおよびパスワードの組み合わせが、認証管理テーブルで管理されている場合、電子黒板1aのログインを許可する(ステップS13)。ここで、ログイン要求情報に含まれている端末IDおよびパスワードの組合せが、認証管理テーブルで管理されている場合、ステップS14以降の処理が実行される。
電子黒板1aのログインが許可された場合、端末管理部54は、端末管理テーブル(図8(B)参照)において、電子黒板1aの端末ID「01aa」に対応する情報を更新する。例えば、端末管理部54は、端末ID「01aa」に対応する「稼動状態」の情報を「Online(通信可能)」」に変更するとともに、「受信日時」の情報を、ログイン要求情報を受信した日時に更新する(ステップS14)。なお、端末のIPアドレスの情報は、事前に登録されているのではなく、上記ステップS12で電子黒板1aから送信されたIPアドレスを用いるようにしても良い。これにより、端末管理テーブルには、例えば、図8(B)に示されているように端末ID「01aa」に、稼動状態「Online(通信可能)」、受信日時「2019.2.10.13:40」およびIPアドレス「1.2.1.3」が関連づけて管理されることになる。
次に、セッション管理部55は、ステップS12で受信された電子黒板1aの端末ID「01aa」を、「開始端末の端末ID」とする新しいレコードを、セッション管理テーブル(図9(B)参照)に追加して管理する(ステップS15)。そして、通信部51は、ステップ13の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク100を介して、上記ログイン要求してきた電子黒板1aへ送信する(ステップS16)。
電子黒板1a(ログイン要求端末)の通信部11aは、ログインが許可されたことを示す認証結果情報を受信すると、通信ネットワーク100を介して通信管理装置5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS17)。これにより、通信管理装置5の通信部51は、宛先リスト要求情報を受信する。
次に、端末管理部54は、電子黒板1a(ログイン要求端末)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図9(A)参照)を検索し、電子黒板1aと通信することができる宛先候補の端末IDを読み出す。また、端末管理部54は、端末管理テーブル(図8(B))から、宛先候補の端末IDに対応する宛先名を読み出す(ステップS18)。ここでは、電子黒板1aの端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。
次に、通信部51は、記憶・読出処理部59を介して、例えば、記憶部5000から宛先リスト枠のデータおよび稼動状態を示すアイコンのデータ等を読み出す(ステップS19)。また、通信部51は、読み出した宛先リスト枠およびアイコン、並びにステップS18で抽出した端末IDおよび宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、電子黒板1aへ送信する(ステップS20)。これにより、電子黒板1aは、通信部11aが宛先リスト情報を受信し、記憶・読出処理部19aが記憶部1000aに、受信した宛先リスト情報を記憶する(ステップS21)。
このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理装置5が全ての端末の宛先リスト情報を一元管理している。よって、通信システムに新たな電子黒板1が含まれるようになったり、既に含まれている端末に替えて新機種の端末を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、本実施形態に係る通信システムは、通信管理装置5側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。
また、端末管理部54は、ステップ18で抽出した宛先候補の端末IDを検索キーとして、端末管理テーブル(図8(B)参照)を検索し、宛先候補の端末ID毎に、対応する稼動状態を読み出す。これにより、端末管理部54は、宛先候補の端末IDに対応する各電子黒板1の各稼動状態を取得する(ステップS22)。
次に、通信部51は、ステップS22で検索キーとして使用された端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク100を介して、電子黒板1aに送信する(ステップS23)。
次に、電子黒板1aの記憶・読出処理部19aは、順次、通信管理装置5から受信した端末の状態情報を記憶部1000aに記憶する(ステップS24)。よって、電子黒板1aは、上記各電子黒板の状態情報を受信することで、電子黒板1aと通信することができる宛先候補である電子黒板1b等の現時点のそれぞれの稼動状態を取得することができる。
次に、表示制御部14aは、記憶部1000aに記憶されている宛先リスト情報、および端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成する。また、表示制御部14aは、作成した宛先リストを用いて、電子黒板1aのディスプレイ180に対して、図12に示されているような宛先リスト画面800を表示させる(ステップS25)。この宛先リスト画面800には、宛先候補毎に、稼動状態を示すアイコン、端末ID、および宛先名が表示されている。図12では、各端末の稼動状態を示したアイコンが、上から「Offline」、「Online(通信可能)」として表示されている。
一方、通信管理装置5の端末管理部54は、電子黒板1aの端末ID「01aa」に基づいて宛先リスト管理テーブル(図9(A)参照)を検索することにより、電子黒板1aを宛先候補として登録している他の端末の端末IDを抽出する(ステップS26)。図9(A)に示されている宛先リスト管理テーブルでは、読み出される他の端末の端末IDは、「01ba」、「01ca」、「01da」等である。
次に、端末管理部54は、電子黒板1aの端末ID「01aa」に基づいて端末管理テーブル(図8(B)参照)を検索し、電子黒板1aの稼動状態を取得する(ステップS27)。
そして、通信部51は、ステップS26で抽出された端末IDに係る端末のうち、端末管理テーブル(図8(B)参照)で稼動状態が「Online」となっている端末に、ステップS27で取得された電子黒板1aの端末ID「01aa」と稼動状態「Online」が含まれる「端末の状態情報」を送信する(ステップS28)。なお、通信部51が電子黒板1bに端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル(図8(B)参照)で管理されている電子黒板のIPアドレスを参照する。これにより、電子黒板1aを宛先候補として通信することができる他の宛先端末のそれぞれに、電子黒板1aの端末ID「01aa」、および稼動状態「Online」を伝えることができる。よって、宛先候補(電子黒板1b等)においても、宛先候補の状態を表示させることができる(ステップS29)。
●遠隔通信の開始処理
続いて、図13を用いて、電子黒板1aが電子黒板1bに対して遠隔通信を開始する処理を説明する。図13は、遠隔通信を開始する処理の一例を示すシーケンス図である。
まず、開始端末(電子黒板1a)の利用者A1が図12に示されている宛先候補(端末ID「01ba」)を押下して電子黒板1bを選択すると、受付部12aは、宛先端末(電子黒板1b)との通話を開始する要求を受け付ける(ステップS31)。そして、開始端末(電子黒板1a)の通信部11aは、通信管理装置5に対して、通話を開始したい旨を示す開始要求情報を送信する(ステップS32)。この開始要求情報には、開始端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」が含まれている。これにより、通信管理装置5の通信部51は、上記開始要求情報を受信すると共に、送信元である開始端末(電子黒板1a)のIPアドレスを受信する。
そして、端末管理部54は、開始要求情報に含まれる開始端末(電子黒板1a)の端末ID「01aa」および宛先端末(電子黒板1b)の端末ID「01ba」に基づき、端末管理テーブル(図8(B)参照)を更新する。例えば、端末管理部54は、開始要求情報に含まれる開始端末の端末ID「01aa」、宛先端末の端末ID「01ba」に基づき、端末管理テーブルにおいて、端末ID「01aa」、「01ba」に対応する「稼動状態」を「オンライン(通信中)」に更新する。なお、この状態では、開始端末である電子黒板1a、および宛先端末である電子黒板1bは、セッションに参加していないが、通信中状態として管理する(ステップS33)。なお、この状態では、開始端末(電子黒板1a)、および宛先端末(電子黒板1b)は、ビデオ会議を開始していないが、通話中状態となり、第3の電子黒板(例えば、途中参加端末)が開始端末(電子黒板1a)または宛先端末(電子黒板1b)と通話しようとする(途中参加しようとする)と、いわゆる通話中状態を示す旨の通知音または表示が出力される。
次に、実際に利用される中継装置3を選択するためのセッションを実行する処理を説明する。まず、通信管理装置5のセッション管理部55は、電子黒板1aと電子黒板1bとの間で開催されるセッションを識別するためのセッションIDを生成する(ステップS34)。ここでは、セッションID「se01」が生成された場合について説明する。
そして、セッション管理部55は、セッション管理テーブル(図9(B)参照)に、ステップS34で生成されたセッションID「se01」、開始端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」を関連づけて記憶して管理する(ステップS35)。
次に、中継装置管理部56は、開始端末(電子黒板1a)と宛先端末(電子黒板1b)との間のセッションを中継する中継装置3を選択する(ステップ36)。例えば、中継装置管理部56は、中継装置管理テーブル(図9(C)参照)において稼動状態が「Online」の中継装置3に係る中継装置IDのうち、端末管理テーブル(図8(B)参照)において開始端末(電子黒板1a)のIPアドレスに近いIPアドレスの中継装置3を選択する。ここでは、中継装置ID「111a」の中継装置3が選択された場合について、以降、続けて説明する。
以上のステップS36における中継装置の選択の処理が終了すると、通信管理装置5の通信部51は、開始端末(電子黒板1a)に対して、中継装置選択情報を送信する(ステップS37-1)。この中継装置選択情報には、ステップS36で選択された中継装置3のIPアドレス、およびステップS34で生成されたセッションID「se01」が含まれている。これにより、開始端末(電子黒板1a)は、中継装置選択情報の送信元である通信管理装置5のIPアドレスを取得することができる。
さらに、通信管理装置5の通信部51は、宛先端末(電子黒板1b)に対して、中継装置選択情報を送信する(ステップS37-2)。この中継装置選択情報には、ステップS36で選択された中継装置3のIPアドレス、開始端末(電子黒板1a)の端末ID「01aa」、およびステップS34で生成されたセッションID「se01」が含まれている。これにより、宛先端末(電子黒板1b)は、セッションID「se01」におけるセッションの実行において、中継装置選択情報の送信元である通信管理装置5のIPアドレスを取得することができる。
次に、開始端末(電子黒板1a)の通信部11は、通信管理装置5に対して、ステップS37-1の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38-1)。この受信完了情報には、ステップS37-1の処理で送受信されたセッションIDが含まれている。これにより、通信管理装置5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
さらに、宛先端末(電子黒板1b)は、同様に通信管理装置5へ、ステップS37-2の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38-2)。この場合も、通信管理装置5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
以上により、電子黒板1a,1bは、ステップS36で選択された中継装置3を介して、拠点画像データおよび音データを送受信することで、ビデオ会議を行うことができる。
●電子黒板間での画面共有処理
続いて、図14乃至図16を用いて、複数の電子黒板1の間で画面共有を行う場合の処理について説明する。図14および図15は、実施形態に係る電子黒板間で背景画像データおよびストロークデータを共有する処理の一例を示すシーケンス図である。ここでは、電子黒板1aと電子黒板1bの間で背景画像データおよびストロークデータを含む画面データを共有する場合であって、電子黒板1aで表示された背景画像およびストローク画像が、電子黒板1bにも表示される場合について説明する。なお、電子黒板1aで表示された背景画像およびストローク画像を電子黒板1aにも表示される場合について同様に処理が行われる。
まず、拠点Aの電子黒板1aの表示制御部14aは、ディスプレイ180に背景画像を表示させる(ステップS101)。具体的には、電子黒板1aのデータ入力部22aは、PC170等の外部機器から所定の画像データの入力を受け付ける。そして、表示制御部14aは、データ入力部22aによって入力された画像データである背景画像データに係る背景画像を、ディスプレイ180に表示させる。
次に、電子黒板1aの利用者A1が所定の入力操作を行うと、受付部12aは、背景画像の共有処理を受け付ける(ステップS102)。そして、画像処理部16aは、電子黒板1aのディスプレイ180に表示されている背景画像に係る背景画像データの圧縮処理を行う(ステップS103)。複数の電子黒板1の間における画面共有は、リアルタイム性が要求されるため、データサイズの大きい画像データの送受信を行うと、データ共有が完了するまでに時間を要する。そのため、電子黒板1aは、相手方の電子黒板1bへデータ送信を行う前に、送信するデータの圧縮処理を行い、データサイズを小さくする。
次に、電子黒板1aの通信部11aは、画像保存装置7に対して、背景画像データのアップロード要求を送信する(ステップS104)。このアップロード要求には、画像処理部16aによって圧縮された背景画像データを含まれている。この場合、通信部11aは、例えば、予め定められた所定のアップロード用のURL(例えば、「http://○○○.jp/upload」)に対して、背景画像データのアップロード要求を送信する。これにより、画像保存装置7の通信部71は、アップロード要求を受信する。
次に、画像保存装置7の記憶・読出処理部79は、記憶部7000に対して、ステップS103で受信された背景画像データを記憶する(ステップS105)。また、生成部73は、ステップS104で記憶された背景画像データの記憶位置を示すURLを生成する(ステップS106)。ここで、URLは記憶位置情報の一例であり、記憶位置情報にはURI(Uniform Resource Identifier)も含まれる。そして、通信部71は、電子黒板1aに対して、背景画像データのアップロードが完了した旨を示すアップロード完了通知を送信する(ステップS107)。このアップロード完了通知には、ステップS105で生成されたURLが含まれている。これにより、電子黒板1aの通信部11aは、画像保存装置7から送信されたアップロード完了通知を受信する。
次に、電子黒板1aの通信部11aは、通信管理装置5に対して、背景画像の画像データのアップロードが完了した旨を示す完了通知を送信する(ステップS108)。この完了通知には、ステップS107で受信された背景画像データのURLが含まれている。これにより、通信管理装置5の通信部51は、完了通知を受信する。そして、通信部51は、相手側の電子黒板1bに対して、URLを含む完了通知を転送する(ステップS109)。これにより、電子黒板1bの通信部11bは、完了通知を受信する。
次に、電子黒板1bの通信部11bは、ステップS109で受信した画像保存装置7に係るURLに対して、背景画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS110)。これにより、画像保存装置7の通信部71は、要求情報を受信する。
次に、画像保存装置7では、記憶・読出処理部79がURLに基づいて、記憶部7000から要求対象である背景画像データを読み出す(ステップS111)。そして、通信部71が、要求元である電子黒板1bに対して、要求対象である背景画像データを送信する(ステップS112)。これにより、電子黒板1bの通信部11bは、背景画像データのダウンロード(受信)を行う。そして、電子黒板1bの表示制御部14bは、ダウンロード(受信)された背景画像データに係る背景画像を、ディスプレイ180に表示させる(ステップS113)。
続いて、図15を用いて、電子黒板1aによって作成されたストロークデータを電子黒板1bと共有する場合の処理について説明する。まず、拠点Aでは、利用者A1が電子ペン190や手Hを電子黒板1aのディスプレイ180上に接触して移動させることで、受付部12aは、移動のストローク(軌跡)の入力を受け付ける(ステップS121)。そして、画像処理部16aは、入力されたストロークに基づいて、二次元のディスプレイ180上にストローク画像を表示させるためのストロークデータ(例えば、座標データ(x,y))を作成する(ステップS122)。そして、表示制御部14aは、電子黒板1aのディスプレイ180上にストローク画像を表示させる(ステップS123)。
次に、通信部11aは、通信管理装置5に対して、ステップS122で作成されたストロークデータを送信する(ステップS124)。これにより、通信管理装置5の通信部51aは、電子黒板1aから送信されたストロークデータを受信する。そして、通信管理装置5の記憶・読出処理部59は、共有データ管理DB5006(図10参照)に、ステップS124で受信されたストロークデータを記憶する(ステップS125)。この場合、記憶・読出処理部59は、図10に示されているように、通信部51によって受信されたストロークデータを、発生順(シーケンス順)に、遠隔会議が実行されている会議の会議IDに関連づけて共有データ管理テーブルに記憶する。
次に、通信部51は、相手方の電子黒板1bに対して、ストロークデータを転送する(ステップS126)。これにより、電子黒板1bの通信部11bは、通信管理装置5から送信されたストロークデータを受信する。そして、電子黒板1bの画像処理部16bは、ステップS126で受信されたストロークデータに基づいて、ストローク画像を生成する(ステップS127)。そして、表示制御部14bは、ステップS127で生成されたストローク画像を、電子黒板1bのディスプレイ180上に表示させる(ステップS128)。これにより、本実施形態に係る通信システムは、電子黒板1aに描画されたストローク画像を、電子黒板1bに共有させることができる。
ここで、図16を用いて、図14および図15の処理によって共有された背景画像データおよびストロークデータが、電子黒板1aおよび電子黒板1bに表示された画面例について説明する。図16(A)は、電子黒板1aに表示された表示画面を示す図であり、図16(B)は、電子黒板1bに表示された表示画面を示す図である。
図16(A)に示されているように、電子黒板1aには、ステップS101で外部機器から入力されて電子黒板1aのディスプレイ180に表示された背景画像d1a、およびステップS128で表示されたストローク画像st1~st3を含む表示画面200aが表示されている。一方で、図16(B)に示されているように、電子黒板1bには、電子黒板1aによって圧縮されて送信されてきた背景画像データに係る背景画像d1b、およびステップS128で表示されたストローク画像st1~st3を含む表示画面200bが表示されている。また、表示画面200bには、後述するキャプチャ処理を開始する場合に押下される「キャプチャ」ボタン250が含まれている。
図16(A)および図16(B)に示されているように、電子黒板1aと電子黒板1bに表示されている背景画像d1aと背景画像d1bは、画質が異なる。電子黒板1aに表示されている背景画像d1aは、外部機器から直接入力されたデータであるため、圧縮されていない、または圧縮率の低い高画質の画像である。一方で、電子黒板1bには、電子黒板1aによって高い圧縮率で圧縮されたデータに係る画像が表示されるため、背景画像d1bは、電子黒板1aに表示された背景画像d1aと比較して低画質の画像となる。
●新規ページの生成処理
○キャプチャ画像の取得処理
続いて、図17乃至図24を用いて、複数の電子黒板1の間で共有された表示画面のキャプチャ画像を含む新規ページを生成する処理について説明する。まず、図17および図18を用いて、電子黒板1aに入力された背景画像データのキャプチャ画像を取得する処理について説明する。図17は、実施形態に係る通信システムにおけるキャプチャ画像の取得処理の一例を示すシーケンス図である。
まず、拠点Bにおいて、利用者B1または利用者B2が図16(B)に示されている「キャプチャ」ボタン250を押下することで、受付部12bは、電子黒板1bに表示された表示画面200bの画面キャプチャ要求を受け付ける(ステップS51)。そして、通信部11bは、通信管理装置5に対して、背景画像のキャプチャ画像の取得を要求する旨を示すキャプチャ画像取得要求を送信する(ステップS52)。これにより、通信管理装置5の通信部51は、電子黒板1bから送信されたキャプチャ画像取得要求を受信する。
次に、通信管理装置5の通信部51は、電子黒板1bから送信されたキャプチャ画像取得要求を、相手方である電子黒板1aに対して転送(送信)する(ステップS53)。これにより、電子黒板1bの通信部11bは、通信管理装置5から転送(送信)されたキャプチャ画像取得要求を受信する。
次に、電子黒板1aのキャプチャ画像取得部17aは、電子黒板1aのディスプレイ180に表示された背景画像d1a(図16(A)参照)に対してキャプチャ処理を行うことで、背景画像d1aのキャプチャ画像を取得する(ステップS54)。ここで、図16(A)に示されているように、電子黒板1aに表示されている背景画像d1aは、外部機器から電子黒板1aに入力された画像データであり、電子黒板1aによるデータ圧縮処理が行われていない画像である。
通信部11aは、画像保存装置7に対して、ステップS54で取得されたキャプチャ画像データをアップロード(送信)する(ステップS55)。これにより、画像保存装置7の通信部71は、電子黒板1aから送信されたキャプチャ画像データを受信する。
画像保存装置7の記憶・読出処理部79は、記憶部7000に対して、ステップS103で受信されたキャプチャ画像データを記憶する(ステップS56)。また、生成部73は、ステップS56で記憶されたキャプチャ画像データの記憶位置を示すURLを生成する(ステップS57)。ここで、URLは記憶位置情報の一例であり、記憶位置情報にはURI(Uniform Resource Identifier)も含まれる。そして、通信部71は、電子黒板1aに対して、キャプチャ画像データのアップロードが完了した旨を示すアップロード完了通知を送信する(ステップS58)。このアップロード完了通知には、ステップS58で生成されたURLが含まれている。これにより、電子黒板1aの通信部11aは、画像保存装置7から送信されたアップロード完了通知を受信する。
次に、電子黒板1aの共有データ生成部18aは、完了通知が受信された場合、新規のページを生成する(ステップS59)。ここで、図7に示されているように、共有データ生成部18aによって生成されるページには、生成されるページを識別するためのページID、電子黒板1aで実行されている会議を特定するための情報(parent)、gid、およびステップS58で受信されたキャプチャ画像データのURLが含まれている。なお、gidは、通信管理装置5の共有データ管理部57によって採番され、通信管理装置5から電子黒板1aに通知される。そして、通信部11aは、キャプチャ処理が完了した旨を示すキャプチャ完了通知を送信する(ステップS60)。このキャプチャ完了通知には、ステップS58で受信されたキャプチャ画像データのURL、および追加されたページのページIDが含まれている。これにより、通信管理装置5の通信部51は、電子黒板1aから送信されたキャプチャ完了通知を受信する。
次に、通信管理装置5の記憶・読出処理部59は、共有データ管理DB5006(図10参照)に、ステップS60で受信されたキャプチャ画像データのURLを記憶する(ステップS61)。この場合、記憶・読出処理部59は、図10に示されているように、通信部51で受信されたキャプチャ画像データのURLを、ステップS60で受信されたページIDに関連づけて共有データ管理テーブルに記憶する。また、共有データ管理部57は、共有データ管理テーブルに記憶させるページに対応するgidを採番する。
通信管理装置5の通信部51は、電子黒板1aから送信されたキャプチャ完了通知を、キャプチャ画像取得要求の送信元である電子黒板1bに対して送信する(ステップS62)。このキャプチャ完了通知には、ステップS60で受信されたキャプチャ画像データのURLおよびページID、並びにステップS61で採番されたgidが含まれている。これにより、電子黒板1bの通信部11bは、通信管理装置5から送信されたキャプチャ完了通知を受信する。
次に、電子黒板1bの通信部11bは、ステップS62で受信された画像保存装置7に係るURLに対して、キャプチャ画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS63)。これにより、画像保存装置7の通信部71は、要求情報を受信する。
次に、画像保存装置7の記憶・読出処理部79がURLに基づいて、記憶部7000から要求対象であるキャプチャ画像データを読み出す(ステップS64)。そして、通信部71は、要求元である電子黒板1bに対して、要求対象であるキャプチャ画像データを送信する(ステップS65)。これにより、電子黒板1bの通信部11bは、キャプチャ画像データのダウンロード(受信)を行う。
そして、電子黒板1bの共有データ生成部18bは、受信されたキャプチャ画像データを含む新規のページを生成する(ステップS66)。ここで、図7に示されているように、共有データ生成部18bによって生成されるページには、ステップS62で受信されたページID、gidおよびキャプチャ画像データのURL、並びに電子黒板1bで実行されている会議を特定するための情報(parent)が含まれている。
ここで、図18を用いて、図17の処理によって新規のページが共有された場合の電子黒板1bの表示画面について説明する。図18は、実施形態に係る電子黒板間において共有されたページの一例を示す図である。図18に示されている表示画面200bには、図16(B)に示されている背景画像d1bおよびストローク画像st1~st3に加えて、共有データ生成部18bによって生成された新規のページp1に対応するキャプチャ画像600が含まれている。キャプチャ画像600は、電子黒板1aに表示されている背景画像d1aがキャプチャされた画像であるため、背景画像d1bと比較して高画質な画像である。このように、電子黒板1bは、利用者B1またはB2からの画面キャプチャ要求を受け付けると、電子黒板1bに表示されている背景画像d1bと比較して高画質の電子黒板1aに表示されて背景画像d1aのキャプチャ画像を取得して、電子黒板1aとの間で共有する新規のページを生成することができる。また、共有データ生成部18bは、利用者からの画面キャプチャ要求に応じたキャプチャ画像データが通信部11bによって受信されるごとに、図7に示されているような電子黒板1aと共有する新規のページ(共有データ)を生成する。
○キャプチャ可否の選択処理
続いて、図19乃至図21を用いて、相手側の電子黒板1からキャプチャ画像取得要求を受信した電子黒板1において、背景画像のキャプチャ処理を受諾するか否かを選択する処理について説明する。図19は、実施形態に係る電子黒板におけるキャプチャ可否の選択処理の一例を示すフローチャートである。なお、図19に示されている処理は、電子黒板1bから送信されたキャプチャ画像取得要求を受信した電子黒板1aで実行される処理である。
まず、電子黒板1aの表示制御部14aは、他の端末である電子黒板1bから送信されたキャプチャ画像取得要求が受信された場合、キャプチャ画像の取得可否を選択させるためのキャプチャ可否選択画像400を、電子黒板1aのディスプレイ180に表示させる(ステップS541)。図20(A)は、電子黒板1aに表示されるキャプチャ可否選択画像の一例を示す図である。図20(A)に示されているキャプチャ可否選択画像400は、例えば、拠点Aの利用者A1が電子黒板1aのディスプレイ180に表示された背景画像(例えば、背景画像d1a)のキャプチャ画像の取得可否を選択可能な表示画像である。キャプチャ可否選択画像400には、キャプチャ画像の取得を許可する場合に押下される「承諾」ボタン410、取得されたキャプチャ画像に加工処理を行う際に押下される「加工」ボタン420、およびキャプチャ画像の取得を拒否する場合に押下される「拒否」ボタン430が含まれている。
次に、受付部12aは、「承諾」ボタン410の選択を受け付けた場合(ステップS542のYES)、処理をステップS543へ移行させる。そして、キャプチャ画像取得部17aは、電子黒板1aに表示されている背景画像d1aのキャプチャ画像を取得する(ステップS543)。
一方で、ステップS542において、電子黒板1aは、受付部12aによって「承諾」ボタン410の選択が受け付けられていない場合(ステップS542のNO)、処理をステップS544へ移行させる。次に、受付部12aは、「加工」ボタン420の選択を受け付けた場合(ステップS544のYES)、処理をステップS545へ移行させる。そして、キャプチャ画像取得部17aは、電子黒板1aに表示されている背景画像d1aのキャプチャ画像を取得する(ステップS545)。なお、ステップS543およびステップS545の処理は、図17に示されているステップS54の処理と同様である。そして、画像処理部16aは、ステップS545で取得されたキャプチャ画像の加工処理を行う(ステップS546)。キャプチャ画像の加工処理は、利用者A1によるキャプチャ画像に対する入力操作によって、電子黒板1bにキャプチャ画像を共有する前に加工を施すための処理である。
図21(A)および(B)は、電子黒板1aにおけるキャプチャ画像の加工処理について説明するための図である。図21(A)は、ステップ545で取得されたキャプチャ画像600に対して、画像610を重畳させる加工を施した場合の例である。画像処理部16aは、例えば、ディスプレイ180に表示された背景画像の利用者A1によって選択された座標位置に対して、画像610を重畳させる処理を施す。画像610は、例えば、キャプチャされた背景画像の内容が機密文書であることを示す文字を含む画像である。なお、画像610は、この例に限られず、電子ペン190を用いて手書き入力された文字、図形または記号等であってもよく、予め設定された画像であってもよい。また、画像610は、背景画像の任意の座標位置をマスキングするための黒塗りの画像であってもよい。
また、図21(B)は、ステップS545によって取得されたキャプチャ画像600に対して、キャプチャ画像の一部の領域620を切り出した場合の例である。この場合、画像処理部16aは、例えば、ディスプレイ180に表示された背景画像の利用者A1によって選択された座標範囲を切り出す処理を施す。
このように、画像処理部16aは、取得されたキャプチャ画像に対して所定の加工を施すことができる。ここで、画像処理部16aによる加工処理が行われた場合、電子黒板1aの通信部11aは、加工が施された画像をキャプチャ画像データとして、要求元の電子黒板1bへ送信する。
図19に戻り、ステップS544において、電子黒板1aは、受付部12aによって「加工」ボタン420の選択が受け付けられていない場合(ステップS544のNO)、処理をステップS547へ移行させる。次に、受付部12aは、「拒否」ボタン430の選択が受け付けられた場合(ステップS547のYES)、処理をステップS548へ移行させる。一方で、電子黒板1aは、受付部12aによって「拒否」ボタン430の選択が受け付けられていない場合(ステップS547のNO)、処理をステップS549へ移行させる。ステップS549において、判断部15aは、キャプチャ画像取得要求が受信されてから所定時間経過した場合、処理をステップS548へ移行させる。一方で、判断部15aは、キャプチャ画像取得要求が受信されてから所定時間経過するまでステップS542からの処理を繰り返す(ステップS549のNO)。
また、ステップS548において、通信部11aは、キャプチャ画像の取得が拒否されたことを示すキャプチャ拒否通知を、キャプチャ画像取得要求を送信した電子黒板1bへ送信する。また、キャプチャ画像拒否通知を受信した電子黒板1bは、図20(B)に示されているようなキャプチャ拒否通知画像450を、ディスプレイ180に表示させる。これにより、画面キャプチャ要求を行った電子黒板1bの利用者は、相手方の利用者によって要求が拒否されたことを把握することができる。
このように、電子黒板1aは、電子黒板1bから送信されたキャプチャ画像取得要求が受信された場合、キャプチャ可否選択画像400を表示させることで、電子黒板1aの利用者A1に対して、機密文書等の他の利用者と共有したくない(共有すべきでない)画像に対するキャプチャ要求を拒否させることができる。また、電子黒板1aは、取得されたキャプチャ画像に対して所定の加工を施すことができる。これにより、電子黒板1aの利用者A1は、他の利用者と共有する内容を限定したり、所定の情報を付加したりすることができる。
○キャプチャ画像の取得処理の別の例
次に、図22乃至図24を用いて、上述したキャプチャ画像の取得処理の別の例を説明する。まず、図22を用いて、二つの電子黒板(例えば、電子黒板1a,1c)に入力された画面データが表示された表示画面が、電子黒板1bに共有される場合について説明する。図22は、複数の電子黒板との間で背景画像を共有する場合に電子黒板1bに表示される表示画面の一例を示す図である。
図22に示されている表示画面200bには、電子黒板1aから送信された背景画像データに係る背景画像d1bを含む表示領域210b、電子黒板1cから送信された背景画像データに係る背景画像d2bを含む表示領域220b、および表示画面200bに示されている背景画像のキャプチャ処理を開始する場合に押下される「キャプチャ」ボタン250が含まれている。また、表示領域210bには、背景画像d1bのキャプチャ処理を開始する場合に押下される「キャプチャ」ボタン215bが含まれ、表示領域220bには、背景画像d2bのキャプチャ処理を開始する場合に押下される「キャプチャ」ボタン225bが含まれている。
この場合、電子黒板1bは、受付部12bによって「キャプチャ」ボタン215bの選択が受け付けられた場合、背景画像d1bに係る背景画像データを送信した電子黒板1aに対して、キャプチャ画像取得要求を送信する。また、電子黒板1bは、受付部12bによって「キャプチャ」ボタン225bの選択が受け付けられた場合、背景画像d2bに係る廃液画像データを送信した電子黒板1cに対して、キャプチャ画像取得要求を送信する。一方で、電子黒板1bは、受付部12bによって「キャプチャ」ボタン250の選択が受け付けられた場合、表示画面200bに示されている背景画像のそれぞれに係る背景画像データを送信した電子黒板1aおよび電子黒板1cに対して、キャプチャ画像取得要求を送信する。なお、キャプチャ画像取得要求の送信以降の処理は、図17に示されているステップS52以降の処理と同様である。
このように、電子黒板1bは、複数の電子黒板1の画面データが共有されている場合、複数の電子黒板1a,1cのそれぞれに対して、キャプチャ画像取得要求を依頼することができるとともに、表示画面全体ではなく任意の画像データのみに対して、画面キャプチャを要求することもできる。
続いて、図23および図24を用いて、利用者からの画面キャプチャ要求を受け付けら電子黒板1において、会議をより円滑に進めるために、段階的にキャプチャ画像の差し替えを行う処理について説明する。図23は、実施形態に係る通信システムにおけるキャプチャ画像の取得処理の別の例を示すシーケンス図である。
まず、拠点Bにおいて、利用者B1または利用者B2が図16(B)に示されている「キャプチャ」ボタン250を押下することで、受付部12bは、電子黒板1bに表示された表示画面200bの画面キャプチャ要求を受け付ける(ステップS71)。そして、キャプチャ画像取得部17bは、電子黒板1bのディスプレイ180に表示された背景画像d1b(図16(A)参照)に対してキャプチャ処理を行うことで、背景画像d1bのキャプチャ画像を取得する(ステップS72)。ここで、図16(B)に示されているように、電子黒板1bに表示されている背景画像d1bは、電子黒板1aによって圧縮された画像データである。
次に、共有データ生成部18bは、キャプチャ画像取得部17bによって取得されたキャプチャ画像データを含む新規のページを生成する(ステップS73)。この場合、例えば、共有データ生成部18bは、図24に示されているような背景画像d1bのキャプチャ画像650を含むページp1を生成する。ここで、図7に示されているように、共有データ生成部18bによって生成されるページには、生成されるページを識別するためのページID、電子黒板1bで実行されている会議を特定するための情報(parent)、gid、およびステップS72で取得されたキャプチャ画像650に係るキャプチャ画像データが含まれている。これにより、電子黒板1bは、相手方の電子黒板1aによって取得されたキャプチャ画像データを受信する前に、自らが取得したキャプチャ画像データを暫定的な新規のページとして生成する。
なお、ステップS74~ステップS87の処理は、図17に示されているステップS52~ステップS66に示されている処理と同様である。また、ステップS72およびステップS73の処理とステップS74以降の処理は、並行しておこなわれてもよい。ステップS87の処理において、電子黒板1bの通信部11bは、電子黒板1aによって取得されたキャプチャ画像データを、通信管理装置5を介して受信する。
そして、電子黒板1bの共有データ生成部18bは、ステップS73で生成されたページに含まれているキャプチャ画像データを、ステップS87で受信されたキャプチャ画像データに差し替える(ステップS88)。この場合、例えば、共有データ生成部18bは、図24に示されているように、ページp1に含まれているキャプチャ画像650を、電子黒板1aによって取得されて送信された背景画像d1aのキャプチャ画像600に差し替える。
このように、電子黒板1bは、利用者B1またはB2から画面キャプチャ要求を受け付けた場合、電子黒板1bに表示された背景画像d1bのキャプチャ画像650を取得し、電子黒板1aから送信されたキャプチャ画像データの受信が完了した場合に、背景画像d1bのキャプチャ画像650を、受信されたキャプチャ画像データに係るキャプチャ画像600に差し替える。これにより、電子黒板1bは、電子黒板1aからのキャプチャ画像データの送信を待たずに新規のページを生成することができるので、遠隔会議をより円滑に進めることができる。
●まとめ●
以上説明したように、本発明の一実施形態に係る電子黒板1bは、電子黒板1a(他の通信端末の一例)との間でデータを共有する通信端末である。電子黒板1bは、電子黒板1aに入力された背景画像d1aに係る背景画像データ(第1の画像データの一例)が圧縮された背景画像データ(第2の画像データの一例)に係る背景画像d1bを電子黒板1bのディスプレイ180(表示部の一例)に表示させ、表示された背景画像d1bに対するキャプチャ画像の取得要求を、電子黒板1aとの間で共有されるデータを管理するサーバ6へ送信する。そして、電子黒板1bは、取得要求に応じて電子黒板1aによって取得された、背景画像d1aのキャプチャ画像データ(例えば、キャプチャ画像600に係るキャプチャ画像データ)を、サーバ6から受信する。これにより、電子黒板1bは、電子黒板1aから送信された画像データに対して取得されるキャプチャ画像の画質を向上させることができる。
また、本発明の一実施形態に係る電子黒板1b(通信端末の一例)は、キャプチャ画像データが受信された場合、電子黒板1a(他の通信端末の一例)との間で共有され、受信されたキャプチャ画像データを含む共有データを生成する。また、電子黒板1bは、キャプチャ画像データが受信されるごとに、新規のページを生成する。これにより、電子黒板1bは、電子黒板1bに表示されている背景画像d1bと比較して高画質の背景画像d1aのキャプチャ画像を取得して、電子黒板1aとの間で共有する新規のページを生成することができる。
さらに、本発明の一実施形態に係る電子黒板1b(通信端末の一例)は、表示された背景画像d1bに対するキャプチャ要求を受け付け、キャプチャ要求が受け付けられた場合、表示された背景画像d1b(第2の画像データに係る画像の一例)のキャプチャ画像データ(例えば、キャプチャ画像650に係るキャプチャ画像データ)を取得し、取得された背景画像d1bのキャプチャ画像データを含む共有データを生成する。そして、電子黒板1bは、キャプチャ要求が受け付けられた場合、キャプチャ画像の取得要求を、電子黒板1a(他の通信端末の一例)へ送信し、背景画像d1a(第1の画像データに係る画像の一例)のキャプチャ画像データ(例えば、キャプチャ画像600に係るキャプチャ画像データ)が受信された場合、背景画像d1bのキャプチャ画像データを背景画像d1aのキャプチャ画像データに差し替える。これにより、電子黒板1bは、電子黒板1aからのキャプチャ画像データの送信を待たずに新規のページを生成することができるので、遠隔会議をより円滑に進めることができる。
また、本発明の一実施形態に係る電子黒板1b(通信端末の一例)は、電子黒板1aおよび電子黒板1c(複数の他の通信端末の一例)のそれぞれから送信された複数の背景画像データ(第2の画像データの一例)に係る複数の画像(例えば、背景画像d1aおよび背景画像d2b)を、電子黒板1bのディスプレイ180(表示部の一例)に表示させ、キャプチャ画像の取得要求の対象となる画像に係る背景画像データを送信した他の通信端末(電子黒板1aまたは電子黒板1c)に対して、キャプチャ画像の取得要求を送信する。また、電子黒板1bは、表示された複数の画像のそれぞれに係る背景画像データを送信した複数の他の通信端末(電子黒板1aおよび電子黒板1c)に対して、キャプチャ画像の取得要求を送信する。これにより、電子黒板1bは、電子黒板1aと電子黒板1cの画面データが共有されている場合、電子黒板1aおよび電子黒板1cの双方に対して、キャプチャ画像の取得要求を送信することができるとともに、電子黒板1aおよび電子黒板1cのいずれかに対してのみ、キャプチャ画像の取得要求を送信することができる。
さらに、本発明の一実施形態に係る通信システムは、電子黒板1b(通信端末の一例)と、電子黒板1bとの間でデータを共有する電子黒板1a(他の通信端末の一例)と、を備える。電子黒板1aは、キャプチャ画像の取得要求が受信された場合、キャプチャ画像の取得可否を選択可能なキャプチャ可否選択画像400(選択画像の一例)を、電子黒板1aのディスプレイ(表示部の一例)に表示させ、キャプチャ画像の取得の許可が選択された場合、背景画像d1a(第1の画像データに係る画像の一例)のキャプチャ画像データを取得し、キャプチャ画像の取得の拒否が選択された場合、サーバ6に対して、拒否が選択されたことを示す拒否通知を送信する。そして、電子黒板1bは、電子黒板1aから送信された拒否通知を受信する。これにより、本発明の一実施形態に係る通信システムは、キャプチャ画像取得要求が受信された電子黒板1aにキャプチャ可否選択画像400を表示させることで、機密文書等の他の利用者と共有したくない(共有すべきでない)画像に対するキャプチャ処理を、電子黒板1aの利用者A1に拒否させることができる。
また、本発明の一実施形態に係る通信システムにおいて、電子黒板1a(他の通信端末の一例)は、背景画像d1a(第1の画像データに係る画像の一例)に画像600(所定の画像の一例)を重畳された画像をキャプチャ画像データとして取得する。また、電子黒板1aは、背景画像d1aに含まれる所定の範囲(例えば、領域620)の画像をキャプチャ画像データとして取得する。これにより、本発明の一実施形態に係る通信システムは、取得されたキャプチャ画像に対して所定の加工を施すことができるので、他の利用者と共有する内容を限定したり、キャプチャ画像に対して所定の情報を付加したりすることができる。
●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを,事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
これまで本発明の一実施形態に係る通信端末、通信システム、データ共有方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
1a 電子黒板(他の通信端末の一例)
1b 電子黒板(通信端末の一例)
1c 電子黒板(他の通信端末の一例)
3 中継装置
5 通信管理装置
6 サーバ
7 画像保存装置
11a 通信部(第2の受信手段の一例、第2の送信手段の一例)
11b 通信部(送信手段の一例、受信手段の一例)
12b 受付部(受付手段の一例)
14a 表示制御部(第2の表示制御手段の一例)
14b 表示制御部(表示制御手段の一例)
17a キャプチャ画像取得部(第2の取得手段の一例)
17b キャプチャ画像取得部(取得手段の一例)
18b 共有データ生成部(共有データ生成手段の一例)
180 ディスプレイ(表示部の一例)
特開2011-254453号公報 特表2017-526022号公報

Claims (12)

  1. 他の通信端末との間でデータを共有する通信端末であって、
    前記他の通信端末に入力された第1の画像データが圧縮された第2の画像データに係る画像を表示部に表示させる表示制御手段と、
    表示された前記第2の画像データに係る画像に対するキャプチャ画像の取得要求を、前記他の通信端末との間で共有される共有データを管理するサーバへ送信する送信手段と、
    前記取得要求に応じて前記他の通信端末によって取得された、前記第1の画像データに係る画像のキャプチャ画像データを、前記サーバから受信する受信手段と、
    前記キャプチャ画像データが受信された場合、前記他の通信端末との間で共有される共有データを生成する共有データ生成手段と、
    表示された前記第2の画像データに係る画像に対するキャプチャ要求を受け付ける受付手段と、
    前記キャプチャ要求が受け付けられた場合、表示された前記第2の画像データに係る画像のキャプチャ画像データを取得する取得手段と、
    を備え
    前記共有データ生成手段は、取得された前記第2の画像データに係る画像のキャプチャ画像データを含む前記共有データを生成し、
    前記送信手段は、前記キャプチャ要求が受け付けられた場合、前記取得要求を、前記サーバへ送信し、
    前記共有データ生成手段は、前記第1の画像データに係る画像のキャプチャ画像データが受信された場合、前記共有データに含まれる、前記第2の画像データに係る画像のキャプチャ画像データ、を前記第1の画像データに係る画像のキャプチャ画像データに差し替える通信端末。
  2. 前記受信手段は、前記他の通信端末に表示された前記第1の画像データに係る画像のキャプチャ画像データを、前記他の通信端末から受信する請求項1に記載の通信端末。
  3. 前記共有データは、複数のページによって構成され、
    前記共有データ生成手段は、前記キャプチャ画像データが受信されるごとに、新規のページを生成する請求項に記載の通信端末。
  4. 前記共有データは、前記通信端末または前記他の通信端末によって描画されたストローク画像に係るストロークデータを含む請求項1または3に記載の通信端末。
  5. 前記表示制御手段は、複数の前記他の通信端末のそれぞれから送信された複数の第2の画像データに係る複数の画像を、前記表示部に表示させ、
    前記送信手段は、前記取得要求の対象となる画像に係る前記第2の画像データを送信した前記他の通信端末に対して、前記取得要求を送信する請求項1乃至のいずれか一項に記載の通信端末。
  6. 前記送信手段は、表示された前記複数の画像のそれぞれに係る前記第2の画像データを送信した前記複数の他の通信端末に対して、前記取得要求を送信する請求項に記載の通信端末。
  7. 請求項1乃至のいずれか一項に記載の通信端末と、前記他の通信端末と、を備える通信システムであって、
    前記他の通信端末は、
    前記通信端末から前記取得要求を受信する第2の受信手段と、
    前記他の通信端末に表示された画像であり、当該他の通信端末に入力された前記第1の画像データに係る画像のキャプチャ画像データを取得する第2の取得手段と、
    取得された前記第1の画像データに係る画像のキャプチャ画像データを、前記サーバへ送信する第2の送信手段と、
    を備える通信システム。
  8. 請求項に記載の通信システムであって、
    前記他の通信端末は、
    前記取得要求が受信された場合、前記キャプチャ画像の取得可否を選択可能な選択画像を、前記他の通信端末の表示部に表示させる第2の表示制御手段を備え、
    前記キャプチャ画像の取得の許可が選択された場合、前記第2の取得手段は、前記第1の画像データに係る画像のキャプチャ画像データを取得し、
    前記キャプチャ画像の取得の拒否が選択された場合、前記第2の送信手段は、前記サーバに対して、前記拒否が選択されたことを示す拒否通知を送信し、
    前記通信端末の前記受信手段は、前記拒否通知を前記サーバから受信する通信システム。
  9. 前記第2の取得手段は、前記第1の画像データに係る画像に所定の画像を重畳された画像を前記キャプチャ画像データとして取得する請求項またはに記載の通信システム。
  10. 前記第2の取得手段は、前記第1の画像データに係る画像に含まれる所定の範囲の画像を前記キャプチャ画像データとして取得する請求項乃至のいずれか一項に記載の通信システム。
  11. 他の通信端末との間でデータを共有する通信端末が実行するデータ共有方法であって、
    前記他の通信端末に入力された第1の画像データが圧縮された第2の画像データに係る画像を表示部に表示させる表示制御ステップと、
    表示された前記第2の画像データに係る画像に対するキャプチャ画像の取得要求を、前記他の通信端末との間で共有される共有データを管理するサーバへ送信する送信ステップと、
    前記取得要求に応じて前記他の通信端末によって取得された、前記第1の画像データに係る画像のキャプチャ画像データを、前記サーバから受信する受信ステップと、
    前記キャプチャ画像データが受信された場合、前記他の通信端末との間で共有される共有データを生成する共有データ生成ステップと、
    表示された前記第2の画像データに係る画像に対するキャプチャ要求を受け付ける受付ステップと、
    前記キャプチャ要求が受け付けられた場合、表示された前記第2の画像データに係る画像のキャプチャ画像データを取得する取得ステップと、
    を実行し、
    前記共有データ生成ステップは、取得された前記第2の画像データに係る画像のキャプチャ画像データを含む前記共有データを生成し、
    前記送信ステップは、前記キャプチャ要求が受け付けられた場合、前記取得要求を、前記サーバへ送信し、
    前記共有データ生成ステップは、前記第1の画像データに係る画像のキャプチャ画像データが受信された場合、前記共有データに含まれる、前記第2の画像データに係る画像のキャプチャ画像データ、を前記第1の画像データに係る画像のキャプチャ画像データに差し替えるデータ共有方法。
  12. 他の通信端末との間でデータを共有する通信端末に、
    前記他の通信端末に入力された第1の画像データが圧縮された第2の画像データに係る画像を表示部に表示させる表示制御ステップと、
    表示された前記第2の画像データに係る画像に対するキャプチャ画像の取得要求を、前記他の通信端末との間で共有される共有データを管理するサーバへ送信する送信ステップと、
    前記取得要求に応じて前記他の通信端末によって取得された、前記第1の画像データに係る画像のキャプチャ画像データを、前記サーバから受信する受信ステップと、
    前記キャプチャ画像データが受信された場合、前記他の通信端末との間で共有される共有データを生成する共有データ生成ステップと、
    表示された前記第2の画像データに係る画像に対するキャプチャ要求を受け付ける受付ステップと、
    前記キャプチャ要求が受け付けられた場合、表示された前記第2の画像データに係る画像のキャプチャ画像データを取得する取得ステップと、
    を実行させ
    前記共有データ生成ステップは、取得された前記第2の画像データに係る画像のキャプチャ画像データを含む前記共有データを生成し、
    前記送信ステップは、前記キャプチャ要求が受け付けられた場合、前記取得要求を、前記サーバへ送信し、
    前記共有データ生成ステップは、前記第1の画像データに係る画像のキャプチャ画像データが受信された場合、前記共有データに含まれる、前記第2の画像データに係る画像のキャプチャ画像データ、を前記第1の画像データに係る画像のキャプチャ画像データに差し替えるプログラム。
JP2019194952A 2019-10-28 2019-10-28 通信端末、通信システム、データ共有方法およびプログラム Active JP7400345B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019194952A JP7400345B2 (ja) 2019-10-28 2019-10-28 通信端末、通信システム、データ共有方法およびプログラム
US17/068,851 US20210126955A1 (en) 2019-10-28 2020-10-13 Communication terminal, communication system, method for sharing data, and non-transitory recording medium
EP20203344.5A EP3817326A1 (en) 2019-10-28 2020-10-22 Communication terminal, communication system, method for sharing data, and carrier means

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019194952A JP7400345B2 (ja) 2019-10-28 2019-10-28 通信端末、通信システム、データ共有方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021068346A JP2021068346A (ja) 2021-04-30
JP7400345B2 true JP7400345B2 (ja) 2023-12-19

Family

ID=73013249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019194952A Active JP7400345B2 (ja) 2019-10-28 2019-10-28 通信端末、通信システム、データ共有方法およびプログラム

Country Status (3)

Country Link
US (1) US20210126955A1 (ja)
EP (1) EP3817326A1 (ja)
JP (1) JP7400345B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022025652A (ja) 2020-07-29 2022-02-10 株式会社リコー 通信端末、通信システム、通信方法及びプログラム
JP2022049600A (ja) 2020-09-16 2022-03-29 株式会社リコー 情報処理装置、プログラム及び情報処理システム
US11695822B2 (en) * 2021-07-16 2023-07-04 Adp, Inc. Unified integration pattern protocol for centralized handling of data feeds

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054134A (ja) 2002-07-23 2004-02-19 Seiko Epson Corp ネットワーク対応表示装置および表示制御プログラム
JP2013038580A (ja) 2011-08-08 2013-02-21 Ricoh Co Ltd 画像処理装置およびプログラム
JP2013041181A (ja) 2011-08-18 2013-02-28 Ricoh Co Ltd ネットワークシステム、画像投影装置、プログラム
US20130086487A1 (en) 2011-10-04 2013-04-04 Roland Findlay Meeting system that interconnects group and personal devices across a network
JP2013222324A (ja) 2012-04-17 2013-10-28 Ricoh Co Ltd 情報共有装置、情報共有システム、描画処理方法及びプログラム
JP2013225846A (ja) 2012-03-22 2013-10-31 Ricoh Co Ltd 画像共有システム、画像処理装置およびプログラム
JP2014186700A (ja) 2013-03-25 2014-10-02 Konica Minolta Inc 表示制御装置、表示制御方法及び表示制御プログラム
JP2014197802A (ja) 2013-03-29 2014-10-16 ブラザー工業株式会社 作業支援システムおよびプログラム
JP2015530886A (ja) 2012-06-27 2015-10-29 バウチャー、ライアン 医療診断情報を取得するための装置、方法、およびシステム、ならびに遠隔医療サービスの提供
JP2016071637A (ja) 2014-09-30 2016-05-09 Kddi株式会社 画面共有システム及び画面共有方法
JP2019153268A (ja) 2018-02-28 2019-09-12 株式会社リコー 画像管理サーバ、プログラム、情報共用システム、情報共用方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1056273A3 (en) * 1999-05-25 2002-01-02 SeeItFirst, Inc. Method and system for providing high quality images from a digital video stream
JP2011254442A (ja) 2010-05-06 2011-12-15 Ricoh Co Ltd 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム
CN104657211A (zh) 2015-02-03 2015-05-27 百度在线网络技术(北京)有限公司 一种用于操作对应设备上目标应用的方法与设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054134A (ja) 2002-07-23 2004-02-19 Seiko Epson Corp ネットワーク対応表示装置および表示制御プログラム
JP2013038580A (ja) 2011-08-08 2013-02-21 Ricoh Co Ltd 画像処理装置およびプログラム
JP2013041181A (ja) 2011-08-18 2013-02-28 Ricoh Co Ltd ネットワークシステム、画像投影装置、プログラム
US20130086487A1 (en) 2011-10-04 2013-04-04 Roland Findlay Meeting system that interconnects group and personal devices across a network
JP2013225846A (ja) 2012-03-22 2013-10-31 Ricoh Co Ltd 画像共有システム、画像処理装置およびプログラム
JP2013222324A (ja) 2012-04-17 2013-10-28 Ricoh Co Ltd 情報共有装置、情報共有システム、描画処理方法及びプログラム
JP2015530886A (ja) 2012-06-27 2015-10-29 バウチャー、ライアン 医療診断情報を取得するための装置、方法、およびシステム、ならびに遠隔医療サービスの提供
JP2014186700A (ja) 2013-03-25 2014-10-02 Konica Minolta Inc 表示制御装置、表示制御方法及び表示制御プログラム
JP2014197802A (ja) 2013-03-29 2014-10-16 ブラザー工業株式会社 作業支援システムおよびプログラム
JP2016071637A (ja) 2014-09-30 2016-05-09 Kddi株式会社 画面共有システム及び画面共有方法
JP2019153268A (ja) 2018-02-28 2019-09-12 株式会社リコー 画像管理サーバ、プログラム、情報共用システム、情報共用方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
平山 宏人 HIROTO HIRAYAMA,TV会議システムをベースとした遠隔医療のための高品質静止画取得法 A Method of Retrieving High Quality Pictures for Telemedicine Based on TV Conference System,マルチメディア,分散,協調とモバイル(DICOMO2007)シンポジウム論文集 情報処理学会シンポジウムシリーズ Vol.2007 No.1 [CD-ROM] IPSJ Symposium Series,日本,社団法人情報処理学会 Information Processing Society of Japan,第2007巻,P.1769-1774

Also Published As

Publication number Publication date
JP2021068346A (ja) 2021-04-30
US20210126955A1 (en) 2021-04-29
EP3817326A1 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
US11146695B2 (en) Communication management system, communication system, communication control method, and recording medium
JP7413693B2 (ja) 通信端末、通信システム、データ共有方法およびプログラム
JP7373712B2 (ja) 通信端末、通信システム、データ共有方法およびプログラム
JP7400345B2 (ja) 通信端末、通信システム、データ共有方法およびプログラム
US11539764B2 (en) Communication management system, communication system, communication management device, image processing method, and non-transitory computer-readable medium
JP7326963B2 (ja) 通信端末、通信システム、画像共有方法およびプログラム
JP6379521B2 (ja) 伝送端末、伝送システム、伝送方法及びプログラム
US20200296145A1 (en) Communication terminal, communication system, and display control method
JP6314539B2 (ja) 伝送端末、伝送システム、伝送方法及びプログラム
JP6544117B2 (ja) 端末、通信システム、通信方法、及びプログラム
EP3770748A1 (en) Communication terminal, communication system, display control method, and carrier medium
JP7396136B2 (ja) 通信管理装置、通信システム、通信方法およびプログラム
JP7243323B2 (ja) 通信端末、通信システム、表示制御方法およびプログラム
JP7476586B2 (ja) 通信端末、通信システム、画面共有方法およびプログラム
JP7467986B2 (ja) 通信端末、通信システム、通信方法およびプログラム
JP7476596B2 (ja) 通信端末、方法、プログラム、およびシステム
JP7358934B2 (ja) 通信管理システム、通信システム、通信方法、及びプログラム
JP2020154437A (ja) 通信管理システム、通信システム、通信管理装置、通信管理方法、及びプログラム
JP7476548B2 (ja) 通信端末、通信システム、表示方法、及びプログラム
JP7215341B2 (ja) 通信端末、通信システム、表示制御方法およびプログラム
JP2021144656A (ja) 通信端末、通信システム、画面共有方法およびプログラム
JP2021149735A (ja) 通信端末、方法、プログラム、およびシステム
JP2016195389A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
JP6736919B2 (ja) 通信端末、通信システム、通信方法、及びプログラム
JP2021124771A (ja) 通信端末、通信システム、表示方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230727

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231120

R151 Written notification of patent or utility model registration

Ref document number: 7400345

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151