以下、図面を用いて、本発明の一実施形態について説明する。
●通信システムの概略●
●通信ルート
まず、図1を用いて、複数の電子黒板1b,1b間で描画しながらビデオ会議を行なうための通信システムについて説明する。図1は、本実施形態の通信ルートを示した概略図である。なお、「ビデオ会議」ではなく「テレビ会議」と呼ばれる場合もある。また、ここでは、一例として、ビデオ会議について説明するが、打ち合わせや単なる会話等であってもよい。
通信システムは、複数の電子黒板1a,1b、中継装置3、通信管理システム5および画像保存装置7によって構築されている。電子黒板1a,1bは、通話用の画像データおよび音データ、並びに、共有用の画像データおよびストロークデータ等のコンテンツデータの相互通信を行う。なお、ストロークデータは、ストローク画像を再生(再現)するために必要なデータであり、座標データ、線の幅データ、線の色データ、ベクトルデータ等が含まれる。電子黒板1a,1bは、通話用の画像データおよび音データの送受信により、相手側の拠点の拠点画像および音を再生することで、遠隔ビデオ通話が可能となる。
電子黒板1a,1bは、共有用の資料画像の画像データを送受信することにより、通信システムを利用する参加者が、同じ資料画像を共有することができる。資料画像は、電子黒板1のディスプレイに表示される画像であり、会議の資料、ディスプレイに表示される背景画像等の画像である。また、電子黒板1a,1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システムを利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等で手書きストロークにより描画された線等を示す画像である。ストローク画像は、ディスプレイ上の座標を特定する点を示すストロークデータによって表示される。
なお、通信システムは、2つの電子黒板1a,1bに限らず、3つ以上の電子黒板によって構築されてもよい。以降、電子黒板1b,1bの総称を示す場合は、「電子黒板1」と示す。
図1では、電子黒板1a,1bの一例としてビデオ会議機能が搭載された電子黒板が示されている。なお、拠点画像データに係る拠点画像は、動画であっても静止画であってもよい。
また、ビデオ会議の開始を要求する要求元としての電子黒板は「開始端末」と表され、要求先である宛先(中継先)としての電子黒板は「宛先端末」と表されている。図1では、電子黒板1aが開始端末として、電子黒板1bが宛先端末として表されている。ただし、電子黒板1bからビデオ会議の開始を要求する場合は、電子黒板1bが開始端末となり、電子黒板1aが宛先端末となる。なお、各電子黒板1b,1bは、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内または屋外と屋外での通信で使われてもよい。
中継装置3は、コンピュータによって構成され、複数の電子黒板1b,1b間で、通話用のコンテンツデータを中継する処理を行なう。
通信管理システム5は、コンピュータによって構成され、電子黒板1b,1bからのログイン認証、電子黒板1b、1bの通信状況の管理、宛先リストの管理、および中継装置3の通信状況等を一元的に管理する。また、通信管理システム5は、複数の電子黒板1b,1b間で、共有用のストロークデータを中継する。
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の資料画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。すなわち、画像保存装置7は、電子黒板1bからアップロードされた画像データを保存して、電子黒板1aにダウンロードする。
なお、中継装置3、通信管理システム5および画像保存装置7は、それぞれが単一のコンピュータによって構築されてもよいし、各装置またはシステムの各部(機能または手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。ここで、通信管理システム5と画像保存装置7は、複数の電子黒板1a,1b間で共有されるデータを管理するサーバシステム6を構成する。このサーバシステム6は、通信管理システム5および画像保存装置7が単一のコンピュータによって構成されてもよい。
また、通信システムにおいて、電子黒板1a,1bとの間では、通信管理システム5を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、電子黒板1a,1bとの間では、中継装置3を介して、高解像度の拠点画像データ、中解像度の拠点画像データ、低解像度の拠点画像データ、および音データの4つの各データを送受信するための4つのセッションが確立される。図1では、これら4つのセッションをまとめて、画像・音データ用セッションsedとして示している。なお、画像・音データ用セッションsedは、必ずしも4つのセッションである必要はなく、4つのセッション数より少ないまたは多いセッション数であってもよい。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、通信セッションを確立してもよい。さらに、通信システムにおいて、通信管理システム5が中継装置3の機能を有しており、通信管理システム5を介して電子黒板1a,1bとの間の画像・音データ用セッションsedが確立されてもよい。
さらに、通信システムにおいて、電子黒板1a,1bとの間では、管理情報用セッションseiを利用して、ストロークデータの送受信を行うことができる。
ここで、本実施形態で扱われる拠点画像データの画像の解像度について説明する。低解像度の拠点画像データは、例えば、横が160画素、縦が120画素から成り、ベース画像となる。中解像度の拠点画像データは、横が320画素、縦が240画素から成る。高解像度の拠点画像データは、例えば、横が640画素、縦が480画素から成る。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の拠点画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の拠点画像データ、および中解像度の拠点画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の拠点画像データ、中解像度の拠点画像データ、および高解像度の拠点画像データから成る高画質の画像データが中継される。音データは、拠点画像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。
●電子黒板の使用イメージ
図2は、電子黒板の使用イメージ図である。電子黒板1は、図2に示されているように、電子黒板1は、下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、および本体153の前面に設けられたディスプレイ180によって構成されている。本体153には、後述のCPU101等が内蔵されている。そして、利用者は、電子ペン190を用いて、ディスプレイ180に文字等のストローク画像を入力(描画)することができる。
●ハードウェア構成●
次に、本実施形態のハードウェア構成を説明する。
●電子黒板のハードウェア構成
図3は、電子黒板のハードウェア構成図である。図3に示されているように、電子黒板1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F(Interface)105、および外部機器接続I/F106を備えている。
これらのうち、CPU101は、電子黒板1全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。SSD104は、電子黒板用のプログラム等の各種データを記憶する。ネットワークI/F105は、通信ネットワーク100との通信を制御する。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ130、外付け機器(マイク140、スピーカ150、カメラ160)である。
また、電子黒板1は、キャプチャデバイス111、GPU112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、近距離通信回路119のアンテナ119a、電源スイッチ122、選択スイッチ類123およびタイマ125を備えている。
これらのうち、キャプチャデバイス111は、外付けのPC(Personal Computer))170のディスプレイに対して画像データ(画像情報)を静止画または動画として表示させる。GPU(Graphics Processing Unit)112は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ180等へ出力するために画面表示の制御および管理を行う。接触センサ114は、ディスプレイ180上に電子ペン190やユーザの手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。接触センサ114は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ180の上側両端部に設置された2つ受発光装置が、ディスプレイ180に平行して複数の赤外線を放射し、ディスプレイ180の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。電子ペンコントローラ116は、電子ペン190と通信することで、ディスプレイ180へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ122は、電子黒板1の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類123は、例えば、ディスプレイ180の表示の明暗や色合い等を調整するためのスイッチ群である。タイマ125は、時間計測機能を有する計測装置である。なお、タイマ125は、コンピュータによるソフトタイマでもよい。
さらに、電子黒板1は、バスライン110を備えている。バスライン110は、図3に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いてもよい。また、電子ペンコントローラ116が、電子ペン190のペン先およびペン尻だけでなく、電子ペン190のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
●通信管理システム、中継装置、および画像保存装置のハードウェア構成
図4は、本実施形態に係る通信管理システム5のハードウェア構成図である。通信管理システム5の一例としてのコンピュータは、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk ReWritable)ドライブ514、メディアI/F516、およびバスライン510を備えている。
これらのうち、CPU501は、通信管理システム5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、通信管理用プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。ネットワークI/F509は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。DVD-RWドライブ514は、DVD-RWに対するデータの読み出しまたは書き込み(記憶)を制御する。なお、DVD-RWドライブでなく、BD-RE(Blu-ray(登録商標) Disc Rewritable)等のディスクに対するデータの読み出しまたは書き込み(記憶)を制御してもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出しまたは書き込み(記憶)を制御する。
また、バスライン510は、図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、図1に示されている中継装置3および画像保存装置7のハードウェア構成は、通信管理システム5のハードウェア構成と同様であるため、その説明を省略する。但し、中継装置3の場合は、HD504に中継用プログラムが記憶されている。また、画像保存装置7の場合は、HD504に画像保存用プログラムが記憶されている。
●通信システムの全体構成●
続いて、図5を用いて、通信システムの全体構成について説明する。図5は、本発明の実施形態に係る通信システムの全体構成図である。
図5において、電子黒板1aは拠点A、電子黒板1bは拠点B、電子黒板1cは拠点Cに設置されている。例えば、拠点Aは日本の東京事業所で、拠点Bは中国の北京事業所で、拠点CはアメリカのワシントンD.C.事業所である。拠点Aでは利用者A1が電子黒板1aを利用し、拠点Bでは利用者B1,B2が電子黒板1bを利用し、拠点Cでは利用者C1が電子黒板1cを利用している。
さらに、電子黒板1a,1b,1c、中継装置3、通信管理システム5、および画像保存装置7は、インターネット等の通信ネットワーク100を介してデータの相互通信を行なうことができる。なお、通信ネットワーク100には、無線通信部分が含まれてもよい。
なお、図5では、電子黒板1a,1b,1cは、ともに映像通信可能な電子黒板である。
●通信システムの機能構成●
次に、図6乃至図13を用いて、本実施形態の機能構成について説明する。図6は、本実施形態に係る通信システムの各機能ブロック図である。
●電子黒板1aの機能構成
図6に示されているように、電子黒板1aは、送受信部11a、受付部12a、画像・音処理部13a、表示制御部14a、判断部15a、画像処理部17a、近距離通信部18aおよび記憶・読出処理部19aを有している。これら各部は、図2に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能または機能する手段である。また、電子黒板1aは、図2に示されているRAM103、および図2に示されているSSD104によって構築される記憶部1000aを有している。
○電子黒板1aの各機能構成
次に、電子黒板1aの各構成要素について説明する。送受信部11aは、通信ネットワーク100を介して他の端末、装置またはシステムと各種データ(または情報)の送受信を行う。また、送受信部11aは、開始部としての役割も果たし、電子黒板1b等の他の通信端末と通信を開始する処理を行なう。受付部12aは、利用者から電子ペン190等による各種入力を受け付ける。
画像・音処理部13aは、ビデオ会議機能の主な処理を行う。例えば、画像・音処理部13aは、マイク140の出力信号およびカメラ160の出力信号に共づき、拠点画像データおよび音データのエンコード等のデジタル処理を行う。また、画像・音処理部13aは、送受信部11aで受信された拠点画像データおよび音データに基づき、画像信号を生成したり音信号を生成したりする。画像・音処理部13a、解像度の異なる拠点画像データを組み合わせる処理を行う。
表示制御部14aは、ディスプレイ180に画像信号等を出力するための制御を行う。判断部15aは、各種判断を行う。
画像処理部17aは、電子黒板機能の主な処理を行う。例えば、画像処理部17aは、受付部12aによって受け付けられた電子ペン190等のストロークに基づいてストローク画像およびストロークデータを作成したり、送受信部11aによって受信されたストロークデータに基づいてストローク画像を作成したりする。また、画像処理部17aは、送受信部11aで受信された資料画像の画像データに基づき、画像信号を生成する。
近距離通信部18aは、近距離通信部を有する各端末との間で、近距離無線通信により、データの取得および提供を行なう。
記憶・読出処理部19aは、記憶部1000aまたはUSBメモリ130等の記録媒体1010aに各種データを記憶したり、記憶部1000aまたは記録媒体1010aに記憶された各種データを読み出したりする処理を行う。
また、記憶部1000aには、他の端末との通信を行う際に受信される拠点画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の拠点画像データによってディスプレイ180に画像が表示され、上書きされる前の音データによってスピーカ150から音声が出力される。
さらに、記憶部1000aには、ディスプレイ180に描画されたストローク画像に係るストロークデータ、およびディスプレイ180に表示された資料画像に係る資料画像データが記憶される。
●電子黒板1bの機能構成
図6に示されているように、電子黒板1bは、送受信部11b、受付部12b、画像・音処理部13b、表示制御部14b、判断部15b、画像処理部17b、近距離通信部18bおよび記憶・読出処理部19bを有している。これら各部は、図2に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能または機能する手段である。また、電子黒板1bは、図2に示されているRAM103、および図2に示されているSSD104によって構築される記憶部1000bを有している。送受信部11b、受付部12b、画像・音処理部13b、表示制御部14b、判断部15b、画像処理部17b、近距離通信部18b、記憶・読出処理部19bおよび記憶部1000bは、それぞれ、送受信部11a、受付部12a、画像・音処理部13a、表示制御部14a、判断部15a、画像処理部17a、近距離通信部18a、記憶・読出処理部19aおよび記憶部1000aと同様の機能を有しているため、これらの説明を省略する。
●電子黒板1cの機能構成
図6に示されているように、電子黒板1cは、送受信部11c、受付部12c、画像・音処理部13c、表示制御部14c、判断部15c、画像処理部17c、近距離通信部18cおよび記憶・読出処理部19cを有している。これら各部は、図2に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能または機能する手段である。例えば、電子黒板1cは、本発明に係るプログラムがCPU101によって実行されることで本発明に係る表示制御方法を実現する。また、電子黒板1cは、図2に示されているRAM103、および図2に示されているSSD104によって構築される記憶部1000cを有している。送受信部11c、受付部12c、画像・音処理部13c、表示制御部14c、判断部15c、画像処理部17c、近距離通信部18c、記憶・読出処理部19cおよび記憶部1000cは、それぞれ、送受信部11a、受付部12a、画像・音処理部13a、表示制御部14a、判断部15a、画像処理部17a、近距離通信部18a、記憶・読出処理部19aおよび記憶部1000aと同様の機能を有しているため、これらの説明を省略する。
●中継装置の機能構成
図6に示されているように、中継装置3は、転送部を兼ねた送受信部31、判断部35および記憶・読出処理部39を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503上に展開された中継用プログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、中継装置3は、図4に示されているRAM503、HD504によって構築される記憶部3000を有している。
○中継装置の各機能構成
次に、中継装置3の各機能構成について詳細に説明する。図6に示されている中継装置3の送受信部31は、通信ネットワーク100を介して他の端末、装置、またはシステムと各種データ(または情報)の送受信を行う。また、送受信部31は、転送部としての役割も果たし、所定の端末ら送信されて来た拠点画像データおよび音データを、他の端末に転送する。判断部35は、データの遅延状態等の判断等の各種判断を行なう。
記憶・読出処理部39は、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出したりする処理を行う。
●通信管理システムの機能構成
図6に示されているように、通信管理システム5は、送受信部51、認証部52、生成部53、選択部54、判断部55および記憶・読出処理部59を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理用プログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、通信管理システム5は、図4に示されているHD504により構築される記憶部5000を有している。
○認証管理テーブル
図7は、認証管理テーブルを示す概念図である。記憶部5000には、図7に示されているような認証管理テーブルによって構成されている認証管理DB5001が構築されている。この認証管理テーブルでは、通信管理システム5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連づけられて管理される。例えば、図7に示されている認証管理テーブルにおいて、電子黒板1a(通信端末)の端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。なお、パスワードは認証情報の一例であり、認証情報にはアクセストークンも含まれる。
○端末管理テーブル
図8は、端末管理テーブルを示す概念図である。記憶部5000には、図8に示されているような端末管理テーブルによって構成されている端末管理DB5002が構築されている。この端末管理テーブルでは、各電子黒板1(通信端末)を識別するための端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理システム5で受信された受信日時、および各電子黒板1(通信端末)のIPアドレスが関連づけられて管理される。例えば、図8に示されている端末管理テーブルにおいて、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「ONライン(通信可能)」で、通信管理システム5でログイン要求情報が受信された日時が「2019年2月10日の13時40分」で、この端末1aaのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名、および端末のIPアドレスは、各電子黒板1が、通信管理システム5によるサービスの提供を受けるために事前登録する際に記憶される。
○宛先リスト管理テーブル
図9は、宛先リスト管理テーブルを示す概念図である。記憶部5000には、図9に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5003が構築されている。この宛先リスト管理テーブルでは、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連づけられて管理される。例えば、図9に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補は、端末IDが「01ba」の電子黒板1b等であることが示されている。この宛先端末の候補は、任意の開始端末から通信管理システム5に対する追加または削除の要請により、追加または削除されることで更新される。
なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、端末ID等の宛先に関する情報が羅列されていてもよい。
○セッション管理テーブル
図10は、セッション管理テーブルを示す概念図である。記憶部5000には、図10に示されているようなセッション管理テーブルによって構成されているセッション管理DB5004が構築されている。このセッション管理テーブルでは、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するための通信セッションID毎に、使用される中継装置3の中継装置ID、電子黒板1(開始端末)の端末ID、電子黒板1(宛先端末)の端末ID、宛先端末において拠点画像データが受信される際の受信の遅延時間(ms)、およびこの遅延時間が示されている遅延情報を宛先端末から送られて来て通信管理システム5で受信された受信日時が関連づけられて管理される。例えば、図10に示されているセッション管理テーブルにおいて、セッションID「se01」を用いて実行された通信セッションで、中継装置(中継装置ID「111a」)は、端末IDが「01aa」の電子黒板と、端末IDが「01db」の電子黒板との間で、拠点画像データおよび音データを中継しており、電子黒板(宛先端末)において「2019年2月10日の13時41分」時点における拠点画像データの遅延時間が200(ms)であることが示されている。
○中継装置管理テーブル
図11は、中継装置管理テーブルを示す概念図である。記憶部5000には、図11に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5005が構築されている。この中継装置管理テーブルでは、中継装置3の中継装置ID毎に、各中継装置3の稼動状態、稼動状態が示される状態情報が通信管理システム5で受信された受信日時、中継装置3のIPアドレス、および、中継装置3における最大データ伝送速度(Mbps)が関連づけられて管理される。例えば、図11に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置3は、稼動状態が「ONライン」で、通信管理システム5で状態情報が受信された日時が「2019年2月10日の13時30分」で、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。
○ストロークデータ管理テーブル
図12は、ストロークデータ管理テーブルを示す概念図である。記憶部5000には、図12に示されているようなストロークデータ管理テーブルによって構成されているストロークデータ管理DB5006が構築されている。このストロークデータ管理テーブルには、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するための通信セッションIDごとに、ストロークデータが記憶されて管理されている。このストロークデータには、「ストローク描画」イベントによって生成されたストロークデータを識別するためのストロークID、「ストローク描画」イベントの発生順序を示すシーケンス番号、ストロークの書き始めの時刻を示す開始時刻、ストロークの書き終わりの時刻を示す終了時刻、描画されたストロークの色、描画されたストロークの線の太さを示す幅、描画されたストロークの頂点および描画されたストロークの背景画像となる資料画像を識別するための画像IDの情報が含まれている。
ここで、「ストローク描画」は、ユーザによる描画情報の入力処理であり、例えば、ユーザが電子ペン190をディスプレイ180に押し付け、この状態で電子ペン190を移動させ、ディスプレイ180から電子ペン190を離すまでのイベントである。また、ストロークの色は、RGBA(Red Green Blue Alpha)のデータ形式で、各要素が0-255の数値で表される。さらに、描画されたストロークの線の太さの幅は、ピクセル数で表される。また、描画されたストロークの頂点は、XY座標で表され、それぞれの頂点をベジェ曲線で結ぶとストロークを示す線分となる。このストロークデータ管理テーブルにより、通信管理システム5は、特定の通信セッションを用いたビデオ会議等によって発生したストロークデータを管理することができる。
○保存位置情報管理テーブル
図13は、保存位置情報管理テーブルを示す概念図である。記憶部5000には、図13に示されているような保存位置情報管理テーブルによって構成されている保存位置情報管理DB5007が構築されている。この保存位置情報管理テーブルには、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するための通信セッションIDごとに、画像データを識別するための画像ID、画像データの保存位置を示すURL(Uniform Resource Locator)、およびURLに保存される画像データのデータ種別の情報が関連づけられている。
ここで、URLは保存位置情報の一例であり、保存位置情報にはURI(Uniform Resource Identifier)も含まれる。また、データ種別は、例えば、資料画像、低解像度画像等である。資料画像とは、電子黒板1のディスプレイ180に表示された画像であり、ストローク画像が重畳される背景画像となる画像である。低解像度画像とは、資料画像を用いて生成された資料画像よりも解像度の低い画像である。低解像度画像に係る画像データ(低解像度画像データ)は、画像保存装置7によって生成される。この保存位置情報管理テーブルにより、通信管理システム5は、特定の通信セッションを用いたビデオ会議等によって発生した資料画像等の画像データを管理することができる。
○通信管理システムの各機能構成
図6に示されている通信管理システム5の送受信部51は、通信ネットワーク100を介して他の端末、装置、またはシステムと各種データ(または情報)の送受信を行う。
認証部52は、送受信部51を介して受信されたログイン要求に含まれている端末IDおよびパスワードを検索キーとし、記憶部5000の認証管理DB5001を検索し、認証管理DB5001に同一の組の端末IDおよびパスワードが管理されているかを判断することによって認証を行う。生成部53は、電子黒板1からの通信開始要求(S32参照)に基づき、通信セッションを識別するためのセッションIDを生成する。選択部54は、複数の中継装置3から最終的に1つの中継装置3を選択する処理を行う。判断部55は、各種判断を行なう。記憶・読出処理部59は、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出したりする処理を行う。
●画像保存装置の機能構成
図6に示されているように、画像保存装置7は、送受信部71、画像処理部72および記憶・読出処理部79を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD504からRAM503上に展開された画像保存用プログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、画像保存装置7は、図4に示されているRAM503、HD504によって構築される記憶部7000を有している。記憶部7000には、通信管理システム5によって生成されたURLが示す保存位置に、資料画像データまたは低解像度画像データが記憶されている。
○画像保存装置の各機能構成
次に、画像保存装置7の各機能構成について詳細に説明する。図6に示されている画像保存装置7の送受信部71は、通信ネットワーク100を介して他の端末、装置、またはシステムと各種データ(または情報)の送受信を行う。画像処理部72は、送受信部71によって受信された資料画像データから、資料画像よりも解像度の低い低解像度画像データを生成する。例えば、画素数が3840×2160である、UHD(Ultra-High Definition)画質の資料画像(いわゆる、4K画像)である場合、画像処理部72は、UHD画質の資料画像から、画素数が1920×1080である、FHD(Full High Definition)画質の低解像度画像(いわゆる、2K画像)を生成する。記憶・読出処理部79は、記憶部7000に各種データを記憶したり、記憶部7000に記憶された各種データを読み出したりする処理を行う。
●処理または動作●
次に、図14乃至図19を用いて、本実施形態に係る通信システムにおける処理または動作を説明する。
●遠隔通信の準備段階の処理
まず、図14および図15を用いて、ログイン要求端末としての電子黒板1aが行なう通信の準備処理を説明する。なお、図14は、電子黒板間で遠隔通信を開始する準備段階の処理を示したシーケンス図である。図15は、電子黒板1aで表示される宛先リストの画面例である。なお、電子黒板1bがログイン共有を行う処理も電子黒板1aの処理と同様であるため、説明を省略する。
まず、電子黒板1aで電源スイッチ122がONされると、受付部12aが、電源ONを受け付ける(ステップS11)。
次に、送受信部11aは、通信ネットワーク100を介して通信管理システム5に、ログイン認証の要求を示すログイン要求情報を送信する(ステップS12)。このログイン要求情報には、電子黒板1aの端末IDおよびパスワードが含まれている。
次に、通信管理システム5の認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末IDおよびパスワードを検索キーとして、認証管理テーブル(図7参照)を検索し、同一の端末IDおよび同一のパスワードが管理されているかを判断することによって端末の認証を行う(ステップS13)。ここでは、記憶・読出処理部59によって、同一の端末IDおよび同一のパスワードが管理されているものとして、続けて説明する。
認証部52によって、同一の端末IDおよび同一のパスワードが管理されているものとして、正当な利用権限を有する端末からのログイン要求であると判断された場合には、記憶・読出処理部59は、端末管理テーブル(図8参照)において、上記ステップS12で受信された端末IDのレコードの稼動状態のフィールド部分を「ONライン(通信可能)」に変更すると共に、受信日時のフィールド部分に上記ステップS12によってログイン要求情報が受信された受信日時を記憶する(ステップS14)。これにより、端末管理テーブルには、端末ID「01aa」に、稼動状態「ONライン(通信可能)」、受信日時「2019.2.10.13:40」およびIPアドレス「1.2.1.3」が関連づけて管理されることになる。なお、端末のIPアドレスは、事前に登録されているのではなく、上記ステップS12で電子黒板1aから送信されるようにしてもよい。
次に、記憶・読出処理部59は、上記ステップS12によって受信された電子黒板1aの端末IDを含む新しいレコードを、セッション管理テーブル(図10参照)で追加して管理する(ステップS15)。そして、通信管理システム5の送受信部51は、上記ステップ13の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク100を介して、上記ログイン要求してきた電子黒板1aに送信する(ステップS16)。
ログイン要求端末(電子黒板1a)の送受信部11aが、正当な利用権限を有する端末であると判断された結果が示された認証結果情報を受信すると、送受信部11aが通信ネットワーク100を介して通信管理システム5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS17)。これにより、通信管理システム5の送受信部51は、宛先リスト要求情報を受信する。
次に、記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図9参照)を検索し、ログイン要求端末(電子黒板1a)と通信することができる宛先候補の端末IDを読み出すと共に、この端末IDに対応する宛先名を端末管理テーブル(図8参照)から読み出す(ステップS18)。ここでは、ログイン要求端末(電子黒板1a)の端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。
次に、通信管理システム5の送受信部51は、記憶・読出処理部59を介して記憶部5000から宛先リスト枠のデータおよび稼動状態を示すアイコンのデータを読み出す(ステップS19)と共に、この宛先リスト枠およびアイコン並びに上記記憶・読出処理部59によって読み出された端末IDおよび宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、ログイン要求端末(電子黒板1a)に送信する(ステップS20)。これにより、ログイン要求端末(電子黒板1a)では、送受信部11aが宛先リスト情報を受信し、記憶・読出処理部19aが記憶部1000aへ宛先リスト情報を記憶する(ステップS21)。
このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理システム5が全ての端末の宛先リスト情報を一元管理している。よって、通信システムに新たな電子黒板1が含まれるようになったり、既に含まれている端末に替えて新機種の端末を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、本実施形態に係る通信システムは、通信管理システム5側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。
また、通信管理システム5の記憶・読出処理部59は、上述の読み出した宛先候補の端末IDを検索キーとして、端末管理テーブル(図8参照)を検索し、上記端末ID毎に、対応する稼動状態を読み出すことで、宛先候補としての電子黒板1の各稼動状態を取得する(ステップS22)。
次に、送受信部51は、上記ステップS22で使用された検索キーとしての端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク100を介してログイン要求端末(電子黒板1a)に送信する(ステップS23)。
次に、ログイン共有端末(電子黒板1a)の記憶・読出処理部19aは、順次、通信管理システム5から受信した端末の状態情報を記憶部1000aに記憶する(ステップS24)。よって、ログイン要求端末(電子黒板1a)は、上記各電子黒板の状態情報を受信することで、ログイン要求端末(電子黒板1a)と通信することができる宛先候補である電子黒板1b等の現時点のそれぞれの稼動状態を取得することができる。
次に、ログイン要求端末(電子黒板1a)の表示制御部14aは、記憶部1000aに記憶されている宛先リスト情報、および端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成すると共に、表示制御部14aが、電子黒板1aのディスプレイ180に対して、図15に示されている宛先リスト画面1100を表示する(ステップS25)。この宛先リスト画面1100には、宛先候補毎に、稼動状態を示すアイコン、端末ID、および宛先名が表示されている。図15では、各端末の稼動状態を示したアイコンが、上から「OFFライン」、「ONライン(通信可能)」として表示されている。
一方、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて宛先リスト管理テーブル(図9参照)を検索することにより、ログイン要求端末(電子黒板1a)の端末ID「01aa」を宛先候補として登録している他の端末の端末IDを抽出する(ステップS26)。図9に示されている宛先リスト管理テーブルでは、読み出される他の端末の端末IDは、「01ba」、「01ca」、「01da」等である。
次に、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて端末管理テーブル(図8参照)を検索し、ログイン要求端末(電子黒板1a)の稼動状態を取得する(ステップS27)。
そして、送受信部51は、上記ステップS26で抽出された端末IDに係る端末のうち、端末管理テーブル(図8参照)で稼動状態が「ONライン」となっている端末に、上記ステップS27で取得されたログイン要求端末(電子黒板1a)の端末ID「01aa」と稼動状態「ONライン」が含まれる「端末の状態情報」を送信する(ステップS28)。なお、送受信部51が電子黒板1bに端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル(図8参照)で管理されている電子黒板のIPアドレスを参照する。これにより、ログイン要求端末(電子黒板1a)を宛先候補として通信することができる他の宛先端末のそれぞれに、上記ログイン要求端末(電子黒板1a)の端末ID「01aa」、および稼動状態「ONライン」を伝えることができる。よって、宛先候補(電子黒板1b等)においても、宛先候補の状態を表示させることができる(ステップS29)。
●遠隔通信の開始処理
続いて、図16を用いて、電子黒板1aが電子黒板1bに対して遠隔通信を開始する処理を説明する。図16は、遠隔通信を開始する処理を示したシーケンス図である。
まず、要求元端末(電子黒板1a)の利用者A1が図15に示されている宛先候補(端末ID「01ba」)を押下して電子黒板1bを選択すると、図6に示されている受付部12aは、宛先端末(電子黒板1b)との通話を開始する要求を受け付ける(ステップS31)。そして、要求元端末(電子黒板1a)の送受信部11aは、通信管理システム5に対して、通話を開始したい旨を示す開始要求情報を送信する(ステップS32)。この開始要求情報には、要求元端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」が含まれている。これにより、通信管理システム5の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末(電子黒板1a)のIPアドレスを受信する。
そして、記憶・読出処理部59は、開始要求情報に含まれる要求元端末(電子黒板1a)の端末ID「01aa」および宛先端末(電子黒板1b)の端末ID「01ba」に基づき、端末管理テーブル(図8参照)において、上記端末ID「01aa」、および端末ID「01ba」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する(ステップS33)。なお、この状態では、要求元端末(電子黒板1a)、および宛先端末(電子黒板1b)は、ビデオ会議を開始していないが、通話中状態となり、第3の電子黒板(例えば、途中参加端末(電子黒板1c))が要求元端末(電子黒板1a)または宛先端末(電子黒板1b)と通話しようとする(途中参加しようとする)と、いわゆる通話中状態を示す旨の通知音または表示が出力される。
次に、実際に利用される中継装置3を選択するためのセッションを実行する処理を説明する。まず、通信管理システム5の生成部53は、中継装置3を選択するためのセッションの実行に用いられるセッションIDを生成する(ステップS34)。ここでは、セッションID「se01」が生成された場合について説明する。
そして、記憶・読出処理部59は、セッション管理テーブル(図10参照)に、上記ステップS34で生成されたセッションID「se01」、要求元端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」を関連づけて記憶して管理する(ステップS35)。
次に、図8に示されている通信管理システム5の選択部54は、中継装置管理テーブル(図11参照)および端末管理テーブル(図8参照)に基づいて、要求元端末(電子黒板1a)および宛先端末(電子黒板1b)の2拠点間の通話を中継するための中継装置3の選択を行う(ステップS36)。具体的には、中継装置管理テーブル(図11参照)において稼動状態が「ONライン」の中継装置に係る中継装置IDのうち、端末管理テーブル(図8参照)において要求元端末(電子黒板1a)のIPアドレスに近いIPアドレスの中継装置3に係る中継装置IDが選択される。ここでは、中継装置ID「111a」の中継装置3が選択された場合について、以降、続けて説明する。
以上のステップS36における中継装置の選択の処理が終了すると、通信管理システム5の送受信部51は、要求元端末(電子黒板1a)に対して、中継装置選択情報を送信する(ステップS37-1)。この中継装置選択情報には、上記ステップS36によって選択された中継装置3のIPアドレス、および上記ステップS34によって生成されたセッションID「se01」が含まれている。これにより、要求元端末(電子黒板1a)は、中継装置選択情報の送信元である通信管理システム5のIPアドレスを取得することができる。
さらに、通信管理システム5の送受信部51は、宛先端末(電子黒板1b)に対して、中継装置選択情報を送信する(ステップS37-2)。この中継装置選択情報には、上記ステップS36によって選択された中継装置3のIPアドレス、要求元端末(電子黒板1a)の端末ID「01aa」、および上記ステップS34によって生成されたセッションID「se01」が含まれている。これにより、宛先端末(電子黒板1b)は、セッションID「se01」におけるセッションの実行において、中継装置選択情報の送信元である通信管理システム5のIPアドレスを取得することができる。
次に、上記ステップS37-1の処理に対して、要求元端末(電子黒板1a)の送受信部11は、通信管理システム5に対して、上記ステップS37-1の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38-1)。この受信完了情報には、上記ステップS37-1の処理で送受信されたセッションIDが含まれている。これにより、通信管理システム5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
さらに、上記ステップS37-2の処理に対して、宛先端末(電子黒板1b)は、同様に通信管理システム5へ、上記ステップS37-2の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38-2)。この場合も、通信管理システム5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
以上により、電子黒板1a,1bは、上記ステップS36で選択された中継装置3を介して、拠点画像データおよび音データを送受信することで、ビデオ会議を行うことができる。
●資料画像およびストローク画像の通信処理
続いて、図17乃至図19を用いて、電子黒板1に表示されている資料画像および入力されたストローク画像の通信処理について説明する。図17および図18は、資料画像データおよびストロークデータを共有する処理を示したシーケンス図である。ここでは、電子黒板1a,1bで資料画像データおよびストロークデータを共有する場合であって、電子黒板1aで表示された資料画像および入力されたストローク画像が、電子黒板1bでも表示される場合について説明する。図19のうち、(a)は電子黒板1aの画面例、(b)は電子黒板1bの画面例、(c)は電子黒板1aの画面例、(d)は電子黒板1bの画面例である。
まず、拠点Aの電子黒板1aでは、表示制御部14aによって図19(a)に示されている画面がディスプレイ180上に表示されている。ここでは、資料画像d1、拠点Bの拠点画像v2、資料画像d1を共有する場合に押下される「共有」ボタンb1が表示されている。この状態で、電子黒板1aの利用者A1が「共有」ボタンb1を押下すると、受付部12aが利用者A1から資料画像の共有処理を受け付ける(ステップS51)。次に、送受信部11aは、通信管理システム5に対して、資料画像の画像データである資料画像データの保存位置を示すURL(Uniform Resource Locator)を要求する旨を示す要求情報を送信する(ステップS52)。これにより、通信管理システム5の送受信部51は、要求情報を受信する。ここで、URLは保存位置情報の一例であり、保存位置情報にはURI(Uniform Resource Identifier)も含まれる。
次に、通信管理システム5の生成部53は、資料画像データの保存位置を示すURLおよび低解像度画像データの保存位置を示すURLをそれぞれ生成する(ステップS53)。記憶・読出処理部59は、保存位置情報管理DB5007(図13参照)に、生成部53によって生成されたURLをそれぞれ記憶する(ステップS54)。この場合、記憶・読出処理部59は、図12に示されているように、生成部53によって生成されたURLを、新たに付与される画像ID(例えば、「m001」)およびデータ種別「資料画像」と関連づけて保存位置情報管理テーブルに記憶する。また、記憶・読出処理部59は、図12に示されているように、生成部53によって生成されたURLを、新たに付与される画像ID(例えば、「m003」)およびデータ種別「低解像度画像」と関連づけて保存位置情報管理テーブルに記憶する。そして、送受信部51は、電子黒板1aに対して、生成部53によって生成された資料画像データのURLおよび低解像度画像データのURLを送信する(ステップS55)。これにより、電子黒板1aの送受信部11aは、資料画像データのURLおよび低解像度画像データのURLを受信する。
次に、電子黒板1aの送受信部11aは、通信管理システム5に対して、資料画像データのアップロードの開始通知を送信する(ステップS56)。これにより、通信管理システム5の送受信部51は、開始通知を受信する。
次に、送受信部51は、遠隔会議中の相手側の電子黒板1bに対して、開始通知を転送する(ステップS57)。これにより、電子黒板1bの送受信部11bは、開始通知を受信する。電子黒板1bの表示制御部14bは、電子黒板1bのディスプレイ180上に、図19(b)に示されているような画面を表示させる(ステップS58)。ここでは、もともと拠点Aの拠点画像v1および共有する場合に押下される「共有」ボタンb2が表示されており、ステップS57によって受信された開始通知により、資料画像データのダウンロードの時間経過を視覚的に示す砂時計のアイコンc2を表示する出力が行われる。
また、時間経過は、静止画の砂時計によって示したり、砂の動きがある動画の砂時計によって示したりすることができる。また、砂時計のアイコンc2は、資料画像データをダウンロードする予定である旨を示す予定情報の一例である。予定情報の他の例としては、砂時計以外のアイコン(例えば、時計のアイコン)であっても良いし、アイコンではなく文字(および/または「記号」)であってもよし、アイコンと文字(および/または「記号」)の組み合わせであってもよい。また、予定情報は、音による通知であってもよい。この場合、表示制御部14aではなく、画像・音処理部13aによってスピーカ150から音の出力が行われる。
なお、電子黒板1aは、上記ステップS56の処理後に上記ステップS52の処理を行ってもよい。また、通信管理システム5は、上記ステップS56により資料画像データのアップロード開始通知を受信した後に、上記ステップS55により資料画像データのURLを送信してもよい。
続いて、電子黒板1aの送受信部11aは、通信管理システム5に対して、資料画像データのアップロード要求を送信する(ステップS59)。このアップロード要求には、資料画像データ、並びにステップS55で受信された資料画像データのURLおよび低解像度画像データのURLが含まれている。これにより、通信管理システム5の送受信部51は、電子黒板1aから送信されたアップロード要求を受信する。また、通信管理システム5の送受信部51は、ステップS59で受信されたアップロード要求に含まれる画像保存装置7に係る資料画像データのURLに対して、資料画像データのアップロードを行う(ステップS60)。このとき、通信管理システム5の送受信部51は、資料画像データを送信するとともに、ステップS59によって受信された低解像度画像データのURLを送信する。これにより、画像保存装置7の送受信部71は、資料画像データ、および低解像度画像データのURLを受信する。そして、画像保存装置7の記憶・読出処理部79は、記憶部7000における資料画像データのURLに対して、資料画像データを記憶する(ステップS61)。なお、電子黒板1aは、通信管理システム5を経由せずに、画像保存装置7に係るURLに対して資料画像データのアップロードを行ってもよい。
また、画像保存装置7の画像処理部72は、ステップS60によって受信された資料画像データから、資料画像よりも解像度の低い低解像度画像データを生成する(ステップS62)。例えば、画素数が3840×2160である、UHD(Ultra-High Definition)画質の資料画像(いわゆる、4K画像)である場合、画像処理部72は、UHD画質の資料画像から、画素数が1920×1080である、FHD(Full High Definition)画質の低解像度画像(いわゆる、2K画像)を生成する。なお、画像処理部72によって生成される低解像度画像データは、これに限られず、資料画像データよりもデータサイズ(画素数)が小さくなっていればよい。そして、画像保存装置7の記憶・読出処理部79は、ステップS59によって受信された低解像度画像データのURLに対して、ステップS62によって生成された低解像度画像データを記憶する(ステップS63)。
続いて、拠点Aでは、利用者A1が、電子ペン190や手Hを電子黒板1aのディスプレイ180上に接触して移動させることで、受付部12aが、移動のストローク(軌跡)の入力を受け付ける(ステップS64)。そして、画像処理部17aがストロークに基づいて、2次元のディスプレイ180上にストローク画像を表示させるためのストロークデータ(例えば、座標データ(x,y))を作成すると共に、表示制御部14aが電子黒板1aのディスプレイ180上にストローク画像を表示させる(ステップS65)。これにより、図19(c)に示されているように、ストローク画像stAが表示される。
次に、送受信部11aは、通信管理システム5に対して、ステップS65で作成されたストローク画像を再生するためのストロークデータを送信する(ステップS66)。これにより、通信管理システム5の送受信部51は、ストローク画像のストロークデータを受信する。そして、通信管理システム5の記憶・読出処理部59は、ストロークデータ管理DB5006に、ステップS66によって受信されたストロークデータを記憶する(ステップS67)。この場合、記憶・読出処理部59は、図13に示されているように、送受信部11aによって受信されたストロークデータを、発生順(シーケンス順)に、遠隔会議が実行されている通信セッションのセッションIDに関連づけてストロークデータ管理テーブルに記憶する。
次に、送受信部51は、相手側の電子黒板1bに対して、ストロークデータを転送する(ステップS68)。これにより、電子黒板1bの送受信部11bは、ストロークデータを受信する。そして、電子黒板1bでは、画像処理部17bがストロークデータに基づいてストローク画像を作成し、表示制御部14bが電子黒板1bのディスプレイ180上にストローク画像を表示させる(ステップS69)。これにより、図19(d)に示されているように、相手側の電子黒板1aと同じストローク画像stAが表示される。
続いて、図18に示されているように、画像保存装置7の送受信部71は、通信管理システム5に対して、資料画像データのアップロードが完了した旨を示す完了通知を送信する(ステップS71)。これにより、通信管理システム5の送受信部51は、完了通知を受信する。通信管理システム5の送受信部51は、電子黒板1aに対して、資料画像データのアップロードが完了した旨を示す完了通知を転送する(ステップS72)。これにより、電子黒板1aの送受信部11aは、完了通知を受信する。なお、画像保存装置7は、通信管理システム5を経由せずに、電子黒板1aに対して完了通知を送信してもよい。この場合、電子黒板1aは、画像保存装置7から完了通知を受信した場合、ステップS55で受信された資料画像データのURLを含む完了通知を、通信管理システム5に対して送信する。
次に、通信管理システム5の送受信部51は、相手側の電子黒板1bに対して、資料画像データのURLを含む完了通知を送信する(ステップS73)。これにより、電子黒板1bの送受信部11bは、完了通知を受信する。
次に、電子黒板1bの送受信部11bは、ステップS73で受信した画像保存装置7に係るURLに対して、資料画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS74)。これにより、画像保存装置7の送受信部71は、要求情報を受信する。
次に、画像保存装置7では、記憶・読出処理部79がURLに基づいて、記憶部7000から要求対象である資料画像データを読み出す(ステップS75)。そして、送受信部71が、要求元である電子黒板1bに対して、要求対象である資料画像データを送信する(ステップS76)。これにより、電子黒板1bの送受信部11bは、資料画像データのダウンロード(受信)を行う。そして、電子黒板1b側では、表示制御部14bが、図19(d)に示されている画面上に、図19(c)に示されている資料画像d1と同じ資料画像を表示させると共に、それまで表示していた砂時計のアイコンc2を非表示にする(ステップS77)。
●各実施形態●
続いて、上記の説明を前提として構成される第1の実施形態乃至第3の実施形態に係る通信システムについて説明する。第1の実施形態乃至第3の実施形態は、複数の拠点の電子黒板1を用いて行われている遠隔会議(ビデオ会議)中において、他の拠点の電子黒板1が途中参加する場合の例を説明する。以下の例では、電子黒板1aと電子黒板1bとの間で行われている遠隔通信(ビデオ会議)に、電子黒板1cが途中参加する場合の例を説明する。なお、遠隔通信(ビデオ会議)に途中参加する電子黒板は「途中参加端末」として表され、以下の例では、電子黒板1cが途中参加端末として表されている。
●第1の実施形態
まず、図20乃至図24を用いて、第1の実施形態に係る構成について説明する。第1の実施形態に係る通信システムは、途中参加端末(電子黒板1c)に共有されるデータのダウンロード中において、他の拠点の映像(拠点画像)を途中参加端末に全画面表示させるシステムである。図20は、第1の実施形態に係る通信システムにおいて、途中参加端末に対して拠点画像データを共有する処理を示したシーケンス図である。図23および図24は、第1の実施形態に係る通信システムにおいて、途中参加端末に表示される画面例を示す図である。
まず、電子黒板1aと電子黒板1bとの間で実施されている遠隔会議(ビデオ会議)へ途中参加する電子黒板1cの送受信部11cは、通信管理システム5に対して、会議参加要求を送信する(ステップS101)。ここで、電子黒板1cは、図14および図16を用いて説明した処理によって、セッションID「se01」における通信セッションが確立されるものとして説明する。
次に、通信管理システム5の送受信部51は、セッションID「se01」の通信セッションによって遠隔会議を実施している電子黒板1aへ、電子黒板1cが遠隔会議に参加したことを示す会議参加通知を送信する(ステップS102)。これにより、電子黒板1aの送受信部11aは、通信管理システム5から送信された会議参加通知を受信する。そして、電子黒板1aの送受信部11aは、カメラ160によって拠点Aが撮影された拠点画像に係る拠点画像データを、中継装置3へ送信する(ステップS103)。これにより、中継装置3の送受信部31は、拠点画像データを受信する。
次に、中継装置3の送受信部31は、受信した拠点画像データを、途中参加端末である電子黒板1cへ転送する(ステップS104)。これにより、電子黒板1cの送受信部11cは、拠点画像データを受信する。そして、電子黒板1cの表示制御部14cは、図23(a)に示されているように、送受信部11cによって受信された拠点画像データに係る拠点画像v3を、ディスプレイ180上の領域y1に表示させる(ステップS105)。図23に示されている表示画像は、ディスプレイ180上に全画面表示されている。ここで、領域y1は、ディスプレイ180の全体の領域を示し、全画面表示とは、領域y1に画像を表示させることを示す。なお、領域y1は、ディスプレイ180の全体と等しい領域に限られず、ディスプレイ180の上下左右の端部から所定の余白が設けられた領域であってもよい。
また、この場合、中継装置3は、ステップS103によって随時送信される拠点画像データを電子黒板1cへ転送し、電子黒板1cの表示制御部14cは、送受信部11cによって送信された拠点画像データに係る拠点画像(例えば、拠点Aが撮影されたビデオ映像)をディスプレイ180にリアルタイムで表示させる。これにより、遠隔会議に途中参加した電子黒板1cの利用者は、電子黒板1cに表示された拠点画像v3を見ることにより、既に遠隔会議を行っている電子黒板1aの拠点Aの様子を確認することができる。
なお、図20の処理において、電子黒板1aの拠点画像を途中参加端末(電子黒板1a)に表示させる例を説明したが、同様の処理によって電子黒板1bの拠点画像を途中参加端末に表示させてもよい。また、電子黒板1cのディスプレイ180に複数の拠点画像(電子黒板1aと電子黒板1b)を表示させる場合、図23に示されている領域y1を分割した領域のそれぞれに拠点画像を表示させる。
続いて、図21を用いて、途中参加端末(電子黒板1c)に対して、遠隔会議により発生した資料画像データおよびストロークデータを共有する処理について説明する。図21は、第1の実施形態に係る通信システムにおいて、途中参加端末に対して資料画像データおよびストロークデータを共有する処理を示したシーケンス図である。
まず、通信管理システム5の記憶・読出処理部59は、セッションIDを検索キーとして、保存位置情報管理テーブル(図13参照)を検索することにより、遠隔会議によって生成された資料画像データの保存位置を示すURLを読み出す(ステップS131)。この場合、記憶・読出処理部59は、セッションID「se01」に関連づけられた資料画像の画像ID「m001」、「m002」および「m004」に対応するURLを読み出す。
そして、通信管理システム5の送受信部51は、ステップS131によって読み出された資料画像データのURLを、途中参加端末(電子黒板1c)へ送信する(ステップS132)。これにより、途中参加端末(電子黒板1c)の送受信部11cは、資料画像データのURLを受信する。
次に、途中参加端末(電子黒板1c)の送受信部11cは、ステップS132で受信された画像保存装置7に係るURLに対して、資料画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS133)。ステップS133における要求情報は、資料画像データのダウンロード要求の一例である。これにより、画像保存装置7の送受信部71は、要求情報を受信する。そして、画像保存装置7の記憶・読出処理部79は、送受信部71によって受信されたURLに基づいて、記憶部7000から要求対象である資料画像データを読み出す(ステップS134)。そして、送受信部71は、要求元である電子黒板1cに対して、要求対象である資料画像データの送信を開始する(ステップS135)。これにより、電子黒板1cの送受信部11cは、資料画像データのダウンロード(受信)を開始する。
また、途中参加端末(電子黒板1c)の送受信部11cは、通信管理システム5に対して、ストロークデータのダウンロードを要求する旨を示す要求情報を送信する(ステップS136)。これにより、通信管理システム5の送受信部51は、要求情報を受信する。そして、通信管理システム5の記憶・読出処理部59は、セッションIDを検索キーとして、ストロークデータ管理テーブル(図12参照)を検索することにより、遠隔会議によって生成されたストロークデータを読み出す(ステップS137)。この場合、記憶・読出処理部59は、セッションID「se01」に関連づけられたストロークデータを読み出す。そして、送受信部51は、電子黒板1cに対して、ステップS109によって読み出されたストロークデータの送信を開始する(ステップS138)。これにより、電子黒板1cの送受信部11cは、ストロークデータのダウンロード(受信)を開始する。
以上の処理によって、電子黒板1cは、通信管理システム5および画像保存装置7によって管理されているセッションID「se01」に関連づけられたストロークデータおよび資料画像データのダウンロードを開始する。電子黒板1cの表示制御部14cは、資料画像データまたはストロークデータのダウンロード中において、図23(b),(c)に示されているようなダウンロードの進捗状況を示す通知画像m1a,通知画像m1bを表示させる。図23(b)に示されている通知画像m1aおよび図23(c)に示されている通知画像m1bは、ディスプレイ180上の領域y1に表示された拠点画像v3とともにディスプレイ180に表示される。ここで、画像保存装置7からダウンロードされる資料画像データは、データサイズが大きいため、図21に示されているように、通信管理システム5からダウンロードされるストロークデータと比較してダウンロードに要する時間が長い。そのため、電子黒板1cは、資料画像データのダウンロードが完了するまで、図23(b)または(c)に示されている表示画像をディスプレイ180に表示させておく。
電子黒板1cの送受信部11cは、ストロークデータのダウンロードが完了した場合、ストロークデータのダウンロードが完了したことを示すストロークデータの送信完了通知を、通信管理システム5から受信する。また、送受信部11cは、資料画像データのダウンロードが完了した場合、資料画像データのダウンロードが完了したことを示す資料画像データの送信完了通知を受信する。ここで、ストロークデータの送信完了通知は、ストロークデータと同一のパケットで送信されてもよく、ストロークデータとは別のパケットとして送信されてもよい。資料画像データの送信完了通知の場合も同様である。
そして、電子黒板1cの表示制御部14cは、資料画像データおよびストロークデータのダウンロードが完了した場合、図23(d)に示されているようなダウンロードが完了したことを示す通知画像m1zを表示させる。これにより、電子黒板1cの利用者C1は、拠点画像v3によって他拠点の状況を確認するとともに、資料画像データおよびストロークデータのダウンロード状況を把握することができる。なお、図23(b)~(d)のそれぞれに示されている通知画像は、これに限られず、データのダウンロード中であることが利用者C1に知らせることができるものであればよい。例えば、通知画像は、ダウンロードの進捗状況を示すインジケータ、ダウンロードが完了したデータのパーセンテージ(%)の数値、または砂時計等のアイコンであってもよい。通知画像m1a,m1bは、資料画像データのダウンロード中であることを示す所定のメッセージの一例である。
また、図20に示されている処理において、途中参加端末(電子黒板1c)に他の拠点の拠点画像を全画面表示させる例を説明したが、既に遠隔会議を行っている電子黒板1aおよび電子黒板1bのディスプレイ180にも電子黒板1cの拠点画像を全画面表示させる構成であってもよい。これにより、遠隔会議に参加された側の利用者も、途中参加した電子黒板1cの拠点Cの状況を確認することができる。この場合、参加された側の電子黒板1aは、電子ペンによるディスプレイ180へのタップ等の任意の操作によって、拠点画像の全画面表示を終了して元の表示画面に戻せるようにしてもよい。
なお、ステップS102~ステップS105の処理、ステップS131~ステップS135の処理、およびステップS136~ステップS138の処理の順序は前後してもよく、または並列して行われてもよい。
ここで、図22を用いて、ストロークデータおよび資料画像データのダウンロードが完了するまでの電子黒板1cに表示される表示画像について説明する。図22は、第1の実施形態に係る通信システムにおいて、途中参加端末に表示される表示画像の切り替え処理を示したフローチャートである。
まず、電子黒板1cの判断部15cは、タイマ125を用いて、ステップS135の処理によって資料画像データのダウンロードが開始されてから第1の設定時間が経過したか否かを判断する(ステップS151)。ここで、第1の設定時間は、資料画像データのダウンロードに所定時間以上の時間が掛かっているかどうかを判断するために予め設定された時間情報である。第1の設定時間は、例えば、30秒である。判断部15cは、資料画像データのダウンロード開始から第1の設定時間を経過した場合、処理をステップS152へ移行させる。
次に、電子黒板1cの表示制御部14cは、図24(a)に示されているように、拠点画像v3をディスプレイ180上の領域w1に表示させ、通信管理システム5からダウンロードされたストロークデータに係るストローク画像をディスプレイ180上の領域y1に表示させる(ステップS152)。ここで、図24(a)に示されている領域w1は、ディスプレイ180上の縮小画面である。ディスプレイ180の全体を示す領域y1は、ディスプレイ180の表示領域において、領域w1よりも大きい(広い)領域であり、領域w1は、ディスプレイ180の表示領域において、領域y1よりも小さい(狭い)領域である。これにより、電子黒板1cは、資料画像データのダウンロードが開始から第1の設定時間(例えば、30秒)経過しても終わらない場合、ダウンロードが完了したストローク画像をディスプレイ180に全画面表示させる。そのため、電子黒板1cは、利用者C1に対して共有画像の内容を簡易的に確認させることができるとともに、ダウンロードに時間が掛かっているだけで処理が中断されたわけではないことを利用者C1に確認されて安心感を与えることができる。なお、図24(a)に示されている領域w1のディスプレイ180上での表示位置は、これに限られず、事前の設定または利用者の画面操作等によって設定または変更されてもよい。
そして、電子黒板1cの判断部15cは、資料画像データのダウンロードが完了したか否かを判断する(ステップS153)。判断部15cは、画像保存装置7から送信された資料画像データのダウンロードが完了した場合、すなわち送受信部11cによって資料画像データの送信完了通知が受信された場合、処理をステップS154へ移行させる。一方で、判断部15cは、資料画像データのダウンロードが完了していない場合、すなわち送受信部11cによって資料画像データの送信完了通知が受信されていない場合、ステップS152からの処理を繰り返す。
次に、電子黒板1cの表示制御部14cは、図24(d)に示されているように、拠点画像v3をディスプレイ180上の領域w1に表示させ、通信管理システム5からダウンロードされたストロークデータに係るストローク画像(st1~st3)および画像保存装置7からダウンロードされた資料画像データに係る資料画像d2をディスプレイ180上の領域y1に表示させる(ステップS154)。この場合、表示制御部14cは、図23(d)に示されている通知画像m1zを非表示にするとともに、図24(b),(c)に示されているように、図23(d)に示されている領域y1に表示された拠点画像v3を段階的に縮小させて、最終的に図24(d)に示されている領域w1に拠点画像v3を表示させる。また、表示制御部14cは、図24(d)に示されている領域y1に表示される表示画像を、拠点画像v3から資料画像d2およびストローク画像(st1~st3)に切り替える。なお、図24(d)に示されている領域w1のディスプレイ180上での表示位置は、これに限られず、事前の設定または利用者の画面操作等によって設定または変更されてもよい。
また、表示制御部14cは、資料画像d1およびストローク画像(st1~st3)を、図24(d)に示されている領域y1に重畳表示させる。ここで、図24(d)に示されている領域y1に表示される画像は、ストローク画像のためのレイヤと、資料画像のためのレイヤとによって構成されている。図24(d)に示されている領域y1に表示される画像は、利用者から見た場合、ストローク画像が1層目、資料画像が2層目になるように重畳される。ストローク画像は、例えば、電子黒板1aまたは電子黒板1bによって受け付けられた描画情報を含む画像である。資料画像は、電子黒板1aおよび電子黒板1bに表示された画像データを含む画像であり、重畳される画像のうち、最背面に配置される画像である。これにより、電子黒板1cは、図24(d)に示されているような資料画像d2およびストローク画像(st1~st5)を含む表示画像(共有画像)を、ディスプレイ180上の領域y1に表示させることで、他の拠点の電子黒板1と共有するストローク描画を行うことが可能な状態にすることができる。
一方で、ステップS151の処理において、電子黒板1cの判断部15cは、資料画像データのダウンロード開始から第1の設定時間を経過していない場合、処理をステップS155へ移行させる。次に、電子黒板1cの判断部15cは、タイマ125を用いて、ステップS135の処理によって資料画像データのダウンロードが開始されてから第2の設定時間が経過したか否かを判断する(ステップS155)。ここで、第2の設定時間は、資料画像データのダウンロードが所定時間以内に完了したかどうかを判断するために予め設定された時間情報である。第2の設定時間は、第1の設定時間よりも短い時間である。第2の設定時間は、例えば、10秒である。判断部15cは、資料画像データのダウンロードが第2の設定時間を経過するまでに完了した場合、すなわち資料画像データの送信完了通知が第2の設定時間を経過するまでに送受信部11cによって受信された場合、処理をステップS156へ移行させる。電子黒板1cの表示制御部14cは、資料画像データのダウンロードが開始されてから第2の設定時間(例えば、10秒)が経過するまで、図23(d)に示されているように、拠点画像v3をディスプレイ180上の領域y1に表示させる(ステップS156)。そして、資料画像データのダウンロードが開始されてから第2の設定時間が経過した場合、表示制御部14cは、上述のステップS154と同様に、拠点画像v3をディスプレイ180上の領域w1に表示させ、ストローク画像および資料画像をディスプレイ180上の領域y1にさせる。
これにより、電子黒板1cは、例えば、資料画像データのダウンロードが短時間(例えば、1秒)で完了した場合においても、会議開始(途中参加)時の挨拶等に必要な時間(第2の設定時間)の間には、他の拠点の映像(拠点画像v3)を全画面表示のままにしておき、第2の設定時間(例えば、10秒)を経過したら、拠点画像v3を縮小して共有画像を全画面表示させる。そのため、電子黒板1cの利用者C1は、会議開始(途中参加)時から所定の期間、他の拠点の映像(拠点画像)を見ながら他の拠点の電子黒板1の利用者とコミュニケーションを図ることができる。
さらに、ステップS155の処理において、判断部15cは、資料画像データのダウンロードが第2の設定時間(例えば、10秒)を経過してから第1の設定時間(例えば、30秒)を経過するまでに完了した場合、表示制御部14cは、上述のステップS154と同様に、拠点画像v3をディスプレイ180上の領域w1に表示させ、ストローク画像および資料画像をディスプレイ180上の領域y1にさせる。
以上説明したように、第1の実施形態において、電子黒板1cは、他の通信端末と共有する共有画像である資料画像データおよびストロークデータのダウンロード中には、表示制御部14によって他の通信端末の拠点の映像(拠点画像v3)を全画面表示させる。一方で、電子黒板1cは、資料画像d2およびストロークデータのダウンロードが完了した場合、表示制御部14cによって拠点画像v3を共有画像に切り替えて全画面表示させるとともに、拠点画像v3を縮小画面に表示させる。
途中参加端末(電子黒板1c)に遠隔会議における共有画像を表示させるためには、遠隔会議によって発生した資料画像データおよびストロークデータの履歴を全て送信する必要がある。途中参加端末は、データの履歴を全てダウンロードしないと共有画像の状態を復元できないので、例えば、解像度の高い資料画像データをダウンロードする場合、資料画像d2を含む共有画像を表示するのに非常に時間を要していた。そのため、遠隔会議が始まっているにも関わらず途中参加端末に何も表示されない状態が続くので、コミュニケーションの齟齬が生じてしまっていた。そこで、第1の実施形態に係る通知システムは、途中参加端末が遠隔会議に途中参加した際に、資料画像データのダウンロードが完了するまで、拠点画像v3を途中参加端末に表示させる。そのため、途中参加端末の利用者は、資料画像データのダウンロード中には相手方の拠点の様子を見ながらコミュニケーションをとることで円滑に会議に参加することができるため、ダウンロードに要する待ち時間を有効活用できるとともに、コミュニケーションの齟齬が発生するリスクを低減させることができる。
●第2の実施形態
次に、図25乃至図28を用いて、第2の実施形態に係る構成について説明する。第2の実施形態に係る通信システムは、途中参加端末(電子黒板1c)に共有させるデータのダウンロード中において、資料画像の解像度を低下された低解像度画像を途中参加端末に全画面表示させるシステムである。図25および図26は、第2の実施形態に係る通信システムにおいて、途中参加端末に対して資料画像データおよびストロークデータを共有する処理を示したシーケンス図である。図27および図28は、第2の実施形態に係る通信システムにおいて、途中参加端末に表示される画面例を示す図である。なお、図27に示されている処理は、図20に示されているステップS101~S104の処理を経て行われるものとして説明する。
電子黒板1cの表示制御部14cは、電子黒板1cの表示制御部14cは、図27(a)に示されているように、送受信部11cによって受信された拠点画像データに係る拠点画像v3を、ディスプレイ180上の領域w1に表示させる(ステップS171)。図27(a)に示されている表示画像には、ディスプレイ180上の縮小画面である領域w1に表示された拠点画像v3、および資料画像データまたはストロークデータのダウンロード中であることを示す通知画像m2が含まれている。通知画像m2は、資料画像データのダウンロード中であることを示す所定のメッセージの一例である。
また、通信管理システム5の記憶・読出処理部59は、セッションIDを検索キーとして、保存位置情報管理テーブル(図13参照)を検索することにより、遠隔会議によって生成された資料画像データの保存位置を示すURL、および低解像度画像データの保存位置を示すURLを読み出す(ステップS172)。この場合、記憶・読出処理部59は、資料画像データの保存位置を示すURLとして、セッションID「se01」に関連づけられた資料画像の画像ID「m001」、「m002」および「m004」に対応するURLを読み出す。また、記憶・読出処理部59は、低解像度画像データの保存位置を示すURLとして、セッションID「se01」に関連づけられた低解像度画像の画像ID「m003」に対応するURLを読み出す。
そして、通信管理システム5の送受信部51は、ステップS172によって読み出された資料画像データのURLおよび低解像度画像データのURLを、途中参加端末(電子黒板1c)へ送信する(ステップS173)。これにより、途中参加端末(電子黒板1c)の送受信部11cは、資料画像データのURLおよび低解像度画像データのURLを受信する。
次に、途中参加端末(電子黒板1c)の送受信部11cは、ステップS173で受信された画像保存装置7に係る低解像度画像データのURLに対して、低解像度画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS174)。これにより、画像保存装置7の送受信部71は、要求情報を受信する。そして、画像保存装置7の記憶・読出処理部79は、送受信部71によって受信された低解像度画像データのURLに基づいて、記憶部7000から要求対象である低解像度画像データを読み出す(ステップS175)。そして、送受信部71は、要求元である電子黒板1cに対して、要求対象である低解像度画像データを送信する(ステップS176)。これにより、電子黒板1cの送受信部11cは、低解像度画像データをダウンロード(受信)する。
そして、電子黒板1cの表示制御部14cは、図27(b)に示されているように、送受信部11cによって受信された低解像度画像データに係る低解像度画像g1を、ディスプレイ180上の領域y1に表示させる(ステップS177)。図27(b)に示されている表示画像には、ディスプレイ180の全体の領域を示す領域y1に表示された低解像度画像g1、ディスプレイ180上の縮小画面である領域w1に表示された拠点画像v3、および通知画像m2が含まれている。これにより、電子黒板1cは、画像保存装置7によって生成された低解像度画像データをダウンロードして低解像度画像g1をディスプレイ180に全画面表示させることで、利用者C1に対して共有画像が表示される前に遠隔会議の現在の状態や会議の概要を簡易的に確認させることができる。
また、途中参加端末(電子黒板1c)の送受信部11cは、通信管理システム5に対して、ストロークデータのダウンロードを要求する旨を示す要求情報を送信する(ステップS178)。これにより、通信管理システム5の送受信部51は、要求情報を受信する。そして、通信管理システム5の記憶・読出処理部59は、セッションIDを検索キーとして、ストロークデータ管理テーブル(図12参照)を検索することにより、遠隔会議によって生成されたストロークデータを読み出す(ステップS179)。この場合、記憶・読出処理部59は、セッションID「se01」に関連づけられたストロークデータを読み出す。そして、送受信部51は、電子黒板1cに対して、ステップS179によって読み出されたストロークデータの送信を開始する(ステップS180)。これにより、電子黒板1cの送受信部11cは、ストロークデータのダウンロード(受信)を開始する。電子黒板1cの表示制御部14cは、ストロークデータのダウンロード中において、図27(b)に示されているように、ストロークデータのダウンロード中であることを示す通知画像m2を表示させる。
そして、電子黒板1cの表示制御部14cは、送受信部11cによってストロークデータのダウンロードが完了したことを示すストロークデータの送信完了通知が受信された場合、図28(a),(b)に示されているように、通信管理システム5からダウンロードされたストロークデータに係るストローク画像(st1~st3)を、ディスプレイ180上の領域y1に時系列に表示させる(ステップS181)。この場合、表示制御部14cは、ディスプレイ180上の領域y1に、ストローク画像(st1~st3)を低解像度画像g1に重畳させて表示させる。また、表示制御部14は、ストロークデータに係るシーケンス番号、または開始時刻もしくは終了時刻(図12参照)に応じて、ストローク画像(st1~st3)を時系列に表示(再生)する。ストローク画像の表示(再生)方法は、資料画像データのダウンロードの経過(%)に合わせて再生させてもよいし、任意の時間間隔で再生して資料画像データのダウンロードが完了するまでループ再生させてもよい。これにより、電子黒板1cは、利用者C1に対して共有画像の内容を簡易的に確認させることができるとともに、他の拠点によって行われたストローク描画の流れを再現されることで、利用者C1に遠隔会議の内容や状況をより詳細に確認させることができる。
また、図26に示されているように、途中参加端末(電子黒板1c)の送受信部11cは、ステップS173で受信された画像保存装置7に係るURLに対して、資料画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS191)。これにより、画像保存装置7の送受信部71は、要求情報を受信する。そして、画像保存装置7の記憶・読出処理部79は、送受信部71によって受信されたURLに基づいて、記憶部7000から要求対象である資料画像データを読み出す(ステップS192)。そして、送受信部71は、要求元である電子黒板1cに対して、要求対象である資料画像データの送信を開始する(ステップS193)。これにより、電子黒板1cの送受信部11cは、資料画像データのダウンロード(受信)を開始する。
電子黒板1cの表示制御部14cは、資料画像データのダウンロード中において、上述の図28(a)または(b)に示されているような表示画像を、ディスプレイ180に表示させる。そして、電子黒板1cの表示制御部14cは、送受信部11cによって資料画像データのダウンロードが完了したことを示す資料画像データの送信完了通知が受信された場合、通知画像m2に変えて、図28(c)に示されているような資料画像データのダウンロードが完了したことを示す通知画像m2zを、ディスプレイ180に表示させる。
そして、電子黒板1cの表示制御部14cは、図28(d)に示されているように、図28(c)に示されている通知画像m2zを非表示にし、低解像度画像g1を画像保存装置7からダウンロードされた資料画像データに係る資料画像d2に切り替えてディスプレイ180上の領域y1に表示させる。図28(d)に示されている表示画像は、図24(d)に示されている表示画像と同様である。これにより、電子黒板1cは、図28(d)に示されているような資料画像d2およびストローク画像(st1~st5)を含む表示画像(共有画像)を、ディスプレイ180上の領域y1に表示させることで、他の拠点の電子黒板1と共有するストローク描画を行うことが可能な状態にすることができる。
なお、図27および図28に示されている領域w1のディスプレイ180上での表示位置は、これに限られず、事前の設定または利用者の画面操作等によって設定または変更されてもよい。また、ステップS102~ステップS104およびステップS171の処理、ステップS172~ステップS173の処理、並びにステップS178~ステップS180の処理の順序は前後してもよく、または並列して行われてもよい。さらに、ステップS102~ステップS104およびステップS171の処理、ステップS174~ステップS176の処理、ステップS178~ステップS180の処理、並びにステップS191~ステップS193の順序は前後してもよく、または並列して行われてもよい。
以上説明したように、第2の実施形態において、電子黒板1cは、他の通信端末と共有する共有画像である資料画像データおよびストロークデータのダウンロード中には、資料画像の解像度を低下させた低解像度画像g1を全画面表示させる。一方で、電子黒板1cは、資料画像およびストロークデータのダウンロードが完了した場合、表示制御部14cによって低解像度画像g1を資料画像d2に切り替えて全画面表示させる。これにより、第2の実施形態に係る通信システムは、資料画像データおよびストロークデータのダウンロードが完了するまでの間、低解像度画像g1を電子黒板1cに全画面表示させることで、利用者C1に対して共有画像が表示される前に遠隔会議の現在の状態を簡易的に確認させることができる。また、第2の実施形態に係る通信システムは、資料画像データのダウンロードが完了した場合に、低解像度画像g1を資料画像d2に切り替えて全画面表示させることで、電子黒板1cに表示される表示画像を自然に切り替えることができる。そのため、利用者C1は、拠点画像v3を見ながら他の利用者とのコミュニケーションを行ったり、低解像度画像g1を見ながら会議の概要を確認したりして、ダウンロードに要する待ち時間を有効活用できるとともに、ダウンロードが完了した場合に電子黒板1cを用いた遠隔会議に自然と移行することができるので円滑に会議を開始することができる。
●第3の実施形態
まず、図29乃至図31を用いて、第3の実施形態に係る構成について説明する。第3の実施形態に係る通信システムは、途中参加端末(電子黒板1c)に共有させるデータのダウンロード中において、他の拠点の映像(拠点画像)を途中参加端末に全画面表示させるとともに、資料画像の解像度を低下された低解像度画像を縮小画面に表示させるシステムである。図29は、第3の実施形態に係る通信システムにおいて、途中参加端末に対して資料画像データおよびストロークデータを共有する処理を示したシーケンス図である。図30および図31は、第3の実施形態に係る通信システムにおいて、途中参加端末に表示される画面例を示す図である。なお、図29に示されている処理は、第2の実施形態と同様に、図20に示されているステップS101~S104の処理を経て行われるものとして説明する。
電子黒板1cの表示制御部14cは、電子黒板1cの表示制御部14cは、図30(a)に示されているように、送受信部11cによって受信された拠点画像データに係る拠点画像v3を、ディスプレイ180上の領域y1に表示させる(ステップS201)。図30(a)に示されている表示画像には、ディスプレイ180の全体を示す領域y1に表示された拠点画像v3、およびディスプレイ180上の領域w2に表示された、資料画像データまたはストロークデータのダウンロード中であることを示す通知画像m3が含まれている。通知画像m3は、資料画像データのダウンロード中であることを示す所定のメッセージの一例である。ここで、図30(a)に示されている領域w2は、ディスプレイ180上の縮小画面である。また、ディスプレイ180の全体を示す領域y1は、ディスプレイ180の表示領域において、領域w2よりも大きい(広い)領域であり、領域w2は、ディスプレイ180の表示領域において、領域y1よりも小さい(狭い)領域である。
また、通信管理システム5の記憶・読出処理部59は、セッションIDを検索キーとして、保存位置情報管理テーブル(図13参照)を検索することにより、遠隔会議によって生成された資料画像データの保存位置を示すURL、および低解像度画像データの保存位置を示すURLを読み出す(ステップS202)。この場合、記憶・読出処理部59は、資料画像データの保存位置を示すURLとして、セッションID「se01」に関連づけられた資料画像の画像ID「m001」、「m002」および「m004」に対応するURLを読み出す。また、記憶・読出処理部59は、低解像度画像データの保存位置を示すURLとして、セッションID「se01」に関連づけられた低解像度画像の画像ID「m003」に対応するURLを読み出す。
そして、通信管理システム5の送受信部51は、ステップS202によって読み出された資料画像データのURLおよび低解像度画像データのURLを、途中参加端末(電子黒板1c)へ送信する(ステップS203)。これにより、途中参加端末(電子黒板1c)の送受信部11cは、資料画像データのURLおよび低解像度画像データのURLを受信する。
次に、途中参加端末(電子黒板1c)の送受信部11cは、ステップS173で受信された画像保存装置7に係る低解像度画像データのURLに対して、低解像度画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS204)。これにより、画像保存装置7の送受信部71は、要求情報を受信する。そして、画像保存装置7の記憶・読出処理部79は、送受信部71によって受信された低解像度画像データのURLに基づいて、記憶部7000から要求対象である低解像度画像データを読み出す(ステップS205)。そして、送受信部71は、要求元である電子黒板1cに対して、要求対象である低解像度画像データを送信する(ステップS206)。これにより、電子黒板1cの送受信部11cは、低解像度画像データをダウンロード(受信)する。
そして、電子黒板1cの表示制御部14cは、図30(b)に示されているように、送受信部11cによって受信された低解像度画像データに係る低解像度画像g1を、ディスプレイ180上の領域w2に表示させる(ステップS207)。この場合、図30(b)に示されている表示画像には、ディスプレイ180上の縮小画面である領域w2に表示された低解像度画像g1および通知画像m3、並びにディスプレイ180の全体の領域を示す領域y1に表示された拠点画像v3が含まれている。ここで、電子黒板1cに低解像度画像g1を大きく表示させた場合、ぼやけた表示になり、利用者C1にとって見づらい状態になる場合がある。そのため、第3の実施形態に係る電子黒板1cは、資料画像データのダウンロード中には、拠点画像v3を全画面表示させるとともに、低解像度画像g1を縮小画面に表示させる。
また、途中参加端末(電子黒板1c)の送受信部11cは、通信管理システム5に対して、ストロークデータのダウンロードを要求する旨を示す要求情報を送信する(ステップS208)。これにより、通信管理システム5の送受信部51は、要求情報を受信する。そして、通信管理システム5の記憶・読出処理部59は、セッションIDを検索キーとして、ストロークデータ管理テーブル(図12参照)を検索することにより、遠隔会議によって生成されたストロークデータを読み出す(ステップS209)。この場合、記憶・読出処理部59は、セッションID「se01」に関連づけられたストロークデータを読み出す。そして、送受信部51は、電子黒板1cに対して、ステップS179によって読み出されたストロークデータの送信を開始する(ステップS210)。これにより、電子黒板1cの送受信部11cは、ストロークデータのダウンロード(受信)を開始する。電子黒板1cの表示制御部14cは、ストロークデータのダウンロード中において、図30(b)に示されているように、ストロークデータのダウンロード中であることを示す通知画像m3を表示させる。
そして、電子黒板1cの表示制御部14cは、送受信部11cによってストロークデータのダウンロードが完了したことを示すストロークデータの送信完了通知が受信された場合、図31(a)に示されているように、通信管理システム5からダウンロードされたストロークデータに係るストローク画像(st1~st3)を、ディスプレイ180上の領域w2に時系列に表示させる(ステップS211)。この場合、表示制御部14cは、ディスプレイ180上の領域w2に、ストローク画像(st1~st3)を低解像度画像g1に重畳させて表示させる。また、表示制御部14は、図28(a),(b)に示されている内容と同様に、ストロークデータに係るシーケンス番号、または開始時刻もしくは終了時刻(図12参照)に応じて、ストローク画像(st1~st3)を時系列に表示(再生)する。
そして、電子黒板1cは、図26のステップS191~ステップS194に示されている処理と同様の処理を行う。電子黒板1cの表示制御部14cは、資料画像データのダウンロード中において、上述の図31(a)に示されているような表示画像を、ディスプレイ180に表示させる。そして、電子黒板1cの表示制御部14cは、送受信部11cによって資料画像データのダウンロードが完了したことを示す資料画像データの送信完了通知が受信された場合、通知画像m3に変えて、図31(b)に示されているような資料画像データのダウンロードが完了したことを示す通知画像m3zを、ディスプレイ180上の領域w2に表示させる。
そして、電子黒板1cの表示制御部14cは、図31(c)に示されているように、図31(b)に示されている通知画像m3zを非表示にし、ストローク画像(st1~st3)および画像保存装置7からダウンロードされた資料画像データに係る資料画像d2をディスプレイ180上の領域y1に表示させ、拠点画像v3をディスプレイ180上の領域w1に表示させる。この場合、表示制御部14cは、図31(d)に示されている領域y1に表示される表示画像を、拠点画像v3から資料画像d2およびストローク画像(st1~st3)に切り替える。図31(c)に示されている表示画像は、図24(d)に示されている表示画像と同様である。これにより、電子黒板1cは、図31(c)に示されているような資料画像d2およびストローク画像(st1~st5)を含む表示画像(共有画像)を、ディスプレイ180上の領域y1に表示させることで、他の拠点の電子黒板1と共有するストローク描画を行うことが可能な状態にすることができる。
また、第3の実施形態の電子黒板1cは、図22に示した処理と同様に、資料画像データのダウンロードに要する時間に応じて、電子黒板1cに表示させる表示画面を切り替えてもよい。この場合、電子黒板1cの表示制御部14cは、ダウンロード開始から第1の設定時間が経過した場合、拠点画像v3をディスプレイ180上の領域w1に表示させ、低解像度画像g1およびストローク画像(st1~st3)をディスプレイ180上の領域y1に表示させる。また、表示制御部14cは、第2の設定時間を経過するまでにダウンロードが完了した場合、第2の設定時間が経過するまで拠点画像v3をディスプレイ180上の領域y1に表示させる。
なお、図30および図31に示されている領域w2、または図31(c)に示されている領域w1のディスプレイ180上での表示位置は、これに限られず、事前の設定または利用者の画面操作等によって設定または変更されてもよい。また、ステップS102~ステップS104およびステップS201の処理、ステップS202~ステップS203の処理、並びにステップS208~ステップS210の処理の順序は前後してもよく、または並列して行われてもよい。さらに、ステップS102~ステップS104およびステップS201の処理、ステップS204~ステップS206の処理、ステップS208~ステップS210の処理、並びにステップS191~ステップS193の順序は前後してもよく、または並列して行われてもよい。
以上説明したように、第3の実施形態において、電子黒板1cは、他の通信端末と共有する共有画像である資料画像データおよびストロークデータのダウンロード中には、他の通信端末の拠点の映像(拠点画像v3)を全画面表示させ、資料画像の解像度を低下させた低解像度画像g1を縮小画面に表示させる。一方で、電子黒板1cは、資料画像およびストロークデータのダウンロードが完了した場合、拠点画像v3を共有画像に切り替えて全画面表示させるとともに、拠点画像v3を縮小画面に表示させる。これによって、第3の実施形態に係る通信システムは、電子黒板1cの利用者が、資料画像データのダウンロード中には相手方の拠点の様子を見ながらコミュニケーションをとることで円滑に会議に参加することができるため、コミュニケーションの齟齬が発生するリスクを低減させることができる。また、第2の実施形態に係る通信システムは、低解像度画像g1を電子黒板1cの縮小画面に表示させることで、低解像度画像g1の見づらさを低減させつつ、利用者C1に対して共有画像が表示される前に遠隔会議の現在の状態を簡易的に確認させることができる。
●まとめ●
以上説明したように、本発明の一実施形態に係る電子黒板1c(通信端末の一例)は、
他の通信端末(例えば、電子黒板1aまたは電子黒板1b)との間においてデータを共有する通信端末である。電子黒板1cは、他の通信端末から送信された、当該他の通信端末の拠点が撮影された拠点画像に係る拠点画像データを受信し、他の通信端末との間で共有されるデータを管理するサーバシステム6から、他の通信端末に表示された資料画像に係る資料画像データのダウンロードを開始する。そして、電子黒板1cは、資料画像データのダウンロードが完了していない場合、受信した拠点画像データに係る拠点画像v3をディスプレイ180(表示部の一例)に表示させ、資料画像データのダウンロードが完了した場合、受信した資料画像データに係る資料画像d2を、拠点画像v3とともにディスプレイ180に表示させる。これにより、電子黒板1cは、資料画像データのダウンロードが完了するまで他の拠点が撮影された映像(拠点画像v3)を表示させることで、電子黒板1cの利用者を円滑に遠隔会議に参加させることができるとともに、コミュニケーションの齟齬が発生するリスクを低減させることができる。
また、本発明の一実施形態に係る電子黒板1c(通信端末の一例)は、資料画像データのダウンロードが完了した場合、ディスプレイ180(表示部の一例)の表示領域において、資料画像d2を拠点画像v3よりも広い領域に表示させる。これにより、電子黒板1cの利用者C1は、資料画像データのダウンロード中には相手方の拠点の様子を確認しながらコミュニケーションをとることができるとともにダウンロードが完了すれば資料画像d2をメインに確認することができるため、ダウンロードに要する待ち時間を有効活用できるとともに、電子黒板1cを用いた遠隔会議を円滑に開始することができる。
さらに、本発明の一実施形態に係る電子黒板1c(通信端末の一例)は、サーバシステム6から他の通信端末(例えば、電子黒板1aまたは電子黒板1b)に描画されたストローク画像に係るストロークデータのダウンロードを開始する。そして、電子黒板1cは、ストロークデータのダウンロードが完了し、かつ資料画像データのダウンロードが開始されてから第1の設定時間が経過するまでに資料画像データのダウンロードが完了していない場合、ディスプレイ180(表示部の一例)の表示領域において、ストローク画像(st1~st3)を拠点画像v3よりも広い領域に表示させる。これにより、電子黒板1cは、資料画像データのダウンロードが開始から第1の設定時間(例えば、30秒)経過しても終わらない場合、ダウンロードが完了したストローク画像をディスプレイ180に拡大表示させることで、利用者C1に対して共有画像の内容を簡易的に確認させることができるとともに、ダウンロードに時間が掛かっているだけで処理が中断されたわけではないことを利用者C1に確認されて安心感を与えることができる。
また、本発明の一実施形態に係る電子黒板1c(通信端末の一例)は、資料画像の解像度を低下させた低解像度画像に係る低解像度画像データを、サーバシステム6から受信し、低解像度画像データが受信され、かつ資料画像データのダウンロードが完了していない場合、低解像度画像g1をディスプレイ180(表示部の一例)に表示させる。これにより、電子黒板1cは、資料画像d2が表示される前に低解像度画像g1を表示させることで、遠隔会議の現在の状態や会議の概要を、利用者C1に簡易的に確認させることができる。
さらに、本発明の一実施形態に係る電子黒板1c(通信端末の一例)は、サーバシステム6から、他の通信端末(例えば、電子黒板1aまたは電子黒板1b)に描画されたストローク画像に係るストロークデータのダウンロードを開始し、ストロークデータのダウンロードが完了した場合、低解像度画像g1にストローク画像(st1~st3)を時系列に重畳表示させる。これにより、電子黒板1cは、利用者C1に対して共有画像の内容を簡易的に確認させることができるとともに、他の拠点によって行われたストローク描画の流れを再現されることで、利用者C1に遠隔会議の内容や状況をより詳細に確認させることができる。
また、本発明の一実施形態に係る電子黒板1c(通信端末の一例)は、資料画像データのダウンロードが完了していない場合、拠点画像v3をディスプレイ180(表示部の一例)に全画面表示させ、資料画像データのダウンロードが完了した場合、拠点画像v3を資料画像d2に切り替えてディスプレイ180に全画面表示(例えば、領域y1)させるとともに、拠点画像v3をディスプレイ180の縮小画面(例えば、領域w1)に表示させる。これにより、電子黒板1cの利用者C1は、資料画像データのダウンロード中に全画面表示された拠点画像v3を見ながら他の利用者とのコミュニケーションを行うことでダウンロードに要する待ち時間を有効活用できるとともに、ダウンロードが完了した場合に拠点画像v3から資料画像d2に切り替えて全画面表示されるので電子黒板1cを用いた遠隔会議に自然と移行することができるので円滑に会議を開始することができる。
さらに、本発明の一実施形態に係る電子黒板1c(通信端末の一例)は、資料画像データのダウンロードが開始されてから第2の設定時間が経過するまでに資料画像データのダウンロードが完了した場合、第2の設定時間が経過するまで拠点画像v3をディスプレイ180(表示部の一例)に全画面表示(例えば、領域y1)させる。これにより、電子黒板1cは、会議開始時の挨拶等に必要な時間(第2の設定時間)の間には、他の拠点の映像(拠点画像v3)を全画面表示のままにしておき、第2の設定時間(例えば、10秒)を経過したら、拠点画像v3を縮小して共有画像を全画面表示させる。そのため、電子黒板1cの利用者C1は、会議開始時から所定の期間、他の拠点の映像(拠点画像v3)を見ながら他の拠点の利用者とコミュニケーションを図ることができる。
また、本発明の一実施形態に係る電子黒板1c(通信端末の一例)は、低解像度画像データが受信され、かつ資料画像データのダウンロードが完了していない場合、低解像度画像g1をディスプレイ180(表示部の一例)に全画面表示(例えば、領域y1)させ、資料画像データのダウンロードが完了した場合、低解像度画像g1を資料画像d2に切り替えてディスプレイ180に全画面表示(例えば、領域y1)させるとともに、拠点画像v3をディスプレイ180の縮小画面(例えば、領域w1)に表示させる。これにより、電子黒板1cの利用者C1は、資料画像データのダウンロード中に全画面表示された低解像度画像g1を見ながら会議の概要や進捗を確認することでダウンロードに要する待ち時間を有効活用できるとともに、ダウンロードが完了した場合に電子黒板1cを用いた遠隔会議に自然と移行することができるので円滑に会議を開始することができる。
さらに、本発明の一実施形態に係る電子黒板1c(通信端末の一例)は、資料画像データのダウンロードが開始されてから資料画像データのダウンロードが完了するまで、資料画像データのダウンロード中であることを示す通知画像(所定のメッセージの一例)をディスプレイ180(表示部の一例)に表示させる。これにより、電子黒板1cの利用者C1は、拠点画像v3によって他拠点の状況を確認するとともに、資料画像データのダウンロード状況を把握することができる。
●各実施形態の補足●
上記実施形態では、通信端末の一例として、電子黒板であるオフィス機器について説明したが、これに限るものではない。通信端末の他の例として、PC、スマートフォン、スマートウォッチ、カーナビゲーション端末またはテレプレゼンスロボット等が含まれる。さらに、通信端末には、医療機器が含まれる。医療機器の場合には、資料画像が患者の画像となる。
また、上記実施形態では、通信システムによってビデオ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、遠隔診断、または、一方向での情報の提示に使用されても構わない。
さらに、上記実施形態において、電子黒板1aと電子黒板1bとの遠隔会議によって発生した資料画像データおよびストロークデータを、途中参加端末(電子黒板1c)に共有する場合の処理を説明したが、第1の実施形態乃至第3の実施形態に示されている処理は、遠隔会議への途中参加端末に対する処理に限られない。例えば、遠隔会議の開始前に開始端末(電子黒板1a)のディスプレイ180に表示されている資料画像データおよびストロークデータを、遠隔会議の開始時に宛先端末(電子黒板1bまたは電子黒板1c)に共有する場合においても同様の処理をおこなってもよい。この場合、開始端末と宛先端末との通信セッションの確立時に、開始端末が資料画像データおよびストロークデータをサーバシステム6にアップロードするとともに、宛先端末がサーバシステム6にアップロードされた資料画像データおよびストロークデータをダウンロードする。
なお、各実施形態の機能は、アセンブラ、C、C++、C#、Java(登録商標)等のレガシープログラミング言語またはオブジェクト指向プログラミング言語等で記述されたコンピュータ実行可能なプログラムにより実現でき、各実施形態の機能を実行するためのプログラムは、電気通信回線を通じて頒布することができる。
また、各実施形態の機能を実行するためのプログラムは、ROM、EEPROM(Electrically Erasable Programmable Read-Only Memory)、EPROM(Erasable Programmable Read-Only Memory)、フラッシュメモリ、フレキシブルディスク、CD(Compact Disc)-ROM、CD-RW(Re-Writable)、DVD-ROM、DVD-RAM、DVD-RW、ブルーレイディスク(登録商標)、SDカード、MO(Magneto-Optical disc)等の装置可読な記録媒体に格納して頒布することもできる。
さらに、各実施形態の機能の一部または全部は、例えばFPGA(Field Programmable Gate Array)等のプログラマブル・デバイス(PD)上に実装することができ、またはASICとして実装することができ、各実施形態の機能をPD上に実現するためにPDにダウンロードする回路構成データ(ビットストリームデータ)、回路構成データを生成するためのHDL(Hardware Description Language)、VHDL(Very High Speed Integrated Circuits Hardware Description Language)、Verilog-HDL等により記述されたデータとして記録媒体により配布することができる。
これまで本発明の一実施形態に係る通信端末、通信システム、表示制御方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。