以下、図面を用いて、本発明の一実施形態について説明する。
●通信システムの概略●
●通信ルート
まず、図1を用いて、複数の電子黒板1a,1b間で描画しながらビデオ会議を行なうための通信システムについて説明する。図1は、本実施形態の通信ルートを示した概略図である。なお、「ビデオ会議」ではなく「テレビ会議」と呼ばれる場合もある。また、ここでは、一例として、ビデオ会議について説明するが、打ち合わせや単なる会話等であってもよい。
通信システムは、複数の電子黒板1a,1b、中継装置3、通信管理システム5および画像保存装置7によって構築されている。電子黒板1a,1bは、通話用の画像データおよび音データ、並びに、共有用の画像データおよびストロークデータ等のコンテンツデータの相互通信を行う。なお、ストロークデータは、ストローク画像を再生(再現)するために必要なデータであり、座標データ、線の幅データ、線の色データ、ベクトルデータ等が含まれる。また、ストロークデータは、電子黒板1a,1bによってシリアライズされた文字列として送受信される。電子黒板1a,1bは、通話用の画像データおよび音データの送受信により、相手側の拠点の拠点画像および音を再生することで、遠隔ビデオ通話が可能となる。
電子黒板1a,1bは、共有用の資料画像の画像データを送受信することにより、通信システムを利用する参加者が、同じ資料画像を共有することができる。資料画像は、電子黒板1のディスプレイに表示される画像であり、会議の資料、ディスプレイに表示される背景画像等の画像である。資料画像の画像データは、例えば、JPEG(Joint Photographic Experts Group)等のファイル形式で送受信される。また、電子黒板1a,1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システムを利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等で手書きストロークにより描画された線等を示す画像である。ストローク画像は、ディスプレイ上の座標を特定する点を示すストロークデータによって表示される。
なお、通信システムは、2つの電子黒板1a,1bに限らず、3つ以上の電子黒板によって構築されてもよい。以降、電子黒板1a,1bの総称を示す場合は、「電子黒板1」と示す。
図1では、電子黒板1a,1bの一例としてビデオ会議機能が搭載された電子黒板が示されている。なお、拠点画像データに係る拠点画像は、動画であっても静止画であってもよい。
また、ビデオ会議の開始を要求する要求元としての電子黒板は「開始端末」と表され、要求先である宛先(中継先)としての電子黒板は「宛先端末」と表されている。図1では、電子黒板1aが開始端末として、電子黒板1bが宛先端末として表されている。ただし、電子黒板1bからビデオ会議の開始を要求する場合は、電子黒板1bが開始端末となり、電子黒板1aが宛先端末となる。なお、各電子黒板1a,1bは、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内または屋外と屋外での通信で使われてもよい。
中継装置3は、コンピュータによって構成され、複数の電子黒板1a,1b間で、通話用のコンテンツデータを中継する処理を行なう。
通信管理システム5は、コンピュータによって構成され、電子黒板1b,1bからのログイン認証、電子黒板1a、1bの通信状況の管理、宛先リストの管理、および中継装置3の通信状況等を一元的に管理する。また、通信管理システム5は、複数の電子黒板1b,1b間で、共有用のストロークデータを中継する。
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の資料画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。すなわち、画像保存装置7は、電子黒板1bからアップロードされた画像データを保存して、電子黒板1aにダウンロードする。
なお、中継装置3、通信管理システム5および画像保存装置7は、それぞれが単一のコンピュータによって構築されてもよいし、各装置またはシステムの各部(機能または手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。ここで、通信管理システム5と画像保存装置7は、複数の電子黒板1a,1b間で共有されるデータを管理するサーバシステム6を構成する。このサーバシステム6は、通信管理システム5および画像保存装置7が単一のコンピュータによって構成されてもよい。
また、通信システムにおいて、電子黒板1a,1bとの間では、通信管理システム5を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、電子黒板1a,1bとの間では、中継装置3を介して、高解像度の拠点画像データ、中解像度の拠点画像データ、低解像度の拠点画像データ、および音データの4つの各データを送受信するための4つのセッションが確立される。図1では、これら4つのセッションをまとめて、画像・音データ用セッションsedとして示している。なお、画像・音データ用セッションsedは、必ずしも4つのセッションである必要はなく、4つのセッション数より少ないまたは多いセッション数であってもよい。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、通信セッションを確立してもよい。さらに、通信システムにおいて、通信管理システム5が中継装置3の機能を有しており、通信管理システム5を介して電子黒板1a,1bとの間の画像・音データ用セッションsedが確立されてもよい。
さらに、通信システムにおいて、電子黒板1a,1bとの間では、管理情報用セッションseiを利用して、ストロークデータの送受信を行うことができる。
ここで、本実施形態で扱われる拠点画像データの画像の解像度について説明する。低解像度の拠点画像データは、例えば、横が160画素、縦が120画素から成り、ベース画像となる。中解像度の拠点画像データは、横が320画素、縦が240画素から成る。高解像度の拠点画像データは、例えば、横が640画素、縦が480画素から成る。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の拠点画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の拠点画像データ、および中解像度の拠点画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の拠点画像データ、中解像度の拠点画像データ、および高解像度の拠点画像データから成る高画質の画像データが中継される。音データは、拠点画像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。
●電子黒板の使用イメージ
図2は、電子黒板の使用イメージ図である。電子黒板1は、図2に示されているように、電子黒板1は、下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、および本体153の前面に設けられたディスプレイ180によって構成されている。本体153には、後述のCPU101等が内蔵されている。そして、利用者は、電子ペン190を用いて、ディスプレイ180に文字等のストローク画像を入力(描画)することができる。
●ハードウェア構成●
次に、本実施形態のハードウェア構成を説明する。
●電子黒板のハードウェア構成
図3は、電子黒板のハードウェア構成図である。図3に示されているように、電子黒板1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F(Interface)105、および外部機器接続I/F106を備えている。
これらのうち、CPU101は、電子黒板1全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。SSD104は、電子黒板用のプログラム等の各種データを記憶する。ネットワークI/F105は、通信ネットワーク100との通信を制御する。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ130、外付け機器(マイク140、スピーカ150、カメラ160)である。
また、電子黒板1は、キャプチャデバイス111、GPU112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、近距離通信回路119のアンテナ119a、電源スイッチ122および選択スイッチ類123を備えている。
これらのうち、キャプチャデバイス111は、外付けのPC(Personal Computer))170のディスプレイに対して画像データ(画像情報)を静止画または動画として表示させる。GPU(Graphics Processing Unit)112は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ180等へ出力するために画面表示の制御および管理を行う。接触センサ114は、ディスプレイ180上に電子ペン190やユーザの手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。接触センサ114は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ180の上側両端部に設置された2つ受発光装置が、ディスプレイ180に平行して複数の赤外線を放射し、ディスプレイ180の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。電子ペンコントローラ116は、電子ペン190と通信することで、ディスプレイ180へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ122は、電子黒板1の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類123は、例えば、ディスプレイ180の表示の明暗や色合い等を調整するためのスイッチ群である。
さらに、電子黒板1は、バスライン110を備えている。バスライン110は、図3に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いてもよい。また、電子ペンコントローラ116が、電子ペン190のペン先およびペン尻だけでなく、電子ペン190のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
●通信管理システム、中継装置、および画像保存装置のハードウェア構成
図4は、本実施形態に係る通信管理システム5のハードウェア構成図である。通信管理システム5の一例としてのコンピュータは、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk ReWritable)ドライブ514、メディアI/F516、およびバスライン510を備えている。
これらのうち、CPU501は、通信管理システム5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、通信管理用プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。ネットワークI/F509は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。DVD-RWドライブ514は、DVD-RWに対するデータの読み出しまたは書き込み(記憶)を制御する。なお、DVD-RWドライブでなく、BD-RE(Blu-ray(登録商標) Disc Rewritable)等のディスクに対するデータの読み出しまたは書き込み(記憶)を制御してもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出しまたは書き込み(記憶)を制御する。
また、バスライン510は、図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、図1に示されている中継装置3および画像保存装置7のハードウェア構成は、通信管理システム5のハードウェア構成と同様であるため、その説明を省略する。但し、中継装置3の場合は、HD504に中継用プログラムが記憶されている。また、画像保存装置7の場合は、HD504に画像保存用プログラムが記憶されている。
●通信システムの全体構成●
続いて、図5を用いて、通信システムの全体構成について説明する。図5は、本発明の実施形態に係る通信システムの全体構成図である。
図5において、電子黒板1aは拠点A、電子黒板1bは拠点Bに設置されている。例えば、拠点Aは日本の東京事業所で、拠点Bは中国の北京事業所で、拠点CはアメリカのワシントンD.C.事業所である。拠点Aでは利用者A1が電子黒板1aを利用し、拠点Bでは利用者B1,B2が電子黒板1bを利用している。
さらに、電子黒板1a,1b、中継装置3、通信管理システム5、および画像保存装置7は、インターネット等の通信ネットワーク100を介してデータの相互通信を行なうことができる。なお、通信ネットワーク100には、無線通信部分が含まれてもよい。
なお、図5では、電子黒板1a,1bは、ともに映像通信可能な電子黒板である。
●通信システムの機能構成●
次に、図6乃至図13を用いて、本実施形態の機能構成について説明する。図6は、本実施形態に係る通信システムの各機能ブロック図である。
●電子黒板1aの機能構成
図6に示されているように、電子黒板1aは、送受信部11a、受付部12a、画像・音処理部13a、表示制御部14a、判断部15a、画像処理部17a、近距離通信部18a、記憶・読出処理部19aおよび受信データ判別部21aを有している。これら各部は、図2に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能または機能する手段である。また、電子黒板1aは、図2に示されているRAM103、および図2に示されているSSD104によって構築される記憶部1000aを有している。
○電子黒板1aの各機能構成
次に、電子黒板1aの各構成要素について説明する。送受信部11aは、通信ネットワーク100を介して他の端末、装置またはシステムと各種データ(または情報)の送受信を行う。また、送受信部11aは、開始部としての役割も果たし、電子黒板1b等の他の通信端末と通信を開始する処理を行なう。受付部12aは、利用者から電子ペン190等による各種入力を受け付ける。
画像・音処理部13aは、ビデオ会議機能の主な処理を行う。例えば、画像・音処理部13aは、マイク140の出力信号およびカメラ160の出力信号に共づき、拠点画像データおよび音データのエンコード等のデジタル処理を行う。また、画像・音処理部13aは、送受信部11aで受信された拠点画像データおよび音データに基づき、画像信号を生成したり音信号を生成したりする。画像・音処理部13a、解像度の異なる拠点画像データを組み合わせる処理を行う。
表示制御部14aは、ディスプレイ180に画像信号等を出力するための制御を行う。判断部15aは、各種判断を行う。例えば、判断部15aは、画像保存装置7からの資料画像データのダウンロードが完了したか否かを判断する。
画像処理部17aは、電子黒板機能の主な処理を行う。例えば、画像処理部17aは、受付部12aによって受け付けられた電子ペン190等のストロークに基づいてストローク画像およびストロークデータを作成したり、送受信部11aによって受信されたストロークデータに基づいてストローク画像を作成したりする。また、画像処理部17aは、送受信部11aで受信された資料画像の画像データに基づき、画像信号を生成する。
近距離通信部18aは、近距離通信部を有する各端末との間で、近距離無線通信により、データの取得および提供を行なう。
記憶・読出処理部19aは、記憶部1000aまたはUSBメモリ130等の記録媒体1010aに各種データを記憶したり、記憶部1000aまたは記録媒体1010aに記憶された各種データを読み出したりする処理を行う。
また、記憶部1000aには、他の端末との通信を行う際に受信される拠点画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の拠点画像データによってディスプレイ180に画像が表示され、上書きされる前の音データによってスピーカ150から音声が出力される。
さらに、記憶部1000aには、ディスプレイ180に描画されたストローク画像に係るストロークデータ、およびディスプレイ180に表示された資料画像に係る資料画像データが記憶される。
受信データ判別部21aは、送受信部11bによって受信されたコンテンツデータのデータ種別を判別する。例えば、受信データ判別部21aは、受信されたコンテンツデータに、資料画像データに関する情報が含まれているか否かを判別し、資料画像データのダウンロード待ちであるか否かを判別する。
●電子黒板1bの機能構成
図6に示されているように、電子黒板1bは、送受信部11b、受付部12b、画像・音処理部13b、表示制御部14b、判断部15b、画像処理部17b、近距離通信部18b、記憶・読出処理部19bおよび受信データ判別部21bを有している。これら各部は、図2に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能または機能する手段である。例えば、電子黒板1bは、本発明に係るプログラムがCPU101によって実行されることで本発明に係る表示制御方法を実現する。また、電子黒板1bは、図2に示されているRAM103、および図2に示されているSSD104によって構築される記憶部1000bを有している。送受信部11b、受付部12b、画像・音処理部13b、表示制御部14b、判断部15b、画像処理部17b、近距離通信部18b、記憶・読出処理部19b、受信データ判別部21bおよび記憶部1000bは、それぞれ、送受信部11a、受付部12a、画像・音処理部13a、表示制御部14a、判断部15a、画像処理部17a、近距離通信部18a、記憶・読出処理部19a、受信データ判別部21aおよび記憶部1000aと同様の機能を有しているため、これらの説明を省略する。
●中継装置の機能構成
図6に示されているように、中継装置3は、転送部を兼ねた送受信部31、判断部35および記憶・読出処理部39を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503上に展開された中継用プログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、中継装置3は、図4に示されているRAM503、HD504によって構築される記憶部3000を有している。
○中継装置の各機能構成
次に、中継装置3の各機能構成について詳細に説明する。図6に示されている中継装置3の送受信部31は、通信ネットワーク100を介して他の端末、装置、またはシステムと各種データ(または情報)の送受信を行う。また、送受信部31は、転送部としての役割も果たし、所定の端末ら送信されて来た拠点画像データおよび音データを、他の端末に転送する。判断部35は、データの遅延状態等の判断等の各種判断を行なう。
記憶・読出処理部39は、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出したりする処理を行う。
●通信管理システムの機能構成
図6に示されているように、通信管理システム5は、送受信部51、認証部52、生成部53、選択部54、判断部55および記憶・読出処理部59を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理用プログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、通信管理システム5は、図4に示されているHD504により構築される記憶部5000を有している。
○認証管理テーブル
図7は、認証管理テーブルを示す概念図である。記憶部5000には、図7に示されているような認証管理テーブルによって構成されている認証管理DB5001が構築されている。この認証管理テーブルでは、通信管理システム5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連づけられて管理される。例えば、図7に示されている認証管理テーブルにおいて、電子黒板1a(通信端末)の端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。なお、パスワードは認証情報の一例であり、認証情報にはアクセストークンも含まれる。
○端末管理テーブル
図8は、端末管理テーブルを示す概念図である。記憶部5000には、図8に示されているような端末管理テーブルによって構成されている端末管理DB5002が構築されている。この端末管理テーブルでは、各電子黒板1(通信端末)を識別するための端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理システム5で受信された受信日時、および各電子黒板1(通信端末)のIPアドレスが関連づけられて管理される。例えば、図8に示されている端末管理テーブルにおいて、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「ONライン(通信可能)」で、通信管理システム5でログイン要求情報が受信された日時が「2019年2月10日の13時40分」で、この端末1aaのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名、および端末のIPアドレスは、各電子黒板1が、通信管理システム5によるサービスの提供を受けるために事前登録する際に記憶される。
○宛先リスト管理テーブル
図9は、宛先リスト管理テーブルを示す概念図である。記憶部5000には、図9に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5003が構築されている。この宛先リスト管理テーブルでは、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連づけられて管理される。例えば、図9に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補は、端末IDが「01ba」の電子黒板1b等であることが示されている。この宛先端末の候補は、任意の開始端末から通信管理システム5に対する追加または削除の要請により、追加または削除されることで更新される。
なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、端末ID等の宛先に関する情報が羅列されていてもよい。
○セッション管理テーブル
図10は、セッション管理テーブルを示す概念図である。記憶部5000には、図10に示されているようなセッション管理テーブルによって構成されているセッション管理DB5004が構築されている。このセッション管理テーブルでは、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するための通信セッションID毎に、使用される中継装置3の中継装置ID、電子黒板1(開始端末)の端末ID、電子黒板1(宛先端末)の端末ID、宛先端末において拠点画像データが受信される際の受信の遅延時間(ms)、およびこの遅延時間が示されている遅延情報を宛先端末から送られて来て通信管理システム5で受信された受信日時が関連づけられて管理される。例えば、図10に示されているセッション管理テーブルにおいて、セッションID「se01」を用いて実行された通信セッションで、中継装置(中継装置ID「111a」)は、端末IDが「01aa」の電子黒板と、端末IDが「01db」の電子黒板との間で、拠点画像データおよび音データを中継しており、電子黒板(宛先端末)において「2019年2月10日の13時41分」時点における拠点画像データの遅延時間が200(ms)であることが示されている。
○中継装置管理テーブル
図11は、中継装置管理テーブルを示す概念図である。記憶部5000には、図11に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5005が構築されている。この中継装置管理テーブルでは、中継装置3の中継装置ID毎に、各中継装置3の稼動状態、稼動状態が示される状態情報が通信管理システム5で受信された受信日時、中継装置3のIPアドレス、および、中継装置3における最大データ伝送速度(Mbps)が関連づけられて管理される。例えば、図11に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置3は、稼動状態が「ONライン」で、通信管理システム5で状態情報が受信された日時が「2019年2月10日の13時30分」で、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。
○ストロークデータ管理テーブル
図12は、ストロークデータ管理テーブルを示す概念図である。記憶部5000には、図12に示されているようなストロークデータ管理テーブルによって構成されているストロークデータ管理DB5006が構築されている。このストロークデータ管理テーブルには、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するための通信セッションIDごとに、ストロークデータが記憶されて管理されている。このストロークデータには、「ストローク描画」イベントによって生成されたストロークデータを識別するためのストロークID、「ストローク描画」イベントの発生順序を示すシーケンス番号、ストロークの書き始めの時刻を示す開始時刻、ストロークの書き終わりの時刻を示す終了時刻、描画されたストロークの色、描画されたストロークの線の太さを示す幅、描画されたストロークの頂点および描画されたストロークの背景画像となる資料画像を識別するための画像IDの情報が含まれている。
ここで、「ストローク描画」は、ユーザによる描画情報の入力処理であり、例えば、ユーザが電子ペン190をディスプレイ180に押し付け、この状態で電子ペン190を移動させ、ディスプレイ180から電子ペン190を離すまでのイベントである。また、ストロークの色は、RGBA(Red Green Blue Alpha)のデータ形式で、各要素が0-255の数値で表される。さらに、描画されたストロークの線の太さの幅は、ピクセル数で表される。また、描画されたストロークの頂点は、XY座標で表され、それぞれの頂点をベジェ曲線で結ぶとストロークを示す線分となる。このストロークデータ管理テーブルにより、通信管理システム5は、特定の通信セッションを用いたビデオ会議等によって発生したストロークデータを管理することができる。
○保存位置情報管理テーブル
図13は、保存位置情報管理テーブルを示す概念図である。記憶部5000には、図13に示されているような保存位置情報管理テーブルによって構成されている保存位置情報管理DB5007が構築されている。この保存位置情報管理テーブルには、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するための通信セッションIDごとに、資料画像データを識別するための画像ID、および資料画像データの保存位置を示すURL(Uniform Resource Locator)が関連づけられている。
ここで、URLは保存位置情報の一例であり、保存位置情報にはURI(Uniform Resource Identifier)も含まれる。また、資料画像とは、電子黒板1のディスプレイ180に表示された画像であり、ストローク画像が重畳される背景画像となる画像である。この保存位置情報管理テーブルにより、通信管理システム5は、特定の通信セッションを用いたビデオ会議等によって発生した資料画像等の画像データを管理することができる。
○通信管理システムの各機能構成
図6に示されている通信管理システム5の送受信部51は、通信ネットワーク100を介して他の端末、装置、またはシステムと各種データ(または情報)の送受信を行う。
認証部52は、送受信部51を介して受信されたログイン要求に含まれている端末IDおよびパスワードを検索キーとし、記憶部5000の認証管理DB5001を検索し、認証管理DB5001に同一の組の端末IDおよびパスワードが管理されているかを判断することによって認証を行う。生成部53は、電子黒板1からの通信開始要求(S32参照)に基づき、通信セッションを識別するためのセッションIDを生成する。選択部54は、複数の中継装置3から最終的に1つの中継装置3を選択する処理を行う。判断部55は、各種判断を行なう。記憶・読出処理部59は、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出したりする処理を行う。
●画像保存装置の機能構成
図6に示されているように、画像保存装置7は、送受信部71、および記憶・読出処理部79を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD504からRAM503上に展開された画像保存用プログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、画像保存装置7は、図4に示されているRAM503、HD504によって構築される記憶部7000を有している。記憶部7000には、通信管理システム5によって生成されたURLが示す保存位置に、資料画像データが記憶されている。
○画像保存装置の各機能構成
次に、画像保存装置7の各機能構成について詳細に説明する。図6に示されている画像保存装置7の送受信部71は、通信ネットワーク100を介して他の端末、装置、またはシステムと各種データ(または情報)の送受信を行う。記憶・読出処理部79は、記憶部7000に各種データを記憶したり、記憶部7000に記憶された各種データを読み出したりする処理を行う。
●実施形態の処理または動作●
次に、図14乃至図21を用いて、本実施形態に係る通信システムにおける処理または動作を説明する。
●遠隔通信の準備段階の処理
まず、図14および図15を用いて、ログイン要求端末としての電子黒板1aが行なう通信の準備処理を説明する。なお、図14は、電子黒板間で遠隔通信を開始する準備段階の処理を示したシーケンス図である。図15は、電子黒板1aで表示される宛先リストの画面例である。なお、電子黒板1bがログイン共有を行う処理も電子黒板1aの処理と同様であるため、説明を省略する。
まず、電子黒板1aで電源スイッチ122がONされると、受付部12aが、電源ONを受け付ける(ステップS11)。
次に、送受信部11aは、通信ネットワーク100を介して通信管理システム5に、ログイン認証の要求を示すログイン要求情報を送信する(ステップS12)。このログイン要求情報には、電子黒板1aの端末IDおよびパスワードが含まれている。
次に、通信管理システム5の認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末IDおよびパスワードを検索キーとして、認証管理テーブル(図7参照)を検索し、同一の端末IDおよび同一のパスワードが管理されているかを判断することによって端末の認証を行う(ステップS13)。ここでは、記憶・読出処理部59によって、同一の端末IDおよび同一のパスワードが管理されているものとして、続けて説明する。
認証部52によって、同一の端末IDおよび同一のパスワードが管理されているものとして、正当な利用権限を有する端末からのログイン要求であると判断された場合には、記憶・読出処理部59は、端末管理テーブル(図8参照)において、上記ステップS12で受信された端末IDのレコードの稼動状態のフィールド部分を「ONライン(通信可能)」に変更すると共に、受信日時のフィールド部分に上記ステップS12によってログイン要求情報が受信された受信日時を記憶する(ステップS14)。これにより、端末管理テーブルには、端末ID「01aa」に、稼動状態「ONライン(通信可能)」、受信日時「2019.2.10.13:40」およびIPアドレス「1.2.1.3」が関連づけて管理されることになる。なお、端末のIPアドレスは、事前に登録されているのではなく、上記ステップS12で電子黒板1aから送信されるようにしてもよい。
次に、記憶・読出処理部59は、上記ステップS12によって受信された電子黒板1aの端末IDを含む新しいレコードを、セッション管理テーブル(図10参照)で追加して管理する(ステップS15)。そして、通信管理システム5の送受信部51は、上記ステップ13の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク100を介して、上記ログイン要求してきた電子黒板1aに送信する(ステップS16)。
ログイン要求端末(電子黒板1a)の送受信部11aが、正当な利用権限を有する端末であると判断された結果が示された認証結果情報を受信すると、送受信部11aが通信ネットワーク100を介して通信管理システム5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS17)。これにより、通信管理システム5の送受信部51は、宛先リスト要求情報を受信する。
次に、記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図9参照)を検索し、ログイン要求端末(電子黒板1a)と通信することができる宛先候補の端末IDを読み出すと共に、この端末IDに対応する宛先名を端末管理テーブル(図8参照)から読み出す(ステップS18)。ここでは、ログイン要求端末(電子黒板1a)の端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。
次に、通信管理システム5の送受信部51は、記憶・読出処理部59を介して記憶部5000から宛先リスト枠のデータおよび稼動状態を示すアイコンのデータを読み出す(ステップS19)と共に、この宛先リスト枠およびアイコン並びに上記記憶・読出処理部59によって読み出された端末IDおよび宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、ログイン要求端末(電子黒板1a)に送信する(ステップS20)。これにより、ログイン要求端末(電子黒板1a)では、送受信部11aが宛先リスト情報を受信し、記憶・読出処理部19aが記憶部1000aへ宛先リスト情報を記憶する(ステップS21)。
このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理システム5が全ての端末の宛先リスト情報を一元管理している。よって、通信システムに新たな電子黒板1が含まれるようになったり、既に含まれている端末に替えて新機種の端末を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、本実施形態に係る通信システムは、通信管理システム5側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。
また、通信管理システム5の記憶・読出処理部59は、上述の読み出した宛先候補の端末IDを検索キーとして、端末管理テーブル(図8参照)を検索し、上記端末ID毎に、対応する稼動状態を読み出すことで、宛先候補としての電子黒板1の各稼動状態を取得する(ステップS22)。
次に、送受信部51は、上記ステップS22で使用された検索キーとしての端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク100を介してログイン要求端末(電子黒板1a)に送信する(ステップS23)。
次に、ログイン共有端末(電子黒板1a)の記憶・読出処理部19aは、順次、通信管理システム5から受信した端末の状態情報を記憶部1000aに記憶する(ステップS24)。よって、ログイン要求端末(電子黒板1a)は、上記各電子黒板の状態情報を受信することで、ログイン要求端末(電子黒板1a)と通信することができる宛先候補である電子黒板1b等の現時点のそれぞれの稼動状態を取得することができる。
次に、ログイン要求端末(電子黒板1a)の表示制御部14aは、記憶部1000aに記憶されている宛先リスト情報、および端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成すると共に、表示制御部14aが、電子黒板1aのディスプレイ180に対して、図15に示されている宛先リスト画面1100を表示する(ステップS25)。この宛先リスト画面1100には、宛先候補毎に、稼動状態を示すアイコン、端末ID、および宛先名が表示されている。図15では、各端末の稼動状態を示したアイコンが、上から「OFFライン」、「ONライン(通信可能)」として表示されている。
一方、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて宛先リスト管理テーブル(図9参照)を検索することにより、ログイン要求端末(電子黒板1a)の端末ID「01aa」を宛先候補として登録している他の端末の端末IDを抽出する(ステップS26)。図9に示されている宛先リスト管理テーブルでは、読み出される他の端末の端末IDは、「01ba」、「01ca」、「01da」等である。
次に、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて端末管理テーブル(図8参照)を検索し、ログイン要求端末(電子黒板1a)の稼動状態を取得する(ステップS27)。
そして、送受信部51は、上記ステップS26で抽出された端末IDに係る端末のうち、端末管理テーブル(図8参照)で稼動状態が「ONライン」となっている端末に、上記ステップS27で取得されたログイン要求端末(電子黒板1a)の端末ID「01aa」と稼動状態「ONライン」が含まれる「端末の状態情報」を送信する(ステップS28)。なお、送受信部51が電子黒板1bに端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル(図8参照)で管理されている電子黒板のIPアドレスを参照する。これにより、ログイン要求端末(電子黒板1a)を宛先候補として通信することができる他の宛先端末のそれぞれに、上記ログイン要求端末(電子黒板1a)の端末ID「01aa」、および稼動状態「ONライン」を伝えることができる。よって、宛先候補(電子黒板1b等)においても、宛先候補の状態を表示させることができる(ステップS29)。
●遠隔通信の開始処理
続いて、図16を用いて、電子黒板1aが電子黒板1bに対して遠隔通信を開始する処理を説明する。図16は、遠隔通信を開始する処理を示したシーケンス図である。
まず、要求元端末(電子黒板1a)の利用者A1が図15に示されている宛先候補(端末ID「01ba」)を押下して電子黒板1bを選択すると、図6に示されている受付部12aは、宛先端末(電子黒板1b)との通話を開始する要求を受け付ける(ステップS31)。そして、要求元端末(電子黒板1a)の送受信部11aは、通信管理システム5に対して、通話を開始したい旨を示す開始要求情報を送信する(ステップS32)。この開始要求情報には、要求元端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」が含まれている。これにより、通信管理システム5の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末(電子黒板1a)のIPアドレスを受信する。
そして、記憶・読出処理部59は、開始要求情報に含まれる要求元端末(電子黒板1a)の端末ID「01aa」および宛先端末(電子黒板1b)の端末ID「01ba」に基づき、端末管理テーブル(図8参照)において、上記端末ID「01aa」、および端末ID「01ba」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する(ステップS33)。なお、この状態では、要求元端末(電子黒板1a)、および宛先端末(電子黒板1b)は、ビデオ会議を開始していないが、通話中状態となり、第3の電子黒板(例えば、途中参加端末)が要求元端末(電子黒板1a)または宛先端末(電子黒板1b)と通話しようとする(途中参加しようとする)と、いわゆる通話中状態を示す旨の通知音または表示が出力される。
次に、実際に利用される中継装置3を選択するためのセッションを実行する処理を説明する。まず、通信管理システム5の生成部53は、中継装置3を選択するためのセッションの実行に用いられるセッションIDを生成する(ステップS34)。ここでは、セッションID「se01」が生成された場合について説明する。
そして、記憶・読出処理部59は、セッション管理テーブル(図10参照)に、上記ステップS34で生成されたセッションID「se01」、要求元端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」を関連づけて記憶して管理する(ステップS35)。
次に、図8に示されている通信管理システム5の選択部54は、中継装置管理テーブル(図11参照)および端末管理テーブル(図8参照)に基づいて、要求元端末(電子黒板1a)および宛先端末(電子黒板1b)の2拠点間の通話を中継するための中継装置3の選択を行う(ステップS36)。具体的には、中継装置管理テーブル(図11参照)において稼動状態が「ONライン」の中継装置に係る中継装置IDのうち、端末管理テーブル(図8参照)において要求元端末(電子黒板1a)のIPアドレスに近いIPアドレスの中継装置3に係る中継装置IDが選択される。ここでは、中継装置ID「111a」の中継装置3が選択された場合について、以降、続けて説明する。
以上のステップS36における中継装置の選択の処理が終了すると、通信管理システム5の送受信部51は、要求元端末(電子黒板1a)に対して、中継装置選択情報を送信する(ステップS37-1)。この中継装置選択情報には、上記ステップS36によって選択された中継装置3のIPアドレス、および上記ステップS34によって生成されたセッションID「se01」が含まれている。これにより、要求元端末(電子黒板1a)は、中継装置選択情報の送信元である通信管理システム5のIPアドレスを取得することができる。
さらに、通信管理システム5の送受信部51は、宛先端末(電子黒板1b)に対して、中継装置選択情報を送信する(ステップS37-2)。この中継装置選択情報には、上記ステップS36によって選択された中継装置3のIPアドレス、要求元端末(電子黒板1a)の端末ID「01aa」、および上記ステップS34によって生成されたセッションID「se01」が含まれている。これにより、宛先端末(電子黒板1b)は、セッションID「se01」におけるセッションの実行において、中継装置選択情報の送信元である通信管理システム5のIPアドレスを取得することができる。
次に、上記ステップS37-1の処理に対して、要求元端末(電子黒板1a)の送受信部11は、通信管理システム5に対して、上記ステップS37-1の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38-1)。この受信完了情報には、上記ステップS37-1の処理で送受信されたセッションIDが含まれている。これにより、通信管理システム5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
さらに、上記ステップS37-2の処理に対して、宛先端末(電子黒板1b)は、同様に通信管理システム5へ、上記ステップS37-2の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38-2)。この場合も、通信管理システム5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
以上により、電子黒板1a,1bは、上記ステップS36で選択された中継装置3を介して、拠点画像データおよび音データを送受信することで、ビデオ会議を行うことができる。
●コンテンツデータの通信処理
続いて、図17乃至図19を用いて、電子黒板1に表示されている資料画像および入力されたストローク画像に係るコンテンツデータの通信処理について説明する。図17および図18は、資料画像データおよびストロークデータを共有する処理を示したシーケンス図である。ここでは、電子黒板1a,1bで資料画像データおよびストロークデータを共有する場合であって、電子黒板1aで表示された資料画像および入力されたストローク画像が、電子黒板1bでも表示される場合について説明する。図19のうち、(a)は電子黒板1aの画面例、(b)は電子黒板1bの画面例、(c)は電子黒板1aの画面例、(d)は電子黒板1bの画面例である。
まず、拠点Aの電子黒板1aでは、表示制御部14aによって図19(a)に示されている画面がディスプレイ180上に表示されている。ここでは、資料画像d1、拠点Bの拠点画像v2、資料画像d1を共有する場合に押下される「共有」ボタンb1が表示されている。この状態で、電子黒板1aの利用者A1が「共有」ボタンb1を押下すると、受付部12aが利用者A1から資料画像の共有処理を受け付ける(ステップS51)。次に、送受信部11aは、通信管理システム5に対して、資料画像の画像データである資料画像データの保存位置を示すURL(Uniform Resource Locator)を要求する旨を示す要求情報を送信する(ステップS52)。これにより、通信管理システム5の送受信部51は、要求情報を受信する。ここで、URLは保存位置情報の一例であり、保存位置情報にはURI(Uniform Resource Identifier)も含まれる。
次に、通信管理システム5の生成部53は、資料画像データの保存位置を示すURLを生成する(ステップS53)。記憶・読出処理部59は、保存位置情報管理DB5007(図13参照)に、生成部53によって生成されたURLを記憶する(ステップS54)。この場合、記憶・読出処理部59は、生成部53によって生成されたURLを、新たに付与される画像ID(例えば、「m001」)と関連づけて保存位置情報管理テーブルに記憶する。そして、送受信部51は、電子黒板1aに対して、生成部53によって生成された資料画像データのURLを送信する(ステップS55)。これにより、電子黒板1aの送受信部11aは、資料画像データのURLを受信する。
次に、電子黒板1aの送受信部11aは、通信管理システム5に対して、資料画像データのアップロードの開始通知を送信する(ステップS56)。これにより、通信管理システム5の送受信部51は、開始通知を受信する。
次に、送受信部51は、遠隔会議中の相手側の電子黒板1bに対して、開始通知を転送する(ステップS57)。これにより、電子黒板1bの送受信部11bは、開始通知を受信する。電子黒板1bの表示制御部14bは、電子黒板1bのディスプレイ180上に、図19(b)に示されているような画面を表示させる(ステップS58)。ここでは、もともと拠点Aの拠点画像v1および共有する場合に押下される「共有」ボタンb2が表示されており、ステップS57によって受信された開始通知により、資料画像データのダウンロードの時間経過を視覚的に示す砂時計のアイコンc2を表示する出力が行われる。
また、時間経過は、静止画の砂時計によって示したり、砂の動きがある動画の砂時計によって示したりすることができる。また、砂時計のアイコンc2は、資料画像データをダウンロードする予定である旨を示す予定情報の一例である。予定情報の他の例としては、砂時計以外のアイコン(例えば、時計のアイコン)であっても良いし、アイコンではなく文字(および/または「記号」)であってもよし、アイコンと文字(および/または「記号」)の組み合わせであってもよい。また、予定情報は、音による通知であってもよい。この場合、表示制御部14aではなく、画像・音処理部13aによってスピーカ150から音の出力が行われる。
なお、電子黒板1aは、上記ステップS56の処理後に上記ステップS52の処理を行ってもよい。また、通信管理システム5は、上記ステップS56により資料画像データのアップロード開始通知を受信した後に、上記ステップS55により資料画像データのURLを送信してもよい。
続いて、電子黒板1aの送受信部11aは、通信管理システム5に対して、資料画像データのアップロード要求を送信する(ステップS59)。このアップロード要求には、資料画像データ、およびステップS55で受信された資料画像データのURLが含まれている。これにより、通信管理システム5の送受信部51は、電子黒板1aから送信されたアップロード要求を受信する。また、通信管理システム5の送受信部51は、ステップS59で受信したアップロード要求に含まれる画像保存装置7に係るURLに対して、資料画像データのアップロードを行う(ステップS60)。これにより、画像保存装置7の送受信部71は、資料画像データを受信する。そして、画像保存装置7の記憶・読出処理部79は、記憶部7000におけるURLに対して、資料画像データを記憶する(ステップS61)。なお、電子黒板1aは、通信管理システム5を経由せずに、画像保存装置7に係るURLに対して資料画像データのアップロードを行ってもよい。
続いて、拠点Aでは、利用者A1が、電子ペン190や手Hを電子黒板1aのディスプレイ180上に接触して移動させることで、受付部12aが、移動のストローク(軌跡)の入力を受け付ける(ステップS62)。そして、画像処理部17aがストロークに基づいて、2次元のディスプレイ180上にストローク画像を表示させるためのストロークデータ(例えば、座標データ(x,y))を作成すると共に、表示制御部14aが電子黒板1aのディスプレイ180上にストローク画像を表示させる(ステップS63)。これにより、図19(c)に示されているように、ストローク画像stAが表示される。
次に、送受信部11aは、通信管理システム5に対して、ステップS63で作成されたストローク画像を再生するためのストロークデータを送信する(ステップS64)。これにより、通信管理システム5の送受信部51は、ストローク画像のストロークデータを受信する。そして、通信管理システム5の記憶・読出処理部59は、ストロークデータ管理DB5006(図12参照)に、ステップS64によって受信されたストロークデータを記憶する(ステップS65)。この場合、記憶・読出処理部59は、図13に示されるように、送受信部11aによって受信されたストロークデータを、発生順(シーケンス順)に、遠隔会議が実行されている通信セッションのセッションIDに関連づけてストロークデータ管理テーブルに記憶する。
次に、送受信部51は、相手側の電子黒板1bに対して、ストロークデータを転送する(ステップS66)。これにより、電子黒板1bの送受信部11bは、ストロークデータを受信する。そして、電子黒板1bでは、画像処理部17bがストロークデータに基づいてストローク画像を作成し、表示制御部14bが電子黒板1bのディスプレイ180上にストローク画像を表示させる(ステップS67)。これにより、図19(d)に示されているように、相手側の電子黒板1aと同じストローク画像stAが表示される。
続いて、図18に示されているように、画像保存装置7の送受信部71は、通信管理システム5に対して、資料画像データのアップロードが完了した旨を示す完了通知を送信する(ステップS71)。これにより、通信管理システム5の送受信部51は、完了通知を受信する。通信管理システム5の送受信部51は、電子黒板1aに対して、資料画像データのアップロードが完了した旨を示す完了通知を転送する(ステップS72)。これにより、電子黒板1aの送受信部11aは、完了通知を受信する。なお、画像保存装置7は、通信管理システム5を経由せずに、電子黒板1aに対して完了通知を送信してもよい。この場合、電子黒板1aは、画像保存装置7から完了通知を受信した場合、ステップS55で受信された資料画像データのURLを含む完了通知を、通信管理システム5に対して送信する。
次に、通信管理システム5の送受信部51は、相手側の電子黒板1bに対して、資料画像データのURLを含む完了通知を送信する(ステップS73)。これにより、電子黒板1bの送受信部11bは、完了通知を受信する。
次に、電子黒板1bの送受信部11bは、ステップS73で受信した画像保存装置7に係るURLに対して、資料画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS74)。これにより、画像保存装置7の送受信部71は、要求情報を受信する。
次に、画像保存装置7では、記憶・読出処理部79がURLに基づいて、記憶部7000から要求対象である資料画像データを読み出す(ステップS75)。そして、送受信部71が、要求元である電子黒板1bに対して、要求対象である資料画像データを送信する(ステップS76)。これにより、電子黒板1bの送受信部11bは、資料画像データのダウンロード(受信)を開始する。そして、電子黒板1bの送受信部11bは、資料画像データのダウンロードが完了した場合、資料画像データのダウンロードが完了したことを示す資料画像データの送信完了通知を受信する(ステップS76a)。なお、資料画像データの送信完了通知は、資料画像データと同一のパケットで送信されてもよく、資料画像データとは別のパケットとして送信されてもよい。そして、電子黒板1b側では、資料画像データのダウンロードが完了した場合、表示制御部14bが、図19(d)に示されている画面上に、図19(c)に示されている資料画像d1と同じ資料画像を表示させると共に、それまで表示していた砂時計のアイコンc2を非表示にする(ステップS77)。
●宛先端末における表示制御処理
続いて、図20乃至図22を用いて、宛先端末である電子黒板1bの表示画面の画面遷移について説明する。図17乃至図19において、コンテンツデータがダウンロードされるタイミングに応じて、電子黒板1bにストローク画像と資料画像を段階的に表示させる例を説明したが、図20乃至図22では、より円滑な遠隔コミュニケーションを図るための宛先端末側で実行される表示制御処理について説明する。
図20は、宛先端末におけるストロークデータと資料画像データのダウンロードの状態を概略的に説明するための図である。図20に示すように、電子黒板1b(宛先端末)において、開始端末(電子黒板1a)からアップロードされたコンテンツデータである資料画像データとストロークデータのダウンロードは、サーバシステム6を構成する異なるサーバ(通信管理システム5および画像保存装置7)との間で並行して行われる。このような場合、資料画像データのデータ量がストロークデータのデータ量よりも大きいため、電子黒板1bには、先にダウンロード(受信)が完了したストロークデータに係るストローク画像のみが表示され、資料画像が遅れて表示される。電子黒板1bの利用者は、先に表示されたストローク画像のみを見ただけでは、電子黒板1aによって描画された内容を理解することができない可能性がある。そのため、ストローク画像と資料画像の表示に時間差がある場合、電子黒板1bの利用者に混乱を生じさせるおそれがある。そこで、電子黒板1bでは、以下のような表示制御処理を実行する。
図21は、宛先端末に表示される表示画面の表示制御処理を示したフローチャートである。まず、電子黒板1bの送受信部11bは、サーバシステム6から送信されたコンテンツデータを受信する(ステップS101)。コンテンツデータは、電子黒板1bとの共有会議の電子黒板1aからアップロードされたデータであり、ストロークデータおよび資料画像データが含まれている。具体的には、送受信部11bは、通信管理システム5から送信されたストロークデータ、および画像保存装置7から送信された資料画像データを受信する。以下の説明において、送受信部11bがサーバシステム6から少なくともストロークデータを含むコンテンツデータを受信する場合について説明する。
次に、電子黒板1bの受信データ判別部21bは、送受信部11bによって資料画像データのダウンロード待ちであるか否かを判別する(ステップS102)。具体的には、画像処理部17bは、ステップS101によって受信されたコンテンツデータをデシリアライズする。そして、受信データ判別部21bは、受信されたコンテンツデータに、資料画像データに関する情報が含まれているか否かを判別し、判別結果に応じて資料画像データのダウンロード待ちであるか否かを判別する。ここで、資料画像データに関する情報は、ダウンロード中の資料画像データのデータファイル、資料画像データの送信元である画像保存装置7を識別するための識別情報、資料画像を識別するための画像ID、または資料画像データのデータサイズの情報等である。画像保存装置7を識別するための識別情報は、例えば、画像保存装置7のIPアドレスである。また、資料画像データに関する情報は、ステップS57によって受信された開始通知またはステップS73によって受信されたアップロード完了通知等である、ダウンロード対象の資料画像データが存在することを示す通知情報であってもよい。受信データ判別部21bは、このような資料画像データに関する情報により、ダウンロード対象の資料画像データが存在することを判別することができる。
受信データ判別部21bは、コンテンツデータに資料画像データに関する情報が含まれていると判別した場合、資料画像データのダウンロード待ちであると判別する。一方で、受信データ判別部21bは、コンテンツデータに資料画像データに関する情報が含まれていないと判別した場合、資料画像データのダウンロード待ちでないと判別する。
そして、受信データ判別部21bは、資料画像データのダウンロード待ちでないと判別した場合(ステップS102のNO)、処理をステップS103へ移行させる。電子黒板1bの画像処理部17bは、資料画像データのダウンロードが行われないため、ステップS101によって受信されたコンテンツデータに含まれるストロークデータに基づいてストローク画像を生成する。そして、電子黒板1bの表示制御部14bは、図22(a)に示されているように、画像処理部17bによって生成されたストローク画像(例えば、ストローク画像st1a)を、電子黒板1bのディスプレイ180上に表示させる(ステップS103)。
一方で、ステップS103において、受信データ判別部21bは、資料画像データのダウンロード待ちであると判別した場合(ステップS102のYES)、処理をステップS104へ移行させる。そして、電子黒板1bの判断部15bは、資料画像データのダウンロードが完了したかどうかを判断する(ステップS104)。判断部15bは、例えば、ステップS76aに示したような資料画像データの送信完了通知が送受信部11bによって受信された場合、資料画像データのダウンロードが完了したと判断する。
判断部15bは、資料画像データのダウンロードが完了していない場合(ステップS104のNO)、処理をステップS105へ移行させる。そして、電子黒板1bの表示制御部14bは、資料画像データのダウンロードが完了するまで、ステップS101によって受信されたコンテンツデータに含まれるストロークデータに係るストローク画像の表示を待機させる(ステップS105)。この場合、表示制御部14bは、図22(b)に示されているように、電子黒板1bのディスプレイ180上にストローク画像を表示させず、現在ディスプレイ180上に表示されている表示画面を維持する。なお、表示制御部14bは、図19(b)に示されているような拠点画像v1、砂時計のアイコンc2、「共有」ボタンb2が含まれている画面を表示されている場合には、その画面をディスプレイ180上に表示させてもよい。電子黒板1bは、資料画像データのダウンロードが完了するまで、ステップS104およびステップS105の処理を繰り返す。
一方で、ステップS104において、判断部15bは、資料画像データのダウンロードが完了したと判断した場合(ステップS104のYES)、処理をステップS106へ移行させる。そして、電子黒板1bの表示制御部14bは、図22(c)に示されているように、送受信部11bによって受信(ダウンロード)されたコンテンツデータに含まれる資料画像データに係る資料画像(例えば、資料画像d2)、およびストロークデータに係るストローク画像(例えば、ストローク画像st1c~st3c)を、電子黒板1bのディスプレイ180上に表示させる(ステップS106)。この場合、画像処理部17bによるストローク画像の生成は、ステップS106の直前に行われてもよく、ステップS101によってストロークデータが受信されたタイミングで行われてもよい。
このように、電子黒板1bは、資料画像データがダウンロード対象であるか否かに応じて、ストローク画像を表示させるタイミングを制御する。電子黒板1bは、ダウンロード対象の資料画像データが存在する場合には、資料画像データのダウンロードが完了したタイミングで、ストローク画像と資料画像を同時に表示させる。なお、図22(a)~図22(c)に示されているような画面には、上記説明した構成に加え、図19(b)および図19(d)に示されているような画面と同様に、拠点画像v1、砂時計のアイコンc2または「共有」ボタンb2が表示される構成であってもよい。
●まとめ●
以上説明したように、本発明の一実施形態に係る電子黒板1bは、他の通信端末(例えば、電子黒板1a)との間においてデータを共有する通信端末である。電子黒板1bは、他の通信端末との間で共有されるデータを管理するサーバシステム6から、他の通信端末に描画されたストローク画像に係るストロークデータを含むコンテンツデータを受信し、受信されたコンテンツデータに、他の通信端末に表示された資料画像に係る資料画像データに関する情報が含まれているか判別する。そして、電子黒板1bは、資料画像データに関する情報が含まれていると判別された場合、資料画像データのダウンロードが完了するまで、受信されたストロークデータに係るストローク画像をディスプレイ180(表示部の一例)に表示させず、資料画像データのダウンロードが完了した場合、受信されたストロークデータに係るストローク画像(例えば、ストローク画像st1c~st3c)および資料画像データに係る資料画像(例えば、資料画像d2)をディスプレイ180に表示させる。これにより、電子黒板1bは、資料画像データのダウンロードが完了したタイミングで、ストローク画像と資料画像を同時に表示させることで、電子黒板1bの利用者を円滑に遠隔会議に参加させることができるとともに、コミュニケーションの齟齬が発生するリスクを低減させることができる。
また、本発明の一実施形態に係る電子黒板1b(通信端末の一例)は、受信されたコンテンツデータに、資料画像データに関する情報が含まれていないと判別された場合、受信されたストロークデータに係るストローク画像(例えば、ストローク画像st1)をディスプレイ180(表示部の一例)に表示させる。これにより、電子黒板1bは、資料画像データがダウンロード対象でない場合に、ストローク画像のみを表示させることで、複数の電子黒板1の間で共有されるデータを適切に表示させ、円滑なコミュニケーションに寄与することができる。
●実施形態の補足●
上記実施形態では、通信端末の一例として、電子黒板であるオフィス機器について説明したが、これに限るものではない。通信端末の他の例として、PC、スマートフォン、スマートウォッチ、カーナビゲーション端末またはテレプレゼンスロボット等が含まれる。さらに、通信端末には、医療機器が含まれる。医療機器の場合には、資料画像が患者の画像となる。
また、上記実施形態では、通信システムによってビデオ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、遠隔診断、または、一方向での情報の提示に使用されても構わない。
なお、各実施形態の機能は、アセンブラ、C、C++、C#、Java(登録商標)等のレガシープログラミング言語またはオブジェクト指向プログラミング言語等で記述されたコンピュータ実行可能なプログラムにより実現でき、各実施形態の機能を実行するためのプログラムは、電気通信回線を通じて頒布することができる。
また、各実施形態の機能を実行するためのプログラムは、ROM、EEPROM(Electrically Erasable Programmable Read-Only Memory)、EPROM(Erasable Programmable Read-Only Memory)、フラッシュメモリ、フレキシブルディスク、CD(Compact Disc)-ROM、CD-RW(Re-Writable)、DVD-ROM、DVD-RAM、DVD-RW、ブルーレイディスク(登録商標)、SDカード、MO(Magneto-Optical disc)等の装置可読な記録媒体に格納して頒布することもできる。
さらに、各実施形態の機能の一部または全部は、例えばFPGA(Field Programmable Gate Array)等のプログラマブル・デバイス(PD)上に実装することができ、またはASICとして実装することができ、各実施形態の機能をPD上に実現するためにPDにダウンロードする回路構成データ(ビットストリームデータ)、回路構成データを生成するためのHDL(Hardware Description Language)、VHDL(Very High Speed Integrated Circuits Hardware Description Language)、Verilog-HDL等により記述されたデータとして記録媒体により配布することができる。
これまで本発明の一実施形態に係る通信端末、通信システム、表示制御方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。