JP7409016B2 - 通信システム、通信端末、通信方法、プログラム - Google Patents

通信システム、通信端末、通信方法、プログラム Download PDF

Info

Publication number
JP7409016B2
JP7409016B2 JP2019198956A JP2019198956A JP7409016B2 JP 7409016 B2 JP7409016 B2 JP 7409016B2 JP 2019198956 A JP2019198956 A JP 2019198956A JP 2019198956 A JP2019198956 A JP 2019198956A JP 7409016 B2 JP7409016 B2 JP 7409016B2
Authority
JP
Japan
Prior art keywords
data
communication
communication terminal
log
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019198956A
Other languages
English (en)
Other versions
JP2021072565A (ja
Inventor
和博 寺山
寛 日野原
毅史 本間
篤 宮本
滋 中村
佑一 河崎
将 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019198956A priority Critical patent/JP7409016B2/ja
Publication of JP2021072565A publication Critical patent/JP2021072565A/ja
Application granted granted Critical
Publication of JP7409016B2 publication Critical patent/JP7409016B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、通信システム、通信端末、通信方法、及び、プログラムに関する。
ディスプレイに手書きされた手書きデータや背景画像を多拠点間でリアルタイムに共有できる電子黒板などの通信端末が知られている。通信端末によってはテレビ会議端末の機能を有するものもあり、各拠点の通信端末は映像、音声、又は、資料データなどをリアルタイムで共有することができる。
通信端末間の通信はネットワークを介して行われるため、通信回線が低品質である場合に、映像、音声、又は画像データなどに欠損が生じる場合がある。そこで、データを再送する技術が知られている(例えば、特許文献1参照。)。特許文献1には、受信端末において受信した各パケットのシーケンス番号から欠落しているシーケンス番号の有無を判別し、再送要求回数情報と共に該当するパケットの再送要求信号を受信端末から送信端末に送信する送信方法が開示されている。
しかしながら、従来の技術では、手書きデータ、画像データ、又は、手書きデータに対する操作など、通信端末から送信されるデータの欠損についてユーザに通知する手段がないという問題があった。例えば、動画や音声が一部欠損した場合、短時間の映像の乱れ又は音声が途絶するに留まり、各拠点のコミュニケーションに対する支障は少ないが、通信端末に手書きされたストロークデータが欠損してしまうと、通信端末が間違った解釈に繋がる表示をし続けるといった状況が生じうる。例えば、ユーザが「012」と手書きしたが「1」が欠損した場合、他の拠点では「02」と表示されるなどのおそれがある。また、画像データが欠損した場合、欠損前に他の拠点ですでに表示されている画像に対する手書きであると、他の拠点のユーザが誤解したまま議論が進む状況が生じうる。
本発明は、上記課題に鑑み、1つ以上の通信端末に対し、データの欠損に関する情報を送信することができる通信システムを提供することを目的とする。
上記課題に鑑み、本発明は、複数の通信端末が1つ以上の情報処理システムを介して通信する通信システムであって、前記通信端末が送信するデータであって、手書きデータの一部が通信回線の品質低下により欠損する前記データの欠損率を検出し、前記1つ以上の情報処理システムは、前記欠損率が閾値以上の前記通信端末がある場合、前記手書きデータの共有ためのセッションが確立している全ての前記通信端末に、データの欠損に関する情報を送信し、前記データの欠損に関する情報を受信した前記通信端末は、前記データの欠損に関する情報を出力することを特徴とする。
1つ以上の通信端末に対し、データの欠損に関する情報を送信することができる通信システムを提供することができる。
通信システムが手書きデータ、画像データ、又は、手書きデータに対する操作情報の欠損を検出して、電子黒板に通知する処理の概略を説明する図である。 本実施形態の通信ルートを示した概略図である。 電子黒板の使用イメージ図である。 本実施形態に係る電子黒板のハードウェア構成図の一例である。 本実施形態に係る通信管理システム、中継装置、画像保存装置、及び、ログ収集分析システムのハードウェア構成図の一例である。 本実施形態に係る通信システムの全体構成図の一例である。 本実施形態に係る通信システムの各機能ブロック図の一例である。 認証管理テーブルを示す概念図である。 端末管理テーブルを示す概念図である。 宛先リスト管理テーブルを示す概念図である。 セッション管理テーブルを示す概念図である。 中継装置管理テーブルを示す概念図である。 ログ収集分析システムの機能をブロック状に示す機能ブロック図の一例である。 電子黒板間で遠隔通信を開始する準備段階の処理を示したシーケンス図である。 電子黒板1aで表示される宛先リストの画面例である。 遠隔通信を開始する処理を示したシーケンス図である。 資料画像の画像データ及びストローク画像のストロークデータを共有する処理を示したシーケンス図である。 資料画像の画像データ及びストローク画像のストロークデータを共有する処理を示したシーケンス図である。 (a)電子黒板1aの画面例、(b)電子黒板1bの画面例、(c)電子黒板1aの画面例、(d)電子黒板1bの画面例を示す図である。 電子黒板がログデータを送信するイベントと各イベントで送信されるログデータを説明する図の一例である。 電子黒板がログデータを生成・送信する処理を説明するシーケンス図の一例である。 ログ蓄積装置がログデータを蓄積する処理を説明するシーケンス図の一例である。 ログデータのうち共通データの一例を示す図である。 通信接続要求、通信接続応答のカテゴリー別階層データを示す図の一例である。 通信サービス開始、通信終了のカテゴリー別階層データを示す図の一例である。 通信異常終了、周期送信のカテゴリー別階層データを示す図の一例である。 アンケートの回答、端末利用デバイス情報として送信されるカテゴリー別階層データの一例である。 通信システムが手書きデータ関連情報の欠損を検出して各電子黒板にデータ欠損情報を送信する手順を示すシーケンス図の一例である。 電子黒板が通信品質ログをログ収集分析システムへ送信する手順を説明するフローチャート図の一例である。 ログ収集分析システムが通信品質ログに基づいて電子黒板にアラームを送信する手順を説明するフローチャート図の一例である。 電子黒板が表示したデータ欠損情報画面の一例を示す図である。 データ欠損情報の原因となった電子黒板が表示するデータ欠損情報画面の一例を示す図である。
以下、本発明を実施するための形態の一例として、通信システムと通信システムが行う通信方法について説明する。
<動作の概略>
図1は、本実施形態の通信システム10が手書きデータ、画像データ、又は、手書きデータに対する操作情報(以下、手書きデータ関連情報という)の欠損を検出して、電子黒板1に通知する処理の概略を説明する図である。
(1) 電子黒板1aが手書きデータ関連情報を中継装置3に送信する。中継装置3は電子黒板1b、1cに手書きデータ関連情報を転送し、電子黒板1b,1cから受信完了を受信すると、受信応答を電子黒板1aに送信する。電子黒板1aは受信応答の有無に関係なくデータの属性別(手書きデータ、画像データ、又は、手書きデータに対する操作情報)にデータ転送回数をカウントアップする。
(2) 一方、電子黒板1aが手書きデータ関連情報を中継装置3に送信しても、一定時間内に受信応答を受信しない場合がある。
(3) 電子黒板1aは応答なしを検出する。電子黒板1aはデータの属性別にデータ転送回数と欠損数をカウントアップする。
(4) 電子黒板1aは、周期的に通信品質ログをログ収集分析システム80に送信する。通信品質ログは、端末ID、会議情報(会議名、参加者など)、属性別の単位時間当たりの欠損総数/総データ転送回数、及び、計測時間を含むとよい。通信品質ログが欠損する場合は、次の周期までデータ転送回数等をカウントアップしておいて、次回の周期で電子黒板1aが送信する。
(5) 電子黒板1aが通信品質ログの受信応答をログ収集分析システム80から受信すると、データ転送回数と欠損数をリセットする。
(6) ログ収集分析システム80では、単位時間当たりの欠損率とアラーム閾値を比較する。
(7) アラーム閾値を超過した場合、ログ収集分析システム80は全ての電子黒板1へデータ欠損情報を送信する。データ欠損情報にはアラームの原因となった電子黒板1の識別情報と、欠損率等が含まれる。
このように、本実施形態の通信システム10は、電子黒板1が他拠点との会議中に、手書きデータ関連情報の送信に対する受信応答の有無を確認し、転送データの欠損を検出することによって、サービスへの影響の発生を検出する。また、各電子黒板1が転送データ欠損情報をログ収集分析システム80に周期的に送信することにより、サービスへの影響度(欠損率、他の会議参加拠点、発生時間帯)の把握や分析を可能にし、欠損率のアラーム閾値との比較に応じて、ログ収集分析システム80から各電子黒板1にデータ欠損情報を送信することができる。
<用語について>
通信端末は、通信により手書きデータを共有する装置であればよい。本実施形態では電子黒板を例にして説明する。電子黒板は、電子ホワイトボード、電子情報ボード、インタラクティブボード、表示装置などと呼ばれる場合がある。通信端末は電子黒板に限られず、タッチパネルを備え手書きされた情報を通信で共有できればよく、例えば、スマートフォンやタブレット端末、PCなどでもよい。
データの欠損とは、送信したが一定時間内に相手にデータが届かないことをいう。データの欠落、途絶、ロス、送信エラー、通信不良などといってもよい。
通信端末は、欠損数が閾値以上の通信端末がある旨を出力する場合、メッセージで表示する他、音声メッセージで出力したり、アイコン、画像データなどで通知したりしてもよい。また、電子メールで送信してもよい。
〔通信システムの概略〕
<通信ルート>
まず、図2を用いて、複数の電子黒板1b,1b間で描画しながらビデオ会議を行なうための通信システムについて説明する。図2は、本実施形態の通信ルートを示した概略図である。なお、「ビデオ会議」ではなく「テレビ会議」と呼ばれる場合もある。また、ここでは、一例として、ビデオ会議について説明するが、打ち合わせや単なる会話等であってもよい。
通信システム10は、複数の電子黒板1a,1b、中継装置3、通信管理システム5、及び画像保存装置7によって構築されている。電子黒板1a,1bは、通話用の映像データ及び音データ、並びに、共有用の画像データ及びストロークデータ等のコンテンツデータの相互通信を行う。なお、ストロークデータは、ストローク画像を再生(再現)するために必要なデータであり、座標データ、線の幅データ、線の色データ、ベクトルデータ等が含まれる。電子黒板1a,1bは、通話用の映像データ及び音データの送受信により、相手側の映像及び音を再生することで、遠隔ビデオ通話が可能となる。
電子黒板1a,1bは、共有用の資料画像の画像データを送受信することにより、通信システム10を利用する参加者が、同じ資料画像を共有することができる。資料画像は、電子黒板1のディスプレイに表示される画像であり、会議の資料、ディスプレイに表示される背景画像、ディスプレイ画面をキャプチャされた場合のキャプチャ画面等の画像である。また、電子黒板1a,1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システム10を利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等で手書きストロークにより描画された線等を示す画像である。ストローク画像は、ディスプレイ上の座標を特定する点を示すストロークデータによって表示される。
なお、通信システム10は、2つの電子黒板1a,1bに限らず、3つ以上の電子黒板1によって構築されてもよい。以降、電子黒板1b,1bの総称を示す場合は、「電子黒板1」と示す。
図2では、電子黒板1a,1bの一例としてビデオ会議機能が搭載された電子黒板1が示されている。なお、映像データの画像は、動画であっても静止画であってもよい。
また、ビデオ会議の開始を要求する要求元としての電子黒板1は「開始端末」と表され、要求先である宛先(中継先)としての電子黒板1は「宛先端末」と表されている。図2では、電子黒板1aが開始端末として、電子黒板1bが宛先端末として表されている。但し、電子黒板1bからビデオ会議の開始を要求する場合は、電子黒板1bが開始端末となり、電子黒板1aが宛先端末となる。なお、各電子黒板1b,1bは、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内又は屋外と屋外での通信で使われてもよい。
中継装置3は、コンピュータによって構成され、複数の電子黒板1b,1b間で、通話用のコンテンツデータを中継する処理を行なう。
通信管理システム5は、コンピュータによって構成され、電子黒板1b,1bからのログイン認証、電子黒板1b、1bの通信状況の管理、宛先リストの管理、及び中継装置3の通信状況等を一元的に管理する。また、通信管理システム5は、複数の電子黒板1b,1b間で、共有用のストロークデータを中継する。通信管理システム5は1つ以上の情報処理システムである。
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の資料画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。即ち、画像保存装置7は、電子黒板1bからアップロードされた画像データを保存して、電子黒板1aにダウンロードする。
なお、中継装置3、通信管理システム5及び画像保存装置7は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。中継装置3は1つ以上の情報処理システムである。
また、通信システム10において、電子黒板1a,1bとの間では、通信管理システム5を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、電子黒板1a,1bとの間では、中継装置3を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音データの4つの各データを送受信するための4つのセッションが確立される。図2では、これら4つのセッションをまとめて、画像・音データ用セッションsedとして示している。なお、画像・音データ用セッションsedは、必ずしも4つのセッションである必要はなく、4つのセッション数より少ない又は多いセッション数であってもよい。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、通信セッションを確立してもよい。
更に、通信システム10において、電子黒板1a,1bとの間では、管理情報用セッションseiを利用して、ストロークデータの送受信を行うことができる。
ここで、本実施形態で扱われる映像データの映像の解像度について説明する。低解像度の映像データは、例えば、横が160画素、縦が120画素から成り、ベース画像となる。中解像度の映像データは、横が320画素、縦が240画素から成る。高解像度の映像データは、例えば、横が640画素、縦が480画素から成る。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の映像データのみから成る低画質の映像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の映像データ、及び中解像度の映像データから成る中画質の映像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の映像データ、中解像度の映像データ、及び高解像度の映像データから成る高画質の映像データが中継される。音データは、映像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。
<電子黒板の使用イメージ>
図3は、電子黒板1の使用イメージ図である。電子黒板1は、図3に示されているように、電子黒板1は、下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、及び本体153の前面に設けられたディスプレイ180によって構成されている。本体153には、後述のCPU101等が内蔵されている。そして、利用者は、電子ペン190を用いて、ディスプレイ180に文字等のストローク画像を入力(描画)することができる。
〔ハードウェア構成〕
次に、本実施形態のハードウェア構成を説明する。
<電子黒板のハードウェア構成>
図4は、電子黒板1のハードウェア構成図である。図4に示されているように、電子黒板1は、CPU101(Central Processing Unit)、ROM102(Read Only Memory)、RAM103(Random Access Memory)、SSD104(Solid State Drive)、ネットワークI/F105、及び、外部機器接続I/F106(Interface)を備えている。
これらのうち、CPU101は、電子黒板1全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。SSD104は、電子黒板1用のプログラム等の各種データを記憶する。ネットワークI/F105は、通信ネットワーク100との通信を制御する。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USBメモリ130(Universal Serial Bus)、外付け機器(マイク140、スピーカ150、カメラ160)である。
また、電子黒板1は、キャプチャデバイス111、GPU112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、及び近距離通信回路119のアンテナ119a、電源スイッチ122及び選択スイッチ類123を備えている。
これらのうち、キャプチャデバイス111は、外付けのPC170(Personal Computer)のディスプレイに対して映像情報を静止画又は動画として表示させる。GPU112(Graphics Processing Unit)は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ180等へ出力するために画面表示の制御及び管理を行う。接触センサ114は、ディスプレイ180上に電子ペン190やユーザの手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。接触センサ114は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ180の上側両端部に設置された2つ受発光装置が、ディスプレイ180に平行して複数の赤外線を放射し、ディスプレイ180の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。電子ペンコントローラ116は、電子ペン190と通信することで、ディスプレイ180へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ122は、電子黒板1の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類123は、例えば、ディスプレイ180の表示の明暗や色合い等を調整するためのスイッチ群である。
更に、電子黒板1は、バスライン110を備えている。バスライン110は、図4に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ116が、電子ペン190のペン先及びペン尻だけでなく、電子ペン190のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
<通信管理システム、中継装置、画像保存装置、ログ収集分析システムのハードウェア構成>
図5は、本実施形態に係る通信管理システム5のハードウェア構成図である。通信管理システム5の一例としてのコンピュータは、CPU501、ROM502、RAM503、HD504(Hard Disk)、HDDコントローラ505(Hard Disk Drive)、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RWドライブ514(Digital Versatile Disk ReWritable)、メディアI/F516、及び、バスライン510を備えている。
これらのうち、CPU501は、通信管理システム5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、通信管理用プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。ネットワークI/F509は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD-RWドライブ514は、DVD-RWに対するデータの読み出し又は書き込み(記憶)を制御する。なお、DVD-RWドライブでなく、BD-RE(Blu-ray Disc Rewritable(登録商標))等のディスクに対するデータの読み出し又は書き込み(記憶)を制御してもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出し又は書き込み(記憶)を制御する。
また、バスライン510は、図5に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、図2に示されている中継装置3、画像保存装置7、及び、ログ収集分析システム80のハードウェア構成は、通信管理システム5のハードウェア構成と同様であるため、その説明を省略する。但し、中継装置3の場合は、HD504に中継用プログラムが記憶されている。また、画像保存装置7の場合は、HD504に画像保存用プログラムが記憶されている。また、ログ収集分析システム80の場合は、HD504にログ収集分析システム用プログラムが記憶されている。
〔通信システムの全体構成〕
続いて、図6を用いて、通信システムの全体構成について説明する。図6は、本発明の実施形態に係る通信システムの全体構成図である。
図6において、電子黒板1aは拠点A、電子黒板1bは拠点Bに設置されている。例えば、拠点Aは日本の東京事業所で、拠点Bは日本の大阪事業所である。拠点Aでは利用者A1が電子黒板1aを利用し、拠点Bでは利用者B1,B2が電子黒板1bを利用している。
更に、電子黒板1a,1b、中継装置3、通信管理システム5、画像保存装置7、及び、ログ収集分析システム80は、インターネット等の通信ネットワーク100を介してデータの相互通信を行なうことができる。なお、通信ネットワーク100には、無線通信部分が含まれてもよい。
なお、図6では、電子黒板1a,1bは、ともに映像通信可能な電子黒板1である。
〔通信システムの機能構成〕
次に、図7乃至図12を用いて、本実施形態の機能構成について説明する。図7は、本実施形態に係る通信システム10の各機能ブロック図である。
<電子黒板1aの機能構成>
図7に示されているように、電子黒板1aは、送受信部11a、受付部12a、映像・音処理部13a、表示制御部14a、判断部15a、画像処理部17a、近距離通信部18a、ログ情報生成部20、送信データ欠損算出部24、アラーム通知受信処理部25、ログ送信制御部26、及び記憶・読出処理部19aを有している。これら各部は、図4に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能、又は機能する手段である。また、電子黒板1aは、図4に示されているRAM103、及び図4に示されているフラッシュメモリ104によって構築される記憶部1000aを有している。
(電子黒板1aの各機能構成)
次に、電子黒板1aの各構成要素について説明する。送受信部11aは、通信ネットワーク100を介して他の端末、装置又はシステムと各種データ(又は情報)の送受信を行う。また、送受信部11aは、開始部としての役割も果たし、電子黒板1b等の他の通信端末と通信を開始する処理を行なう。受付部12aは、利用者から電子ペン190等による各種入力を受け付ける。
映像・音処理部13aは、ビデオ会議機能の主な処理を行う。例えば、映像・音処理部13aは、マイク140の出力信号及びカメラ160の出力信号に共づき、映像データ及び音データのエンコード等のデジタル処理を行う。また、映像・音処理部13aは、送受信部11aで受信された映像データ及び音データに基づき、映像信号を生成したり音信号を生成したりする。映像・音処理部13a、解像度の異なる映像データを組み合わせる処理を行う。
表示制御部14aは、ディスプレイ180に映像信号(画像信号)等を出力するための制御を行う。判断部15aは、各種判断を行う。
画像処理部17aは、電子黒板1機能の主な処理を行う。例えば、画像処理部17aは、受付部12aによって受け付けられた電子ペン190等のストロークに基づいてストローク画像及びストロークデータを作成したり、送受信部11aによって受信されたストロークデータに基づいてストローク画像を作成したりする。また、画像処理部17aは、送受信部11aで受信された資料画像の画像データに基づき、画像信号を生成する。
近距離通信部18aは、近距離通信部を有する各端末との間で、近距離無線通信により、データの取得及び提供を行なう。
送信データ欠損算出部24は、中継装置3への手書きデータ関連情報のデータ転送回数を周期ごとにカウントする。また、送信に対する受信応答の有無を周期ごとにカウントし、欠損率を算出する。通信品質ログの送信に対するログ収集分析システム80からの受信応答を受信した場合、データ転送回数と受信応答なしの回数をリセットして次の周期のデータ転送回数のカウントを開始する。また、通信品質ログの送信に対するログ収集分析システム80からの受信応答が受信されない場合、次の周期までカウントを継続する。
アラーム通知受信処理部25は、ログ収集分析システム80から受信したデータ欠損情報に基づいてディスプレイ180に表示するためのデータ欠損情報表示画面を生成する。表示制御部14aはデータ欠損情報表示画面をディスプレイ180に表示する。
ログ情報生成部20はログデータを生成する処理を行う。ログ情報生成部20はログ生成処理部21、共通ログ生成部22、及び、機能別ログ生成部23を有する。
ログ生成処理部21は、共通ログ生成部22から共通ログを取得し、機能別ログ生成部23からカテゴリー別階層データを取得し、それぞれ決まったフォーマットに格納してログデータを完成させる処理を行う。ログ情報生成部20は、例えばJSON形式、XML形式、又はCSV形式などの形式でログデータを生成する。
共通ログ生成部22は、すべてのログデータに共通で付与する共通ログを生成する。共通ログは、ログID、時刻、機種、ソフトウェアのバージョン、通信サービスID、及び、ユーザIDなどを含む。
機能別ログ生成部23は、送受信部11、受付部12など電子黒板1の各機能においてイベントが発生した際に、これら電子黒板1が有する各機能からイベントの発生通知を受け取り、イベントに応じたカテゴリー別階層データを生成する。電子黒板1に対するストロークデータや静止画像データ、移動操作や消去操作等を他の電子黒板1とリアルタイム共有するために、これらも送信される。
ログ送信制御部26は、送受信部11を介して、ログ情報生成部20が生成した通信品質ログをイベントごと又は一定時間ごとにログ収集分析システム80に送信する処理を行う。後述するようにログデータの一部に通信品質ログが含まれる。データ転送の成否を、ログ収集分析システム80からの受信応答の有無から判断する。なお、イベントごと又は一定時間ごとのどちらで送信するかはログデータの内容によって決まっていてよい。
記憶・読出処理部19は、記憶部1000又はUSBメモリ130等の記録媒体1010に各種データを記憶したり、記憶部1000又は記録媒体1010に記憶された各種データを読み出したりする処理を行う。
更に、記憶部1000には、他の端末との通信を行う際に受信される映像データ及び音データが、受信される度に上書き記憶される。このうち、上書きされる前の映像データによってディスプレイ180に画像が表示され、上書きされる前の音データによってスピーカ150から音声が出力される。
<電子黒板1bの機能構成>
図7に示されているように、電子黒板1bは、送受信部11b、受付部12b、映像・音処理部13b、表示制御部14b、判断部15b、画像処理部17b、近距離通信部18b、ログ情報生成部20、送信データ欠損算出部24、アラーム通知受信処理部25、ログ送信制御部26、及び記憶・読出処理部19bを有している。これらは電子黒板1aの機能と同様の機能を有しているため、これらの説明を省略する。
<中継装置の機能構成>
図7に示されているように、中継装置3は、転送部を兼ねた送受信部31、判断部35、及び記憶・読出処理部39を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD504からRAM503上に展開された中継用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、中継装置3は、図5に示されているRAM503、HD504によって構築される記憶部3000を有している。
(中継装置3の各機能構成)
次に、中継装置3の各機能構成について詳細に説明する。図7に示されている中継装置3の送受信部31は、通信ネットワーク100を介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。また、送受信部31は、転送部としての役割も果たし、所定の端末ら送信されて来た映像データ及び音データを、他の端末に転送する。判断部35は、データの遅延状態等の判断等の各種判断を行なう。
記憶・読出処理部39は、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出したりする処理を行う。
<通信管理システムの機能構成>
図7に示されているように、通信管理システム5は、送受信部51、認証部52、生成部53、選択部54、判断部55及び記憶・読出処理部59を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、通信管理システム5は、図5に示されているHD504により構築される記憶部5000を有している。
(認証管理テーブル)
図8は、認証管理テーブルを示す概念図である。記憶部5000には、図8に示されているような認証管理テーブルによって構成されている認証管理DB5001が構築されている。この認証管理テーブルでは、通信管理システム5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、図8に示されている認証管理テーブルにおいて、電子黒板1a(通信端末)の端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。なお、パスワードは認証情報の一例であり、認証情報にはアクセストークンも含まれる。
端末IDは、電子黒板を識別する識別情報である。端末IDはハードウェアを特定するものに限らず、ユーザを識別する機能を有していてよい。このようなIDを通信IDという場合がある。ユーザは任意の情報処理端末で通信IDが割り当てられたアプリを実行して通信できる。また、通信IDはメールアドレスなど、ユーザの識別情報でもよい。
(端末管理テーブル)
図9は、端末管理テーブルを示す概念図である。記憶部5000には、図9に示されているような端末管理テーブルによって構成されている端末管理DB5002が構築されている。この端末管理テーブルでは、各電子黒板1(通信端末)を識別するための端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理システム5で受信された受信日時、及び各電子黒板1(通信端末)のIPアドレスが関連付けられて管理される。例えば、図9に示されている端末管理テーブルにおいて、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「ONライン(通信可能)」で、通信管理システム5でログイン要求情報が受信された日時が「2015年4月10日の13時40分」で、この端末IDが1aaのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名、及び端末のIPアドレスは、各電子黒板1が、通信管理システム5によるサービスの提供を受けるために事前登録する際に記憶される。
(宛先リスト管理テーブル)
図10は、宛先リスト管理テーブルを示す概念図である。記憶部5000には、図10に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5003が構築されている。この宛先リスト管理テーブルでは、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、図10に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補は、端末IDが「01ba」の電子黒板1b等であることが示されている。この宛先端末の候補は、任意の開始端末から通信管理システム5に対する追加又は削除の要請により、追加又は削除されることで更新される。
なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、端末ID等の宛先に関する情報が羅列されていてもよい。
(セッション管理テーブル)
図11は、セッション管理テーブルを示す概念図である。記憶部5000には、図11に示されているようなセッション管理テーブルによって構成されているセッション管理DB5004が構築されている。このセッション管理テーブルでは、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するための通信セッションID毎に、使用される中継装置3の中継装置3ID、電子黒板1(開始端末)の端末ID、電子黒板1(宛先端末)の端末ID、宛先端末において映像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間が示されている遅延情報を宛先端末から送られて来て通信管理システム5で受信された受信日時が関連付けられて管理される。例えば、図11に示されているセッション管理テーブルにおいて、セッションID「se01」を用いて実行された通信セッションで、中継装置3(中継装置3ID「111a」)は、端末IDが「01aa」の電子黒板1と、端末IDが「01db」の電子黒板1との間で、映像データ及び音データを中継しており、電子黒板1(宛先端末)において「2015年4月10日の13時41分」時点における映像データの遅延時間が200(ms)であることが示されている。
(中継装置管理テーブル)
図12は、中継装置管理テーブルを示す概念図である。記憶部5000には、図12に示されているような中継装置管理テーブルによって構成されている中継装置3管理DB5005が構築されている。この中継装置管理テーブルでは、複数の中継装置3ごとに、各中継装置3の稼動状態、稼動状態が示される状態情報が通信管理システム5で受信された受信日時、中継装置3のIPアドレス、及び、中継装置3における最大データ伝送速度(Mbps)が関連付けられて管理される。例えば、図12に示されている中継装置管理テーブルにおいて、中継装置3IDが「111a」の中継装置3は、稼動状態が「ONライン」で、通信管理システム5で状態情報が受信された日時が「2014年4月10日の13時30分」で、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。
(通信管理システムの各機能構成)
図7に示されている通信管理システム5の送受信部51は、通信ネットワーク100を介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。
認証部52は、送受信部51を介して受信されたログイン要求に含まれている端末ID及びパスワードを検索キーとし、記憶部5000の認証管理DB5001を検索し、認証管理DB5001に同一の組の端末ID及びパスワードが管理されているかを判断することによって認証を行う。生成部53は、電子黒板1からの通信開始要求(S62参照)に基づき、通信セッションを識別するためのセッションIDを生成する。選択部54は、複数の中継装置3から最終的に1つの中継装置3を選択する処理を行う。判断部55は、各種判断を行なう。記憶・読出処理部59は、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出したりする処理を行う。
<画像保存装置の機能構成>
図7に示されているように、画像保存装置7は、送受信部71、及び記憶・読出処理部79を有している。これら各部は、図7に示されている各構成要素のいずれかが、HD504からRAM503上に展開された画像保存用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、画像保存装置7は、図5に示されているRAM503、HD504によって構築される記憶部7000を有している。
(画像保存装置の各機能構成)
次に、画像保存装置7の各機能構成について詳細に説明する。図7に示されている画像保存装置7の送受信部71は、通信ネットワーク100を介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。記憶・読出処理部79は、記憶部7000に各種データを記憶したり、記憶部7000に記憶された各種データを読み出したりする処理を行う。
<ログ収集分析システムの機能構成>
図13は、ログ収集分析システム80の機能をブロック状に示す機能ブロック図の一例である。
・データ閲覧分析端末
データ閲覧分析端末81は構造データ集計部83、表・グラフ生成部84、操作受付部82、命令処理部85、及び、送受信部86を有する。これら各部は、図5に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたデータ閲覧分析端末81用のプログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。なお、このプログラムとしてブラウザソフトを使用してもよい。
送受信部86は、構造データ処理装置87に対し後述する構造データの送信要求を送信したり、構造データ処理装置87から構造データを受信したりする。
操作受付部82は、データ閲覧分析端末81に対する各種の操作を受け付ける。例えば、どのようなログデータを取得するか、取得したログデータをどのように集計するか等を受け付ける。
命令処理部85は、構造データ処理装置87に対して構造データ定義テーブルの生成を要求する。構造データ定義テーブルとは、ユーザが指定した1つ以上の検索キーを行見出し又は列見出しとするテーブルである。いわばログデータの入れ物である。構造データ定義テーブルにログデータが格納され、ログデータが格納された構造データ定義テーブルを構造データという。検索キーはログデータを検索するための項目名である。例えば、カテゴリー名、日時、ユーザID、任意の文字列(含む場合、含まない場合)など、一般的な検索条件と同様である。例えば、dateという検索キーが指定された構造データ定義テーブルを生成した場合、管理者等は構造データ定義テーブルで更に具体的な日付を指定して検索することができる。構造データ定義テーブルのリストはデータ閲覧分析端末81に表示される。このように構造データ定義テーブルが予め生成されていることで、管理者等が構造データを分析する際の作業負荷を低減できる。
構造データ集計部83は構造データ処理装置87から取得した構造データに対するユーザの操作に応じて構造データの集計処理を行う。例えば、現在、会議を行っている電子黒板1の数、障害が発生している電子黒板1の数、終了した会議のうち障害でなくユーザの操作で会議が終了した電子黒板1の割合など、多様な集計が可能である。
表・グラフ生成部84は、構造データそのもの又は構造データ集計部83が集計した集計データを表やグラフなどで表す可視化処理を行う。
・構造データ処理装置
構造データ処理装置87は、構造データ定義テーブル生成部88、構造データ生成部89、警報判断処理部92、及び、送受信部91を有する。
送受信部91は、データ閲覧分析端末81から構造データの要求を受信し、構造データを送信する。また、ログ蓄積装置73に対しログデータの検索要求を送信したり、検索に適合したログデータを受信したりする。
構造データ定義テーブル生成部88は、管理者等からの要求に応じて上記した構造データ定義テーブルを生成する。生成した構造データ定義テーブルは管理者のIDに対応付けて記憶されている。生成された構造データ定義テーブルにはまだログデータは存在しない。
構造データ生成部89は、1つ以上の検索キーとこの検索キーを検索する条件(ID、文字列など)を指定した構造データの要求に対し、ログ蓄積装置73に対して条件に適合するログデータを検索要求して取得する。そして、取得したログデータを構造データ定義テーブルに格納して構造データを生成する。
警報判断処理部92は、各電子黒板1が送信した手書きデータ関連情報の欠損率に対して、管理者が設定したアラーム閾値以上か否かを判断する。アラーム閾値以上の場合は、手書きデータ関連情報を共有する全ての電子黒板1に対して(同じ会議に参加している全ての電子黒板に対して)、送受信部91を介してデータ欠損情報を通知する。アラーム閾値は、ストロークデータ等を各電子黒板が実用上共有できない程度の欠損率として定められている。
・ログ蓄積装置
ログ蓄積装置73は、パーティション処理部95、データ格納処理部96、入れ子構造解除処理部97、及び、送受信部98を有する。また、ログ蓄積装置73は、図5に示したHD504やRAM503等に構築されるログデータ記憶部45を有している。
ログデータ記憶部45には入れ子構造が解除されたログデータが蓄積されている。ログデータ記憶部45はパーティション99に分類されて蓄積されている。パーティションは例えばフォルダ、ディレクトリ、ボリュームなどである。どのようにパーティションを区切るかは管理者が設定できるが、例えば日付によって区切ることが考えられる。
送受信部98は、電子黒板1からログデータを受信し、構造データ処理装置87からのログデータの検索要求に対し検索に適合したログデータの送信などを行う。
パーティション処理部95はログデータを分割して格納するためのパーティションを作成する。共通ログデータの、例えば日付、機種、サービス用途(ソフトが何に使用されるかという情報)、ソフトのバージョンなどでパーティションを分けることができる。
パーティションを作成するタイミングとしては、パーティションが日付で分類されている場合は日が変わるタイミングである。また、ログデータが送信されたタイミングでパーティションを作成してよい。電子黒板1の機種、サービス用途、ソフトウェアのバージョンなどでパーティションが分類されている場合、パーティション処理部95は、新たな機種、サービス用途、ソフトウェアのバージョンがログデータから初めて確認されたタイミングでリアルタイムにパーティションを作成する。
パーティションごとにログデータを分類することで、構造データ処理装置87から条件を指定して検索要求が送信された場合に、ログデータの検索範囲を絞り、高速化することができる。
なお、パーティションは階層構造になっていてもよい。例えば、日付のパーティションの下位層に機種ごとのパーティションを作成したり、日付のパーティションの下位層にソフトウェアのバージョンのパーティションを作成したりする。あるいは、日付の下位層に機種のパーティションを作成し、機種のパーティションの下位層にソフトウェアのバージョンのパーティションを作成してもよい。下位層の深さは任意に決定できる。
入れ子構造解除処理部97は、階層の入れ子構造となって送信されてきた電子黒板1からのログデータを1階層のログデータに変換する。このような処理を入れ子構造の除去という。
データ格納処理部96は、ログデータに基づいて適切なパーティションを選択し、入れ子構造が解除されたログデータをパーティションに格納する。
〔実施形態の処理又は動作〕
次に、図14乃至図19を用いて、本実施形態に係る通信システム10における処理又は動作を説明する。
<遠隔通信の準備段階の処理>
まず、図14及び図15を用いて、ログイン要求端末としての電子黒板1aが行う通信の準備処理を説明する。なお、図14は、電子黒板1間で遠隔通信を開始する準備段階の処理を示したシーケンス図である。図15は、電子黒板1aで表示される宛先リストの画面例である。なお、電子黒板1bがログイン共有を行う処理も電子黒板1aの処理と同様であるため、説明を省略する。
まず、電子黒板1aで電源スイッチ122がONされると、受付部12aが、電源ONを受け付ける(ステップS22)。
次に、送受信部11aは、通信ネットワーク100を介して通信管理システム5に、ログイン認証の要求を示すログイン要求情報を送信する(ステップS23)。このログイン要求情報には、電子黒板1aの端末ID及びパスワードが含まれている。
次に、通信管理システム5の記憶・読出処理部59は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、認証管理テーブル(図8参照)を検索し、同一の端末ID及び同一のパスワードが管理されているかを判断することによって端末の認証を行う(ステップS24)。ここでは、記憶・読出処理部59によって、同一の端末ID及び同一のパスワードが管理されているものとして、続けて説明する。
記憶・読出処理部59によって、同一の端末ID及び同一のパスワードが管理されているものとして、正当な利用権限を有する端末からのログイン要求であると判断された場合には、記憶・読出処理部59は、端末管理テーブル(図9参照)において、上記ステップS23で受信された端末IDのレコードの稼動状態のフィールド部分を「ONライン(通信可能)」に変更すると共に、受信日時のフィールド部分に上記ステップS23によってログイン要求情報が受信された受信日時を記憶する(ステップS25)。これにより、端末管理テーブルには、端末ID「01aa」に、稼動状態「オンライン(通信可能)」、受信日時「2015.4.10.13:40」及びIPアドレス「1.2.1.3」が関連付けて管理されることになる。なお、端末のIPアドレスは、事前に登録されているのではなく、上記ステップS23で電子黒板1aから送信されるようにしてもよい。
次に、記憶・読出処理部59は、上記ステップS23によって受信された電子黒板1aの端末IDを含む新しいレコードを、セッション管理テーブル(図11参照)で追加して管理する(ステップS26)。そして、通信管理システム5の送受信部51は、上記ステップS24の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク100を介して、上記ログイン要求してきた電子黒板1aに送信する(ステップS27)。
ログイン要求端末(電子黒板1a)の送受信部11aが、正当な利用権限を有する端末であると判断された結果が示された認証結果情報を受信すると、送受信部11aが通信ネットワーク100を介して通信管理システム5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS28)。これにより、通信管理システム5の送受信部51は、宛先リスト要求情報を受信する。
次に、記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図10参照)を検索し、ログイン要求端末(電子黒板1a)と通信することができる宛先候補の端末IDを読み出すと共に、この端末IDに対応する宛先名を端末管理テーブル(図9参照)から読み出す(ステップS29)。ここでは、ログイン要求端末(電子黒板1a)の端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。
次に、通信管理システム5の送受信部51は、記憶・読出処理部59を介して記憶部5000から宛先リスト枠のデータ及び稼動状態を示すアイコンのデータを読み出す(ステップS30)と共に、この宛先リスト枠及びアイコン並びに上記記憶・読出処理部59によって読み出された端末ID及び宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、ログイン要求端末(電子黒板1a)に送信する(ステップS31)。これにより、ログイン要求端末(電子黒板1a)では、送受信部11aが宛先リスト情報を受信し、記憶・読出処理部19aが記憶部1000aへ宛先リスト情報を記憶する(ステップS32)。
このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理システム5が全ての端末の宛先リスト情報を一元管理している。よって、通信システム10に新たな電子黒板1が含まれるようになったり、既に含まれている端末に替えて新機種の端末を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、通信管理システム5側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。
また、通信管理システム5の記憶・読出処理部59は、上記の読み出した宛先候補の端末IDを検索キーとして、端末管理テーブル(図9参照)を検索し、上記端末ID毎に、対応する稼動状態を読み出すことで、宛先候補としての電子黒板1の各稼動状態を取得する(ステップS33)。
次に、送受信部51は、上記ステップS33で使用された検索キーとしての端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク100を介してログイン要求端末(電子黒板1a)に送信する(ステップS34)。
次に、ログイン共有端末(電子黒板1a)の記憶・読出処理部19aは、順次、通信管理システム5から受信した端末の状態情報を記憶部1000aに記憶する(ステップS35)。よって、ログイン要求端末(電子黒板1a)は、上記各電子黒板1の状態情報を受信することで、ログイン要求端末(電子黒板1a)と通信することができる宛先候補である電子黒板1b等の現時点のそれぞれの稼動状態を取得することができる。
次に、ログイン要求端末(電子黒板1a)の表示制御部14aは、記憶部1000aに記憶されている宛先リスト情報、及び端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成すると共に、表示制御部14aが、電子黒板1aのディスプレイ180に対して、図15に示されている宛先リスト画面1100を表示する(ステップS36)。この宛先リスト画面1100には、宛先候補毎に、稼動状態を示すアイコン、端末ID、及び宛先名が表示されている。図15では、各端末の稼動状態を示したアイコンが、上から「オフライン」、「オンライン(通信可能)」として表示されている。 一方、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて宛先リスト管理テーブル(図10参照)を検索することにより、ログイン要求端末(電子黒板1a)の端末ID「01aa」を宛先候補として登録している他の端末の端末IDを抽出する(ステップS37)。図10に示されている宛先リスト管理テーブルでは、読み出される他の端末の端末IDは、「01ab」、「01ba」、「01da」等である。
次に、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて端末管理テーブル(図9参照)を検索し、ログイン要求端末(電子黒板1a)の稼動状態を取得する(ステップS38)。
そして、送受信部51は、上記ステップS37で抽出された端末IDに係る端末のうち、端末管理テーブル(図9参照)で稼動状態が「オンライン」となっている端末に、上記ステップS38で取得されたログイン要求端末(電子黒板1a)の端末ID「01aa」と稼動状態「オンライン」が含まれる「端末の状態情報」を送信する(ステップS39)。なお、送受信部51が電子黒板1bに端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル(図9参照)で管理されている電子黒板1のIPアドレスを参照する。これにより、ログイン要求端末(電子黒板1a)を宛先候補として通信することができる他の宛先端末のそれぞれに、上記ログイン要求端末(電子黒板1a)の端末ID「01aa」、及び稼動状態「オンライン」を伝えることができる。よって、宛先候補(電子黒板1b等)においても、宛先候補の状態を表示させることができる(ステップS40)。
<遠隔通信の開始処理>
続いて、図16を用いて、電子黒板1aが電子黒板1bに対して遠隔通信を開始する処理を説明する。図16は、遠隔通信を開始する処理を示したシーケンス図である。
まず、要求元端末(電子黒板1a)の利用者が図9に示されている宛先候補(端末ID「01ba」)を押下して電子黒板1bを選択すると、図7に示されている受付部12aは、宛先端末(電子黒板1b)との通話を開始する要求を受け付ける(ステップS61)。宛先端末の選択受付は図20の「通信開始操作」に相当する。
そして、要求元端末(電子黒板1a)の送受信部11aは、通信管理システム5に対して、通話を開始したい旨を示す開始要求情報を送信する(ステップS62)。この開始要求情報には、要求元端末(電子黒板1a)の端末ID「01aa」、及び宛先端末(電子黒板1b)の端末ID「01ba」が含まれている。これにより、通信管理システム5の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末(電子黒板1a)のIPアドレスを受信する。開始要求情報の送信は図20の「通信接続要求」に相当する。
そして、記憶・読出処理部59は、開始要求情報に含まれる要求元端末(電子黒板1a)の端末ID「01aa」及び宛先端末(電子黒板1b)の端末ID「01ba」に基づき、端末管理テーブル(図9参照)において、上記端末ID「01aa」、及び端末ID「01ba」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する(ステップS63)。なお、この状態では、要求元端末(電子黒板1a)、及び宛先端末(電子黒板1b)は、ビデオ会議を開始していないが、通話中状態となり、第三の電子黒板が要求元端末(電子黒板1a)又は宛先端末(電子黒板1b)と通話しようとすると、いわゆる通話中状態を示す旨の通知音又は表示が出力される。
次に、実際に利用される中継装置3を選択するためのセッションを実行する処理を説明する。まず、通信管理システム5の生成部53は、中継装置3を選択するためのセッションの実行に用いられるセッションIDを生成する(ステップS64)。ここでは、セッションID「se1」が生成された場合について説明する。
そして、記憶・読出処理部59は、セッション管理テーブル(図11参照)に、上記ステップS64で生成されたセッションID「se1」、要求元端末(電子黒板1a)の端末ID「01aa」、及び宛先端末(電子黒板1b)の端末ID「01ba」を関連付けて記憶して管理する(ステップS65)。
次に、図9に示されている通信管理システム5の選択部54は、中継装置管理テーブル(図12参照)及び端末管理テーブル(図9参照)に基づいて、要求元端末(電子黒板1a)及び宛先端末(電子黒板1b)の2拠点間の通話を中継するための中継装置3の選択を行う(ステップS66)。具体的には、中継装置管理テーブル(図12参照)において稼動状態が「ONライン」の中継装置3に係る中継装置3IDのうち、端末管理テーブル(図9参照)において要求元端末(電子黒板1a)のIPアドレスに近いIPアドレスの中継装置3に係る中継装置3IDが選択される。ここでは、中継装置3a(中継装置3ID「111a」)が選択された場合について、以降、続けて説明する。
以上のステップS66における中継装置3の選択の処理が終了すると、通信管理システム5の送受信部51は、要求元端末(電子黒板1a)に対して、中継装置選択情報を送信する(ステップS67-1)。この中継装置選択情報には、上記ステップS66によって選択された中継装置3のIPアドレス、及び上記ステップS64によって生成されたセッションID「se1」が含まれている。これにより、要求元端末(電子黒板1a)は、中継装置選択情報の送信元である通信管理システム5のIPアドレスを取得することができる。
更に、通信管理システム5の送受信部51は、宛先端末(電子黒板1b)に対して、中継装置選択情報を送信する(ステップS67-2)。この中継装置選択情報には、上記ステップS66によって選択された中継装置3のIPアドレス、要求元端末(電子黒板1a)の端末ID「01aa」、及び上記ステップS64によって生成されたセッションID「se1」が含まれている。これにより、宛先端末(電子黒板1b)は、セッションID「se1」におけるセッションの実行において、中継装置選択情報の送信元である通信管理システム5のIPアドレスを取得することができる。
次に、上記ステップS67-1の処理に対して、要求元端末(電子黒板1a)の送受信部11は、通信管理システム5に対して、上記ステップS67-1の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS68-1)。この受信完了情報には、上記ステップS67-1の処理で送受信されたセッションIDが含まれている。これにより、通信管理システム5は、特定のセッションID「se1」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
更に、上記ステップS67-2の処理に対して、宛先端末(電子黒板1b)は、同様に通信管理システム5へ、上記ステップS67-2の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS68-2)。この場合も、通信管理システム5は、特定のセッションID「se1」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
電子黒板1aは、受信した中継装置選択情報に基づいて、中継装置3との間でセッションを確立する。同様に、電子黒板1bは、受信した中継装置選択情報に基づいて、中継装置3との間でセッションを確立する(ステップS69)。これにより、同じセッションに電子黒板1aと1bが参加できる。すなわち、通信サービスが開始される。通信セッションの確立は図20の「通信サービス開始要求+通信サービス開始応答」に相当する。
以上により、電子黒板1a,1bは、上記ステップS66で選択された中継装置3を介して、映像データ及び音データを送受信することで、ビデオ会議を行うことができる。
<資料画像及びストローク画像の通信処理>
続いて、図17乃至図19を用いて、電子黒板1に表示されている資料画像及び入力されたストローク画像の通信処理について説明する。図17及び図18は、資料画像の画像データ及びストローク画像のストロークデータを共有する処理を示したシーケンス図である。ここでは、電子黒板1a,1bで資料画像の画像データ及びストローク画像のストロークデータを共有する場合であって、電子黒板1aで表示された資料画像及び入力されたストローク画像が、電子黒板1bでも表示される場合について説明する。図19のうち、(a)は電子黒板1aの画面例、(b)は電子黒板1bの画面例、(c)は電子黒板1aの画面例、(d)は電子黒板1bの画面例である。資料画像の画像データ及びストローク画像のストロークデータの送受信は図20の「通信サービス中」に相当する。
まず、拠点Aの電子黒板1aでは、表示制御部14aによって図19(a)に示されている画面がディスプレイ180上に表示されている。ここでは、資料画像d1、拠点Bの映像v2、資料画像d1を共有する場合に押下される「共有」ボタンb1が表示されている。この状態で、電子黒板1aの利用者aが「共用」ボタンb1を押下すると、受付部12aが利用者aから資料画像の共有処理を受け付ける(ステップS101)。次に、送受信部11aは、通信管理システム5に対して、資料画像の画像データの保存位置を示すURL(Uniform Resource Locator)を要求する旨を示す要求情報を送信する(ステップS102)。これにより、通信管理システム5の送受信部51は、要求情報を受信する。なお、URLは保存位置情報の一例であり、保存位置情報にはURI(Uniform Resource Identifier)も含まれる。
次に、通信管理システム5の生成部53は、資料画像の画像データの保存位置を示すURLを生成する(S103)。そして、送受信部51は、電子黒板1aに対して、生成部53によって生成された画像データのURLを送信する。これにより、電子黒板1aの送受信部11aは、画像データのURLを受信する(S104)。
次に、電子黒板1aの送受信部11aは、通信管理システム5に対して、資料画像の画像データのアップロードの開始通知を送信する(ステップS105)。これにより、通信管理システム5の送受信部51は、開始通知を受信する。
次に、送受信部51は、遠隔会議中の相手側の電子黒板1bに対して、開始通知を転送する(ステップS106)。これにより、電子黒板1bの送受信部11bは、開始通知を受信する。電子黒板1bの表示制御部14dは、電子黒板1bのディスプレイ180上に、図19(b)に示されているような画面を表示させる(ステップS107)。ここでは、もともと拠点Aの映像v1及び共有する場合に押下される「共有」ボタンb2が表示されており、ステップS106の開始通知により、資料画像の画像データのダウンロードの時間経過を視覚的に示す砂時計のアイコンc2を表示する出力が行われる。
また、時間経過は、静止画の砂時計によって示したり、砂の動きがある動画の砂時計によって示したりすることができる。また、砂時計のアイコンc2は、画像データをダウンロードする予定である旨を示す予定情報の一例である。予定情報の他の例としては、砂時計以外のアイコン(例えば、時計のアイコン)であっても良いし、アイコンではなく文字(及び/又は「記号」)であってもよし、アイコンと文字(及び/又は「記号」)の組み合わせであってもよい。また、予定情報は、音による通知であってもよい。この場合、表示制御部14dではなく、映像・音処理部13aによってスピーカ150から音の出力が行われる。
なお、電子黒板1aは、上記ステップS105の処理後に上記ステップS102の処理を行ってもよい。また、通信管理システム5は、上記ステップS105により画像データのアップロード開始通知を受信した後に、上記ステップS104により画像データのURLを送信してもよい。
続いて、電子黒板1aの送受信部11aは、ステップS104で受信した画像保存装置7に係るURLに対して、資料画像の画像データのアップロードを行う(ステップS108)。これにより、画像保存装置7の送受信部71は、画像データを受信する。そして、画像保存装置7の記憶・読出処理部79は、記憶部7000におけるURLに対して、画像データを記憶する(ステップS109)。
続いて、拠点Aでは、利用者A1が、電子ペン190や手Hを電子黒板1aのディスプレイ180上に接触して移動させることで、受付部12aが、移動のストローク(軌跡)の入力を受け付ける(ステップS110)。そして、画像処理部17aがストロークに基づいて、2次元のディスプレイ180上にストローク画像を表示させるためのストロークデータ(例えば、座標データ(x,y))を作成すると共に、表示制御部14aが電子黒板1aのディスプレイ180上にストローク画像を表示させる(ステップS111)。これにより、図19(c)に示されているように、ストローク画像st1が表示される。
次に、送受信部11aは、通信管理システム5に対して、ステップS111で作成されたストローク画像を再生するためのストロークデータを送信する(ステップS112)。これにより、通信管理システム5の送受信部51は、ストローク画像のストロークデータを受信する。そして、通信管理システム5では、記憶・読出処理部59が、ストロークデータを記憶する(ステップS113)。
次に、送受信部51は、相手側の電子黒板1bに対して、ストロークデータを転送する(ステップS114)。これにより、電子黒板1bの送受信部11bは、ストロークデータを受信する。そして、電子黒板1bでは、画像処理部17bがストロークデータに基づいてストローク画像を作成し、表示制御部14dが電子黒板1bのディスプレイ180上にストローク画像を表示させる(ステップS115)。これにより、図19(d)に示されているように、相手側の電子黒板1aと同じストローク画像st1が表示される。
続いて、図18に示されているように、画像保存装置7の送受信部71は、電子黒板1aに対して、資料画像の画像データのアップロードが完了した旨を示す完了通知を送信する(ステップS121)。これにより、電子黒板1aの送受信部11aが、完了通知を受信する。
次に、電子黒板1aの送受信部11aが、通信管理システム5に対して、資料画像の画像データのアップロードが完了した旨を示す完了通知を送信する(ステップS122)。この完了通知には、ステップS104で受信された画像データのURLが含まれている。これにより、通信管理システム5の送受信部51は、完了通知を受信する。そして、送受信部51は、相手側の電子黒板1bに対して、URLを含む完了通知を転送する(ステップS123)。これにより、電子黒板1bの送受信部11bは、完了通知を受信する。
次に、電子黒板1bの送受信部11bは、ステップS123で受信した画像保存装置7に係るURLに対して、資料画像の画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS124)。これにより、画像保存装置7の送受信部71は、要求情報を受信する。
次に、画像保存装置7では、記憶・読出処理部79がURLに基づいて、記憶部7000から要求対象である資料画像の画像データを読み出す(ステップS125)。そして、送受信部71が、要求元である電子黒板1bに対して、要求対象である資料画像の画像データを送信する(ステップS126)。これにより、電子黒板1bの送受信部11bは、画像データのダウンロード(受信)を行う。
そして、電子黒板1b側では、表示制御部14bが、図19(d)に示されている画面上に、図19(c)に示されている資料画像d1と同じ資料画像を表示させると共に、それまで表示していた砂時計のアイコンc2を非表示にする(S127)。
<ログデータの送信タイミング>
図20は、電子黒板1がログデータを送信するイベントと各イベントで送信されるログデータを説明する図の一例である。図20では実線の矢印が制御信号を示し、点線の矢印がログデータの送信を示す。図20の電子黒板1からログ蓄積装置73まで伸びる点線の始点は電子黒板1で発生したイベント1~16を示す。以下、イベント1~16について説明する。
・イベント1:ユーザによる宛先選択操作を受け付けたというイベントにより、通信開始操作のログデータが送信される。
・イベント2:開始要求情報が通信管理システム5に送信されたイベントにより、通信接続要求のログデータが送信される。
・イベント3:宛先の電子黒板1bが通信接続要求を受信したイベントにより、通信接続応答のログデータが送信される。
・イベント4:要求元の電子黒板1aが通信管理システム5から中継装置選択情報を受信したイベントにより、通信接続応答のログデータが送信される。
・イベント5~8:セッションの確立により通信サービス開始要求及び通信サービス開始応答のログデータが送信される。
・イベント9:通信サービス中は、周期的にログデータが送信される。周期的にログデータを送信するイベントは例えばタイマーのタイムアップによる周期イベントである。
・イベント10:ユーザによる通信終了操作(切断)を受け付けたというイベントにより、通信終了要求のログデータが送信される。
・イベント11:通信終了要求が通信管理システム5に送信されたイベントにより、通信終了要求のログデータが送信される。
・イベント12:電子黒板1aが通信管理システム5から通信終了応答を受信したイベントにより、通信終了応答のログデータが送信される。
・イベント13:電子黒板1bには通信終了が通知されるので、電子黒板1bがこの通知を受信したイベントにより、通信終了応答のログデータが送信される。
・イベント14、15:通信サービス(セッション)が切断された旨が中継装置3から送信されたイベントにより、通信サービス終了応答のログデータが送信される。
・イベント16:ユーザがアンケートに回答して送信する回答イベントが発生すると、アンケート回答のログデータがログ蓄積装置73に送信される。
このように、本実施形態の電子黒板1はログデータを電子黒板1に蓄積せずに、通信サービス中もイベントの発生に応じて、そのたびに、電子黒板1からログデータを送信することができる。
これにより、通信サービス中にネットワーク回線の切断等や、電子黒板1が停止するような異常が発生しても、発生直前までのログデータは電子黒板1からログ蓄積装置73に送信することができる。管理者等は、異常発生直前までのログデータを迅速に分析できる。
<電子黒板1によるログデータの送信処理>
図21は、電子黒板1がログデータを生成・送信する処理を説明するシーケンス図の一例である。
S51:電子黒板1でイベントが発生する。
S52:機能別ログ生成部23はイベントの発生を検出して、まず、イベントに応じたカテゴリー別階層データを生成する。
S53:機能別ログ生成部23はログ生成処理部21にログ送信要求を送出する。ログ送信要求にはカテゴリーとカテゴリー別階層データが含まれる。
S54:ログ生成処理部21は共通ログ生成部22に共通ログデータを生成させ、入れ子構造のログデータを生成する。
S55:ログ生成処理部21はログ送信制御部26に対し、ログ送信要求を送出する。
S56:ログ送信制御部26は送受信部11にログ送信要求を送出する。
S57:ログ送信制御部26は再送タイマーと最大送信回数を管理しており、直前に送信したログデータの送信から一定時間が経過し、かつ、最大送信回数以下の場合、ログ送信要求を送受信部11に送出する。こうすることで、通信異常の場合に最大送信回数だけ送信を試みることができる。
S58:送受信部11はログデータをログ蓄積装置73に送信する。
S59:ログ蓄積装置73の送受信部98はログデータを受信し、データ格納処理部96が後述するように所定のパーティションにログデータを保存させる。
S60~S63:ログ送信結果がログ蓄積装置73から電子黒板1に送信される。ログ送信結果が電子黒板1に届かない場合、最大送信回数以下の範囲で再送される。
<ログ蓄積装置におけるログデータの蓄積処理>
図22は、ログ蓄積装置73がログデータを蓄積する処理を説明するシーケンス図の一例である。
S61:ログ蓄積装置73の送受信部98は電子黒板1からログデータを受信する。
S62:入れ子構造を解除するため、送受信部98はログデータを入れ子構造解除処理部97に送出する。
S63:入れ子構造解除処理部97は入れ子構造の解除(1階層化)を行う。
S64:入れ子構造解除処理部97は入れ子構造が解除済みのログデータをパーティション処理部95に送出する。
S65:パーティション処理部95はパーティションを作成する必要があるか否かを判断し、必要であればパーティションを作成する。パーティションを作成する必要がある場合とは、機種、サービス用途、ソフトウェアのバージョンなどでパーティションが分類されているが、新たな機種、サービス用途、バージョン情報等がログデータから初めて確認された場合である。なお、日付でパーティションが区分される場合などは、日付が切り替わった時にパーティションを作成すればよく、ログデータの受信時にパーティションを作成するとは限らない。
S66:パーティション処理部95は、パーティションを作成後又は作成せずに入れ子構造が解除済みのログデータをデータ格納処理部96に送出する。
S67:データ格納処理部96はログデータに基づいて分類されるパーティションにログデータを蓄積する。
S68:データ格納処理部96は送受信部98にログ送信結果通知を送出する。これにより、電子黒板1にログ送信結果通知が送信される。
<ログデータの例>
以下では、図23~図27を用いてログデータの具体例をいくつか説明する。図23は、ログデータのうち共通データの一例を示す図である。共通データは、ログデータの分類集計や、カテゴリー別の異なる種類のログデータの横断的な分析に用いられる場合がある。
図23に示すように、共通データは、ログID、ユーザID、機種名、ソフトウェアなどバージョン番号、サービス用途の情報、イベント発生(ログ生成)時刻、ログ生成元の機能ID、ログのカテゴリー(分類)などである。なお、「XXXXX…」は具体的な値が設定されるが図では省略されている。
「log_id」:ログごとにユニークとなるログID
「user_id」:ユーザID
「product」:機種名
「xx_version」:ソフトウェアなどバージョン番号
「app_info」:サービス用途の情報
「timestamp」:イベント発生(ログ生成)時刻
「func_id」:ログ生成元の機能ID
「category」:イベントに対応したカテゴリーの種類
なお、カテゴリーが"communication.signaling"のログデータは接続処理のカテゴリーを意味する。接続処理には通信接続要求、通信接続応答、通信サービス開始、及び、通信終了の各処理がある。
共通データがあることで、例えば、接続処理のログデータと、ユーザ主観のアンケートのログデータという異なるカテゴリー間のログデータの紐づけを行うことができる。例えば、ユーザID、機種名、ソフトウェアのバージョン情報などで紐付けることができる。
図24は、接続処理のカテゴリー別階層データの一例を示す。図24(a)は接続処理のうちの通信接続要求のカテゴリー別階層データを示す。通信接続要求のログデータの「comm_id」は通信サービスID (通信の接続毎に固有となるID)を意味する。以下のログデータでも同様である。
「comm_event_type」:どのような接続処理であるかを意味する。図24(a)では通信接続要求であることを示す値が設定される。
図24(b)は接続処理のうちの通信接続応答のカテゴリー別階層データを示す。
「comm_event_type」:どのような接続処理であるかを意味する。図24(b)では通信接続応答であることを示す。
図25(a)は接続処理のうち通信サービス開始のカテゴリー別階層データの一例である。通信サービス開始のログデータはネットワーク環境条件、ネットワーク環境条件に合わせて設定された動作モードなどを含む。
「comm_event_type」:どのような接続処理であるかを意味する。図25(a)では通信開始のログデータであることを示す値が設定される。
「network_protocol」:通信プロトコルが設定される。
「network_proxy」:プロキシサーバの利用の有無を示す。
「network_connection」:通信に使用した通信手段(LTE、5G等)が設定される。
「xx_comm_mode」:例えば画像のフレームレートと通信速度が設定される。
図25(b)は接続処理のうち通信終了のカテゴリー別階層データの一例である。通信終了のログデータは通信終了の理由などを含む。
「comm_event_type」:どのような接続処理であるかを意味する。図25(b)では通信終了のログデータであることを示す値が設定される。
「reason」:通信の切断の理由が設定される。例えば、ユーザの操作によって終了したことが設定される。この他、サーバが終了させたことなどが設定される。
図26(a)は通信異常終了のカテゴリー別階層データの一例である。通信異常終了のログデータは「category」が「communication.error」のログデータである。このログデータは接続失敗や通信が異常終了した場合に生成される。
「comm_event_type」:どのような接続処理であるかを意味する。図26(a)では通信異常終了のログデータであることを示す値が設定される。
「error_name」:どのような通信異常が生じたかを示す。例えば、通信開始時に異常が生じたことなどが設定される。
「error_type」:通信異常のタイプを示す。例えば、無応答によりタイムアウトしたこと等が設定される。
「error_description」:通信異常の内容を示す。例えば、レスポンスがタイムアウトしたことなどが設定される。
「state」:異常発生時の状態を示す。例えば、通信開始時、呼び出し時、通信中、又は、通信後などがある。
図26(b)は周期送信のカテゴリー別階層データの一例である。周期送信のログデータは「category」が「communication.service_quality 」のログデータである。このログデータは通信サービスの品質データとなる。
「actual_send_audio_bw」:音声送信の通信使用帯域実績値を示す。例えば帯域を示す値(○○MHz等)が設定される。
「actual_recv_audio_bw」:音声受信の通信使用帯域実績値を示す。例えば帯域を示す値(○○MHz等)が設定される。
「avail_send_audio_bw」:音声送信の通信使用可能帯域値を示す。例えば帯域を示す値(○○MHz等)が設定される。
「avail_recv_audio_bw」:音声受信の通信使用可能帯域値を示す。例えば帯域を示す値(○○MHz等)が設定される。
この他、動画、静止画、資料データなど、送受信するデータの種類毎に用意された利用可能帯域と実績値が送信されてよい。
「rtt」:通信先との間の遅延時間(Round Trip Time)を示す。例えば時間(○○ミリ秒)が設定される。
「rssi」:通信回線が例えば無線の場合の無線信号強度(Received Signal Strength Indication)を示す。例えば数値が設定される。
また、以下は通信品質ログに相当する。
「transmitted_data_total_count」:中継装置3へ送信される総データ転送回数
「transmitted_stroke_data_count」:中継装置3へのストロークデータ転送数
「transmitted_image_data_count」: 画像保存装置7への画像データ転送数
「transmitted_move_data_count」: 中継装置3への描画要素の移動データ転送数
「transmitted_erase_data_count」: 中継装置3への描画要素の消去データ転送数
「lost_data_total_count」:中継装置3からデータ転送成功の応答が戻らなかった総数(欠損総数)
「lost_stroke_data_count」: 中継装置3からストロークデータ転送成功の応答が戻らなかった総数(欠損数)
「lost_image_data_count」:画像保存装置7から画像データ転送成功の応答が戻らなかった総数(欠損数)
「lost_move_data_count」: 中継装置3から描画要素の移動データ転送成功の応答が戻らなかった総数(欠損数)
「lost_erase_data_count」:中継装置3から描画要素の消去データ転送成功の応答が戻らなかった総数(欠損数)
「count_time」:周期送信の時間(周期送信失敗時は、次の周期で送信するため、1周期分加算される)
図27(a)はアンケートの回答として送信されるカテゴリー別階層データの一例である。通信終了後、ユーザがアンケートに答えることが望まれており、アンケートの回答もログデータとして扱われる。アンケートのログデータは「category」が「questionnaire.comm_quality」のログデータである。
「answer」:アンケートの回答であることを示す。
「comm_quality_q0001-01」:通信品質のユーザ評価値(満足度)であり、例えば5段階のうち何段階かを示す。
「comm_quality_q0002-01」:画像データに問題があったかどうかを意味し、例えば「1」は問題があることを「0」は問題がないことを示す。
「comm_quality_q0002-02」:音声に問題があったかどうかを意味し、例えば「1」は問題があることを「0」は問題がないことを示す。
「comm_quality_q0002-03」:同様に他の何らかの問題があったかどうかを意味する。
「comm_quality_q0003-01」:は自由筆記のアンケートであり、ユーザは例えば、「aaとbbとccとの端末の通信で、通信開始5分後から音がブツブツ途切れた」などの文章を入力する。
図27(b)は端末利用デバイス情報が送信されるログデータの一例である。端末利用デバイス情報は、通信開始時、及び、デバイスの変更発生時等のイベントで送信される。端末利用デバイス情報のログデータは「category」が「communication.setting」のログデータである。
「cpu_info」:電子黒板1のCPUの製品名である。
「speaker_name」:電子黒板1に接続されているスピーカの製品名である。
「mic_name」:電子黒板1に接続されているマイクの製品名である。
「camera_name」:電子黒板1に接続されているカメラの製品名である。
「speaker_volume」:スピーカの音量(ボリューム)であり、「mic_volume」はマイクの音量(ボリューム)であり、「speaker_mute」「mic_mute」「camera_mute」はそれぞれ消音(ミュート)の有無であり、「auto_xx_control」、「yy_setting」「xx_comm_mode」は電子黒板1の各種の設定情報である。
<手書きデータ関連情報の送信時の処理>
図28は、通信システム10が手書きデータ関連情報の欠損を検出して各電子黒板1a、1bにデータ欠損情報を送信する手順を示すシーケンス図の一例である。
S1001:図17で説明したように、電子黒板1aの送受信部11aが手書きデータ関連情報を中継装置3に送信する。
S1002:電子黒板1aの送信データ欠損算出部24は手書きデータ関連情報を送信すると、データの属性別にデータ転送回数をカウントアップする。
S1003:中継装置3の送受信部31は電子黒板1bに手書きデータ関連情報を転送する。
S1004:電子黒板1bの送受信部11bは受信完了を中継装置3に送信する。
S1005:中継装置3の送受信部31は受信完了を受信すると、受信応答を電子黒板1aに送信する。こうすることで、電子黒板1bが確実にデータを受信した場合に、中継装置3は受信応答を電子黒板1aに送信できる。しかし、図28では電子黒板1bが受信完了を送信することを中継装置3が確認しているが、中継装置3が手書き関連情報を受信したことにより(例えば電子黒板1aがAckを受信したこと)、電子黒板1aが受信応答を検出してもよい。
S1006:電子黒板1aの送受信部11aが手書きデータ関連情報を中継装置3に送信しても、一定時間内に受信応答を受信しない場合がある。
S1007::電子黒板1aの送受信部11aは受信応答なしを検出する。あるいは、単にAckがないこと(タイムアウト)を検出してもよい。
S1008:電子黒板1aの送信データ欠損算出部24は属性別にデータ転送回数をカウントアップすると共に、欠損数をカウントアップする。また、送信データ欠損算出部24は属性別に「欠損率=欠損総数/総データ転送回数」を算出する。この欠損率の算出はログ収集分析システム80が行ってもよい。
S1009:電子黒板1aのログ送信制御部26は、周期的に通信品質ログをログ収集分析システム80に送信する。通信品質ログは、端末ID、会議情報、単位時間当たりの属性別の欠損総数/総データ転送回数、及び、計測時間を含む。通信品質ログが欠損する場合は、次の周期までデータ転送回数と欠損数をカウントアップしておいて送信する。
S1010:したがって、電子黒板1aが通信品質ログの受信応答をログ収集分析システム80から受信すると、送信データ欠損算出部24はデータ転送回数と欠損数をリセットする。
S1011:ログ収集分析システム80の送受信部98は通信品質ログを受信し、ログ蓄積装置73がログデータ記憶部45に記憶する。通信品質ログはログ蓄積装置73から構造データ処理装置87に送信される。警報判断処理部92は単位時間当たりの属性別に欠損率とアラーム閾値を比較する。アラーム閾値は属性別に異なってよい。
S1012、S1013:欠損率がアラーム閾値以上の場合、ログ収集分析システム80の警報判断処理部92は同じ会議に参加している全ての電子黒板1へデータ欠損情報を送信する。欠損率がアラーム閾値以上の電子黒板1を送信対象から除いてもよい。データ欠損情報にはアラームの原因となった電子黒板1の識別情報と、属性別の欠損率等が含まれる。欠損率はアラーム閾値以上のものだけでもよいし、全ての属性の欠損率が含まれていてもよい。したがって、少なくとも欠損率が閾値以上でない電子黒板1に、欠損率が閾値以上の電子黒板がある旨が通知される。
また、同じ会議の電子黒板は、警報判断処理部92がセッション管理テーブルのセッションIDを辿ることで特定できる。例えば、欠損率がアラーム閾値以上の電子黒板1と通信している電子黒板1をセッション管理テーブルから特定し、少なくともどちらかの電子黒板1と通信している他の電子黒板1をセッション管理テーブルから特定する。この処理を繰り返すことで同じ会議に参加している電子黒板を抽出できる。
S1014、S1015:各電子黒板1の送受信部11はデータ欠損情報を受信して、画像処理部17がアラームの原因となった電子黒板1の識別情報、及び、欠損率等を表示する。なお、表示例を図31にて説明する。すなわち、少なくとも欠損率が閾値以上でない電子黒板1は、欠損率が閾値以上の電子黒板がある旨を出力することができる。
<<電子黒板の処理>>
図29は、電子黒板1が通信品質ログをログ収集分析システム80へ送信する手順を説明するフローチャート図の一例である。図29の処理はセッションの確立後、繰り返し実行される。
上記のように、電子黒板1aとbの間でセッションが確立する(S1020)。
ログ送信制御部26は、通信品質ログの送信周期を検出するための周期タイマーを開始する(S1021)。周期は例えば数十秒から数分又は数十分である。
ユーザが手書きデータ関連情報を電子黒板1に入力する(S1022)。受付部12は手書きデータ関連情報の入力を受け付ける。すなわち、ストロークデータ、静止画像データの表示、ストロークデータの移動、消去などを受け付ける。なお、静止画像データは例えば、電子黒板1に接続されたPCが送信する画面データをキャプチャしたキャプチャ画像、USBメモリやネットワーク上のファイルから読み取ったページデータである。
電子黒板1の送受信部11は手書きデータ関連情報を中継装置3に送信する(S1023)。
送信データ欠損算出部24は所定時間内に中継装置3から受信応答を受信するか否かを判断する(S1024)。
送信データ欠損算出部24は属性別のデータ転送回数と欠損数をカウントアップする(S1025)。受信応答を受信した場合、欠損数はカウントアップされない。
ステップS1021で開始した周期タイマーが満了するまでは(S1026の未満了)、ステップS1022~S1025が繰り返し実行される。
ステップS1021で開始した周期タイマーが満了した場合(S1026の満了)、ログ送信制御部26は通信品質ログをログ収集分析システム80に送信する(S1027)。通信品質ログのみが送信されても他のログデータが含まれてもよい。
送信データ欠損算出部24は、通信品質ログに対する受信応答を受信したか否かを判断する(S1028)。受信した場合(S1028のYes)、送信データ欠損算出部24は属性別のデータ転送回数と欠損数をリセットする(S1029)。受信しない場合(S1028のNo)、送信データ欠損算出部24は属性別のデータ転送回数と欠損数をリセットすせずに、次の周期タイマーを開始する。
<<ログ収集分析システムの処理>>
図30は、ログ収集分析システム80が通信品質ログに基づいて電子黒板1にアラームを送信する手順を説明するフローチャート図の一例である。図30の処理は、電子黒板1からの通信品質ログの送信に応じて実行される。
まず、ログ収集分析システム80の送受信部98が通信品質ログを受信する(S1031)。データ格納処理部96が通信品質ログを格納し、送受信部98が通信品質ログを構造データ処理装置87に送信する。構造データ処理装置87の警報判断処理部92は送受信部91を介して通信品質ログを受信する。
警報判断処理部92は、属性別に、欠損率がアラーム閾値以上か否かを判断する(S1032)。なお、欠損率は警報判断処理部92が算出してもよい。アラーム閾値未満の場合(S1033の未満)、処理はステップS1031に戻る。
アラーム閾値以上の場合(S1033の以上)、警報判断処理部92は、同じ会議に参加する全ての電子黒板1にデータ欠損情報を送信する(S1034)。
<アラームの表示例>
図31は、電子黒板1が表示したデータ欠損情報画面を示す図である。図31ではディスプレイ180の右上にデータ欠損情報200が表示されている。データ欠損情報200は「データ欠損のお知らせ」というメッセージ201を表示する。これにより、ユーザはデータ欠損情報が表示されたこと、及び、同じ会議にネットワーク環境が悪い電子黒板1があることを把握できる。
データ欠損情報200は更に、欠損率がアラーム閾値以上となった電子黒板1の拠点名202、及び、該電子黒板1の欠損率203が表示されている。表示される内容は、各電子黒板1で共通でよい。電子黒板1の拠点名202は電子黒板の識別情報であるが、端末IDが表示されてもよい。
各ユーザは自分たちの拠点名を知っているので、手書きデータ関連情報の欠損が自分たちによるものかどうかを判断できる。
しかし、データ欠損情報の原因となった電子黒板1と他の電子黒板1では表示するデータ欠損情報は異なっていてもよい。この場合、警報判断処理部92が、データ欠損情報の原因となった電子黒板1に対し、データ欠損情報の原因となった電子黒板である旨を送信する。したがって、データ欠損情報の原因となっていない電子黒板1とは異なるデータ欠損情報が送信される。
図32は、データ欠損情報の原因となった電子黒板1が表示するデータ欠損情報画面を示す図である。図32のデータ欠損情報画面では、データ欠損情報が「この端末の欠損率が悪化しました。改善してください」というメッセージ204を表示している。つまり、データの欠損率が大きい電子黒板が自機である旨を表示する。データ欠損情報の原因となった電子黒板1のユーザは自分たちのネットワーク環境などを改善できる。
<主な効果>
以上説明したように、本実施形態の通信システム10は、電子黒板1が他拠点との会議中に、手書きデータ関連情報の送信に対する受信応答の有無を確認し、転送データの欠損を検出することによって、サービスへの影響の発生を検出する。また、各電子黒板1が転送データ欠損情報をログ収集分析システム80に周期的に送信することにより、サービスへの影響度(欠損率、他の会議参加拠点、発生時間帯)の把握や分析を可能にし、欠損率のアラーム閾値との比較に応じて、ログ収集分析システム80から各電子黒板1にデータ欠損情報を送信することができる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、周期的に送信するのでなく、ユーザの明示的なログデータの送信操作をイベントとしてログデータを送信してもよいし、通信管理システム5からのログデータの送信指示をイベントとしてログデータを送信してもよい。
また、電子黒板1はログデータを直接、ログ蓄積装置73に送信するのでなく、通信管理システム5を介してログ蓄積装置73に送信してもよい。
また、本実施例では、中継装置3を介して電子黒板1が通信しているが、電子黒板1は中継装置3を介さずに通信してもよい。このような通信の通信プロトコルとして例えばWebRTC(Web Real-Time Communication)が知られている。
また、本実施形態では周期的に電子黒板1がログデータを送信すると説明したが、例えば、N個(>1)のログデータがたまるごとにまとめて送信してもよい。
また、図6、図13などの構成例は、通信管理システム5、電子黒板1及びログ収集分析システム80による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。通信管理システム5、電子黒板1及びログ収集分析システム80の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
また、本実施例では説明の都合上、通信管理システム5と中継装置3を別々の装置として説明したが、両者の機能が統合された装置が通信管理システム5と中継装置3の機能を提供してもよい。
また、通信管理システム5やログ収集分析システム80は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
更に、通信管理システム5やログ収集分析システム80は、開示された処理ステップ、例えば図28を様々な組み合わせで共有するように構成できる。
1 電子黒板
3 中継装置
5 通信管理システム
7 画像保存装置
10 通信システム
80 ログ収集分析システム
特開2003-348186号公報

Claims (11)

  1. 複数の通信端末が1つ以上の情報処理システムを介して通信する通信システムであって、
    前記通信端末が送信するデータであって、手書きデータの一部が通信回線の品質低下により欠損する前記データの欠損率を検出し、
    前記1つ以上の情報処理システムは、前記欠損率が閾値以上の前記通信端末がある場合、前記手書きデータの共有ためのセッションが確立している全ての前記通信端末に、データの欠損に関する情報を送信し、
    前記データの欠損に関する情報を受信した前記通信端末は、前記データの欠損に関する情報を出力することを特徴とする通信システム。
  2. 前記1つ以上の情報処理システムは、前記欠損率が閾値以上の前記通信端末がある場合、前記セッションが確立している全ての前記通信端末に、前記欠損率が閾値以上の前記通信端末がある旨を通知し、
    前記データの欠損に関する情報を受信した前記通信端末は、前記欠損率が閾値以上の前記通信端末がある旨を出力することを特徴とする請求項1に記載の通信システム。
  3. 前記1つ以上の情報処理システムは、前記セッションが確立している全ての前記通信端末に、前記欠損率が閾値以上の前記通信端末の識別情報を通知し、
    前記データの欠損に関する情報を受信した前記通信端末は、前記欠損率が閾値以上の前記通信端末の識別情報を出力することを特徴とする請求項2に記載の通信システム。
  4. 前記通信端末は手書き入力が可能な表示装置であり、
    前記通信端末が送信する前記データは、手書き入力された前記手書きデータに関するものであることを特徴とする請求項1~3のいずれか1項に記載の通信システム。
  5. 前記通信端末が送信する前記データは、手書き入力されたストロークデータ、前記ストロークデータを移動させる操作のデータ、又は、前記ストロークデータを消去する操作のデータであることを特徴とする請求項4に記載の通信システム。
  6. 前記通信端末が送信する前記データは、前記表示装置が表示する静止画の画像データであることを特徴とする請求項4又は5に記載の通信システム。
  7. 前記通信システムは、前記通信端末が送信する前記データの属性ごとに前記欠損率を検出し、
    前記1つ以上の情報処理システムは、前記属性ごと前記欠損率を、前記セッションが確立している全ての前記通信端末に通知し、
    前記データの欠損に関する情報を受信した前記通信端末は、前記属性ごとに前記欠損率を出力することを特徴とする請求項6に記載の通信システム。
  8. 前記1つ以上の情報処理システムは、前記欠損率が閾値以上の前記通信端末がある場合、前記セッションが確立している全ての前記通信端末に、前記欠損率が閾値以上の前記通信端末がある旨を通知し、
    前記欠損率が閾値以上である前記通信端末は、前記欠損率が閾値以上の前記通信端末が自機である旨を出力することを特徴とする請求項1~7のいずれか1項に記載の通信システム。
  9. 1つ以上の情報処理システムを介して他の通信端末と通信し、該他の通信端末に表示された手書きデータの共有ためのセッションが確立している通信端末であって、
    前記通信端末が送信するデータであって、前記手書きデータの一部が通信回線の品質低下により欠損する前記データの欠損率が閾値以上の前記通信端末がある場合、前記1つ以上の情報処理システムからデータの欠損に関する情報を受信し、
    前記データの欠損に関する情報を出力することを特徴とする通信端末。
  10. 複数の通信端末が1つ以上の情報処理システムを介して通信する通信システムが行う通信方法であって、
    前記通信端末が送信するデータであって、手書きデータの一部が通信回線の品質低下により欠損する前記データの欠損率を検出するステップと、
    前記1つ以上の情報処理システムが、前記欠損率が閾値以上の前記通信端末がある場合、前記手書きデータの共有ためのセッションが確立している全ての前記通信端末に、前記データの欠損に関する情報を送信するステップと、
    前記データの欠損に関する情報を受信した前記通信端末が、前記データの欠損に関する情報を出力するステップと、
    を有することを特徴とする通信方法。
  11. 1つ以上の情報処理システムを介して他の通信端末と通信し、該他の通信端末に表示された手書きデータの共有ためのセッションが確立している通信端末に、
    前記通信端末が送信するデータであって、前記手書きデータの一部が通信回線の品質低下により欠損する前記データの欠損率が閾値以上の前記通信端末がある場合、前記1つ以上の情報処理システムから前記データの欠損に関する情報を受信するステップと、
    前記データの欠損に関する情報を出力するステップと、を実行させるためのプログラム。
JP2019198956A 2019-10-31 2019-10-31 通信システム、通信端末、通信方法、プログラム Active JP7409016B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019198956A JP7409016B2 (ja) 2019-10-31 2019-10-31 通信システム、通信端末、通信方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019198956A JP7409016B2 (ja) 2019-10-31 2019-10-31 通信システム、通信端末、通信方法、プログラム

Publications (2)

Publication Number Publication Date
JP2021072565A JP2021072565A (ja) 2021-05-06
JP7409016B2 true JP7409016B2 (ja) 2024-01-09

Family

ID=75713797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019198956A Active JP7409016B2 (ja) 2019-10-31 2019-10-31 通信システム、通信端末、通信方法、プログラム

Country Status (1)

Country Link
JP (1) JP7409016B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064981A (ja) 2003-08-15 2005-03-10 Sony Corp 通信機器および回線状況表示プログラム、並びに回線状況表示方法
JP2017134510A (ja) 2016-01-26 2017-08-03 Kddi株式会社 端末装置、情報提供方法、及びコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064981A (ja) 2003-08-15 2005-03-10 Sony Corp 通信機器および回線状況表示プログラム、並びに回線状況表示方法
JP2017134510A (ja) 2016-01-26 2017-08-03 Kddi株式会社 端末装置、情報提供方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2021072565A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
JP7263442B2 (ja) モバイルアプリケーションのリアルタイム遠隔制御のためのシステムおよび方法
US11146695B2 (en) Communication management system, communication system, communication control method, and recording medium
JP6442076B2 (ja) 推奨コンテンツに基づく対話方法、端末及びサーバ
US11271803B2 (en) Method and apparatus for extending service capabilities in a communication network
US20170195813A1 (en) System and method for testing and certification of media devices for use within a connected media environment
KR20170063793A (ko) 세션 이력 범위 제어
US10659535B2 (en) Methods, systems, and devices for multiplexing service information from sensor data
JP7176296B2 (ja) 通信端末、通信システム、ログデータ送信方法、プログラム
US10972804B2 (en) Network-based control of a media device
KR102034624B1 (ko) 대역폭 예측을 통한 휴대 단말기의 스트리밍 컨텐츠 운용 방법 및 장치
US20130080560A1 (en) System and Method for Sharing Digital Data on a Presenter Device to a Plurality of Participant Devices
JP7413693B2 (ja) 通信端末、通信システム、データ共有方法およびプログラム
US11416202B2 (en) Communication terminal, communication system, method of sharing data, and recording medium
JP7400345B2 (ja) 通信端末、通信システム、データ共有方法およびプログラム
CN113868573A (zh) 一种基于网页快速建立同屏交互的方法与系统
US11115261B2 (en) System and method of sharing content by using plurality of storages
US20230362115A1 (en) Image display method and apparatus, storage medium, and electronic device
US20200296145A1 (en) Communication terminal, communication system, and display control method
JP7409016B2 (ja) 通信システム、通信端末、通信方法、プログラム
JP7358934B2 (ja) 通信管理システム、通信システム、通信方法、及びプログラム
JP7512675B2 (ja) 通信端末、通信システム、通信方法、及びプログラム
JP7215341B2 (ja) 通信端末、通信システム、表示制御方法およびプログラム
US20160295267A1 (en) Data resource transmission method and device
CN117519524A (zh) 终端应用测试的方法、装置、电子设备及存储介质
JP2020109954A (ja) コンテンツ管理サーバ、情報共用システム、通信方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R151 Written notification of patent or utility model registration

Ref document number: 7409016

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151