JP6776905B2 - 通信端末、通信システム、表示制御方法、及びプログラム - Google Patents

Description

本発明は、通信端末、通信システム、表示制御方法、及びプログラムに関する。

近年、当事者の移動の経費や時間を削減する要請等に伴い、インターネットや専用線等の通信ネットワークを介して通話や会議等を行う通信システムが普及している。このような通信システムでは、通信端末の機能に応じて、会議参加者の映像データ、会議資料等の表示データ、或いは手書操作に基づくストロークデータ等のコンテンツデータを通信端末間で共有することができる。

特許文献１には、クライアント機の電子黒板が、サーバ機の電子黒板を介してストロークデータを共有する方法が開示されている。

例えば、電子黒板のような通信端末であっても、導入された機能に応じて、ストロークデータ以外のコンテンツデータを他の通信端末との間で送信し得る。しかしながら、通信端末において、コンテンツデータを入力又は出力する装置が設けられていない場合、入力又は出力するための外部装置が接続されていなければ、コンテンツデータによるコミュニケーションを開始することはできない。通信端末のユーザは、通信を開始するまで、上記のコンテンツデータによるコミュニケーションを開始可能であるか把握することができないという課題が生じる。

請求項１に係る発明の通信端末は、他の通信端末との間の通信によりコンテンツデータを送信する通信端末であって、前記コンテンツデータを入力又は出力する外部装置の接続を検知する検知手段と、前記検知手段によって前記外部装置の接続が検知される場合に、コミュニケーションを開始する機能を示す情報を第１の表示形式で表示し、前記検知手段によって前記外部装置の接続が検知されない場合に、前記コミュニケーションを開始する機能を示す情報を第２の表示形式で表示する制御を行う表示制御手段と、を有し、前記コンテンツデータの送信により通信するためのクライアント、及び、他のコンテンツデータの送信により通信するための他のクライアントとして動作し、前記表示制御手段は、前記他のクライアントによって表示制御される表示領域に、前記コミュニケーションを開始する機能を示す情報を表示する制御を行う。

以上説明したように本発明によれば、通信端末は、通信を開始するまでに、コミュニケーションを開始可能であるかユーザに把握させることが可能になるという効果を奏する。

図１は、一実施形態に係る通信システムの全体構成図である。 図２は、一実施形態に係る電子黒板のハードウェア構成図である。 図３は、一実施形態に係る管理システムのハードウェア構成図である。 図４は、一実施形態に係るＰＣのハードウェア構成図である。 図５（ａ）は、一実施形態に係る電子黒板のソフトウェア構成図である。

図５（ｂ）は、一実施形態に係るＰＣのソフトウェア構成図である。
図６は、一実施形態に係る通信システムの一部を構成する電子黒板、ＰＣ、及び管理システムの機能ブロック図である。 図７は、一実施形態に係る描画制御部を詳細に示した機能ブロック図である。 図８は、電子黒板間の通信を確立する処理を示すシーケンス図である。 図９は、ログイン処理を示すシーケンス図である。 図１０は、ストロークデータを共有する処理を示すシーケンス図である。 図１１は、ディスプレイの表示例である。 図１２は、ＵＩ画像を生成する処理を示すフロー図である。 図１３は、ディスプレイの表示例である。 図１４は、通話を開始するときの通信システムの処理を示すシーケンス図である。 図１５は、通話メニューを表示する処理を示すフロー図である。 図１６は、ディスプレイの表示例である。

以下、図面を用いて、本発明の一実施形態について説明する。

＜＜通信システムの全体構成＞＞
まず、図１を用いて、通信システム１について説明する。図１は、一実施形態に係る通信システムの全体構成図である。

通信システム１は、複数の電子黒板２ａ，２ｂ，２ｃ、ＰＣ８、及び管理システム５０を有する。

電子黒板２ａ，２ｂ，２ｃは、通信ネットワーク９ａを介して通信可能に接続されている。また、電子黒板２ａ，２ｂ，２ｃには、それぞれディスプレイ３ａ，３ｂ，３ｃが設けられている。

電子黒板２ａ，２ｂ，２ｃは、電子ペン４ａ，４ｂ，４ｃによって生じたイベント（ディスプレイ３ａ，３ｂ，３ｃへの電子ペン４ａ，４ｂ，４ｃのペン先、又は、ペン尻のタッチ）により描画された画像を、ディスプレイ３ａ，３ｂ，３ｃに表示させることができる。なお、電子黒板２ａ，２ｂ，２ｃは、電子ペン４ａ，４ｂ，４ｃだけでなく、ユーザの手Ｈａ，Ｈｂ，Ｈｃ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ，３ｂ，３ｃ上に表示されている画像を変更させることもできる。以下、電子黒板２ａ，２ｂ，２ｃのうち任意の電子黒板を示す場合には、電子黒板２と表す。また、ディスプレイ３ａ，３ｂ，３ｃのうち任意のディスプレイを示す場合には、ディスプレイ３と表す。また、電子ペン４ａ，４ｂ，４ｃのうち任意の電子ペンを示す場合には電子ペン４と示す。また、ユーザの手Ｈａ，Ｈｂ，Ｈｃのうち任意の手を示す場合には手Ｈと示す。

また、電子黒板２ａ，２ｂ，２ｃには、ＵＳＢ(Universal Serial Bus)メモリ５ａ，５ｂ，５ｃが接続可能である。電子黒板２ａ，２ｂ，２ｃはＵＳＢメモリ５ａ，５ｂ，５ｃからＰＤＦ(Portable Document Format)等の電子ファイルを読み出したり、ＵＳＢメモリ５ａ，５ｂ，５ｃに電子ファイルを記録したりすることができる。また、電子黒板２ａには、DisplayPort、DVI(Digital Visual Interface)、HDMI（登録商標）(High-Definition Multimedia Interface)およびVGA(Video Graphics Array)等の規格による通信が可能なケーブルを介して、ノートＰＣ６ａ，６ｂ，６ｃが接続されている。なお、ＵＳＢメモリ５ａ，５ｂ，５ｃのうち任意のＵＳＢメモリを示す場合にはＵＳＢメモリ５と示す。ノートＰＣ６ａ，６ｂ，６ｃのうち任意のノートＰＣを示す場合にはノートＰＣ６と示す。

これにより、一の拠点で電子黒板２のディスプレイ３上に描画されたストロークのストロークデータは、通信ネットワーク９ａを介して他の拠点で電子黒板２へ送信されることで、他の拠点のディスプレイ３上にも表示される。逆に他の拠点で電子黒板２のディスプレイ３上に描画されたストロークのストロークデータは、通信ネットワーク９ａを介して一の拠点の電子黒板２へ送信されることで、一の拠点の電子黒板２のディスプレイ３上に表示される。このように、通信システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。

なお、上記の電子黒板２に加えて、電子黒板以外の他の通信端末が通信ネットワーク９ａに接続することで、電子黒板２との間でストロークデータを共有することもできる。他の通信端末としては、ストローク共有機能を有するＰＣ、テレビ会議端末、タブレット、スマートフォン、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等の画像処理装置、携帯情報端末、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末等のコンピュータが含まれる。

電子黒板２ｃ、ＰＣ（Personal computer）８、管理システム５０は、通信ネットワーク９ｂを介して通信可能に接続されている。

電子黒板２ｃ及びＰＣ８は、コンテンツデータの一例としてテレビ会議用の映像データ及び音データの送受信による通信を行なう。なお、映像データは、動画データであっても静止画データの集合であってもよい。

管理システム５０は、電子黒板２ｃ及びＰＣ８の通信状況等を一元的に管理する。

なお、電子黒板２ｃ及びＰＣ８以外の他の通信端末が通信ネットワーク９ｂに接続することで、他の通信端末と電子黒板２ｃ、ＰＣ８との間で映像データを共有することもできる。他の通信端末としては、映像共有機能を有するテレビ会議端末、タブレット、スマートフォン、電子看板（デジタルサイネージ）、テレストレータ、又は、画像処理装置、携帯情報端末、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末等のコンピュータが含まれる。

なお、電子黒板２ｃは、ストロークデータを共有するためのモジュール、及び映像データを共有するためのモジュールの双方を起動することで、通信端末間でストロークデータ、映像データ、及び音データを同時に共有することができる。

一実施形態によると、通信ネットワーク９ａはイントラネットであり、通信ネットワーク９ｂはインターネットである。ただし、通信ネットワーク９ａ，９ｂは、各通信端末が利用する通信プロトコルに応じて、インターネット、ＬＡＮ(Local Area Network)、イントラネット、又は携帯電話網等の任意の通信ネットワークから選択される。また、通信ネットワーク９ａ，９ｂは、共にインターネットである場合のように同じ通信ネットワークであっても良い。

また、一実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード等の各種記録メディアであってもよい。

＜電子黒板のハードウェア構成＞
図２を用いて、一実施形態に係る電子黒板のハードウェア構成を説明する。なお、図２は、一実施形態に係る電子黒板のハードウェア構成図である。

図２に示されているように、電子黒板２は、電子黒板２全体の動作を制御するＣＰＵ(Central Processing Unit)２０１、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、電子黒板用のプログラム等の各種データを記憶するＳＳＤ２０４、通信ネットワーク９との通信を制御するネットワークＩ／Ｆ２０５、および、ＵＳＢメモリ５との通信を制御する外部記憶コントローラ２０６を備えている。さらに、電子黒板２は、ＣＰＵ２０１の制御に従って被写体を撮像するカメラ２０７と、このカメラ２０７の駆動を制御する撮像素子Ｉ／Ｆ２０８と、ノートＰＣ６のディスプレイに対して映像情報を静止画または動画として表示させるキャプチャデバイス２１１、グラフィクスを専門に扱うＧＰＵ(Graphics Processing Unit)２１２、および、ＧＰＵからの出力画像をディスプレイ３へ出力するために画面表示の制御および管理を行うディスプレイコントローラ２１３を備えている。さらに、電子黒板２は、接触センサ２１５の処理を制御するセンサコントローラ２１４、ディスプレイ３上に電子ペン４やユーザの手Ｈ等が接触したことを検知する接触センサ２１５を備えている。一実施形態における、接触センサ２１５は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標を検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１５は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤ(Identification)をセンサコントローラ２１４に出力し、センサコントローラ２１４が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各ＩＤは、識別情報の一例である。

また、接触センサ２１５としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、接触センサ２１５は、カメラを用いて、接触を判断し、座標位置を特定するものであっても良い。

また、電子黒板２は、電子ペンコントローラ２１６を備えている。この電子ペンコントローラ２１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ２１６が、電子ペン４のペン先およびペン尻だけでなく、電子ペン４のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

さらに、電子黒板２は、ＣＰＵ１０１の制御に従って、外部のマイク２２２、及び外部のスピーカ２２３との間で音信号の入出力を処理する音入出力Ｉ／Ｆ２２４と、ユーザの操作を受け付ける操作ボタン２２５と、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ２２６と、を備えている。なお、マイク２２２及びスピーカ２２３のいずれかが、電子黒板２に内蔵されていても良い。

さらに、電子黒板２は、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン２３０を備えている。

なお、電子黒板用のプログラムは、ＣＤ−ＲＯＭ等のコンピュータで読み取り可能な記録媒体や、ネットワーク上のサーバに記録して流通やダウンロードさせるようにしてもよい。

＜管理システムのハードウェア構成＞
図３を用いて、一実施形態に係る管理システムのハードウェア構成を説明する。なお、図３は、一実施形態に係る管理システムのハードウェア構成図である。

管理システム５０は、管理システム５０全体の動作を制御するＣＰＵ５０１と、伝送管理用プログラムを記憶したＲＯＭ５０２と、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３と、各種データを記憶するＨＤ(Hard Disk)５０４と、ＣＰＵ５０１の制御に従ってＨＤ５０４に対する各種データの読み出しおよび書き込みを制御するＨＤＤ５０５と、フラッシュメモリ等の記録メディア５０６に対するデータの読み出しおよび書き込み（記憶）を制御するメディアＩ／Ｆ５０７とを備えている。さらに、管理システム５０は、カーソル、メニュー、ウィンドウ、文字、画像等の各種情報をディスプレイ５１６に表示させるためのディスプレイＩ／Ｆ５０８と、通信ネットワーク９を利用してデータ伝送をするためのネットワークＩ／Ｆ５０９と、文字、数値、各種指示等を入力するための複数のキーを備えたキーボード５１１と、各種指示の選択や実行、処理対象の選択、マウスカーソルなどのポインティングデバイスの移動等を行うマウス５１２とを備えている。さらに、管理システム５０は、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対するデータの読み出しおよび書き込みを制御するＣＤ−ＲＯＭドライブ５１４と、外部の装置との間で情報を送受信するための外部装置Ｉ／Ｆ５１５と、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン５１０とを備えている。

また、上記伝送管理用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア５０６やＣＤ−ＲＯＭ５１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。上記伝送管理用プログラムはＨＤ５０４に記憶されていてもよい。

＜ＰＣのハードウェア構成＞
図４は、一実施形態に係るテレビ会議端末としてのＰＣ８のハードウェア構成図である。ＰＣ８は、ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３、フラッシュメモリ８０４、ＳＳＤ８０５、メディアＩ／Ｆ８０７、電源スイッチ８０９、バスライン８１０、ネットワークＩ／Ｆ８１１、カメラ８１２、撮像素子Ｉ／Ｆ８１３、マイク８１４、スピーカ８１５、音入出力Ｉ／Ｆ８１６、ディスプレイＩ／Ｆ８１７、外部機器接続Ｉ／Ｆ８１８、キーボード８２１、及びマウス８２２を備えている。これらのうち、ＣＰＵ８０１は、ＰＣ８全体の動作を制御する。ＲＯＭ(Read Only Memory)８０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ８０１の駆動に用いられるプログラムを記憶する。ＲＡＭ(Random Access Memory)８０３は、ＣＰＵ８０１のワークエリアとして使用される。フラッシュメモリ８０４は、通信用プログラム、表示データ、及び音データ等の各種データを記憶する。ＳＳＤ（Solid State Drive）８０５は、ＣＰＵ８０１の制御にしたがってフラッシュメモリ８０４に対する各種データの読み出し又は書き込みを制御する。なお、ＳＳＤに代えてＨＤＤを用いてもよい。メディアＩ／Ｆ８０７は、フラッシュメモリ等の記録メディア８０６に対するデータの読み出し又は書き込み（記憶）を制御する。

また、ネットワークＩ／Ｆ(Interface)８１１は、通信ネットワーク９ｂを利用してデータ通信をするためのインターフェースである。カメラ８１２は、ＣＰＵ８０１の制御に従って被写体を撮像して表示データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ８１３は、カメラ８１２の駆動を制御する回路である。マイク８１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ８１６は、ＣＰＵ８０１の制御に従ってマイク８１４及びスピーカ８１５との間で音信号の入出力を処理する回路である。ディスプレイＩ／Ｆ８１７は、ＣＰＵ８０１の制御に従って外付けのディスプレイ８２０に表示データを送信する回路である。外部機器接続Ｉ／Ｆ８１８は、各種の外部機器を接続するためのインターフェースである。キーボード８２１は、文字、数値、各種指示等を入力するための複数のキーを備えている。マウス８２２は、各種指示の選択や実行、処理対象の選択、マウスカーソルなどのポインティングデバイスの移動等を行う。

また、バスライン８１０は、ＣＰＵ８０１等の図４に示されている各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

ディスプレイ８２０は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成された表示手段の一種である。また、ディスプレイ８２０は、ケーブル８２０ｃによってディスプレイＩ／Ｆ８１７に接続される。このケーブル８２０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ（登録商標）(High-Definition Multimedia Interface)やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。

なお、カメラ８１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)や、ＣＣＤ（Charge Coupled Device）等が用いられる。外部機器接続Ｉ／Ｆ８１８には、ＵＳＢ(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ８０１の制御に従って、内蔵型のカメラ８１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ８０１の制御に従って、それぞれが内蔵型のマイク８１４や内蔵型のスピーカ８１５に優先して、外付けマイクや外付けスピーカが駆動する。

また、記録メディア８０６は、ＰＣ８に対して着脱自在な構成となっている。また、ＣＰＵ８０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ８０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。

＜ソフトウェア構成＞
図５（ａ）は、一実施形態に係る電子黒板のソフトウェア構成図である。図５（ａ）に示されているように、ＯＳ(Operating System)２０２０、通信アプリケーションＡ１１、及び通信アプリケーションＢ１０は、ＲＡＭ２０３の作業領域２０１０上で動作する。以後、アプリケーションは、「アプリ」と表す。

ＯＳ２０２０は、基本的な機能を提供し、電子黒板全体を管理する基本ソフトウェアである。通信アプリＡ１１，Ｂ１０は、他の端末と通信を行うためのアプリであり、それぞれ通信プロトコルが異なる。通信アプリＡ１１は、ストロークデータを他の通信端末との間で送信するための通信制御機能と、ストロークデータを画像として出力するための画像処理機能を電子黒板２に実行させるクライアントアプリである。通信アプリＢ１０は、会議映像等の映像データ、及び音データを他の通信端末との間で送信するための通信制御機能と、映像データを入出力するための画像処理機能と、音データを入出力するための音処理機能と、を電子黒板２に実行させるクライアントアプリである。

ＯＳ２０２０、及び、通信アプリＡ１１は、工場出荷前から、電子黒板２にインストールされている。また、通信アプリＢ１０は、工場出荷後に、任意に電子黒板２にインストール可能である。以下、電子黒板２ｃに通信アプリＢ１０がインストールされており、電子黒板２ａ，２ｂに通信アプリＢ１０がインストールされていないものとして説明を続ける。

図５（ｂ）は、一実施形態に係るＰＣのソフトウェア構成図である。図５（ｂ）に示されているように、ＯＳ８０２０、通信アプリＢ１１は、ＲＡＭ８０３の作業領域８０１０上で動作する。

ＯＳ８０２０は、基本的な機能を提供し、ＰＣ８全体を管理する基本ソフトウェアである。通信アプリＢ１１は、会議映像等の映像データを他の通信端末との間で送信するための通信制御機能と、映像データを画像として出力するための画像処理機能と、をＰＣ８に実行させる。

また、ＯＳ８０２０、及び、通信アプリＢ１１は、工場出荷前又は工場出荷後に、ＰＣ８にインストールされる。

＜＜実施形態の機能構成＞＞
次に、一実施形態に係る通信システムの機能構成について説明する。図６は、一実施形態に係る通信システムの一部を構成する電子黒板、ＰＣ、及び管理システム５０の機能ブロック図である。図６では、電子黒板２ａ，２ｂ，２ｃが、通信ネットワーク９ａを介してデータ通信することができるように接続されている。また、図６では、電子黒板２ｃ、ＰＣ８、及び管理システム５０が、通信ネットワーク９ｂを介してデータ通信することができるように接続されている。

電子黒板２は、図２に示されているハードウェア構成およびプログラムによって、図６に示されている各機能構成を実現する。また、電子黒板２は、ＳＳＤ２０４により構築される記憶部２０００を有している。ＰＣ８は、図４に示されているハードウェア構成およびプログラムによって、図６に示されている各機能構成を実現する。また、ＰＣ８は、ＳＳＤ８０５により構築される記憶部８０００を有している。

電子黒板２は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板２は、大きく分けて、クライアント部２０およびサーバ部９０の両方によって構成されている。クライアント部２０およびサーバ部９０は、電子黒板２の１台の筐体内で通信アプリＡ１１が起動することで実現される機能である。なお、クライアント部２０およびサーバ部９０のうち、電子黒板２にクライアント部２０を備え、サーバ部９０を配信制御装置などの電子黒板２とは異なる装置とするようにしてもよい。

電子黒板２が主催装置となる場合には、この電子黒板２では、クライアント部２０とサーバ部９０が実現（実行）される。また、電子黒板２が参加装置となる場合には、この電子黒板２では、クライアント部２０は実現（実行）されるが、サーバ部９０は実現（実行）されない。即ち、電子黒板２ａが主催装置で、電子黒板２ｂ，２ｃが参加装置となる場合、電子黒板２ａのクライアント部２０は、同じ電子黒板２ａ内に実現されたサーバ部９０を介して、他の電子黒板２ｂ,２ｃのクライアント部２０と通信を行う。一方、電子黒板２ｂ，２ｃのクライアント部２０は、他の電子黒板２ａ内に実現されたサーバ部９０を介して、他の電子黒板２ａ，２ｂ又は２ｃのクライアント部と通信を行う。

また、電子黒板２ｃ及びＰＣ８では、通信アプリＢ１０，Ｂ１１が起動することでクライアント部８０が実現される。クライアント部８０は、サーバとしての管理システム５０の呼制御により確立される通信において、他の通信端末のクライアント部８０と通信を行う。

〔クライアント部２０の機能構成〕
電子黒板２のクライアント部２０は、電子黒板２において通信アプリＡ１１が起動することにより動作開始する。クライアント部２０は、通信制御部２１、描画制御部２２、及び検知部２３を有する。

通信制御部２１は、ＣＰＵ２０１からの命令、或いはネットワークＩ／Ｆ２０５によって実現され、他の電子黒板２と行う通信や、同じ電子黒板２のサーバ部９０や、同じ電子黒板２のクライアント部８０と行う通信を制御する。

描画制御部２２は、ＣＰＵ２０１からの命令により実現され、ディスプレイ３上の操作により生成するストロークデータ、或いはＵＳＢメモリ５、ノートＰＣ６、通信制御部２１、記憶部２０００等から取得されるデータに基づいて画像処理を行う。また、描画制御部２２は、処理されたデータに基づいて画像レイヤを生成し、これらが重畳された重畳画像を出力する制御を行う。

検知部２３は、ＣＰＵ２０１からの命令により実現され、ＯＳ２０２０がマイク２２２及びスピーカ２２３を認識しているか確認することで、音デバイスと、電子黒板２との間の接続を検知する。

図７は、一実施形態に係る描画制御部を詳細に示した機能ブロック図である。描画制御部２２は、ストローク処理部２２Ａ、取得部２２Ｂ、変換部２２Ｘ、重畳部２２Ｙ、及びページ処理部２２Ｚを有している。

ストローク処理部２２Ａは、ＣＰＵ２０１からの命令によって実現され、ディスプレイ３上の電子ペン４や手Ｈの操作によってストローク描画のイベントが発生すると、操作に応じたストロークデータを生成する処理を行う。

取得部２２Ｂは、ＣＰＵ２０１からの命令によって実現され、記憶部２０００に記憶されたデータを取得する。

変換部２２Ｘは、ＣＰＵ２０１からの命令によって実現され、各種データを変換する処理を行う。この変換には、テキスト化、実データ（バイナリ）変換、シリアライズ、デシリアライズ、エンコード、デコード等が含まれていても良い。

重畳部２２Ｙは、ＣＰＵ２０１からの命令によって実現され、各データに基づいて各画像レイヤを生成し、これらを重畳する処理を行う。

ページ処理部２２Ｚは、ストロークデータ等の各表示用のデータを１つのページデータにまとめて、記憶部２０００の一部であるページデータ記憶部２２０に記憶する。

ページデータ記憶部２２０は、記憶部２０００の一部に構築され、表１に示されているようなページデータを記憶する。表１は、ページデータを示す概念図である。ページデータは、ディスプレイ３に表示される１ページ分のデータ（ストローク配列データ（各ストロークデータ）及びメディアデータ）である。

ページデータは、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン４やユーザの手Ｈによるストロークによって生じたストローク配列データを識別するためのストローク配列データＩＤ、及びメディアデータを識別するためのメディアデータＩＤが関連付けて記憶されている。ストローク配列データは、ストローク画像がディスプレイ３上に表示されるためのデータである。メディアデータは、ストローク画像と重畳する他の画像がディスプレイ３上に表示されるためのデータである。

また、ストローク配列データは、表２に示されているように詳細な情報を示している。表２は、ストローク配列データを示す概念図である。表２に示されているように、１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データＩＤを示している。例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ところが、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。

更に、この座標配列データは、表３に示されているように詳細な情報を示している。表３は、座標配列データを示す概念図である。座標配列データは、ディスプレイ３上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの開始時刻からの差分の時刻（ｍｓ）、及び、この１点における電子ペン４の筆圧の各情報を示している。即ち、表３に示されている１点の集まりが、表２に示されている１つの座標配列データで示されている。例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。

また、表１に示されているページデータのうちのメディアデータは、表４に示されているように詳細な情報を示している。表４は、メディアデータを示す概念図である。図９に示されているように、メディアデータは、表１に示されているページデータにおけるメディアデータＩＤ、メディアデータのデータ種類、メディアデータが記憶された記録時刻、メディアデータによってディスプレイ３上に表示される画像の位置（Ｘ座標値、Ｙ座標値）及び画像のサイズ（幅、高さ）、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、メディアデータによってディスプレイ３上に表示される画像の位置は、ディスプレイ３の左上端の座標を（Ｘ座標値，Ｙ座標値）＝（０，０）とした場合に、メディアデータによって表示される画像の左上端の位置を示している。

〔サーバ部９０の機能構成〕
サーバ部９０は、通信制御部９１を有している。

通信制御部９１は、ＣＰＵ２０１からの命令により実現され、同じ電子黒板２内のクライアント部２０における通信制御部２１、および通信ネットワーク９ａを介して他の電子黒板２内のクライアント部２０における通信制御部２１との間における通信を制御する。

〔クライアント部８０の機能構成〕
電子黒板２のクライアント部８０は、電子黒板２において通信アプリＢ１０が起動することにより動作開始する。ＰＣ８のクライアント部８０は、ＰＣ８において、通信アプリＢ１１が起動することにより動作開始する。クライアント部８０は、通信制御部８１及び表示制御部８２を有している。通信制御部８１は、ＣＰＵ２０１，８０１からの命令、或いはネットワークＩ／Ｆ２０５，８１１により実現され、他の通信端末のクライアント部８０における通信制御部８１との間、又は管理システム５０の通信制御部５１との間の通信を制御する。また、電子黒板２の通信制御部８１は、ＣＰＵ２０１からの命令によって実現され、クライアント部２０における通信制御部２１と行う通信を制御する。

クライアント部８０の表示制御部８２は、通信アプリＢ１１を起動することで、ＣＰＵ８０１からの命令により実現される機能である。表示制御部８２は、通信制御部２１、記憶部８０００等から取得されるデータに基づいて画像処理を行い、画像を出力する制御を行う。

〔管理システム５０の機能構成〕
管理システム５０は、図３に示されているハードウェア構成およびプログラムによって、図６に示されている各機能構成を実現する。また、管理システム５０は、ＨＤ５０４より構築される記憶部５０００を有している。

管理システム５０の通信制御部５１は、ＣＰＵ２０１からの命令により実現され、通信ネットワーク９ｂを介して電子黒板２又はＰＣ８内のクライアント部８０における通信制御部８１との通信を制御する。

＜＜実施の形態の処理＞＞
続いて、一実施形態に係る処理について説明する。

（電子黒板間の通信確立処理）
図８を用いて、電子黒板２ａ，２ｂ，２ｃ間の通信アプリＡ１１による通信を確立する処理について説明する。図８は、電子黒板間の通信を確立する処理を示すシーケンス図である。ユーザが電子黒板２ａの電源スイッチ２２６をオンにすると、通信アプリＡ１１が起動することで電子黒板２ａのクライアント部２０の処理が開始する（ステップＳ１）。そして、ディスプレイ３ａ上の操作により会議主催の要求が受け付けられると、クライアント部２０の通信制御部２１から同じ電子黒板２ａのサーバ部９０における通信制御部９１に、サーバ部９０の処理を開始させる指示を出力する。これにより、電子黒板２ａでは、クライアント部２０だけでなくサーバ部９０も各種処理を開始可能となる（ステップＳ２）。

次に、電子黒板２ａの通信制御部９１は、当該電子黒板２ａとの接続を確立するための接続情報を生成し、生成された接続情報をディスプレイ３ａに表示させる（ステップＳ３）。この接続情報には、主催装置のＩＰアドレス、および今回の遠隔共有処理のために生成されたパスコードが含まれている。このパスコードは、記憶部２０００に記憶される。そして、接続情報は、電子黒板２ａのユーザによって、電話や電子メールにより、電子黒板２ｂ，２ｃのユーザに伝えられる。

次に、電子黒板２ｂ，２ｃでは、ユーザが電子黒板２ｂ，２ｃの電源スイッチ２２６をオンにすると、通信アプリＡ１１が起動することで電子黒板２ｂ，２ｃのクライアント部２０の処理が開始する（ステップＳ４，Ｓ５）。電子黒板２ｂ，２ｃにおいて、ディスプレイ３ｂ，３ｃ上の操作によって接続情報の入力が受け付けられると、各電子黒板２ｂ，２ｃのクライアント部２０における通信制御部２１が、接続情報のＩＰアドレスに基づき、通信ネットワーク９ａを介して、電子黒板２ａのサーバ部９０における通信制御部９１に対してパスコードを送信して参加要求を行う（ステップＳ６，Ｓ７）。電子黒板２ａの通信制御部９１は、各電子黒板２ｂ，２ｃから、参加要求（パスコードを含む）を受信する。

次に、通信制御部９１は、各電子黒板２ｂ，２ｃから受信したパスコードに対し、記憶部２０００で管理されているパスコードを用いて認証する（ステップＳ８）。そして、通信制御部９１が、各電子黒板２ｂ，２ｃのクライアント部２０に認証結果を通知する（ステップＳ９，Ｓ１０）。ステップＳ８の認証により、各電子黒板２ｂ，２ｃが正当な電子黒板であると判断されていた場合には、主催装置である電子黒板２ａと、参加装置である電子黒板２ｂ，２ｃとの遠隔共有処理の通信が確立される（ステップＳ１１，Ｓ１２）。なお、本実施形態では、電子黒板２ａ，２ｂ，２ｃ間で送信されるコンテンツデータは、ストロークデータを含む場合について説明する。

（電子黒板とＰＣとの間の通信確立処理）
図９を用いて、電子黒板２ｃ及びＰＣ８が、映像データ及び音データを共有するため、管理システム５０にログインする処理について説明する。図９は、ログイン処理を示すシーケンス図である。

電子黒板２ｃにおいて、ユーザによる起動要求に応じて通信アプリＢ１０が起動することで、クライアント部８０は各種処理を開始可能となる（ステップＳ２１）。

続いて、クライアント部８０の通信制御部８１は、管理システム５０に対し、ログイン要求を送信する（ステップＳ２２）。このログイン要求には、アカウントとして、例えばユーザＩＤ、及びパスコードが含まれている。これにより、管理システム５０の通信制御部５１は、ログイン要求を受信する。

管理システム５０は、ログイン要求に含まれているユーザＩＤ、及びパスコードの組と、記憶部５０００に予め記憶されているユーザＩＤ、及びパスコードの組とが一致するかに基づいて、ログイン要求元の電子黒板２ｃを認証する（ステップＳ２３）。管理システム５０の通信制御部５１は、ログイン要求元の電子黒板２ｃに対して、認証結果を送信する（ステップＳ２４）。これにより、電子黒板２ｃの通信制御部８１は、認証結果を受信する。以下、上記ステップＳ２３により、正当なログイン要求元であると判断された場合について説明を続ける。

電子黒板２ｃの記憶部２０００には、クライアント部８０による通信の状態を示す状態情報を記憶する記憶領域が構築されている。認証の成功を示す認証結果の受信に応じて、電子黒板２ｃの通信制御部８１は、記憶部２０００に状態情報「オンライン」を記憶させる（ステップＳ２５）。

ＰＣ８において、キーボード８２１あるいはマウス８２２の操作に基づいて、通信アプリＢ１１の起動要求が受け付けられると、通信アプリＢ１１が起動して、ＰＣ８のクライアント部８０の処理が開始可能となる（ステップＳ３１）。

続いて、クライアント部８０の通信制御部８１は、電子黒板２ｃによる処理と同様にして、管理システム５０に対し、ログイン要求を送信する（ステップＳ３２）。これにより、管理システム５０は、ログイン要求を受信する。

管理システム５０は、ログイン要求元のＰＣ８を認証し（ステップＳ３３）、ＰＣ８に対して、認証結果を送信する（ステップＳ３４）。以下、上記ステップＳ３３により、正当なログイン要求元であると判断された場合について説明を続ける。

（重畳画像の表示）
続いて、図１０を用いて、電子黒板２ａ，２ｂ，２ｃ間でストロークデータを共有する処理について説明する。図１０は、ストロークデータを共有する処理を示すシーケンス図である。

まず、電子黒板２ｃのユーザが電子ペン４ｃを用いて電子黒板２ｃにストローク画像を描画すると、ストローク処理部２２Ａは、電子ペン４ｃとディスプレイ３ｃとの接触部の座標位置に基づいて、描画されたストロークのストロークデータを生成する（ステップＳ６１）。なお、生成されるストロークデータは上記の表２に示されている各パラメータを含む。変換部２２Ｘは、複数のストローク単位のストロークデータをまとめることでシリアライズ（直列化）する（ステップＳ６２）。電子黒板２ｃの通信制御部２１は、通信ネットワーク９ａを介して、主催装置である電子黒板２ａの通信制御部９１にシリアライズされたストロークデータを送信する（ステップＳ６３）。なお、電子黒板２ｂは、描画される度に、ストロークデータを主催装置である電子黒板２ａに順次送信しても良い。

電子黒板２ａの通信制御部９１は、電子黒板２ｃから送られて来たストロークデータを受信すると、このストロークデータを電子黒板２ａのクライアント部２０へ送信する。送信されたストロークデータは電子黒板２ａのクライアント部２０の通信制御部２１によって受信される。クライアント部２０の描画制御部２２における変換部２２Ｘは、ストロークデータをデシリアライズ（並列化）する（ステップＳ６４）。ページ処理部２２Ｚは、ページデータ記憶部２２０において、すでに記憶されているストロークデータを削除することなく、新たにデシリアライズされたストロークデータを追加して記憶させる。続いて、重畳部２２Ｙは、ページデータ記憶部２２０に記憶されている各ストロークデータを合成した合成後のストローク画像（Ｂ）の画像データを生成する。また、重畳部２２Ｙは、ページデータ記憶部２２０に記憶されている各オブジェクトデータを合成した合成後の出力画像（Ｃ）の画像データを生成する。

そして、重畳部２２Ｙは、ページデータ記憶部２２０に記憶されている背景画像のレイヤの画像データ（メディアデータ）に、生成された出力画像の画像データ、生成されたストローク画像の画像データ、及び記憶部２０００に記憶されているＵＩ(user interface)画像の画像データを合成することで、４層の重畳画像（Ａ，Ｂ，Ｃ，Ｄ）の画像データを生成する。重畳部２２Ｙは、生成された重畳画像（Ａ，Ｂ，Ｃ，Ｄ）の画像データを、ディスプレイ３ａへ送信することで、重畳画像（Ａ，Ｂ，Ｃ，Ｄ）をディスプレイ３ａ上に表示させる（ステップＳ６５）。図１１（Ａ）は、ＵＩ画像１４０ａ、ストローク画像１４０ｂ、出力画像１４０ｃ、及び背景画像１４０ｄの重畳画像１４０を示す概念図であり、図１１（Ｂ）は、重畳画像１４０の一例である。

また、電子黒板２ａの通信制御部９１は、電子黒板２ｃから送られて来たシリアライズされているストロークデータを電子黒板２ｂ，２ｃのクライアント部２０へ送信する（ステップＳ６６，Ｓ６７）。送信されたストロークデータは電子黒板２ｂ，２ｃのクライアント部２０の通信制御部２１によって受信される。電子黒板２ｂ，２ｃのクライアント部２０は、ディスプレイ３ｂ，３ｃに、電子黒板２ａから送られて来たストロークデータに基づいて重畳画像（Ａ，Ｂ，Ｃ，Ｄ）を表示する。この処理は、電子黒板２ａのクライアント部２０におけるステップＳ６４，Ｓ６５の処理と同様であるので説明を省略する（ステップＳ６８乃至Ｓ７１）。

続いて、図１２を用いて、ステップＳ７１の処理のうち、電子黒板２ｃの重畳部２２Ｙが、重畳画像の一レイヤであるＵＩ画像の画像データを生成する処理について詳細に説明する。図１２は、ＵＩ画像を生成する処理を示すフロー図である。なお、以下では電子黒板２ｃの処理について説明するが、他の電子黒板２も、以下に示す処理と同様の処理を実行可能である。

電子黒板２ｃのページデータ記憶部２００には、テレビ会議サービスを示すアイコンのうち、選択可能なアイコンとして所定の輝度の通話アイコンの画像データ、及び選択不可能なアイコンとして半輝度の通話アイコンの画像データが予め記憶されている。一例として輝度値の範囲を０〜２５６としたときに、所定の輝度の輝度値は、２００であっても良く、半輝度の輝度値は一例として１００であっても良い。なお、２つの通話アイコンの判別が可能であれば、一方の通話アイコンの輝度は、他方の通話アイコンの輝度の半分でなくても良い。また、テレビ会議サービスを示すアイコンは、選択可能なものと選択不可能なもので表示形式の異なる任意の情報に置き換え可能である。任意の情報としては、テキスト、サムネイル等が挙げられる。異なる表示形式としては、色の違い、枠線やアンダーラインの有無、書体や文字等の違い等が挙げられる。

また、記憶部２０００には、テレビ会議サービスの利用可否の設定を示す利用可否設定情報が登録されている。利用可否設定情報は、電子黒板２ｃにおいて、電子黒板用の通信アプリＡ１１が動作しているときに、通信アプリＢ１０によるテレビ会議サービスの利用が可能であるかの設定を示す情報である。設定情報の登録は、電子黒板２の管理者、或いは、通信アプリ（Ａ１１，Ｂ１０）の管理者等に制限されていても良い。

電子黒板２ｃの重畳部２２Ｙは、クライアント部８０が起動するタイミング等の任意のタイミングで、記憶部２０００に記憶されている利用可否設定情報を取得する（ステップＳ７１−１）。

電子黒板２ｃの重畳部２２Ｙは、ステップＳ７１−１において取得される利用可否設定情報が利用可の設定を示すものであるか判断する（ステップＳ７１−２）。利用可否設定情報が利用不可の設定を示すものである場合（ステップＳ７１−２のＮＯ）、重畳部２２Ｙは、ページデータ記憶部２００に記憶されているいずれの通話アイコンの画像データも使用せずにＵＩ画像の画像データを生成する（ステップＳ７１−７）。これにより、通話アイコンを含まないＵＩ画像がディスプレイ３ｃに出力される。

利用可否設定情報が利用可の設定を示すものである場合（ステップＳ７１−２のＹＥＳ）、クライアント部２０の通信制御部２１は、クライアント部８０による通信の状態を示す状態情報を取得する（ステップＳ７１−３）。状態情報を取得する方法は特に限定されないが、通信制御部２１が通信制御部８１に状態情報を要求しても良いし、状態情報の更新の度に更新された状態情報を通信制御部８１が通信制御部２１に通知しても良い。

電子黒板２ｃの重畳部２２Ｙは、ステップＳ７１−３で取得される状態情報がオンライン状態を示すか判断する（ステップＳ７１−４）。一実施形態において、オンライン状態は、クライアント部８０が管理システム５０へログインして接続している状態である。オンライン状態を示す状態情報として、「オンライン」及び「オンライン（通話中）」が含まれる。取得される状態情報がオンライン状態を示す場合（ステップＳ７１−４のＹＥＳ）、重畳部２２Ｙは、ページデータ記憶部２００に記憶されている通話アイコンのうち、所定の輝度の通話アイコンの画像データを使用して、ＵＩ画像の画像データを生成する（ステップＳ７１−５）。図１３（Ａ）はディスプレイの表示例である。重畳部２２Ｙは、生成されたＵＩ画像の画像データをディスプレイ３ｃに出力することで、選択可能な所定の輝度の通話アイコン１４１ｉを含むＵＩ画像１４１ａを表示させる。

取得される状態情報がオンライン状態を示すものではない場合（ステップＳ７１−４のＮＯ）、重畳部２２Ｙは、ページデータ記憶部２００に記憶されている通話アイコンのうち、半輝度の通話アイコンの画像データを使用して、ＵＩ画像の画像データを生成する（ステップＳ７１−６）。図１３（Ｂ）はディスプレイの表示例である。重畳部２２Ｙは、生成されたＵＩ画像の画像データをディスプレイ３ｃに出力することで、選択不可能な半輝度の通話アイコン１４２ｉを含むＵＩ画像１４１ａを表示させる。

ステップＳ７１−３乃至Ｓ７１−８の処理は、クライアント部２０が起動している間、重畳部２２Ｙにより繰り返し実行される（ステップＳ７１−８のＹＥＳ）。これにより、クライアント部８０による通信の状態が変更された場合に、ＵＩ画像における通話アイコンの輝度が変更される。

続いて、図１４を用いて、電子黒板２とＰＣ８の各ユーザ間で通話を開始するときの通信システム１の処理について説明する。図１４は、通話を開始するときの通信システムの処理を示すシーケンス図である。

ユーザによる通話アイコン１４１ｉの押下を電子黒板２ｃの描画制御部２２が検知すると、電子黒板２ｃは通話メニューを表示する（ステップＳ８１）。図１５を用いて、ステップＳ８１の処理を詳細に説明する。図１５は、通話メニューを表示する処理を示すフロー図である。

上記の通り、通話アイコン（１４１ｉ，１４２ｉ）のうち、所定の輝度の通話アイコン１４１ｉは選択可能に設定され、半輝度の通話アイコン１４２ｉは選択不可能に設定されている。このため、通話アイコン（１４１ｉ，１４２ｉ）のうち、選択不可能な半輝度の通話アイコン１４２ｉがＵＩ画面上で押下されても（ステップＳ８１−１のＮＯ）、電子黒板２ｃの描画制御部２２は、通話メニューの要求を受け付けずに処理を終了する。これに対して、通話アイコン（１４１ｉ，１４２ｉ）のうち、選択可能な所定の輝度の通話アイコン１４１ｉがＵＩ画面上で押下されると（ステップＳ８１−１のＹＥＳ）、描画制御部２２は、通話メニューの要求を受け付ける。

ステップＳ８１−１のＹＥＳで、通話メニューの要求を受け付けられると、描画制御部２２は、ＵＩ画面上で、認証情報としてユーザＩＤ、及びパスコードの入力を受け付ける。描画制御部２２は、入力されたユーザＩＤ及びパスコードの組と、ステップＳ２２のログイン要求でクライアント部８０の通信制御部８１が管理システム５０へ送信したユーザＩＤ及びパスコードの組とが同一であるか確認することで認証する（ステップＳ８１−２）。

ユーザＩＤ及びパスコードの組が同一ではなく認証に失敗した場合（ステップＳ８１−２のＮＯ）、描画制御部２２は、通話メニューの要求を受け付けずに処理を終了する。ユーザＩＤ及びパスコードの組が同一であり認証に成功した場合（ステップＳ８１−２のＹＥＳ）、検知部２３は、テレビ会議サービスで共有されるコンテンツ（映像及び音）を入出力するためのデバイスのうち、電子黒板２ｃに内蔵されていない音デバイスの接続を検知する（ステップＳ８１−３）。この場合、検知部２３は、ＯＳ２０２０がマイク２２２及びスピーカ２２３を認識しているか確認することで音デバイスを検知する。なお、音デバイスのうち一方が電子黒板２ｃに内蔵されているような場合には、検知部２３は、ＯＳ２０２０が他方の音デバイスを認識しているか確認する。

マイク２２２及びスピーカ２２３がＯＳ２０２０によって認識されており、音デバイスが検知された場合には（ステップＳ８１−３のＹＥＳ）、クライアント部２０の通信制御部２１は、クライアント部８０による通信の状態を示す状態情報を取得する（ステップＳ８１−４）。状態情報を取得する方法としては、ステップＳ７１−３と同様の方法が挙げられる。

取得された状態情報が、他のクライアント部８０と通信中の状態を示すものである場合（ステップＳ８１−４のＹＥＳ）、電子黒板２ｃの重畳部２２Ｙは、通話メニューとして通話を開始するための機能を示す情報、及び通話を終了するための機能を示す情報が共に所定の輝度で示されるＵＩ画像を作成する（ステップＳ８１−５）。一実施形態において、通信中の状態とは、クライアント部８０がＰＣ８等の他の端末のクライアント部８０との間で映像データ及び音データを送受信している状態である。通信中の状態を示す状態情報として、後述の「オンライン（通話中）」が含まれる。また、一実施形態において、通話メニューにおける所定の輝度の情報は選択可能な情報であり、半輝度の情報は選択不可能な情報である。なお、判別可能であれば、選択不可能な情報の輝度は、選択可能な情報の輝度の半分でなくても良い。また、判別可能であれば、選択可否を、色の違い、枠線やアンダーラインの有無、書体の違い等の表示形式の違いにより表現しても良い。

図１６（Ａ）は、ディスプレイの表示例である。図１６（Ａ）のように、重畳部２２Ｙは、作成されたＵＩ画像の画像データをディスプレイ３ｃへ出力することにより、通話を開始するための機能を示す情報、及び通話を終了するための機能を示す情報が共に所定の輝度で示される通話メニュー１４３を含むＵＩ画像１４１ａを表示させる。これにより、電子黒板２ｃは、他の相手を通話に参加させるために通話を開始する要求、及び現在の通話を終了する要求を受け付けることができる。

取得された状態情報が通信中の状態を示すものではない場合（ステップＳ８１−４のＮＯ）、電子黒板２ｃの重畳部２２Ｙは、通話を開始するための機能を示す情報が所定の輝度で示され、通話を終了するための機能を示す情報が半輝度で示されるＵＩ画像を作成する（ステップＳ８１−６）。通信中の状態を示すものではない状態情報として、「オンライン」が含まれる。図１６（Ｂ）は、ディスプレイの表示例である。図１６（Ｂ）のように、重畳部２２Ｙは、作成されたＵＩ画像の画像データをディスプレイ３ｃへ出力することにより、通話を開始するための機能を示す情報が所定の輝度で示され、通話を終了するための機能を示す情報が半輝度で示される通話メニュー１４４を含むＵＩ画像１４１ａをディスプレイ３ｃに表示させる。これにより、電子黒板２ｃは、通話を開始する要求を受け付ける一方で、通話を終了する要求を受け付けない。

ステップＳ８１−３で、音デバイスが検知されなかった場合には（ステップＳ８１−３のＮＯ）、クライアント部２０の通信制御部２１は、クライアント部８０による通信の状態を示す状態情報を取得する（ステップＳ８１−７）。状態情報を取得する方法としては、ステップＳ７１−３と同様の方法が挙げられる。

取得された状態情報が通信中の状態を示すものである場合（ステップＳ８１−７のＹＥＳ）、電子黒板２ｃの重畳部２２Ｙは、通話メニューとして通話を開始するための機能を示す情報が半輝度で示され、通話を終了するための機能を示す情報が所定の輝度で示されるＵＩ画像を作成する（ステップＳ８１−８）。図１６（Ｃ）は、ディスプレイの表示例である。図１６（Ｃ）のように、重畳部２２Ｙは、作成されたＵＩ画像の画像データをディスプレイ３ｃへ出力することにより、通話を開始するための機能を示す情報が半輝度で示され、通話を終了するための機能を示す情報が所定の輝度で示される通話メニュー１４５を含むＵＩ画像１４１ａを表示させる。これにより、例えば、通話中にマイク２２２の故障等により通話できない状態となったときに、電子黒板２ｃは、通話を開始する要求を受け付けない一方で、通話を終了する要求を受け付けることができる。

取得された状態情報が通信中の状態を示すものではない場合（ステップＳ８１−７のＮＯ）、電子黒板２ｃの重畳部２２Ｙは、通話メニューとして通話を開始するための機能を示す情報、及び通話を終了するための機能を示す情報が共に半輝度で示されるＵＩ画像を作成する（ステップＳ８１−９）。図１６（Ｄ）は、ディスプレイの表示例である。図１６（Ｄ）のように、重畳部２２Ｙは、作成されたＵＩ画像の画像データをディスプレイ３ｃへ出力することにより、通話を開始するための機能を示す情報、及び通話を終了するための機能を示す情報が共に半輝度で示される通話メニュー１４６を含むＵＩ画像１４１ａを表示させる。これにより、例えば、マイク２２２等が未接続で通話できない状態のときに、電子黒板２ｃは、通話を開始する要求、及び通話を終了する要求を受け付けないようにすることができる。

上記の通り、通話メニュー１４３，１４４，１４５，１４６において、選択可能な情報は輝度で示され、選択不可能な情報は半輝度で示されている。このため、通話メニュー１４５，１４６において、選択不可能な半輝度の通話を開始するための機能を示す情報がＵＩ画像１４０ａ上で押下されても、電子黒板２ｃの描画制御部２２は、通話の開始要求を受け付けない。これに対して、通話メニュー１４３，１４４において、選択可能な輝度の通話を開始するための機能を示す情報がＵＩ画像１４０ａ上で押下されると、描画制御部２２は、通話の開始要求を受け付ける（ステップＳ８２）。通話の開始要求を受け付ける場合、描画制御部２２は、通話の宛先を示す宛先情報の選択を受け付ける。以下、ＰＣ８が宛先として選択される場合について説明を続ける。

電子黒板２ｃのクライアント部２０における通信制御部２１は、クライアント部８０における通信制御部８１へ、ＰＣ８との通話の開始要求を送信する。電子黒板２ｃの通信制御部８１は、通話の開始要求を受信すると、管理システム５０に対し、通話の開始要求を送信する（ステップＳ８３）。この通話の開始要求には、通話の開始要求元の電子黒板２ｃのクライアント部８０の通信ＩＤ、および宛先のＰＣ８の通信ＩＤが含まれている。これにより、管理システム５０は、通信の開始要求を受信する。なお、通信ＩＤは通信先を特定するための情報であって、端末の識別情報や、ユーザアカウント等が含まれる。

次に、管理システム５０は、宛先のＰＣ８に対して、通話の開始要求を送信する（ステップＳ８４）。この通話の開始要求には、上記ステップＳ８３によって送られて来た通話の開始要求元の電子黒板２ｃのクライアント部８０の通信ＩＤおよび宛先のＰＣ８の通信ＩＤが含まれている。これにより、宛先のＰＣ８は、通信の開始要求を受信する。

これに対して、ＰＣ８の通信制御部８１は、ユーザによる操作入力に応じて、管理システム５０に対し、応答可否を示す情報を送信する（ステップＳ８５）。以下、ＰＣ８が、応答する旨を示す情報を管理システム５０へ送信した場合について説明を続ける。

管理システム５０の通信制御部５１は、応答する旨を示す情報を受信する。管理システム５０の通信制御部５１は、開始要求元の電子黒板２ｃに対し、上記ステップＳ８５によって宛先のＰＣ８から送られて来た、応答する旨を示す情報を送信する（ステップＳ８６）。これにより、電子黒板２ｃの通信制御部８１は、応答する旨を示す情報を受信する。

続いて、管理システム５０は、電子黒板２ｃとＰＣ８との間で通信ネットワーク９ｂを介してコンテンツデータを送信するための通信を確立させる制御を行う（ステップＳ８７）。通信を確立させる方法として、例えば、管理システム５０は、コンテンツデータへのアクセス先へのアクセス権限を電子黒板２ｃ及びＰＣ８に付与する。アクセス先は、管理システム５０内であっても、管理システム５０以外の装置であっても良い。電子黒板２ｃとＰＣ８との間の通信が確立されると、電子黒板２ｃ及びＰＣ８は、アクセス先へアクセスして、自端末側のカメラ２０７，８１２で撮像される映像に対応する映像データ、及びマイク２２２，８１４で集音される音に対応する音データを送信するとともに、アクセス先から相手側の映像データ及び音データを取得する。

電子黒板２ｃとＰＣ８との間の通信が確立されると、電子黒板２ｃ及びＰＣ８は、アクセス先へアクセスして、自端末側のカメラ２０７，８１２で撮像される映像の映像データ、及びマイク２２２，８１４で集音される音の音データを送信するとともに、アクセス先から相手側の映像データ及び音データを取得する（ステップＳ８８）。

電子黒板２ｃとＰＣ８との間の通信の確立に応じて、電子黒板２ｃの通信制御部８１は、記憶部２０００に記憶されている状態情報を「オンライン」から「オンライン（通話中）」に更新する（ステップＳ８９）。

電子黒板２ｃのクライアント部８０における通信制御部８１がＰＣ８側の映像データ及び音データを受信すると、音データをスピーカ２２３から出力する。また、クライアント部８０における通信制御部８１は、受信した映像データをクライアント部２０における通信制御部２１に送信する。電子黒板２ｃのクライアント部２０における通信制御部２１が、映像データを受信すると、受信した映像データをメディアデータとして、ページデータ記憶部２２０へ記憶させる。重畳部２２Ｙは、ページデータ記憶部２２０に記憶された映像データを読み出して、読み出された映像データを背景画像１４０ｄのレイヤとして、ディスプレイ３ｃへ出力する。これにより、相手側の映像が背景画像としてディスプレイ３ｃに表示される。

続いて、通話を終了する場合の処理について説明する。上記の通り、通話メニュー１４３，１４４，１４５，１４６において、選択可能な情報は輝度で示され、選択不可能な情報は半輝度で示されている。このため、通話メニュー１４４，１４６において、選択不可能な半輝度の通話を終了するための機能を示す情報がＵＩ画像１４１ａ上で押下されても、電子黒板２ｃの描画制御部２２は、通話の終了要求を受け付けない。これに対して、通話メニュー１４３，１４５において、選択可能な輝度の通話を終了するための機能を示す情報がＵＩ画面上で押下されると、描画制御部２２は、通話の終了要求を受け付ける（ステップＳ９１）。

電子黒板２ｃにおけるクライアント部２０における通信制御部２１は、クライアント部８０における通信制御部８１へ、通話の終了要求を送信する。電子黒板２ｃの通信制御部８１は、通信制御部２１から通話の終了要求を受信すると、管理システム５０に対し、通話の終了要求を送信する（ステップＳ９２）。

管理システム５０の通信制御部５１は、通話の終了要求を受信すると、電子黒板２ｃとＰＣ８との間の通信を切断させる制御を行う（ステップＳ９３）。通信が切断されると、電子黒板２ｃの通信制御部８１及びＰＣ８の通信制御部８１の間で映像データ及び音データを相互に送信できなくなる。

電子黒板２ｃとＰＣ８との間の通信の切断に応じて、電子黒板２ｃの通信制御部８１は、記憶部２０００に記憶されている状態情報を「オンライン（通話中）」から「オンライン」に更新する（ステップＳ９４）。

＜＜実施形態の主な効果＞＞
上記実施形態の表示制御方法によると、電子黒板２ｃ（通信端末の一例）は、外部の音デバイス（外部装置の一例）であるマイク２２２から入力される音に対応する音データ（コンテンツデータの一例）をＰＣ８（他の通信端末の一例）へ送信する。また、電子黒板２ｃは、ＰＣ８によって送信される音データを受信して、対応する音を外部の音デバイスであるスピーカ２２３から出力させる。電子黒板２ｃの検知部２３（検知手段の一例）は、音デバイスの接続を検知する（検知処理の一例）。電子黒板２ｃの重畳部２２Ｙ（表示制御手段の一例）は、検知部２３によって音デバイスの接続が検知される場合に、通話（コミュニケーションの一例）開始するための機能を示す情報を所定の輝度（第１の表示形式の一例）で表示させる（表示制御処理の一例）。電子黒板２ｃの重畳部２２Ｙは、検知部２３によって音デバイスの接続が検知されない場合に、通話開始するための機能を示す情報を半輝度（第２の表示形式の一例）で表示する制御を行う（表示制御処理の一例）。電子黒板２ｃによると、通話開始するための機能を示す情報を表示させることで、通話機能をユーザに示すことができる。ユーザは、その表示の表示形式の違いに基づいて、通話開始可能か判断できる。

電子黒板２ｃとＰＣ８が通信中の場合に、電子黒板２ｃの重畳部２２Ｙは、通話終了するための機能を示す情報を所定の輝度で表示する制御を行う。電子黒板２ｃとＰＣ８が通信中ではない場合に、電子黒板２ｃの重畳部２２Ｙは、通話終了するための機能を示す情報を半輝度で表示する制御を行う。これにより、電子黒板２ｃは、通話終了の要求を受け付け可能であるかに応じて、通話終了するための機能を示す情報の表示形式を変えることができる。

電子黒板２ｃのクライアント部２０は、ストロークデータ（コンテンツデータの一例）の送信により通信するためのクライアントとして動作する。また、電子黒板２ｃのクライアント部８０は、音データ（他のコンテンツデータの一例）の送信により通信するための他のクライアントとして動作する。電子黒板２ｃの重畳部２２Ｙは、クライアント部２０によって表示制御されるＵＩ画像１４１ａ（表示領域の一例）に、通話開始するための機能を示す情報を表示する制御を行う。これにより、電子黒板２ｃは、クライアント部２０により表示制御される電子黒板のＵＩ画像１４１ａ上で、通話開始の要求を受け付けることができる。

電子黒板２ｃの重畳部２２Ｙは、ＵＩ画像１４１ａ上に、クライアント部８０に対応するテレビ会議サービス（サービスの一例）を示す通話アイコン（１４１ｉ，１４２ｉ）（情報の一例）を表示させる。電子黒板２ｃの重畳部２２Ｙは、クライアント部８０が、音データの送信による通信を管理する管理システム５０に接続している場合には、テレビ会議サービスを示す通話アイコン１４１ｉを所定の輝度（第１の表示形式の一例）で表示し、クライアント部８０が管理システム５０に接続していない場合には、テレビ会議サービスを示す通話アイコン１４２ｉを半輝度（第２の表示形式の一例）で表示する制御を行う。これにより、電子黒板２ｃはテレビ会議サービスを利用可能な状態であるか、表示形式の違いによりユーザに把握させることができる。

電子黒板２ｃの描画制御部２２は、認証情報としてユーザＩＤ及びパスコードの入力を受け付ける。電子黒板２ｃの重畳部２２Ｙは、描画制御部２２によって受け付けられるユーザＩＤ及びパスコードと、クライアント部８０が管理システム５０に接続するときに用いられるユーザＩＤ及びパスコード（認証情報の一例）とが同一である場合に、通話開始するための機能を示す情報を表示する。電子黒板２ｃの重畳部２２Ｙは、描画制御部２２によって受け付けられるユーザＩＤ及びパスコードと、クライアント部８０が管理システム５０に接続するときに用いられるユーザＩＤ及びパスコードとが同一ではない場合に、通話開始するための機能を示す情報を表示しない制御を行う。これにより、電子黒板２ｃは、クライアント部２０のユーザＩＤ及びパスコードと、クライアント部８０のユーザＩＤ及びパスコードが同一である場合に、通話の開始の要求を受け付けることができる。

電子黒板２ｃの通信制御部８１（送信手段の一例）は、所定の輝度の通話開始するための機能を示す情報が選択された場合に、通話を開始するための要求を管理システム５０へ送信し、半輝度の通話開始するための機能を示す情報が選択された場合に、通話を開始するための要求を管理システム５０へ送信しない。これにより、電子黒板２ｃは、音デバイスの未接続により通話を開始できないときに、通話を開始するための要求を管理システム５０へ送信することを防ぐことができる。

＜＜実施形態の補足＞＞
通信アプリＡ１１，Ｂ１０，Ｂ１１は、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体に記録されて流通されるようにしてもよい。また、上記記録媒体の他の例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、上記記録媒体、あるいは、これらプログラムが記憶されたＨＤ(Hard Disk)は、プログラム製品(Program Product)として、国内又は国外へ提供可能である。

また、上記実施形態における電子黒板２、ＰＣ８、中継装置３０、及び管理システム５０は、単一の装置によって構築されてもよいし、各部（機能又は手段）を分割して任意に割り当てられた複数の装置によって構築されていてもよい。

また、上記では、画像共有可能な装置の一例として電子黒板２及びＰＣ８について説明したが、これに限るものではない。例えば、画像共有可能な装置として、上記の電子黒板２及びＰＣ８の有する各機能を搭載可能な他の装置を用いることもできる。他の装置としては、例えば、テレビ会議端末、プロジェクター、デジタルサイネージ、テキスト共有装置、カーナビゲーション端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、遠隔診断装置等が挙げられる。

１ 通信システム
２ 電子黒板
３ ディスプレイ
４ 電子ペン
５ ＵＳＢメモリ
６ ノートＰＣ
８ ＰＣ
９ａ，９ｂ 通信ネットワーク
２０ クライアント部
２１ 通信制御部
２２ 描画制御部
２３ 検知部
２２Ａ ストローク処理部
２２Ｂ 取得部
２２Ｘ 変換部
２２Ｙ 重畳部
２２Ｚ ページ処理部
２２０ ページデータ記憶部
３０ 中継装置
５０ 管理システム
８０ クライアント部
８１ 通信制御部
９０ サーバ部
９１ 通信制御部
２０００ 記憶部
８０００ 記憶部

特開２０１５−８４２１１号公報

Claims (9)

1. 他の通信端末との間の通信によりコンテンツデータを送信する通信端末であって、
   前記コンテンツデータを入力又は出力する外部装置の接続を検知する検知手段と、
   前記検知手段によって前記外部装置の接続が検知される場合に、コミュニケーションを開始する機能を示す情報を第１の表示形式で表示し、前記検知手段によって前記外部装置の接続が検知されない場合に、前記コミュニケーションを開始する機能を示す情報を第２の表示形式で表示する制御を行う表示制御手段と、
   を有し、
   前記コンテンツデータの送信により通信するためのクライアント、及び、他のコンテンツデータの送信により通信するための他のクライアントとして動作し、
   前記表示制御手段は、前記他のクライアントによって表示制御される表示領域に、前記コミュニケーションを開始する機能を示す情報を表示する制御を行う、通信端末。
2. 前記表示制御手段は、前記他の通信端末と通信中の場合に、前記コミュニケーションを終了する機能を示す情報を前記第１の表示形式で表示し、前記他の通信端末と通信中ではない場合に、前記コミュニケーションを終了する機能を示す情報を前記第２の表示形式で表示する制御を行う請求項１に記載の通信端末。
3. 前記表示制御手段は、前記他のクライアントによって表示制御される表示領域に、前記クライアントに対応するサービスを示す情報を表示させ、前記クライアントが、前記コンテンツデータの送信による通信を管理する管理システムに接続している場合には、前記サービスを示す情報を前記第１の表示形式で表示し、前記クライアントが前記管理システムに接続していない場合には、前記サービスを示す情報を前記第２の表示形式で表示する制御を行う請求項１又は２に記載の通信端末。
4. 前記他のクライアントは、認証情報の入力を受け付け、
   前記表示制御手段は、前記他のクライアントによって受け付けられる認証情報、及び前記クライアントが前記管理システムに接続するときに用いられる認証情報が同一である場合に、前記コミュニケーションを開始する機能を示す情報を表示し、前記他のクライアントによって受け付けられる認証情報、及び前記クライアントが前記管理システムに接続するときに用いられる認証情報が同一ではない場合に、前記コミュニケーションを開始する機能を示す情報を表示しない制御を行うことを特徴とする請求項３に記載の通信端末。
5. 前記第１の表示形式で表示される前記コミュニケーションを開始する機能を示す情報が選択された場合に、前記コミュニケーションを開始するための要求を前記管理システムへ送信する送信手段を有する請求項３又は４に記載の通信端末。
6. 請求項１乃至５のいずれか一項に記載の通信端末と、
   前記他の通信端末と、
   を備える通信システム。
7. 他の通信端末との間の通信によりコンテンツデータを送信する通信端末であって、
   前記コンテンツデータを入力又は出力する外部装置の接続を検知する検知手段と、
   前記検知手段によって前記外部装置の接続が検知される場合に、コミュニケーションを開始する機能を示す情報を第１の表示形式で表示し、前記検知手段によって前記外部装置の接続が検知されない場合に、前記コミュニケーションを開始する機能を示す情報を第２の表示形式で表示する制御を行う表示制御手段と、
   を有し、
   前記コンテンツデータの送信により通信するためのクライアント、及び、他のコンテンツデータの送信により通信するための他のクライアントとして動作し、
   前記表示制御手段は、前記他のクライアントによって表示制御される表示領域に、前記コミュニケーションを開始する機能を示す情報を表示する制御を行う、通信端末と、
   前記コンテンツデータの送信による通信を管理する管理システムと、
   を備える通信システム。
8. 他の通信端末との間の通信によりコンテンツデータを送信する通信端末が、
   前記コンテンツデータを入力又は出力する外部装置の接続を検知する検知処理と、
   前記検知処理によって前記外部装置の接続が検知される場合に、コミュニケーションを開始する機能を示す情報を第１の表示形式で表示し、前記検知処理によって前記外部装置の接続が検知されない場合に、前記コミュニケーションを開始する機能を示す情報を第２の表示形式で表示する制御を行う表示制御処理と、
   を実行し、
   前記通信端末は、前記コンテンツデータの送信により通信するためのクライアント、及び、他のコンテンツデータの送信により通信するための他のクライアントとして動作し、
   前記表示制御処理は、前記他のクライアントによって表示制御される表示領域に、前記コミュニケーションを開始する機能を示す情報を表示する制御を行う、表示制御方法。
9. 他の通信端末との間の通信によりコンテンツデータを送信する通信端末に、
   前記コンテンツデータを入力又は出力する外部装置の接続を検知する検知処理と、
   前記検知処理によって前記外部装置の接続が検知される場合に、コミュニケーションを開始する機能を示す情報を第１の表示形式で表示し、前記検知処理によって前記外部装置の接続が検知されない場合に、前記コミュニケーションを開始する機能を示す情報を第２の表示形式で表示する制御を行う表示制御処理と、
   を実行させ、
   前記通信端末は、前記コンテンツデータの送信により通信するためのクライアント、及び、他のコンテンツデータの送信により通信するための他のクライアントとして動作し、
   前記表示制御処理は、前記他のクライアントによって表示制御される表示領域に、前記コミュニケーションを開始する機能を示す情報を表示する制御を行う、プログラム。

Images