以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
●第1の実施形態●
●システム構成
図1は、第1の実施形態に係る画像共有システムのシステム構成の一例を示す図である。図1に示す画像共有システムは、複数の拠点のそれぞれに設置された情報処理装置10に表示される表示画像を共有することができるシステムである。また、図1に示す画像共有システムは、情報処理装置10に入力された描画情報が、複数の情報処理装置10間で共有して表示される場合において、描画情報を入力した入力側が有する描画情報の表示権限に応じて、それぞれの情報処理装置10に表示される描画情報の表示を制御することができる。
画像共有システムは、複数の情報処理装置10(10a、10b、以下、区別する必要のないときは、情報処理装置10とする。)、複数の伝送端末40(40a、40b、以下、区別する必要のないときは、伝送端末40とする。)、複数の外部入力装置50(50a、50b、以下、区別する必要のないときは、外部入力装置50とする。)、管理者端末60、中継装置70および通信管理装置90によって構築されている。
画像共有システムは、情報処理装置10aが接続された一方の伝送端末40aから、情報処理装置10bが接続された他方の伝送端末40bに一方向にコンテンツデータを送信するデータ提供システム、または複数の伝送端末40間で両方向にコンテンツデータを送信するコミュニケーションシステムである。コミュニケーションシステムは、例えば、テレビ会議システム、テレビ電話システムおよびチャットシステム等である。
以下、本実施形態は、コンテンツデータが、画像データ、および音データである場合について説明する。また、本実施形態は、画像共有システムが、コミュニケーションシステムの一例として、各々の伝送端末40に接続された情報処理装置10に表示される表示画像を共有する機能を有するテレビ会議システムである場合について説明する。
画像データの画像は、伝送端末40で撮像された会議参加者等の画像並びにビュアー、または外部入力装置50のエディター等で開かれている会議資料等の画像を含む。これらの画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。なお、「テレビ会議」は、「ビデオ会議」と同義に用いられる。
図1に示す画像共有システムは、一方の情報処理装置10aに表示される画像データを、他の情報処理装置10bとの間で共有することができる。また、図1に示す画像共有システムにおいて、一方の情報処理装置10に入力された描画情報(手書き内容)は、他方の情報処理装置10に表示される。例えば、情報処理装置10aに入力された描画情報(手書き内容)は、伝送端末40間の通信を介して送信され、情報処理装置10bに表示される。同様に、情報処理装置10bに入力された描画情報(手書き内容)は、伝送端末40間の通信を介して送信され、情報処理装置10aに表示される。
情報処理装置10は、タッチパネル機能を有するディスプレイ115(図4参照)を有し、ディスプレイ115上に描画情報を入力(手書き入力)可能な手書き入力装置である。本実施形態は、情報処理装置10が、他の情報処理装置10と相互通信が可能な電子式の黒板機能を有する白板(電子黒板;IWB)である場合について説明する。なお、情報処理装置10は、上述の電子黒板のみならず、手書き入力機能を有するタブレット端末、スマートフォン、ノートPC(Personal Computer)等であってもよい。
情報処理装置10aは、ケーブル等を介して、伝送端末40aおよび外部入力装置50aとそれぞれ接続されている。同様に、情報処理装置10bは、ケーブルを介して、伝送端末40bおよび外部入力装置50bとそれぞれ接続されている。ここで、情報処理装置10a、並びに情報処理装置10aに接続された伝送端末40aおよび外部入力装置50aは、端末システム3aと称する。また、情報処理装置10b、並びに情報処理装置10bに接続された伝送端末40bおよび外部入力装置50bは、端末システム3bと称する。なお、図1に示す画像共有システムにおいて、二つの端末システム3(端末システム3aおよび端末システム3b)を有する例を説明するが、端末システム3の数は、これに限られない。画像共有システムは、三つ以上の端末システム3を有し、三つ以上の拠点を用いて通信を行う構成であってよい。
情報処理装置10は、各々に接続された伝送端末40を介して、ディスプレイ115に表示された画像データ、およびディスプレイ115に入力(手書き入力)された手書き内容である描画情報を、他の情報処理装置10に送信する。また、情報処理装置10は、外部入力装置50から入力された出力画像をディスプレイ115に表示させる。
端末システム3を構成する各装置を接続するケーブルは、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)、またはVGA(Video Graphics Array)等の規格による通信が可能なケーブルである。なお、伝送端末40および外部入力装置50は、Wi-Fi(Wireless Fidelity(登録商標))等の無線通信によって情報処理装置10と接続されてもよい。また、伝送端末40および外部入力装置50はBluetooth(登録商標)等の規格に準拠した無線通信によって情報処理装置10と接続されてもよい。
情報処理装置10は、電子ペン2400(図4参照)等を用いてディスプレイ115に対する描画情報の入力(手書き入力)を受け付ける。電子ペン2400のペン先は、ディスプレイ115に押しつけられた場合、ディスプレイ115からの反発力で電子ペン2400の中に押し込まれるようになっている。そして、電子ペン2400は、ペン先が電子ペン2400の中に押し込まれた場合、対応する情報処理装置10に通知する。電子ペン2400と対応する情報処理装置10との間の通信は、赤外線によって行われる。
そして、一の拠点にある情報処理装置10aのディスプレイ115上に描画された描画情報は、他の拠点にある情報処理装置10bのディスプレイ115上にも表示される。一方で、他の拠点にある情報処理装置10bのディスプレイ115上に描画された描画情報は、一の拠点にある情報処理装置10aのディスプレイ115上に表示される。また、情報処理装置10は、ユーザが手を用いた、例えば、拡大、縮小、ページめくり等のジェスチャに基づいて、ディスプレイ115上に表示されている画像を変更させることもできる。このように、図1に示す画像共有システムでは、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。なお、ディスプレイ115に対する描画情報の入力(手書き入力)は、電子ペン2400のみならず、例えば、ユーザの手を用いて行われてもよい。
伝送端末40は、他の伝送端末40との間で、画像データ、音声データ等の送受信を行う。伝送端末40は、それぞれ情報処理装置10と接続され、情報処理装置10に表示された画像データを、他の伝送端末40に送信する。そして、他の伝送端末40に接続された情報処理装置10は、送信された画像データを表示することで、複数の情報処理装置10間で表示される画像データを共有することができる。なお、伝送端末40は、端末である例を説明するが、情報処理装置10内にインストールされたアプリケーションによって、伝送端末40の機能を実行させてもよい。
複数の伝送端末40および通信管理装置90は、通信ネットワーク2を介して通信可能に接続される。複数の伝送端末40は、それぞれ、例えば、日本の東京事業所の会議室、またはアメリカ合衆国のニューヨーク事業所の会議室等の任意の拠点に設置される。複数の伝送端末40は、画像データおよび音データの送受信による拠点間の通信を行う。伝送端末40は、複数の遠隔の事業所内だけでなく、同じ事業所内、屋外と屋内、または屋外と屋外等の任意の拠点で用いられる。伝送端末40が屋外で使われる場合、携帯電話の通信網等の無線による通信が行われる。伝送端末40は、テレビ会議での利用に限られるものではなく、ユーザ間の一般的な会話に用いられるものであってもよい。
通信ネットワーク2は、例えば、LAN(Local Area Network)、専用線およびインターネット等によって構築される。通信ネットワーク2は、有線だけでなく、Wi-Fi(Wireless Fidelity(登録商標))や、Bluetooth(登録商標)等の無線による通信が行われる箇所があってもよい。
外部入力装置50は、情報処理装置10と接続され、情報処理装置10へ会議資料等の画像データを出力する。ここでの出力される画像データは、例えば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等を用いて利用されるデータである。外部入力装置50は、例えば、PCであるが、タブレット、スマートフォン、PDA(Personal Data Assistant)またはUSB(Universal Serial Bus)メモリ等であってもよい。
管理者端末60は、通信ネットワーク2に接続され、画像共有システムの管理者が使用するPC等の通信端末である。管理者端末60は、通信管理装置90が管理する各種情報の登録等の処理を行う。なお、図1において、管理者端末60が一つの端末として設けられている例を説明したが、いずれかの情報処理装置10、伝送端末40または外部入力装置50が管理者端末60としての機能を担ってもよい。
中継装置70は、伝送端末40間でコンテンツデータを中継する装置である。通信管理装置90は、伝送端末40のログイン認証、伝送端末40による通信の管理、および情報処理装置10に入力される描画情報の表示の管理等を行うサーバ装置である。なお、画像共有システムは、通信管理装置90が中継装置70の機能を担い、中継装置70を設けない構成にしてもよい。ここで、中継装置70および通信管理装置90は、それぞれの端末システム3間におけるコンテンツデータの通信の中継および管理を行う管理システム5と称する。
なお、管理システム5は、例えば、通信ネットワーク2に接続された他の装置を含んでもよい。例えば、管理システム5は、伝送端末40に端末用プログラムを送信し、通信管理装置90に通信管理用プログラムを送信するプログラム提供システムを含んで構成されてもよい。また、例えば、管理システム5は、端末システム3、中継装置70および通信管理装置90のうちの少なくとも一つの維持、管理、保守等のメンテナンスを行うメンテナンスシステムを含んで構成されてもよい。さらに、管理システム5は、端末システム3と同じ拠点に設置されてもよいし、異なる拠点に設置されてもよい。
図2は、第1の実施形態に係る画像共有システムにおける各種情報の送受信の状態の一例を示す図である。図2は、情報処理装置10がそれぞれ接続された伝送端末40の間で、中継装置70を介してコンテンツデータが送信される例を示す。なお、伝送端末40間の通信は、これに限られず、P2P(Peer to Peer)等の任意の方式で行われてもよい。
図2に示すように、伝送端末40と通信管理装置90と間の通信は、呼制御用のメッセージ等の各種の管理情報を送受信するための管理情報用のセッションseiが確立される。また、伝送端末40aと伝送端末40bとの間の通信は、中継装置70を介して画像データを送信するためのセッションsed1、および音データを送信するためのセッションsed2が確立される。以下、伝送端末40間でコンテンツデータを送信するためのセッションsed1およびセッションsed2のうち、任意の一以上のセッションをセッションsedと表す。
画像データは、伝送端末40で撮像されたテレビ会議の参加者の画像データ、情報処理装置10で開かれているウィンドウに表示される会議資料等の画像データを含む。そのため、画像データ送信用のセッションsed1は、撮像された画像データを送受信するためのセッション、および会議資料等の画像データを送受信するためのセッションを含んでもよい。
また、画像データは、画像を再生するために必須の基本データおよび基本データと組み合わせることにより再生する画像の品質を高めるための拡張データを有していてもよい。この場合、画像データ送信用のセッションsed1は、基本データを送受信するためのセッション、および拡張データを送受信するためのセッションを含む。なお、上述のように、画像共有システムは、通信管理装置90が中継装置70の機能を有しており、通信管理装置90を介して伝送端末40間のセッションsedが確立されてもよい。
●概略
図3は、第1の実施形態に係る画像共有システムの概略を説明するための概略図である。なお、図3は、第1の実施形態に係る画像共有システムの概略を簡略的に説明したものであり、画像共有システムが実現する機能等の詳細は、後述する図面等を用いて説明する。
図3は、画像共有システムが、サービス提供者とそのサービスの提供を受ける顧客との間で遠隔コミュニケーションを行う例である。画像共有システムは、サービス提供者が使用する情報処理装置10bと顧客が使用する情報処理装置10aに表示される契約書類等の画像データを共有することができる。
サービス提供者と顧客のように、画像共有システムのユーザの立場(役割)がそれぞれ異なる場合、ユーザごとに情報処理装置10に対する描画情報の入力(手書き入力)を制限したい場合がある。例えば、サービス提供者と顧客が、遠隔会議を用いて契約を結ぼうとしているケースを考える。このような利用シーンにおいて、サービス提供者から顧客へ、契約書の画像データを送信し、顧客が受信した画像データである契約書に遠隔から手書き入力する。
この場合、顧客は、契約書に反映される描画情報の入力(手書き入力)ができてよいが、サービス提供者は同様のことができてはいけない。一方で、サービス提供者は、顧客に契約書の記入箇所を指し示すため、契約書には反映されず一定時間表示されたら消えるような描画情報の入力(手書き入力)を行いたいといったニーズが考えられる。
そこで、第1の実施形態に係る画像共有システムは、それぞれの情報処理装置10に入力された手書き内容である描画情報を表示させるための権限を、描画情報を入力した入力側ごとに設定する。そして、画像共有システムは、設定した権限に基づいて、それぞれの情報処理装置10に表示される描画情報の表示を制御する。
図3に示す画像共有システムは、管理システム5が、描画情報を入力した入力側を識別するための入力側情報に、描画情報の表示権限が関連づけられた描画権限管理テーブル505が記憶され管理されている。描画情報を入力した入力側は、例えば、描画情報を入力したユーザ、または描画情報が入力された情報処理装置10である。管理システム5は、入力側情報に関連づけられた表示権限の情報(描画権限情報5050)を、各ユーザ(各情報処理装置10)へ通知する。
情報処理装置10は、取得した描画権限情報5050に基づいて、入力された手書き内容である描画情報の表示を制御する。ここで、サービス提供者側で入力された手書き内容である描画情報の表示権限は、入力された描画情報が所定の条件に基づいて自動的に消去される一時的描画権限であるものとする。所定の条件は、例えば、手書き内容が入力されてから所定の時間経過したことを示す条件である。一方で、顧客側で入力された手書き内容である描画情報の表示権限は、手書き内容を入力した入力側のユーザ以外が消去することができない通常描画権限であるものとする。
サービス提供者が使用する情報処理装置10bは、例えば、顧客側と共有する共有資料(例えば、契約書)の画像データを、顧客が使用する情報処理装置10aに送信する。情報処理装置10aと情報処理装置10bは、情報処理装置10aが送信した画像データを共有して表示させる。
図3に示すように、まず、サービス提供者は、情報処理装置10bに対して、顧客に契約書への署名箇所を指し示すための描画情報の入力(手書き入力)を行う。情報処理装置10bは、入力された描画情報を、情報処理装置10aへ送信する。そして、情報処理装置10bは、サービス提供者側で入力された描画情報を表示させる。
次に、顧客は、情報処理装置10bに対して、サービス提供者によって指し示された署名箇所への描画情報の入力(手書き入力)(署名)を行う。情報処理装置10bは、入力された描画情報(署名)を含む画像データを、情報処理装置10aへ送信する。
ここで、サービス提供者側で入力された描画情報(手書き内容)は、所定の時間経過した場合に消去される。情報処理装置10aおよび情報処理装置10bは、顧客側で入力された手書き内容である描画情報(署名)のみが表示される。これによって、サービス提供者は、顧客によって署名された署名済み契約書を受け取ることができる。
このように、第1の実施形態に係る画像共有システムは、複数の情報処理装置10の間で、情報処理装置10に入力された描画情報の表示が共有されるシステムであって、描画情報を入力した入力側を示す情報に、入力された描画情報の表示権限を示す描画権限情報5050を関連づけて管理している。そして、情報処理装置10は、描画情報を入力した入力側に関連づけられた描画権限情報5050に基づいて、該当する描画情報の表示を制御する。そのため、第1の実施形態に係る画像共有システムは、複数の情報処理装置10において共通して表示される描画情報を含む表示画像に対して、描画情報の入力側が有する描画情報の表示権限に応じて、描画情報の表示を制御することができる。
●ハードウエア構成
続いて、図4乃至図6を用いて、画像共有システムを構成する装置または端末のハードウエア構成を説明する。なお、図4乃至図6に示すハードウエア構成は、各実施形態において同様の構成を備えていてもよく、必要に応じて構成要素が追加または削除されてもよい。
〇情報処理装置のハードウエア構成
図4は、第1の実施形態に係る情報処理装置のハードウエア構成の一例を示す図である。なお、図4は、情報処理装置10が、上述のように、電子黒板である例を説明する。図4に示すように、情報処理装置10は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F(Interface)105および外部機器接続I/F106を備えている。
CPU101は、情報処理装置10全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。SSD104は、情報処理装置10用のプログラム等の各種データを記憶する。情報処理装置10は、例えば、ROM102またはSSD104に記憶された、本発明に係るプログラムが実行されることによって本発明に係る画像共有方法を実現する。ネットワークI/F105は、通信ネットワーク2との通信を制御する。
外部機器接続I/F106は、伝送端末40、外部入力装置50、または外付け機器(マイク2100、スピーカ2200およびカメラ2300)との通信を制御する。情報処理装置10と伝送端末40の機能が一体として構成されている場合、情報処理装置10は、マイク2100、スピーカ2200およびカメラ2300等を用いて遠隔会議を実現する。なお、情報処理装置10に伝送端末40が接続されている場合、情報処理装置10は、各種外付け機器(マイク2100、スピーカ2200およびカメラ2300)を備えていなくてもよい。
また、情報処理装置10は、キャプチャデバイス109、GPU(Graphics Processing Unit)110、ディスプレイコントローラ111、接触センサ113、センサコントローラ112、電子ペンコントローラ114、近距離通信回路107および近距離通信回路107のアンテナ107aを備えている。
キャプチャデバイス109は、画像情報を静止画として、ディスプレイ115に表示させる。キャプチャデバイス109は、映像情報を静止画または動画として、ディスプレイ115に表示させる。GPU110は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ111は、GPU110からの出力画像をディスプレイ115等へ出力するために画面表示の制御および管理を行う。接触センサ113は、ディスプレイ115上に電子ペン2400やユーザの手H等が接触したことを検知する。センサコントローラ112は、接触センサ113の処理を制御する。
接触センサ113は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ115の上側両端部に設置された2つ受発光装置が、ディスプレイ115に平行して複数の赤外線を放射し、ディスプレイ115の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻ってくる光を受光する方法である。接触センサ113は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ112に出力する。そして、センサコントローラ112は、物体の接触位置である座標位置を特定する。
電子ペンコントローラ114は、電子ペン2400と通信することで、ディスプレイ115へのペン先のタッチ、またはペン尻のタッチの有無を判断する。近距離通信回路107は、NFC(Near Field Communication)、Bluetooth(登録商標)等の通信回路である。
さらに、情報処理装置10は、バスライン108を備えている。バスライン108は、図4に示すように、CPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサ113は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、または接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いてもよい。また、電子ペンコントローラ114は、電子ペン2400のペン先またはペン尻だけでなく、電子ペン2400のユーザが握る部分、またはその他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
〇伝送端末のハードウエア構成
図5は、第1の実施形態に係る伝送端末のハードウエア構成の一例を示す図である。なお、図5は、伝送端末40が、上述のように、テレビ会議端末(ビデオ会議端末)である例を説明する。図5に示すように、伝送端末40は、CPU401、ROM402、RAM403、フラッシュメモリ404、SSD405、メディアI/F407、操作ボタン408、電源スイッチ409、バスライン410、ネットワークI/F411、カメラ412、撮像素子I/F413、マイク414、スピーカ415、音入出力I/F416、ディスプレイI/F417、外部機器接続I/F418、近距離通信回路419、および近距離通信回路419のアンテナ419aを備えている。
CPU401は、伝送端末40全体の動作を制御する。ROM402は、IPL等のCPU401の駆動に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。フラッシュメモリ404は、通信用プログラム、画像データおよび音データ等の各種データを記憶する。SSD405は、CPU401の制御にしたがってフラッシュメモリ404に対する各種データの読み出しまたは書き込みを制御する。なお、SSD405は、HDD(Hard Disk Drive)を用いてもよい。
メディアI/F407は、フラッシュメモリ等の記録メディア406に対するデータの読み出しまたは書き込み(記憶)を行うためのインターフェースである。操作ボタン408は、伝送端末40の宛先を選択する場合等に操作されるボタンである。電源スイッチ409は、伝送端末40の電源のON/OFFを切り換えるためのスイッチである。
ネットワークI/F411は、通信ネットワーク2を利用してデータ通信を行うためのインターフェースである。カメラ412は、CPU401の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F413は、カメラ412の駆動を制御する回路である。マイク414は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F416は、CPU401の制御に従ってマイク414およびスピーカ415との間で音信号の入出力を処理する回路である。
ディスプレイI/F417は、CPU401の制御に従って外付けのディスプレイ420に画像データを送信する回路である。外部機器接続I/F418は、各種の外部機器を接続するためのインターフェースである。近距離通信回路419は、NFC、Bluetooth等の通信回路である。
また、バスライン410は、図5に示すCPU401等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
ディスプレイ420は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示手段の一種である。また、ディスプレイ420は、ケーブル420cによってディスプレイI/F417に接続される。このケーブル420cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMIまたはDVI信号用のケーブルであってもよい。なお、外部機器接続I/F418に情報処理装置10が接続されている場合、情報処理装置10のディスプレイ115が表示手段としての機能を担うため、伝送端末40は、ディスプレイ420を設けない構成にしてもよい。
なお、カメラ412は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含む。カメラ412は、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)等が用いられる。外部機器接続I/F418は、USBケーブル等によって、外付けカメラ、外付けマイクおよび外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合、外付けカメラは、CPU401の制御に従って、内蔵型のカメラ412に優先して駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合は、CPU401の制御に従って、それぞれが内蔵型のマイク414や内蔵型のスピーカ415に優先して駆動する。
記録メディア406は、伝送端末40に着脱自在な構成となっている。また、CPU401の制御にしたがってデータの読み出しまたは書き込みを行う不揮発性メモリであれば、フラッシュメモリ404に限らず、EEPROM(Electrically Erasable Programmable Read-Only Memory)等を用いてもよい。
〇通信管理装置のハードウエア構成
図6は、第1の実施形態に係る通信管理装置のハードウエア構成の一例を示す図である。なお、通信管理装置90、外部入力装置50、管理者端末60および中継装置70は、基本的に同様のハードウエア構成を有している。そのため、以降の説明において、外部入力装置50、管理者端末60および中継装置70のハードウエア構成について説明する場合は、図6に示す各構成を用いて説明する。
通信管理装置90は、コンピュータによって構築されており、図6に示すように、CPU901、ROM902、RAM903、HD904、HDD905、記録メディア906、メディアI/F907、ディスプレイ908、ネットワークI/F909、キーボード911、マウス912、CD-ROM(Compact Disc-Read Only Memory)ドライブ914およびバスライン910を備えている。
CPU901は、通信管理装置90全体の動作を制御する。ROM902は、IPL等のCPU901の駆動に用いられるプログラムを記憶する。RAM903は、CPU901のワークエリアとして使用される。HD904は、プログラム等の各種データを記憶する。HDD905は、CPU901の制御にしたがってHD904に対する各種データの読み出しまたは書き込みを制御する。メディアI/F907は、フラッシュメモリ等の記録メディア906に対するデータの読み出しまたは書き込み(記憶)を制御する。
ディスプレイ908は、カーソル、メニュー、ウィンドウ、文字または画像等の各種情報を表示する。ネットワークI/F909は、通信ネットワーク2を利用してデータ通信をするためのインターフェースである。キーボード911は、文字、数値または各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス912は、各種指示の選択もしくは実行、処理対象の選択、またはカーソルの移動等を行う入力手段の一種である。CD-ROMドライブ914は、着脱可能な記録媒体の一例としてのCD-ROM913に対する各種データの読み出しまたは書き込みを制御する。
また、通信管理装置90は、バスライン910を備えている。バスライン910は、図6に示すCPU901等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
●機能構成
続いて、第1の実施形態に係る画像共有システムの機能構成について説明する。図7は、第1の実施形態に係る画像共有システムの機能構成の一例を示す図である。図7は、外部入力装置50が接続された情報処理装置10が、伝送端末40を介して、通信管理装置90と通信することが可能な状態を示す。
図7に示す情報処理装置10により実現される機能は、受信部11、送信部12、入力受付部13、生成部14、表示制御部15、記憶・読出部16および記憶部1000を含む。
受信部11は、外部の装置または端末から送信された各種データを受信する機能である。受信部11は、例えば、他の端末システム3から送信された画像データを、伝送端末40を介して受信する。また、受信部11は、通信管理装置90から送信された描画権限情報5050を、伝送端末40を介して受信する。さらに、受信部11は、外部入力装置50から送信された画像データを受信する。
送信部12は、情報処理装置10において処理された表示画像等の画像データを、外部の装置または端末へ送信する機能である。送信部12は、例えば、入力(手書き入力)された描画情報を含む画像データを、接続された伝送端末40へ送信する。受信部11および送信部12は、例えば、図4に示した外部機器接続I/F106およびCPU101で実行されるプログラム等により実現される。
入力受付部13は、図4に示したディスプレイ115に対する描画情報の入力(手書き入力)を受け付ける機能である。入力受付部13は、例えば、図4に示したセンサコントローラ112、接触センサ113、電子ペンコントローラ114およびCPU101で実行されるプログラム等により実現される。入力受付部13は、受付手段の一例である。
生成部14は、図4に示したディスプレイ115に表示させる表示画像を生成する機能である。生成部14は、例えば、後述する描画権限情報5050に応じた描画情報の入力を受け付ける入力画面(後述する図19に示すUI画像(A))を生成する。生成部14は、例えば、図4に示したCPU101で実行されるプログラム等により実現される。生成部14は、生成手段の一例である。
表示制御部15は、ユーザによる入力操作を受け付ける操作画面、外部入力装置50から出力された画像データおよびユーザによる描画情報の入力を受け付ける入力画面を、図4に示したディスプレイ115に表示させる機能である。表示制御部15は、例えば、図4に示したディスプレイコントローラ111およびCPU101で実行されるプログラム等により実現される。表示制御部15は、表示制御手段の一例である。
記憶・読出部16は、記憶部1000に各種データを記憶し、記憶部1000から各種データを読み出す機能である。記憶部1000は、記憶・読出部16および記憶部1000は、例えば、図4に示したROM102、SSD104およびCPU101で実行されるプログラム等により実現される。また、記憶部1000は、描画権限管理DB1001および画像データ管理DB1002を構築している。
描画権限管理DB1001は、入力(手書き入力)された描画情報を、ディスプレイ115に表示させるための描画権限情報5050を記憶して管理している。情報処理装置10は、伝送端末40を介して、描画権限管理DB1001に記憶される描画権限情報5050を、通信管理装置90から取得する。描画権限情報5050の詳細は、後述する。
画像データ管理DB1002は、図4に示したディスプレイ115に表示させる画像データを記憶して管理している。また、画像データ管理DB1002は、受信部11によって受信された画像データを記憶して管理している。さらに、画像データ管理DB1002は、後述するページデータ(図20参照)、ストロークデータ(図21参照)、座標配列データ(図22参照)およびメディアデータ(図23参照)等の描画データを記憶して管理している。
次に、伝送端末40の機能構成について説明する。図7に示す伝送端末40により実現される機能は、送受信部41、入出力部42、ログイン要求部43、制御部44、記憶・読出部45および記憶部4000を含む。
送受信部41は、通信ネットワーク2を経由して、他の装置との間でデータをやり取りする機能である。送受信部41は、例えば、図5に示したネットワークI/F411によって実現され、通信ネットワーク2を介して他の端末、装置またはシステムと各種データ(情報)の送受信を行う。
入出力部42は、外部からの各種入力を受け付けるとともに、外部へ各種データを出力する機能である。入出力部42は、例えば、図5に示した操作ボタン408、および電源スイッチ409によって実現され、ユーザによる各種入力を受け付ける。例えば、ユーザが、図5に示した電源スイッチ409をONにした場合、入出力部42は、電源ONを受け付けて、電源をONにする。また、入出力部42は、図5に示したCPU401からの命令、および外部機器接続I/F418により実現され、情報処理装置10との間で、コンテンツデータの入出力を行う。
ログイン要求部43は、図5に示したCPU401からの命令によって実現され、上記電源ONの受け付けを契機として、送受信部41から通信ネットワーク2を経由して通信管理装置90へ、ログインを要求する旨を示すログイン要求情報、および伝送端末40の現時点のIPアドレスを自動的に送信する。
制御部44は、図5に示したCPU401からの命令によって実現され、伝送端末40により実行される動作および処理を制御する機能である。
記憶・読出部45は、記憶部4000に各種データを記憶し、記憶部4000から各種データを読み出す機能である。記憶部4000は、例えば、他の伝送端末40との間で通信を行うための認証処理に用いる認証情報(後述する通信IDおよびパスワード等)等を記憶している。記憶・読出部45および記憶部4000は、例えば、図5に示したROM402、フラッシュメモリ404、SSD405およびCPU101で実行されるプログラム等により実現される。
続いて、通信管理装置90の機能構成について説明する。図7に示す通信管理装置90により実現される機能は、送受信部91、認証部92、描画権限管理部93、制御部94、記憶・読出部95および記憶部9000を含む。
送受信部91は、通信ネットワーク2を経由して、他の装置との間でデータをやり取りする機能である。送受信部91は、例えば、図6に示したCPU901からの命令およびネットワークI/F909により、通信ネットワーク2を介して他の端末、装置またはシステムと各種データ(情報)の送受信を行う。
認証部92は、図6に示したCPU901からの命令により、ログイン要求元の認証を行う機能である。認証部92は、送受信部91によってログイン要求情報を受信した場合、後述する認証管理テーブル501を用いて、ログイン要求元の認証処理を実行する。
描画権限管理部93は、図6に示したCPU901からの命令により、情報処理装置10に描画情報を入力した入力側が有する描画情報の表示権限を管理する機能である。描画権限管理部93は、例えば、後述する描画権限管理テーブル505に描画権限情報5050の登録を行う。また、描画権限管理部93は、例えば、伝送端末40間におけるセッションが確立した場合、描画権限管理テーブル505に含まれる描画権限情報5050の読み出しを行う。読み出された描画権限情報5050は、伝送端末40を介して、対応する情報処理装置10へ、それぞれ送信される。情報処理装置10は、受信した描画権限情報5050を、描画権限管理DB1001に記憶する。
制御部94は、図6に示したCPU901からの命令によって実現され、通信管理装置90により実行される動作および処理を制御する機能である。
記憶・読出部95は、図6に示したCPU901からの命令によって、記憶部9000に各種データを記憶するとともに、記憶部9000に記憶された各種データを読み出す処理を行う機能である。記憶・読出部95および記憶部9000は、例えば、図6に示したROM902、HD904、HDD905およびCPU901で実行されるプログラム等により実現される。記憶部9000は、記憶手段の一例である。また、記憶部9000は、認証管理DB9001、状態管理DB9002、宛先リスト管理DB9003、セッション管理DB9004および描画権限管理DB9005が構築されている。
なお、図7は、画像共有システムの一つの端末システム3を構成する装置または端末を例として説明したが、画像共有システムに含まれる他の端末システム3を構成する装置および端末は、それぞれ同様の機能を備える。また、図7に示す画像共有システムは、情報処理装置10と伝送端末40が別々に設けられている例を説明したが、例えば、情報処理装置10に伝送端末40の機能が含まれていてもよい。
〇認証管理テーブル
図8は、第1の実施形態に係る認証管理テーブルの一例を示す図である。記憶部9000は、図8に示す認証管理テーブル501によって構成される認証管理DB9001を構築している。認証管理テーブル501は、通信管理装置90によって管理される伝送端末40の通信IDに、認証用のパスワードを関連づけて記憶している。
通信IDは、画像共有システムにおいて、通信先を特定するための情報である。通信IDは、例えば、伝送端末40の識別情報(端末ID)、伝送端末40のユーザの識別情報(ユーザID)およびアカウント名である。なお、図8に示す認証管理テーブル501は、通信IDとして、端末ID、ユーザIDおよびアカウント名が管理されている例を説明したが、少なくともいずれかが含まれていればよい。また、端末IDは、伝送端末40に接続された情報処理装置10を識別するための端末IDであってもよい。以下、通信IDは、通信先を特定するための情報として、伝送端末40の識別情報(端末ID)が用いられるものとして説明する。また、伝送端末40aに対応する通信IDは、端末ID「01aa」であり、伝送端末40bに対応する通信IDは、端末ID「01bb」である場合について説明する。
〇状態管理テーブル
図9は、第1の実施形態に係る状態管理テーブルの一例を示す図である。記憶部9000は、図9に示す状態管理テーブル502によって構成される状態管理DB9002を構築している。状態管理テーブル502は、伝送端末40の通信IDごとに、端末の稼動状態、後述のログイン要求情報が通信管理装置90で受信された受信日時、および端末のIPアドレスを関連づけて記憶している。なお、通信IDは、伝送端末40が通信管理装置90を利用して通信を行うために、伝送端末40が通信管理装置90に登録される際に記憶される。
〇宛先リスト管理テーブル
図10は、第1の実施形態に係る宛先リスト管理テーブルの一例を示す図である。記憶部9000は、図10に示す宛先リスト管理テーブル503によって構成される宛先リスト管理DB9003を構築している。宛先リスト管理テーブル503は、通信の開始を要求する要求元の通信IDに対して、通信相手の候補として登録されている全ての宛先の通信IDを関連づけて記憶している。通信相手の候補は、任意の要求元から通信管理装置90に対する追加または削除の要請により、追加または削除されることで更新される。
〇セッション管理テーブル
図11は、第1の実施形態に係るセッション管理テーブルの一例を示す図である。記憶部9000は、図11に示すセッション管理テーブル504によって構成されるセッション管理DB9004を構築している。セッション管理テーブル504は、通信データ(画像データおよび音声データ)の中継に使用される中継装置70の中継装置ID、要求元の通信ID、宛先の通信ID、宛先において画像データが受信される際の受信の遅延時間(ms)、および宛先から送信された遅延時間を示す遅延情報を通信管理装置90で受信した受信日時(遅延情報受信日時)を関連づけて記憶している。
なお、二つの伝送端末40の間で通信を行う場合、上記宛先ではなく要求元から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理してもよい。ただし、三つ以上の伝送端末40の間で通信を行う場合、画像データおよび音声データの受信側の伝送端末40から送信されてきた遅延情報に基づいて、遅延情報の受信日時が管理される。
〇描画権限管理テーブル
図12は、第1の実施形態に係る描画権限管理テーブルの一例を示す図である。記憶部9000は、図12に示す描画権限管理テーブル505によって構成される描画権限管理DB9005を構築している。描画権限管理テーブル505は、通信IDごとに、名称および描画権限情報5050を関連づけて記憶している。
通信IDは、図8に示した認証情報に含まれる通信IDと同様のものである。名称は、通信IDに対応する通信先の名称である。名称は、管理者端末60によって登録される。なお、名称は、宛先リストの登録時ユーザによって登録されてもよい。
描画権限情報5050は、入力された描画情報の表示権限を示す権限情報である。表示権限は、入力された描画情報をディスプレイ115に表示させるための権限である。権限情報は、例えば、描画情報が入力された入力側のユーザまたは情報処理装置10によって、入力された描画情報の表示権限が異なる。言い換えれば、権限情報は、通信IDに対応するユーザまたは情報処理装置10が、描画情報を入力可能な描画種別を示すものである。描画種別は、例えば、入力された描画情報をユーザによって消去されるまで表示させる通常描画、または入力された描画情報を一定時間経過した場合に自動的に消去するアノテーション描画等が含まれる。
描画権限情報5050は、通常描画および一時的描画の可否情報を含む。通常描画は、手書き内容である描画情報を入力したユーザ以外が入力された描画情報を消去することができない描画種別である。すなわち、通常描画の表示権限は、他の装置によって描画された描画情報の消去権限を有さない表示権限である。
一方で、一時的描画は、入力された手書き内容である描画情報が、所定の条件に基づいて自動的に消去される描画種別である。一時的描画は、例えば、アノテーション描画である。すなわち、一時的描画の表示権限は、表示された描画情報が所定の条件に基づいて消去される表示権限である。
所定の条件は、例えば、描画情報が入力されてから、所定の時間を経過したことを示す条件である。また、所定の条件は、例えば、描画情報が入力された入力側とは異なるユーザ(情報処理装置10)によって描画情報の入力が行われたことを示す条件であってもよい。なお、描画権限管理テーブル505は、一時的描画による描画情報が消去される条件の内容を含んで構成されてもよい。この場合、一時的描画による描画情報が消去される条件は、通信IDごとに異なる内容にしてもよい。
図12において、例えば、通信ID「01aa」、名称「XツーリストA店」は、通常描画が可能(可)であり、一時的描画が可能(可)である。一方で、通信ID「01bb」、名称「コンシェルジュB」の端末は、通常描画が不可能(不可)であり、一時的描画が可能(可)である。また、通信ID「01ba」、名称「コンシェルジュC」の端末は、通常描画が不可能(不可)であり、一時的描画が可能(可)である。ここで、通常描画の可否情報は、第1の権限の一例であり、一時的描画の可否情報は、第2の権限の一例である。また、通信IDまたは名称は、描画情報が入力された入力側を示す入力側情報の一例である。
描画権限管理テーブル505に含まれる描画権限情報5050は、関連づけられた通信IDに対応する伝送端末40に、それぞれ送信される。描画権限情報5050を受信した伝送端末40に接続された情報処理装置10は、上述の描画権限管理DB1001に描画権限情報5050を記憶して管理する。ユーザは、情報処理装置10が有する表示権限に対応する描画種別に基づいて、描画情報の入力(手書き入力)を行うことができる。
なお、描画権限管理テーブル505に含まれる描画権限情報5050は、これに限られず、描画情報の入力ができない旨の権限を付与してもよい。また、描画権限管理テーブル505は、宛先リスト管理テーブル503を含んで、一つのテーブルとして有していてもよい。
●画像共有方法
続いて、画像共有システムにおける画像共有方法について説明する。図13は、第1の実施形態に係る画像共有システムにおける画像共有処理の一例を示すフローチャートである。なお、図13は、複数の情報処理装置10において、描画情報(手書き内容)が共有される処理を簡略的に説明したものである。各ステップの処理の詳細は、後述の図面を用いて説明する。
まず、ステップS101において、情報処理装置10aに接続された伝送端末40aは、他の伝送端末との通信を開始するための処理を実行する。具体的には、伝送端末40aは、例えば、会議資料等の画像データの共有先である情報処理装置10bに接続された伝送端末40bとの間で通信を開始するため、伝送端末40bとの間でセッションを確立する。
ステップS102において、他の伝送端末40とのセッションが確立された伝送端末40aに接続した情報処理装置10aは、自らの描画権限情報5050に基づく描画種別である入力方式を選択する。具体的には、情報処理装置10aは、通信管理装置90の記憶部9000に記憶された描画権限管理テーブル505に含まれる描画権限情報5050を取得する。そして、情報処理装置10aは、取得した描画権限情報5050に基づいて、描画情報の入力を行うための描画種別である入力方式を選択する。描画種別は、例えば、図12に示した通常描画および一時的描画である。
ステップS103において、情報処理装置10aは、ステップS102の処理において選択した入力方式に基づいて、ユーザからの描画情報の入力を受け付ける。
ステップS104において、情報処理装置10aに接続された伝送端末40aは、セッション相手である伝送端末40bへ、受け付けられた描画情報の画像データを送信する。そして、伝送端末40bに接続した情報処理装置10bは、伝送端末40bから出力された情報処理装置10aに描画された描画画面を表示させる。
これによって、画像共有システムは、描画情報が入力された入力側のユーザ(情報処理装置10)が権限を有する入力方式に応じて、入力された描画情報を、情報処理装置10aと情報処理装置10bのそれぞれに共有して表示させることができる。
〇セッション確立処理
ここで、図13に示したステップ101における伝送端末40間のセッション確立処理の詳細を説明する。図14は、第1の実施形態に係る画像共有システムにおいて、伝送端末間で通信を開始する準備を行い、セッションを確立する処理の一例を示すシーケンス図である。図14は、伝送端末40aから伝送端末40bへ、通信の開始要求が行われる場合の例を説明する。
ステップS201において、伝送端末40aのユーザが、電源スイッチ409をONにした場合、入出力部42は、電源オンを受け付け、伝送端末40aの電源をONにする。
ステップS202において、電源オンを受け付けた場合、伝送端末40aのログイン要求部43は、通信ネットワーク2を介して通信管理装置90へ、ログイン要求を示すログイン要求情報を送信する。このログイン要求情報は、要求元端末である伝送端末40aを識別するための端末IDおよびパスワードを含む。端末IDおよびパスワードは、記憶・読出部45を介して記憶部4000から読み出され、送受信部41に送られたデータである。なお、端末IDは、要求元を識別するための通信IDの一例であり、要求元端末(伝送端末40a)を利用するユーザのユーザIDまたはアカウント名等であってもよい。
伝送端末40aから通信管理装置90へログイン要求情報が送信された場合、受信側である通信管理装置90は、送信側である伝送端末40aのIPアドレスを把握することができる。また、ログイン要求は、上述のように、電源オンではなく、ユーザの指示入力を契機としてもよい。さらに、端末IDおよびパスワードは、要求元端末(伝送端末40a)に、ユーザが入力できるようにしてもよい。
ステップS203において、通信管理装置90の認証部92は、送受信部91を介して受信したログイン要求情報に含まれる端末IDおよびパスワードを検索キーとして、認証管理テーブル501を検索する。そして、認証部92は、認証管理テーブル501に同一の端末IDおよび同一のパスワードが管理されているかを判断することによって、認証処理を行う。すなわち、認証部92は、認証管理テーブル501に同一の端末IDおよび同一のパスワードが管理されており、正当な利用権限を有する伝送端末40からのログイン要求であると判断した場合、認証処理を行う。
ステップS204において、認証部92によって同一の端末IDおよび同一のパスワードが管理されていると判断された場合、記憶・読出部95は、状態管理テーブル502に伝送端末40aの端末ID、端末の種類および宛先名で示されるレコードごとに、稼動状態、上記ログイン要求情報が受信された受信日時および伝送端末40aのIPアドレスを関連づけて記憶する。
ステップS205において、通信管理装置90の送受信部91は、認証部92によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、ログイン要求してきた要求元端末(伝送端末40a)へ送信する。
ステップS206において、通信管理装置90の記憶・読出部95は、ログイン要求してきた要求元端末(伝送端末40a)の端末ID「01aa」に基づいて、宛先リスト管理テーブル503を検索することにより、上記要求元端末(伝送端末40a)の端末ID「01aa」を通信相手の候補として登録している他の要求元端末の端末IDを抽出する。以下、ステップS206において抽出された端末IDが、伝送端末40bの端末ID「01bb」である場合について、説明する。
ステップS207において、送受信部91は、伝送端末40bへ、要求元端末(伝送端末40a)の端末ID「01aa」と、要求元端末(伝送端末40a)の稼動状態を示した稼動状態情報とが含まれた「端末の状態情報」を送信する。これにより、伝送端末40bの送受信部41は、伝送端末40aの状態情報を受信する。
この後、伝送端末40aは、通信管理装置90の宛先リスト管理テーブル503に登録された宛先端末IDを要求し、宛先リスト情報(端末ID、宛先名)および各端末の稼働状態を取得する。伝送端末40aは、宛先リストを一覧表示する宛先リスト画面をディスプレイ420に表示する。ステップS208において、ユーザが、宛先リスト一覧の中から通信を開始する宛先の端末を選択した場合、入出力部42は、宛先端末(伝送端末40b)との通信を開始する要求を受け付ける。
ステップS209において要求元端末(伝送端末40a)の送受信部41は、要求元端末(伝送端末40a)の端末ID「01aa」、および宛先端末(伝送端末40b)の端末ID「01bb」が含まれ、通信を開始したい旨を示す開始要求情報を、通信管理装置90へ送信する。これにより、通信管理装置90の送受信部91は、上記開始要求情報を受信するとともに、送信元である要求元端末(伝送端末40a)のIPアドレス「1.2.1.3」を受信することができる。
ステップS210において、記憶・読出部95は、状態管理テーブル502のうち、開始要求情報に含まれる要求元端末(伝送端末40a)の端末ID「01aa」および宛先端末(伝送端末40b)の端末ID「01bb」のそれぞれに対応するレコードの稼動状態のフィールド部分を、ともに「オンライン(通信可能)」から「オンライン(通信中)」に変更する。
ステップS211において、記憶・読出部95は、記憶部9000のセッション管理テーブル504に、利用される中継装置70の中継装置ID「111a」、要求元端末(伝送端末40a)の端末ID「01aa」および宛先端末(伝送端末40b)の端末ID「01bb」を関連づけて記憶する。この場合、利用される中継装置70は、例えば、要求元端末(伝送端末40a)のIPアドレスに近いIPアドレスの中継装置が選ばれる。
ステップS212において、描画権限管理部93は、記憶部9000の描画権限管理テーブル505に記憶された、開始要求情報に含まれる要求元端末(伝送端末40a)の端末ID「01aa」および宛先端末(伝送端末40b)の端末ID「01bb」のそれぞれに対応する権限情報を読み出す。
ステップS213において、通信管理装置90の送受信部91は、中継装置70に対して、セッション初期化要求情報を送信する。これにより、中継装置70は、セッション初期化要求情報を受信する。このセッション初期化要求情報は、中継装置70の通信セッションを初期化する命令である。セッション初期化要求情報は、要求元端末(伝送端末40a)のIPアドレス「1.2.1.3」、宛先端末(伝送端末40b)のIPアドレス「1.3.2.3」、並びに要求元端末(伝送端末40a)および宛先端末(伝送端末40b)の描画権限情報5050が含まれる。各IPアドレスは、状態管理テーブル502において、ステップS209によって受信された要求元端末(伝送端末40a)の端末IDおよび宛先端末(伝送端末40b)の端末IDにそれぞれ対応するIPアドレスである。
ステップS214において、中継装置70は、ステップS213によって受信した要求元端末(伝送端末40a)のIPアドレス「1.2.1.3」に基づいて、要求元端末(伝送端末40a)へセッション開始指示情報および要求元端末(伝送端末40a)の描画権限情報5050を送信する。このセッション開始指示情報は、要求元端末(伝送端末40a)に通信セッションを開始する指示である。伝送端末40aは、受信した描画権限情報5050を、情報処理装置10aへ出力する。情報処理装置10aは、伝送端末40aから出力された描画権限情報5050を、描画権限管理DB1001に記憶して管理する。また、中継装置70は、宛先端末(伝送端末40b)へ、中継装置70のIPアドレス「1.2.1.2」も送信する。
ステップS215において、中継装置70は、ステップS213によって受信した宛先端末(伝送端末40b)のIPアドレス「1.3.2.3」に基づいて、宛先端末(伝送端末40b)にセッション開始指示情報および宛先端末(伝送端末40b)の描画権限情報5050を送信する。このセッション開始指示情報は、宛先端末(伝送端末40b)に通信セッションを開始する指示である。伝送端末40bは、受信した描画権限情報5050を、情報処理装置10bへ出力する。情報処理装置10bは、伝送端末40bから出力された描画権限情報5050を、描画権限管理DB1001に記憶して管理する。また、中継装置70は、宛先端末(伝送端末40b)へ、中継装置70のIPアドレス「1.2.1.2」も送信する。
ステップS216において、要求元端末(伝送端末40a)は、中継装置70との間で、第1のセッションsed1が確立される。また、ステップS217において、宛先端末(伝送端末40b)は、中継装置70との間で、第2のセッションsed2が確立される。これにより、要求元端末(伝送端末40a)と宛先端末(伝送端末40b)との間で通信が開始され、通信画面が要求元端末(伝送端末40a)側と宛先端末(伝送端末40b)に接続された情報処理装置10のディスプレイ115に表示される。
る。
これによって、要求元端末である伝送端末40aと宛先端末である伝送端末40bは、中継装置70を介した通信を確立することができる。なお、通信管理装置90に中継装置70の機能が含まれる場合、伝送端末40aと伝送端末40bは、通信管理装置90を介した通信を確立する。
〇表示画像の共有処理
図15は、第1の実施形態に係る画像共有システムにおいて、複数の情報処理装置において表示画像を共有する処理の一例を示すシーケンス図である。図15は、伝送端末40aに接続されている情報処理装置10aが表示している表示画面を、伝送端末40bに接続されている情報処理装置10bに表示させる例を説明する。
図14に示したように、中継装置70が決定された場合、ステップS301において、通信管理装置90の送受信部91は、中継装置ID「111a」、宛先端末(伝送端末40b)のIPアドレス「1.3.2.4」を、伝送端末40aの送受信部41へ、送信する。ステップS302において、伝送端末40aの記憶・読出部45は、送受信部41によって受信された中継装置ID「111a」および宛先端末(伝送端末40b)のIPアドレス「1.3.2.4」を、記憶部4000に記憶させる。
ステップS303において、外部入力装置50aは、記憶された会議資料等の画像データを、情報処理装置10aへ出力する。ステップS304において、情報処理装置10aの生成部14は、出力された画像データを用いて表示画像を生成する。ステップS305において、情報処理装置10aの表示制御部15は、生成された生成画像を、ディスプレイ115に表示させる。
ステップS306において、外部入力装置50aから送信された画像データが受信部11によって受信された場合、情報処理装置10aの送信部12は、受信された出力画像を伝送端末40aへ送信する。なお、情報処理装置10aにおけるステップS304~ステップS305の処理とステップS306の処理の順序は、前後してもよく、または並行して行われてもよい。
ステップS307において、伝送端末40aの記憶・読出部45は、情報処理装置10aから出力された画像データの入力が入出力部42によって検知された場合、記憶部4000に記憶されている中継装置ID「111a」および宛先となる伝送端末40bのIPアドレス「1.3.2.4」を取得する。
ステップS308において、伝送端末40aの送受信部41は、ステップS307において取得された中継装置ID「111a」で示される中継装置70へ、画像データおよび宛先端末(伝送端末40b)のIPアドレス「1.3.2.4」を送信する。
ステップS309において、中継装置70は、受信した画像データを、宛先端末(伝送端末40b)へ送信する。ステップS310において、伝送端末40bは、情報処理装置10bへ受信した画像データを出力する。
ステップS311において、情報処理装置10bの生成部14は、受信部11によって受信された画像データを用いて、ディスプレイ115に表示させる表示画像を生成する。ステップS312において、情報処理装置10bの表示制御部15は、生成部14によって生成された生成画像を、ディスプレイ115に表示させる。
これによって、情報処理装置10aと情報処理装置10bは、それぞれに接続された伝送端末40aと伝送端末40bとの間で画像データを送受信することによって、それぞれに表示される表示画像を共有することができる。
〇描画情報の表示制御
次に、図16乃至図25を用いて、複数の拠点に設定された情報処理装置10の間において共有して表示される描画情報の表示制御について説明する。図16は、第1の実施形態に係る情報処理装置において、描画情報の入力を受け付ける入力画面の生成処理の一例を示すフローチャートである。
ステップS401において、情報処理装置10の生成部14は、受信部11によって画像データが受信された場合、処理をステップS402へ移行させる。
ステップS402において、情報処理装置10の生成部14は、記憶部1000に記憶された描画権限管理テーブル505の読み出しを行う。具体的には、生成部14は、記憶・読出部16へ描画権限情報5050の読出要求を出力する。記憶・読出部16は、出力された読出要求を検知した場合、記憶部9000に含まれる描画権限管理DB9005に記憶された描画権限情報5050を読み出す。そして、記憶・読出部16は、読み出した描画権限管理テーブル505を、生成部14へ出力する。
ステップS403において、生成部14は、読み出した描画権限管理テーブル505に含まれる描画権限情報5050に基づいて通常描画が可能であると判断した場合、処理をステップS404へ移行させる。ステップS404において、生成部14は、表示画像に対して、通常描画入力可能アイコン(後述する図17に示す操作アイコン603が選択可能な状態)を設定する。一方で、ステップS403において、生成部14は、読み出した描画権限管理テーブル505に含まれる描画権限情報5050に基づいて通常描画が不可能であると判断した場合、処理をステップS405へ移行させる。ステップS405において、生成部14は、表示画像に対して、通常描画入力不可アイコン(後述する図17に示す操作アイコン603が選択できない状態)を設定する。
ステップS406において、生成部14は、読み出した描画権限管理テーブル505に含まれる描画権限情報5050に基づいて一時的描画が可能であると判断した場合、処理をステップS407へ移行させる。ステップS407において、生成部14は、表示画像に対して、一時的描画入力可能アイコン(後述する図17に示す操作アイコン602が選択可能な状態)を設定する。一方で、ステップS406において、生成部14は、読み出した描画権限管理テーブル505に含まれる描画権限情報5050に基づいて、一時的描画が不可能であると判断した場合、処理をステップS408へ移行させる。ステップS408において、生成部14は、表示画像に対して、一時的描画入力不可のアイコン(後述する図17に示す操作アイコン603が選択できない状態)を設定する。ステップS409において、生成部14は、設定内容に基づいて、入力画面を生成する。
なお、入力画面は、それぞれの描画権限情報5050に対応する画像データとして、記憶部9000に予め記憶されていてもよい。この場合、生成部14は、ステップS402において読み出した描画権限管理テーブル505に含まれる描画権限情報5050に対応する画像データを選択して、記憶部9000から読み出す。
図17および図18を用いて、各拠点の情報処理装置10に表示される表示画像の例を説明する。図17は、第1の実施形態に係る通常描画権限および一時的描画権限を有する情報処理装置に表示される表示画面の一例を示す図である。図17に示す表示画面は、例えば、サービス提供を受ける顧客環境に設置される情報処理装置10aにおいて表示される表示画面である。
図17(a)は、図16に示したステップS409の処理によって生成された表示画像の一例を示す。図17(a)に示す表示画像は、描画対象の画像データ601に描画種別をユーザに選択させるための操作アイコンが付加されている。操作アイコン602は、一時的描画情報の入力を行うためのアイコンであり、操作アイコン603は、通常描画情報の入力を行うためのアイコンである。図17(a)に示す表示画像は、操作アイコン602と操作アイコン603の双方が選択可能な状態である。
図17(b)は、相手拠点において描画情報の入力が行われた場合の表示画像である。図17(b)に示す表示画像に含まれる描画情報605は、相手拠点において手書き入力された描画情報である。また、図17(b)に示す表示画面は、相手拠点の名称604が表示されている。図17(b)に示す表示画面は、例えば、相手拠点の名称604として「コンシェルジュB」が表示されている。
図17(c)は、自拠点において描画情報の入力を実施した場合の表示画面である。図17(c)に示す表示画像は、通常描画の入力を行うための操作アイコン603がユーザによって選択された状態である。図17(c)に示す表示画面は、操作アイコン603がユーザによって選択されることによって、操作アイコン603の表示が変化する。そして、自拠点のユーザが描画情報の入力を行った描画情報606は、情報処理装置10に反映される。描画情報606は、通常描画権限を有する描画情報である。
相手拠点による手書き内容である描画情報605は、一時的手書き権限であるため、所定の時間が経過することにより、消去される。描画情報605は、図17(c)に示すように、徐々に薄くなって消去されても良い。
続いて、サービス提供を行うサービス提供者の環境に設置される情報処理装置10bにおいて表示される表示画面について説明する。図18は、通常描画権限を有さないが、一時的描画権限を有する情報処理装置に表示される表示画面の一例を示す図である。
図18(a)は、図16に示したステップS409の処理によって生成された表示画像の一例を示す。図18(a)に示す表示画像は、操作アイコン602が選択可能な状態であり、操作アイコン603が選択できない状態である。これは、情報処理装置10bが一時的描画権限を有するが、通常描画権限を有さないためである。図18(a)に示す表示画面、図16に示したステップS405の処理を経て生成部14によって生成された表示画像である。
図18(b)は、自拠点において描画情報の入力が行われた場合の表示画像である。図18(b)に示す表示画像は、一時的描画情報の入力を行うための操作アイコン602がユーザによって選択された状態である。この状態において入力される手書き内容である描画情報は、一時的描画の権限を有する。図18(b)の表示画面は、一時的描画として、情報処理装置10bのユーザが入力した描画情報605を含む。図18(b)に示す描画情報605は、図17(b)の表示画面と対応している。
図18(c)は、相手拠点において描画情報の入力が実施された場合の表示画面である。図18(c)の表示画面は、相手拠点のユーザが描画情報の入力を行った描画情報606は、情報処理装置10aに反映される。描画情報606は、通常描画権限を有する描画情報である。また、図18(c)に示す表示画面において、自拠点による手書き内容である描画情報605は、一時的描画権限を有するため、所定の時間が経過することにより、消去される。描画情報605は、図18(c)に示すように、徐々に薄くなって消去されても良い。また、図18(c)に示す表示画面は、相手拠点の名称604が表示されている。図18(c)に示す表示画面は、例えば、相手拠点の名称604として「XツーリストA店」が表示されている。図18(c)に示す各描画情報は、図17(c)の表示画面と対応している。
なお、図17および図18に示した表示画面において、いずれの操作アイコンも選択されなかった場合、情報処理装置10は、いずれかの優先的に適用する描画権限を予め設定しておいてもよい。例えば、情報処理装置10bは、図18に示すように、一時的描画権限のみを有するため、操作アイコンが選択されなかった場合、自動的に一時的描画の描画権限が適用される。一方で、情報処理装置10aは、図17に示すように、通常描画権限と一時的描画権限を有するため、いずれの操作アイコンも選択されなかった場合、予め設定された描画権限が優先的に適用される。
また、図17および図18に示した表示画面において、いずれの操作アイコンも選択されなかった場合、情報処理装置10は、いずれかの描画種別を選択することをユーザに要求するメッセージを、表示画面に表示させてもよい。
続いて、図19乃至図23は、情報処理装置10の生成部14による表示画像の生成処理について説明する。図19は、第1の実施形態に係る情報処理装置に表示される表示画像における複数の画像の重畳の一例を説明するための図である。図19に示すように、情報処理装置10に表示される表示画像は、UI画像(A)のためのレイヤと、描画画像(B)のためのレイヤと、PC出力画像(C)のためのレイヤと、背景画像(D)のためのレイヤとが設けられている。表示画像は、ユーザ側から見た場合、UI画像(A)が1層目、描画画像(B)が2層目、PC出力画像(C)が3層目、背景画像(D)が4層目となるように重畳される。
UI画像(A)は、例えば、図17および図18に示した操作アイコン(操作アイコン602または操作アイコン603)を含むUI画像である。UI画像(A)は、図16に示した処理により、生成部14によって生成される入力画面の画像データである。描画画像(B)は、例えば、入力受付部13によって受け付けられた描画情報、および表示データの共有先である他の情報処理装置10に入力された描画情報を含む画像である。PC出力画像(C)は、例えば、外部入力装置50から出力された画像データ、および表示データの共有先である他の情報処理装置10から送信された画像データを含む画像である。背景画像(D)は、重畳される画像のうち、最背面に配置される画像である。
生成部14は、受信部11から取得したPC出力画像(C)、入力受付部13から取得した描画画像(B)、ならびに、UI画像(A)および背景画像(D)を重畳した表示画像を生成する。表示制御部15は、PC出力画像(C)と背景画像(D)を切り替えて、UI画像(A)および描画画像(B)に、排他的に重畳して表示させることも可能である。例えば、当初、UI画像(A)、描画画像(B)およびPC出力画像(C)が表示されている状態で情報処理装置10と外部入力装置50との間のケーブルが抜かれた場合、表示制御部15は、生成部14からの指示に基づいて、PC出力画像(C)を重畳対象から外して、背景画像(D)を表示させることができる。また、表示制御部15は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
なお、伝送端末40からテレビ会議用の映像のデータが送信される場合、生成部14は、重畳画像(A、B、C)にピクチャーインピクチャーによりテレビ会議用の映像のデータを重畳して、ディスプレイ115に出力してもよい。
次に、描画情報の入力(手書き入力)が行われた情報処理装置10に記憶される描画データについて説明する。図20は、ページデータの一例を説明するための図である。ページデータは、ページデータID、開示時刻、終了時刻、ストローク配列データIDおよびメディアデータIDを含んでいる。ページデータIDは、ページを識別するためのIDである。開示時刻は、そのページの表示を開始した時刻である。終了時刻は、ページデータの更新が終了した時刻である。
ストローク配列データIDは、「ストローク描画」イベントによって生成されたストローク配列データを識別するためのIDである。「ストローク描画」は、ユーザによる描画情報の入力処理を示す。「ストローク描画」は、例えば、ユーザが電子ペン2400をディスプレイ115に押しつけ、この状態で電子ペン2400を移動させ、ディスプレイ115から電子ペン2400を離すまでのイベントである。
メディアデータIDは、メディアデータを識別するためのIDである。ストローク配列データは、ストローク画像をディスプレイ115上に表示するためのデータである。メディアデータは、背景画像(D)をディスプレイ115上に表示するためのデータである。
ストローク画像に関するデータは、ストローク配列データIDと関連づけされているストローク配列データとして、ページデータの一部を構成する。PC出力画像(C)に関するデータは、メディアデータIDと関連づけされているメディアデータとして、ページデータの一部を構成する。そして、メディアデータは、背景画像(D)のデータとして取り扱われる。
生成部14は、画像データ管理DB1002に記憶されたページデータにおけるメディアデータを、背景画像(D)として、ディスプレイ115に表示させる。また、生成部14は、画像データ管理DB1002に記憶されたページデータにおけるストローク配列データを用いて、ストローク画像の再編集ができる状態にすることができる。さらに、生成部14は、ページデータを削除したり複製したりすることもできる。すなわち、生成部14が画像データ管理DB1002にページデータを記憶する時点でディスプレイ115上に表示されているPC出力画像(C)のデータは、画像データ管理DB1002に記憶される。そして、PC出力画像(C)のデータは、画像データ管理DB1002から読み出される場合、背景画像(D)を示すメディアデータとして読み出される。
図21は、ストローク配列データの一例を説明するための図である。一つのストローク配列データは、複数のストロークデータから構成されている。各ストロークデータは、「ストローク描画」イベントごとに生成される。
例えば、ユーザが電子ペン2400でアルファベットの「S」を描く場合、一筆書きとなるため、ストロークデータは、一つのストロークデータIDで、一文字のアルファベットの[S]が示される。また、例えば、ユーザが電子ペン2400でアルファベットの「T」を描く場合、二筆書きとなるため、ストロークデータは、二つのストロークデータIDで、一文字のアルファベットの「T」が示されることになる。
各ストロークデータは、ストロークデータID、開始時刻、終了時刻、色、幅および座
標配列データIDを含んでいる。ストロークデータIDは、そのストロークデータを識別するためのIDである。開始時刻は、そのストロークの書き始めの時刻である。終了時刻は、そのストロークの書き終わりの時刻である。色は、そのストロークの色である。幅は、そのストロークの幅である。座標配列データIDは、そのストロークの通過点に関する情報が含まれる座標配列データを識別するためのIDである。
図22は、座標配列データの一例を説明するための図である。座標配列データは、ストロークが通過した複数の点(通過点)について、通過点ごとに、ディスプレイ115上での位置(X座標値、Y座標値)、該位置を通過したときのストロークの開示時刻からの差分の時刻(m秒)、および該位置における電子ペン2400の筆圧を情報として含んでいる。例えば、ユーザが電子ペン2400でアルファベットの「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過する。そのため、座標配列データは、これら複数の通過点の情報を含んでいる。
図23は、メディアデータの一例を説明するための図である。各メディアデータは、メディアデータID、データの種類、記録時刻、X座標値、Y座標値、幅、高さおよびデータを含んでいる。
メディアデータIDは、メディアデータを識別するためのIDである。データの種類は、メディアデータの種類である。記録時刻は、記憶部1000にページデータが記憶された時刻である。X座標値とY座標値は、ページデータに基づいてディスプレイ115上に表示される画像の位置である。幅と高さは、画像のサイズである。データは、メディアデータの内容を示している。このうち、ページデータに基づいてディスプレイ115上に表示される画像の位置は、ディスプレイ115の左上端の座標を(X座標値,Y座標値)=(0,0)としたときの、該画像の左上端の位置を示している。
図24は、第1の実施形態に係る画像共有システムにおける描画画像を共有するためのシーケンス図である。図24は、情報処理装置10aに入力された描画情報が、情報処理装置10bに共有される例を説明する。
ステップS501において、情報処理装置10aの表示制御部15は、生成部14によって生成された表示画像を、ディスプレイ115に表示させる。ステップS502において、情報処理装置10aの入力受付部13は、ユーザからの描画情報の入力を受け付ける(受付ステップの一例)。
ステップS503において、情報処理装置10aの送信部12は、伝送端末40aへ描画画像の画像データを送信する。描画画像の画像データは、図20~図23に示した各描画データである、ステップS504において、伝送端末40aの送受信部41は、情報処理装置10aから出力された描画画像の画像データを、中継装置70へ送信する。ステップS505において、中継装置70は、伝送端末40aから送信された描画画像の画像データを受信した場合、受信した描画画像の画像データを、伝送端末40bへ送信する。
ステップS506において、伝送端末40bの入出力部42は、送受信部41によって中継装置70から送信された描画画像の画像データを受信した場合、受信した描画画像の画像データを、情報処理装置10bへ出力する。ステップS507において、情報処理装置10bの生成部14は、出力された描画画像の画像データを用いて、ディスプレイ115に表示させる表示画像を生成する。具体的には、生成部14は、図19に示したように、出力された描画画像と、UI画像(A)、PC出力画像(C)および背景画像(D)とを重畳させることによって、表示画面を生成する。ステップS508において、情報処理装置10bの表示制御部15は、生成部14によって生成された、描画画像を含む表示画像をディスプレイ115に表示させる
図25は、第1の実施形態に係る情報処理装置に表示された表示データに描画された描画情報の表示制御処理の一例を示すフローチャートである。図25に示す描画情報の表示制御処理は、表示制御ステップの一例である。
ステップS601において、情報処理装置10の表示制御部15は、描画画像を含む表示画像を、ディスプレイ115に表示させる。ステップS602において、表示制御部15は、表示された描画画像の描画種別が、一時的描画である場合、処理をステップS603へ移行させる。一方で、表示制御部15は、表示された描画画像の描画種別が、一時的描画でない場合、処理を終了する。
ステップS603において、表示制御部15は、一時的描画である描画情報が入力された後、所定の条件を満たした場合、処理をステップS604へ移行させる。具体的には、表示制御部15は、例えば、一時的描画である描画情報の入力から所定の時間経過した場合、処理をステップS604へ移行させる。一方で、表示制御部15は、所定の条件を満たしていない場合、ステップS603の処理を繰り返す。
ステップS604において、表示制御部15は、所定の条件を満たしたため、表示画面から描画情報を消去する。なお、描画画像の消去は、条件を満たした場合に段階的に消去する構成であってもよい。
これによって、情報処理装置10は、一時的描画として入力された描画情報が所定の条件に基づいて消去させるため、通常描画として入力された描画情報のみを表示させることができる。
●第1の実施形態の効果
以上説明したように、第1の実施形態に係る画像共有システムは、複数の情報処理装置10に表示される表示画像を共有する画像共有システムであって、情報処理装置10のディスプレイ115に描画情報の入力を受け付ける。画像共有システムは、描画情報が入力された入力側のユーザ(または情報処理装置10)を示す入力側情報に、入力された描画情報の表示権限が関連づけられた描画権限情報5050を記憶して管理する。そして、情報処理装置10は、記憶された描画権限情報5050に基づいて、描画情報の表示を制御する。そのため、第1の実施形態に係る画像共有システムは、情報処理装置10に入力された描画情報が複数の情報処理装置10間で共有される場合において、描画情報を入力した入力側が有する描画情報の表示権限に応じて、それぞれの情報処理装置10に表示される描画情報の表示を制御することで、利便性を向上させることができる。
●第1の実施形態の変形例1●
次に、第1の実施形態の変形例1について説明する。第1の実施形態の変形例1に係る画像共有システムは、描画情報が入力された入力側および描画情報の共有先ごとに、描画共有情報5051として描画権限情報5050aが関連づけて管理されている。これによって、第1の実施形態の変形例1に係る画像共有システムは、例えば、描画情報が入力された入力側のユーザが同じであっても共有先のユーザが異なる場合、異なる表示権限を用いて描画情報の表示を制御することができる。
図26は、第1の実施形態の変形例1に係る描画権限管理テーブルの一例を示す図である。図26に示す描画権限管理テーブル505aは、複数の拠点間における通信の要求元および宛先を一組(通信No.)として、要求元を示す通信IDおよび名称、並びに宛先を示す通信IDおよび名称(描画共有情報5051)に、それぞれ入力された描画情報の表示権限を示す描画権限情報5050aを関連づけて記憶して管理されている。なお、描画権限情報5050aに含まれる描画種別(通常描画および一時的描画)は、図12に示した描画権限管理テーブル505と同様である。
描画共有情報5051は、描画情報が入力された入力側および入力された描画情報の共有先の通信ID、並びに通信IDに対応する通信先の名称の情報が含まれる。通信IDは、画像共有システムにおいて、描画情報が入力された入力側および入力された描画情報の共有先を特定するための情報である。それぞれの通信IDは、例えば、伝送端末40の識別情報(端末ID)、伝送端末40のユーザの識別情報(ユーザID)およびアカウント名等である。なお、端末IDは、伝送端末40に接続された情報処理装置10を識別するための端末IDであってもよい。
例えば、描画情報が入力された入力側が通信ID「01bb」、名称「コンシェルジュB」であり、描画情報の共有先が通信ID「01ab」、名称「コンシェルジュC」である場合(通信No.4)、入力側である通信ID「01bb」に対応するユーザは、通常描画が不可能(不可)であり、一時的描画が可能(可)である。また、共有先である通信ID「01ab」に対応するユーザは、通常描画が可能(可)であり、一時的描画も可能(可)である。
一方で、描画情報が入力された入力側が通信ID「01ab」、名称「コンシェルジュC」であり、描画情報の共有先が通信ID「01bb」、名称「コンシェルジュB」である場合(通信No.6)、入力側である通信ID「01ab」に対応するユーザは、通常描画が不可能(不可)であり、一時的描画が可能(可)である。また、共有先である通信ID「01bb」に対応するユーザは、通常描画が可能(可)であり、一時的描画も可能(可)である。
このように、第1の実施形態の変形例1に係る画像共有システムは、同じユーザ(同一の通信IDを有するユーザ)であっても通信相手が異なる場合には、異なる表示権限を用いて描画情報の表示を制御する。そのため、第1の実施形態の変形例1に係る画像共有システムは、入力された描画情報の共有先に応じて、柔軟に描画情報の表示を制御することができる。
●第1の実施形態の変形例2●
次に、第1の実施形態の変形例2について説明する。第1の実施形態の変形例2に係る画像共有システムは、複数の情報処理装置10において共有して表示される会議資料等の表示画像が複数の領域に分割され、分割された領域ごとに異なる描画種別を有する。そのため、第1の実施形態の変形例2に係る画像共有システムは、共有される表示画像の中で描画情報の入力を制限したい領域を指定して描画情報の表示を制限することができる。
図27は、第1の実施形態の変形例2に係る描画権限管理テーブルの一例を示す図である。図27に示す描画権限管理テーブル505bは、図12に示した描画権限管理テーブル505に含まれる項目に加え、描画領域5052の情報が含まれる。
描画権限管理テーブル505bは、各通信IDに、描画領域5052ごとの描画権限情報5050が関連づけられている。描画領域5052は、X座標値およびY座標値により規定される。X座標値およびY座標値は、ディスプレイ115上の位置情報を示すものであり、図4に示したセンサコントローラ112によって検知され、算出される。
例えば、通信ID「01aa」および名称「XツーリストA店」に対応するユーザは、描画領域「X座標値;0-200、Y座標値;76-150」において、通常描画が可能(可)であり、一時的描画も可能(可)である。通信ID「01aa」および名称「XツーリストA店」に対応するユーザは、描画領域「X座標値;0-200、Y座標値;0-75」において、通常描画が不可能(不可)であり、一時的描画が可能(可)である。
図28は、第1の実施形態の変形例2に係る情報処理装置に表示される表示画面の一例を示す図である。図28に示す表示画像は、通信ID「01aa」に対応する情報処理装置10aと通信ID「01bb」に対応する情報処理装置10bとの間で表示画像が共有される場合において、情報処理装置10aに表示される表示画像である。
図28(a)は、図16に示したステップS409の処理によって生成された表示画像の一例を示す。図18(a)に示す表示画像は、領域801および領域802ごとに、それぞれ操作アイコン602および操作アイコン603を有する。領域801は、例えば、図27に示した描画権限管理テーブル505bのうち、通信ID「01aa」に関連づけられた描画領域「X座標値;0-200、Y座標値;76-150」に対応する領域である。領域801は、描画権限管理テーブル505bに示すように、通常描画が可能(可)であり、一時的描画も可能(可)である。
一方で、領域802は、例えば、図27に示した描画権限管理テーブル505bのうち、通信ID「01aa」に関連づけられた描画領域「X座標値;0-200、Y座標値;0-75」に対応する領域である。領域802は、描画権限管理テーブル505bに示すように、通常描画が不可能(不可)であり、一時的描画が可能(可)である。
図28(b)は、自拠点において描画情報の入力が行われた場合の表示画像である。図28(b)に示す表示画像は、領域802において、一時的描画の入力を行うための操作アイコン602がユーザによって選択された状態である。この状態において入力される手書き内容である描画情報は、一時的描画の権限を有する。図28(b)の表示画面は、図18(b)と同様に、一時的描画として、情報処理装置10bのユーザが入力した描画情報605を含む。
図28(c)は、相手拠点において描画情報の入力が実施された場合の表示画面である。図28(c)の表示画面は、相手拠点のユーザが、領域802に描画情報の入力を行った描画情報606が反映される。描画情報606は、通常描画権限を有する描画情報である。また、図28(c)に示す表示画面において、自拠点による手書き内容である描画情報605は、一時的描画権限を有するため、図18(c)と同様に、所定の時間が経過することにより消去される。描画情報605は、図28(c)に示すように、徐々に薄くなって消去されても良い。
このように、第1の実施形態の変形例2に係る画像共有システムは、共有される画像データの中で描画情報の入力を制限したい領域を指定して描画情報の表示を制限することができる。図28に示したように、第1の実施形態の変形例2に係る画像共有システムは、例えば、サービス提供者と顧客の間で共有される契約書等の画像データにおいて、顧客が署名を行う領域のみにサービス提供者の描画情報の入力を制限させるようなニーズを実現することができる。
●第2の実施形態●
次に、第2の実施形態に係る画像共有システムについて説明する。なお、第1の実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。第2の実施形態に係る画像共有システムは、第1の実施形態に係る画像共有システムと異なり、複数の情報処理装置20が、それぞれ伝送端末40を用いた通信セッションを介さずに、通信ネットワーク2を介した通信を実現する。
●システム構成
図29は、第2の実施形態に係る画像共有システムのシステム構成の一例を示す図である。図29に示す画像共有システムは、情報処理装置20a、情報処理装置20aに接続された外部入力装置50a、情報処理装置20b、情報処理装置20bに接続された外部入力装置50bおよび管理者端末60によって構成される。
情報処理装置20aと情報処理装置20bは、通信ネットワーク2を経由して、画像データの送受信を行う。この場合、例えば、一方の情報処理装置20(例えば、情報処理装置20a)が主催装置(要求元端末)となる場合、情報処理装置20aがサーバとしての機能を担い、他方の情報処理装置20b(宛先端末)との通信を行う。
情報処理装置20は、第1の実施形態における情報処理装置10と同様に、他の情報処理装置20と相互通信が可能な電子式の黒板機能を有する白板(電子黒板;IWB)である。なお、情報処理装置20は、上述の電子黒板のみならず、手書き入力機能を有するタブレット端末、スマートフォン、ノートPC等であってもよい。
管理者端末60は、通信ネットワーク2に接続され、画像共有システムの管理者を使用するPC等の通信端末である。管理者端末60は、情報処理装置20に、図12に示した描画権限情報の登録、および他の情報処理装置20との間で通信を行うための接続情報等の設定を行う。なお、図29において、管理者端末60が一つの端末として設けられている例を説明したが、いずれかの情報処理装置20が管理者端末60としての機能を担ってもよい。
図29に示す画像共有システムは、複数の情報処理装置が二つの情報処理装置(20a、20b)である場合について説明したが、これに限定されるものではない。画像共有システムは、三つ以上の異なる拠点に情報処理装置20が設けられていてもよい。
●機能構成
図30は、第2の実施形態に係る画像共有システムの機能構成の一例を示す図である。図30に示す情報処理装置20の機能は、サーバ部300とクライアント部200とに大別される。
情報処理装置20が主催装置(要求元端末)となる場合、情報処理装置20は、クライアント部200とサーバ部300の両方が稼働する。一方、情報処理装置20が参加装置(宛先端末)となる場合、情報処理装置20は、クライアント部200が稼働するが、サーバ部300が稼働しない。例えば、情報処理装置20aが主催装置(要求元端末)で、情報処理装置20bが参加装置(宛先端末)となる場合、情報処理装置20aのクライアント部200は、情報処理装置20aのサーバ部300を介して、情報処理装置20bのクライアント部200と通信を行う。一方、情報処理装置20bのクライアント部200は、情報処理装置20aのサーバ部300を介して、情報処理装置20aのクライアント部200と通信を行う。
まず、クライアント部200の機能について説明する。クライアント部200は、図30に示すように、受信部11、送信部12、入力受付部13、生成部14、表示制御部15、送受信部25およびデータ管理部26を有している。なお、受信部11、送信部12、入力受付部13、生成部14および表示制御部15は、図7に示した受信部11、送信部12、入力受付部13、生成部14および表示制御部と同様の機能を有するため、説明を省略する。
送受信部25は、通信ネットワーク2を経由して、他の情報処理装置20と各種情報の送受信を行う機能である。また、送受信部25は、サーバ部300の送受信部21との間で各種情報の送受信を行う。送受信部25は、例えば、図4に示したネットワークI/F105およびCPU101で実行されるプログラム等により実現される。
データ管理部26は、他の情報処理装置20との通信を行うための情報、ディスプレイ115に表示させる表示画像の画像データおよび図18に示した描画権限情報等を記憶して管理する機能である。データ管理部26は、例えば、図4に示したROM102、SSD104およびCPU101で実行されるプログラム等により実現される。
続いて、サーバ部300の機能について説明する。サーバ部300は、図30に示すように、送受信部21、認証部22、データ処理部23およびデータ管理部24を有している。
送受信部21は、送受信部25は、通信ネットワーク2を経由して、他の情報処理装置20と各種情報の送受信を行う機能である。送受信部21は、例えば、クライアント部200の送受信部25との間で各種情報の送受信を行う。また、送受信部21は、例えば、他の情報処理装置20から遠隔共有処理の参加要求を受信する。さらに、送受信部21は、例えば、クライアント部200の送受信部25へ、他の情報処理装置20との間で共有される画像データの送受信を行う。送受信部21は、例えば、図4に示したネットワークI/F105およびCPU101で実行されるプログラム等により実現される。
認証部22は、他の情報処理装置20から送信される遠隔共有処理の参加要求に含まれる接続情報に基づいて、他の情報処理装置20の認証処理を行う機能である。認証部22は、例えば、図4に示したCPU101で実行されるプログラム等により実現される。
データ処理部23は、他の情報処理装置20から送信される画像データの処理を行う機能である。データ処理部23は、例えば、他の情報処理装置20から送信された描画情報であるストローク画像のデータ(図21参照)の合成処理を行う。データ処理部23は、例えば、図4に示したCPU101で実行されるプログラム等により実現される。
データ管理部24は、他の情報処理装置20との通信を行うための情報および他の情報処理装置20から送信される画像データ等を記憶して管理する機能である。データ管理部24は、例えば、図4に示したROM102、SSD104およびCPU101で実行されるプログラム等により実現される。
●画像共有方法
続いて、図31および図32を用いて、第2の実施形態に係る画像共有システムにおける画像共有方法について説明する。図31および図32に示す処理において、情報処理装置20aは、遠隔共有処理を主催する主催装置(サーバ部300およびクライアント部200)としての役割を担っている。また、情報処理装置20bは、遠隔共有処理に参加する参加装置(クライアント部200)としての役割を担っている。
図31は、第2の実施形態に係る画像共有システムにおいて、情報処理装置が表示した表示データを、共有先である情報処理装置に表示させる処理の一例を示すシーケンス図である。まず、ユーザが情報処理装置20aの電源スイッチをオンにした場合、情報処理装置20aは、クライアント部200を起動させる。そして、ユーザがタッチパネル等の入力装置によってサーバ部300を起動させる操作をした場合、クライアント部200は、同じ情報処理装置20aのサーバ部300へ、サーバ部300の処理を開始させる指示を出力する。これによって、情報処理装置20aは、クライアント部200だけでなくサーバ部300も各種処理を開始可能となる(ステップS701)。
次に、情報処理装置20aのクライアント部200におけるデータ管理部26は、情報処理装置20bとの接続を確立するための接続情報を生成する。表示制御部15は、生成部14から得た接続情報を、ディスプレイ115に表示させる(ステップS702)。この接続情報は、主催装置(情報処理装置20a)のIPアドレスおよび今回の遠隔共有処理のために生成されたパスコードが含む。この場合、データ管理部26に記憶されているパスコードは、送受信部25によって読み出され、送受信部21に送信される。さらに、パスコードは、送受信部21から、データ管理部24に送信される。接続情報は、情報処理装置20aのユーザによって、電話や電子メールによって、情報処理装置20bのユーザに伝えられる。
次に、情報処理装置20bのクライアント部200は、ユーザによる入力操作によって接続情報の入力を受け付けた場合、入力された接続情報に含まれるIPアドレスに基づき、通信ネットワーク2を介して、情報処理装置20aのサーバ部300にパスコードを送信して参加要求を行う(ステップS703)。これにより、情報処理装置20aは、情報処理装置20bから、参加要求(パスコードを含む)を受信する。
ステップS704において、情報処理装置20aの認証部22は、受信したパスコードに対し、データ管理部24で管理されているパスコードを用いて認証処理を実行する。ステップS705において、情報処理装置20aの送受信部21は、情報処理装置20bのクライアント部200へ認証結果を送信する。
情報処理装置20aの認証部22によって情報処理装置20bが正当な情報処理装置であると判断されていた場合、主催装置である情報処理装置20aは、参加装置である情報処理装置20bとの遠隔共有処理の通信を確立する。これによって、情報処理装置20bのクライアント部200は、他の情報処理装置との間の遠隔共有処理の開始を可能にする(ステップS706)。
以下のステップは、遠隔共有処理における出力画像が表示される処理について説明する。ステップS707において、情報処理装置20bの表示制御部15は、外部入力装置50bから出力された画像データである出力画像として、ディスプレイ115に表示させる。ステップS708において、情報処理装置20bの送受信部25は、表示制御部15によってディスプレイ115に表示させた出力画像の画像データを、情報処理装置20aへ送信する。
ステップS709において、主催装置である情報処理装置20aは、ディスプレイ115に対して出力画像を表示する。具体的には、情報処理装置20aの送受信部21は、受信した出力画像の画像データを、同じ主催装置である情報処理装置20aのクライアント部200に出力する。クライアント部200の送受信部25は、生成部14へ、出力画像の画像データを出力する。生成部14は、出力画像の画像データを用いて、ディスプレイ115に表示させる表示画像を生成する。
なお、生成部14は、図19に示した内容と同様に、出力画像の画像データだけでなく、UI画像およびストローク画像の各描画データを、重畳画像(A,B,C)として生成する。そして、表示制御部15は、生成部14により生成された重畳画像(A,B,C)を表示画像として、ディスプレイ115に表示させる。
図32は、第2の実施形態に係る画像共有システムにおける描画画像を共有するためのシーケンス図である。図32は、情報処理装置20bに入力された描画情報が、情報処理装置20aに共有される例を説明する。
ステップS801において、情報処理装置20bの入力受付部13は、ユーザによる描画情報の入力を受け付ける。情報処理装置20bのユーザは、電子ペン2400を用いて、ストローク画像を描画する。
次に、ステップS802において、情報処理装置20bの生成部14は、入力受付部13によって受け付けられた描画情報を用いて、ディスプレイ115に表示させる表示画像を生成する。具体的には、生成部14は、例えば、図19に示したUI画像(A)およびPC出力画像(C)に、入力受付部13によって受け付けられたストローク画像である描画画像(B)を重畳する。そして、表示制御部15は、生成部14によって生成された重畳画像を、情報処理装置20bのディスプレイ115上に表示させる。
ステップS803において、情報処理装置20bの送受信部25は、通信ネットワーク2を介して、主催装置である情報処理装置20aへ、描画画像(B)の画像データを送信する。これにより、情報処理装置20aの送受信部21は、情報処理装置20bにおいて描画された描画画像(B)の画像データを受信する。このようにして、情報処理装置20bで描画された描画画像(B)の画像データは、描画されるたびに、主催装置である情報処理装置20aへ順次送信される。
なお、描画画像のデータは、例えば、図21に示したストロークデータIDごとに示されるデータである。よって、例えば、上述したように、ユーザが電子ペン2400によってアルファベット「T」を描く場合は二筆書きとなるため、二つのストロークデータIDのそれぞれで示されるストローク画像のデータが順次送信される。
ステップS804において、主催装置である情報処理装置20aの生成部14は、情報処理装置20bから送信された描画画像(B)の画像データに基づいて、表示画像を生成する。具体的には、情報処理装置20aのデータ処理部23は、順次送信されてきた複数の描画画像(B)の画像データを合成してデータ管理部24に記憶する。また、送受信部21は、データ処理部23によって合成された合成後の描画画像(B)の画像データを、同じ主催装置である情報処理装置20aのクライアント部200における送受信部25へ送信する。そして、生成部14は、送受信部25によって受信された合成後の描画画像(B)の画像データを、図19に示したUI画像(A)およびPC出力画像(C)に重畳することで、表示画像を生成する。
そして、ステップS805において、情報処理装置20aの表示制御部15は、生成部14によって生成された表示画像を、ディスプレイ115に表示させる。
なお、上記処理では、ディスプレイ115上にPC出力画像(C)が表示されているが、このPC出力画像(C)に代えて、背景画像(D)を表示してもよい。また、PC出力画像(C)と背景画像(D)との排他的な関係をやめて、PC出力画像(C)と背景画像(D)との両方を同時にディスプレイ115上に表示させてもよい。
このように、第2の実施形態に係る画像共有システムは、複数の情報処理装置20が、それぞれ伝送端末40を用いた通信セッションを介さずに、通信ネットワーク2を介した通信を行う場合においても、本発明に係る機能を実現することができる。
●第3の実施形態●
次に、第3の実施形態に係る画像共有システムについて説明する。なお、第1の実施形態または第2の実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。第3の実施形態に係る画像共有システムは、それぞれの情報処理装置10がWEBブラウザを使用して遠隔会議を実現する場合のシステムである。
図33は、第3の実施形態に係る画像共有システムのシステム構成について説明する。図33に示す画像共有システムは、複数の情報処理装置30(30a、30b)、通信管理装置90、WEBサーバ80によって構成される。
情報処理装置30は、タッチパネル等の描画情報の入力(手書き入力)手段を有するタブレット端末である。情報処理装置30は、WEBブラウザを用いて、表示画像および入力された描画情報を共有する。
情報処理装置30aは、例えば、HTTPサーバとして機能し、WEBブラウザ上に表示された画像データを、情報処理装置30bへ送信する。この場合、情報処理装置30bは、HTTPクライアントとして動作してHTML(HyperText Markup Language)を描画する一般的なウェブブラウザとしての役割を担う機能である。
WEBサーバ80は、通信ネットワーク2を介した情報処理装置30間における通信を管理するサーバ装置である。WEBサーバ80と通信管理装置90は、管理システム5bを構成する。なお、管理システム5bは、WEBサーバ80と通信管理装置90の機能を、一つのサーバ装置として実現する構成であってもよい。
第3の実施形態に係る描画情報の入力方法および画像共有方法等については、図33に示したシステム構成を用いて、第1の実施形態または第2の実施形態と同様の方法によって実現される。このように、第3の実施形態に係る画像共有システムは、専用の端末(伝送端末40)や専用のアプリケーションを用いることなく、WEBブラウザを用いて遠隔会議を実現することができる。また、情報処理装置30に入力(手書き入力)された描画情報を、WEBブラウザを用いて、複数の情報処理装置30の間で共有して表示させることができる。
●まとめ●
以上説明したように、本発明の一実施形態に係る情報処理装置は、外部装置で表示される表示情報を通信ネットワーク2経由で受信して表示するディスプレイ115(表示部の一例)を備える情報処理装置10であって、ディスプレイ115に対する描画情報の入力を受け付ける入力受付部13(受付手段の一例)と、受け付けられた描画情報のディスプレイ115に対する表示権限を示す描画権限情報5050(権限情報の一例)に基づいて、描画情報の表示を制御する表示制御部15(表示制御手段の一例)と、を備える。そのため、情報処理装置10は、描画情報を入力した入力側が有する描画情報の表示権限に応じて、それぞれの情報処理装置10に表示される描画情報の表示を制御することで、利便性を向上させることができる。
また、本発明の一実施形態に係る情報処理装置は、取得した描画権限情報5050(権限情報の一例)に含まれる、他の装置によって描画された描画情報の消去権限を有さない描画権限(第1の権限の一例)、または表示された描画情報が所定の条件に基づいて消去される描画権限(第2の権限の一例)に基づいて、描画情報の表示を制御する。そのため、情報処理装置10は、異なる表示形態を用いて、入力された描画情報を表示させることができるので、共有先や利用シーンに合わせて、それぞれの情報処理装置10に表示される描画情報の表示を制御することができる。
さらに、本発明の一実施形態に係る情報処理装置は、取得された描画権限情報5050(権限情報の一例)に応じた描画情報の表示権限を選択可能な操作アイコン602、603(選択手段の一例)を含む入力画面を生成し、選択された表示権限に基づいて、入力画面に入力された描画情報の表示を制御する。そのため、情報処理装置10は、描画情報の入力を行うユーザに対して、共有先や利用シーンに合わせた描画種別を選択することができる。
また、本発明の一実施形態に係る情報処理装置は、表示画像内の分割された領域801、802ごとに付与された描画情報の表示権限に基づいて、当該領域に入力された描画情報の表示を制御する。そのため、情報処理装置10は、共有される画像データの中で描画情報の入力を制限したい領域を指定して描画情報の表示を制限することができる。
さらに、本発明の一実施形態に係る管理システムは、ディスプレイ115(表示部の一例)に表示される表示画像を共有する複数の情報処理装置10の間の通信を管理する通信管理装置90(管理システムの一例)であって、描画情報が入力された入力側を示す入力側情報に、描画情報の表示権限が関連づけられた描画権限情報5050(権限情報の一例)を記憶する描画権限管理DB9005(記憶手段の一例)と、情報処理装置10へ、入力側情報に関連づけられた描画権限情報を送信する送受信部91(送信手段の一例)と、を備える。そのため、通信管理装置90は、情報処理装置10へ、描画情報が入力された入力側に応じた描画情報の表示権限を提供することができる。
また、本発明の一実施形態に係る管理システムは、描画情報の入力側に加えて描画情報の共有先を含む描画共有情報5051に、入力側および共有先ごとの描画情報の表示権限が関連づけられた描画権限情報5050a(権限情報の一例)を、描画権限管理DB9005(記憶手段の一例)に記憶し、入力元および共有先であるそれぞれの情報処理装置10へ、描画共有情報に関連づけられた描画権限情報を送信する。そのため、通信管理装置90は、入力された描画情報の共有先に応じて、情報処理装置10に対する描画情報の表示を柔軟に制御することができる。
さらに、本発明の一実施形態に係る画像共有システムは、複数の情報処理装置10に表示される表示画像を共有する画像共有システムであって、情報処理装置10のディスプレイ115(表示部の一例)に対する描画情報の入力を受け付ける入力受付部13(受付手段の一例)と、描画情報を入力した入力側を示す入力側情報に、描画情報の表示権限が関連づけられた描画権限情報5050(権限情報の一例)を記憶する描画権限管理DB9005(1001)(記憶手段の一例)と、記憶された描画権限情報に基づいて、描画情報の表示を制御する表示制御部15(表示制御手段の一例)と、を備える。そのため、本発明の一実施形態に係る画像共有システムは、描画情報を入力した入力側が有する描画情報の表示権限に応じて、それぞれの情報処理装置10に表示される描画情報の表示を制御することができる。
また、本発明の一実施形態に係る画像共有方法は、外部装置で表示される表示情報を通信ネットワーク2経由で受信して表示するディスプレイ115(表示部の一例)を備える情報処理装置10が実行する画像共有方法であって、ディスプレイ115に対する描画情報の入力を受け付ける受付ステップと、受け付けられた描画情報のディスプレイ115に対する表示権限を示す描画権限情報5050(権限情報の一例)に基づいて、描画情報の表示を制御する表示制御ステップと、を実行する。そのため、本発明の一実施形態に係る画像共有方法は、描画情報を入力した入力側が有する描画情報の表示権限に応じて、それぞれの情報処理装置10に表示される描画情報の表示を制御することで、利便性を向上させることができる。
なお、各実施形態の機能は、アセンブラ、C、C++、C#、Java(登録商標)等のレガシープログラミング言語やオブジェクト指向プログラミング言語等で記述されたコンピュータ実行可能なプログラムにより実現でき、ROM、EEPROM、EPROM(Erasable Programmable Read-Only Memory)、フラッシュメモリ、フレキシブルディスク、CD(Compact Disc)-ROM、CD-RW(Re-Writable)、DVD-ROM、DVD-RAM、DVD-RW、ブルーレイディスク、SDカード、MO(Magneto-Optical disc)等の装置可読な記録媒体に格納して、または電気通信回線を通じて頒布することができる。
また、各実施形態の機能の一部または全部は、例えばFPGA(Field Programmable Gate Array)等のプログラマブル・デバイス(PD)上に実装することができ、またはASICとして実装することができ、各実施形態の機能をPD上に実現するためにPDにダウンロードする回路構成データ(ビットストリームデータ)、回路構成データを生成するためのHDL(Hardware Description Language)、VHDL(Very High Speed Integrated Circuits Hardware Description Language)、Verilog-HDL等により記述されたデータとして記録媒体により配布することができる。
これまで本発明の一実施形態に係る情報処理装置、管理システム、画像共有システム、画像共有方法およびプログラムについて説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。