図1は、本実施形態の伝送システム1の動作の概略を説明する図の一例である。伝送端末10aaは、伝送端末10ba及び情報処理端末40bdとビデオ会議を行っている。伝送端末10aaは、伝送端末10ba及び情報処理端末40bdからの画像を合成してディスプレイ120に表示する(このような画面を全画面表示画面501という)。同様の画像を、伝送端末10ba及び情報処理端末40bdも表示している。
(1)本実施形態の情報処理端末40bdはビデオ会議中に画像の録画を開始すると、録画開始通知(記録通知の一例)を伝送端末10aa、10baに送信する。以下では、説明の便宜上、伝送端末10aaに着目して説明する。
(2)伝送端末10aaは録画開始通知に含まれる情報処理端末40bdの通信ID(04bd)を保持しておく。
(3)伝送端末10aaのユーザが録画している拠点を確認するため情報表示画面601を表示させると、保持しておいた通信IDを用いて録画している拠点を強調して表示する。図1では、端末名と通信IDが表示されているが、録画している情報処理端末40bdの端末名の先頭に録画拠点マーク71が表示されている。伝送端末10aaのユーザはこの録画拠点マーク71により複数の拠点の内どの拠点で録画されているかを判断できる。
このように、本実施形態の伝送システム1では、他拠点で会議を行っている場合に、どの拠点が録画しているかを他の拠点の参加者がリアルタイムに把握、確認又は特定等することができる。
<用語について>
情報処理装置の識別情報は、情報処理装置を他の情報処理装置等が特定するための情報である。具体的には通信IDが挙げられる。この他、端末名、MACアドレス、メールアドレス、ユーザ名、ユーザID等で特定されてもよい。
また、情報処理装置は画像データ又は音声データの少なくとも一方を送受信することができる装置である。本実施形態では伝送端末10又は情報処理端末40という用語で説明する。
記録中であることを他の情報処理装置に対応付けて通知するとは、情報処理装置の端末名や通信IDなど情報処理装置を特定できる情報と共に、画像データ又は音声データの少なくとも一方を記録中である旨を出力することをいう。出力には、表示の他、音声による通知も含まれる。本実施形態では、例えば録画拠点マーク71が端末名と通信IDに対応付けて表示されることを例にする。
また、画像データ又は音声データの記録とは、保存、保持、格納又は記憶等で表される処理をいう。記録された画像データ又は音声データは再生することができる。また、記録を、録画又は録音と称する場合がある。
他の情報処理装置に関する情報とは、参加者が会議に参加している他の参加者を把握可能な情報をいう。例えば、端末名と通信IDの少なくとも一方である。
通信中とは、2つ以上の伝送端末10及び情報処理端末40が画像データ又は音声データを送受信していることをいう。具体的には、ビデオ会議の会議中、ビデオ会議に参加中であることをいう。
記録通知とは記録を開始すること、記録していること、を通知することをいい、記録終了通知とは記録を終了した旨を通知することをいう。
<実施形態の全体構成>
図2は、本実施形態に係る伝送システム1の概略図である。図3は、伝送システム1における画像データ、音声データ及び各種管理情報の送受信の状態を示した概念図である。伝送システム1には、伝送管理装置50を介して一方の伝送端末から複数の伝送端末に一方向でコンテンツデータを伝送するデータ提供システムが含まれる。また、伝送管理装置50を介して複数の伝送端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。コミュニケーションシステムは、コミュニケーション管理装置(「伝送管理装置50」に相当)を介して複数のコミュニケーション端末(「伝送端末」に相当)間で情報や感情等を相互に伝達するためのシステムである。ビデオ会議システムやビデオ電話システム等が例として挙げられる。
本実施形態では、コミュニケーションシステムの一例としてのビデオ会議システム、コミュニケーション管理装置の一例としてのビデオ会議管理装置及びコミュニケーション端末の一例としてのビデオ会議端末を想定した上で、伝送システム1、伝送管理装置50及び伝送端末10について説明する。即ち、本発明の伝送端末及び伝送管理装置50は、ビデオ会議システムに適用されるだけでなく、コミュニケーションシステム、又はデータ伝送システムにも適用される。
図2に示すように、伝送システム1は、複数の伝送端末10aa、10ab、・・・と、各伝送端末10aa、10ab、・・・用のディスプレイ120aa、120ab、・・・と、UI提供装置20と、情報処理端末40bd、beと、中継装置30と、伝送管理装置50と、プログラム提供装置90と、を備えている。伝送端末10aa、10ab、・・・は、コンテンツデータとして、例えば、画像データ及び音声データの送受信による伝送を行うようになっている。
UI提供装置20は、伝送端末10aa、10ab、・・・に主に拠点数を表示するための後述するレイアウト情報を送信する装置である。UI提供装置20は例えば伝送管理装置50や中継装置30が兼ねてもよい。
また、情報処理端末40は、伝送端末10の機能がソフトウェアで実現された装置である。具体的には、例えば、PC(Personal Computer)、タブレット型端末、スマートフォン、携帯電話、PDA(Personal Digital Assistant)、ゲーム機、カーナビゲーション装置、又は、電子書籍用端末などである。
なお、以下の説明において、複数の伝送端末10aa、10ab、・・・のうち、任意の伝送端末は、「伝送端末10」と表され、複数のディスプレイ120aa、120ab、・・・のうち、任意のディスプレイは、「ディスプレイ120」と表される。複数の情報処理端末40bd,beのうち、任意の情報処理端末は、「情報処理端末40」と表される。また、ビデオ会議の開始を要求する要求元の伝送端末10は、「要求元端末」と表され、要求先の伝送端末10は、「宛先端末」と表される。
また、ビデオ会議に参加している伝送端末10又は伝送端末10が設置されていることが想定される場所を「拠点」と称する。あるいは、伝送端末10を使用する相手のユーザと称してもよい。ビデオ会議に参加している伝送端末10が特定されれば、ユーザは伝送端末10が設置されていることが想定される場所や相手のユーザを推定できる。後述する端末名により、ユーザは相手や伝送端末10が設置されていることが想定される場所を推定できる。また、相手の居場所がどこであるかを特定する必要はなく、相手がいる場所が拠点である。また、相手とは個人を特定する必要はなく、企業名などの属性が分かればよい。例えば企業ユースでは、相手の伝送端末10が特定されれば、ユーザは相手や相手の居場所も推定できる。拠点の数は、ビデオ会議に参加している伝送端末10の数と同じであるが、1つと見なせる空間に(例えば1つの会議室)に複数の伝送端末10が存在してもよい。
図3に示すように、伝送システム1において、要求元端末である伝送端末10aaと宛先端末である伝送端末10ab(符号は一例)との間では、伝送管理装置50を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。
また、管理情報用セッションseiが確立した伝送端末10間では、中継装置30を介して、高解像度の画像データsed1、中解像度の画像データsed2、低解像度の画像データsed3及び音声データsed4の4つの各データを送受信するための4つのセッションが確立される。なお、本実施形態において、これら4つのセッションは、まとめて、「画像・音声データ用セッションsed」と表される。
図2において、中継装置30は、複数の伝送端末10の間で、コンテンツデータの中継を行うようになっている。伝送管理装置50は、伝送端末10からのログイン認証、伝送端末10の伝送状態の管理、宛先リストの管理等及び中継装置30の伝送状態等を一元的に管理するようになっている。なお、画像データが表す画像は、動画であっても静止画であってもよく、動画と静止画との両方であってもよい。
複数のルータ70a、70b、70c、70d、70ab、70cdは、画像データ及び音声データの最適な経路の選択を行う。なお、以下の説明において、ルータ70a、70b、70c、70d、70ab、70cdのうち、任意のルータは、「ルータ70」と表される。
プログラム提供装置90は、後述するHD(Hard Disk)204を備えており、伝送端末10に各種機能を実現させるための伝送端末制御プログラム1000aが記憶され、伝送端末制御プログラム1000aを伝送端末10に送信することができる。
また、プログラム提供装置90のHD204には、中継装置30に各種機能を実現させるための中継装置用プログラムも記憶されており、中継装置用プログラムを中継装置30に送信することができる。
更に、プログラム提供装置90のHD204には、伝送管理装置50に各種機能を実現させるための伝送管理プログラム5000aも記憶されており、伝送管理プログラム5000aを伝送管理装置50に送信することができる。
また、プログラム提供装置90のHD204には、UI提供装置20に各種機能を実現させるためのUI提供装置用プログラムも記憶されており、UI提供装置用プログラムをUI提供装置20に送信することができる。
また、プログラム提供装置90のHD204には、情報処理端末40に各種機能を実現させるための情報処理端末用プログラム1000cも記憶されており、情報処理端末用プログラム1000cを情報処理端末40に送信することができる。
伝送端末10aa、10ab、10ac、・・・及びルータ70aは、LAN2aによって伝送可能に接続されている。伝送端末10ba、10bb、10bc、・・・及びルータ70bは、LAN2bによって伝送可能に接続されている。
また、LAN2a及びLAN2bは、ルータ70abが含まれた専用線2abによって伝送可能に接続されており、所定の地域A内に設けられている。例えば、地域Aは、日本であり、LAN2aは東京の事業所内に設けられ、LAN2bは大阪の事業所内に設けられている。
一方、伝送端末10ca、10cb、10cc、・・・及びルータ70cは、LAN2cによって伝送可能に接続されている。伝送端末10da、10db、10dc、・・・及びルータ70dは、LAN2dによって伝送可能に接続されている。
また、LAN2c及びLAN2dは、ルータ70cdが含まれた専用線2cdによって伝送可能に接続されており、所定の地域B内に設けられている。例えば、地域Bはアメリカ合衆国であり、LAN2cはニューヨークの事業所内に設けられ、LAN2dはワシントンD.C.の事業所内に設けられている。地域A及び地域Bは、それぞれルータ70ab、70cdからインターネット2iを介して相互に伝送可能に接続されている。
また、中継装置30、伝送管理装置50、UI提供装置20、情報処理端末40、及びプログラム提供装置90は、インターネット2iを介して、各伝送端末10と伝送可能に接続されている。ここで、中継装置30、伝送管理装置50、UI提供装置20、情報処理端末40及びプログラム提供装置90は、地域A又は地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよい。
なお、本実施形態では、LAN2a、LAN2b、専用線2ab、インターネット2i、専用線2cd、LAN2c及びLAN2dによって、本実施形態の伝送ネットワーク2が構成されている。伝送ネットワーク2には、有線だけでなく、WiFi(Wireless Fidelity)や、Bluetooth(登録商標)等の無線による伝送が行われる箇所があってもよい。
また、図2において、各伝送端末10、中継装置30、伝送管理装置50、各ルータ70、UI提供装置20、情報処理端末40及びプログラム提供装置90の下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。例えば、伝送端末10aaのIPアドレスは「1.2.1.3」である。また、IPv4ではなく、IPv6を用いてもよいが、説明を簡略化するため、IPv4を用いて説明する。
なお、各伝送端末10は、複数の事業所間でのビデオ会議や、同じ事業所内の異なる部屋間でのビデオ会議だけでなく、同じ部屋内でのビデオ会議や、屋外と屋内又は屋外と屋外でのビデオ会議で使われてもよい。各伝送端末10が屋外で使われる場合には、携帯電話伝送網等の無線による伝送が行われる。
<伝送端末のハードウェア構成>
図4は、伝送端末のハードウェア構成図の一例である。図4に示すように、伝送端末10は、伝送端末10全体の動作を制御するCPU(Central Processing Unit)101と、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102とを有する。また、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103と、伝送端末制御プログラム1000a、画像データ及び音声データ等の各種データを記憶するフラッシュメモリ104と、を有する。また、CPU101の制御に従ってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105を有する。また、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107と、伝送端末10の宛先を選択する場合などに操作される操作ボタン108と、を有する。また、伝送端末10の電源のON/OFFを切り換えるための電源スイッチ109と、伝送ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111と、を備えている。
また、伝送端末10は、CPU101の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ112と、カメラ112の駆動を制御する撮像素子I/F113と、音を入力する内蔵型の集音装置としてのマイク114と、を有する。また、音を出力する内蔵型のスピーカ115と、CPU101の制御に従ってマイク114及びスピーカ115との間で音信号の入出力を処理する音入出力I/F116と、を有する。また、CPU101の制御に従って外付けのディスプレイ120に画像データを伝送するディスプレイI/F117と、を有する。また、各種の外部機器を接続するための外部機器接続I/F118と、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン110と、を備えている。
ディスプレイ120は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示装置を構成する。ディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続されている。ケーブル120cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(登録商標)(High-Definition Multimedia Interface)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
カメラ112は、レンズと、光を電荷に変換して被写体の像を電子化する固体撮像素子とを含み、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)又はCCD(Charge Coupled Device)等が用いられる。
外部機器接続I/F118には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク及び外付けスピーカ等の外部機器を接続できるようになっている。
外部機器接続I/F118に外付けカメラが接続された場合には、CPU101は、内蔵型のカメラ112に優先して、外付けカメラを駆動するようになっている。また、外部機器接続I/F118に外付けマイクや外付けスピーカが接続された場合には、CPU101は、内蔵型のマイク114や内蔵型のスピーカ115にそれぞれ優先して、外付けマイクや外付けスピーカを駆動するようになっている。
なお、記録メディア106は、伝送端末10に対して着脱自在に構成されている。また、伝送端末10は、CPU101の制御に従ってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に代えて、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
また、伝送端末制御プログラム1000aは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア106等のような、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、伝送端末制御プログラム1000aは、フラッシュメモリ104ではなくROM102に記憶させるようにしてもよい。
情報処理端末40は、伝送端末10と同様のハードウェア構成を有しているか、差異があるとしても少なくとも本実施形態の説明においては支障がないものとする。但し、SSD105には、情報処理端末40を制御するための情報処理端末用プログラム1000cが記録されている。
<<伝送管理装置50、UI提供装置、中継装置、プログラム提供装置のハードウェア構成図>>
図5は、伝送管理装置50、UI提供装置20、中継装置又はプログラム提供装置のハードウェア構成図である。図5に示すように、伝送管理装置50は、伝送管理装置50全体の動作を制御するCPU201と、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202と、CPU201のワークエリアとして使用されるRAM203と、を有する。また、伝送管理プログラム等の各種データを記憶するHD204と、CPU201の制御に従ってHD204に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)205と、を有する。また、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207と、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ208と、を有する。また、伝送ネットワーク2を利用してデータ伝送をするためのネットワークI/図2809と、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211と、を有する。また、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス212と、を有する。また、着脱可能な記録媒体の一例としての光記憶媒体(Compact Disc Read Only Memory)213に対する各種データの読み出し又は書き込みを制御する光学ドライブ214と、を有する。また、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン210と、を備えている。
なお、伝送管理プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア206や光記憶媒体213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、伝送管理プログラムは、HD204ではなくROM202に記憶されていてもよい。
また、中継装置30は、伝送管理装置50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、中継装置30を制御するための中継装置用プログラムが記録されている。
この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア206や光記憶媒体213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、中継装置用プログラムは、HD204ではなくROM202に記憶されていてもよい。
また、プログラム提供装置90は、伝送管理装置50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、プログラム提供装置90を制御するためのプログラム提供装置用プログラムが記録されている。
この場合も、プログラム提供装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア206や光記憶媒体213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、プログラム提供装置用プログラムは、HD204ではなくROM202に記憶されていてもよい。
また、UI提供装置20は、伝送管理装置50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、UI提供装置20を制御するためのUI提供装置用プログラム及び後述するレイアウト情報が記録されている。
この場合も、UI提供装置用プログラム及びレイアウト情報は、インストール可能な形式又は実行可能な形式のファイルで、記録メディア206や光記憶媒体213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、UI提供装置用プログラム及びレイアウト情報は、HD204ではなくROM202に記憶されていてもよい。
なお、上記したコンピュータで読み取り可能な記録媒体として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等を適用してもよい。
なお、図示する伝送管理装置50等のハードウェア構成は、1つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、伝送管理装置50等が備えていることが好ましいハード的な要素を示す。また、クラウドコンピューティングに対応するため、本実施例の伝送管理システム50等の物理的な構成は固定的でなくてもよく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成されてよい。
<伝送システム1の機能構成>
図6は、伝送システム1に含まれる各端末の機能ブロック図である。伝送端末10、中継装置30、情報処理端末40,UI提供装置20及び伝送管理装置50は、伝送ネットワーク2を介してデータを伝送することができるように接続されている。なお、図2に示した、中継装置30及びプログラム提供装置90は、必要に応じて説明される。情報処理端末40については、図7にて説明される。
<<伝送端末の機能構成>>
伝送端末10は、送受信部11、操作入力受付部12、ログイン要求部13、撮像部14、音入力部15a、音出力部15b、宛先リスト表示部16、表示制御部17、及び記憶・読出処理部19を有している。これら各部は、図4のフラッシュメモリ104からRAM103上に展開された伝送端末制御プログラム1000aを実行するCPU101によって実現される機能である。また、伝送端末10は、RAM103及びフラッシュメモリ104によって構成される記憶部1000を有している。記憶部1000には伝送端末制御プログラム1000a及び録画中管理テーブル1000bが記憶されている。
表1は録画中管理テーブル1000bの一例を示す。録画中管理テーブル1000bには録画中の伝送端末10及び情報処理端末40の通信IDが登録されている。すなわち、録画を開始した伝送端末10及び情報処理端末40は録画開始通知(通信IDを含む)を他の伝送端末10及び情報処理端末40に送信するので、録画開始通知を受信した伝送端末10及び情報処理端末40は通信IDを録画中管理テーブル1000bに登録する。複数の伝送端末10及び情報処理端末40が録画している場合は、録画開始通知を送信した全ての伝送端末10及び情報処理端末40の通信IDが送信した録画開始通知が録画中管理テーブル1000bによって保持される。
なお、説明の便宜上、「01」で始まる通信IDは伝送端末10の通信IDを意味し、「04」で始まる通信IDは情報処理端末40の通信IDを意味しているものとして説明する。
(伝送端末の各機能構成)
送受信部11は、CPU101及びネットワークI/F111等によって構成され、伝送ネットワーク2を介して他の伝送端末10、情報処理端末40、中継装置30、伝送管理装置50、又は、プログラム提供装置90と各種データや情報の送受信を行うようになっている。
送受信部11は、所望の宛先端末とビデオ会議を開始する前から、伝送管理装置50より、ビデオ会議の接続先の候補としての各伝送端末10の状態を示す各状態情報の受信を開始するようになっている。状態情報は、各伝送端末10がオンラインかオフラインかの稼動状態を表すだけでなく、オンラインで伝送可能であるか、オンラインで伝送中であるか等の詳細な稼動状態も表す。
また、状態情報は、各伝送端末10の稼動状態だけでなく、伝送端末10でケーブル120cが伝送端末10から外れていたり、音を出力するが画像は出力させなかったり、音を出力させないようにする(MUTE)等、様々な状態を表す。以下の説明においては、本発明を理解しやすくするために、状態情報が各伝送端末10の稼動状態を表す場合について説明する。
操作入力受付部12は、CPU101、操作ボタン108及び電源スイッチ109等によって構成され、ユーザによる各種入力を受け付けるようになっている。例えば、ユーザが、電源スイッチ109をONにすると、操作入力受付部12が電源ONを受け付けて、伝送端末10の電源をONにするようになっている。
ログイン要求部13は、CPU101等によって構成される。電源ONの受け付けを契機として、送受信部11から伝送ネットワーク2を介して伝送管理装置50に、ログインを要求する旨を示すログイン要求情報及び現時点の自端末のIPアドレスを送信するようになっている。
また、ユーザが電源スイッチ109をONの状態からOFFの状態にすると、送受信部11が伝送管理装置50に電源をOFFする旨の状態情報を送信した後に、操作入力受付部12が伝送端末10の電源を完全にOFFにするようになっている。これにより、伝送管理装置50側では、伝送端末10が電源ONから電源OFFになったことを把握することができる。
撮像部14は、CPU101、カメラ112及び撮像素子I/F113等によって構成され、被写体を撮像し、撮像して得られた画像データを送受信部11に出力するようになっている。
音入力部15aは、CPU101及び音入出力I/F116等によって構成され、マイク114によって集音されて得られた音を表す音信号が入力され、入力された音信号を音声データに変換するようになっている。
音出力部15bは、CPU101及び音入出力I/F116等によって構成され、音声データを音信号に変換し、変換した音信号をスピーカ115に出力することにより、スピーカ115に音を出力させるようになっている。
表示制御部17は、CPU101及びディスプレイI/F117等によって構成される。表示制御部17は、送受信部11に受信された解像度の異なる画像データを組み合わせ、組み合わせた画像データをディスプレイ120に送信することにより、画像データが表す画像をディスプレイ120に表示させるようになっている(全画面表示モード)。また、他の拠点の詳細な情報を表示することができる(情報表示モード)。
表示制御部17は補助領域表示部18a及び拠点リスト表示部18bを有している。補助領域表示部18aは、伝送端末10が後述する全画面表示モードの場合に、全画面表示画面501の補助領域に会議に参加している拠点数や録画通知情報(記録通知情報)などを表示する。拠点リスト表示部18bは、伝送端末10が後述する情報表示モードの場合に、情報表示画面601に会議に参加している拠点の名称、通信ID、及び、録画中管理テーブル1000bを参照し録画拠点マーク71などを表示する。
宛先リスト表示部16は、伝送管理装置50から送信される宛先状態情報に基づき宛先リスト画面をディスプレイ120に表示する。宛先状態情報には録画会議中か否かの稼動状態が含まれ、宛先リスト画面には宛先の伝送端末10及び情報処理端末40ごとに会議中か否かが表示される。
記憶・読出処理部19は、CPU101及びSSD105等によって構成され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出したりするようになっている。
記憶部1000には、伝送端末10を通信先(他の拠点から見て)として識別するための通信ID及びパスワード等が記憶されている。更に、記憶部1000は、宛先端末とビデオ会議を行う際に受信される画像データ及び音声データの受信バッファとしても用いられる。なお、本実施形態の通信IDは、伝送端末10を一意に識別するために使われる言語、文字、記号又は各種の標し等の情報を示す。また、通信IDは、言語、文字、記号及び各種の標しのうち、少なくとも2つが組み合わされた情報であってもよい。
<伝送管理装置50の機能構成>
伝送管理装置50は、送受信部51、端末認証部52、状態管理部53、端末抽出部54、端末状態取得部55、セッション管理部56、及び記憶・読出処理部59を有している。これら各部は、図5に示したHD204からRAM203上に展開された伝送管理プログラム5000aを実行するCPU201によって実現される機能である。また、伝送管理装置50は、HD204により構成される記憶部5000を有している。以下、記憶部5000に記憶されたデータベースについて説明する。
記憶部5000には、表2に示すような端末認証管理テーブルを有する端末認証管理DB5001が構築されている。端末認証管理テーブルでは、伝送管理装置50によって管理される全ての伝送端末10の各通信IDに対して、各パスワードが関連付けられて管理される。例えば、表1に示した端末認証管理テーブルは、伝送端末10aaの通信IDが「01aa」で、パスワードが「aaaa」であることを示している。
また、記憶部5000には、表3に示すような端末管理テーブルを有する端末管理DB5002が構築されている。端末管理テーブルでは、各伝送端末10の通信ID毎に、各伝送端末10又は情報処理端末40の端末名と、各伝送端末10の稼動状態と、伝送端末10のIPアドレスとが関連付けられて管理されている。端末名は、予め通信IDと対応づけて伝送管理装置50に登録されており、通信IDが分かると端末名が判明する。
例えば、表3(a)に示した端末管理テーブルは、通信IDが「01aa」の伝送端末10aaに対して、端末名が「日本 東京事業所 AA端末」で、稼動状態が「オンライン(伝送中)」で、伝送端末10aaのIPアドレスが「1.2.1.3」であることを表している。
なお、表3(a)の端末管理テーブルは、通信IDが01aaの伝送端末10aa、通信IDが01baの伝送端末10ba、及び、通信IDが04bdの情報処理端末40bdが会議に参加中となった状態を示している(オンライン(伝送中))。これよりも前の稼動状態としてオンライン(伝送可能)となる状態がある。
また、表3(b)は録画会議中の情報処理端末40が会議に参加している場合の端末管理テーブルを示す。通信IDが「04db」の情報処理端末40dbに対し、稼動状態が「録画会議中」となっている。この稼動状態が「録画会議中」であることが、情報処理端末40bdが録画中であることを表している。通信IDが「01aa」「01ba」の稼動状態も「録画会議中」である。これは、情報処理端末40と同じ会議に参加している伝送端末10及び情報処理端末40の稼動状態も「録画会議中」に変更されるためである(伝送端末10及び情報処理端末40が実際に録画していなくても)。
ここで、端末管理テーブルの通信IDは、伝送端末10及び情報処理端末40が伝送システム1に登録される際にユニークに割り当てられ、端末名は、伝送管理装置50の管理者によって登録又は変更される。なお、端末名は、伝送端末10から伝送管理装置50に対してなされる要求に応じて、登録又は変更されてもよい。すなわち、通信IDと端末名は予め登録されているものとして説明する。
また、稼動状態が「オンライン(伝送可能)」とは、伝送端末10が伝送システム1にログインした状態で、ビデオ会議に参加していない状態であることを表す。「オンライン(伝送中)」とは、伝送端末10が伝送システム1にログインした状態で、ビデオ会議に参加している状態(会議中という意味)であることを表す。稼動状態が「オフライン」とは、伝送端末10が伝送システム1にログインしていない状態であることを表す。ビデオ会議に参加している又は会議中の伝送端末10とは、稼動状態が「オンライン(伝送中)」の伝送端末10である。
更に、記憶部5000には、表4に示すような宛先リスト管理テーブルを有する宛先リスト管理DB5003が構築されている。宛先リスト管理テーブルでは、ビデオ会議の開始を要求する要求元端末の通信IDに対して、宛先端末の候補として登録されている宛先端末の通信IDが全て関連付けられて管理されている。
例えば、通信IDが「01aa」である伝送端末10aaからビデオ会議の開始を要求できる宛先端末の候補は、通信IDが「01ab」〜「01dc」の伝送端末10ab〜10dc及び通信IDが「04bd」「04be」である情報処理端末40bd、beであることが示されている。宛先端末の通信IDは、伝送端末10又は情報処理端末40から伝送管理装置50に対してなされる要求に応じて、宛先となる伝送端末10又は情報処理端末40からの許可通知(承諾)が返送されると追加される。また、伝送端末10又は情報処理端末40から伝送管理装置50に対して削除されることもできる。
また、記憶部5000には、セッション管理テーブルによって構成されているセッション管理DB5004が構築されている。このセッション管理テーブルでは、中継装置30を選択するためのセッションの実行に用いられるセッションID毎に、画像データ及び音声データの中継に使用される中継装置30の中継装置ID、要求元端末の通信ID、宛先端末の通信ID、及び、会議ID、が関連付けられて管理される。セッションIDはセッションを識別するためのIDであり同じ会議に参加する伝送端末10が同じセッションに含まれるとは限らない。これに対し会議IDは同じ会議に参加する伝送端末10に同じものが付与される。
(UI提供装置のURI)
更に、記憶部5000には、UI提供装置20のURI(Uniform Resource Identifier)5005が記憶されている。UI提供装置20のURI5005は、伝送管理装置50又はUI提供装置20の管理者などにより設定されている。
(録画中管理テーブル)
記憶部5000には録画中管理テーブル5006が記憶されている。伝送管理装置50が保持する録画中管理テーブル5006には、会議ごとに録画中の伝送端末10及び情報処理端末40の通信IDが全て登録されている。
(伝送管理装置50の各機能構成)
送受信部51は、CPU201及びネットワークI/図2809等によって構成され、伝送ネットワーク2を介して他の伝送端末10又は中継装置30、プログラム提供装置90と各種データや情報の送受信を行うようになっている。
端末認証部52は、CPU101等によって構成され、送受信部51を介して受信されたログイン要求情報に含まれている通信ID及びパスワードを検索キーとして、端末認証管理DB5001を検索する。そして、端末認証管理DB5001に同一の通信ID及びパスワードが管理されているかを判定することによって端末認証を行うようになっている。なお、認証方法はこれに限られず、クライアント証明書(公開鍵と秘密鍵を用いた認証方法)を用いてもよい。
状態管理部53は、CPU101等によって構成され、ログイン要求してきた要求元端末の稼動状態を管理する。すなわち、端末管理DB5002に、要求元端末の通信IDに対して、稼動状態、及びIPアドレスを関連付けて記憶して管理するようになっている。
また、ユーザが伝送端末10の電源スイッチ109の状態をONからOFFにする。状態管理部53は、これにより、伝送端末10から送られてきた、電源をOFFする旨の状態情報に基づいて、端末管理DB5002における伝送端末10の稼動状態をオンラインからオフラインに変更するようになっている。また、状態管理部53は定期的に(不定期でもよい)伝送端末10及び情報処理端末40の死活を監視するための通信を行う。
端末抽出部54は、CPU101等によって構成され、ログイン要求した要求元端末の通信IDを検索キーとして、宛先リスト管理DB5003を検索し、要求元端末に対する宛先端末の候補の通信IDを抽出するようになっている。
また、端末抽出部54は、ログイン要求してきた要求元端末の通信IDを検索キーとして、宛先リスト管理DB5003を検索し、要求元端末の通信IDを宛先端末の候補として登録している他の要求元端末の通信IDも抽出するようになっている。
端末状態取得部55は、CPU101等によって構成され、端末抽出部54によって抽出された宛先端末の候補の通信IDを検索キーとして、端末管理DB5002を検索し、検出された通信ID毎に稼動状態を読み出すようになっている。
これにより、端末状態取得部55は、ログイン要求してきた要求元端末に対する宛先端末の候補の稼動状態を取得することができる。また、端末状態取得部55は、端末抽出部54によって抽出された通信IDを検索キーとして、端末管理DB5002を検索し、ログイン要求してきた要求元端末の稼動状態も取得するようになっている。
セッション管理部56は、伝送端末10と伝送端末10、伝送端末10と情報処理端末40、又は、情報処理端末40と情報処理端末40の間でセッションが確立すると、セッション管理テーブルでセッションを管理する。すでにセッションが確立している伝送端末10又は情報処理端末40に対し別のセッションが確立した場合、セッション管理部56は同じ会議IDを付与するので、同じ会議に参加している伝送端末10及び情報処理端末40が会議IDで紐付けられる。
記憶・読出処理部59は、CPU101及びHDD205等によって構成され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出したりするようになっている。
<<UI提供装置の各機能構成>>
UI提供装置20は、送受信部81、サーバ部82及び記憶・読出処理部89を有している。これら各部は、HD204からRAM203上に展開されたUI提供装置用プログラム2000aを実行するCPU201によって実現される機能である。また、伝送管理装置50は、HD204により構成される記憶部2000を有している。記憶部2000にはレイアウト情報lotが記憶されている。
(UI提供装置の各機能構成)
送受信部81は、CPU201及びネットワークI/図2809等によって構成され、伝送ネットワーク2を介して伝送端末10と各種データや情報の送受信を行うようになっている。
サーバ部82は、CPU101等によって構成され、伝送端末10からレイアウト情報要求信号を取得し、記憶・読出処理部29が記憶部2000から読み出したレイアウト情報lotを、送受信部81を介して伝送端末10に送信する。
記憶・読出処理部89は、CPU101等によって構成され、記憶部2000に各種データを記憶したり、記憶部2000に記憶された各種データを読み出したりするようになっている。記憶部2000は、ROM202、RAM203、HDD205等によって構成され、主にUI提供装置用プログラム2000aとレイアウト情報lotを記憶している。
<<情報処理端末の機能構成>>
図7は、情報処理端末40の機能ブロック図の一例である。情報処理端末40の機能については伝送端末10との相違を主に説明する。情報処理端末40の機能は伝送端末10と同様であるが、情報処理端末40は画像録画部41を有する点が伝送端末10と異なっている。情報処理端末40が有する各機能は、図4に示したフラッシュメモリ104からRAM103上に展開された情報処理端末用プログラム1000cを実行するCPU101によって実現される機能である。また、情報処理端末40は記憶部1000に、情報処理端末用プログラム1000c及び録画データ1000dを記憶している。
画像録画部41は、ディスプレイ120に表示される画像データ及び音声データを録画データ1000dとして記録する。録画データは、表示制御部17がディスプレイ120に表示した全画面表示画面501や情報表示画面601が録画されたデータである。全画面表示画面501や情報表示画面601に限らず、ディスプレイ120に表示された画面は保存することが可能である。また、音出力部15bがスピーカ115から出力した音声データも録音(記録)することが可能である。本実施形態では、画像録画部41が録画することで音声データも録音されているものとする。一方、画像録画部41は、画像データのみ又は音声データのみを記録することが可能である。
なお、本実施形態では情報処理端末40が録画する機能を有し、伝送端末10が録画する機能を有していないが、これは説明のための区別に過ぎず、伝送端末10が録画する機能を有することも可能である。
また、録画データ1000dを記憶部1000でなくネットワーク上のNAS(Network Attached Storage)などに記憶してもよい。
<実施形態の処理又は動作>
次に、本実施形態に係る伝送システム1の動作について説明する。図8は、伝送端末10がビデオ会議に参加する準備状態になるまでの準備段階動作を示すシーケンス図である。なお、図8は、伝送端末10aaが準備状態になる例が示されている。準備段階動作においては、管理情報用セッションseiで各種情報が送受信される。また、情報処理端末40がビデオ会議に参加する処理も伝送端末10と同様である。
まず、伝送端末10aaのユーザが、伝送端末10aaの電源スイッチ109をONにすると、操作入力受付部12が電源ONを受け付けて、電源をONにする(ステップS21)。そして、ログイン要求部13は、電源ONの受け付けを契機とし、伝送端末10aaの送受信部11から伝送ネットワーク2を介して伝送管理装置50にログイン要求を表すログイン要求情報を送信する(ステップS22)。
ログイン要求情報には、ログイン要求元の伝送端末10aaを識別するための通信ID及びパスワードが含まれている。これら通信ID及びパスワードは、記憶・読出処理部19によって記憶部1000から読み出される。
なお、伝送端末10aaから送信されたログイン要求情報が伝送管理装置50に受信された際には、伝送管理装置50は、送信側である伝送端末10aaのIPアドレスを把握することができる。
次に、伝送管理装置50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている通信ID及びパスワードを検索キーとして、記憶部5000の端末認証管理DB5001を検索する。そして、端末認証管理DB5001に検索キーと同一の通信ID及びパスワードが管理されているかを判定することによって端末認証を行う(ステップS23)。
ここで、端末認証部52によって、検索キーと同一の通信ID及びパスワードが管理されていないと判定された場合、すなわち、正当な利用権限を有する伝送端末10からのログイン要求でないと判定された場合がある。この場合、送受信部51は、端末認証部52によって得られた認証結果を表す認証結果情報をログイン要求してきた伝送端末10aaに伝送ネットワーク2を介して送信し、準備段階の動作は終了することとなる。
一方、端末認証部52によって、検索キーと同一の通信ID及びパスワードが管理されていると判定された場合、すなわち、正当な利用権限を有する伝送端末10からのログイン要求であると判定された場合がある。この場合、状態管理部53は、端末管理DB5002に、伝送端末10aaの通信ID、稼動状態、及び伝送端末10aaのIPアドレスを関連付けて記憶する(ステップS24)。
これにより、端末管理テーブルは、通信ID「01aa」、稼動状態「オンライン(伝送可能)」、及び伝送端末10aaのIPアドレス「1.2.1.3」を関連付けて管理することになる。
次に、伝送管理装置50の送受信部51は、端末認証部52によって得られた認証結果を表す認証結果情報をログイン要求してきた伝送端末10aaに伝送ネットワーク2を介して送信する(ステップS25)。また、伝送管理装置50は、認証結果情報と共に又は前後して、UI提供装置20のURI5005を伝送端末10に送信する。これにより、伝送端末10はUI提供装置20にアクセスできるようになる。
このUI提供装置20のURI5005は伝送ネットワーク2におけるレイアウト情報lotの保存場所を示す。例えば「IPアドレス(又はドメイン名)+フォルダ名+ファイル名」のような形式を有するが、UI提供装置20にアクセス可能であればよい。
URI5005を各伝送端末10が保持しないことによって、UI提供装置20が置き換えられたり、URIが変更になったりしても、伝送管理装置50の管理者が伝送管理装置50に記憶しているURIを変更するだけでよい。すなわち、全ての伝送端末10に対する変更が必要でなくなるため、管理の負荷を低減できる。
次に、伝送管理装置50の端末抽出部54は、ログイン要求してきた伝送端末10aaの通信ID「01aa」を検索キーとして、宛先リスト管理DB5003を検索し、伝送端末10aaに対する宛先端末の候補の通信IDを抽出する(ステップS26)。
ここでは、伝送端末10aaの通信ID「01aa」に対する宛先端末として通信IDが「01ab、01ac、01ba、01bb、01bc、04bd、04be、01ca、01cb、01ca、01da、01db、01dc」が抽出されることになる。
次に、伝送管理装置50の端末状態取得部55は、端末抽出部54によって抽出された宛先端末の候補の通信ID「01ab、01ac、01ba、01bb、01bc、04bd、04be、01ca、01cb、01ca、01da、01db、01dc」を検索キーとして、端末管理DB5002を検索する。そして、端末抽出部54によって抽出された通信ID毎に稼動状態「オフライン」、「オンライン(伝送可能)」、「オンライン(伝送中)」「録画会議中」を読み出すことにより、伝送端末10と情報処理端末40の各稼動状態を取得する(ステップS27)。
次に、伝送管理装置50の送受信部51は、ステップS27で使用された検索キーである通信ID「01ab、01ac、01ba、01bb、01bc、04bd、04be、01ca、01cb、01ca、01da、01db、01dc」と、各伝送端末10及び情報処理端末40の稼動状態「オフライン」、「オンライン(伝送可能)」、「オンライン(伝送中)」「録画会議中」を宛先状態情報に含める。そして、伝送ネットワーク2を介して伝送端末10aaに送信する(ステップS28)。
これにより、伝送端末10aaは、宛先端末の候補である伝送端末10ab、10ac、10ba、10bb、10bc、10ca、10cb、10ca、10da、10db、10dc、情報処理端末40bd、40beの現時点のそれぞれの稼動状態「オフライン」、「オンライン(伝送可能)」、「オンライン(伝送中)」「録画会議中」を把握することができる。
更に、伝送管理装置50の端末抽出部54は、ログイン要求してきた伝送端末10aaの通信ID「01aa」を検索キーとして、宛先リスト管理DB5003を検索する。そして、伝送端末10aaの通信ID「01aa」を宛先端末の候補として登録している他の伝送端末の通信IDを抽出する(ステップS29)。表4の宛先リスト管理テーブルによれば、「01ba」、「01ca」「04bd」が抽出される。
次に、伝送管理装置50の状態管理部53は、ログイン要求して来た伝送端末10aaの通信ID「01aa」を検索キーとして、端末管理DB5002を検索する。そして、ログイン要求してきた伝送端末10aaの稼動状態「オンライン(伝送可能)」(ログイン直後はオンライン(伝送可能)である)を取得する(ステップS30)。
次に、伝送管理装置50の送受信部51は、ステップS29で抽出された通信ID「01ba」、「01ca」「04bd」で識別されるそれぞれの伝送端末10ba、10ca、及び情報処理端末40dbのうち、端末管理DB5002で稼動状態が「オンライン」となっている伝送端末10baと情報処理端末40bdを特定する。オンラインでなければ宛先状態情報を受け取れないためである。そして、ステップS30で取得された伝送端末10aaの通信ID「01aa」と稼動状態「オンライン(伝送可能)」とが含まれる宛先状態情報を送信する(ステップS31−1、31−2)。
伝送端末10aaの宛先リスト表示部16は、ステップS28で受信した宛先状態情報を用いて、宛先リスト画面をディスプレイ120aaに表示させる(S32)。宛先リスト画面を図11に示す。
なお、伝送端末10ba、情報処理端末40bdに宛先状態情報を送信する際には、送受信部51は、各通信ID「01ba」、「04bd」に基づいて、端末管理テーブルで管理されている伝送端末のIPアドレスを参照する。
これにより、ログイン要求してきた伝送端末10aaを宛先として伝送することができる伝送端末10db、情報処理端末40bdに、ログイン要求してきた伝送端末10aaの通信ID「01aa」及び稼動状態「オンライン(伝送可能)」を伝えることができる。
また、準備段階動作のステップS28が完了した際に、伝送端末10aaの表示制御部17は、ディスプレイ120に表示させた宛先リスト画面から、ビデオ会議に参加中の端末をディスプレイ120に強調表示させる。すなわち、稼動状態が「オンライン(伝送中)」や「オンライン(伝送可能)」である伝送端末10ba、情報処理端末40bdの情報をディスプレイ120に強調表示させる等して、ビデオ会議に参加している伝送端末10又は参加可能な伝送端末10をユーザに認識させることができる。
図9は、伝送端末10がビデオ会議に参加する参加状態になるまでの会議参加動作を示すシーケンス図である。なお、図9は、伝送端末10aaが情報処理端末40bdとビデオ会議を行う例が示されている。会議参加動作においては、管理情報用セッションseiで各種情報が送受信される。
まず、ユーザが操作ボタン108を押下して例えば情報処理端末40bdを選択することでビデオ会議の参加を選択すると、操作入力受付部12は、情報処理端末40bdとビデオ会議に参加する旨の要求を受け付ける(ステップS41)。なお、伝送端末10aaが情報処理端末40の場合、操作ボタン108の代わりに、情報処理端末40のハードキーやタッチパネルに表示されたソフトキーの押下により、ビデオ会議を参加する旨の要求を受け付ける。
この要求に応じて、伝送端末10aaの送受信部11は、伝送端末10aaの通信ID「01aa」及び情報処理端末40bdの通信ID「04bd」が含まれ、ビデオ会議に参加する旨を表す参加要求情報を伝送管理装置50に送信する(ステップS42)。
これにより、伝送管理装置50の送受信部51は、参加要求情報を受信すると共に、送信元である伝送端末10aaのIPアドレス「1.2.1.3」を確認することができる。
次に、伝送管理装置50の状態管理部53は、参加要求情報に含まれる伝送端末10aaの通信ID「01aa」を検索キーとする。そして、端末管理DB5002を検索し、参加要求してきた伝送端末10aaの稼動状態を「オンライン(伝送中)」に設定する(ステップS43)。これにより、表3(a)に示すように端末管理テーブルの稼動状態が更新される。
次に、伝送管理装置50の送受信部51は、伝送ネットワーク2を介して伝送端末10aaの通信ID「01aa」が含まれる開始要求情報を情報処理端末40bdに送信する(ステップS44)。これにより、情報処理端末40bdは、どの伝送端末10からビデオ会議に参加したいとの要求があったのかを把握することができる。
次に、情報処理端末40bdは、送受信部11から伝送ネットワーク2を介して伝送管理装置50に開始要求情報の受信が完了した旨を示す受信完了情報を送信する(ステップS45)。セッション管理部56は、要求元である伝送端末10aaと宛先端末である情報処理端末40bdとの間のセッションに重複しないセッションIDを付与する(採番する)。また、重複しない会議IDを採番してセッション管理テーブルにセッションID、中継装置ID、要求元通信ID、宛先通信ID及び会議IDを登録する。
次に、伝送管理装置50の送受信部51は、伝送ネットワーク2を介して中継装置30に中継を開始する旨の要求を表す中継開始要求情報を送信する(ステップS46)。中継開始要求情報には、伝送端末10aa及び情報処理端末40bdの各IPアドレス「1.2.1.3」、「1.3.1.3」、セッションID及び会議IDが含まれている。
これにより、中継装置30は、伝送端末10aa、情報処理端末40bdの間で、低解像度、中解像度及び高解像度の3つ画像データ、並びに、音声データを伝送するためのセッションを確立する(ステップS47)。このように、伝送端末10aaは、情報処理端末40bdとのビデオ会議に参加することができるようになる。
また、図9と同様の処理により同じセッションで通信する伝送端末10又は情報処理端末40に対する開始要求が伝送管理装置50に送信された場合、伝送管理装置50のセッション管理部56はセッションを開始している伝送端末10及び情報処理端末40の会議IDを付与する。従って、セッションIDが変わっても同じ会議に参加する伝送端末10又は情報処理端末40には同じ会議IDが付与される。中継装置30は同じ会議IDに対応付けられた伝送端末10又は情報処理端末40に対し画像データ及び音声データを転送する。
一方で、伝送管理装置50の送受信部51は、伝送端末10aaの通信ID「01aa」と稼動状態「オンライン(伝送中)」とが含まれる端末状態変更情報(稼動状態の変更情報)を、端末管理DB5002に登録されている各伝送端末10に送信する(ステップS48)。これにより、端末状態変更情報を受信した各伝送端末は、必要に応じて、通信ID「01aa」の伝送端末10aaの稼動状態を記憶及び表示することができる。
セッションが確立することで、伝送端末10aaは、情報処理端末40bdから送信された画像データを表示し音声データを出力できる。情報処理端末40bdは、伝送端末10aaから送信された画像データを表示し音声データを出力できる。ビデオ会議に参加している伝送端末10が3つ以上であっても画像データ及び音声データは、2台の場合と同様に伝送される。あるいは、2台の場合には中継装置30を介さず、3台以上の場合に中継装置30を介する通信プロトコルで画像データ及び音声データが伝送されてもよい。
<録画に関する動作>
図10を用いて情報処理端末40が録画を行った場合の動作について説明する。図10は、情報処理端末40bdが録画を開始したり終了したりした場合の動作を示すシーケンス図の一例である。
S1:ビデオ会議中の情報処理端末40bdのユーザ(会議の参加者)が画像データの録画を行う操作を行う。情報処理端末40bdの操作入力受付部12はこの操作を受け付ける。まず、情報処理端末40bdの送受信部11は情報処理端末40bdの通信ID(04bd)と共に録画開始通知を伝送管理装置50に送信する。
S2:伝送管理装置50の送受信部51は録画開始通知を受信する。これにより、状態管理部53は端末管理テーブルの情報処理端末40bdの通信ID(04bd)に対応付けられている稼動状態を「録画会議中」に設定する。
また、状態管理部53は、情報処理端末40bdとビデオ会議を行っている全ての伝送端末10及び情報処理端末40の稼動状態を「録画会議中」に設定する。これは、同じ会議に参加する全ての伝送端末10及び情報処理端末40の参加者や資料などが録画されるおそれがあり、これから伝送端末10aaと情報処理端末40bdのビデオ会議に参加する伝送端末10及び情報処理端末40の参加者に、画像データや音声データが録画されている会議に宛先端末が参加中であることを知らせるためである。
情報処理端末40bdとビデオ会議を行っている伝送端末10及び情報処理端末40は、セッション管理テーブルに登録されている。端末抽出部54は、セッション管理テーブルにおいて情報処理端末40bdの通信ID(04bd)に対応付けられている会議IDを抽出し、更にこの会議IDに対応付けられている通信IDを全て取得する。表5のセッション管理テーブルでは、情報処理端末40bdと同じ会議に参加しているのは、通信IDが01aaの伝送端末10aa、10baである。従って、状態管理部53は、情報処理端末40bd、伝送端末10aa、10baの稼動状態を「録画会議中」に設定する。
なお、状態管理部53は録画中管理テーブル5006に情報処理端末40bdの通信ID(04bd)を登録しておく。伝送端末10aa、10baの通信IDは登録しなくてよい(録画していないため)。
S3:伝送管理装置50の送受信部51は、情報処理端末40bdとビデオ会議を行っている伝送端末10及び情報処理端末40に録画開始通知を送信する。情報処理端末40bdとビデオ会議を行っている伝送端末10及び情報処理端末40の判定方法はステップS2と同様である。情報処理端末40bd、伝送端末10aa、10baが特定されるが、図10では伝送端末10baが省略されているため、伝送管理装置50の送受信部51はこの伝送端末10aaに録画開始通知を送信する。
S4:伝送端末10aaの送受信部11は録画開始通知を受信して、表示制御部17が録画通知表示を行う。詳細は図17にて説明する。
S5:情報処理端末40bdの画像録画部41は、操作入力受付部12が録画開始の操作を受け付けることで、画像データと音声データの記録を開始する。
S6:続いて、情報処理端末40bdのユーザ(会議の参加者)が画像データの録画を終了する操作を行う。情報処理端末40bdの操作入力受付部12はこの操作を受け付ける。なお、情報処理端末40bdの画像録画部41は、操作入力受付部12が録画終了の操作を受け付けることで、画像データと音声データの記録を終了する。
S7:情報処理端末40bdの送受信部11は情報処理端末40bdの通信ID(04bd)と共に録画終了通知(記録終了通知の一例)を伝送管理装置50に送信する。
S8:伝送管理装置50の送受信部51は録画終了通知を受信する。状態管理部53は録画中管理テーブル5006から情報処理端末40bdの通信ID(04bd)を削除する。そして、録画中管理テーブル5006に1つも通信IDがない場合、端末管理テーブルの「録画会議中」を「オンライン(伝送中)」に設定する。こうすることで、1つでも録画中の伝送端末10又は情報処理端末40が残っている場合、会議に参加している全ての伝送端末10又は情報処理端末40の稼動状態を「録画会議中」にしたままにできる。
S9:伝送管理装置50の送受信部51は、情報処理端末40bdとビデオ会議を行っている伝送端末10及び情報処理端末40に録画終了通知を送信する。従って、録画終了通知は伝送端末10aaに送信される(図10では伝送端末10baが省略されている)。
S10:伝送端末10aaの送受信部11は録画終了通知を受信して、表示制御部17が録画通知を非表示にする。詳細は図17にて説明する。
なお、ユーザが録画を終了する操作をした場合に録画終了通知が送信されるが、この他、録画を終了する間接的な操作(例えば、情報処理端末40bdの電源がOFFにされる)が行われた場合に録画終了通知が送信されてもよい。
また、伝送管理装置50を介することなく、情報処理端末40bdが伝送端末10aaに直接、録画開始通知及び録画終了通知を送信してもよい。また、録画開始通知は録画の開始時に通知されるが、録画開始後の録画開始中に録画中通知のような通知が定期的又は不定期に通知されてもよい。
<表示例>
伝送端末10がディスプレイ120に表示する画面について説明する。
<<宛先リスト画面>>
図11は、図8のステップS32で表示される宛先リスト画面の一例を示す。宛先リスト画面には、ステップS28で送信された宛先状態情報に基づき稼動状態と端末名が表示される。ここでは説明の便宜上、表3(b)の端末管理テーブルに基づいて伝送端末10aaが表示する宛先リスト画面を説明する。なお、図8のステップS28では伝送端末10aaがこれからビデオ会議に参加するため表3(b)の端末管理テーブルは処理内容と整合しない。図11は端末管理テーブルに基づいて宛先リスト画面が作成されることを説明するための図である。
宛先リスト管理テーブルで伝送端末10aaの宛先端末の通信IDは「01ab、01ac、01ba、01bb、01bc、04bd、04be、01ca、01cb、01ca、01da、01db、01dc」である。このうち、録画会議中なのは通信IDが04bdの情報処理端末40bd、通信IDが01baの伝送端末10baなので、宛先リスト表示部16は通信IDが04bdと01baの稼動状態に録画拠点マーク71を表示する。その他の伝送端末10及び情報処理端末40はオフラインなので、宛先リスト表示部16は稼動状態にオフラインマークを表示する。
このように、宛先候補の1つ1つが稼動状態(録画拠点マーク71)を表示するので、これから参加しようとするユーザはビデオ会議に参加することで、自分や自分の資料が録画されてしまうことを把握できる。その結果、参加しないなどの判断が可能になる。
図12は、ユーザが録画拠点マーク71の宛先を選択した場合に表示される確認ダイアログ画面510を説明する図の一例である。録画拠点マーク71が表示された宛先をユーザが選択すると、操作入力受付部12が選択を受け付ける。録画拠点マーク71が表示されている宛先が選択されると、宛先リスト表示部16は確認ダイアログ画面510を表示させる。
確認ダイアログ画面510には、「録画実行中の会議に参加します。よろしいでしょうか?」というメッセージ511、OKボタン512及びキャンセルボタン513が表示される。ユーザがOKボタン512を押下すると、図9のステップS41の開始要求情報が送信され、ユーザがキャンセルボタン513を押下すると、開始要求情報が送信されない。従って、ユーザは事前に確認してから録画中のビデオ会議に参加することができる。
<<会議中の画面>>
本実施形態において、表示制御部17は、全画面表示モードと情報表示モードとの2つの表示モードを有する。
図13は全画面表示モードでディスプレイ120に表示された画面例を示す図である。この画面を全画面表示画面501という。全画面表示モードは、図9のステップS47でセッションが確立し、画像データと音声データの送信又は受信が開始されることで表示される。すなわち、2つの表示モードのうち、ビデオ会議の間、主に使用される表示モードである。
全画面表示モードにおいて、伝送端末10の表示制御部17は、ビデオ会議に参加している各伝送端末10から送信された全ての画像をディスプレイ120に表示させる。全ての画像を表示することで1つの画像領域が小さくなってしまう場合、予め定められた上限値(最大値)の画像が表示される。
図13に示す全画面表示画面501には、比較的広い1つの第1画像領域502と、比較的狭い複数の第2画像領域503とが割り当てられている。例えば、各第2画像領域503には、ビデオ会議に参加している各伝送端末10から送信された画像データが表す画像が表示され、第1画像領域502には、ビデオ会議に参加している伝送端末10及び情報処理端末40の中から主要な伝送端末10又は情報処理端末40の画像データが表す画像が表示される。
表示制御部17は、例えば、ビデオ会議に参加している伝送端末10のなかで、受信した音声データの中で発話がある伝送端末を主要な端末として特定する。また、発話がある伝送端末10が、音量が大きい順にソートされる。表示制御部17はこの順に第1画像領域502に画像を割り当てて表示する。
なお、図13に示す全画面表示画面501は一例に過ぎず、全画面表示モードでは、複数の全ての画像領域を同じサイズにして各画像を表示することや、上記の主要な端末の画像のみをディスプレイ120の全体に表示することなどが可能である。
そして、全画面表示画面501は、補助領域173を有する。補助領域表示部18aは、全画面表示モードでは補助領域173を表示することができる。図13では、補助領域173は、全画面表示画面501の上部の帯状の余白部分であるが、右端、左端、下部の帯状の余白部分などでもよいし、画像と重複して表示されてもよい。
補助領域173は、第1領域ar1〜第6領域ar6に区分されている。
第1領域ar1…自端末の通信IDが表示される。この伝送端末10と同じビデオ会議に参加しようとする伝送端末10のユーザは、この通信IDを問い合わせ操作している伝送端末10に入力又は選択することでビデオ会議に参加できる。
第2領域ar2…拠点数が表示される。
第3領域ar3…セッションが確立してからの会議時間が表示される。
第4領域ar4…任意の情報が表示される。
第5領域ar5…ネットワーク帯域情報(上り・下りそれぞれの通信速度)が表示される。
第6領域ar6…カーソルボタンが表示される。カーソルボタン1736は上の三角ボタン1736uと下の三角ボタン1736dを有しているが、上の三角ボタン1736uは黒色で下の三角ボタン1736dは白抜きである。上の三角ボタン1736uは操作可能であることを示しており、下の三角ボタン1736dは操作できないことを示している。上の三角ボタン1736uが操作されると、後述する簡易表示の補助領域173が表示される。
なお、補助領域173は半透明で表示されることが好ましい。これにより、拠点間で送受信される画像データに補助領域173が重なっても視認性を維持しやすい。
ここで、第6領域ar6のカーソルボタン1736は、簡易表示の補助領域173への切り替えが可能であることをユーザに知らせるアイコンとなっている。以下、図13の補助領域を「標準の補助領域」と称して後述する「簡易表示の補助領域」と区別する。
カーソルボタン1736は、いくつかある操作ボタン108のうち2つと対応している。対応している操作ボタン108は上下に揺動可能であることが好ましく、操作ボタン108の上方向の操作と上の三角ボタン1736uが、操作ボタン108の下方向の操作と下の三角ボタン1736dがそれぞれ対応している。
また、補助領域表示部18aは、録画開始通知を受信すると、補助領域173を拡張して録画通知情報80を表示する。録画通知情報80も半透明で表示されることが好ましい。図13では補助領域173の右下部分が拡張され、録画通知情報80に他拠点録画マーク72が表示されている。また、他拠点録画マーク72の右に「他拠点録画中」という文字が記載されたラベル73が表示される。他拠点録画マーク72とラベル73は少なくとも一方が表示されればよい。参加者は他拠点録画マーク72又はラベル73により、他の拠点で画像データが録画されていることを把握できる。図10の処理から明らかなように、参加拠点のうち1拠点以上が録画している場合、補助領域表示部18aは録画通知情報80を表示する。
なお、図示された他拠点録画マーク72は赤又はオレンジの円形であるが、他拠点録画マーク72の外観(色、形、サイズなど)は、例えば、三角や四角などの多角形でもよいし、色も青やグリーンなどでもよい。また、サイズも図示するより小さくても大きくてもよい。また、録画通知情報80の場所も、右下部分の他、左下部分、右上部分、左上部分、又は、補助領域173の中央部の上側や下側などでもよい。また、補助領域173にスペースがある場合、該スペースに他拠点録画マーク72又はラベル73の少なくとも一方が配置されてよい。
図14は、簡易表示の補助領域173の一例を示す図である。図14では、図13と拠点数は同じだが、第1領域ar1〜第6領域ar6の伝送状態の情報が簡易的に表示されている。簡易表示の補助領域173では、各領域に何が表示されているかの情報が表示されず、主に、第1領域ar1には通信IDの値のみが、第2領域ar2には拠点数のみが、第3領域ar3には時刻のみが、第5領域ar5には帯域のみが表示される。
第6領域ar6のカーソルボタン1736は、標準の補助領域173と表示形態が変わっている。簡易表示の補助領域173では、上の三角ボタン1736uも下の三角ボタン1736dも黒色である。ユーザは、上の三角ボタン1736uに対応する操作ボタン108も、下の三角ボタン1736dに対応する操作ボタン108も操作できる。
カーソルボタン1736の操作により補助領域173の表示は以下のように制御される。
下の三角ボタン:標準の補助領域173へ切り替える。
上の三角ボタン:簡易表示の補助領域173を表示しない(標準の補助領域173も表示しない)。
簡易表示の補助領域173では、標準の補助領域173よりもディスプレイ120を占める面積が少なくなるので、補助領域173に伝送状態の情報を表示しながら、画像データの視認性をよくすることができる。
なお、簡易表示の補助領域173も、標準の補助領域173と同様に半透明で表示されることが好ましい。
簡易表示の補助領域173において他拠点録画マーク72又はラベル73の表示態様は、標準の補助領域173と変わらない。一方、他拠点録画マーク72又はラベル73のいずれか一方を非表示にするなど、補助領域表示部18aが表示態様を変更してもよい。このように、標準の補助領域173と簡易表示の補助領域173で常に録画通知情報80が表示されるので、参加者はリアルタイムに録画状況を把握できる。
図15は、補助領域173が表示されない場合の他拠点録画マーク72及びラベル73の表示例を示す図である。補助領域173が表示されない場合でも補助領域表示部18aは録画通知情報80を表示する。すなわち、他拠点が録画中かどうかは重要な情報なので、補助領域表示部18aは補助領域173が表示されなくても録画通知情報80を常に表示する。従って、参加者はリアルタイムに録画状況を把握できる。
図16は、参加拠点のうち録画している拠点がない場合の全画面表示画面501の一例を示す。なお、図16では標準の補助領域173が表示されている場合を説明する。図16に示すように、録画している拠点がなくなると、補助領域表示部18aは録画通知情報80を非表示にする(消去する)。従って、参加者は録画している拠点がないことをリアルタイムに把握できる。なお、簡易表示の補助領域173の場合も同様であり録画通知情報80が表示されない。補助領域173が表示されない場合も、録画通知情報80が表示されない。
<<会議中の録画通知情報の表示制御>>
図17は、会議中の伝送端末10aaが録画通知情報80の表示を制御する手順を示すフローチャート図の一例である。全画面表示画面501では常に録画通知情報80が表示されるので、図17の手順では補助領域は表示されていてもされていなくてもよい。
まず、補助領域表示部18aは、録画開始通知又は録画終了通知を受信したか否かを判定する(S10)。
録画開始通知を受信した場合、補助領域表示部18aは録画中管理テーブル1000bに、録画開始通知と共に送信された通信IDを追加する(S20)。従って、録画中管理テーブル1000bには、録画中の伝送端末10及び情報処理端末40の全ての通信IDが記録されている。
補助領域表示部18aは、すでに録画通知情報80を表示しているか否かを判定する(S30)。すでに録画通知情報80を表示している場合とは、ビデオ会議に参加中の伝送端末10又は情報処理端末40が録画開始通知を送信した後に、別の伝送端末10又は情報処理端末40が録画開始通知を送信した場合である。
ステップS30の判定がYesの場合、すでに録画通知情報80を表示中なので図17の処理は終了する。
ステップS30の判定がNoの場合、補助領域表示部18aは録画通知情報80を表示する(S40)。
ステップS10で録画終了通知を受信した場合、補助領域表示部18aは録画開始通知と共に送信された通信IDを録画中管理テーブル1000bから削除する(S50)。従って、録画中管理テーブル1000bには、録画を継続している伝送端末10及び情報処理端末40の通信IDのみが記録されている。
補助領域表示部18aは、録画中管理テーブル1000bが1つも通信IDが登録されていないかどうかを判定する(S60)。
ステップS60の判定がNoの場合、録画を継続している伝送端末10及び情報処理端末40がいるので録画通知情報80を非表示にする必要が無く、図17の処理は終了する。
ステップS60の判定がYesの場合、録画を継続している伝送端末10及び情報処理端末40がいないので、補助領域表示部18aは録画通知情報80を非表示にする(S70)。
このような手順により、録画を開始した伝送端末10及び情報処理端末40がいればリアルタイムに録画通知情報80を表示し、録画を継続している伝送端末10及び情報処理端末40がいなくなると録画通知情報80を非表示にできる。また、録画中管理テーブル1000bに1つでも通信IDが記憶されている場合、常に録画通知情報80を表示できる。
<<ネットワークの切断が発生した場合>>
会議中にネットワークの帯域低下などによりセッションが途切れる場合がある。あるいは、参加者が誤って通信のために必要なケーブルを抜いてしまう場合もある。セッションが途切れた伝送端末10又は情報処理端末40が録画中である場合、他の拠点の伝送端末10又は情報処理端末40が録画通知情報80を表示したままになってしまう。このため、録画終了情報が送信されなくてもセッションが途切れた伝送端末10又は情報処理端末40を伝送管理装置50が検出して他の拠点の伝送端末10又は情報処理端末40に通知することが好ましい。
図18は、セッションが途切れたことを伝送管理装置50が検出した場合の伝送システム1の動作手順を示すシーケンス図の一例である。なお、図18のステップS1〜S5までの処理は図10と同様である。
S6:伝送管理装置50のセッション管理部56は、セッションを確立した伝送端末10及び情報処理端末40の死活を定期的に監視する。すなわち、セッション管理テーブルに登録されている通信IDの伝送端末10及び情報処理端末40に対しPing応答などを要求する。
S7:何らかの原因で情報処理端末40と伝送管理装置50の間の通信が切断されると、セッション管理部56はセッションが途切れたことを検知できる。
S8:セッションが途切れたことをセッション管理部56が検知すると、状態管理部53はセッションが途切れた情報処理端末40bdの通信IDの稼動状態をオフラインに変更する。なお、状態管理部53は録画中管理テーブル5006から情報処理端末40bdの通信IDを削除し、録画終了通知を受信した場合と同様に端末管理テーブルの稼動状態を更新する。
S9:また、伝送管理装置50の送受信部51は、会議中の伝送端末10及び情報処理端末40に対し参加拠点の稼動状態変更情報を送信する。端末状態変更情報には情報処理端末40bdの通信IDと稼動状態が含まれる。
S10:伝送端末10aaの送受信部11は端末状態変更情報を受信し、録画通知情報80の表示制御を行う。すなわち、セッションが途切れた情報処理端末40bd以外に録画中管理テーブル1000bに伝送端末10及び情報処理端末40の通信IDが登録されていない場合、録画通知情報80を非表示にする。
図19を用いて図18のステップS10の処理を説明する。図19は、伝送端末10aaが端末状態変更情報を受信した場合の処理を説明するフローチャート図の一例である。図19の処理はビデオ会議中、繰り返し実行されている。
伝送端末10aaの送受信部11は伝送管理装置50から端末状態変更情報を受信したか否かを判定する(S10)。
ステップS10の判定がYesの場合、伝送端末10aaの補助領域表示部18aは退室した(オフライン)になった伝送端末10及び情報処理端末40を確認する(S20)。すなわち、伝送端末10aaは宛先状態情報や端末状態変更情報を受信しているので、最後に受信した宛先状態情報や端末状態変更情報の各伝送端末10又は情報処理端末40の稼動状態を参照し、ステップS10で受信した端末状態変更情報と比較する。比較により、稼動状態が「録画会議中」から「オフライン」になった各伝送端末10又は情報処理端末40の通信IDを特定する。
そして、補助領域表示部18aは、特定した通信IDが録画拠点IDテーブルに存在するかどうかを判定する(S30)。
通信IDが録画拠点IDテーブルに存在しない場合(S30のNo)、セッションが途切れた情報処理端末40bdは録画していなかったので、図19の処理は終了する。
通信IDが録画拠点IDテーブルに存在した場合(S30のYes)、セッションが途切れた情報処理端末40bdは録画していたので、補助領域表示部18aは端末状態変更情報に含まれる通信IDを録画中管理テーブル1000bから削除する(S40)。
補助領域表示部18aは、録画中管理テーブル1000bが1つも通信IDが登録されていないかどうかを判定する(S50)。
ステップS50の判定がNoの場合、録画を継続している伝送端末10及び情報処理端末40がいるので録画通知情報80を非表示にする必要が無く、図19の処理は終了する。
ステップS50の判定がYesの場合、録画を継続している伝送端末10及び情報処理端末40がいないので、補助領域表示部18aは録画通知情報80を非表示にする(S70)。
このような手順により、参加拠点に変更があっても、伝送端末10aaは録画通知情報80をリアルタイムに更新できる。
<情報表示画面における録画通知情報>
情報表示画面601に表示される録画拠点マーク71について説明する。ユーザが、例えば、操作ボタン108を操作することで、2つの表示モードを交互に切り替えることができる。なお、伝送端末10が情報処理端末40の場合、操作ボタン108の代わりに、情報処理端末40のハードキーやタッチパネルに表示されたソフトキーの押下により、2つの表示モードを交互に切り替えることができる。
図20は、情報表示モードでディスプレイ120に表示された情報表示画面601の一例を示す図である。図20は伝送端末10aaが表示した情報表示画面601である。図20に示すように、情報表示モードにおいて、伝送端末10の拠点リスト表示部18bは、ビデオ会議に参加している各伝送端末10の連番614、端末名615及び通信ID616を含む端末情報をディスプレイ120に表示させる。連番614は参加順などで各端末に割り当てられる番号であり、連番614の最も大きい数字が参加している拠点の拠点数(端末数)を表す。
また、情報処理端末40bdには録画拠点マーク71が表示されている。拠点リスト表示部18bは後述するように稼動状態が録画会議中の伝送端末10及び情報処理端末40の連番の前に録画拠点マーク71を表示する。録画拠点マーク71の表示態様は、他拠点録画マーク72と同様に図示したものには限られない。
図20に示す情報表示画面601には、画像を表示するための画像表示領域520と、端末情報を表示するための端末情報表示領域530とが割り当てられている。例えば、端末情報表示領域530には、ビデオ会議に参加している伝送端末10の端末情報がリスト表示されている。
なお、リスト表示されている端末情報のなかで端末名が表示されていないものは、宛先リスト管理DB5003において、自端末の宛先端末の候補として登録されていない伝送端末10を表している。例えば、通信IDが01dbの伝送端末10dbは、表3に示すように伝送端末10aaの宛先端末の候補として宛先リスト管理DB5003に登録されているため端末名が表示されている。通信IDが01cdの伝送端末10cdは、伝送端末10aaの宛先端末の候補として宛先リスト管理DB5003に登録されていないため端末名が表示されていない。
画像表示領域520には、ビデオ会議に参加している伝送端末10の中から主要な伝送端末の画像データが表す画像が表示される。例えば、音声データの音量が最も大きい伝送端末10又は情報処理端末40の画像データが表示される。
また、図20に示すように、会議に参加している拠点が1画面に収まらない場合はスクロールバー613が表示される。ユーザは操作ボタン108を操作することで情報表示画面601の画面外に隠れていた拠点の情報を表示させることができる。これにより、画面外に隠れていた拠点が録画中の場合は録画拠点マーク71が表示され、参加者が録画している伝送端末10又は情報処理端末40を特定できる。
(情報表示画面601の表示手順)
図21は、伝送端末10aaが情報表示モードに切り替えられた際に、端末情報表示領域530に端末情報を表示させる端末情報表示動作を示したシーケンス図である。なお、図21に示す端末情報表示動作においては、管理情報用セッションseiで各種情報が送受信される。
まず、伝送端末10aaは、ビデオ会議に参加している伝送端末及び情報処理端末40の端末情報の要求を表す端末情報要求信号を伝送管理装置50に送信する(ステップS70)。すなわち、ユーザが操作ボタン108を操作して全画面表示モードを情報表示モードに切り替えると、操作入力受付部12がこの操作受け付けて端末情報要求信号が伝送管理装置50に送信される。
端末情報要求信号を受信した伝送管理装置50の端末状態取得部55は、端末情報要求信号の送信元のIPアドレスを検索キーとして、記憶部5000の端末管理DB5002を検索し、端末情報要求信号を送信した伝送端末10aaの通信IDを取得する(ステップS71)。なお、伝送端末10aaが通信IDを送信してよい。
次に、端末状態取得部55は、セッション管理テーブルを参照し伝送端末10aaと同じ会議に参加している伝送端末10及び情報処理端末40の通信IDを特定する。次に、端末管理DB5002を検索し、稼動状態が「オンライン(伝送中)」又は「録画会議中」になっている通信IDと端末名とを検索する(ステップS72)。
次に、端末状態取得部55は、ステップS71で検出した通信ID(本実施形態においては、「01aa」)を検索キーとして、記憶部5000の宛先リスト管理DB5003を検索し、端末情報要求信号の送信元を宛先端末とする伝送端末10及び情報処理端末40の通信IDを取得する(ステップS73)。
次に、端末状態取得部55は、ステップS72で取得した各通信IDが端末情報要求信号の送信元の通信ID(01aa)又はステップS73で取得した通信IDに含まれているか否かを判定する。含まれていると判定した場合には、通信IDと端末名とを送受信部51に端末情報要求信号の送信元に応答させ、含まれていないと判定した場合には、通信IDだけを送受信部51に端末情報要求信号の送信元に応答させる(ステップS74)。
この応答を受信した伝送端末10の表示制御部17の拠点リスト表示部18bは、図20に示す情報表示画面601のように、端末情報表示領域530に応答内容を表示する(ステップS75)。まず、端末名と(端末名はない場合がある)と通信IDの組に連番を付す。次に、録画中管理テーブル1000bの通信IDを全て取得する。そして、録画中管理テーブル1000bの通信IDを読み出し、この通信IDの伝送端末10又は情報処理端末40に対応付けて録画拠点マーク71を配置する。
このような処理により、情報表示画面601において録画拠点マーク71を表示することができる。また、録画拠点マーク71を表示するだけでなく、又は、録画拠点マーク71を表示せずに、伝送端末10aaが音声で録画中の端末名を読み上げてもよい。この場合、録画開始通知が送信されたタイミングで伝送端末10aaが音声で録画中の端末名を読み上げる。あるいは、ユーザが伝送端末10aaを操作した任意のタイミングで伝送端末10aaが音声で録画中の端末名を読み上げる。
なお、情報表示画面601の表示中、録画開始通知、録画終了通知、又は端末状態変更情報を伝送端末10aaが受信した場合、表示制御部17の拠点リスト表示部18bはリアルタイムに録画拠点マーク71を表示し、また、非表示にする。
また、情報表示画面601において録画拠点マーク71だけでなくラベル73を表示してもよい。また、情報表示画面601においてラベル73だけを表示してもよい。
従って、伝送端末10aaが複数の拠点とビデオ会議を行っている間、伝送端末10aaのユーザは録画している拠点(伝送端末10及び情報処理端末40)ごとに録画中かどうかを判断できる。録画拠点マーク71はリアルタイムに更新されるので、ユーザは録画を開始した拠点を録画の開始後、早期に判断できる。全画面表示画面501と情報表示画面601のどちらでも録画している拠点がいることをユーザが把握できる。
本実施例では、伝送端末10の機能が搭載された電子黒板8について説明する。従来から大型ディスプレイに表示させた背景画像に文字や数字、図形等のストローク画像を描画可能な電子黒板8が知られている。電子黒板8は、企業や教育機関、行政機関等、及びこれら以外でも広く利用されている。
外部から入力された画像を電子黒板8がディスプレイに重畳して表示させる機能を有する場合がある。また、電子黒板8に伝送端末10の機能を搭載することが検討されている。電子黒板8に伝送端末10の機能が搭載されると、電子黒板8に手書きされたストローク画像を他の拠点の伝送端末10に送信できる。
図22は、伝送端末10の機能を有する電子黒板8を説明する図の一例である。電子黒板8は一般的な電子黒板の機能と伝送端末10の機能を有し、伝送端末10ddとビデオ会議を行うことができる。電子黒板8は電子黒板アプリのストローク画像と、ビデオ会議アプリの画像とを切り替えて表示する。
しかし、電子黒板8ではディスプレイ3の多くの部分をストローク画像などで占有してしまい、起動しているが画面が表示されない例えばビデオ会議アプリの状態変化が分かりにくい。このため、ユーザU2がビデオ会議アプリの状態変化に気がつきにくいという問題があった。
例えば、電子黒板8の電子黒板アプリが生成するストローク画像はビデオ会議アプリが伝送端末10ddに送信する。伝送端末10ddのユーザU1は実施例1のように録画を開始することができる。しかし、電子黒板8のビデオ会議アプリが他の拠点から録画開始通知を受信しても、電子黒板8のユーザU2が気づかない場合があり得る。このため、非公開情報が気づかないままに録画されるおそれがある。
図22では、電子黒板8に手書きされた「秘密事項」が伝送端末10ddと共有されている。伝送端末10ddのユーザU1は画像データを録画しているため、電子黒板8のビデオ会議アプリは録画拠点マーク71又は他拠点録画マーク72を表示中であるが、ユーザU2は見ることができない。このような非公開情報の記録は、例えば、インサイダーやインシデントのリスク、又はなんらかのコミュニケーション上の不都合をもたらすおそれがある。
そこで、本実施例では、伝送端末10の機能を有する電子黒板8に記録開始通知が送信された場合に、ビデオ会議アプリ710の情報を電子黒板アプリがディスプレイ3に表示することで、ユーザU2に気づかせる伝送システム1について説明する。
<電子黒板8の動作の概略>
図23は、本実施例の電子黒板8の動作の概略を説明する図の一例である。図23(a)に示すように、電子黒板8はビデオ会議アプリ710、電子黒板アプリ720、及び、インタフェースアプリ730を有する。これらはOS(Operating System)700上で動作するアプリケーションソフトウェアである。OS700としては適切なものであればよく、特定のOS700であることを要請するものではないが、例えばWindows(登録商標)、Linux(登録商標)、Andoroid(登録商標)などがある。
ビデオ会議アプリ710は実施例1にて説明した伝送端末10又は情報処理端末40が有する機能を提供する。電子黒板アプリ720の機能については後述する。
図23(b)はインタフェースアプリ730の動作を説明する図である。インタフェースアプリ730は、独立した2つのビデオ会議アプリ710と電子黒板アプリ720のインタフェースを提供するアプリである。インタフェースアプリ730と通信するためにビデオ会議アプリ710はインタフェース処理部710aを有しており、電子黒板アプリ720はインタフェース処理部720aを有している。
インタフェースアプリ730は、インタフェース処理部710aを介してビデオ会議アプリ710と通信し、インタフェース処理部720aを介して電子黒板アプリ720と通信する。例えば、インタフェースアプリ730は、ビデオ会議アプリ710が録画開始通知の受信したこと又は録画会議中という稼動状態、録画中管理テーブルなどを検出し、電子黒板アプリ720に通知する。これにより、電子黒板アプリ720は、他拠点が録画中である旨を表示できる。
<電子黒板8のディスプレイの画面例>
図24は、電子黒板アプリ720が生成する電子黒板UI画面740が表示された電子黒板8のディスプレイ3を示す図の一例である。電子黒板UI画面740は、主にユーザが手書きするストローク画像が表示される画面である(第二の画面)。また、アイコン部701を有しており、ユーザはストロークの線種や色を選んだり、図形やスタンプの描画を行ったりすることができる。
このアイコン部701にはビデオ会議アイコン702aが表示される。ユーザがビデオ会議アイコン702aを選択すると、電子黒板8はビデオ会議アプリ710が生成する次述のビデオ会議UI画面750をディスプレイ3に表示する。なお、このような処理はアプリの切り替えに相当し、OS700により制御される。
図25は、ビデオ会議アプリ710が生成するビデオ会議UI画面750が表示された電子黒板8のディスプレイ3を示す図の一例である。ビデオ会議UI画面750は、図11の宛先リスト画面と同等の情報に加え、電子黒板アイコン703を有する(第一の画面)。ユーザが電子黒板アイコン703を選択すると、電子黒板8は電子黒板アプリ720が生成する電子黒板UI画面740をディスプレイ3に表示する。なお、このような処理はアプリの切り替えに相当し、OSにより制御される。従って、ユーザは、ビデオ会議UI画面750と電子黒板UI画面740を任意に切り替えることができる。
なお、ビデオ会議UI画面750と電子黒板UI画面740はどちらか一方が表示されるだけでなく、一部が重複するようにしてビデオ会議UI画面750と電子黒板UI画面740の両方が表示されてもよい。この場合、ビデオ会議UI画面750の他拠点録画マークが電子黒板UI画面740により隠れている場合は、本実施例が有効である。
<電子黒板8のハードウェア構成>
図26は、電子黒板8のハードウェア構成図である。図26に示されているように、電子黒板8は、電子黒板8全体の動作を制御するCPU301、IPL等のCPU301の駆動に用いられるプログラムを記憶したROM302、CPU301のワークエリアとして使用されるRAM303、電子黒板8用のプログラム等の各種データを記憶するSSD304、伝送ネットワーク2との通信を制御するネットワークコントローラ305、及び、USBメモリ5との通信を制御する外部記憶コントローラ306を備えている。
また、電子黒板8は、ノートPC6のディスプレイ3に対して映像情報を静止画又は動画として表示させるキャプチャデバイス309、グラフィクスを専門に扱うGPU(Graphics Processing Unit)308、及び、GPU308からの出力画像をディスプレイ3等へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ313を備えている。
更に、電子黒板8は、接触センサ312の処理を制御するセンサコントローラ307、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ312を備えている。この接触センサ312は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ312は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ307に出力し、センサコントローラ307が、物体の接触位置である座標位置を特定する。
また、接触センサ312としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。
また、電子黒板8は、電子ペンコントローラ310を備えている。この電子ペンコントローラ310は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判定する。なお、電子ペンコントローラ310が、電子ペン4のペン先及びペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判定するようにしてもよい。
更に、電子黒板8は、CPU301、ROM302、RAM303、SSD304、ネットワークコントローラ305、外部記憶コントローラ306、キャプチャデバイス309、GPU308、センサコントローラ307、及び電子ペンコントローラ310を、図26に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン320を備えている。
<電子黒板アプリ720の機能構成>
次に、図27〜図32を用いて、電子黒板8の機能構成について説明する。図27は、電子黒板8の機能ブロック図である。
電子黒板8は、図26に示されているハードウェア構成及びプログラムの実行によって、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、及び、画像処理部9を有する。これら点線で囲まれた機能がビデオ会議アプリ710の機能である。
このうち、映像取得部21は、ケーブルに接続されたノートPC6等の映像出力機器の出力映像を取得する。映像取得部21は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、後述の画像取得部31に出力する。
座標検知部22は、ディスプレイ3上でユーザによって生じたイベント(ディスプレイ3上にユーザの手Hがタッチされた動作等)の座標位置を検出する。また、座標検知部22は、タッチされた面積も検出する。
自動調整部23は、電子黒板8の起動時に起動され、接触センサ312が座標検知部22に適切な値を出力できるように、接触センサ312の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。
接触検知部24は、ユーザによって生じたイベント(ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)された動作等)を検出する。
イベント振分部25は、座標検知部22によって検知されたイベントの座標位置と接触検知部24によって検出された検出結果を、ストローク描画、UI操作、及びジェスチャ操作の各イベントに振り分ける。ここで、図28を用い、ストローク描画、UI操作、及びジェスチャ操作について説明する。なお、図28は、各画像レイヤの構成図である。
まず、「ストローク描画」は、ユーザがディスプレイ3上で電子ペン4を押下し、この押下した状態で電子ペン4を移動させ、最終的にディスプレイ3上から電子ペン4を離すまでのイベントにより描画される。このストローク描画により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。
「UI操作」は、ディスプレイ3上に図28に示されている後述のUI画像(A)が表示されている場合に、ユーザが電子ペン4又は手Hによって所定の位置を押下したイベントである。このUI操作により、例えば、電子ペン4により描画される線の色や幅等が設定される。
「ジェスチャ操作」は、ディスプレイ3上に図28に示されている後述のストローク画像(B)が表示されている場合に、ユーザが手Hでディスプレイ3上をタッチしたり移動したりするイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うことができる。
続いて、図27に戻り、操作処理部26は、イベント振分部25によってUI操作と判定されたものから、イベントが発生されたUIの要素に従って、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判定されたものに対応した操作を実行する。
映像重畳部28は、後述の表示重畳部36で重畳された画像を映像として映像出力機器(ディスプレイ3等)に対して表示する。また、映像重畳部28は、映像出力機器(ノートPC6等)からの映像に対して、他の映像出力機器(カメラ7等)から送られて来た映像をピクチャ・イン・ピクチャする。更に、映像重畳部28は、ピクチャ・イン・ピクチャされてディスプレイ3の一部に表示された映像を、ディスプレイ3の全体に表示させるための切り替えを行う。
(画像処理部の機能構成)
続いて、画像処理部9の機能構成について、詳細に説明する。画像処理部9は、図28に示されているような各画像レイヤの重畳処理等を行う。
そのため、画像処理部9は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、ファイル処理部42、及びページデータ記憶部300を有している。
このうち、画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。この画像は、図28に示されている出力画像(C)に相当する。
ストローク処理部32は、イベント振分部25によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図28に示されているストローク画像(B)に相当する。
UI画像生成部33は、電子黒板8に予め設定されているUI(ユーザインターフェース)画像を生成する。このUI画像は、図28に示されているUI画像(A)に相当する。
背景生成部34は、ディスプレイ3上に表示される背景画像を生成する。この背景画像は、図28に示されている背景画像(D)に相当する。背景画像のパターンは、無地、グリッド表示等である。
レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32、UI画像生成部33、及び背景生成部34から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)及びストローク画像(B)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
表示重畳部36は、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、及び、背景生成部34からの背景画像(D)を、レイアウト管理部35によって指定されたレイアウトに従って重畳する。これにより、図28に示されているように、各画像が重なってもユーザが見える順に、UI画像(A)、ストローク画像(B)、出力画像(C)、及び背景画像(D)の各レイヤの構成となっている。
また、表示重畳部36は、図28に示されている画像(C)と画像(D)を切り替えて、画像(A)及び画像(B)に対して排他的に重畳することも可能である。例えば、当初に、画像(A)、画像(B)及び画像(C)が表示されている状態で、電子黒板8と映像出力機器(ノートPC6等)との間のケーブルが抜かれた場合には、レイアウト管理部35の指定によって、画像(C)を重畳対象から外し、画像(D)を表示させることができる。この場合に、また、表示重畳部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
ページ処理部37は、ストローク画像(B)のデータと出力画像(C)のデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。また、ページ処理部37は、画像取得部31を介して記憶したページデータを表示重畳部36に送信することで、映像重畳部28がページデータをディスプレイ3に再表示させることができる。
更に、ページ処理部37は、画像取得部31を介して記憶したページデータをビデオ会議アプリ710に送信することで、ビデオ会議アプリ710から他の電子黒板8や伝送端末10にページデータ(ストローク配列データ、メディアデータ)を送信することができる。また、ページ処理部37は、ページデータをストローク処理部32に送信することで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部37は、ページデータを削除したり複製したりすることもできる。
また、ページ処理部37は、ページデータ記憶部300からページデータを読み出す場合には、1つにまとめたページデータから、ストローク画像(B)を示すストローク配列データ、及び背景画像(D)を示すメディアデータに分ける。即ち、ページ処理部37がページデータ記憶部300に記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶され、その後にページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読みされる。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、画像取得部31に出力する。
ページデータ記憶部300は、図29に示されているようなページデータを記憶する。図12は、ページデータを示す概念図である。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストロークデータ及び画像データ)である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図29〜図31に分けて、ページデータの内容を説明する。
ファイル処理部42は、電子黒板8が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ファイル処理部42が、ページデータ記憶部300からページデータを取得し、PDFファイルとしてUSB5に記録する。しかし、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部300に記録されたままになっている。そのため、再び、電源オンになった際に、ファイル処理部42が、ページデータ記憶部300からページデータを読み出すことで復旧させる。また、ファイル処理部42は、USBメモリ5から、PDFファイルを読み込み、各ページをページデータとしてページデータ記憶部300に記憶する。
ここで、ページデータについて、詳細に説明する。ページデータは、図29に示されているように、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開示時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、及びメディアデータを識別するためのメディアデータIDが関連付けて記憶されている。ストローク配列データは、後述の図11に示されているストローク画像(B)がディスプレイ3上に表示されるためのデータである。メディアデータは、後述の図28に示されている背景画像(D)がディスプレイ3上に表示されるためのデータである。
このようなページデータにより、例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。
また、ストローク配列データは、図30に示されているように詳細な情報を示している。図30は、ストローク配列データを示す概念図である。図30に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データIDを示している。
更に、この座標配列データは、図31に示されているように詳細な情報を示している。図31は、座標配列データを示す概念図である。図31に示されているように、座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開示時刻からの差分の時刻(ms)、及び、この1点における電子ペン4の筆圧の各情報を示している。即ち、図31に示されている1点の集まりが、図30に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
また、図29に示されているページデータのうちのメディアデータは、図30に示されているように詳細な情報を示している。図32は、メディアデータを示す概念図である。図32に示されているように、メディアデータは、図29に示されているページデータにおけるメディアデータID、メディアデータのデータ種類、ページ処理部37からページデータ記憶部300にページデータが記憶された記録時刻、ページデータによってディスプレイ3上に表示される画像の位置(X座標値、Y座標値)及び画像のサイズ(幅、高さ)、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、ページデータによって表示される画像の左上端の位置を示している。
(ビデオ会議アプリの機能構成)
続いて、ビデオ会議アプリ710の機能構成について詳細に説明する。ビデオ会議アプリ710は、電子黒板8が、外部の装置等(伝送端末10、UI提供装置20,他の電子黒板8、伝送管理装置50、中継装置30、及びプログラム提供装置90)と通信するための処理を制御する。
そのため、ビデオ会議アプリ710は、送受信部61、操作入力受付部62、ログイン要求部63、加工部64、出力重畳部65、表示制御部66、宛先リスト作成部67、判断部68、及び記憶・読出処理部69を有している。更に、ビデオ会議アプリ710は、図26に示されているSSD304によって構築される記憶部6000を有している。
また、ビデオ会議アプリ710は、図6に示されている伝送端末10の機能構成の一部を有している。即ち、ビデオ会議アプリ710の送受信部61、操作入力受付部62、ログイン要求部63、表示制御部66、宛先リスト作成部67、及び記憶・読出処理部69は、それぞれ伝送端末10の送受信部11、操作入力受付部12、ログイン要求部13、宛先リスト表示部16、表示制御部17、及び記憶・読出処理部19と同様の処理を行う。また、ビデオ会議アプリ710の記憶部6000は、伝送端末10の記憶部1000と同様の役割を果たす。このため、これらの説明は省略する。
一方、加工部64は、送受信部61によって受信された表示能力情報(他の伝送端末10の画面サイズ、解像度など)が、他の伝送端末に所定の画像を表示する能力がない旨を示す場合には、画像データを加工する。具体的には、加工部64は、電子黒板8に対する操作を行うためのUI画像(A)を含む複数の階層の画像が重畳された画像データのうち、トリミングによってUI画像に係る操作画像データを切り取った後、トリミング後の画像データをトリミング前の画像データに拡大するリサイズを行う。なお、加工部64は、画像データを拡大するリサイズを行った後に、トリミングを行ってもよい。
出力重畳部65は、表示重畳部36のように画像データと画像データを重畳させる。
判断部68は、送受信部61によって受信された表示能力情報が、他の伝送端末に所定の画像を表示する能力がない旨を示す場合には、画像データを加工すると判断する。これにより、加工部64が画像データの加工を行う。
(インタフェースアプリ730)
図27に示すように、電子黒板8はインタフェース部730aを有する。インタフェース部730aはインタフェースアプリ730を電子黒板8のCPU301が実行し図26に示した各種のハードウェアと協働することで実現される機能又は手段である。インタフェース部730aは、インタフェース処理部710aを介してビデオ会議アプリ710の記憶・読出処理部69に「記録開始通知を受信した旨」が記憶されているか否かを一定時間(例えば1秒〜1分の間などでよい)に監視している。また、インタフェース部730aは、OS700にディスプレイ3の最前面に表示するアプリケーションを指示する信号を送信する。
また、ビデオ会議アプリ710はインタフェース処理部710aを有する。インタフェース処理部710aはビデオ会議アプリ710を電子黒板8のCPU301が実行し図26に示した各種のハードウェアと協働することで実現される機能又は手段である。インタフェース処理部710aは、電子黒板アイコン703が押下されると、インタフェース部730aに、電子黒板アプリ720が選択された旨を示す電子黒板UI画面切替信号を送信する。これにより、インタフェース部730aは、OS700に電子黒板UI画面740を表示させる。
また、電子黒板アプリ720はインタフェース処理部720aを有する。インタフェース処理部720aは電子黒板アプリ720を電子黒板8のCPU201が実行し図26に示した各種のハードウェアと協働することで実現される機能又は手段である。インタフェース処理部720aは、ビデオ会議アイコン702aが押下されると、インタフェース部730aに、ビデオ会議アプリ710が選択された旨を示すビデオ会議UI画面切替信号を送信する。これにより、インタフェース部730aは、OS700にビデオ会議UI画面750を表示させる。
<動作手順>
図33は、電子黒板8で動作するビデオ会議アプリ710が録画開始通知を受信した場合の動作手順を示すシーケンス図の一例である。図33では、図8、9の処理によりすでにビデオ会議が開催されているものとする。
S1:伝送端末10ddから伝送管理装置50に録画開始通知が送信される。録画開始通知については図10にて説明した。
S2:伝送管理装置50の送受信部51は、伝送端末10ddとビデオ会議を行っている電子黒板8に録画開始通知を送信する。
S3、S4:インタフェース部730aは一定時間ごとに、インタフェース処理部710aを介して、ビデオ会議アプリ710の記憶・読出処理部69に対し、録画開始通知を受信したか否かを監視する。
S5:録画開始通知を受信した場合、インタフェース部730aはビデオ会議アプリ710が始めて録画開始通知を受信したか否かを判定する。ビデオ会議アプリ710の記憶部6000も録画中管理テーブルを有するので、録画中管理テーブルの通信IDがゼロの状態で通信IDが登録された場合、インタフェース部730aはビデオ会議アプリ710が始めて録画開始通知を受信したと判定する。これにより、録画開始通知を受信するたびに、ビデオ会議アプリ710に通知する必要がない。
S6,S7:ビデオ会議アプリ710が始めて録画開始通知を受信したと判定すると、インタフェース部730aは、インタフェース処理部720aを介してUI画像生成部33にUI変更要求を行う。UI変更要求は、電子黒板UI画面740に伝送端末10ddの稼動状態の表示を要求することをいう。具体的には伝送端末10ddが録画していることを表示する。
S8:これにより、電子黒板アプリ720のUI画像生成部33は、伝送端末10ddが録画している旨が表示された電子黒板UI画面740を表示する。この電子黒板UI画面740の一例を図34にて説明する。
なお、この時点で、インタフェース部730aはOS700にビデオ会議UI画面切替信号を送信する必要はない。まず、電子黒板8のディスプレイ3に電子黒板UI画面740が表示されている状況では、ステップS8で伝送端末10ddが録画している旨が表示されるため、ユーザが他の拠点で録画されていることに気づくことができる。電子黒板8のディスプレイ3にビデオ会議UI画面750が表示されている状況では、実施例1で説明した録画拠点マーク71又は他拠点録画マーク72が全画面表示画面501又は情報表示画面601に表示されるため、ユーザが他の拠点で録画していることに気づくことができる。
インタフェース部730aは、同様に、ビデオ会議アプリ710が録画終了通知を受信したことを検知できる。この場合、インタフェース部730aは、電子黒板アプリ720のUI画像生成部33にUI変更要求を行う。このUI変更要求は、伝送端末10ddが録画している旨の消去の要求である。
図34は、他の拠点が録画している旨が表示された電子黒板UI画面740の一例である。図34では、ティッカー部760に「録画会議中」という文字761が表示されている。ティッカー部760とは、画面の一部に設けられた画像などのコンテンツとは関係ない情報が表示される領域である。一般に、コンテンツ部分のアスペクト比を維持したままコンテンツ部分が縮小されてできる領域である。こうすることで、コンテンツに重複せずに他の拠点が録画している旨を表示できる。
ただし、図34で電子黒板UI画面740を特に縮小しなくてよく、例えば、電子黒板UI画面740のコンテンツ(手書きされたストロークなど)の四隅や中央などに重畳して表示してよい。
また、UI画像生成部33は図34のように文字で録画中である旨を表示する他、ビデオ会議アイコン702aの点滅、色変更などで録画中である旨を表示してもよい。また、文字761でなく録画中である旨を示すアイコンを表示してもよい。
<表示順の変更>
次に、図35を用いて電子黒板UI画面740とビデオ会議UI画面750の表示順の変更手順を説明する。図35は、インタフェース部730aが電子黒板UI画面740とビデオ会議UI画面750の表示順を変更する手順を示すシーケンス図の一例である。図35は、ビデオ会議の開催中に実行される。電子黒板8のディスプレイ3にはビデオ会議UI画面750が表示されているものとして説明する。
S1:ユーザがビデオ会議UI画面750の電子黒板アイコン703を押下する。操作入力受付部62はこの操作を受け付けインタフェース処理部710aに通知する。
S2:インタフェース処理部710aはこの通知を受けてインタフェース部730aに電子黒板UI画面切替信号を送信する。
S3:インタフェース部730aは、電子黒板UI画面切替信号をOS700に送信する。
S4:OS700は電子黒板アプリ720の映像重畳部28が生成する電子黒板UI画面740をディスプレイ3の最前面に表示する。また、電子黒板UI画面740をアクティブにする。すなわち、電子黒板UI画面740を作成した電子黒板アプリ720をユーザの操作の対象にする。また、OS700は、電子黒板アプリ720を他のアプリよりも若干高い優先順位を割り当てる。これにより、ビデオ会議アプリ710も動作したまま、電子黒板UI画面740がディスプレイ3の最前面に表示される。
なお、電子黒板アプリ720が最前面に表示された状態で、ビデオ会議アプリ710を最前面に表示するには図35の逆の手順が実行されればよい。
このように、ユーザは電子黒板アプリ720とビデオ会議アプリ710を任意に切り替えることができる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、中継装置30、伝送管理装置50及びプログラム提供装置90は、それぞれが独立に存在するのでなく、単一のコンピュータによって構築されてもよい。また、伝送端末10、伝送管理装置50及びプログラム提供装置90が有する各手段及び記憶部1000,2000,5000を、複数のコンピュータに任意に割り当ててもよい。この場合、UI提供装置20はどのコンピュータの機能として含まれてもよい。
また、上記実施形態では、伝送システム1の一例として、ビデオ会議システムの場合について説明したが、これに限るものではなく、IP(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。
また、各伝送端末10は伝送管理装置50を介さずに通信してもよい。このような通信プロトコルの一例として、WebRTCが知られている。
また、伝送システム1は、移動体に搭載されたカーナビゲーション装置を含むシステムであってもよい。また、伝送端末10に画面共有用のPCが接続されてもよい。
また、上記実施形態では、コンテンツデータの一例として、画像データ及び音声データについて説明したが、これに限るものではなく、触覚(touch)データであってもよい。この場合、一方の伝送端末側でユーザが接触した感覚が、他方の伝送端末側に伝達される。
更に、コンテンツデータは、嗅覚(smell)データであってもよい。この場合、一方の伝送端末側の匂い(臭い)が、他の伝送端末側に伝達される。また、コンテンツデータは、画像データ、音声データ、触覚データ及び嗅覚データのうち、少なくとも1つのデータであればよい。
また、上記実施形態では、伝送システム1によってビデオ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、又は、一方向での情報の提示に使用されても構わない。
また、上記実施形態では、主に画像データが録画されていることを参加者に通知したが、音声データのみが送受信されている状態で音声データが録音されていることが参加者に通知されてもよい。
送受信部11は受信手段の一例であり、拠点リスト表示部18bは記録端末通知手段の一例であり、録画中管理テーブル1000bは識別情報記憶手段の一例であり、全画面表示画面501は第一の画面の一例であり、情報表示画面601は第二の画面の一例である。伝送管理装置50は外部装置の一例であり、宛先リスト表示部16は宛先リスト表示手段の一例であり、ディスプレイ120は表示装置の一例である。表示制御部17は表示制御手段の一例であり、操作入力受付部12は選択受付手段の一例であり、補助領域表示部18aは記録中通知手段の一例である。宛先リスト管理DB5003は宛先リスト記憶手段の一例であり、端末管理DB5002は端末状態記憶手段の一例であり、画像録画部41は記録手段の一例であり、送受信部51は送信手段の一例である。伝送端末10は第一の情報処理装置(又は第二の情報処理装置)の一例であり、伝送管理装置50は第二の情報処理装置の一例である。表示制御部66は第一の表示制御手段の一例であり。UI画像生成部33と映像重畳部28は第二の表示制御手段の一例であり、インタフェース部703aは通知手段の一例である。