以下に、本発明の実施の形態について、添付の図面を参照して説明する。
<システム構成>
図1は、一実施形態に係る通信システムのシステム構成の例を示す図である。図2は、一実施形態に係る画像データ、音データ、及び各種管理情報の送受信の状態を示した概念図である。
通信システムには、管理システム、中継装置を介して複数の伝送端末間で情報を相互に伝達するコミュニケーションシステム等が含まれる。コミュニケーションシステムの例としては、テレビ会議システムやテレビ電話システム等が挙げられる。
まず、図1に示されている通信システム1は、複数の伝送端末(10aa、10ab、・・・)、各伝送端末(10aa、10ab、・・・)用のディスプレイ(120aa、120ab、・・・)、複数の中継装置(30a、30b、30c、30d)、管理システム50、及びプログラム提供システム90等を含む。複数の伝送端末(10aa、10ab、・・・)は、伝送端末間でコンテンツデータを送受信する。コンテンツデータには、例えば、動画データ又は静止画データ等の画像データ、音データ等が含まれる。
なお、以下の説明の中で、複数の伝送端末(10aa、10ab、・・・)のうち任意の伝送端末を「伝送端末10」と表す。さらに、複数のディスプレイ(120aa、120ab、・・・)のうち任意のディスプレイを「ディスプレイ120」と表し、複数の中継装置(30a、30b、30c、30d)のうち任意の中継装置は「中継装置30」と表す。さらにまた、通信の開始を要求する要求元としての伝送端末を「要求元端末」と表し、要求先である宛先(中継先)としての伝送端末は「宛先端末」と表す。
図2に示されているように、通信システム1において、要求元端末と宛先端末との間では、管理システム50を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、要求元端末と宛先端末との間では、中継装置30を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、音データ等を送受信するための通信セッションが確立される。ここでは、通信セッションを、画像・音データ用セッションsedとして示している。なお、図2に示す画像・音データ用セッションsedの数は一例であり、画像・音データ用セッションsedの数は、4つのセッション数より少ない又は多いセッション数であっても良い。
ここで、図1に戻り、通信システム1の説明を続ける。図1に示されている中継装置30は、複数の伝送端末10の間で伝送される映像データの中継を行う。管理システム50は、伝送端末10からのログイン認証、伝送端末10の通話状況の管理、宛先リストの管理等、及び中継装置30の通信状況等を一元的に管理する。
複数のルータ(70a、70b、70c、70d、70ab、70cd)は、映像データの最適な経路の選択を行う。なお、以下では、ルータ(70a、70b、70c、70d、70ab、70cd)のうち任意のルータを示す場合、「ルータ70」を用いる。
プログラム提供システム90は、伝送端末10に各種機能を実現させるための伝送端末用プログラムが記憶されている。また、プログラム提供システム90は、伝送端末10に伝送端末用プログラムを提供することができる。
また、プログラム提供システム90は、中継装置30に各種機能を実現させるための中継装置用プログラムを、中継装置30に提供することができる。さらに、プログラム提供システム90は、管理システム50に各種機能を実現させるための伝送管理用プログラムを管理システム50に提供することができる。
図1において、伝送端末(10aa、10ab、10ac)、中継装置30a、及びルータ70aは、LAN2aによって通信可能に接続されている。伝送端末(10ad、10bb、10bc)、中継装置30b、及びルータ70bは、LAN2bによって通信可能に接続されている。また、LAN2a及びLAN2bは、ルータ70abが含まれた専用線2abによって通信可能に接続されており、所定の地域A内で構築されている。例えば、地域Aは日本であり、LAN2aは東京の事業所内で構築されており、LAN2bは大阪の事業所内で構築されている。
一方、端末(10ca、10cb、10cc)、中継装置30c、及びルータ70cは、LAN2cによって通信可能に接続されている。端末(10da、10db、10dc)、中継装置30d、及びルータ70dは、LAN2dによって通信可能に接続されている。また、LAN2c及びLAN2dは、ルータ70cdが含まれた専用線2cdによって通信可能に接続されており、所定の地域B内で構築されている。例えば、地域Bはアメリカ合衆国であり、LAN2cはニューヨークの事業所内で構築されており、LAN2dはワシントンD.C.の事業所内で構築されている。
また、管理システム50及びプログラム提供システム90は、インターネット2iを介して、伝送端末10、及び中継装置30と通信可能に接続されている。管理システム50やプログラム提供システム90は、地域A又は地域Bに設置されていても良いし、これら以外の地域に設置されていても良い。
また、図1において、各伝送端末10、各中継装置30、管理システム50、各ルータ70、及び、プログラム提供システム90の下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。
なお、各伝送端末10は、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内又は屋外と屋外での通信で使われても良い。各伝送端末10が屋外で使われる場合には、例えば、携帯電話通信網や、公衆無線LAN等の公衆無線通信が用いられる。
<ハードウェア構成>
次に、本実施形態に係る各装置のハードウェア構成の例について説明する。
(伝送端末のハードウェア構成1)
図3は、一実施形態に係る伝送端末のハードウェア構成の一例を示す図である。ここでは、伝送端末10が、テレビ会議端末である場合のハードウェア構成の例について説明する。
伝送端末(テレビ会議端末)10は、コンピュータの構成を含み、例えば、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303、フラッシュメモリ304、及びSSD(Solid State Drive)305等を有する。また、伝送端末10は、メディアI/F307、操作ボタン308、電源スイッチ309、ネットワークI/F(Interface)311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、及び音入出力I/F316等を有する。さらに、伝送端末10は、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319用のアンテナ319a、及びバス310等を有する。
CPU301は、例えば、ROM302や、フラッシュメモリ304等からプログラムやデータを読出し、処理を実行することで、伝送端末10が備える各機能を実現する演算装置である。ROM302は、例えば、IPL(Initial Program Loader)等のCPU301の起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。RAM303は、CPU301のワークエリア等として利用される揮発性のメモリである。
フラッシュメモリ304は、例えば、OS(Operating System)、アプリケーションプログラム、及び各種のデータ等を記憶するストレージデバイスである。SSD305は、CPU301の制御に従ってフラッシュメモリ304に対する各種データの読み出し、書き込みを制御する。メディアI/F307は、例えば、メモリカード等のメディア306に対するデータの読み出し又は書き込み(記憶)を制御する。
操作ボタン308は、伝送端末10の利用者の入力操作を受け付ける入力装置である。電源スイッチ309は、伝送端末10の電源のオン/オフを切り替えるためのスイッチである。ネットワークI/F311は、通信ネットワーク2を利用して通信するための通信インタフェースである。
カメラ312は、CPU301の制御に従って被写体を撮像するための撮像装置である。撮像素子I/F313は、カメラ312による撮像を制御すると共に、撮像したデータを所定の画像データ(映像データ)に変換する。マイク314は、取得した音を電気信号に変換する。スピーカ315は、音信号を音に変換して出力する。音入出力I/F316は、マイク314及びスピーカ315による音声の入出力を制御する。
ディスプレイI/F317は、CPU301の制御に従って、ディスプレイ120に画像データを出力する。外部機器接続I/F318は、各種の外部機器を接続するためのインタフェースである。近距離通信回路319は、アンテナ319aを介して、例えば、NFC(Near Field Communication)やBluetooth(登録商標)等の近距離無線通信を行う通信回路である。バス310は、上記の各構成に共通に接続され、アドレス信号、データ信号、及び各種の制御信号等を伝達する。
なお、メディア306は、例えば、各種のメモリカード等の記憶媒体である。メディア306は、伝送端末10に対して着脱自在な構成となっている。
また、上記の伝送端末10用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記メディア306等の、コンピュータで読み取り可能な記憶媒体に記録して流通させるようにしても良い。また、上記の伝送端末10用のプログラムは、例えば、フラッシュメモリ304に記憶させるものであっても良いし、或いは、ROM302に予め記憶したもの等であっても良い。
(伝送端末のハードウェア構成2)
図4は、一実施形態に係る伝送端末のハードウェア構成の別の一例を示す図である。ここでは、伝送端末10が、電子黒板である場合のハードウェア構成の例について説明する。電子黒板は、通話用の映像データ及び音データ、共有用の画像データ、及びストロークデータ等のコンテンツデータの相互通信を行う端末装置であり、IWB(Interactive White Board)とも呼ばれる。
図4に示されているように、伝送端末(電子黒板)10は、CPU401、ROM402、RAM403、SSD404、ネットワークI/F405、及び、外部機器接続I/F406等を備えている。
これらのうち、CPU401は、伝送端末10全体の動作を制御する演算装置である。ROM402は、IPL等のCPU401の起動に用いられるプログラムを記憶する不揮発性のメモリである。RAM403は、CPU401のワークエリアとして使用される揮発性のメモリである。SSD404は、伝送端末10用のプログラム等の各種データを記憶する大容量の記憶装置である。
ネットワークI/F405は、伝送端末10を通信ネットワークに接続し、通信を行うための通信インタフェースである。外部機器接続I/F406は、各種の外部機器を接続するためのインタフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ431、外付け機器(マイク432、スピーカ433、カメラ434)等が含まれる。
また、伝送端末10は、キャプチャデバイス411、GPU(Graphics Processing Unit)412、ディスプレイコントローラ413、接触センサ414、センサコントローラ415、電子ペンコントローラ416、近距離通信回路419、及び近距離通信回路419のアンテナ419a、電源スイッチ417及び選択スイッチ類418等を備えている。
これらのうち、キャプチャデバイス411は、外付けのPC(Personal Computer)450のディスプレイ等に表示されている表示画面等を、静止画、又は動画としてキャプチャ(取得)する。GPU412は、グラフィクスを専門に扱う半導体チップ(プロセッサ)である。ディスプレイコントローラ413は、GPU412からの出力画像をディスプレイ460等へ出力するために画面表示の制御及び管理を行う。接触センサ414は、ディスプレイ460上に電子ペン440やユーザの手H等が接触したことを検知する。センサコントローラ415は、接触センサ414の処理を制御する。
接触センサ414は、例えば、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ460の上側両端部に設置された2つ受発光装置が、ディスプレイ460に平行して複数の赤外線を放射し、ディスプレイ460の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ414は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ415に出力し、センサコントローラ415が、物体の接触位置である座標位置を特定する。電子ペンコントローラ416は、電子ペン440と通信することで、ディスプレイ460へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路419は、アンテナ419aを介して、例えば、NFCやBluetooth等の近距離無線通信を行う通信回路である。
電源スイッチ417は、伝送端末10の電源のオン/オフを切り換えるためのスイッチである。選択スイッチ類418は、例えば、ディスプレイ460の表示の明暗や色合い等を調整するためのスイッチ群である。
さらに、伝送端末10は、バスライン420を備えている。バスライン420は、図4に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。
なお、接触センサ414は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル等を用いても良い。また、接触センサ414は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いても良い。さらに、電子ペンコントローラ416が、電子ペン440のペン先及びペン尻だけでなく、電子ペン440のユーザが握る部分や、その他の電子ペンの部分におけるタッチの有無を判断するようにしても良い。
なお、図3、4に示す伝送端末10のハードウェア構成は一例である。伝送端末10は、例えば、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPC、デスクトップPC等のハードウェア構成を備えていても良い。
(管理システムのハードウェア構成)
管理システム50は、例えば、図5に示すようなコンピュータ500のハードウェア構成を有している。
図4は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ500は、例えば、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F507、ネットワークI/F508、キーボード509、ポインティングデバイス510、DVD-RW(Digital Versatile Disk ReWritable)ドライブ512、メディアI/F514、及び、バスライン515等を備えている。
これらのうち、CPU501は、コンピュータ500の全体の動作を制御する演算装置である。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM503は、CPU501のワークエリア等として使用される揮発性のメモリである。HD504は、OSやアプリケーション等のプログラムや、各種のデータ等を記憶する大容量の記憶装置である。HDDコントローラ505は、CPU501の制御に従ってHD504に対する各種データの読み出し又は書き込みを制御する。
ディスプレイ506は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F507は、各種の外部機器を接続するためのインタフェースである。ネットワークI/F508は、通信ネットワーク2を利用してデータ通信をするための通信インタフェースである。キーボード509は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス510は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。
DVD-RWドライブ512は、DVD-RW511に対するデータの読み出し又は書き込み(記憶)を制御する。なお、DVD-RWドライブ512は、DVD-RW511ではなく、BD-RE等のディスクに対するデータの読み出し又は書き込み(記憶)を制御しても良い。メディアI/F514は、フラッシュメモリ等のメディア513に対するデータの読み出し又は書き込み(記憶)を制御する。バスライン515は、図5に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。
なお、中継装置30、及びプログラム提供システム90は、例えば、上記の管理システム50と同様に、コンピュータ500のハードウェア構成を有している。
<機能構成>
続いて、通信システム1の機能構成について説明する。図6は、一実施形態に係る通信システムの機能構成の例を示す図である。図6において、通信システム1は、伝送端末10、中継装置30、及び管理システム50が、通信ネットワーク2を介して通信可能に接続されている。また、図1に示されているプログラム提供システム90は、本実施形態に係る処理には直接関係しないため、図6では省略されている。
(伝送端末の機能構成)
伝送端末10は、例えば、送受信部601、通信制御部602、音入力部603、音出力部604、符号化部605、復号部606、操作入力受付部607、撮像部608、表示部609、会議情報管理部610、デバイス管理部611、判断部612、通知部613、出力制御部614、及び記憶・読出部615等を有する。これらの各機能構成は、例えば、図3のCPU301、又は図4のCPU401で実行されるプログラムによって実現される。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。
なお、図6において、伝送端末10Bは、伝送端末10Aと同様の機能構成を有しているものとする。また、以下の説明において、伝送端末10A、10Bのうち、任意の伝送端末を示す場合、「伝送端末10」を用いる。
送受信部601は、例えば、図3の伝送端末10が備えるネットワークI/F311、又は図4の伝送端末10が備えるネットワークI/F405を用いて、伝送端末10を通信ネットワーク2に接続し、通信システム1に含まれる他の装置等と通信を行う。
通信制御部602は、他の伝送端末10とコンテンツデータの送受信を行う通信セッションの確立や、切断等の様々な通信の制御を行う。また、通信制御部602は、例えば、伝送端末10の電源が投入されると、送受信部601を介して管理システム50にログインするログイン制御や、管理情報用セッションの確立等を行う。
音入力部603は、例えば、図3の伝送端末10が備えるマイク314、又は図4の伝送端末10に接続されるマイク432等に入力される利用者の音声等の音信号を、所定の音データに変換する。
音出力部604は、例えば、図3の伝送端末10が備えるスピーカ315、又は図4の伝送端末10に接続されるスピーカ433等に音信号を入力して、例えば、利用者の音声等の音を出力させる。
符号化部605は、撮像部608から出力される画像データや、音入力部603から出力される音データを符号化して、符号化データ(符号化されたコンテンツデータ)を生成する。
復号部606は、他の伝送端末10から送信される符号化データを復号し、符号化前のコンテンツデータを出力する。
操作入力受付部607は、例えば、図3の伝送端末10が備える操作ボタン308、電源スイッチ309、又は図4の伝送端末10が備える接触センサ414に対する、利用者による入力操作を受け付ける。
撮像部608は、例えば、図3の伝送端末10が備えるカメラ312、又は図4の伝送端末10に接続されるカメラ434等を用いて、会議に参加する利用者等を撮影した画像データを取得する。
表示部609は、例えば、図3の伝送端末10に接続されるディスプレイ120、又は図4の伝送端末10が備えるディスプレイ460等に、画像、表示情報等を含む様々表示画面を表示する。
会議情報管理部610は、他の伝送端末10とコンテンツデータを送受信する会議を行っている場合、当該会議に関する情報を、例えば、図7(A)に示すような会議情報621に記憶して管理する。図7(A)の例では、会議情報621には、項目として、「会議ID」、「解像度」、「フレームレート」、「通信帯域」等の情報が含まれる。
「会議ID」は、会議を識別する識別情報である。「解像度」は、会議で送受信する画像(動画、又は静止画)の解像度を示す情報である。「フレームレート」は、会議で送受信する画像が動画である場合、動画のフレームレートを示す情報である。「通信帯域」は、会議で送受信するコンテンツデータを送受信するために必要な通信帯域を示す情報である。
なお、コンテンツデータに音データが含まれる場合、会議情報621には、例えば、音のチャネル数、音の品質(サンプリング周波数等)、音の大きさ(マイクの感度等)に関する情報が含まれる。伝送端末10は、この会議情報621を参照することにより、現在行われている会議の品質を判断することができる。
デバイス管理部611は、伝送端末10に接続されている入力デバイス(例えば、カメラ、マイク等)の情報を取得して、例えば、図7(B)に示すようなデバイス情報622に記憶して管理する。図7(B)の例では、デバイス情報622には、項目として、「デバイス名」、「デバイスID」、「解像度」、「フレームレート」、「撮影範囲」、「状態」等の情報が含まれる。
「デバイス名」は、入力デバイスから取得した入力デバイスの名称等の情報である。「デバイスID」は、入力デバイスから取得した入力デバイスを識別する識別情報である。「解像度」は、入力デバイスから入力される画像の解像度を示す情報である。「フレームレート」は、入力デバイスから入力される画像のフレームレートを示す情報である。「フォーマット」は、入力デバイスから入力される画像のフォーマットを示す情報である。
「撮影範囲」は、例えば、標準、広角、180°、360等、入力デバイス(例えば、カメラ)の撮影範囲や画角等を示す情報である。「状態」は、入力デバイスが、現在、選択されているか否かを示す情報である。
なお、入力デバイスが音を取得するデバイス(例えば、マイク等)である場合、デバイス情報622には、例えば、音のチャネル数、音の品質(サンプリング周波数等)、音の大きさ(マイクの感度等)に関する情報が含まれ得る。
判断部612は、例えば、入力デバイスが変更されたとき等に、会議情報621とデバイス情報622とに基づいて、会議をしている他の伝送端末10に送信するコンテンツデータに所定の変化があるか否かを判断する。
所定の変化には、例えば、コンテンツデータに含まれる、画像の撮影範囲や画角の変化、画像の解像度の変化、コンテンツデータの通信に要する通信帯域の変化、音の品質の変化、音のチャネル数の変化、音の大きさの変化等が含まれ得る。
コンテンツデータに、このような所定の変化があると、会議をしている他の伝送端末10が出力する画像、音等に、他の伝送端末10の利用者が予期していない大きな変化が発生し、他の伝送端末10の利用者に不快感を与えてしまう場合がある。
一例として、図3の伝送端末10が備えるカメラ312を用いて、他の伝送端末10と会議を行っているときに、伝送端末10の利用者が、例えば、画角が360°の全天球撮影装置や、画角が180°の魚眼カメラ等を入力デバイスとして選択したものとする。このような場合、例えば、他の伝送端末10が表示している画像の見え方が大きく変化してしまい、他の伝送端末10の利用者に不快感を与えてしまう場合がある。
また、別の一例として、例えば、図3の伝送端末10が備えるマイク314を用いて、他の伝送端末10と会議を行っているときに、伝送端末10の利用者が、例えば、外部マイクを伝送端末10に接続したものとする。このような場合、例えば、外部マイクの特性によって、他の伝送端末10が出力している音の聞こえ方(例えば、音の大きさ、明瞭度等)が大きく変化してしまい、他の伝送端末10の利用者に不快感を与えてしまう場合がある。
さらに、別の一例として、図3の伝送端末10が備えるカメラ312を用いて、他の伝送端末10と会議を行っているときに、伝送端末10の利用者が、例えば、高解像度、高フレームレートの外部カメラ等を、入力デバイスとして選択したものとする。このような場合、例えば、他の伝送端末10に送信される画像データの通信帯域が広くなってしまい、通信環境によっては、他の伝送端末10が表示する画像が乱れたり、途切れたりしてしまい、他の伝送端末10の利用者に不快感を与えてしまう場合がある。
判断部612は、このように、会議をしている他の伝送端末10が出力している画像の見え方や、音の聞こえ方に影響する、コンテンツデータの所定の変化があるか否かを判断する。
通知部613は、判断部612が、会議をしている他の伝送端末10に送信するコンテンツデータに所定の変化があると判断した場合、所定の変化に関する通知情報を、他の伝送端末10に通知する。この通知情報には、例えば、コンテンツデータに含まれる画像の撮影範囲や画角の変化の有無、解像度の変化の有無、コンテンツデータの通信に要する通信帯域の変化の有無、音声チャネル数の変化の有無、マイク特性の変化の有無等、様々な情報が含まれ得る。
出力制御部614は、他の伝送端末10から通知される通知情報に基づいて、他の伝送端末10から送信されるコンテンツデータの所定の変化に関する表示情報の出力、又は他の伝送端末10から送信されるコンテンツデータの出力を制御する。
例えば、出力制御部614は、他の伝送端末10から通知される通知情報に基づいて、他の伝送端末10から送信されるコンテンツデータに所定の変化があることを示す表示情報を、表示部609に表示させる。
また、出力制御部614は、上記の表示情報の表示処理に代えて(又は加えて)、他の伝送端末10から通知される通知情報に基づいて、他の伝送端末10から送信されるコンテンツデータの所定の変化を低減する処理を実行しても良い。
例えば、出力制御部614は、他の伝送端末10から送信される画像の撮影範囲が広くなる場合、撮影範囲の変化が少なくなるように画像の表示範囲を制限しても良い。また、出力制御部614は、他の伝送端末から送信される画像が、魚眼レンズ等で取得した広視野角の画像になる場合、魚眼カメラで撮影した画像の歪みを補正しても良い。
また、出力制御部614は、他の伝送端末10から送信されるコンテンツデータの通信帯域が広くなる場合、例えば、管理システム50、又は中継装置30に、伝送端末10に送信するコンテンツの通信帯域を制限するように要求しても良い。
さらに、出力制御部614は、他の伝送端末10から送信されるコンテンツデータに含まれる音を取得するマイクの特性が変化する場合、マイクの特性に合わせて、伝送端末10が出力する音の音量が、大きく変化しないように調整しても良い。
記憶・読出部615は、例えば、記憶部620への様々なデータや情報の記憶、及び記憶部620に記憶された様々なデータや情報の読出しを制御する。記憶部620は、例えば、会議情報621、デバイス情報622等の様々な情報を記憶する。
(管理システム、及び中継装置の機能構成)
管理システム50は、例えば、複数の伝送端末10と管理情報用セッションseiを確立して制御情報の送受信を行い、伝送端末10間でコンテンツデータを送受信する画像・音データ用セッションsed(以下、通信セッションと呼ぶ)を管理する。例えば、管理システム50は、要求元端末(例えば伝送端末10A)からの開始要求に応じて、会議を識別する会議IDを生成し、生成した会議IDを、要求元端末、宛先端末(例えば伝送端末10B)、及び中継装置30に通知する。要求元端末、及び宛先端末は、通知された会議IDを用いて中継装置30と通信セッションを確立する。これにより、要求元端末、及び宛先端末は、同じ会議(通信セッション)に参加して、互いにコンテンツデータの送受信を行うことができるようになる。管理システム50による通信セッションの管理方法は任意の方法であって良いので、ここでは、管理システム50の詳細な説明は省略する。
中継装置30は、複数の伝送端末10の間で送受信される映像データ等の通信データの中継を行うと共に、必要に応じて、伝送端末10に送信するコンテンツデータの変換等を行う。なお、本実施形態では、中継装置30による通信データの中継方法は任意の方法で良いので、ここでは、中継装置30の詳細な説明は省略する。
また、本実施形態では、管理システム50、中継装置30等は必須ではなく、例えば、中継装置30を介さずに、伝送端末10間で通信セッションを確立して、コンテンツデータの送受信を行う構成等であっても良い。
<処理の流れ>
続いて、本実施形態に係る通信制御方法の処理の流れについて説明する。
(会議開始時の処理)
図8は、一実施形態に係る会議開始の処理の例を示すシーケンス図である。この処理は、伝送端末10Aと、伝送端末10Bとの間で、コンテンツデータを送受信する会議を開始する際に、通信システム1で実行される処理の例を示している。なお、図8に示す処理の開始時点において、伝送端末10A、及び伝送端末10Bは、管理システム50と管理情報用セッションseiを用いて、制御情報の送受信が可能であるものとする。
ステップS801において、伝送端末10Aの操作入力受付部607が、ユーザによる会議の開始操作を受け付けると、ステップS802以降の処理が実行される。
ステップS802において、伝送端末10Aの通信制御部602は、管理システム50に、会議の開始を要求する開始要求情報を送信する。この開始要求情報には、例えば、伝送端末10Aを識別する端末ID(以下、要求元端末IDと呼ぶ)、及び宛先の伝送端末10Bを識別する端末ID(以下、宛先端末IDと呼ぶ)等が含まれる。
ステップS803において、管理システム50は、伝送端末10Aから開始要求情報を受け付けると、宛先端末IDに対応する伝送端末10Bに受信した開始要求情報を送信する。
ステップS804において、伝送端末10Bの通信制御部602は、管理システム50から開始要求情報を受信すると、例えば、開始要求情報を受け付けたことを示す開始応答情報を管理システム50に返信する。
ステップS805において、管理システム50は、伝送端末10Bから開始応答情報を受け付けると、会議を識別する会議IDを生成し、生成した会議IDを含む開始要求情報を中継装置30に送信する。
ステップS806a、S806bにおいて、管理システム50は、伝送端末10A、及び伝送端末10Bに、会議の開始を指示する開始指示情報を送信する。この開始指示情報には、ステップS805で生成した会議IDが含まれる。
ステップS807a、S807bにおいて、伝送端末10A、及び伝送端末10Bの通信制御部602は、それぞれ、管理システム50から受信した開始指示情報に含まれる会議IDを用いて、中継装置30と通信セッションを確立する。
ステップS808a、S808bにおいて、伝送端末10A、及び伝送端末10Bの会議情報管理部610は、それぞれ、参加した会議の情報を、例えば、図7(A)に示すような会議情報621に記憶する。
上記の処理により、伝送端末10Aと伝送端末10Bとの間で、コンテンツデータの送受信ができるようになる。例えば、ステップS810、S811において、伝送端末10Aが送信したコンテンツデータは、中継装置30を介して、伝送端末10Bに送信される。同様に、ステップS812、S813において、伝送端末10Bが送信したコンテンツデータは、中継装置30を介して、伝送端末10Aにされる。
(入力デバイス変更時の処理)
図9は、一実施形態に係る入力デバイス変更時の処理の例を示すシーケンス図である。この処理は、例えば、図8の会議開始時の処理により、伝送端末10Aと伝送端末10Bとが同じ会議に参加しているときに、伝送端末10Aを利用するユーザが、入力デバイスを切り替えた場合に、通信システム1で実行される処理の例を示している。
図9のステップS809、S810において、伝送端末10Aが、コンテンツデータを、中継装置30を介して、伝送端末10Bに送信しているものとする。
ステップS901において、伝送端末10Aを利用するユーザが、入力デバイスの変更操作を行うものとする。説明用の一例として、ユーザは、図3の伝送端末10の外部機器接続I/Fに、外部カメラを接続して、外部カメラの選択操作を行うものとする。ただし、これに限られず、ユーザは、伝送端末10の外部機器接続I/Fに、外部マイクを接続して、外部マイクの選択操作を行うもの等であっても良い。
ステップS902において、伝送端末10Aのデバイス管理部611は、選択された入力デバイス(例えば、外部カメラ)を、利用できるように設定する。また、デバイス管理部611は、設定した入力デバイスの情報を、例えば、図7(B)に示すようなデバイス情報622に記憶し、選択された入力デバイスの状態を「選択」に設定する。
ステップS903において、伝送端末10Aの判断部612は、例えば、図7(B)に示すようなデバイス情報622から、状態が「選択」になっている入力デバイスのデバイス情報を取得する。
ステップS904において、伝送端末10Aの判断部612は、例えば、図7(A)に示すような会議情報621から、伝送端末10Aが参加している会議の会議情報を取得する。
ステップS905において、伝送端末10Aの判断部612は、取得したデバイス情報と、会議情報とに基づいて、伝送端末10Bに送信するコンテンツデータに所定の変化があるか否かを判断する判断処理を実行する。ここで、伝送端末10Bに送信するコンテンツデータに所定の変化があると判断された場合、ステップS906以降の処理が実行される。なお、ステップS905で実行される判断処理の例については、図10を用いて後述する。
ステップS906において、伝送端末10Aの通知部613は、判断部612による判断結果に従って、コンテンツデータの所定の変化に関する通知情報を作成する。
ステップS907、S908において、伝送端末10Aの通知部613は、作成した通知情報を、例えば、管理システム50を介して、伝送端末10Bに送信する。
(判断処理)
図10は、一実施形態に係る判断処理の例を示すフローチャートである。この処理は、例えば、図9のステップS905で伝送端末10Aが実行する判断処理の一例を示している。
ステップS1001において、伝送端末10の判断部612は、図9のステップS903で取得したデバイス情報の解像度が、図9のステップS904で取得した会議情報の解像度より高いか否かを判断する。デバイス情報の解像度が会議情報の解像度より高い場合、判断部612は、処理をステップS1002に移行させる。一方、デバイス情報の解像度が会議情報の解像度より高くない場合、判断部612は、処理をステップS1003に移行させる。
ステップS1002に移行すると、伝送端末10の通知部613は、解像度の変化(所定の変化の一例)に関する通知を作成する。例えば、通知部613は、伝送端末10から送信される画像の解像度が向上することを示す文字列を含む通知を作成する。
ステップS1003に移行すると、伝送端末10の判断部612は、図9のステップS903で取得したデバイス情報から算出した通信帯域が、図9のステップS904で取得した会議情報から算出した通信帯域より広いか否かを判断する。なお、通信帯域は、例えば、デバイス情報、又は会議情報に含まれる解像度とフレームレートとに基づいて、判断部612が算出する通信帯域の推定値を利用することができる。
デバイス情報の通信帯域が会議情報の通信帯域より広い場合、判断部612は、処理をステップS1004に移行させる。一方、デバイス情報の通信帯域が会議情報の通信帯域より広くない場合、判断部612は、処理をステップS1005に移行させる。
ステップS1004に移行すると、伝送端末10の通知部613は、通信帯域の変化(所定の変化の一例)に関する通知を作成する。例えば、通知部613は、伝送端末10から送信されるコンテンツの通信帯域が増加することを示す文字列を含む通知を作成する。
ステップS1005に移行すると、伝送端末10の判断部612は、図9のステップS903で取得したデバイス情報の撮影範囲が、図9のステップS904で取得した会議情報の撮影範囲から変化するか否かを判断する。
なお、ステップS1005の処理は、入力デバイスの変更により、伝送端末10が送信する画像の見え方が変わるか否かを判断する処理の一例である。例えば、デバイス管理部611は、デバイスID(又はデバイス名)等と、画像の見え方との対応関係を記憶部620に記憶しておくことにより、画像の見え方が変化するか否かを判断するものであっても良い。また、画像の見え方には、入力デバイスが撮影する画像の撮影範囲、画角、明るさ、色合い等の様々な情報が含まれていて良い。
デバイス情報の撮影範囲が会議情報の撮影範囲から変化する場合、判断部612は、処理をステップS1006に移行させる。一方、デバイス情報の撮影範囲が会議情報の撮影範囲から変化しない場合、判断部612は、処理を終了する。
ステップS1006に移行すると、伝送端末10の通知部613は、撮影範囲の変化(所定の変化の一例)に関する通知を作成する。例えば、通知部613は、伝送端末10から送信される画像の撮影範囲が変化することを示す文字列を含む通知を作成する。
上記の処理のステップS1002、S1004、S1006のいずれかで、通知が作成された場合、伝送端末10の通知部613は、図9のステップS906で、例えば、図11(A)に示すような通知情報を作成する。
図11(A)は、一実施形態に係る通知情報の一例のイメージを示している。図11(A)の例では、通知情報1101には、項目として、「通知元」、「解像度の増加」、「通信帯域の増加」、「撮影範囲の変化」等の情報が含まれる。
「通知元」は、通知情報を送信した伝送端末10を示す情報であり、端末ID等で表されるものであっても良い。「解像度の増加」は、通知元の伝送端末10が送信する画像の解像度の増加があるか否かを示す情報であり、例えば、「○」は解像度の増加あることを示しており、「×」は解像度の増加がないことを示している。なお、「解像度の増加」には、増加後の解像度の情報等が含まれていても良い。
「通信帯域の増加」は、通知元の伝送端末10が送信する画像の通信に要する通信帯域が増加するか否かを示す情報であり、例えば、「○」は通信帯域の増加あることを示し、「×」は通信帯域の増加がないことを示している。なお、「通信帯域の増加」には、増加後の通信帯域の情報等が含まれていても良い。
「撮影範囲の変化」は、通知元の伝送端末10が送信する画像の撮影範囲が変化するか否かを示す情報であり、例えば、「○」は撮影範囲の変化があることを示し、「×」は撮影範囲の変化がないことを示している。なお、「撮影範囲の変化」には、変化後の撮影範囲の情報(例えば、「標準」、「広角」、「180°(魚眼)」、「360°(全天球)」等)が含まれていても良い。また、前述したように、「撮影範囲」は、画像の見え方の一例であり、画像の見え方を示す他の情報であっても良い。
なお、図10に示した判断処理、及び図11(A)に示した通知情報1101は、コンテンツデータが画像データである場合の一例である。
例えば、コンテンツデータが音データである場合、図10のステップS1001において、「解像度の変化」に代えて、「音声チャネル数の変化」等を判断しても良い。また、ステップS1005において、「撮影範囲(見え方の一例)の変化」に代えて、「音量(聞こえ方の一例)の変化」等を判断しても良い。この場合、通知部613は、図11(A)に示すような通知情報1101に代えて、図11(B)に示すような通知情報1102を作成する。
また、コンテンツデータが画像データ+音データである場合、図10に示した判断処理に、「音声チャネル数の変化」、「音量(聞こえ方の一例)の変化」を判断するステップを追加しても良い。この場合、通知部613は、図11(A)に示すような通知情報1101に加えて、図11(B)に示すような通知情報1102の「音声チャネル数」、「音量の変化」等の項目を含む通知情報を作成する。
(通知情報受信時の処理)
続いて、伝送端末10が他の伝送端末10から送信される通知情報を受信したときに実行する処理の例について説明する。
[第1の実施形態]
図12は、第1の実施形態に係る通知情報受信時の処理の例を示すフローチャートである。この処理は、伝送端末10が他の伝送端末10から送信される通知情報を受信したときに実行する処理の一例を示している。
ステップS1201において、伝送端末10が、他の伝送端末から通知情報を受信すると、ステップS1202以降の処理が実行される。
ステップS1202において、伝送端末10の出力制御部614は、受信した通知情報に、解像度の変化に関する通知が含まれるか否かを判断する。例えば、図11(A)に示すような通知情報1101において、「解像度の増加」の項目が「○」である場合、出力制御部614は、通知情報に解像度の変化に関する通知が含まれると判断する。一方、通知情報1101において、「解像度の増加」の項目が「×」である場合、出力制御部614は、通知情報に解像度の変化に関する通知が含まれないと判断する。
通知情報に解像度の変化に関する通知が含まれる場合、出力制御部614は、処理をステップS1203に移行させる。一方、通知情報に解像度の変化に関する通知が含まれない場合、出力制御部614は、処理をステップS1204に移行させる。
ステップS1203に移行すると、出力制御部614は、表示情報に解像度の変化に関する情報を追加する。例えば、出力制御部614は、図13に示すような表示情報1300に、解像度の変化に関する情報1301を追加する。
ステップS1204に移行すると、伝送端末10の出力制御部614は、受信した通知情報に、通信帯域の変化に関する通知が含まれるか否かを判断する。例えば、図11(A)に示すような通知情報1101において、「通信帯域の増加」の項目が「○」である場合、出力制御部614は、通知情報に通信帯域の変化に関する通知が含まれると判断する。一方、通知情報1101において、「通信帯域の増加」の項目が「×」である場合、出力制御部614は、通知情報に通信帯域の変化に関する通知が含まれないと判断する。
通知情報に通信帯域の変化に関する通知が含まれる場合、出力制御部614は、処理をステップS1205に移行させる。一方、通知情報に通信帯域の変化に関する通知が含まれない場合、出力制御部614は、処理をステップS1206に移行させる。
ステップS1205に移行すると、出力制御部614は、表示情報に通信帯域の変化に関する情報を追加する。例えば、出力制御部614は、図13に示すような表示情報1300に、通信帯域の変化に関する情報1302を追加する。
ステップS1206に移行すると、伝送端末10の出力制御部614は、受信した通知情報に、撮影範囲の変化に関する通知が含まれるか否かを判断する。例えば、図11(A)に示すような通知情報1101において、「撮影範囲の変化」の項目が「○」である場合、出力制御部614は、通知情報に撮影範囲の変化に関する通知が含まれると判断する。一方、通知情報1101において、「撮影範囲の変化」の項目が「×」である場合、出力制御部614は、通知情報に撮影範囲の変化に関する通知が含まれないと判断する。
通知情報に撮影範囲の変化に関する通知が含まれる場合、出力制御部614は、処理をステップS1207に移行させる。一方、通知情報に撮影範囲の変化に関する通知が含まれない場合、出力制御部614は、処理をステップS1208に移行させる。
ステップS1207に移行すると、出力制御部614は、表示情報に撮影範囲の変化に関する情報を追加する。例えば、出力制御部614は、図13に示すような表示情報1300に、撮影範囲の変化に関する情報1303を追加する。
ステップS1108に移行すると、出力制御部614は、表示情報1300で表示する情報があるか否かを判断する。表示する情報がある場合、出力制御部614は、例えば、図13に示すような表示情報1300を、表示部609に表示させる。一方、表示情報1300で表示する情報がない場合、出力制御部614は、表示情報1300を表示する処理を中止して、図11の処理を終了する。
図13は、第1の実施形態に係る表示情報の例を示す図である。図13の例では、表示情報1300には、解像度の変化に関する情報1301、通信帯域の変化に関する情報1302、及び撮影範囲の変化に関する情報1303が含まれている。
図13の例では、解像度の変化に関する情報1301には、例えば、「拠点Aからの画像の解像度が向上します。」等、他の伝送端末10からの画像の解像度が変化することを示す文字列が含まれている。好ましくは、解像度の変化に関する情報1301には、例えば、「拠点Aの表示画面を大きくすることで高画質になります。」等、解像度の変化に伴うメリット(又はデメリット)を示す文字列等が含まれる。
また、通信帯域の変化に関する情報1302には、例えば、「拠点Aからのコンテンツの通信帯域が増加します。」等、他の伝送端末10からのコンテンツの通信帯域が変化することを示す文字列が含まれている。好ましくは、通信帯域の変化に関する情報1302には、例えば、「通信帯域を抑えたい場合にはご注意下さい。」等、通信帯域の変化に伴うメリット(又はデメリット)を示す文字列等が含まれる。
さらに、撮影範囲の変化に関する情報1303には、例えば、「カメラが変更されたため、拠点Aからの画像がDualFishEye表示(360°表示)に変わります。」等、他の伝送端末10からの画像の撮影範囲が変わることを示す文字列が含まれている。好ましくは、撮影範囲の変化に関する情報1303には、例えば、「現在の画像の見え方から変更となりますのでご了承下さい。」等、画像の見え方が変わることへの注意を促す文字列等が含まれる。
このように、本実施形態によれば、他の伝送端末10とコンテンツデータを送受信する会議を行う伝送端末10において、カメラが、他のカメラに変更されたとき等に、通信先のユーザに、画像の見え方が変わることを通知する通知情報を出力することができる。
同様にして、本実施形態では、伝送端末10において、マイクが、他のマイクに変更されたときに、通信先のユーザに、音の聞こえ方が変わることを通知する通知情報を出力することも可能である。
[第2の実施形態]
図14は、第2の実施形態に係る通知情報受信時の処理の例を示すフローチャートである。この処理は、伝送端末10が他の伝送端末10から送信される通知情報を受信したときに実行する処理の別の一例を示している。
伝送端末10は、他の伝送端末10から通知情報を受信したときに、例えば、図12に示した第1の実施形態に係る通知情報受信時の処理に加えて(又は代えて)、図14(A)、(B)に示すような処理を実行しても良い。
(通知情報受信時の処理1)
図14(A)は、第2の実施形態に係る通知情報受信時の処理の一例を示している。
ステップS1401において、伝送端末10が、他の伝送端末から通知情報を受信すると、ステップS1402以降の処理が実行される。
ステップS1402において、伝送端末10の出力制御部614は、受信した通知情報に、補正が可能な、コンテンツの変化に関する情報が含まれるか否かを判断する。
例えば、コンテンツの変化が、画像の明るさの変化である場合、音の大きさの変化等である場合、画像の撮影範囲の拡大である場合等には、コンテンツに対して、画像処理、音声処理等を実行することにより、コンテンツの変化を低減する補正が可能と判断できる。
通知情報に補正が可能なコンテンツの変化に関する情報が含まれる場合、出力制御部614は、処理をステップS1403に移行させる。一方、通知情報に補正が可能なコンテンツの変化に関する情報が含まれない場合、出力制御部614は、図14(A)の処理を終了する。
ステップS1403に移行すると、出力制御部614は、通知情報に含まれるコンテンツの変化を低減する補正を行う。例えば、コンテンツの変化が、音の音量が6dB大きくなる変化である場合、出力制御部614は、音出力部604が出力する音の音量を6dB小さく変更するもの等であって良い。また、コンテンツの変化が、画像の撮影範囲が、「標準」から「広角」になる変化である場合、出力制御部614は、表示部609が表示する画像を、「標準」の撮影範囲と同等にトリミングするもの等であっても良い。
このように、伝送端末10の出力制御部614は、通知情報で通知されたコンテンツの変化が、補正可能な変化である場合、コンテンツの変化を低減する補正を行っても良い。
(通知情報受信時の処理2)
図14(B)は、第2の実施形態に係る通知情報受信時の処理の別の一例を示している。
ステップS1411において、伝送端末10が、他の伝送端末から通知情報を受信すると、ステップS1412以降の処理が実行される。
ステップS1412において、伝送端末10の出力制御部614は、受信した通知情報に、通信帯域の増加に関する通知が含まれるか否かを判断する。通知情報に通信帯域の増加に関する通知が含まれる場合、出力制御部614は、処理をステップS1413に移行させる。一方、通知情報に通信帯域の増加に関する通知が含まれていない場合、出力制御部614は、図14(B)の処理を終了する。
ステップS1412において、出力制御部614は、通知された通信帯域が、伝送端末10に予め設定された通信帯域の上限を超えているか否かを判断する。例えば、伝送端末10には、伝送端末10が利用可能な通信帯域の上限値が、予め設定されているものとする。
通知された通信帯域が予め設定された通信帯域の上限を超えている場合、出力制御部614は、処理をステップS1414に移行させる。一方、通知された通信帯域が予め設定された通信帯域の上限を超えていない場合、出力制御部614は、図14(B)の処理を終了する。
ステップS1414に移行すると、出力制御部614は、例えば、管理システム50、又は中継装置30に対して、伝送端末10に対して送信されるコンテンツの通信帯域の制限を要求する要求情報を送信する。
これに応じて、中継装置30は、例えば、他の伝送端末10から、伝送端末10に転送するコンテンツを、要求された通信帯域を超えないように、コンテンツデータを変換して、伝送端末10に送信する。
このように、伝送端末10の出力制御部614は、通知情報で通知されたコンテンツの通信帯域が、伝送端末10に予め設定された通信帯域を超えないように制御するものであっても良い。
上記の処理により、例えば、伝送端末10が利用可能な通信帯域が限られている場合等に、他の伝送端末10から送信される画像等が、途切れたり、乱れたりすることにより、画像の見え方が変わってしまうことを抑制することができる。
なお、図14(A)、(B)に示す処理は、伝送端末10の出力制御部614が実行する、他の伝送端末10から通知される通知情報に基づいて、他の伝送端末10から送信されるコンテンツデータの所定の変化を低減する処理の一例である。
以上、本発明の各実施形態によれば、他の伝送端末10とコンテンツデータを送受信する会議を行う伝送端末10において、入力デバイスが、他の入力デバイスに変更されたときに、通信先のユーザに不快感を与えてしまうことを低減することができる。
<補足>
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。