以下、図面を用いて、本発明の実施形態について説明する。
●第1の実施形態
まずは、本発明の第1の実施形態について説明する。
〔実施形態の概略〕
<全天球画像の生成方法>
図1乃至図7を用いて、全天球パノラマ画像(以下、「全天球画像」と記す)の生成方法について説明する。
まず、図1を用いて、撮影装置1の外観を説明する。撮影装置1は、3次元の全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図1(a)は撮影装置の左側面図であり、図1(b)は撮影装置の正面図であり、図1(c)は撮影装置の平面図である。
図1(a)に示されているように、撮影装置1は、人間が片手で持つことができる大きさである。また、図1(a),図1(b),図1(c)に示されているように、撮影装置1の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮影が可能な光学部材(例えば、後述する魚眼レンズ102a,102b)と併せて用いられる。また、図1(b)に示されているように、撮影装置1の正面側と反対側の面には、シャッターボタン等の操作部115が設けられている。
次に、図2を用いて、撮影装置1の使用状況を説明する。なお、図2は、撮影装置の使用イメージ図である。撮影装置1は、図2に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれ利用者の周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図3及び図4を用いて、撮影装置1で撮影された画像から全天球画像が作成されるまでの処理の概略を説明する。なお、図3(a)は撮影装置で撮影された半球画像(前側)、図3(b)は撮影装置で撮影された半球画像(後側)、図3(c)は正距円筒射影画像を示した図である。図4(a)は正距円筒射影画像で球を被う状態を示した概念図、図4(b)は全天球画像を示した図である。
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図3(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、撮影装置1によって合成され、図3(c)に示されているように、正距円筒射影画像が作成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図4(a)に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図4(b)に示されているような全天球画像が作成される。このように、全天球画像は、正距円筒射影画像が球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像は、静止画であっても動画であってもよい。
以上のように、全天球画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像の一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図5及び図6を用いて説明する。
なお、図5は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見る利用者の視点の位置に相当するものである。また、図6(a)は図5の立体斜視図、図6(b)はディスプレイに表示された場合の所定領域画像を表す図である。また、図6(a)では、図4に示されている全天球画像CEが、三次元の立体球CSで表わされている。このように生成された全天球画像CEが、立体球CSであるとすると、図5に示されているように、仮想カメラICが全天球画像CEの外側に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮影領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定される。
そして、図6(a)に示されている所定領域画像Qは、図6(b)に示されているように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図6(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。なお、所定領域情報、仮想カメラICの位置座標ではなく、所定領域Tである仮想カメラICの撮影領域(X,Y,Z)によって示してもよい。以下では、仮想カメラICの撮影方向(rH,rV)と画角(α)を用いて説明する。
図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図7は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。図7に示されているように、rHはHorizontal Radian、rVはVertical Radian、αは画角(Angle)を示す。即ち、撮影方向(rH,rV)で示される仮想カメラICの注視点が、仮想カメラICの撮影領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図7では、一般的に以下の(式1)で示される三角関数が成り立つ。
L/f=tan(α/2)・・・(式1)
図8は、球座標による3次元ユークリッド空間内の点を示した図である。中心点CPを球面極座標系で表現したときの位置座標を(r、θ、φ)とする。(r、θ、φ)は、それぞれ動径、極角、方位角である。動径rは、全天球画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、fに等しい。図8は、これらの関係を表した図である。以降、仮想カメラICの位置座標(r,θ、φ)を用いて説明する。
〔画像通信システムの概略〕
続いて、図9を用いて、本実施形態の画像通信システムの構成の概略について説明する。図9は、本実施形態の画像通信システムの構成の概略図である。
図9に示されているように、本実施形態の画像通信システムは、撮影装置1a,1b、ビデオ会議端末3a,3b、ディスプレイ4a,4b、通信管理システム5、PC(Personal Computer)7、撮影装置8、及びスマートフォン9によって構成され、インターネット等の通信ネットワーク100を介して通信することができる。通信ネットワーク100の接続形態は、無線又は有線のいずれでも良い。
これらのうち、撮影装置1a,1bは、上述のように、被写体や風景等を撮影して全天球画像の元になる2つの半球画像を得るための特殊なデジタルカメラである。一方、撮影装置8は、被写体や風景等を撮影して一般の平面画像を得るための一般のデジタルカメラである。
ビデオ会議端末3a,3dは、ビデオ会議専用の端末であり、USB(Universal Serial Bus)ケーブル等の有線ケーブルを介して映像通話(ビデオ通話)の画像を、それぞれディスプレイ4a,4dに表示する。ビデオ会議端末3aは、通常は後述の図11のカメラ312で撮影するが、撮影装置1aを取り付けるクレードル2aに有線ケーブルで接続されると、撮影装置1aが優先され、全天球画像の元になる2つの半球画像を得ることができる。有線ケーブルを利用する場合、クレードル2aは、撮影装置1aとビデオ会議端末3aとの間の通信を行なうだけでなく、撮影装置1aに電源供給及び撮影装置1aを支える役割を果たす。なお、ここでは、撮影装置1a、クレードル2a、ビデオ会議端末3a、及びディスプレイ4aは、同じ拠点である拠点Aに置かれている。また、拠点Aには、4人の利用者A1,A2,A3,A4が、映像通話に参加している。一方、ビデオ会議端末3d、及びディスプレイ4dは、同じ拠点である拠点Dに置かれている。また、拠点Dには、3人の利用者D1,D2,D3が、映像通話に参加している。
通信管理システム5は、ビデオ会議端末3a,3d、PC7、及びスマートフォン9の通信を管理及び制御したり、送受信される画像データの種類(一般画像と特殊画像の種別)を管理したりする。よって、通信管理システムは、通信制御システムでもある。ここでは、特殊画像は全天球画像である。なお、通信管理システム5は、ビデオ通信のサービスを行なうサービス会社等に設置されている。また、通信管理システム5は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
PC7は、撮影装置8が取り付けられることで、映像通話が可能となる。なお、ここでは、PC7、及び撮影装置8は、同じ拠点である拠点Cに置かれている。また、拠点Cには、1人の利用者Cが映像通話に参加している。
スマートフォン9は、自装置に設けられた後述のディスプレイ917に映像通話の画像を表示する。スマートフォン9は、通常は自装置に設けられた後述のCMOS(Complementary Metal Oxide Semiconductor)センサ905等で撮影するが、Wi-Fi(Wireless Fidelity)やBluetooth(登録商標)等の無線通信技術を利用して、撮影装置1bで得られた全天球画像の元になる2つの半球画像データを取得することができる。無線通信技術を利用する場合、クレードル2bは、撮影装置1bに電源供給と撮影装置1bを支えるだけの役割を果たす。なお、ここでは、撮影装置1b、クレードル2b、及びスマートフォン9は、同じ拠点である拠点Bに置かれている。また、拠点Bには、2人の利用者B1,B2が、映像通話に参加している。
また、ビデオ会議端末3a,3d、PC7、及びスマートフォン9は、通信端末の一例である。各通信端末には、OpenGL ESがインストールされており、全天球画像の一部の領域を示す所定領域情報を作成したり、他の通信端末から送られて来た全天球画像パノラマ画像から所定領域画像を作成したりすることができる。
なお、図9に示す各端末(通信端末、ディスプレイ、撮影装置)、装置、利用者の配置は一例であり、他の例であってもよい。例えば、拠点Cで、撮影装置8に代えて、全天球画像の撮影が可能な撮影装置を利用者してもよい。また、通信端末には、デジタルテレビ、スマートウオッチ、カーナビゲーション装置等も含まれる。また、以降、撮影装置1a,1bのうち任意の撮影装置を表す場合には、「撮影装置1」として表す。また、ビデオ会議端末3a,3bのうち任意のビデオ会議端末を表す場合には、「ビデオ会議端末3」として表す。更に、ディスプレイ4a,4bのうち任意のディスプレイを表す場合には、「ディスプレイ4」として表す。
〔実施形態のハードウェア構成〕
次に、図10乃至図13を用いて、本実施形態の撮影装置1、ビデオ会議端末3、通信管理システム5、PC7、及びスマートフォン9のハードウェア構成を詳細に説明する。なお、撮影装置8は、一般のカメラであるため、詳細な説明は省略する。
<撮影装置1のハードウェア構成>
まず、図10を用いて、撮影装置1のハードウェア構成を説明する。図10は、撮影装置1のハードウェア構成図である。以下では、撮影装置1は、2つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置1と同じ機能を有するようにしてもよい。
図10に示されているように、撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、及びアンテナ117aによって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOSセンサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(c)に示されているような正距円筒射影画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置1によっては、ディスプレイ(例えば、ビデオ会議端末3aのディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置1には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。利用者は操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F116を介してビデオ会議端末3a等の外部装置に送信されたりする。
通信部117は、撮影装置1に設けられたアンテナ117aを介して、WiFiやNFC(Near Field Communication)等の近距離無線技術によって、ビデオ会議端末3a等の外部装置と通信を行う。この通信部117によっても、正距円筒射影画像のデータをビデオ会議端末3aの外部装置に送信することができる。
電子コンパス118は、地球の磁気から撮影装置1の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
<ビデオ会議端末のハードウェア構成>
次に、図11を用いて、ビデオ会議端末3のハードウェア構成を説明する。図11は、ビデオ会議端末のハードウェア構成図である。図11に示されているように、ビデオ会議端末3は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319のアンテナ319aを備えている。
これらのうち、CPU301は、ビデオ会議端末3全体の動作を制御する。ROM302は、IPL(Initial Program Loader)等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。SSD(Solid State Drive)305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読み出し又は書き込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御する。操作ボタン308は、ビデオ会議端末3の宛先を選択する場合などに操作されるボタンである。電源スイッチ309は、ビデオ会議端末3の電源のON/OFFを切り換えるためのスイッチである。
また、ネットワークI/F311は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェースである。カメラ312は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F313は、カメラ312の駆動を制御する回路である。マイク314は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F316は、CPU301の制御に従ってマイク314及びスピーカ315との間で音信号の入出力を処理する回路である。ディスプレイI/F317は、CPU301の制御に従って外付けのディスプレイ4に画像データを送信する回路である。外部機器接続I/F318は、各種の外部機器を接続するためのインターフェースである。近距離通信回路319は、NFC(登録商標)、Bluetooth(登録商標)等の通信回路である。
また、バスライン310は、図11に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
ディスプレイ4は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示手段の一種である。また、ディスプレイ4は、ケーブル4cによってディスプレイI/F317に接続される。このケーブル4cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)(登録商標)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
なお、カメラ312は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOSセンサや、CCDセンサ等が用いられる。外部機器接続I/F318には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU301の制御に従って、内蔵型のカメラ312に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU301の制御に従って、それぞれが内蔵型のマイク314や内蔵型のスピーカ315に優先して、外付けマイクや外付けスピーカが駆動する。
また、記録メディア306は、ビデオ会議端末3に対して着脱自在な構成となっている。また、CPU301の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ304に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
<通信管理システム、PCのハードウェア構成>
次に、図12を用いて、通信管理システム5及びPC7のハードウェア構成を説明する。図12は、通信管理システム及びPCのハードウェア構成図である。なお、通信管理システム5及びPC7は、ともにコンピュータで同じ構成を有しているため、以下では、通信管理システム5の構成について説明し、PC7の構成の説明は省略する。
通信管理システム5は、通信管理システム5全体の動作を制御するCPU501、IPL等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503、通信管理システム5用のプログラム等の各種データを記憶するHD504、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)505、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ508、通信ネットワーク100を利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス512、着脱可能な記録媒体の一例としてのCD-RW(Compact Disc -ReWritable)513に対する各種データの読み出しを制御するCD-RWドライブ514、及び、上記各構成要素を図12に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。
<スマートフォンのハードウェア構成>
次に、図13を用いて、スマートフォンのハードウェアについて説明する。図13は、スマートフォンのハードウェア構成図である。図13に示されているように、スマートフォン9は、CPU901、ROM902、RAM903、EEPROM904、CMOSセンサ905、加速度・方位センサ906、メディアI/F908、GPS受信部909を備えている。
これらのうち、CPU901は、スマートフォン9全体の動作を制御する。ROM902は、IPL等のCPU901の駆動に用いられるプログラムを記憶する。RAM903は、CPU901のワークエリアとして使用される。EEPROM904は、CPU901の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。CMOSセンサ905は、CPU901の制御に従って被写体(主に自画像)を撮像し画像データを得る。加速度・方位センサ906は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F908は、フラッシュメモリ等の記録メディア907に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部909は、GPS衛星からGPS信号を受信する。
また、スマートフォン9は、遠距離通信回路911、カメラ912、撮像素子I/F913、マイク914、スピーカ915、音入出力I/F916、ディスプレイ917、外部機器接続I/F918、近距離通信回路919、近距離通信回路919のアンテナ919a、及びタッチパネル921を備えている。
これらのうち、遠距離通信回路911は、通信ネットワーク100を介して、他の機器と通信する回路である。カメラ912は、CPU901の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F913は、カメラ912の駆動を制御する回路である。マイク914は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F916は、CPU901の制御に従ってマイク914及びスピーカ915との間で音信号の入出力を処理する回路である。ディスプレイ917は、被写体の画像や各種アイコン等を表示する液晶や有機ELなどの表示手段の一種である。外部機器接続I/F918は、各種の外部機器を接続するためのインターフェースである。近距離通信回路919は、NFCやBluetooth等の通信回路である。タッチパネル921は、利用者がディスプレイ917を押下することで、スマートフォン9を操作する入力手段の一種である。
また、スマートフォン9は、バスライン910を備えている。バスライン910は、CPU901等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたCD-ROM等の記録媒体、並びに、これらプログラムが記憶されたHDは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
〔実施形態の機能構成〕
次に、図14乃至図21を用いて、本実施形態の機能構成について説明する。図14及び図15は、画像通信システムの一部の機能ブロック図である。
<撮影装置1aの機能構成>
図14に示されているように、撮影装置1aは、受付部12a、撮像部13a、集音部14a、通信部18a、及び記憶・読出部19aを有している。これら各部は、図10に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
また、撮影装置1は、図10に示されているROM112、SRAM113、及びDRAM114によって構築される記憶部1000aを有している。記憶部1000aには、自装置のGUID(Globally Unique Identifier)が記憶されている。
なお、撮影装置1bは、受付部12b、撮像部13b、集音部14b、通信部18b、記憶・読出部19b、及び記憶部1000bを有しているが、それぞれ、撮影装置1aにおける受付部12a、撮像部13a、集音部14a、通信部18a、記憶・読出部19a及び記憶部1000aと同様の機能を実現するため、これらの説明を省略する。
(撮影装置1aの各機能構成)
次に、図10及び図14を用いて、撮影装置1aの各機能構成について更に詳細に説明する。
撮影装置1の受付部12aは、主に、図10に示されている操作部115及びCPU111の処理によって実現され、利用者からの操作入力を受け付ける。
撮像部13aは、主に、図10に示されている撮像ユニット101、画像処理ユニット104、及び撮像制御ユニット105、並びにCPU111の処理によって実現され、風景等を撮像し、撮影画像データを得る。
集音部14aは、図10に示されている108及び音処理ユニット109、並びにCPU111の処理によって実現され、撮影装置1aの周囲の音を集音する。
通信部18aは、主に、CPU111の処理によって実現され、ビデオ会議端末3aの通信部38aと、NFC規格、BlueTooth、WiFi等による近距離無線通信技術によって通信することができる。
記憶・読出部19aは、主に、図10に示されているCPU111の処理によって実現され、記憶部1000aに各種データ(または情報)を記憶したり、記憶部1000aから各種データ(または情報)を読み出したりする。
<ビデオ会議端末3aの機能構成>
図14に示されているように、ビデオ会議端末3aは、送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、設定部36a、算出部37a、通信部38a、及び記憶・読出部39aを有している。これら各部は、図11に示されている各構成要素のいずれかが、フラッシュメモリ304からRAM303上に展開されたビデオ会議端末3a用プログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。
また、ビデオ会議端末3aは、図11に示されているROM302、RAM303、及びフラッシュメモリ304によって構築される記憶部3000aを有している。この記憶部3000aには、画像種類管理DB3001a、撮影装置管理DB3002a、所定領域管理DB3003a及び操作状態管理DB3004aが構築されている。これらのうち、画像種類管理DB3001aは、図16に示されている画像種類管理テーブルによって構成されている。撮影装置管理DB3002aは、図17に示される撮影装置管理テーブルによって構成されている。所定領域管理DB3003aは、図18に示されている所定領域管理テーブルによって構成されている。操作状態管理DB3004aは、図19に示されている操作状態管理テーブルによって構成されている。
なお、ビデオ会議端末3dは、送受信部31d、受付部32d、画像・音処理部33d、表示制御部34d、判断部35d、設定部36d、算出部37d、通信部38d、記憶・読出部39d、及び記憶部3000dを有しているが、それぞれ、ビデオ会議端末3aにおける送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、設定部36a、算出部37a、通信部38a、記憶・読出部39a、及び記憶部3000aと同様の機能を実現するため、これらの説明を省略する。また、ビデオ会議端末3dにおける記憶部3000dには、画像種類管理DB3001d、撮影装置管理DB3002d、所定領域管理DB3003d及び操作状態管理DB3004dが構築されているが、それぞれビデオ会議端末3aにおける画像種類管理DB3001a、撮影装置管理DB3002a、所定領域管理DB3003a、操作状態管理DB3004aと同様のデータ構造であるため、これらの説明を省略する。
(画像種類管理テーブル)
図16は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データID、送信元端末の宛先の一例であるIPアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データIDは、ビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データIDが付加されている。これにより、送信先端末(受信側の通信端末)は、受信した画像データの送信元端末を特定することができる。送信元端末のIPアドレスは、関連付けられている画像データIDで示される画像データを送信する通信端末のIPアドレスを示す。ソース名は、関連付けられている画像データIDで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末3a等の各通信端末によって作成された名称である。
なお、通信端末のIPアドレスは、端末識別情報の一例である(以下同様)。
例えば、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」、「1.3.2.3」の4つの通信端末は、それぞれ、画像データID「RS001」、「RS002」、「RS003」、「RS004」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video_Theta」、「Video_Theta」、「Video」、「Video」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」である旨を示している。なお、特殊画像は、ここでは、全天球画像である。
なお、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。また、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。
(撮影装置管理テーブル)
図17は、撮影装置管理テーブルを示す概念図である。この撮影装置管理テーブルでは、全天球画像の元になる2つの半球画像を得ることができる撮影装置のGUIDのうちのベンダIDとプロダクトIDが記憶されて管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダID(VID)とプロダクトID(PID)が利用できる。このベンダIDとプロダクトIDは、ビデオ会議端末等の通信端末の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。
(所定領域管理テーブル)
図18は、所定領域管理テーブルを示す概念図である。この所定領域管理テーブルでは、撮影画像データの送信元の通信端末のIPアドレス、撮影画像データの送信先の通信端末のIPアドレス、及び、撮影画像データの送信先の通信端末で表示中の所定領域画像を示す所定領域情報が関連付けられて記憶されて管理されている。なお、撮影画像データの送信先の通信端末は、所定領域情報の送信元の通信端末でもある。所定領域情報は、図6及び図7に示されているように、撮影画像から、この撮影画像における所定領域Tの画像(所定領域画像)に変換するための変換パラメータである。なお、IPアドレスは、宛先情報の一例であって、宛先情報には、MAC(Media Access Control)アドレス、通信端末を特定するための端末ID(Identification)等が含まれる。また、ここでは、IPアドレスは、IPv4アドレスを簡略化して表されている。IPアドレスは、IPv6でもよい。
例えば、図18の所定領域管理テーブルの1行目から3行目までは、ビデオ会議端末3aのIPアドレスが「1.2.1.3」の場合、ビデオ会議端末3aから送信された撮影画像データが、通信管理システム5を介して、IPアドレスが「1.2.2.3」のビデオ会議端末3d、IPアドレスが「1.3.1.3」のPC7、及びIPアドレスが「1.3.2.3」のスマートフォン9に送信された旨が管理されている。更に、ビデオ会議端末3dは、所定領域情報(r=10,θ=20,φ=30)の送信元の通信端末である旨が管理されている。同様に、PC7は、所定領域情報(r=10,θ=30,φ=40)の送信元の通信端末である旨が管理されている。また、スマートフォン9は、所定領域情報(r=30,θ=40,φ=50)の送信元の通信端末である旨が管理されている。
また、送受信部31aによって、既に管理されている撮影画像データの送信元の通信端末のIPアドレス及び撮影画像データの送信先の通信端末のIPアドレスと同じ組のIPアドレスを含む所定領域情報が新たに受信された場合には、記憶・読出部39aは既に管理している所定領域情報を新たに受信された所定領域情報に書き換える。
(操作状態管理テーブル)
図19は、操作状態管理テーブルを示す概念図である。操作状態管理テーブルでは、全天球画像の送信元端末のIPアドレス毎に、操作状態、操作時刻、表示制御権の設定端末のIPアドレス、及び保留パラメータが対応付けられ管理されている。これにより撮影画像データに対する操作状態管理テーブルが記憶されている通信端末による操作状態を管理することができる。
これらのうち、全天球画像の送信元端末のIPアドレスは、全天球画像(撮影画像データ)を送信している通信端末の端末識別情報の一例である。
操作状態は、送信元端末から送られて来た全天球画像(撮影画像データ)における一部の領域である所定領域画像に対して利用者が操作中又は、操作をしないで待機中であるかを示す。所定領域画像に対する操作は、1つの全天球画像内においてディスプレイで表示される所定領域画像を変更する操作である。この操作は、利用者がマウス等によってディスプレイ上に表示されているカーソルを移動させる場合や、利用者が指によってディスプレイ上をスワイプする場合等によって行われる。また、「操作中」は、ディスプレイ上に表示されている所定領域画像に対して操作が行われている状態を示す。また「待機中」は、ディスプレイ上に表示されている所定領域画像に対して操作が最後に行われてから一定時間(例えば、3秒間)以上が経過した状態を示す。なお、「待機中」は「操作中でない」と示しても良い。
操作時刻は、操作状態が「操作中」である場合に、利用者により最後に所定領域画像が操作された時刻を示し、例えばタイムスタンプの状態で記録される。
表示制御権の設定端末のIPアドレスは、表示制御権が設定されることで表示制御権を所有している通信端末のIPアドレスを示す。この表示制御権は、複数の拠点の通信端末のうちの1つが、全天球画像のうちの一部の所定表示領域である所定領域画像を表示すると共に、複数の拠点のうちの他の通信端末にも遠隔的に同じ所定領域画像を表示させるための権利を示す。実際には、表示させる側の通信端末のIPアドレスが管理されることで、表示制御権が設定されることになる。
保留パラメータは、送信先端末において、操作状態が「操作中」の場合に受信された所定領域情報を示す。保留パラメータは、操作状態が「操作中」から「待機中」に変更後に、所定領域画像を表示するために使用される。なお、保留パラメータが無い場合は「なし」と設定されるか、又は何も設定されない。
(ビデオ会議端末3aの各機能構成)
次に、図11及び図14を用いて、ビデオ会議端末3aの各機能構成について更に詳細に説明する。
ビデオ会議端末3aの送受信部31aは、主に、図11に示されているネットワークI/F311及びCPU301の処理によって実現され、通信ネットワーク100を介して、通信管理システム5と各種データ(または情報)の送受信を行う。
受付部32aは、主に操作ボタン308及びCPU301による処理によって実現され、利用者から各種の選択又は入力を受け付ける。また、操作ボタン308だけでなく、他の入力手段としてタッチパネル等を用いてもよい。
画像・音処理部33aは、図11に示されているCPU301からの命令によって実現され、カメラ312が被写体を撮像して得た画像データに対して画像処理を行なう。また、画像・音処理部33aは、マイク314によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行なう。
更に、画像・音処理部33aは、表示制御部34がディスプレイ4に画像を表示させるため、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行なう。具体的には、画像種類情報が特殊画像である旨を示す場合には、画像・音処理部33aは、画像データ(例えば、図3(a),(b)に示されているような各半球画像のデータ)に基づいて、図4(b)に示されているような全天球画像データに変換することで全天球画像データを作成し、更に、図6(b)に示されているような所定領域画像を作成する。また、画像・音処理部33aは、他の通信端末から通信管理システム5を介して受信された音データに係る音声信号をスピーカ315に出力し、スピーカ315から音声を出力させる。
表示制御部34aは、主にディスプレイI/F317及びCPU301の処理によって実現され、ディスプレイ4に各種画像や文字等を表示させるための制御を行う。
判断部35aは、主にCPU301の処理によって実現され、例えば、撮影装置1aから受信された画像データに係る画像種類を判断する。
設定部36aは、主にCPU301の処理によって実現され、判断部35aによる各種判断結果に基づき、必要な設定を行う。例えば、一般画像又は特殊画像(ここでは、全天球画像)と判断された結果に基づき、上述の命名規則に従って、画像種類情報の一例であるソース名を設定する。判断部35aが、一般画像であると判断した場合には、設定部36aは、一般画像である旨を示すソース名「Video」を作成する。一方、判断部35aが、特殊画像であると判断した場合には、設定部36aは、特殊画像である旨を示すソース名「Video_Theta」を設定する。
算出部37aは、主にCPU301の処理によって実現され、所定領域T2を示す所定領域情報(i2)、及び送受信部31aによって他の通信端末から受信された所定領域情報(i1)に基づき、撮影画像において所定領域T2に対する所定領域T1の方向を算出する。なお、所定領域情報(i1)は、撮影画像における所定領域T1を示している。また、撮影画像の全体が表示された場合の画像は、「全体画像」ともいう。
通信部38aは、主に、近距離通信回路319、アンテナ318a、及びCPU301の処理によって実現され、撮影装置1aの通信部18aと、NFC、BlueTooth、WiFi等による近距離無線技術によって通信することができる。なお、通信部38aと送受信部31aとは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。
記憶・読出部39aは、主に、図11に示されているCPU301の処理によって実現され、記憶部3000に各種データ(または情報)を記憶したり、記憶部3000から各種データ(または情報)を読み出したりする。
<通信管理システムの機能構成>
次に、図12及び図15を用いて、通信管理システム5の各機能構成について詳細に説明する。通信管理システム5は、送受信部51、判断部55、生成部56、及び記憶・読出部59を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理システム5用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、通信管理システム5は、図12に示されているRAM503、及びHD504によって構築される記憶部5000を有している。この記憶部5000には、セッション管理DB5001、画像種類管理DB5002、所定領域管理DB5003、及び表示制御権管理DB5004が構築されている。このうち、セッション管理DB5001は、図20に示されているセッション管理テーブルによって構成されている。画像種類管理DB5002は、図21に示される画像種類管理テーブルによって構成されている。所定領域管理DB5003は、図22に示される所定領域管理テーブルによって構成されている。表示制御権管理DB5004は、図23に示される表示制御権管理テーブルによって構成されている。
(セッション管理テーブル)
図19は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションID、及び参加した通信端末のIPアドレスが関連付けて記憶されて管理されている。このうち、セッションIDは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションIDは、ビデオ会議端末3a等の各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のIPアドレスは、関連付けられているセッションIDで示される仮想の会議室に参加した通信端末のIPアドレスを示している。
(画像種類管理テーブル)
図20は、画像種類管理テーブルを示す概念図である。図20に示されている画像種類管理テーブルでは、図16に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションIDと同じセッションIDが関連付けて管理されている。ここでは、同じセッションID「se101」で示される仮想の会議室には、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」の3つの通信端末が参加していることが示されている。なお、通信管理システム5において、ビデオ会議端末3a等の通信端末で管理される、画像データID、送信元端末のIPアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。
(所定領域管理テーブル)
図22は、所定領域管理テーブルを示す概念図である。この所定領域管理テーブルは、基本的に図18に示されている所定領域管理テーブルと同様のデータ構造を有している。但し、後述のように、送受信部51は、各通信端末に一定期間(例えば30秒)毎に最新の所定領域情報を送信するため、所定領域情報が一定期間毎に送信されるまでの間に、送受信部51によって受信された全ての所定領域情報は削除されずに保存されている。図22では、新しい所定領域情報ほど上位で管理されている。
(表示制御権管理テーブル)
図23は、表示制御権管理テーブルを示す概念図である。この表示制御権管理テーブルは、全天球画像の送信元の通信端末(送信元端末)のIPアドレスと、表示制御権の設定を要求した通信端末(設定端末)のIPアドレスとが関連付けて管理されている。この場合の設定端末のIPアドレスは、通信管理システム5が表示制御権の設定の要求を受けて、設定が完了した通信端末のIPアドレスである。
(通信管理システムの各機能構成)
次に、図12及び図15を用いて、通信管理システム5の各機能構成について詳細に説明する。
通信管理システム5の送受信部51は、主に、図12に示されているネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク100を介してビデオ会議端末3a,3d、又はPC7と各種データ(または情報)の送受信を行う。
判断部55は、主にCPU501の処理によって実現され、各種判断を行なう。
生成部56は、主にCPU501の処理によって実現され、画像データIDを生成する。
記憶・読出部59は、主に、図12に示されているHDD505、及びCPU501の処理によって実現され、記憶部5000に各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
<PCの機能構成>
次に、図12及び図15を用いて、PC7の機能構成について詳細に説明する。PC7は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図15に示されているように、PC7は、送受信部71、受付部72、画像・音処理部73、表示制御部74、判断部75、設定部76、算出部77、通信部78、及び記憶・読出部79を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたPC7用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、PC7は、図12に示されているROM502、RAM503、及びHD504によって構築される記憶部7000を有している。この記憶部7000には、画像種類管理DB7001、撮影装置管理DB7002、所定領域管理DB7003及び操作状態管理DB7004が構築されている。なお、画像種類管理DB7001、撮影装置管理DB7002、所定領域管理DB7003、操作状態管理DB7004は、それぞれ画像種類管理DB3001a、撮影装置管理DB3002a、所定領域管理DB3003a、及び操作状態管理DB3004aと同じデータ構造であるため、これらの説明を省略する。
(PCの各機能構成)
PC7の送受信部71は、主に、図12に示されているネットワークI/F509及びCPU501の処理によって実現され、送受信部31aと同様の機能を実現する。
受付部72は、主にキーボード511、マウス512及びCPU501の処理によって実現され、受付部32aと同様の機能を実現する。画像・音処理部73は、主にCPU501からの命令によって実現され、画像・音処理部33aと同様の機能を実現する。表示制御部74は、主にCPU501の処理によって実現され、表示制御部34aと同様の機能を実現する。判断部75は、主にCPU501の処理によって実現され、判断部35aと同様の機能を実現する。設定部76は、主にCPU501の処理によって実現され、設定部36aと同様の機能を実現する。算出部77は、主にCPU501の処理によって実現され、算出部37aと同様の機能を実現する。通信部78は、主に、CPU501の処理によって実現され、通信部38aと同様の機能を実現する。記憶・読出部79aは、CPU501の処理によって実現され、記憶部7000に各種データ(または情報)を記憶したり、記憶部7000から各種データ(または情報)を読み出したりする。
<スマートフォンの機能構成>
次に、図13及び図14を用いて、スマートフォン9の機能構成について詳細に説明する。スマートフォン9は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図14に示されているように、スマートフォン9は、送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、設定部96、算出部97、通信部98、及び記憶・読出部99を有している。これら各部は、図13に示されている各構成要素のいずれかが、EEPROM904からRAM903上に展開されたスマートフォン9用プログラムに従ったCPU901からの命令によって動作することで実現される機能又は手段である。
また、スマートフォン9は、図13に示されているROM902、RAM903、及びEEPROM904によって構築される記憶部9000を有している。この記憶部9000には、画像種類管理DB9001、撮影装置管理DB9002、所定領域管理DB9003及び操作状態管理DB9004が構築されている。なお、画像種類管理DB9001、撮影装置管理DB9002、所定領域管理DB9003、操作状態管理DB9004は、それぞれ、画像種類管理DB3001a、撮影装置管理DB3002a、所定領域管理DB3003a、及び操作状態管理DB3004aと同じデータ構成であるため、これらの説明を省略する。
(スマートフォンの各機能構成)
スマートフォン9の送受信部91は、主に、図13に示されている遠距離通信回路911及びCPU901の処理によって実現され、送受信部31aと同様の機能を実現する。
受付部92は、主にタッチパネル921及びCPU901の処理によって実現され、受付部32aと同様の機能を実現する。
画像・音処理部93は、主にCPU901からの命令によって実現され、画像・音処理部33aと同様の機能を実現する。表示制御部94は、主にCPU901の処理によって実現され、表示制御部34aと同様の機能を実現する。判断部95は、主にCPU901の処理によって実現され、判断部35aと同様の機能を実現する。設定部96は、主にCPU901の処理によって実現され、設定部36aと同様の機能を実現する。算出部97は、主にCPU901の処理によって実現され、算出部37aと同様の機能を実現する。通信部98は、主に、CPU901の処理によって実現され、通信部38aと同様の機能を実現する。記憶・読出部99は、CPU901の処理によって実現され、記憶部9000に各種データ(または情報)を記憶したり、記憶部9000から各種データ(または情報)を読み出したりする。
〔実施形態の処理又は動作〕
続いて、図24乃至図44を用いて、本実施形態の処理又は動作について説明する。
<参加の処理>
まず、図24及び図25を用いて、特定の通信セッションへの参加処理について説明する。図24は、特定の通信セッションへの参加処理を示したシーケンス図である。図25は、通信セッション(仮想の会議室)の選択画面を示した図である。
まず、拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3aにおいて、通信セッション(仮想の会議室)の選択画面の表示を行なう操作をすると、受付部32aが選択画面を表示する操作を受け付け、表示制御部34aがディスプレイ4aに、図25に示されているような選択画面を表示する(S21)。この選択画面には、選択対象である各仮想の会議室R1,R2,R3等を示す選択ボタンb1,b2,b3等が表示されている。また、各選択ボタンb1等には、各セッションIDが関連付けられている。
ここで、利用者A1が仮想の会議室の所望の選択ボタン(ここでは選択ボタンb1)を選択すると、受付部32aは、通信セッションの選択を受け付ける(S22)。そして、送受信部31aは、通信管理システム5に対して、仮想の会議室への参加要求を送信する(S23)。この参加要求には、ステップS22で選択を受け付けられた通信セッションを示すセッションID、及び要求元端末であるビデオ会議端末3aのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、参加要求を受信する。
次に、記憶・読出部99は、セッション管理DB5001(図19参照)において、ステップS23で受信されたセッションIDと同じセッションIDのレコードにおける参加端末IPアドレスのフィールドに、ステップS23で受信されたIPアドレスを追加することで、通信セッションへの参加処理を行なう(S24)。そして、送受信部51は、ビデオ会議端末3aに対して、参加要求応答を送信する(S25)。この参加要求応答には、ステップS23によって受信されたセッションID、及び参加処理結果が含まれている。これにより、ビデオ会議端末3aの送受信部31aは、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。
<画像種類情報の管理処理>
続いて、図26を用いて、画像種類情報の管理処理を説明する。図26は、画像種類情報の管理処理を示すシーケンス図である。
まず、拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3aに、撮影装置1aが取り付けられた状態のクレードル2aのUSBケーブルを接続すると、撮影装置1aの記憶・読出部19aが記憶部1000aに記憶されている自装置(撮影装置1a)のGUIDを読み出し、通信部18aがビデオ会議端末3aの通信部38aに対して自装置のGUIDを送信する(S51)。これにより、ビデオ会議端末3aの通信部38aは、撮影装置1aのGUIDを受信する。
次に、ビデオ会議端末3aの判断部35aは、撮影装置管理DB3002a(図17参照)において、ステップS51によって受信されたGUID中のベンダID及びプロダクトIDと、同じベンダID及びプロダクトIDが管理されているか否かを判断することで、画像種類を判断する(S52)。具体的には、撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されている場合には、判断部35aは、撮影装置1aが特殊画像(ここでは、全天球画像)を撮影する撮影装置であると判断する。これに対して、撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されていない場合には、判断部35aは、撮影装置1aが一般画像を撮影する撮影装置であると判断する。
次に、記憶・読出部39aは、画像種類管理DB3001a(図16参照)に対して、送信元端末である自端末(ビデオ会議端末3a)のIPアドレスと、ステップS52で判断された判断結果である画像種類情報とを関連付けて記憶する(S53)。この状態では、画像データIDは関連付けられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名や、画像種類(一般画像、特殊画像)である。
次に、送受信部31aは、通信管理システム5に対して、画像種類情報の追加要求を送信する(S54)。この画像種類情報の追加要求には、ステップS53で記憶した送信元端末である自端末のIPアドレス、及び画像種類情報が含まれている。これにより、通信管理システム5の送受信部51は、画像種類情報の追加要求を受信する。
次に、通信管理システム5の記憶・読出部59は、ステップS54によって受信された送信元端末のIPアドレスを検索キーとして、セッション管理DB5001(図19参照)を検索することにより、対応するセッションIDを読み出す(S55)。
次に、生成部56は、固有の画像データIDを生成する(S56)。そして、記憶・読出部59は、画像種類管理DB5002(図20参照)に、新たなレコードとして、ステップS55で読み出されたセッションID、ステップS56で生成された画像データID、並びに、ステップS54で受信された送信元端末のIPアドレス及び画像種類情報を関連付けて記憶する(S57)。そして、送受信部51は、ビデオ会議端末3aに対して、ステップS56で生成された画像データIDを送信する。これにより、ビデオ会議端末3aの送受信部31aは、画像データIDを受信する(S58)。
次に、ビデオ会議端末3aの記憶・読出部39aは、画像種類管理DB3001a(図16参照)に、上記ステップS53で記憶しておいた送信元端末である自端末(ビデオ会議端末3a)のIPアドレス及び画像種類情報に関連づけて、ステップS58で受信された画像データIDを記憶する(S59)。
一方、通信管理システム5の送受信部51は、他の通信端末(ここでは、ビデオ会議端末3d)に対して、画像種類情報の追加通知を送信する(S60)。この画像種類情報の追加通知には、ステップS56で生成された画像データID、並びに、ステップS53で記憶された送信元端末である自端末(ビデオ会議端末3a)のIPアドレス及び画像種類情報が含まれている。これにより、ビデオ会議端末3dの送受信部31dは、画像種類情報の追加通知を受信する。なお、送受信部51の送信先は、セッション管理DB5001(図19参照)で、ビデオ会議端末3aのIPアドレスと同じセッションIDに関連付けられている他のIPアドレスである。即ち、送信先は、ビデオ会議端末3aと同じ仮想の会議室に入っている他の通信端末である。
次に、ビデオ会議端末3dの記憶・読出部39dは、画像種類管理DB3001d(図16参照)に、新たなレコードとして、ステップS60で受信された、画像データID、送信元端末のIPアドレス、及び画像種類情報を関連付けて記憶する(S61)。同じように、他の通信端末であるPC7及びスマートフォン9にも画像種類情報の追加通信が送信され、PC7及びスマートフォン9でも、それぞれ画像種類管理DB7001,9001に記憶される。以上より、各通信端末では、各画像種類管理DB3001a,3001d,7001,9001で同じ情報を共有することができる。
<撮影画像データの通信処理>
続いて、図27乃至図29を用いて、映像通話における撮影画像データの通信処理について説明する。図27は、映像通話の状態を示したイメージ図である。このうち、図27(a)は、撮影装置1aを利用しない場合を示し、図27(b)は、撮影装置1aを利用する場合を示している。
まず、図27(a)に示されているように、撮影装置1aを利用しないで、ビデオ会議端末3aに予め設けられたカメラ312(図11参照)を利用する場合、画角が水平125度で垂直70度であるため、ビデオ会議端末3aを各利用者A1等が映る机の端に置かなければならない。このため、各利用者A1等は、ビデオ会議端末3a側を向いて話さなければならない。また、各利用者A1等がビデオ会議端末3aの方を向くため、ディスプレイ4aもビデオ会議端末3aの側に置くことになる。これにより、ビデオ会議端末3aから離れた利用者A2,A4は、マイク314(図11参照)から離れているため、比較的大きな声で話さないといけないし、ディスプレイ4aの表示内容が見えづらい。
これに対して、図27(b)に示されているように、撮影装置1aを利用する場合には、全天球画像の元になる2つの半球画像を得ることができるため、ビデオ会議端末3a及びディスプレイ4aは、比較的、机の中央に置くことができる。これにより、各利用者A1等は、マイク314に近いため、比較的小声で話すことができ、ディスプレイ4aの表示内容も見えやすくなる。なお、拠点Aの右側には、利用者A1等が文字や絵等を書き込むことができるホワイトボード6が設置されている。
続いて、図28を用い、図27(b)に示されている拠点Aで得られた撮影画像データ及び音データが、通信管理システム5を介して、他の各通信端末(スマートフォン9,PC7,ビデオ会議端末3d)へ送信される処理について説明する。図28は、映像通話における撮影画像データ及び音データの通信処理を示すシーケンス図である。
まず、撮影装置1aの通信部18aからビデオ会議端末3aの通信部38aに対して、被写体や風景等を撮影して得た撮影画像データ及び集音して得た音データを送信する(S101)。この場合、撮影装置1aは全天球画像の元になる2つの半球画像を得ることができる装置であるため、図3(a)、(b)に示されているように、撮影画像データは、2つの半球画像のデータによって構成されている。これにより、ビデオ会議端末3aの通信部38aは、撮影画像データ及び音データを受信する。
次に、ビデオ会議端末3aの送受信部31aは、通信管理システム5に対して、撮影装置1aから送られてきた撮影画像データ及び音データを送信する(S102)。この送信には、送信対象である撮影画像データを識別するための画像データIDが含まれている。これにより、通信管理システム5の送受信部51は、撮影画像データ及び画像データIDを受信する。
次に、通信管理システム5の送受信部51は、ビデオ会議端末3aと同じ映像通話に参加している通信端末(スマートフォン9,PC7,ビデオ会議端末3d)に対して、撮影画像データ及び音データを送信する(S103,S104,S105)。これら各送信には、送信対象である撮影画像データを識別するための画像データIDが含まれている。これにより、スマートフォン9の送受信部91、PC7の送受信部71及びビデオ会議端末3dの送受信部31dは、それぞれ撮影画像データ、画像データID及び音データを受信する。
続いて、図29を用いて、拠点Bにおけるディスプレイ917の表示例を説明する。図29は、拠点Dにおけるディスプレイの表示例である。このうち、図29(a)は、拠点Aの撮影装置1aからビデオ会議端末3aを介して送られて来た撮影画像データ、及び拠点Bの撮影装置1bから送られて来た撮影画像データから、全天球画像の作成及び所定領域画像の作成をせずに、そのまま表示する場合を示している。一方、図29(b)は、撮影装置1a,1bから送られて来た撮影画像データから、全天球画像の作成及び所定領域画像の作成をした場合を示している。なお、ディスプレイ917の左側の表示領域(レイアウト番号「1」)には拠点Aの画像が表示され、右側上段の表示領域(レイアウト番号「2」)には拠点B(自拠点)の画像が表示されている。更に、ディスプレイ917の右側中段の表示領域(レイアウト番号「3」)には拠点Cの画像が表示され、右側下段の表示領域(レイアウト番号「4」)には拠点Dの画像が表示されている。レイアウト番号「1」の表示領域は主表示領域であり、レイアウト番号「2」、「3」及び「4」の表示領域は副表示領域である。主表示領域の画像と副表示領域の画像は、各通信端末で変更することができる。通常、各拠点では、主表示領域に、映像通話の中心人物がいる拠点の画像が表示される。なお、自拠点の画像は、レイアウト番号「2」の表示領域の場合だけでなく、レイアウト番号「3」の表示領域の場合であってもよく、レイアウト番号「4」の表示領域の場合であってもよい。
ここで、全天球画像の撮影が可能な撮影装置1a,1bから送られて来た撮影画像データをそのまま表示すると、図29(a)に示されているように、拠点Aと拠点Bの画像が、それぞれ図3(a),(b)に示されているように、前側の半球画像と後側の半球画像として表示される。
これに対して、画像・音処理部93が、全天球画像の元になる2つの半球画像を得ることができる撮影装置1a,1bが出力した撮影画像データから、全天球画像を作成し、更に所定領域画像を作成すると、図29(b)に示されているように、平面画像である所定領域画像が表示される。なお、拠点Cでは、一般画像を得る撮影装置8が撮影し、拠点Dでも、一般画像を得るビデオ会議端末3dが撮影しているため、図29(a),(b)のいずれも、一般画像(ここでは、平面画像)が表示されている。
また、各拠点の利用者は、同じ全天球画像における所定領域画像に係る所定領域を変更することができる。例えば、利用者B1は、タッチパネル921の操作等により、受付部92が所定領域画像の移動を受け付け、表示制御部94は、所定領域画像をずらしたり、回転したり、縮小したり、拡大したりすることができる。これにより、図29(b)に示されているように、初期設定(デフォルト)で拠点Aの一部の利用者A1,A2が表示されている所定領域画像から、図29(c)に示されているように、所定領域画像を表示することができる。具体的には、図29(c)は、図27(b)に示されている拠点Aの撮影画像において、利用者A1,A2を含む所定領域画像から、ホワイトボード6を含む所定領域画像に変更した状態を示している。
なお、図29(b)、(c)に示されている全天球アイコン191,192は、全天球画像の一部の所定領域Tを示す所定領域画像である旨を表すための特殊画像識別アイコンの一例である。なお、全天球アイコン191,192の表示位置は、右上ではなく、左上、左下、及び右下等、どこでもよい。また、全天球アイコン191,192の種類は図29(b)、(c)に限らない。また、全天球アイコン191,192ではなく、「全天球画像」等の文字であってもよく、アイコンと文字の組み合わせであってもよい。
<所定領域画像の共有処理>
続いて、図30を用いて、画像通信システム内で所定領域画像を共有する処理について説明する。ここでは、図29(b)のように所定領域画像を表示した場合、及び図29(b)から図29(c)のように所定領域画像を変更した場合の画像通信システムにおける処理について説明する。図31は、所定領域情報を共有する処理を示したシーケンス図である。図31では、拠点Aのビデオ会議端末3aが第3の通信端末であり、拠点Dのビデオ会議端末3dが他の通信端末であり、拠点Bのスマートフォン9が通信端末(自端末)である。
まず、図29(b)に示されているように、拠点Dで利用者D1等がビデオ会議端末3dを利用して拠点Aの所定領域画像を表示させた場合、ビデオ会議端末3dの送受信部31dは、通信管理システム5に対して、表示された所定領域画像を示す所定領域情報を送信する(S111)。この所定領域情報には、全天球画像である撮影画像データの送信元であるビデオ会議端末3aのIPアドレス、及び撮影画像データの送信先(所定領域情報の送信元)であるビデオ会議端末3dのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の記憶・読出部59は、所定領域管理DB5003に、ステップS111で受信された所定領域情報並びに送信元及び送信先の各IPアドレスを関連付けて記憶する(S112)。なお、ステップS111,112の処理は、図29(b)から図29(c)のように、ビデオ会議端末3dで所定領域画像が変更される度に行なわれる。
次に、通信管理システム5の記憶・読出部59は、所定領域管理DB5003に記憶しておいた所定領域情報及び各IPアドレスの組のうち、その時点で最新の組となる(最も遅く記憶された組となる)所定領域情報及び各IPアドレスの組を一定期間(例えば、30秒)毎に読み出す(S113)。そして、送受信部51は、所定領域情報の送信元であるビデオ会議端末3dと同じ映像通話を行なっている他の通信端末(ビデオ会議端末3a、スマートフォン9、PC7)に対して、ステップS113で読み出された各IPアドレスを含む所定領域情報を配信(送信)する(S114,S117,S120)。これにより、ビデオ会議端末3aの送受信部31aは、所定領域情報を受信する。そして、記憶・読出部39aは、所定領域管理DB3003aに、ステップS114で受信された所定領域情報及び各IPアドレスを関連付けたまま記憶する(S115)。同様に、スマートフォン9においても、送受信部91が所定領域情報を受信した後、記憶・読出部99が所定領域管理DB9003に、ステップS117で受信された所定領域情報及び各IPアドレスに関連付けたまま記憶する(S118)。更に、PC7においても、送受信部71が所定領域情報を受信した後、記憶・読出部79が所定領域管理DB7003に、ステップS120で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(S121)。
次に、ビデオ会議端末3aは、利用者による表示画像に対する操作状態の設定処理を行う(S116)。ここで、図31を用いて、表示画像に対する操作状態の設定処理について説明する。図31は、各通信端末で行われる表示画像に対する操作状態の設定処理を示したフローチャートである。
まず、ビデオ会議端末3aの判断部35aは、セッション中の任意の全天球画像に対して、利用者によって表示画像に対する操作(ビュー操作)があったか否かを判断する(S301)。例えば、判断部35aは、ディスプレイ4aに判断対象の全天球画像の一部の領域である所定領域画像(第1の所定領域画像の一例)に対して、利用者が操作ボタン308を利用することで、表示中の所定領域画像に対して、スクロール、ズームイン、ズームアウト等の操作を行ったか否かを判断する。
ステップS321の判断の結果、操作があった場合(YES)には、記憶・読出部39aは、操作状態管理DB3004aにアクセスして判断対象の全天球画像の一部の領域である所定領域画像に対する操作状態を、「操作中」に設定する(S302)。
そして、記憶・読出部39aは、操作状態管理DB3004aの操作時刻を、現在の時刻に更新し(S303)、ステップS301の処理に戻る。
一方、ステップS301の判断の結果、操作がなかった場合(NO)には、判断部35aは、過去において最後に表示画像の操作が行われた操作時刻から所定時間経過したかを判断する(S304)。判断する方法の例としては、判断部35aは、操作状態管理DB3004aの操作時刻を取得し、その時刻から現在までの経過時間を算出する。
ステップS304の判断の結果、経過時間が所定時間未満の場合(NO)、ステップS301の処理に戻る。ステップS304の判断の結果、経過時間が所定時間以上の場合(YESの場合)、記憶・読出部39aは、操作状態管理DB3004aで管理されている操作状態を「待機中」に設定する。所定時間は一例として3秒間であるが、これに限られない。所定時間は記憶部9000に対して工場出荷前にあらかじめ設定されるようにしてもよいし、工場出荷後から、設定又は変更されるようにしてもよい。
本処理フローは、通信セッションに参加中の各通信端末において、他の通信端末と共有されている全天球画像毎に定期的に実行される。
また、スマートフォン9及びPC7においても、ステップS116と同様の処理が行われる(S119,S122)。なお、通信端末がスマートフォン9の場合には、判断部95は、利用者が、スワイプ、フリック、ピンチイン、ピンチアウト等の操作を行ったか否かを判断する。
以上により、拠点Aで変更された所定領域画像を示す所定領域情報は、同じ映像通話中の他拠点B,C,Dの各通信端末に送信されることで、拠点Aで表示中の所定領域画像を示す所定領域情報が他拠点B,C,Dにおいても共有される。この処理は、拠点B,C,Dにおいて所定領域画像が変更された場合も同様に行なわれ、同じ映像通話中の全拠点で互いに他拠点で表示中の所定領域画像を示す所定領域情報が共通される。
<表示制御権の設定処理>
続いて、図32及び図33を用いて、上述の表示操作権の設定処理について説明する。図32は、表示制御権の設定が成功する場合の処理を示すシーケンス図である。図33は、表示制御権の設定が失敗する場合の処理を示すシーケンス図である。ここでは、ビデオ会議端末3dが通信管理システム5に対して、表示操作権の設定を要求する場合について説明する。
まずは、図32を用いて、設定が成功した場合について説明する。図32に示されているように、ビデオ会議端末3dでは、後述のステップS322として、送受信部31dは、利用者による表示画像の操作状態(操作中)に応じて、通信管理システム5に対し、表示制御権の設定要求を送出する(S151)。この表示制御権の設定要求には、全天球画像である撮影画像データの送信元端末であるビデオ会議端末3aのIPアドレス、及び設定要求の送信元端末であるビデオ会議端末3dのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、表示制御権の設定要求を受信する。
次に、通信管理システム5では、記憶・読出部59が、表示制御権の設定処理を行う(S152)。具体的には、記憶・読出部59が、ステップS151で受信された全天球画像である撮影画像データの送信元であるビデオ会議端末3aのIPアドレスを検索キーとして表示制御権管理DB5004を検索することで、対応する表示制御権の設定端末のIPアドレスを検索する。この検索の結果、対応する表示制御権の設定端末のIPアドレスが管理されていない場合(ブランクの場合)、記憶・読出部59が、ステップS151で受信されたビデオ会議端末3aのIPアドレスを全天球画像の送信元端末のIPアドレスとし、ステップS151で受信されたビデオ会議端末3dのIPアドレスを表示制御権の設定端末のIPアドレスとして、関連付けて表示制御権管理DB5004に記憶する。これにより、ビデオ会議端末3dに表示制御権が設定されたことになる。
次に、通信管理システム5の送受信部51は、設定要求元であるビデオ会議端末3dに対して、成功した旨を示す設定成否結果を送信する(S153)。これにより、通信管理システム5の送受信部51は、成功した旨を示す設定成否結果を受信する。
次に、ビデオ会議端末3dでは、記憶・読出部39dが、ステップ153で受信されたビデオ会議端末3aのIPアドレスを全天球画像の送信元端末のIPアドレスとし、ステップS155で受信されたビデオ会議端末3dのIPアドレスを表示制御権の設定端末のIPアドレスとして、互いを関連付けて操作状態管理DB3004d記憶する(S154)。これにより、ビデオ会議端末3dは、全天球画像毎に表示制御権が設定されている通信端末を管理することができる。
更に、他の通信端末に最新の表示制御権の設定端末を知らせるため、通信管理システム5の送受信部51は、ビデオ会議端末3a、スマートフォン9、及びPC7に対して、それぞれ表示制御権の設定通知を送信する(S155,S157,S159)。この設定通知には、ステップS153と同様に、全天球画像である撮影画像データの送信元端末であるビデオ会議端末3aのIPアドレス、及び設定要求の送信元端末であるビデオ会議端末3dのIPアドレスが含まれている。これにより、ビデオ会議端末3aの送受信部31a、スマートフォン9の送受信部91、及びPC7の送受信部71は、表示制御権の設定通知を受信する。
次に、ビデオ会議端末3aでは、記憶・読出部39aが、ステップ155で受信されたビデオ会議端末3aのIPアドレスを全天球画像の送信元端末のIPアドレスとし、ステップS155で受信されたビデオ会議端末3dのIPアドレスを表示制御権の設定端末のIPアドレスとし、関連付けて操作状態管理DB3004aに記憶する。これにより、ビデオ会議端末3aは、全天球画像毎に、表示制御権が設定されている通信端末を管理することができる。なお、ステップS156の処理は、スマートフォン9及びPC7でも同様に行われる(S158,S160)。
続いて、図33を用いて、設定が失敗した場合について説明する。図33に示されているように、ビデオ会議端末3dでは、後述のステップS322として、送受信部31dは、利用者による表示画像の操作に応じて、通信管理システム5に対し、表示制御権の設定要求を送出する(S171)。この処理はステップS151と同様である。これにより、通信管理システム5の送受信部51は、表示制御権の設定要求を受信する。
次に、通信管理システム5では、記憶・読出部59が、表示制御権の設定処理を行う(S172)。具体的には、記憶・読出部59が、ステップS151で受信された全天球画像である撮影画像データの送信元であるビデオ会議端末3aのIPアドレスを検索キーとして表示制御権管理DB5004を検索することで、対応する表示制御権の設定端末のIPアドレスを検索する。この検索の結果、対応するIPアドレスが管理されている場合(ブランクではない場合)、記憶・読出部59は、ステップ171で受信されたビデオ会議端末3aのIPアドレスを全天球画像の送信元端末のIPアドレスとし、ステップS171で受信されたビデオ会議端末3dのIPアドレスを表示制御権の設定端末のIPアドレスとして、関連付けて表示制御権管理DB5004に上書きすることはせずに放置する。即ち、既に表示制御権が設定されている場合は、後述の解除がない限り、通信管理システム5は、新たに表示制御権を設定することができない。
次に、通信管理システム5の送受信部51は、設定要求元であるビデオ会議端末3dに対して、失敗した旨を示す設定成否結果を送信する(S173)。この設定成否結果には、ステップS171と同じく、全天球画像である撮影画像データの送信元端末であるビデオ会議端末3aのIPアドレス、及び設定要求の送信元端末であるビデオ会議端末3dのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、失敗した旨を示す設定成否結果を受信する。これにより、ビデオ会議端末3dに表示制御権が設定されなかったことになる。
<表示制御権の設定解除処理>
続いて、図34を用いて、上述の表示操作権の設定解除処理について説明する。図34は、表示制御権の設定解除処理を示すシーケンス図である。ここでは、ビデオ会議端末3dが通信管理システム5に対して、表示操作権の設定解除を要求する場合について説明する。
図34に示されているように、ビデオ会議端末3dでは、後述のステップS342として、送受信部31dは、利用者による表示画像の操作状態(待機中)に応じて、通信管理システム5に対し、表示制御権の設定解除要求を送出する(S191)。この表示制御権の設定解除要求には、全天球画像である撮影画像データの送信元端末であるビデオ会議端末3aのIPアドレス、及び設定解除要求の送信元端末であるビデオ会議端末3dのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、表示制御権の設定解除要求を受信する。
次に、通信管理システム5では、記憶・読出部59が、表示制御権の設定解除処理を行う(S192)。具体的には、記憶・読出部59が、ステップS191で受信された全天球画像である撮影画像データの送信元であるビデオ会議端末3aのIPアドレスを検索キーとして表示制御権管理DB5004を検索することで、対応する表示制御権の設定端末のIPアドレスを検索する。この検索の結果、対応する表示制御権の設定端末のIPアドレスが管理されている場合、記憶・読出部59が、この管理されている表示制御権の設定端末のIPアドレスを削除する。これにより、ビデオ会議端末3dに設定されていた表示制御権が解除されたことになる。なお、上記検索の結果、対応する表示制御権の設定端末のIPアドレスが管理されていない場合(ブランクの場合)、記憶・読出部59は、そのまま放置する。以下では、記憶・読出部59が、上記管理されている表示制御権の設定端末のIPアドレスを削除した場合(削除に成功した場合)について説明する。
次に、通信管理システム5の送受信部51は、設定要求元であるビデオ会議端末3dに対して、成功した旨を示す設定解除成否結果を送信する(S193)。この設定解除成否結果には、ステップS191と同じく、全天球画像である撮影画像データの送信元端末であるビデオ会議端末3aのIPアドレス、及び設定解除要求の送信元端末であるビデオ会議端末3dのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、成功した旨を示す設定解除成否結果を受信する。
次に、ビデオ会議端末3dでは、記憶・読出部39dが、操作状態管理DB3004dから、ステップS193で受信された2つのIPアドレスの組み合わせと同じ2つのIPアドレスを削除する(S194)。これにより、ビデオ会議端末3dは、自端末が表示制御権を所有していない状態(自端末に表示制御権が設定されていない状態)であることを管理することができる。
更に、他の通信端末に最新の表示制御権の設定解除端末を知らせるため、通信管理システム5の送受信部51は、ビデオ会議端末3a、スマートフォン9、及びPC7に対して、それぞれ表示制御権の設定解除通知を送信する(S195,S197,S199)。この設定解除通知には、ステップS193と同様に、全天球画像である撮影画像データの送信元端末であるビデオ会議端末3aのIPアドレス、及び設定要求の送信元端末であるビデオ会議端末3dのIPアドレスが含まれている。これにより、ビデオ会議端末3aの送受信部31a、スマートフォン9の送受信部91、及びPC7の送受信部71は、表示制御権の設定解除通知を受信する。
次に、ビデオ会議端末3aでは、記憶・読出部39aが、ステップ195で受信された2つのIPアドレスの組み合わせと同じ2つのIPアドレスを削除する(S196)。これにより、ビデオ会議端末3aは、全天球画像毎に、表示制御権が設定されている通信端末を解除することができる。なお、ステップS196の処理は、スマートフォン9及びPC7でも同様に行われる(S198,S200)。
<表示方向・注視点マークの表示>
続いて、図35乃至図40を用いて、任意の通信端末が、他の通信端末で表示されている所定領域画像の表示方向及び注視点を表示する方法について説明する。図35は、所定領域画像の表示処理を示したフローチャートである。なお、各通信端末の処理は同じであるため、ここでは、拠点Bのスマートフォン9の処理について説明する。具体的には、拠点Aのビデオ会議端末3aから送信された撮影画像データが、拠点Dのビデオ会議端末3dによって所定領域画像として表示されている場合に、ビデオ会議端末3dが同じ映像通話中の他の通信端末に所定領域画像を示す所定領域情報を送信することによって、拠点Bのスマートフォン9が実行する処理について説明する。
まず、スマートフォン9では、記憶・読出部99が、図28に示されているステップS103によって受信された画像データIDを検索キーとして、画像種類管理DB9001(図16参照)を検索することにより、対応する画像種類情報(ソース名)を読み出す(S131)。
次に、判断部95は、ステップS131によって読み出された画像種類情報が「特殊画像」である旨を示すか否かを判断する(S132)。画像種類情報が「特殊画像」である旨を示す場合には(S132;YES)、更に、記憶・読出部99は、所定領域管理DB9003に対して、他拠点の通信端末が表示している所定領域画像を示す所定領域情報を検索する(S133)。そして、判断部95は、所定領域管理DB9003において、他拠点の通信端末が表示している所定領域画像を示す所定領域情報が管理されているか否かを判断する(S134)。他拠点の通信端末が表示している所定領域画像を示す所定領域情報が管理されている場合には(S134;YES)、算出部97は、スマートフォン9(自端末)が表示中の所定領域T2の所定領域画像を示す所定領域情報(i2)、及び送受信部91によって他の通信端末から受信されて所定領域管理DB9003に管理されていた所定領域T1の所定領域画像を示す所定領域情報(i1)に基づき、全体画像において所定領域T2に対する所定領域T1の位置を算出する(S135)。なお、この場合の位置は、厳密には、所定領域T2の注視点に対する所定領域T1の注視点を示している。注視点は、上述のように中心点であるが、各所定領域の矩形の左上端(又は、左下端、右上端、若しくは右下端)であってもよい。または、注視点は、各所定領域内の特定の点であってもよい。
ここで、図36を用いて、全体画像において所定領域T2に対する所定領域T1の注視点を算出する方法について説明する。図36(a)は仮想カメラの角度の定義を示した図であり、図36(b)は上から見た並行投影で自拠点の所定領域画像における他拠点の注視点の位置を算出する方法を示す図である。
図36(a)に示されているように、算出部97は、自端末(スマートフォン9)の表示制御部94が表示中の所定領域画像を示す所定領域情報から、動径r、極角θ、及び方位角φを取得し、これをCP1(r0, θ1, φ1)とする。次に、算出部97は、ステップS133で読み出された他拠点の所定領域情報から、動径r、極角θ、及び方位角φを取得し、これをCP2(r0, θ2, φ2)とする。
自端末(スマートフォン9)の注視点CP1を中心とする所定領域T2を考えた場合、所定領域T2の幅wと高さhは、極方向から並行投影した図36(b)では幅はwとして、高さはhcosθ1の長さに射影される。
また、注視点CP1の動径はr0sinθ1の長さに射影され、注視点CP2の動径はr0sinθ2の長さに射影されるため、注視点CP1は座標(r0sinθ1・r0cosφ1,r0sinθ1・r0sinφ1)、注視点CP2は座標(r0sinθ2・r0cosφ2,r0sinθ2・r0cosφ2)に位置する。
以上により、図36(b)にて。注視点CP1と注視点CP2の座標が導出できたことで、幅wと高さhの所定領域T2の平面上での注視点CP2の位置は、一般的な座標変換を用いて導出することができる。
ここで、図37を用いて、全体画像において所定領域T2に対する所定領域T1の方向を算出する方法について説明する。図37(a)は角度の定義を示した図であり、図37(b)は角度範囲の定義を示した図である。
図37(a)に示されているように、算出部97は、自端末(スマートフォン9)の表示制御部94が表示中の所定領域画像を示す所定領域情報から方位角φを取得し、これを回転角φ1とする。次に、算出部97は、ステップS133で読み出された他拠点の所定領域情報から方位角φを取得し、これを回転角φ2とする。さらに、算出部97は、回転角φ2と回転角φ1の差を回転角φ3とする。
また、図37(b)に示されているように、自拠点の回転角φを中心とした角度範囲をα1とし、自拠点の水平角度に180度を加えた角度を中心とした角度範囲をα2とした場合、算出部97は、以下のように、全体画像において所定領域T2に対する所定領域T1の方向を算出する。
(1)回転角φ3が角度範囲α1に含まれる場合は、位置関係を「前方向」と判定。
(2)φ3が角度範囲α2に含まれる場合は、位置関係を「後方向」と判定。
(3)φ3が、角度範囲α1及び角度範囲α2に含まれず、0度より大きく180度未満の場合は、位置関係を「右方向」と判定。
(4)φ3が、角度範囲α1及び角度範囲α2に含まれず、180度より大きく360度未満の場合は、位置関係を「左方向」と判定。
次に、画像・音処理部93は、算出部97によって算出された注視点を示す注視点マーク及び方向を示す表示方向マークを含む所定領域画像を作成する(S136)。注視点マークの表示位置は、全体画像において所定領域T2に対する所定領域T1の位置から直接求められる。表示方向マークの表示位置は、全体画像において所定領域T2に対する所定領域T1の位置を利用し、上述の(1)~(5)の各判定の処理によって求められる。
この際、画像・音処理部93は、画像種類情報が「特殊画像」である旨を示すことに基づき、全天球パノラマ画像である旨を示す全天球アイコン191,192を所定領域画像に合成する。そして、表示制御部94は、図38(a)、(b)、(c)、図39(a)、(b)、図40に示されているように、ステップS136によって作成された所定領域画像を表示する(S137)。なお、図38(a)、(b)、(c)は、主表示領域の画像を示しており、表示方向マークを含む所定領域画像の3つの表示例を示した図である。なお、図39(a)、(b)は、主表示領域の画像を示しており、注視点マークを含む所定領域画像の2つの表示例を示した図である。なお、図40は主表示領域の画像を示しており、注視点マーク及び表示方向マークを含む所定領域画像の1つの表示例を示した図である。また、図29に示されているように、映像通話中の全ての拠点の画像は表示されるが、図38、図39、図40では、図面の面積の関係上、拠点Aの画像のみを表示している。
図38(a)に示されているように、拠点Aの画像の一部である所定領域画像内には、全体画像において、拠点B(自拠点)で表示中の所定領域画像を基準として、他拠点で表示されている所定領域画像の方向を示す表示方向マークm11,m13,m14が表示されている。なお、図38(b)に示されている表示方向マークm21,m23,m24、及び図38(c)に示されている表示方向マークm31,m33,m34は、それぞれ図38(a)に示されている表示方向マークm11,m13,m14に対応する。
なお、表示方向マークは、方向情報の一例であって、他の形態であってもよい。また、方向情報は矢印で示すのではなく、「右」、「左」、「奥」及び「手前」等の文字を示してもよい。
また、図39(a)に示されているように、拠点Aの画像の一部である所定領域画像内には、全体画像において、拠点B(自拠点)で表示中の所定領域画像を基準として、他拠点で表示されている所定領域画像の注視点を示す注視点マークm41,m42が表示されている。注視点マークは所定領域画像を隠さないように半透明で表示されてもよい。なお、図39(b)に示されている表示方向マークm51,m52は、それぞれ図39(a)に示されている表示方向マークm41,m42に対応する。
図39(a)では、どの拠点の注視点なのかが識別できるように、拠点名である“C”を示した注視点マークm41、及び拠点名である“D”を示した注視点マークm42が表示されている。これに対して、図39(b)では、拠点名が表示されずに、異なる模様の注視点マークによって異なる拠点が示されている。この場合、各拠点で、模様と拠点名を対応づける表を準備すれば、各拠点の利用者は注視点マークの模様から拠点を識別することできる。表は、紙に印刷されたものでも良いし、電子データとして各拠点で保管されてもよい。
なお、注視点マークを区別する模様の代わりに、色や線種を変えることで区別できるようにしてもよい。また、注視点マークは、対応位置情報の一例である。
図40では、他拠点の注視点が所定領域画像の範囲に含まれる場合は注視点を示す表示マークm41が表示され、所定領域画像の範囲に含まれない場合は表示方向マークm11、m14が表示されている。
続いて、図35に戻り、上記ステップS134の判断で、所定領域管理DB9003において、他拠点の通信端末が表示している所定領域画像を示す所定領域情報が管理されていない場合には(S134;NO)、画像・音処理部93は、注視点マーク及び表示方向マークを含めずに、所定領域画像を作成する(S138)。その後は、ステップS137の処理に進む。
また、上記ステップS132の判断で、画像種類情報が「特殊画像」である旨を示さない場合には(S132;NO)、即ち、画像種類情報が「一般画像」である旨を示す場合には、画像・音処理部93は、ステップS103によって受信された撮影画像データから全天球パノラマ画像を作成せず、表示制御部94は一般画像を表示する(S139)。
以上のように、拠点Bの利用者B1,B2は、自拠点で表示している所定領域画像と、他拠点で表示されている所定領域画像との位置関係を把握することができる。これにより、拠点Bの利用者B1,B2が会議等の話題に付いて行けなくなることを防止することができる。
<通信端末で行われる表示制御権の設定要求>
続いて、図41を用いて、通信端末で行われる表示制御権の設定要求の処理について説明する。図41は、通信端末で行われる表示制御権の設定要求の処理を示したフローチャートである。この処理は、図31のステップS302により、操作状態が「操作中」に遷移したことを契機として実行される。また、ここでは、通信端末の一例として、ビデオ会議端末3dが表示制御権の設定要求を送信する場合について説明する。
まず、記憶・読出部39dが、現在表示中の所定領域画像を含む全天球画像の送信元端末のIPアドレスを検索キーとして操作状態管理DB3004dを検索することにより、対応する表示制御権の設定端末のIPアドレスが管理されているか否かに基づき、判断部35dが表示制御権の設定端末のIPアドレスが管理されているか否かを判断する(S321)。これにより、表示制御権の設定端末のIPアドレスが管理されている場合には(S321;YES)、図41の処理は終了する。
一方、表示制御権の設定端末のIPアドレスが管理されていない場合には(S321;NO)、送受信部31dは、図32のステップS151(又は図33のステップS171)として、通信管理システム5に対して、表示制御権の設定要求を送信する(S322)。その後、送受信部31dは、図32のステップS153(又は図33のステップS173)により、通信管理システム5が送信した設定成否結果を受信するまで待機する(S323;NO)。そして、送受信部31dが、図32のステップS153(又は図33のステップS173)により、通信管理システム5が送信した設定成否結果を受信した場合には(S323;YES)、表示制御部34dが、ディスプレイ4dに設定成否結果を表示させる(S324)。
以上により、ビデオ会議端末3d等の通信端末で表示画像の操作状態が「操作中」に遷移し、かつ、同じ映像通信(通信セッション)における他のどの通信端末にも表示制御権が設定されていない場合には、ビデオ会議端末3d等の通信端末は、自動的に表示制御権の設定要求を行うことができる。
<通信端末で行われる表示制御権の設定解除要求>
続いて、図42を用いて、通信端末で行われる表示制御権の設定解除要求の処理について説明する。図42は、通信端末で行われる表示制御権の設定解除要求の処理を示したフローチャートである。この処理は、図31のステップS305により、操作状態が「待機中」に遷移したことを契機として実行される。また、ここでは、通信端末の一例として、ビデオ会議端末3dが表示制御権の設定解除要求を送信する場合について説明する。
まず、記憶・読出部39dが、現在表示中の所定領域画像を含む全天球画像の送信元端末のIPアドレスを検索キーとして操作状態管理DB3004dを検索することにより、対応する表示制御権の設定端末のIPアドレスとして、自端末(ビデオ会議端末3d)のIPアドレスが管理されているか否かに基づき、判断部35dが表示制御権の設定端末として、自端末のIPアドレスが管理されているか否かを判断する(S341)。これにより、表示制御権の設定端末として自端末のIPアドレスが管理されていない場合には(S341;NO)、図42の処理は終了する。
一方、表示制御権の設定端末として自端末のIPアドレスが管理されている場合には(S341;YES)、送受信部31dは、図34のステップS191として、通信管理システム5に対して、表示制御権の設定解除要求を送信する(S342)。
以上により、ビデオ会議端末3d等の通信端末で表示画像の操作状態が「待機中」に遷移し、かつ、同じ映像通信(通信セッション)で自端末に表示制御権が設定されている場合には、ビデオ会議端末3d等の通信端末は、自動的に表示制御権の設定解除要求を行うことができる。
<待機中の通信端末における追従表示の制御>
続いて、図43を用いて、操作状態が待機中である通信端末で行われる所定領域画像の追従表示の制御処理について説明する。図43は、操作状態が待機中である通信端末で行われる所定領域画像の追従表示の制御処理を示したフローチャートである。また、ここでは、通信端末の一例として、ビデオ会議端末3aが追従表示する場合について説明する。
まず、ビデオ会議端末3aの判断部35aは、図30のステップS114によって受信された全天球画像の特定の送信元端末のIPアドレス及び所定領域情報の特定の送信元端末のIPアドレスの組が、操作状態管理DB3004aに管理されている全天球画像の所定の送信元端末のIPアドレス及び所定領域情報の所定の送信元端末のIPアドレス組のそれぞれと同じか否かを判断する(S361)。これにより、IPアドレスの組が同じでない場合には(S361;NO)、図43に示す処理は終了する。
一方、IPアドレスの組が同じである場合には(S361;YES)、記憶・読出部39aは、ステップS114で受信された受信された所定領域情報を保留パラメータとして操作状態管理DB3004aに一旦記憶する(S362)。
その後、判断部35aは、自端末の表示画像に対する現在の操作状態が「待機中」であるか否かを判断する(S363)。具体的には、記憶・読出部39aが操作状態管理DB3004aの操作状態の遷移を監視していることで、判断部35aが操作状態を判断することができる。
次に、自端末の表示画像に対する現在の操作状態が「待機中」である場合には(S363;YES)、表示制御部34aは、ディスプレイ4aに対して、表示中の所定領域画像(第1の所定領域画像)から、ステップS114によって受信された所定領域情報で示される所定領域画像(第2の所定領域画像の一例)に切り替えて追従表示を行う(S364)。一方、自端末の表示画像に対する現在の操作状態が「待機中」でない場合(「操作中」である場合)には(S363;NO)、表示制御部34aは、ディスプレイ4aに対して、ステップS114によって受信された所定領域情報で示される所定領域画像の追従表示を行わないで、自端末における表示画像の操作を優先する。
以上により、通信端末は他の通信端末からの所定領域情報を受信した場合、自端末で表示画像に対して操作していない場合には、所定領域情報に基づいて所定領域画像を追従表示する。これに対して、通信端末は他の通信端末からの所定領域情報を受信した場合、自端末で表示画像に対して操作している場合には、所定領域情報に基づいて所定領域画像を追従表示せずに、現在の表示画像に対する操作を優先することができる。
<待機中に遷移した通信端末における追従表示の制御>
続いて、図43を用いて、操作状態が操作中から待機中に遷移した各通信端末で行われる所定領域画像の追従表示の制御処理について説明する。図44は、操作状態が操作中から待機中に遷移した各通信端末で行われる所定領域画像の追従表示の制御処理を示したフローチャートである。この処理は、図31のステップS305により、操作状態が「待機中」に遷移したことを契機として実行される。また、ここでは、通信端末の一例として、ビデオ会議端末3aが追従表示する場合について説明する。
まず、記憶・読出部39aが、現在表示中の所定領域画像を含む全天球画像の送信元端末のIPアドレスを検索キーとして操作状態管理DB3004aを検索することにより、対応する保留パラメータ(所定領域情報)が管理されているか否かに基づき、判断部35aは保留パラメータが設定されいるか否かを判断する(S381)。これにより、保留パラメータが設定されいない場合には(S381;NO)、図44の処理は終了する。
一方、保留パラメータが設定されいる場合には(S381;YES)、表示制御部34aは、ディスプレイ4aに対して、表示中の所定領域画像(第1の所定領域画像)から、保留パラメータで示される所定領域画像(第2の所定領域画像の一例)に切り替えて追従表示を行う(S382)。そして、記憶・読出部39aは、追従表示に使った保有パラメータを操作状態管理DB3004aから削除する(S383)。
以上により、図43の処理で優先していた自端末における表示画像に対する操作が終了した場合には、既に受信されていた保留パラメータ(所定領域情報)で示される所定領域画像を後から追従表示することができる。
〔実施形態の主な効果〕
以上説明したように本実施形態によれば、通信端末での表示の自由度の制限を少なくすることができるという効果を奏する。具体的には、ビデオ会議端末3a等の通信端末は、他の通信端末から送られた所定領域情報による所定領域画像の表示と、自拠点における操作による所定領域画像の表示とを、適切な優先順位で表示できるという効果を奏する。
また、ビデオ会議端末3a等の通信端末は、画像データと共に送られて来る画像データIDに基づき、対応する画像種類情報によって、全天球パノラマ画像を作成し、更に所定領域画像を作成することができる。これにより、図29(a)に示されているように、前側の半球画像と後側の半球画像を表示してしまうことを防止することができるという効果を奏する。
更に、任意の拠点の利用者は、他拠点で全天球パノラマ画像の全体画像のうちのどこの部分の所定領域画像が表示されているかを把握することができるため、従来に比べて会議等の話題に付いて行き易くなるという効果を奏する。
また、図30において、仮に、通信管理システム5が、ビデオ会議端末3dから所定領域情報を受信する度に、他の通信端末へ所定領域情報を転送すると、図40に示されている各注視点マーク及び表示方向マークのちらつきによって、利用者B1,B2は映像通話に集中できない。そこで、上記ステップS112~S114に示すように、通信管理システム5は、一定期間毎に、その時点の最新の所定領域画像及び各IPアドレスの組を配信することで、各利用者は映像通話に集中することができる。
●第2の実施形態
続いて、図45を用いて、第2の実施形態について説明する。図45は、図30に示された処理の他の例を示し、所定領域情報を共有する他の処理を示すシーケンス図である。図45では、拠点Aのビデオ会議端末3aが通信端末(自端末)であり、拠点Dのビデオ会議端末3dが他の通信端末である。
〔実施形態の処理又は動作〕
上記第1の実施形態では、図30に示されているように、通信管理システム5が、各通信端末から送信された各所定領域情報を一旦管理して(S112参照)、一定期間毎に送信元以外の各通信端末に各所定領域情報を送信した(S114~S122参照)。これに対して、本実施形態では、図35に示されているように、撮影画像データの送信元の通信端末(ここでは、ビデオ会議端末3a)が、通信管理システム5に替わって、所定領域情報を一旦管理して(S213参照)、一定期間毎に自端末以外の各通信端末に各所定領域情報を送信する(S215~S221参照)。即ち、本実施形態では、撮影画像データの送信元の通信端末は、自端末(ここでは、ビデオ会議端末3a)が送信した撮影画像データが他の通信端末でどのような所定領域T1の所定領域画像として表示されているかを管理している。
なお、本実施形態は、第1の実施形態と同じ構成であり、図30に示されている処理が異なる。そのため、以下では、同じ構成には同一の符号を用いて説明を省略するとともに、図45を用いて、第1の実施形態と異なる処理の部分を説明する。
まず、拠点Dで利用者D1等がビデオ会議端末3dを利用して拠点Aの所定領域画像を表示させた場合、ビデオ会議端末3dの送受信部31dは、通信管理システム5に対して、表示された所定領域画像を示す所定領域情報を送信する(S211)。この所定領域情報には、全天球画像である撮影画像データの送信元端末であるビデオ会議端末3aのIPアドレス、及び撮影画像データの送信先端末(所定領域情報の送信元)であるビデオ会議端末3dのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の送受信部51は、撮影画像データの送信元であるビデオ会議端末3aに、ステップS211で受信した各IPアドレスを含む所定領域情報を送信する(S212)。これにより、ビデオ会議端末3aの送受信部31aは、所定領域情報を受信する。
次に、ビデオ会議端末3aの記憶・読出部39aは、所定領域管理DB3003aに、ステップS212で受信された所定領域情報並びに送信元及び送信先の各IPアドレスを関連付けて記憶する(S213)。このステップS213の処理が、自端末(ここでは、ビデオ会議端末3a)が送信した撮影画像データが他の通信端末でどのように表示されているかを管理する処理である。なお、ステップS211~S213の処理は、ビデオ会議端末3dで所定領域画像が変更される度に行なわれる。
次に、ビデオ会議端末3aの記憶・読出部39aは、所定領域管理DB3003aに記憶しておいた所定領域情報及び各IPアドレスの組のうち、その時点で最新の組となる(最も遅く記憶された組となる)所定領域情報及び各IPアドレスを一定期間(例えば、30秒)毎に読み出す(S214)。
次に、ビデオ会議端末3aは、操作状態の設定処理を行う(S215)。この処理は、図30に示されている第1の実施形態のステップS116の処理と同様であるため、説明を省略する。そして、送受信部31aは、通信管理システム5に対して、ステップS214で読み出された各IPアドレスを含む所定領域情報を送信する(S216)。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の送受信部51は、各通信端末(スマートフォン9,PC7)に、ステップS216で受信した各IPアドレスを含む所定領域情報を送信(配信)する(S217,S220)。これにより、スマートフォン9の送受信部91は、所定領域情報を受信する。そして、記憶・読出部99は、所定領域管理DB3009に、ステップS217で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(S218)。更に、ビデオ会議端末3aは、操作状態の設定処理を行う(S219)。このステップS215の処理は、図30のステップS116の処理と同様であるため、その説明を省略する。
また、PC7においても、送受信部71が所定領域情報を受信した後、記憶・読出部79が所定領域管理DB7003に、ステップS220で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(S221)。更に、ビデオ会議端末3aは、操作状態の設定処理を行う(S222)。このステップS222の処理は、図30のステップS122の処理と同様であるため、その説明を省略する。
〔本実施形態の主な効果〕
以上説明したように、第2の実施形態によれば、撮影画像データの送信元の通信端末が、自端末から送信した撮影画像データに基づいて、各通信端末でどのように表示されているかを示す所定領域情報を収集して、各通信端末に配信する。これにより、第1の実施形態の効果に加え、多数の通信端末で同じ会議等を行なう場合に、通信管理システム5への負担が集中することを回避することができるという効果を奏する。
●第3の実施形態
続いて、図46乃至図49を用いて、第3の実施形態について説明する。上記第1の実施形態では、特定の通信端末に表示制御権が設定された場合、特定の通信端末は、他の通信端末に対して自端末(特定の通信端末)で表示中の所定領域画像を追従表示させることができた。これに対して、本実施形態では、他の通信端末は、予め許可した特定の通信端末に対してのみ所定領域画像を追従表示させることができる。
なお、本実施形態の画像通信システムは、図15に示す通信管理システム5の記憶部5000において転送許可設定管理DB5005が追加された通信管理システム50である以外は、第1の実施形態と同じハードウェア構成及び機能構成並びに同じデータベースを有する。そのため、以下では、同じ構成には同一の符号を用いて説明を省略するとともに、図46及び図47を用いて、第1の実施形態と異なるデータベースを説明する。
図46に示されているように、通信管理システム50は、記憶部5000には、セッション管理DB5001、画像種類管理DB5002、所定領域管理DB5003、及び表示制御権管理DB5004に加え、転送許可設定管理DB5005が構築されている。転送許可設定管理DB5005は、図47に示される転送許可設定管理テーブルによって構成されている。
(転送許可設定管理テーブル)
図47は、転送許可設定管理テーブルを示す概念図である。この転送許可設定管理テーブルは、所定領域情報の送信元の通信端末(送信元端末)のIPアドレスと、所定領域情報の送信先の通信端末(送信先端末)のIPアドレスとが関連付けて管理されている。例えば、所定領域情報の送信元の通信端末(送信元端末)のIPアドレスが「1.3.1.1」の32ビットで、所定領域情報の送信先の通信端末(送信先端末)のIPアドレスが「1.2.1.1」が関連付けて管理されている。これにより、通信管理システム50は、IPアドレスが「1.3.1.1」の通信端末から所定領域情報を受信した場合には、IPアドレスが「1.2.1.1」の通信端末に所定領域情報を転送(送信)する。しかし、通信管理システム50は、転送許可設定管理DB5005で管理されていないIPアドレスの通信端末に対しては、所定領域情報を転送(送信)しない。
〔実施形態の処理又は動作〕
続いて、図48及び図49を用いて、第3の本実施形態の処理又は動作について説明する。
<転送許可設定>
ここでは、図48を用いて、ビデオ会議端末3aが通信管理システム50に対して、ビデオ会議端末3dからの所定領域情報の転送許可を設定する場合について説明する。図48は、第3の実施形態に係り、転送許可設定に基づき所定領域情報を共有する処理を示すシーケンス図である。
まず、ビデオ会議端末3aの送受信部31aが通信管理システム50に対して、転送許可を設定するための要求を示す転送許可設定要求を送信する(S401)。この転送許可設定要求には、所定領域情報の送信元端末のIPアドレス及び同じ所定領域情報の送信先端末(自端末)のIPアドレスが含まれている。これにより、通信管理システム50の送受信部51は、転送許可設定要求を受信する。
次に、通信管理システム50の記憶・読出部59は、転送許可設定管理DB5005に対して、ステップS401によって受信された所定領域情報の送信元端末のIPアドレス及び同じ所定領域情報の送信先端末(自端末)のIPアドレスを関連付けて記憶する(S402)。
その後、表示制御権が設定されているビデオ会議端末3dの送受信部31dが、通信管理システム50に所定領域情報を送信した場合には(S403)、通信管理システム50の送受信部51が所定領域情報を受信する。このステップS403は、図30のステップS111と同様の処理であり、所定領域情報には、全天球画像である撮影画像データの送信元端末のIPアドレス、及び撮影画像データの送信先端末(所定領域情報の送信元端末)のIPアドレスが含まれている。そして、通信管理システム50は、図30のステップS112,S113と同様の処理を実行する(S404,S405)。
次に、判断部55は、ステップS403で受信された所定領域情報の送信元端末のIPアドレスを検索キーとして転送許可設定管理DB5005を検索することにより、対応する所定領域情報の送信先端末のIPを読み出す(S408)。これにより、通信管理システム50は、所定領域情報の転送先のIPアドレス(ここでは、ビデオ会議端末3aのIPアドレス)を抽出することができる。そして、通信管理システム50の送受信部51は、ビデオ会議端末3aに対して、ステップS403で受信した所定領域情報を転送(送信)する(S407)。これにより、ビデオ会議端末3aの送受信部31aは、所定領域情報を受信する。よって、ビデオ会議端末3aは、ビデオ会議端末3dで表示中の所定領域画像を自端末(ビデオ会議端末3a)でも追従表示することができる。
<転送許可解除設定>
ここでは、図49を用いて、ビデオ会議端末3aが通信管理システム50に対して、ビデオ会議端末3dからの所定領域情報の転送許可の設定を解除する場合について説明する。図49は、第3の実施形態に係り、転送許可設定解除に基づき所定領域情報を共有しない処理を示すシーケンス図である。
まず、ビデオ会議端末3aの送受信部31aが通信管理システム50に対して、転送許可の設定を解除するための要求を示す転送許可設定解除要求を送信する(S421)。この転送許可設定解除要求には、所定領域情報の送信元端末のIPアドレス及び同じ所定領域情報の送信先端末(自端末)のIPアドレスが含まれている。これにより、通信管理システム50の送受信部51は、転送許可設定解除要求を受信する。
次に、通信管理システム50の記憶・読出部59は、転送許可設定管理DB5005に対して、ステップS401によって受信された所定領域情報の送信元端末のIPアドレス及び同じ所定領域情報の送信先端末(自端末)のIPアドレスと同じIPアドレスの組を削除する(S422)。
その後、表示制御権が設定されているビデオ会議端末3dの送受信部31dが、通信管理システム50に所定領域情報を送信した場合には(S423)、通信管理システム50の送受信部51が所定領域情報を受信する。このステップS423は、図30のステップS111と同様の処理であり、所定領域情報には、全天球画像である撮影画像データの送信元端末のIPアドレス、及び撮影画像データの送信先端末(所定領域情報の送信元端末)のIPアドレスが含まれている。そして、通信管理システム50は、図30のステップS112,S113と同様の処理を実行する(S424,S425)。
次に、判断部55は、ステップS403で受信された所定領域情報の送信元端末のIPアドレスを検索キーとして転送許可設定管理DB5005を検索することにより、対応する所定領域情報の送信先端末のIPを読み出す(S408)。ここでは、ステップSによる削除により、送信先端末としてビデオ会議端末3aのIPアドレスが読み出さない。そのため、上記ステップS407のように、送受信部51は、ビデオ会議端末3aに対して、ステップS403で受信した所定領域情報を転送(送信)しない。よって、ビデオ会議端末3aは、ビデオ会議端末3dで表示中の所定領域画像を自端末(ビデオ会議端末3a)で追従表示せずに済む。
〔本実施形態の主な効果〕
以上説明したように、第3の実施形態によれば、通信端末は、他の通信端末で表示中の所定領域画像を自端末(通信端末)で追従表示する場合にのみ、通信管理システム50に対して転送許可設定要求を送信すればよい。これにより、追従表示を望まない他の通信端末が所定領域情報を送信しても、通信管理システム50が所定領域情報を転送(送信)しないため、通信端末は他の通信端末で表示中の所定領域画像を追従表示しなくて済むという効果を奏する。
●補足
上記実施形態では、通信端末は第1の所定領域画像から第2の所定領域画像に切り替えて追従表示するがこれに限るものではなく、表示中の第1の所定領域画像に加え、第2の所定領域画像を同時に(並列に)表示してもよい。
また、上記実施形態では、パノラマ画像の一例として、撮影画像(全体画像)が3次元の全天球画像について説明したが、2次元のパノラマ画像であってもよい。
また、上記実施形態では、通信管理システム5が、各通信端末から送信された所定領域情報を中継しているが、これに限らず、各通信端末同士が直接、所定領域情報を送受信してもよい。
また、上記実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。