以下、図面を用いて、本発明の実施形態について説明する。
<<実施形態の概略>>
<全天球パノラマ画像の生成方法>
図1乃至図8を用いて、全天球パノラマ画像の生成方法について説明する。
まず、図1を用いて、撮影装置1の外観を説明する。撮影装置1は、全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図1(a)は撮影装置の左側面図であり、図1(b)は撮影装置の正面図であり、図1(c)は撮影装置の平面図である。
図1(a)に示されているように、撮影装置1は、人間が片手で持つことができる大きさである。また、図1(a),図1(b),図1(c)に示されているように、撮影装置1の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮影が可能な光学部材(例えば、後述する魚眼レンズ102a,102b)と併せて用いられる。また、図1(b)に示されているように、撮影装置1の正面側と反対側の面には、シャッターボタン等の操作部115が設けられている。
次に、図2を用いて、撮影装置1の使用状況を説明する。なお、図2は、撮影装置の使用イメージ図である。撮影装置1は、図2に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれユーザの周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図3及び図4を用いて、撮影装置1で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図3(a)は撮影装置で撮影された半球画像(前側)、図3(b)は撮影装置で撮影された半球画像(後側)、図3(c)はメルカトル図法により表された画像(以下、「メルカトル画像」という)を示した図である。図4(a)はメルカトル画像で球を被う状態を示した概念図、図4(b)は全天球パノラマ画像を示した図である。
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図3(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、撮影装置1によって合成され、図3(c)に示されているように、メルカトル画像が作成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図4(a)に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図4(b)に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。
以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図5及び図6を用いて説明する。
なお、図5は、全天球パノラマ画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球パノラマ画像に対して、その画像を見るユーザの視点の位置に相当するものである。また、図6(a)は図5の立体斜視図、図6(b)はディスプレイに表示された場合の所定領域画像を表す図、図6(c)は図6(b)の一部領域を拡大した場合の新たな所定領域画像を表わす図である。
図6(a)では、図4に示されている全天球パノラマ画像が、三次元の立体球CSで表わされている。このように生成された全天球パノラマ画像が、立体球CSであるとすると、図5に示されているように、仮想カメラICが全天球パノラマ画像の外部に位置している。全天球パノラマ画像における所定領域Tは、仮想カメラICの撮影領域であり、全天球パノラマ画像を含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定される。
そして、図6(a)に示されている所定領域Tの画像である所定領域画像は、図6(b)に示されているように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図6(b)に示されている画像は、初期設定(デフォルト)された所定領域情報(表示パラメータ)によって表された所定領域画像である。以下では、仮想カメラICの撮影方向(ea,aa)と画角(α)を用いて説明する。
図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図7は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。図7に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮影方向(ea,aa)で示される仮想カメラICの注視点が、仮想カメラICの撮影領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図7では、一般的に以下の(式1)で示される三角関数が成り立つ。
Lf=tan(α/2)・・・(式1)
また、図6(b)に示されている所定領域画像の一部領域を拡大すると、図6(c)に示されているように、新たな所定領域画像が表示される。
図8は、球座標による3次元ユークリッド空間内の点を示した図である。中心点CPを球面極座標系で表現したときの位置座標を(r、θ、φ)とする。(r、θ、φ)は、それぞれ動径、極角、方位角である。動径rは、全天球パノラマ画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、fに等しい。図8は、これらの関係を表した図である。以降、仮想カメラICの位置座標(r,θ、φ)を用いて説明する。
<画像通信システムの概略>
続いて、図9を用いて、本実施形態の画像通信システムの構成の概略について説明する。図9は、本実施形態の画像通信システムの構成の概略図である。
図9に示されているように、本実施形態の画像通信システムは、撮影装置1a,1b、ビデオ会議端末3、通信管理システム5、PC(Personal Computer)7、撮影装置8、及びスマートフォン9によって構成され、インターネット等の通信ネットワーク100を介して通信することができる。通信ネットワーク100の接続形態は、無線又は有線のいずれでも良い。
これらのうち、撮影装置1a,1bは、上述のように、被写体や風景等を撮影して全天球パノラマ画像の元になる2つの半球画像を得るための特殊なデジタルカメラである。一方、撮影装置8は、被写体や風景等を撮影して一般の平面画像を得るための一般のデジタルカメラである。
ビデオ会議端末3は、ビデオ会議専用の端末であり、USB(Universal Serial Bus)ケーブル等の有線ケーブルを介して映像通話(ビデオ通話)の画像をディスプレイ4に表示する。ビデオ会議端末3は、通常は後述のカメラ312で撮影するが、撮影装置1aを取り付けるクレードル2aに有線ケーブルで接続されると、撮影装置1aが優先され、全天球パノラマ画像の元になる2つの半球画像を得ることができる。有線ケーブルを利用する場合、クレードル2aは、撮影装置1aとビデオ会議端末3との間の通信を行なうだけでなく、撮影装置1aに電源供給及び撮影装置1aを支える役割を果たす。なお、ここでは、撮影装置1a、クレードル2a、ビデオ会議端末3、及びディスプレイ4は、同じ拠点である拠点Aに置かれている。また、拠点Aには、4人の利用者A1,A2,A3,A4が、映像通話に参加している。
通信管理システム5は、ビデオ会議端末3、PC7、及びスマートフォン9の通信を管理したり、送受信される画像データの種類(一般画像と特殊画像の種別)を管理したりする。ここでは、特殊画像は全天球パノラマ画像である。なお、通信管理システム5は、ビデオ通信のサービスを行なうサービス会社等に設置されている。また、通信管理システム5は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
PC7は、撮影装置8が取り付けられることで、映像通話が可能となる。なお、ここでは、PC7、及び撮影装置8は、同じ拠点である拠点Cに置かれている。また、拠点Cには、1人の利用者Cが映像通話に参加している。
スマートフォン9は、自装置に設けられた後述のディスプレイ917に映像通話の画像を表示する。スマートフォン9は、通常は自装置に設けられた後述のCMOS(Complementary Metal Oxide Semiconductor)センサ905等で撮影するが、Wi-Fi(Wireless Fidelity)やBluetooth(登録商標)等の無線通信技術を利用して、撮影装置1bで得られた全天球パノラマ画像の元になる2つの半球画像データを取得することができる。無線通信技術を利用する場合、クレードル2bは、撮影装置1bに電源供給と撮影装置1bを支えるだけの役割を果たす。なお、ここでは、撮影装置1b、クレードル2b、及びスマートフォン9は、同じ拠点である拠点Bに置かれている。また、拠点Bには、2人の利用者B1,B2が、映像通話に参加している。
また、ビデオ会議端末3、PC7、及びスマートフォン9は、通信端末の一例である。各通信端末には、OpenGL ESがインストールされており、全天球パノラマ画像の一部の領域を示す所定領域情報を作成したり、他の通信端末から送られて来た全天球パノラマ画像から所定領域画像を作成したりすることができる。
なお、図9に示す各端末、装置、利用者の配置は一例であり、他の例であってもよい。例えば、拠点Cで、撮影装置8に代えて、全天球パノラマ画像に係る撮影が可能な撮影装置を利用者してもよい。また、通信端末には、デジタルテレビ、スマートウオッチ、カーナビゲーション装置等も含まれる。また、以降、撮影装置1a,1bのうち任意の撮影装置を表す場合には、「撮影装置1」として表す。
<<実施形態のハードウェア構成>>
次に、図10乃至図13を用いて、本実施形態の撮影装置1、ビデオ会議端末3、通信管理システム5、PC7、及びスマートフォン9のハードウェア構成を詳細に説明する。なお、撮影装置8は、一般のカメラであるため、詳細な説明は省略する。
<撮影装置1のハードウェア構成>
まず、図10を用いて、撮影装置1のハードウェア構成を説明する。図10は、撮影装置1のハードウェア構成図である。以下では、撮影装置1は、2つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置1と同じ機能を有するようにしてもよい。
図10に示されているように、撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、及びアンテナ117aによって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(c)に示されているようなメルカトル画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置1によっては、ディスプレイ(例えば、ビデオ会議端末3のディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置1には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わない。DRAM114に記憶されたメルカトル画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F116を介してビデオ会議端末3等の外部装置に送信されたりする。
通信部117は、撮影装置1に設けられたアンテナ117aを介して、Wi-FiやNFC(Near Field Communication)等の近距離無線技術によって、ビデオ会議端末3等の外部装置と通信を行う。この通信部117によっても、メルカトル画像のデータをビデオ会議端末3の外部装置に送信することができる。
電子コンパス118は、地球の磁気から撮影装置1の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
<ビデオ会議端末のハードウェア構成>
次に、図11を用いて、ビデオ会議端末3のハードウェア構成を説明する。図11は、ビデオ会議端末のハードウェア構成図である。図11に示されているように、ビデオ会議端末3は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319のアンテナ319aを備えている。
これらのうち、CPU301は、ビデオ会議端末3全体の動作を制御する。ROM302は、IPL(Initial Program Loader)等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。SSD(Solid State Drive)305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読み出し又は書き込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御する。操作ボタン308は、ビデオ会議端末3の宛先を選択する場合などに操作されるボタンである。電源スイッチ309は、ビデオ会議端末3の電源のON/OFFを切り換えるためのスイッチである。
また、ネットワークI/F311は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェースである。カメラ312は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F313は、カメラ312の駆動を制御する回路である。マイク314は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F316は、CPU301の制御に従ってマイク314及びスピーカ315との間で音信号の入出力を処理する回路である。ディスプレイI/F317は、CPU301の制御に従って外付けのディスプレイ320に画像データを送信する回路である。外部機器接続I/F318は、各種の外部機器を接続するためのインターフェースである。近距離通信回路319は、NFC(登録商標)、Bluetooth(登録商標)等の通信回路である。
また、バスライン310は、図11に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
ディスプレイ4は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示手段の一種である。また、ディスプレイ4は、ケーブル4cによってディスプレイI/F317に接続される。このケーブル4cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)(登録商標)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
なお、カメラ312は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOSセンサや、CCDセンサ等が用いられる。外部機器接続I/F318には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU301の制御に従って、内蔵型のカメラ312に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU301の制御に従って、それぞれが内蔵型のマイク314や内蔵型のスピーカ315に優先して、外付けマイクや外付けスピーカが駆動する。
また、記録メディア306は、ビデオ会議端末3に対して着脱自在な構成となっている。また、CPU301の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ304に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
<通信管理システム、PCのハードウェア構成>
次に、図12を用いて、通信管理システム5及びPC7のハードウェア構成を説明する。図12は、通信管理システム及びPCのハードウェア構成図である。なお、通信管理システム5及びPC7は、ともにコンピュータで同じ構成を有しているため、以下では、通信管理システム5の構成について説明し、PC7の構成の説明は省略する。
通信管理システム5は、通信管理システム5全体の動作を制御するCPU501、IPL等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503、通信管理システム5用のプログラム等の各種データを記憶するHD504、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)505、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ508、通信ネットワーク100を利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス512、着脱可能な記録媒体の一例としてのCD-RW(Compact Disc-ReWritable)513に対する各種データの読み出し又は書き込みを制御するCD-RWドライブ514、及び、上記各構成要素を図12に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。
<スマートフォンのハードウェア構成>
次に、図13を用いて、スマートフォンのハードウェアについて説明する。図13は、スマートフォンのハードウェア構成図である。図13に示されているように、スマートフォン9は、CPU901、ROM902、RAM903、EEPROM904、CMOSセンサ905、加速度・方位センサ906、メディアI/F908、GPS受信部909を備えている。
これらのうち、CPU901は、スマートフォン9全体の動作を制御する。ROM902は、IPL等のCPU901の駆動に用いられるプログラムを記憶する。RAM903は、CPU901のワークエリアとして使用される。EEPROM904は、CPU901の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。CMOS(Complementary Metal Oxide Semiconductor)センサ905は、CPU901の制御に従って被写体(主に自画像)を撮像し画像データを得る。加速度・方位センサ906は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F908は、フラッシュメモリ等の記録メディア907に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部909は、GPS衛星からGPS信号を受信する。
また、スマートフォン9は、遠距離通信回路911、カメラ912、撮像素子I/F913、マイク914、スピーカ915、音入出力I/F916、ディスプレイ917、外部機器接続I/F918、近距離通信回路919、近距離通信回路919のアンテナ919a、及びタッチパネル921を備えている。
これらのうち、遠距離通信回路911は、通信ネットワーク100を介して、他の機器と通信する回路である。カメラ912は、CPU901の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F913は、カメラ912の駆動を制御する回路である。マイク914は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F916は、CPU901の制御に従ってマイク914及びスピーカ915との間で音信号の入出力を処理する回路である。ディスプレイ917は、被写体の画像や各種アイコン等を表示する液晶や有機ELなどの表示手段の一種である。外部機器接続I/F918は、各種の外部機器を接続するためのインターフェースである。近距離通信回路919は、NFCやfBluetooth等の通信回路である。タッチパネル921は、利用者がディスプレイ917を押下することで、スマートフォン9を操作する入力手段の一種である。
また、スマートフォン9は、バスライン910を備えている。バスライン910は、CPU901等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたCD-ROM等の記録媒体、並びに、これらプログラムが記憶されたHDは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
<<実施形態の機能構成>>
次に、図14乃至図20を用いて、本実施形態の機能構成について説明する。図14は、本実施形態の画像通信システムの一部を構成する、撮影装置1a,1b、ビデオ会議端末3、通信管理システム5、PC7、及びスマートフォン9の各機能ブロック図である。
<撮影装置1aの機能構成>
図14に示されているように、撮影装置1aは、受付部12a、撮像部13a、集音部14a、通信部18a、及び記憶・読出部19aを有している。これら各部は、図10に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
また、撮影装置1は、図10に示されているROM112、SRAM113、及びDRAM114によって構築される記憶部1000aを有している。記憶部1000aには、自装置のGUID(Globally Unique Identifier)が記憶されている。
(撮影装置1aの各機能構成)
次に、図10及び図14を用いて、撮影装置1aの各機能構成について更に詳細に説明する。
撮影装置1aの受付部12aは、主に、図10に示されている操作部115及びCPU111の処理によって実現され、利用者からの操作入力を受け付ける。
撮像部13aは、主に、図10に示されている撮像ユニット101、画像処理ユニット104、及び撮像制御ユニット105、並びにCPU111の処理によって実現され、風景等を撮像し、撮影画像データを得る。
集音部14aは、図10に示されているマイク108及び音処理ユニット109、並びにCPU111の処理によって実現され、撮影装置1の周囲の音を集音する。
通信部18aは、主に、CPU111の処理によって実現され、ビデオ会議端末3の通信部38と、NFC規格、BlueTooth、Wi-Fi等による近距離無線通信技術によって通信することができる。
記憶・読出部19aは、主に、図10に示されているCPU111の処理によって実現され、記憶部1000aに各種データ(または情報)を記憶したり、記憶部1000aから各種データ(または情報)を読み出したりする。
<撮影装置1bの各機能構成>
撮影装置1bは、受付部12b、撮像部13b、集音部14b、通信部18b、及び記憶・読出部19bを有している。これらは、それぞれ、撮影装置1aにおける受付部12a、撮像部13a、集音部14a、通信部18a、及び記憶・読出部19aと同様の機能を有するため、説明を省略する。また、撮影装置1は、図10に示されているROM112、SRAM113、及びDRAM114によって構築される記憶部1000bを有している。記憶部1000bには、自装置のGUIDが記憶されている。
<ビデオ会議端末3の機能構成>
図14に示されているように、ビデオ会議端末3は、送受信部31、受付部32、画像・音処理部33、表示制御部34、判断部35、作成部36、通信部38、及び記憶・読出部39を有している。これら各部は、図11に示されている各構成要素のいずれかが、フラッシュメモリ304からRAM303上に展開されたビデオ会議端末3用プログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。
また、ビデオ会議端末3は、図11に示されているROM302、RAM303、及びフラッシュメモリ304によって構築される記憶部3000を有している。この記憶部3000には、画像種類管理DB3001、撮影装置管理DB3002、表示制限管理DB3003、及び表示被制限管理DB3004が構築されている。これらのうち、画像種類管理DB3001は、図15に示されている画像種類管理テーブルによって構成されている。撮影装置管理DB3002は、図16に示される撮影装置管理テーブルによって構成されている。表示制限管理DB3003は、図17に示されている表示制限管理テーブルによって構成されている。表示被制限管理DB3004は、図18に示される表示被制限管理テーブルによって構成されている。
(画像種類管理テーブル)
図15は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データID、送信元端末の宛先の一例であるIPアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データIDは、ビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データIDが付加されている。これにより、送信先端末(受信側の通信端末)は、受信した画像データの送信元端末を特定することができる。送信元端末のIPアドレスは、関連付けられている画像データIDで示される画像データを送信する通信端末のIPアドレスを示す。ソース名は、関連付けられている画像データIDで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末3等の各通信端末によって作成された名称である。
例えば、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」の3つの通信端末は、それぞれ、画像データID「RS001」、「RS002」、「RS003」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video_Theta」、「Video」、「Video_Theta」であり、これらは順に画像種類が「特殊画像」、「一般画像」、「特殊画像」である旨を示している。なお、特殊画像は、ここでは、全天球パノラマ画像である。
なお、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。
(撮影装置管理テーブル)
図16は、撮影装置管理テーブルを示す概念図である。この撮影装置管理テーブルでは、全天球パノラマ画像の元になる2つの半球画像を得ることができる撮影装置のGUIDのうちのベンダIDとプロダクトIDが記憶されて管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダーID(VID)とプロダクトID(PID)が利用できる。このベンダIDとプロダクトIDは、ビデオ会議端末等の通信端末の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。
(表示制限管理テーブル)
図17は、表示制限管理テーブルを示す概念図である。この表示制限管理テーブルでは、全天球パノラマ画像の元になる2つの半球画像のデータの送信先の通信端末(送信先端末)のIPアドレス毎に、所定領域画像の表示の制限を与えている内容を示す表示制限パラメータを管理している。具体的に、表示制限パラメータは、図7及び図8に示されている、動径(r)、極角(θ)、方位角(φ)、及び視野角(α)の各要素に対して制限を与える内容を示している。例えば、IPアドレスが「1.3.1.2」の通信端末に対しては、視野角αが120°を超えなければならない(120°以下にはできない)ように設定した内容が管理されている。
(表示被制限管理テーブル)
図18は、表示制限管理テーブルを示す概念図である。この表示被制限管理テーブルでは、全天球パノラマ画像の元になる2つの半球画像のデータの送信元の通信端末(送信元端末)のIPアドレス毎に、自端末(ビデオ会議端末3)が所定領域画像の表示の制限が与えられている(受けている)内容を示す表示制限パラメータを管理している。この表示制限パラメータは、表示制限管理テーブルで管理されている表示制限パラメータと同様である。
(ビデオ会議端末の各機能構成)
次に、図11及び図14を用いて、ビデオ会議端末3の各機能構成について更に詳細に説明する。
ビデオ会議端末3の送受信部31は、主に、図11に示されているネットワークI/F311及びCPU301の処理によって実現され、通信ネットワーク100を介して、通信管理システム5と各種データ(または情報)の送受信を行う。
受付部32は、主に操作ボタン308及びCPU301による処理によって実現され、利用者から各種の選択又は入力を受け付ける。また、操作ボタン308だけでなく、他の入力手段としてタッチパネル等を用いてもよい。
画像・音処理部33は、図11に示されているCPU301からの命令によって実現され、カメラ312が被写体を撮像して得た画像データに対して画像処理を行なう。また、画像・音処理部33は、マイク314によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行なう。
更に、画像・音処理部33は、表示制御部34がディスプレイ4に画像を表示させるため、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行なう。具体的には、画像種類情報が特殊画像である旨を示す場合には、画像・音処理部33は、画像データ(例えば、図3(a),(b)に示されているような各半球画像のデータ)に基づいて、図4(b)に示されているような全天球パノラマ画像データに変換することで全天球パノラマ画像データを作成し、更に、図6(b)に示されているような所定領域画像を作成する。また、画像・音処理部33は、他の通信端末から通信管理システム5を介して受信された音データに係る音声信号をスピーカ315に出力し、スピーカ315から音声を出力させる。
表示制御部34は、主にディスプレイI/F317及びCPU301の処理によって実現され、ディスプレイ4に各種画像や文字等を表示させるための制御を行う。
判断部35は、主にCPU301の処理によって実現され、例えば、撮影装置1aから受信された画像データに係る画像種類を判断する。
作成部36は、主にCPU301の処理によって実現され、判断部35によって、一般画像又は特殊画像(ここでは、全天球パノラマ画像)と判断された結果に基づき、上述の命名規則に従って、画像種類情報の一例であるソース名を作成する。例えば、判断部35が、一般画像であると判断した場合には、作成部36は、一般画像である旨を示すソース名「Video」を作成する。一方、判断部35が、特殊画像であると判断した場合には、作成部36は、特殊画像である旨を示すソース名「Video_Theta」を作成する。
通信部38は、主に、近距離通信回路319、アンテナ318a、及びCPU301の処理によって実現され、撮影装置1aの通信部18aと、NFC、BlueTooth、Wi-Fi等による近距離無線技術によって通信することができる。なお、通信部38と送受信部31とは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。
記憶・読出部39は、主に、図11に示されているCPU301の処理によって実現され、記憶部3000に各種データ(または情報)を記憶したり、記憶部3000から各種データ(または情報)を読み出したりする。
<通信管理システムの機能構成>
次に、図12及び図14を用いて、通信管理システム5の各機能構成について詳細に説明する。通信管理システム5は、送受信部51、判断部55、生成部56、及び記憶・読出部59を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理システム5用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、通信管理システム5は、図12に示されているRAM503、及びHD504によって構築される記憶部5000を有している。この記憶部5000には、セッション管理DB5001、画像種類管理DB5002、及び全表示制限管理DB5003が構築されている。このうち、セッション管理DB5001は、図19に示されているセッション管理テーブルによって構成されている。画像種類管理DB5002は、図20に示される画像種類管理テーブルによって構成されている。全表示制限管理DB5003は、図25に示されている全表示制限管理テーブルによって構成されている。
(セッション管理テーブル)
図19は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションID、及び参加した通信端末のIPアドレスが関連付けて記憶されて管理されている。このうち、セッションIDは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションIDは、ビデオ会議端末3等の各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のIPアドレスは、関連付けられているセッションIDで示される仮想の会議室に参加した通信端末のIPアドレスを示している。
(画像種類管理テーブル)
図20は、画像種類管理テーブルを示す概念図である。図20に示されている画像種類管理テーブルは、図15に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションIDと同じセッションIDが関連付けて管理されている。ここでは、同じセッションID「se101」で示される仮想の会議室には、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」の3つの通信端末が参加していることが示されている。なお、通信管理システム5において、ビデオ会議端末3等の通信端末で管理される、画像データID、送信元端末のIPアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。
(全表示制限管理テーブル)
図21は、全表示制限管理テーブルを示す概念図である。この全表示制限管理テーブルは、表示制限テーブル(図17参照)及び表示被制限テーブル(図18参照)を融合したテーブルである。即ち、全表示制限管理テーブルでは、全天球パノラマ画像の元になる2つの半球画像のデータの送信元の通信端末(送信元端末)のIPアドレス及び送信先の通信端末(送信先端末)のIPアドレス毎に、所定領域画像の表示の制限を与えている内容を示す表示制限パラメータを管理している。これにより、通信管理システム5は、画像データの送信元が各送信先にどのような制限を加えているかを管理することができる。
(通信管理システムの各機能構成)
次に、図12及び図14を用いて、通信管理システム5の各機能構成について詳細に説明する。
通信管理システム5の送受信部51は、主に、図12に示されているネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク100を介してビデオ会議端末3、又はPC7と各種データ(または情報)の送受信を行う。
判断部55は、主にCPU501の処理によって実現され、各種判断を行なう。
生成部56は、主にCPU501の処理によって実現され、画像データIDを生成する。
記憶・読出部59は、主に、図12に示されているHDD505、及びCPU501の処理によって実現され、記憶部5000に各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
<PCの機能構成>
次に、図12及び図14を用いて、PC7の機能構成について詳細に説明する。PC7は、基本的にビデオ会議端末3と同じ機能を有している。即ち、図14に示されているように、PC7は、送受信部71、受付部72、画像・音処理部73、表示制御部74、判断部75、作成部76、通信部78、及び記憶・読出部79を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたPC7用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、PC7は、図12に示されているROM502、RAM503、及びHD504によって構築される記憶部7000を有している。この記憶部7000には、画像種類管理DB7001、及び撮影装置管理DB7002が構築されている。なお、画像種類管理DB7001、及び撮影装置管理DB7002は、それぞれ画像種類管理DB3001、及び撮影装置管理DB3002と同じ構成であるため説明を省略する。
(PCの各機能構成)
PC7の送受信部71は、主に、図12に示されているネットワークI/F509及びCPU501の処理によって実現され、送受信部31と同様の機能を実現する。
受付部72は、主にキーボード511、マウス512及びCPU501の処理によって実現され、受付部32と同様の機能を実現する。画像・音処理部73は、主にCPU501からの命令によって実現され、画像・音処理部33と同様の機能を実現する。表示制御部74は、主にCPU501の処理によって実現され、表示制御部34と同様の機能を実現する。判断部75は、主にCPU501の処理によって実現され、判断部35と同様の機能を実現する。作成部76は、主にCPU501の処理によって実現され、作成部36と同様の機能を実現する。通信部78は、主に、CPU501の処理によって実現され、通信部38と同様の機能を実現する。記憶・読出部79は、CPU501の処理によって実現され、記憶部7000に各種データ(または情報)を記憶したり、記憶部7000から各種データ(または情報)を読み出したりする。
<スマートフォンの機能構成>
次に、図13及び図14を用いて、スマートフォン9の機能構成について詳細に説明する。スマートフォン9は、基本的にビデオ会議端末3と同じ機能を有している。即ち、図14に示されているように、スマートフォン9は、送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、通信部98、及び記憶・読出部99を有している。これら各部は、図13に示されている各構成要素のいずれかが、EEPROM904からRAM903上に展開されたスマートフォン9用プログラムに従ったCPU901からの命令によって動作することで実現される機能又は手段である。
また、スマートフォン9は、図13に示されているROM902、RAM903、及びEEPROM904によって構築される記憶部9000を有している。この記憶部9000には、画像種類管理DB9001、及び撮影装置管理DB9002が構築されている。なお、画像種類管理DB9001、及び撮影装置管理DB9002は、それぞれ画像種類管理DB3001、及び撮影装置管理DB3002と同じ構成であるため説明を省略する。
(スマートフォンの各機能構成)
スマートフォン9の送受信部91は、主に、図13に示されている遠距離通信回路911及びCPU901の処理によって実現され、送受信部31と同様の機能を実現する。
受付部92は、主にタッチパネル921及びCPU901の処理によって実現され、受付部32と同様の機能を実現する。
画像・音処理部93は、主にCPU901からの命令によって実現され、画像・音処理部33と同様の機能を実現する。
表示制御部94は、主にCPU901の処理によって実現され、表示制御部34と同様の機能を実現する。
判断部95は、主にCPU901の処理によって実現され、判断部35と同様の機能を実現する。
作成部96は、主にCPU901の処理によって実現され、作成部36と同様の機能を実現する。
通信部98は、主に、CPU901の処理によって実現され、通信部38と同様の機能を実現する。
記憶・読出部99は、CPU901の処理によって実現され、記憶部9000に各種データ(または情報)を記憶したり、記憶部9000から各種データ(または情報)を読み出したりする。
<<実施形態の処理又は動作>>
<参加の処理>
続いて、図22乃至図27を用いて、本実施形態の処理又は動作について説明する。まず、図22及び図23を用いて、特定の通信セッションへの参加処理について説明する。図22は、特定の通信セッションへの参加処理を示したシーケンス図である。図23は、通信セッション(仮想の会議室)の選択画面を示した図である。
まず、拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3において、通信セッション(仮想の会議室)の選択画面の表示を行なう操作をすると、受付部32が選択画面を表示する操作を受け付け、表示制御部34がディスプレイ4に、図23に示されているような選択画面を表示する(ステップS21)。この選択画面には、選択対象である各仮想の会議室R1,R2,R3等を示す選択ボタンb1,b2,b3等が表示されている。また、各選択ボタンb1等には、各セッションIDが関連付けられている。
ここで、利用者A1が仮想の会議室の所望の選択ボタン(ここでは選択ボタンb1)を選択すると、受付部32は、通信セッションの選択を受け付ける(ステップS22)。そして、送受信部31は、通信管理システム5に対して、仮想の会議室への参加要求を送信する(ステップS23)。この参加要求には、ステップS22で選択を受け付けられた通信セッションを示すセッションID、及び要求元端末であるビデオ会議端末3のIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、参加要求を受信する。
次に、記憶・読出部99は、セッション管理DB5001(図19参照)において、ステップS23で受信されたセッションIDと同じセッションIDのレコードにおける参加端末IPアドレスのフィールドに、ステップS23で受信されたIPアドレスを追加することで、通信セッションへの参加処理を行なう(ステップS24)。そして、送受信部51は、ビデオ会議端末3に対して、参加要求応答を送信する(ステップS25)。この参加要求応答には、ステップS23によって受信されたセッションID、及び参加処理結果が含まれている。これにより、ビデオ会議端末3の送受信部31は、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。
<画像種類情報の管理処理>
続いて、図24を用いて、画像種類情報の管理処理を説明する。図24は、画像種類情報の管理処理を示すシーケンス図である。
まず、拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3に、撮影装置1aが取り付けられた状態のクレードル2aのUSBケーブルを接続すると、撮影装置1aの記憶・読出部19aが記憶部1000aに記憶されている自装置(撮影装置1a)のGUIDを読み出し、通信部18aがビデオ会議端末3の通信部38に対して自装置のGUIDを送信する(ステップS51)。これにより、ビデオ会議端末3の通信部38は、撮影装置1aのGUIDを受信する。
次に、ビデオ会議端末3の判断部35は、撮影装置管理DB3002(図16参照)において、ステップS51によって受信されたGUID中のベンダID及びプロダクトIDと、同じベンダID及びプロダクトIDが管理されているか否かを判断することで、画像種類を判断する(ステップS52)。具体的には、撮影装置管理DB3002において、同じベンダID及びプロダクトIDが管理されている場合には、判断部35は、撮影装置1aが特殊画像(ここでは、全天球パノラマ画像)を撮影する撮影装置であると判断する。これに対して、撮影装置管理DB3002において、同じベンダID及びプロダクトIDが管理されていない場合には、判断部35は、撮影装置1aが一般画像を撮影する撮影装置であると判断する。
次に、記憶・読出部39は、画像種類管理DB3001(図15参照)に対して、送信元端末である自端末(ビデオ会議端末3)のIPアドレスと、ステップS52で判断された判断結果である画像種類情報とを関連付けて記憶する(ステップS53)。この状態では、画像データIDは関連付けられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名や、画像種類(一般画像、特殊画像)である。
次に、送受信部31は、通信管理システム5に対して、画像種類情報の追加要求を送信する(ステップS54)。この画像種類情報の追加要求には、ステップS53で記憶した送信元端末である自端末のIPアドレス、及び画像種類情報が含まれている。これにより、通信管理システム5の送受信部51は、画像種類情報の追加要求を受信する。
次に、通信管理システム5の記憶・読出部59は、ステップS54によって受信された送信元端末のIPアドレスを検索キーとして、セッション管理DB5001(図19参照)を検索することにより、対応するセッションIDを読み出す(ステップS55)。
次に、生成部56は、固有の画像データIDを生成する(ステップS56)。そして、記憶・読出部59は、画像種類管理DB5002(図20参照)に、新たなレコードとして、ステップS55で読み出されたセッションID、ステップS56で生成された画像データID、並びに、ステップS54で受信された送信元端末のIPアドレス及び画像種類情報を関連付けて記憶する(ステップS57)。そして、送受信部51は、ビデオ会議端末3に対して、ステップS56で生成された画像データIDを送信する。これにより、ビデオ会議端末3の送受信部31は、画像データIDを受信する(ステップS58)。
次に、ビデオ会議端末3の記憶・読出部39は、画像種類管理DB3001(図15参照)に、上記ステップS53で記憶しておいた送信元端末である自端末(ビデオ会議端末3)のIPアドレス及び画像種類情報に関連づけて、ステップS58で受信された画像データIDを記憶する(ステップS59)。
一方、通信管理システム5の送受信部51は、他の通信端末であるスマートフォン9に対して、画像種類情報の追加通知を送信する(ステップS60)。この画像種類情報の追加通知には、ステップS56で生成された画像データID、並びに、ステップS53で記憶された送信元端末である自端末(ビデオ会議端末3)のIPアドレス及び画像種類情報が含まれている。これにより、スマートフォン9の送受信部91は、画像種類情報の追加通知を受信する。なお、送受信部51の送信先は、セッション管理DB5001(図19参照)で、ビデオ会議端末3のIPアドレスと同じセッションIDに関連付けられている他のIPアドレスである。即ち、送信先は、ビデオ会議端末3と同じ仮想の会議室に入っている他の通信端末である。
次に、スマートフォン9の記憶・読出部99は、画像種類管理DB9001(図15参照)に、新たなレコードとして、ステップS60で受信された、画像データID、送信元端末のIPアドレス、及び画像種類情報を関連付けて記憶する(ステップS61)。同じように、他の通信端末であるPC7にも画像種類情報の追加通信が送信され、PC7でも、画像種類管理DB7001(図15参照)に記憶される。以上より、各通信端末では、各画像種類管理DB3001,7001,9001で同じ情報を共有することができる。
<画像データの通信処理>
図25乃至図28を用いて、映像通話における画像データの通信処理について説明する。図25は、映像通話における画像データの通信処理を示すシーケンス図である。
まず、撮影装置1aの通信部18aからビデオ会議端末3の通信部38に対して、被写体や風景等を撮影して得た画像データを送信する(ステップS71)。この場合、撮影装置1aは全天球パノラマ画像の元になる2つの半球画像を得ることができる装置であるため、図3(a)、(b)に示されているように、画像データは、2つの半球画像のデータによって構成されている。これにより、ビデオ会議端末3の通信部38は、画像データを受信する。
次に、ビデオ会議端末3の送受信部31は、通信管理システム5に対して、撮影装置1aから送られてきた画像データを送信する(ステップS72)。この送信には、送信対象である画像データを識別するための画像データIDが含まれている。また、送信元であるビデオ会議端末3のIPアドレスも送信される。これにより、通信管理システム5の送受信部51は、画像データ、画像データID及びIPアドレスを受信する。
次に、通信管理システム5の送受信部51は、スマートフォン9に対して、ビデオ会議端末3から送られてきた画像データを送信する(ステップS73)。この送信には、送信対象である画像データを識別するための画像データIDが含まれている。送信元であるビデオ会議端末3のIPアドレスも送信される。これにより、スマートフォン9の送受信部51は、画像データ、画像データID及びIPアドレスを受信する。
次に、スマートフォン9では、記憶・読出部99が、ステップS73によって受信された画像データIDを検索キーとして、画像種類管理DB9001(図15参照)を検索することにより、対応する画像種類情報(ソース名)を読み出す(ステップS74)。そして、スマートフォン9は、所定領域画像の作成処理を行う(ステップS75)。ここで、図26を用いて、ステップS75の処理を詳細に説明する。図26は、所定領域画像の作成処理を示したフローチャートである。
まず、スマートフォン9の判断部95は、ステップS74によって読み出された画像種類情報に基づいて、ステップS73によって受信された画像データの画像種類が特殊画像(ここでは、全天球パノラマ画像)であるかを判断する(ステップS71-1)。そして、特殊画像である場合には(YES)、記憶・読出部99が送信元の通信端末(ここでは、ビデオ会議端末3)のIPアドレスを検索キーとして、対応する表示制限パラメータを検索する(ステップS71-2)。
次に、判断部95は、表示制限パラメータがあるか、即ち、表示制限を受けているかを判断する(ステップS71-3)。そして、表示制限を受けている場合には(YES)、更に、判断部95は、表示制限パラメータがデフォルトの表示パラメータよりも表示サイズが制限されているかを判断する(ステップS71-4)。判断部95が、制限されていると判断した場合には(YES)、画像・音処理部93は、ステップS73によって受信された画像データから全天球パノラマ画像を作成し、更に表示制限パラメータに基づいて所定領域画像を作成する(ステップS71-5)。この場合、画像・音処理部93は、特殊画像である旨(Video_Theta)を示す画像種類情報に基づいて、後述の全天球パノラマ画像であることを示すアイコン191を所定領域画像に合成する。
一方、ステップS71-3において、判断部95が、表示制限を受けていないと判断した場合(NO)、及び、ステップS71-4において、判断部95が、制限されていないと判断した場合(NO)、画像・音処理部93は、ステップS73によって受信された画像データから全天球パノラマ画像を作成し、更にデフォルトの表示パラメータに基づいて所定領域画像を作成する(ステップS71-6)。この場合、画像・音処理部93は、特殊画像である旨(Video_Theta)を示す画像種類情報に基づいて、後述の全天球パノラマ画像であることを示すアイコン191を所定領域画像に合成する。
また、上記ステップS71-1において、判断部95が、画像データの画像種類が特殊画像でないと判断した場合には(NO)、ステップS71の処理が終了する。
次に、図25に戻って、表示制御部94は、スマートフォン9のディスプレイ917に、アイコン191を含む所定領域画像を表示する(ステップS76)。なお、画像種類情報が一般画像である旨(Video)を示す場合には、画像・音処理部93は、ステップS73によって受信された画像データから全天球パノラマ画像を作成せず、表示制御部94は、アイコン191が含まれていない一般画像を表示する。
続いて、図27を用いて、映像通話の状態を説明する。図27は、映像通話の状態を示したイメージ図である。このうち、図27(a)は、撮影装置1aを利用しない場合を示し、図27(b)は、撮影装置1aを利用する場合を示している。
まず、図27(a)に示されているように、撮影装置1aを利用しないで、ビデオ会議端末3に予め設けられたカメラ312(図11参照)を利用する場合、画角が水平125度で垂直70度であるため、ビデオ会議端末3を各利用者A1等が映る机の端に置かなければならない。このため、各利用者A1等は、ビデオ会議端末3側を向いて話さなければならない。また、各利用者A1等がビデオ会議端末3の方を向くため、ディスプレイ4もビデオ会議端末3の側に置くことになる。これにより、ビデオ会議端末3から離れた利用者A2,A4は、マイク314(図11参照)から離れているため、比較的大きな声で話さないといけないし、ディスプレイ4の表示内容が見えづらい。
これに対して、図27(b)に示されているように、撮影装置1aを利用する場合には、全天球パノラマ画像の元になる2つの半球画像を得ることができるため、ビデオ会議端末3及びディスプレイ4は、比較的、机の中央に置くことができる。これにより、各利用者A1等は、マイク314に近いため、比較的小声で話すことができ、ディスプレイ4の表示内容も見えやすくなる。
続いて、図28を用いて、拠点Bにおけるディスプレイ917の表示例を説明する。図28は、拠点Bにおける映像通話の画面例を示す。このうち、図28(a)は、ビデオ会議端末3(撮影装置1a)及び撮影装置1bから送られて来た画像データから、全天球パノラマ画像及び所定領域画像の作成をせずに、そのまま表示する場合、並びにPC7(撮影装置8)から送られて来た画像データをそのまま表示する場合を示している。図28(b)は、ビデオ会議端末3(撮影装置1a)及び撮影装置1bから送られて来た画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をした場合、並びにPC7(撮影装置8)から送られて来た画像データをそのまま表示する場合を示している。なお、ディスプレイ917の左上側の表示領域には拠点Aの画像が表示され、右上側の表示領域には拠点B(自拠点)の画像が表示され、左下側の表示領域には拠点Cの画像が表示されている。また、この例では3拠点の同時映像通話を行なっているため、右下側の表示領域には何も表示されていない。
全天球パノラマ画像の撮影が可能な撮影装置1a,1bから送られて来た画像データをそのまま表示すると、図28(a)に示されているように表示される。これは、左上側のA拠点と右上側のB拠点(自拠点)が、それぞれ図3(a),(b)に示されているように、前側の半球画像と後側の半球画像として表示されている。
これに対して、画像・音処理部93が、全天球パノラマ画像の元になる2つの半球画像を得ることができる撮影装置1a,1bから送られて来た画像データから、全天球パノラマ画像を作成し、更に所定領域画像を作成すると、図28(b)に示されているように、平面画像である所定領域画像が表示される。なお、拠点Cには、一般画像を得る撮影装置8が備えられているため、図28(a),(b)のいずれも、一般画像が表示されている。
更に、拠点A、及び拠点B(自拠点)の画像の各左上には、全天球パノラマ画像であることを示すアイコン191が表示されている。なお、アイコン191の表示位置は、左上ではなく、右上、左下、及び右下等、どこでもよい。また、アイコン191の種類は図28(b)に限らない。また、アイコン191ではなく、「全天球画像」等の文字であってもよく、アイコンと文字の組み合わせであってもよい。図28(b)に示されているように、拠点Bの表示領域についても、同様にアイコン192が表示されている。
また、利用者は、同じ全天球パノラマ画像における所定領域画像に係る所定領域を変更することができる。即ち、利用者B1,B2は、スマートフォン9のタッチパネル921に対して指を接して移動させることにより、受付部92が指の移動を受け付け、表示制御部94は、所定領域画像をずらしたり、回転したり、縮小したり、拡大したりすることができる。これにより、図28(b)に示されているように、初期設定(デフォルト)で拠点Aの一部の利用者A1,A2しか表示されていない場合であっても、所定領域画像をずらして利用者A4,A3を表示することができる。
<表示制限パラメータの設定処理>
続いて、図29を用いて、表示制限パラメータを設定する処理について説明する。図29は、表示制限パラメータを設定する処理を示すシーケンス図である。
まず、送信元の通信端末(ここでは、ビデオ会議端末3)では、利用者A1等が操作ボタン308を利用して、表示制限パラメータの初期値の設定を行と、受付部32が、初期値を受け付ける(ステップS101)。例えば、初期値としては、α(視野角)>120°とし、拡大状態表示しか許可しない状態が挙げられる。次に、記憶・読出部99が、表示制限管理DB3003に初期値の表示制限パラメータを記憶する(ステップS102)。その後、ビデオ会議端末3は、会議に参加している全ての拠点の通信端末に対して、初期値の表示制限パラメータを通知するため、送受信部31が、通信管理システム5に対して、表示制限の設定を示す表示制限設定情報を送信する(ステップS103)。この表示制限設定情報には、送信元の通信端末(ここでは、ビデオ会議端末3)のIPアドレス、送信先の通信端末のIPアドレスのリスト、及びステップS101で設定された表示制限パラメータが含まれている。IPアドレスのリストには、会議に参加中の自端末(ここでは、ビデオ会議端末)以外の全ての通信端末(ここでは、PC7、スマートフォン9)のIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、表示制限設定情報を受信する。
次に、通信管理システム5では、記憶・読出部99が、全表示制限管理DB5003に対して、図21に示されているように、ステップS103で受信された送信元の通信端末のIPアドレス及び送信先の通信端末のIPアドレス毎に、表示制限パラメータを記憶する(ステップS105)。この場合、同じ送信元の通信端末のIPアドレス及び送信先の通信端末のIPアドレスの組に対して既に表示制限パラメータが記憶されている場合には、記憶・読出部99は上書き更新する。
次に、通信管理システム5の送受信部51は、スマートフォン9に対して表示制限の設定を示す表示制限設定情報を送信する(ステップS106)。この表示制限設定情報には、送信元の通信端末(ここでは、ビデオ会議端末3)のIPアドレス、及びステップS101で設定された表示制限パラメータが含まれている。これにより、スマートフォン9の送受信部91は、表示制限設定情報を受信する。そして、スマートフォン9では、記憶・読出部99が、ステップS105で受信された送信元の通信端末のIPアドレス及び表示制限パラメータを関連付けて、表示被制限管理DB9004に記憶する(ステップS106)。これにより、スマートフォン9で、ビデオ会議端末3から要求された表示制限パラメータの設定が完了する。
また同様に、通信管理システム5の送受信部51は、PC7に対して表示制限の設定を示す表示制限設定情報を送信する(ステップS107)。この表示制限設定情報には、送信元の通信端末(ここでは、ビデオ会議端末3)のIPアドレス、及びステップS101で設定された表示制限パラメータが含まれている。これにより、PC7の送受信部71は、表示制限設定情報を受信する。そして、PC7では、記憶・読出部79が、ステップS107で受信された送信元の通信端末のIPアドレス及び表示制限パラメータを関連付けて、表示被制限管理DB7004に記憶する(ステップS108)。これにより、PC7で、ビデオ会議端末3から要求された表示制限パラメータの設定が完了する。
以上により、表示制限パラメータの設定処理が終了する。
<表示制限パラメータの設定解除処理(被制限側)>
続いて、図30を用いて、被制限側の要求により、表示制限パラメータの設定を解除する処理について説明する。図30は、被制限側の要求により、表示制限パラメータの設定を解除する処理を示すシーケンス図である。
例えば、被制限側のスマートフォン9の利用者が、ビデオ会議端末3から制限されている表示制限パラメータを解除したい場合、スマートフォン9の利用者が表示制限の解除のための操作を行うと、スマートフォン9の受付部92が表示制限の解除を受け付ける(ステップ121)。例えば、スマートフォン9の利用者B1は、図28(b)に示されている画面において、表示制限を解除して欲しい映像の表示領域(ここでは、利用者A1等が映し出されている左上の表示領域)をダブルタップする。
次に、送受信部91は、通信管理システム5に対して、表示制限の解除の要求を示す表示制限解除要求情報を送信する(ステップS122)。この表示制限解除要求情報には、要求元の通信端末(ここでは、スマートフォン9)のIPアドレス、及び要求先の通信端末(ここでは、ビデオ会議端末3)のIPアドレスが含まれている。なお、要求元の通信端末は、表示制限の設定を受け付けた送信先の通信端末である。また、要求先の通信端末は、表示制限の設定を行った送信元の通信端末である。これにより、通信管理システム5の送受信部51は、表示制限解除要求情報を受信する。そして、送受信部51は、ビデオ会議端末3に対して、ステップS122で受信した表示制限解除要求情報を送信する(ステップS123)。この表示制限解除要求情報には、ステップS122で受信された要求元の通信端末(ここでは、スマートフォン9)のIPアドレスが含まれている。これにより、ビデオ会議端末3の送受信部31は、表示制限解除要求情報を受信する。
次に、ビデオ会議端末3は、表示制限の一時的な解除の処理を実行する(ステップS124)。例えば、記憶・読出部39が、ステップS123で受信された要求元(送信先)の通信端末(ここでは、スマートフォン9)のIPアドレスを検索キーとして表示制限管理DB3003を検索することにより、対応する表示制限パラメータを一時的に削除する。なお、この場合、画像・音処理部33は、利用者A1等に表示制限の解除が要求された旨を通知すべく、通知音を出力したり、又は図32に示されているように通知画面351を表示させたりしてもよい。図32は、通知画面を含む映像通話の画面例である。また、ビデオ会議端末3は、通知音を出力して一定時間(例えば10秒)後、自動的に、記憶・読出部39が表示制限パラメータを一時的に削除してもよい。また、一時的に削除された表示制限パラメータは、削除から所定時間(例えば、10分)後に復活したり、表示制限を指示した送信元の通信端末からの復活指示により復活する。
また、ステップS124の処理として、表示制御部34が、図33に示されているように、要求先の通信端末(ここでは、ビデオ会議端末3)の利用者A1等に、表示制限の解除の承認を要求するための承認要求画面352を表示してもよい。図33は、承認要求画面を含む映像通話の画面例である。
この承認要求画面352には、承認する場合に押下される「はい」ボタンと、承認しない場合に押下される「いいえ」ボタンが含まれている。そして、承認する場合には、記憶・読出部39が、ステップS123で受信された要求元(送信先)の通信端末(ここでは、スマートフォン9)のIPアドレスを検索キーとして表示制限管理DB3003を検索することにより、対応する表示制限パラメータを一時的に削除する。一方、承認しない場合には、送受信部31が、通信管理システム5を介して、要求元の通信端末(ここでは、スマートフォン9)に対して、承認しない旨(否認する旨)の通知を行う。
次に、ビデオ会議端末3の送受信部31は、通信管理システム5に対して、表示制限の解除が完了した旨を示す表示制限解除指示情報を送信する(ステップS125)。この表示制限解除指示情報には、自端末(ここでは、ビデオ会議端末3)である要求先(送信元)の通信端末のIPアドレス、及び要求元(送信先)端末IPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、表示制限解除指示情報を受信する。
次に、通信管理システム5では、記憶・読出部59が、ステップS125で受信された両IPアドレスの組を検索キーとして、全表示制限管理DB5003を検索し、対応する表示制限パラメータを一時的に削除することで、制限解除の処理を行う(ステップS126)。そして、送受信部51は、スマートフォン9に対して、表示制限の解除が完了した旨を示す表示制限解除指示情報を送信する。この表示制限解除指示情報には、ステップS125で受信された要求先(送信元)の通信端末のIPアドレスが含まれている。これにより、スマートフォン9の送受信部91は、表示制限解除指示情報を受信する。
次に、スマートフォン9は、表示制限の解除の処理を行う(ステップS128)。例えば、記憶・読出部99が、ステップS127で受信された要求先(送信元)の通信端末(ここでは、ビデオ会議端末3)のIPアドレスを検索キーとして表示被制限管理DB3004を検索することにより、対応する表示制限パラメータを一時的に削除する。これにより、スマートフォン9では、図26に示されているステップ71-3において、表示制限を受けていないと判断され、画像・音処理部93は、利用者B1,B2の操作に従って、ディスプレイ917上に所定領域画像を表示させることができる。
以上により、表示制限パラメータの設定解除処理(被制限側)が終了する。
<表示制限パラメータの設定解除処理(制限側)>
続いて、図35を用いて、制限側の指示により、表示制限パラメータの設定を個別に解除する処理について説明する。図31は、制限側の要求により、表示制限パラメータの設定を解除する処理を示すシーケンス図である。
例えば、表示制御部34は、映像通話中に、図34に示されているように、「表示制限の解除」ボタン361,362を表示しておく。そして、制限側のビデオ会議端末3の利用者A1等が、拠点B、Cのうち拠点Bに対してのみ、表示制限を解除したい場合、利用者A1等が「表示制限の解除」ボタン361を押下すると、ビデオ会議端末3の受付部32が拠点Bに対する表示制限の解除を受け付ける(ステップ201)。これにより、記憶・読出部39は、選択された拠点Bの通信端末のIPアドレスを検索キーとして表示制限管理DB3003を検索することにより、対応する表示制限パラメータを一時的に削除することで、表示制限の解除を行う(ステップS202)。そして、ビデオ会議端末3は、会議に参加している拠点Bの通信端末(ここでは、スマートフォン9)に対して、表示制限の解除を通知するため、送受信部31が、通信管理システム5に対して、表示制限の解除を示す表示制限解除情報を送信する(ステップS203)。この表示制限解除情報には、送信元の通信端末(ここでは、ビデオ会議端末3)のIPアドレス、及び表示解除の宛先である送信先の通信端末のIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、表示制限解除情報を受信する。
次に、通信管理システム5では、記憶・読出部99が、全表示制限管理DB5003に対して、ステップS203で受信された送信元の通信端末のIPアドレス及び送信先の通信端末のIPアドレスの組に対応する表示制限パラメータを一時的に削除することで、制限解除処理を行う(ステップS204)。
次に、通信管理システム5の送受信部51は、スマートフォン9に対して表示制限の解除を示す表示制限解除情報を送信する(ステップS205)。この表示制限解除情報には、表示制限の解除元である送信元の通信端末(ここでは、ビデオ会議端末3)のIPアドレスが含まれている。これにより、スマートフォン9の送受信部91は、表示制限解除情報を受信する。そして、スマートフォン9では、記憶・読出部99が、ステップS205で受信された送信元の通信端末のIPアドレスを検索キーとして表示被制限管理DB9004を検索することにより、対応する表示制限パラメータを一時的に削除する制限解除の処理を行う(ステップS206)。これにより、スマートフォン9では、ビデオ会議端末3から要求された表示制限が解除され、PC7では、解除されない状態になり、表示制限パラメータの設定解除処理(制限側)が終了する。
<表示制限パラメータの設定変更処理(制限側)>
続いて、図35を用いて、制限側の指示により、表示制限パラメータの設定を解除する処理について説明する。図35は、制限側の指示により、表示制限パラメータの設定を変更する処理を示すシーケンス図である。
図36は、変更画面を含む映像通話の画面例である。例えば、映像通話中に利用者A1による操作ボタン308の操作により、表示制御部34は、図36に示されているように、表示制限の変更画面371を表示しておく。そして、利用者A1が、拠点B、Cのそれぞれに対して、操作ボタン308の操作によって、表示制限するか又は表示制限しないかを選択し、「OK」ボタンを押下すると、ビデオ会議端末3の受付部32が拠点ごとに表示制限の有無を受け付ける(ステップ221)。ここでは、拠点Bに対しては表示制限することとし、拠点Cに対しては表示制限しないこととした場合を示している。これにより、記憶・読出部39は、選択された拠点Cの通信端末のIPアドレスを検索キーとして表示制限管理DB3003を検索することにより、対応する表示制限パラメータを一時的に削除することで、表示制限の有無の一括変更を行う(ステップS222)。なお、拠点Bは、表示制限が継続されるため、記憶・読出部39は、拠点Bの表示制限パラメータを一時的に削除せずに維持したままとする。
次に、送受信部31が、通信管理システム5に対して、表示制限の変更を示す表示制限変更情報を送信する(ステップS223)。この表示制限変更情報には、送信元の通信端末(ここでは、ビデオ会議端末3)のIPアドレス、表示制限の変更の宛先である送信先の通信端末のIPアドレスを含むIPアドレスのリスト、表示制限を解除する旨の指示を示す表示制限解除指示情報、及び表示制限を再設定する旨の指示を示す表示制限再設定指示情報が含まれている。この場合、送信先の通信端末のIPアドレス毎に、表示制限解除指示情報又は表示制限再設定指示情報が関連付けられている。これにより、通信管理システム5の送受信部51は、表示制限変更情報を受信する。
次に、通信管理システム5では、表示制限解除指示情報に関連付けられている送信先の通信端末に対しては、記憶・読出部99が、全表示制限管理DB5003に対して、ステップS223で受信された送信元の通信端末のIPアドレス及び送信先の通信端末のIPアドレスの組に対応する表示制限パラメータを一時的に削除することで、制限変更処理を行う(ステップS224)。なお、表示制限解除指示情報に関連付けられている送信先の通信端末に対しては、記憶・読出部99が、全表示制限管理DB5003に対して、表示制限パラメータを一時的に削除せずに維持したままとする。
次に、通信管理システム5の送受信部51は、スマートフォン9に対して表示制限の再設定を指示する旨を含む表示制限変更情報を送信する(ステップS225)。この表示制限設定情報には、送信元の通信端末(ここでは、ビデオ会議端末3)のIPアドレスが含まれている。これにより、スマートフォン9の送受信部91は、表示制限変更情報を受信する。そして、スマートフォン9では、記憶・読出部99が、表示被制限管理DB9004において、ステップS205で受信された送信元の通信端末のIPアドレスに対して、表示制限パラメータを再設定する処理を行う(ステップS226)。なお、再設定の場合、通信管理システム5は、通信端末に対して、表示制限変更情報を送信しなくてもよい。
また、通信管理システム5の送受信部51は、PC7に対して表示制限の解除を指示する旨を含む表示制限変更情報を送信する(ステップS227)。この表示制限変更情報には、表示制限の解除元である送信元の通信端末(ここでは、ビデオ会議端末3)のIPアドレスが含まれている。これにより、PC7の送受信部71は、表示制限変更情報を受信する。そして、PC7では、記憶・読出部79が、ステップS227で受信された送信元の通信端末のIPアドレスを検索キーとして表示被制限管理DB7004を検索することにより、対応する表示制限パラメータを一時的に削除する制限解除の処理を行う(ステップS228)。これにより、PC7では、ビデオ会議端末3から指示された表示制限が解除され、表示制限パラメータの設定変更処理(制限側)が終了する。
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、ビデオ会議端末3等の通信端末は、画像データと共に送られて来る画像データIDに基づき、対応する画像種類情報によって、全天球パノラマ画像を作成し、更に所定領域画像を作成することができる。これにより、図28(a)に示されているように、前側の半球画像と後側の半球画像を表示してしまうことを防止することができるという効果を奏する。
また、通信端末は、他の通信端末からの要求で表示制限を解除したり(ステップS121~S128参照)、自端末から積極的に特定の他の通信端末に対して表示制限を解除したり(ステップS201~S206)、自端末から積極的に各他の通信端末に対して表示制限を再設定(若しくは維持)又は解除したりする(ステップS221~S228)。これにより、表示制限と解除を柔軟に行うことができるため、一旦表示制限を受けた他の通信端末側の利用者が、通信端末の拠点を大雑把に把握したい場合には表示制限を解除することで対応することが出来る。