JP7354733B2 - 通信端末、画像通信システム、表示方法、及びプログラム - Google Patents

Description

本開示内容は、通信端末、画像通信システム、表示方法、及びプログラムに関するものである。

インターネット等の通信ネットワークを介して、遠隔地の映像を複数の利用者が閲覧するシステムが普及している。

例えば、ネットワークカメラとビューワからなるネットワークカメラシステムにおいて、ネットワークカメラは、複数のビューワに対して撮影している映像をリアルタイムに配信することが可能であると同時に、制御権を有する複数のビューワからの制御要求を同時に受け付けることが可能である（特許文献１参照）。

しかしながら、上記のネットワークカメラシステムの各利用者の拠点で、独自の表示範囲を閲覧することができないため、表示の自由度が制限されているという課題が生じる。

請求項１に係る発明は、他の通信端末と共有した全体画像における第１の所定領域である第１の所定領域画像を表示可能な通信端末であって、前記全体画像における第２の所定領域である第２の所定領域画像を表示している他の通信端末が送信した当該第２の所定領域を示す所定領域情報を受信する受信手段と、前記受信手段によって前記所定領域情報が受信された場合に、前記第１の所定領域画像に対する操作状態に基づいて、前記所定領域情報で示された前記第２の所定領域画像の表示を制御する表示制御手段と、を有し、前記表示制御手段は、前記操作状態が操作中である場合には、前記第２の所定領域画像を表示させない、ことを特徴とする通信端末である。

本発明によれば、通信端末での表示の自由度の制限を少なくすることができるという効果を奏する。

（ａ）は撮影装置の左側面図であり、（ｂ）は撮影装置の正面図であり、（ｃ）は撮影装置の平面図である。 撮影装置の使用イメージ図である。 （ａ）は撮影装置で撮影された半球画像（前）、（ｂ）は撮影装置で撮影された半球画像（後）、（ｃ）はメルカトル図法により表された画像を示した図である。 （ａ）メルカトル画像で球を被う状態を示した概念図、（ｂ）全天球パノラマ画像を示した図である。 全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されたている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 球座標による３次元ユークリッド空間内の点を示した図である。 本発明の実施形態に係る画像通信システムの概略図である。 撮影装置のハードウェア構成図である。 ビデオ会議端末のハードウェア構成図である。 通信管理システム及びＰＣのハードウェア構成図である。 スマートフォンのハードウェア構成図である。 画像通信システムの一部の機能ブロック図である。 画像通信システムの一部の機能ブロック図である。 画像種類管理テーブルを示す概念図である。 撮影装置管理テーブルを示す概念図である。 表示モード管理テーブルを示す概念図である。 操作状態管理テーブルを示す概念図である。 セッション管理テーブルを示す概念図である。 画像種類管理テーブルを示す概念図である。 特定の通信セッションへの参加処理を示したシーケンス図である。 通信セッション（仮想の会議室）の選択画面を示した図である。 画像種類情報の管理処理を示すシーケンス図である。 映像通話の状態を示したイメージ図であり、（ａ）は撮影装置１ａを利用しない場合を示し、（ｂ）は撮影装置１ａを利用する場合を示している。 映像通話における撮影画像データ及び音データの通信処理を示すシーケンス図である。 拠点Ｂにおけるディスプレイの表示例を示し、（ａ）は、撮影装置１ａ，１ｂから送られて来た画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をせずに、そのまま表示する場合を示し、図２７（ｂ）は、撮影装置１ａ，１ｂから送られて来た画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をした場合を示し、図２７（ｃ）は図２７（ｂ）の所定領域画像を変更した場合を示した図である。 表示状態テーブルの入力処理を示すフローチャートである。 所定領域情報を送信する処理を示すシーケンス図である。 所定領域情報の受信処理を示したフローチャートである。 送信先通信端末から送信元端末へのメッセージ送信処理を示すシーケンス図である。 操作状態遷移後の処理を示したフローチャートである。 （ａ）は拠点Ｂにおいて図２７（ｃ）と同じ表示画像を示した図である。（ｂ）は拠点Ａにおける映像通話の状態を示したイメージ図であり、図３３（ａ）に示す拠点Ａの様子を示した所定領域画像に対応する拠点Ａの撮影範囲を矢印で示した図である。 （ａ）は図３３（ａ）の拠点Ａの様子を示した所定領域画像に対して変更の操作が行われた後の表示画像を示した図である。（ｂ）は拠点Ａにおける映像通話の状態を示したイメージ図であり、図３４（ａ）に示す拠点Ａの様子を示した所定領域画像に対応する拠点Ａの撮影範囲を矢印で示した図である。 （ａ）は拠点Ａの通信端末から送られて来た所定領域情報に基づく所定領域画像を含む表示画像を示した図である。（ｂ）は拠点Ａにおける映像通話の状態を示したイメージ図であり、図３５（ａ）に示す拠点Ａの様子を示した所定領域画像に対応する拠点Ａの撮影範囲を矢印で示した図である。

以下、図面を用いて、本発明の実施形態について説明する。

まず、図１乃至図３５を用いて、一実施形態について説明する。

〔実施形態の概略〕
＜全天球パノラマ画像の生成方法＞
図１乃至図７を用いて、全天球パノラマ画像の生成方法について説明する。

まず、図１を用いて、撮影装置１の外観を説明する。撮影装置１は、３次元の全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は撮影装置の左側面図であり、図１（ｂ）は撮影装置の正面図であり、図１（ｃ）は撮影装置の平面図である。

図１（ａ）に示されているように、撮影装置１は、人間が片手で持つことができる大きさである。また、図１（ａ），図１（ｂ），図１（ｃ）に示されているように、撮影装置１の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。これら撮像素子（画像センサ）１０３ａ，１０３ｂは、半球画像（画角１８０°以上）の撮影が可能な光学部材（例えば、後述する魚眼レンズ１０２ａ，１０２ｂ）と併せて用いられる。また、図１（ｂ）に示されているように、撮影装置１の正面側と反対側の面には、シャッターボタン等の操作部１１５が設けられている。

次に、図２を用いて、撮影装置１の使用状況を説明する。なお、図２は、撮影装置の使用イメージ図である。撮影装置１は、図２に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれ利用者の周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、撮影装置１で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図３（ａ）は撮影装置で撮影された半球画像（前側）、図３（ｂ）は撮影装置で撮影された半球画像（後側）、図３（ｃ）はメルカトル図法により表された画像（以下、「メルカトル画像」という）を示した図である。図４（ａ）はメルカトル画像で球を被う状態を示した概念図、図４（ｂ）は全天球パノラマ画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮影装置１によって合成され、図３（ｃ）に示されているように、メルカトル画像が作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。

以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見る利用者の視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像ＣＥが、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの外側に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。

そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。なお、所定領域情報、仮想カメラＩＣの位置座標ではなく、所定領域Ｔである仮想カメラＩＣの撮影領域（Ｘ，Ｙ，Ｚ）によって示してもよい。以下では、仮想カメラＩＣの撮影方向（ｒＨ，ｒＶ）と画角（α）を用いて説明する。

図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図７に示されているように、ｒＨはHorizontal Radian、ｒＶはVertical Radian、αは画角(Angle)を示す。即ち、撮影方向（ｒＨ，ｒＶ）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。

Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
図８は、球座標による３次元ユークリッド空間内の点を示した図である。中心点ＣＰを球面極座標系で表現したときの位置座標を（ｒ、θ、φ）とする。（ｒ、θ、φ）は、それぞれ動径、極角、方位角である。動径ｒは、全天球パノラマ画像を含む三次元の仮想空間の原点から中心点ＣＰまでの距離であるため、ｆに等しい。図８は、これらの関係を表した図である。以降、仮想カメラＩＣの位置座標（ｒ，θ、φ）を用いて説明する。

〔画像通信システムの概略〕
続いて、図９を用いて、本実施形態の画像通信システムの構成の概略について説明する。図９は、本実施形態の画像通信システムの構成の概略図である。

図９に示されているように、本実施形態の画像通信システムは、撮影装置１ａ，１ｂ、ビデオ会議端末３ａ，３ｂ、ディスプレイ４ａ，４ｂ、通信管理システム５、ＰＣ(Personal Computer)７、撮影装置８、及びスマートフォン９によって構成され、インターネット等の通信ネットワーク１００を介して通信することができる。通信ネットワーク１００の接続形態は、無線又は有線のいずれでも良い。

これらのうち、撮影装置１ａ，１ｂは、上述のように、被写体や風景等を撮影して全天球パノラマ画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。一方、撮影装置８は、被写体や風景等を撮影して一般の平面画像を得るための一般のデジタルカメラである。

ビデオ会議端末３ａ，３ｄは、ビデオ会議専用の端末であり、ＵＳＢ(Universal Serial Bus)ケーブル等の有線ケーブルを介して映像通話（ビデオ通話）の画像を、それぞれディスプレイ４ａ，４ｄに表示する。ビデオ会議端末３ａは、通常は後述の図１１のカメラ３１２で撮影するが、撮影装置１ａを取り付けるクレードル２ａに有線ケーブルで接続されると、撮影装置１ａが優先され、全天球パノラマ画像の元になる２つの半球画像を得ることができる。有線ケーブルを利用する場合、クレードル２ａは、撮影装置１ａとビデオ会議端末３ａとの間の通信を行なうだけでなく、撮影装置１ａに電源供給及び撮影装置１ａを支える役割を果たす。なお、ここでは、撮影装置１ａ、クレードル２ａ、ビデオ会議端末３ａ、及びディスプレイ４ａは、同じ拠点である拠点Ａに置かれている。また、拠点Ａには、４人の利用者Ａ１，Ａ２，Ａ３，Ａ４が、映像通話に参加している。一方、ビデオ会議端末３ｄ、及びディスプレイ４ｄは、同じ拠点である拠点Ｄに置かれている。また、拠点Ｄには、３人の利用者Ｄ１，Ｄ２，Ｄ３が、映像通話に参加している。

通信管理システム５は、ビデオ会議端末３ａ，３ｄ、ＰＣ７、及びスマートフォン９の通信を管理及び制御したり、送受信される画像データの種類（一般画像と特殊画像の種別）を管理したりする。よって、通信管理システムは、通信制御システムでもある。ここでは、特殊画像は全天球パノラマ画像である。なお、通信管理システム５は、ビデオ通信のサービスを行なうサービス会社等に設置されている。また、通信管理システム５は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

ＰＣ７は、撮影装置８が取り付けられることで、映像通話が可能となる。なお、ここでは、ＰＣ７、及び撮影装置８は、同じ拠点である拠点Ｃに置かれている。また、拠点Ｃには、１人の利用者Ｃが映像通話に参加している。

スマートフォン９は、自装置に設けられた後述のディスプレイ９１７に映像通話の画像を表示する。スマートフォン９は、通常は自装置に設けられた後述のＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ９０５等で撮影するが、Wi-Fi(Wireless Fidelity)やBluetooth（登録商標）等の無線通信技術を利用して、撮影装置１ｂで得られた全天球パノラマ画像の元になる２つの半球画像データを取得することができる。無線通信技術を利用する場合、クレードル２ｂは、撮影装置１ｂに電源供給と撮影装置１ｂを支えるだけの役割を果たす。なお、ここでは、撮影装置１ｂ、クレードル２ｂ、及びスマートフォン９は、同じ拠点である拠点Ｂに置かれている。また、拠点Ｂには、２人の利用者Ｂ１，Ｂ２が、映像通話に参加している。

また、ビデオ会議端末３ａ，３ｄ、ＰＣ７、及びスマートフォン９は、通信端末の一例である。各通信端末には、OpenGL ESがインストールされており、全天球パノラマ画像の一部の領域を示す所定領域情報を作成したり、他の通信端末から送られて来た全天球画像パノラマ画像から所定領域画像を作成したりすることができる。

なお、図９に示す各端末（通信端末、ディスプレイ、撮影装置）、装置、利用者の配置は一例であり、他の例であってもよい。例えば、拠点Ｃで、撮影装置８に代えて、全天球パノラマ画像の撮影が可能な撮影装置を利用者してもよい。また、通信端末には、デジタルテレビ、スマートウオッチ、カーナビゲーション装置等も含まれる。また、以降、撮影装置１ａ，１ｂのうち任意の撮影装置を表す場合には、「撮影装置１」として表す。また、ビデオ会議端末３ａ，３ｂのうち任意のビデオ会議端末を表す場合には、「ビデオ会議端末３」として表す。更に、ディスプレイ４ａ，４ｂのうち任意のディスプレイを表す場合には、「ディスプレイ４」として表す。

〔実施形態のハードウェア構成〕
次に、図１０乃至図１３を用いて、本実施形態の撮影装置１、ビデオ会議端末３、通信管理システム５、ＰＣ７、及びスマートフォン９のハードウェア構成を詳細に説明する。なお、撮影装置８は、一般のカメラであるため、詳細な説明は省略する。

＜撮影装置１のハードウェア構成＞
まず、図１０を用いて、撮影装置１のハードウェア構成を説明する。図１０は、撮影装置１のハードウェア構成図である。以下では、撮影装置１は、２つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１と同じ機能を有するようにしてもよい。

図１０に示されているように、撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているようなメルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮影装置１によっては、ディスプレイ（例えば、ビデオ会議端末３ａのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置１には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。利用者は操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してビデオ会議端末３ａ等の外部装置に送信されたりする。

通信部１１７は、撮影装置１に設けられたアンテナ１１７ａを介して、WiFiやNFC（Near Field Communication）等の近距離無線技術によって、ビデオ会議端末３ａ等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータをビデオ会議端末３ａの外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮影装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

＜ビデオ会議端末のハードウェア構成＞
次に、図１１を用いて、ビデオ会議端末３のハードウェア構成を説明する。図１１は、ビデオ会議端末のハードウェア構成図である。図１１に示されているように、ビデオ会議端末３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、フラッシュメモリ３０４、ＳＳＤ３０５、メディアＩ／Ｆ３０７、操作ボタン３０８、電源スイッチ３０９、バスライン３１０、ネットワークＩ／Ｆ３１１、カメラ３１２、撮像素子Ｉ／Ｆ３１３、マイク３１４、スピーカ３１５、音入出力Ｉ／Ｆ３１６、ディスプレイＩ／Ｆ３１７、外部機器接続Ｉ／Ｆ３１８、近距離通信回路３１９、近距離通信回路３１９のアンテナ３１９ａを備えている。

これらのうち、ＣＰＵ３０１は、ビデオ会議端末３全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。フラッシュメモリ３０４は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。ＳＳＤ（Solid State Drive）３０５は、ＣＰＵ３０１の制御にしたがってフラッシュメモリ３０４に対する各種データの読み出し又は書き込みを制御する。なお、ＳＳＤに代えてＨＤＤを用いてもよい。メディアＩ／Ｆ３０７は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御する。操作ボタン３０８は、ビデオ会議端末３の宛先を選択する場合などに操作されるボタンである。電源スイッチ３０９は、ビデオ会議端末３の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。

また、ネットワークＩ／Ｆ３１１は、インターネット等の通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。カメラ３１２は、ＣＰＵ３０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ３１３は、カメラ３１２の駆動を制御する回路である。マイク３１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ３１６は、ＣＰＵ３０１の制御に従ってマイク３１４及びスピーカ３１５との間で音信号の入出力を処理する回路である。ディスプレイＩ／Ｆ３１７は、ＣＰＵ３０１の制御に従って外付けのディスプレイ４に画像データを送信する回路である。外部機器接続Ｉ／Ｆ３１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路３１９は、ＮＦＣ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

また、バスライン３１０は、図１１に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

ディスプレイ４は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成された表示手段の一種である。また、ディスプレイ４は、ケーブル４ｃによってディスプレイＩ／Ｆ３１７に接続される。このケーブル４ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ(High-Definition Multimedia Interface)（登録商標）やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。

なお、カメラ３１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳセンサや、ＣＣＤセンサ等が用いられる。外部機器接続Ｉ／Ｆ３１８には、ＵＳＢ(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ３０１の制御に従って、内蔵型のカメラ３１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ３０１の制御に従って、それぞれが内蔵型のマイク３１４や内蔵型のスピーカ３１５に優先して、外付けマイクや外付けスピーカが駆動する。

また、記録メディア３０６は、ビデオ会議端末３に対して着脱自在な構成となっている。また、ＣＰＵ３０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ３０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。

＜通信管理システム、ＰＣのハードウェア構成＞
次に、図１２を用いて、通信管理システム５及びＰＣ７のハードウェア構成を説明する。図１２は、通信管理システム及びＰＣのハードウェア構成図である。なお、通信管理システム５及びＰＣ７は、ともにコンピュータで同じ構成を有しているため、以下では、通信管理システム５の構成について説明し、ＰＣ７の構成の説明は省略する。

通信管理システム５は、通信管理システム５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、通信管理システム５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク１００を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＣＤ－ＲＷ(Compact Disc -ReWritable)５１３に対する各種データの読み出しを制御するＣＤ－ＲＷドライブ５１４、及び、上記各構成要素を図１２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

＜スマートフォンのハードウェア構成＞
次に、図１３を用いて、スマートフォンのハードウェアについて説明する。図１３は、スマートフォンのハードウェア構成図である。図１３に示されているように、スマートフォン９は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＥＥＰＲＯＭ９０４、ＣＭＯＳセンサ９０５、加速度・方位センサ９０６、メディアＩ／Ｆ９０８、ＧＰＳ受信部９０９を備えている。

これらのうち、ＣＰＵ９０１は、スマートフォン９全体の動作を制御する。ＲＯＭ９０２は、ＩＰＬ等のＣＰＵ９０１の駆動に用いられるプログラムを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１のワークエリアとして使用される。ＥＥＰＲＯＭ９０４は、ＣＰＵ９０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ９０５は、ＣＰＵ９０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。加速度・方位センサ９０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ９０８は、フラッシュメモリ等の記録メディア９０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部９０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、スマートフォン９は、遠距離通信回路９１１、カメラ９１２、撮像素子Ｉ／Ｆ９１３、マイク９１４、スピーカ９１５、音入出力Ｉ／Ｆ９１６、ディスプレイ９１７、外部機器接続Ｉ／Ｆ９１８、近距離通信回路９１９、近距離通信回路９１９のアンテナ９１９ａ、及びタッチパネル９２１を備えている。

これらのうち、遠距離通信回路９１１は、通信ネットワーク１００を介して、他の機器と通信する回路である。カメラ９１２は、ＣＰＵ９０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ９１３は、カメラ９１２の駆動を制御する回路である。マイク９１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ９１６は、ＣＰＵ９０１の制御に従ってマイク９１４及びスピーカ９１５との間で音信号の入出力を処理する回路である。ディスプレイ９１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ９１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路９１９は、ＮＦＣやＢｌｕｅｔｏｏｔｈ等の通信回路である。タッチパネル９２１は、利用者がディスプレイ９１７を押下することで、スマートフォン９を操作する入力手段の一種である。

また、スマートフォン９は、バスライン９１０を備えている。バスライン９１０は、ＣＰＵ９０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、上記各プログラムが記憶されたＣＤ－ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

〔実施形態の機能構成〕
次に、図１４乃至図２１を用いて、本実施形態の機能構成について説明する。図１４及び図１５は、画像通信システムの一部の機能ブロック図である。

＜撮影装置１ａの機能構成＞
図１４に示されているように、撮影装置１ａは、受付部１２ａ、撮像部１３ａ、集音部１４ａ、通信部１８ａ、及び記憶・読出部１９ａを有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、撮影装置１は、図１０に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００ａを有している。記憶部１０００ａには、自装置のＧＵＩＤ(Globally Unique Identifier)が記憶されている。

なお、撮影装置１ｂは、受付部１２ｂ、撮像部１３ｂ、集音部１４ｂ、通信部１８ｂ、記憶・読出部１９ｂ、及び記憶部１０００ｂを有しているが、それぞれ、撮影装置１ａにおける受付部１２ａ、撮像部１３ａ、集音部１４ａ、通信部１８ａ、記憶・読出部１９ａ及び記憶部１０００ａと同様の機能を実現するため、これらの説明を省略する。

（撮影装置１ａの各機能構成）
次に、図１０及び図１４を用いて、撮影装置１ａの各機能構成について更に詳細に説明する。

撮影装置１の受付部１２ａは、主に、図１０に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者からの操作入力を受け付ける。

撮像部１３ａは、主に、図１０に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、風景等を撮像し、撮影画像データを得る。

集音部１４ａは、図１０に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、撮影装置１ａの周囲の音を集音する。

通信部１８ａは、主に、ＣＰＵ１１１の処理によって実現され、ビデオ会議端末３ａの通信部３８ａと、NFC規格、BlueTooth、WiFi等による近距離無線通信技術によって通信することができる。

記憶・読出部１９ａは、主に、図１０に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００ａに各種データ（または情報）を記憶したり、記憶部１０００ａから各種データ（または情報）を読み出したりする。

＜ビデオ会議端末３ａの機能構成＞
図１４に示されているように、ビデオ会議端末３ａは、送受信部３１ａ、受付部３２ａ、画像・音処理部３３ａ、表示制御部３４ａ、判断部３５ａ、設定部３６ａ、算出部３７ａ、通信部３８ａ、及び記憶・読出部３９ａを有している。これら各部は、図１１に示されている各構成要素のいずれかが、フラッシュメモリ３０４からＲＡＭ３０３上に展開されたビデオ会議端末３ａ用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

また、ビデオ会議端末３ａは、図１１に示されているＲＯＭ３０２、ＲＡＭ３０３、及びフラッシュメモリ３０４によって構築される記憶部３０００ａを有している。この記憶部３０００ａには、画像種類管理ＤＢ３００１ａ、撮影装置管理ＤＢ３００２ａ、表示モード管理ＤＢ３００３ａ及び操作状態管理ＤＢ３００４ａが構築されている。これらのうち、画像種類管理ＤＢ３００１ａは、図１６に示されている画像種類管理テーブルによって構成されている。撮影装置管理ＤＢ３００２ａは、図１７に示される撮影装置管理テーブルによって構成されている。表示モード管理ＤＢ３００３ａは、図１８に示されている表示モード管理テーブルによって構成されている。操作状態管理ＤＢ３００４ａは、図１９に示されている操作状態管理テーブルによって構成されている。

なお、ビデオ会議端末３ｄは、送受信部３１ｄ、受付部３２ｄ、画像・音処理部３３ｄ、表示制御部３４ｄ、判断部３５ｄ、設定部３６ｄ、算出部３７ｄ、通信部３８ｄ、記憶・読出部３９ｄ、及び記憶部３０００ｄを有しているが、それぞれ、ビデオ会議端末３ａにおける送受信部３１ａ、受付部３２ａ、画像・音処理部３３ａ、表示制御部３４ａ、判断部３５ａ、設定部３６ａ、算出部３７ａ、通信部３８ａ、記憶・読出部３９ａ、及び記憶部３０００ａと同様の機能を実現するため、これらの説明を省略する。また、ビデオ会議端末３ｄにおける記憶部３０００ｄには、画像種類管理ＤＢ３００１ｄ、撮影装置管理ＤＢ３００２ｄ、表示モード管理ＤＢ３００３ｄ及び操作状態管理ＤＢ３００４ｄが構築されているが、それぞれビデオ会議端末３ａにおける画像種類管理ＤＢ３００１ａ、撮影装置管理ＤＢ３００２ａ、表示モード管理ＤＢ３００３ａ、操作状態管理ＤＢ３００４ａと同様のデータ構造であるため、これらの説明を省略する。

（画像種類管理テーブル）
図１６は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データＩＤ、送信元端末の宛先の一例であるＩＰアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データＩＤは、ビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データＩＤが付加されている。これにより、送信先端末（受信側の通信端末）は、受信した画像データの送信元端末を特定することができる。送信元端末のＩＰアドレスは、関連付けられている画像データＩＤで示される画像データを送信する通信端末のＩＰアドレスを示す。ソース名は、関連付けられている画像データＩＤで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末３ａ等の各通信端末によって作成された名称である。

なお、通信端末のＩＰアドレスは、端末識別情報の一例である（以下同様）。

例えば、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」、「１．３．２．３」の４つの通信端末は、それぞれ、画像データＩＤ「ＲＳ００１」、「ＲＳ００２」、「ＲＳ００３」、「ＲＳ００４」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video_Theta」、「Video_Theta」、「Video」、「Video」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」である旨を示している。なお、特殊画像は、ここでは、全天球パノラマ画像である。

なお、画像データ以外のデータについても、画像データＩＤと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。また、画像データ以外のデータについても、画像データＩＤと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。

（撮影装置管理テーブル）
図１７は、撮影装置管理テーブルを示す概念図である。この撮影装置管理テーブルでは、全天球パノラマ画像の元になる２つの半球画像を得ることができる撮影装置のＧＵＩＤのうちのベンダＩＤとプロダクトＩＤが記憶されて管理されている。ＧＵＩＤとしては、例えば、ＵＳＢデバイスで利用されるベンダＩＤ(ＶＩＤ)とプロダクトＩＤ(ＰＩＤ)が利用できる。このベンダＩＤとプロダクトＩＤは、ビデオ会議端末等の通信端末の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。

（表示モード管理テーブル）
図１８は、表示モード管理テーブルを示す概念図である。この表示モード管理テーブルでは、全天球パノラマ画像の送信元である送信元端末のＩＰアドレス、全天球パノラマ画像の送信先である送信先端末のＩＰアドレス、及び複数種類の表示モードが関連付けて管理されている。

この表示モード管理テーブルで管理する情報の設定は、各拠点で通信端末によって行うことができる。設定された情報は、通信管理システム５を介して、他の全ての拠点の通信端末に送信されて、各拠点の通信端末が同じ情報を共有することができる。

ここで、表示モードの各種類について説明する。表示モードには、操作後追従モード、操作後放置モード、及び放置モードが含まれている。

操作後追従モード及び操作後放置モードは、送信先端末が送信元端末から所定領域情報を受信した場合に、送信先端末での表示画像に対する操作状態が、全天球パノラマ画像における所定領域画像を操作中(変更中)でないときは、送信先端末は所定領域情報で示される所定領域画像を優先して表示させるモードを示している。また、操作後追従モード及び操作後放置モードは、送信先端末での表示画像に対する操作状態が、全天球パノラマ画像における所定領域画像を操作中（変更中）であるときは、送信先端末は所定領域情報に従わずに操作の継続を優先するモードを示している。

更に、操作後追従モードは、送信先端末は所定領域情報に従わずに操作の継続を優先した後、操作の終了後に所定領域情報で示される所定領域画像を表示するモードを示している。

一方、操作後放置モードは、送信先端末は所定領域情報に従わずに操作の継続を優先し、操作の終了後であっても所定領域情報で示される所定領域画像を表示せずに、操作の終了時点の所定領域画像を表示したままにするモードを示している。

また、「放置モード」は、送信先端末が送信元端末から所定領域情報を受信した場合に、送信先端末での表示画像に対する操作状態が、全天球パノラマ画像における所定領域画像を操作中であるか否かに拘わらず、送信先端末は所定領域情報に従わずに、現時点で表示している所定領域画像を表示したままにするモードを示している。

なお、表示モードの種類は、上記のように３種類に限らず、２種類、又は４種類以上であってもよい。また、「放置モード」と設定せずに、何も設定しないことで、「放置モード」と同じ扱いにしてもよい。

（操作状態管理テーブル）
図１９は、操作状態管理テーブルを示す概念図である。操作状態管理テーブルでは、全天球パノラマ画像の送信元端末のＩＰアドレス毎に、操作状態、操作時刻、及び保留パラメータが対応付けられ管理されている
。これにより撮影画像データに対する操作状態管理テーブルが記憶されている通信端末による操作状態を管理することができる。

これらのうち、全天球パノラマ画像の送信元端末のＩＰアドレスは、全天球パノラマ画像（撮影画像データ）を送信している通信端末の端末識別情報の一例である。

操作状態は、送信元端末から送られて来た全天球パノラマ画像（撮影画像データ）における一部の領域である所定領域画像に対して利用者が操作中又は、操作をしないで待機中であるかを示す。所定領域画像に対する操作は、１つの全天球パノラマ画像内においてディスプレイで表示される所定領域画像を変更する操作である。この操作は、利用者がマウス等によってディスプレイ上に表示されているカーソルを移動させる場合や、利用者が指によってディスプレイ上をスワイプする場合等によって行われる。また、「操作中」は、ディスプレイ上に表示されている所定領域画像に対して操作が行われている状態を示す。また「待機中」は、ディスプレイ上に表示されている所定領域画像に対して操作が最後に行われてから一定時間（例えば、３秒間）以上が経過した状態を示す。なお、「待機中」は「操作中でない」と示しても良い。

操作時刻は、操作状態が「操作中」である場合に、利用者により最後に所定領域画像が操作された時刻を示し、例えばタイムスタンプの状態で記録される。

保留パラメータは、送信先端末において、操作状態が「操作中」の場合に受信された所定領域情報を示す。保留パラメータは、操作状態が「操作中」から「待機中」に変更後に、所定領域画像を表示するために使用される。なお、保留パラメータが無い場合は「なし」と設定されるか、又は何も設定されない。

（ビデオ会議端末３ａの各機能構成）
次に、図１１及び図１４を用いて、ビデオ会議端末３ａの各機能構成について更に詳細に説明する。

ビデオ会議端末３ａの送受信部３１ａは、主に、図１１に示されているネットワークＩ／Ｆ３１１及びＣＰＵ３０１の処理によって実現され、通信ネットワーク１００を介して、通信管理システム５と各種データ（または情報）の送受信を行う。

受付部３２ａは、主に操作ボタン３０８及びＣＰＵ３０１による処理によって実現され、利用者から各種の選択又は入力を受け付ける。また、操作ボタン３０８だけでなく、他の入力手段としてタッチパネル等を用いてもよい。

画像・音処理部３３ａは、図１１に示されているＣＰＵ３０１からの命令によって実現され、カメラ３１２が被写体を撮像して得た画像データに対して画像処理を行なう。また、画像・音処理部３３ａは、マイク３１４によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行なう。

更に、画像・音処理部３３ａは、表示制御部３４がディスプレイ４に画像を表示させるため、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行なう。具体的には、画像種類情報が特殊画像である旨を示す場合には、画像・音処理部３３ａは、画像データ（例えば、図３（ａ），（ｂ）に示されているような各半球画像のデータ）に基づいて、図４（ｂ）に示されているような全天球パノラマ画像データに変換することで全天球パノラマ画像データを作成し、更に、図６（ｂ）に示されているような所定領域画像を作成する。また、画像・音処理部３３ａは、他の通信端末から通信管理システム５を介して受信された音データに係る音声信号をスピーカ３１５に出力し、スピーカ３１５から音声を出力させる。

表示制御部３４ａは、主にディスプレイＩ／Ｆ３１７及びＣＰＵ３０１の処理によって実現され、ディスプレイ４に各種画像や文字等を表示させるための制御を行う。

判断部３５ａは、主にＣＰＵ３０１の処理によって実現され、例えば、撮影装置１ａから受信された画像データに係る画像種類を判断する。

設定部３６ａは、主にＣＰＵ３０１の処理によって実現され、判断部３５ａによる各種判断結果に基づき、必要な設定を行う。例えば、一般画像又は特殊画像（ここでは、全天球パノラマ画像）と判断された結果に基づき、上述の命名規則に従って、画像種類情報の一例であるソース名を設定する。判断部３５ａが、一般画像であると判断した場合には、設定部３６ａは、一般画像である旨を示すソース名「Video」を作成する。一方、判断部３５ａが、特殊画像であると判断した場合には、設定部３６ａは、特殊画像である旨を示すソース名「Video_Theta」を設定する。

算出部３７ａは、主にＣＰＵ３０１の処理によって実現され、所定領域Ｔ２を示す所定領域情報(i2)、及び送受信部３１ａによって他の通信端末から受信された所定領域情報(i1)に基づき、撮影画像において所定領域Ｔ２に対する所定領域Ｔ１の方向を算出する。なお、所定領域情報(i1)は、撮影画像における所定領域Ｔ１を示している。また、撮影画像の全体が表示された場合の画像は、「全体画像」ともいう。

通信部３８ａは、主に、近距離通信回路３１９、アンテナ３１８ａ、及びＣＰＵ３０１の処理によって実現され、撮影装置１ａの通信部１８ａと、NFC、BlueTooth、WiFi等による近距離無線技術によって通信することができる。なお、通信部３８ａと送受信部３１ａとは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。

記憶・読出部３９ａは、主に、図１１に示されているＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

＜通信管理システムの機能構成＞
次に、図１２及び図１５を用いて、通信管理システム５の各機能構成について詳細に説明する。通信管理システム５は、送受信部５１、判断部５５、生成部５６、及び記憶・読出部５９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信管理システム５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、通信管理システム５は、図１２に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、セッション管理ＤＢ５００１、及び画像種類管理ＤＢ５００２が構築されている。このうち、セッション管理ＤＢ５００１は、図２０に示されているセッション管理テーブルによって構成されている。画像種類管理ＤＢ５００２は、図２１に示される画像種類管理テーブルによって構成されている。

（セッション管理テーブル）
図２０は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションＩＤ、及び参加した通信端末のＩＰアドレスが関連付けて記憶されて管理されている。このうち、セッションＩＤは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションＩＤは、ビデオ会議端末３ａ等の各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のＩＰアドレスは、関連付けられているセッションＩＤで示される仮想の会議室に参加した通信端末のＩＰアドレスを示している。

（画像種類管理テーブル）
図２１は、画像種類管理テーブルを示す概念図である。図２０に示されている画像種類管理テーブルでは、図１６に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションＩＤと同じセッションＩＤが関連付けて管理されている。ここでは、同じセッションＩＤ「ｓｅ１０１」で示される仮想の会議室には、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」の３つの通信端末が参加していることが示されている。なお、通信管理システム５において、ビデオ会議端末３ａ等の通信端末で管理される、画像データＩＤ、送信元端末のＩＰアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。

（通信管理システムの各機能構成）
次に、図１２及び図１５を用いて、通信管理システム５の各機能構成について詳細に説明する。

通信管理システム５の送受信部５１は、主に、図１２に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク１００を介してビデオ会議端末３ａ，３ｄ、又はＰＣ７と各種データ（または情報）の送受信を行う。

判断部５５は、主にＣＰＵ５０１の処理によって実現され、各種判断を行なう。

生成部５６は、主にＣＰＵ５０１の処理によって実現され、画像データＩＤを生成する。

記憶・読出部５９は、主に、図１２に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

＜ＰＣの機能構成＞
次に、図１２及び図１４を用いて、ＰＣ７の機能構成について詳細に説明する。ＰＣ７は、基本的にビデオ会議端末３ａと同じ機能を有している。即ち、図１４に示されているように、ＰＣ７は、送受信部７１、受付部７２、画像・音処理部７３、表示制御部７４、判断部７５、設定部７６、算出部７７、通信部７８、及び記憶・読出部７９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたＰＣ７用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、ＰＣ７は、図１２に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。この記憶部７０００には、画像種類管理ＤＢ７００１、撮影装置管理ＤＢ７００２、表示モード管理ＤＢ７００３及び操作状態管理ＤＢ７００４が構築されている。なお、画像種類管理ＤＢ７００１、撮影装置管理ＤＢ７００２、表示モード管理ＤＢ７００３、操作状態管理ＤＢ７００４は、それぞれ画像種類管理ＤＢ３００１ａ、撮影装置管理ＤＢ３００２ａ、表示モード管理ＤＢ３００３ａ、操作状態管理ＤＢ３００４ａと同じデータ構造であるため、これらの説明を省略する。

（ＰＣの各機能構成）
ＰＣ７の送受信部７１は、主に、図１２に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、送受信部３１ａと同様の機能を実現する。

受付部７２は、主にキーボード５１１、マウス５１２及びＣＰＵ５０１の処理によって実現され、受付部３２ａと同様の機能を実現する。画像・音処理部７３は、主にＣＰＵ５０１からの命令によって実現され、画像・音処理部３３ａと同様の機能を実現する。表示制御部７４は、主にＣＰＵ５０１の処理によって実現され、表示制御部３４ａと同様の機能を実現する。判断部７５は、主にＣＰＵ５０１の処理によって実現され、判断部３５ａと同様の機能を実現する。設定部７６は、主にＣＰＵ５０１の処理によって実現され、設定部３６ａと同様の機能を実現する。算出部７７は、主にＣＰＵ５０１の処理によって実現され、算出部３７ａと同様の機能を実現する。通信部７８は、主に、ＣＰＵ５０１の処理によって実現され、通信部３８ａと同様の機能を実現する。記憶・読出部７９ａは、ＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。

＜スマートフォンの機能構成＞
次に、図１３及び図１４を用いて、スマートフォン９の機能構成について詳細に説明する。スマートフォン９は、基本的にビデオ会議端末３ａと同じ機能を有している。即ち、図１４に示されているように、スマートフォン９は、送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、設定部９６、算出部９７、通信部９８、及び記憶・読出部９９を有している。これら各部は、図１３に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ９０４からＲＡＭ９０３上に展開されたスマートフォン９用プログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能又は手段である。

また、スマートフォン９は、図１３に示されているＲＯＭ９０２、ＲＡＭ９０３、及びＥＥＰＲＯＭ９０４によって構築される記憶部９０００を有している。この記憶部９０００には、画像種類管理ＤＢ９００１、撮影装置管理ＤＢ９００２、表示モード管理ＤＢ９００３及び操作状態管理ＤＢ９００４が構築されている。なお、画像種類管理ＤＢ９００１、撮影装置管理ＤＢ９００２、表示モード管理ＤＢ９００３、操作状態管理ＤＢ９００４はそれぞれ、画像種類管理ＤＢ３００１ａ、撮影装置管理ＤＢ３００２ａ、表示モード管理ＤＢ３００３ａ、操作状態管理ＤＢ３００４ａと同じデータ構成であるため、これらの説明を省略する。

（スマートフォンの各機能構成）
スマートフォン９の送受信部９１は、主に、図１３に示されている遠距離通信回路９１１及びＣＰＵ９０１の処理によって実現され、送受信部３１ａと同様の機能を実現する。

受付部９２は、主にタッチパネル９２１及びＣＰＵ９０１の処理によって実現され、受付部３２ａと同様の機能を実現する。

画像・音処理部９３は、主にＣＰＵ９０１からの命令によって実現され、画像・音処理部３３ａと同様の機能を実現する。表示制御部９４は、主にＣＰＵ９０１の処理によって実現され、表示制御部３４ａと同様の機能を実現する。判断部９５は、主にＣＰＵ９０１の処理によって実現され、判断部３５ａと同様の機能を実現する。設定部９６は、主にＣＰＵ９０１の処理によって実現され、設定部３６ａと同様の機能を実現する。算出部９７は、主にＣＰＵ９０１の処理によって実現され、算出部３７ａと同様の機能を実現する。通信部９８は、主に、ＣＰＵ９０１の処理によって実現され、通信部３８ａと同様の機能を実現する。記憶・読出部９９は、ＣＰＵ９０１の処理によって実現され、記憶部９０００に各種データ（または情報）を記憶したり、記憶部９０００から各種データ（または情報）を読み出したりする。

〔実施形態の処理又は動作〕
続いて、図２２乃至図３１を用いて、本実施形態の処理又は動作について説明する。

＜参加の処理＞
まず、図２２及び図２３を用いて、特定の通信セッションへの参加処理について説明する。図２２は、特定の通信セッションへの参加処理を示したシーケンス図である。図２３は、通信セッション（仮想の会議室）の選択画面を示した図である。

まず、拠点Ａの利用者（例えば、利用者Ａ１）が、ビデオ会議端末３ａにおいて、通信セッション（仮想の会議室）の選択画面の表示を行なう操作をすると、受付部３２ａが選択画面を表示する操作を受け付け、表示制御部３４ａがディスプレイ４ａに、図２３に示されているような選択画面を表示する（ステップＳ２１）。この選択画面には、選択対象である各仮想の会議室Ｒ１，Ｒ２，Ｒ３等を示す選択ボタンｂ１，ｂ２，ｂ３等が表示されている。また、各選択ボタンｂ１等には、各セッションＩＤが関連付けられている。

ここで、利用者Ａ１が仮想の会議室の所望の選択ボタン（ここでは選択ボタンｂ１）を選択すると、受付部３２ａは、通信セッションの選択を受け付ける（ステップＳ２２）。そして、送受信部３１ａは、通信管理システム５に対して、仮想の会議室への参加要求を送信する（ステップＳ２３）。この参加要求には、ステップＳ２２で選択を受け付けられた通信セッションを示すセッションＩＤ、及び要求元端末であるビデオ会議端末３ａのＩＰアドレスが含まれている。これにより、通信管理システム５の送受信部５１は、参加要求を受信する。

次に、記憶・読出部９９は、セッション管理ＤＢ５００１（図１９参照）において、ステップＳ２３で受信されたセッションＩＤと同じセッションＩＤのレコードにおける参加端末ＩＰアドレスのフィールドに、ステップＳ２３で受信されたＩＰアドレスを追加することで、通信セッションへの参加処理を行なう（ステップＳ２４）。そして、送受信部５１は、ビデオ会議端末３ａに対して、参加要求応答を送信する（ステップＳ２５）。この参加要求応答には、ステップＳ２３によって受信されたセッションＩＤ、及び参加処理結果が含まれている。これにより、ビデオ会議端末３ａの送受信部３１ａは、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。

＜画像種類情報の管理処理＞
続いて、図２４を用いて、画像種類情報の管理処理を説明する。図２４は、画像種類情報の管理処理を示すシーケンス図である。

まず、拠点Ａの利用者（例えば、利用者Ａ１）が、ビデオ会議端末３ａに、撮影装置１ａが取り付けられた状態のクレードル２ａのＵＳＢケーブルを接続すると、撮影装置１ａの記憶・読出部１９ａが記憶部１０００ａに記憶されている自装置（撮影装置１ａ）のＧＵＩＤを読み出し、通信部１８ａがビデオ会議端末３ａの通信部３８ａに対して自装置のＧＵＩＤを送信する（ステップＳ５１）。これにより、ビデオ会議端末３ａの通信部３８ａは、撮影装置１ａのＧＵＩＤを受信する。

次に、ビデオ会議端末３ａの判断部３５ａは、撮影装置管理ＤＢ３００２ａ（図１７参照）において、ステップＳ５１によって受信されたＧＵＩＤ中のベンダＩＤ及びプロダクトＩＤと、同じベンダＩＤ及びプロダクトＩＤが管理されているか否かを判断することで、画像種類を判断する（ステップＳ５２）。具体的には、撮影装置管理ＤＢ３００２ａにおいて、同じベンダＩＤ及びプロダクトＩＤが管理されている場合には、判断部３５ａは、撮影装置１ａが特殊画像（ここでは、全天球パノラマ画像）を撮影する撮影装置であると判断する。これに対して、撮影装置管理ＤＢ３００２ａにおいて、同じベンダＩＤ及びプロダクトＩＤが管理されていない場合には、判断部３５ａは、撮影装置１ａが一般画像を撮影する撮影装置であると判断する。

次に、記憶・読出部３９ａは、画像種類管理ＤＢ３００１ａ（図１６参照）に対して、送信元端末である自端末（ビデオ会議端末３ａ）のＩＰアドレスと、ステップＳ５２で判断された判断結果である画像種類情報とを関連付けて記憶する（ステップＳ５３）。この状態では、画像データＩＤは関連付けられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名や、画像種類（一般画像、特殊画像）である。

次に、送受信部３１ａは、通信管理システム５に対して、画像種類情報の追加要求を送信する（ステップＳ５４）。この画像種類情報の追加要求には、ステップＳ５３で記憶した送信元端末である自端末のＩＰアドレス、及び画像種類情報が含まれている。これにより、通信管理システム５の送受信部５１は、画像種類情報の追加要求を受信する。

次に、通信管理システム５の記憶・読出部５９は、ステップＳ５４によって受信された送信元端末のＩＰアドレスを検索キーとして、セッション管理ＤＢ５００１（図１９参照）を検索することにより、対応するセッションＩＤを読み出す（ステップＳ５５）。

次に、生成部５６は、固有の画像データＩＤを生成する（ステップＳ５６）。そして、記憶・読出部５９は、画像種類管理ＤＢ５００２（図２０参照）に、新たなレコードとして、ステップＳ５５で読み出されたセッションＩＤ、ステップＳ５６で生成された画像データＩＤ、並びに、ステップＳ５４で受信された送信元端末のＩＰアドレス及び画像種類情報を関連付けて記憶する（ステップＳ５７）。そして、送受信部５１は、ビデオ会議端末３ａに対して、ステップＳ５６で生成された画像データＩＤを送信する。これにより、ビデオ会議端末３ａの送受信部３１ａは、画像データＩＤを受信する（ステップＳ５８）。

次に、ビデオ会議端末３ａの記憶・読出部３９ａは、画像種類管理ＤＢ３００１ａ（図１６参照）に、上記ステップＳ５３で記憶しておいた送信元端末である自端末（ビデオ会議端末３ａ）のＩＰアドレス及び画像種類情報に関連づけて、ステップＳ５８で受信された画像データＩＤを記憶する（ステップＳ５９）。

一方、通信管理システム５の送受信部５１は、他の通信端末（ここでは、ビデオ会議端末３ｄ）に対して、画像種類情報の追加通知を送信する（ステップＳ６０）。この画像種類情報の追加通知には、ステップＳ５６で生成された画像データＩＤ、並びに、ステップＳ５３で記憶された送信元端末である自端末（ビデオ会議端末３ａ）のＩＰアドレス及び画像種類情報が含まれている。これにより、ビデオ会議端末３ｄの送受信部３１ｄは、画像種類情報の追加通知を受信する。なお、送受信部５１の送信先は、セッション管理ＤＢ５００１（図１９参照）で、ビデオ会議端末３ａのＩＰアドレスと同じセッションＩＤに関連付けられている他のＩＰアドレスである。即ち、送信先は、ビデオ会議端末３ａと同じ仮想の会議室に入っている他の通信端末である。

次に、ビデオ会議端末３ｄの記憶・読出部３９ｄは、画像種類管理ＤＢ３００１ｄ（図１６参照）に、新たなレコードとして、ステップＳ６０で受信された、画像データＩＤ、送信元端末のＩＰアドレス、及び画像種類情報を関連付けて記憶する（ステップＳ６１）。同じように、他の通信端末であるＰＣ７及びスマートフォン９にも画像種類情報の追加通信が送信され、ＰＣ７及びスマートフォン９でも、それぞれ画像種類管理ＤＢ７００１，９００１に記憶される。以上より、各通信端末では、各画像種類管理ＤＢ３００１ａ，３００１ｄ，７００１，９００１で同じ情報を共有することができる。

＜撮影画像データの通信処理＞
続いて、図２５乃至図３５を用いて、映像通話における撮影画像データの通信処理について説明する。図２５は、映像通話の状態を示したイメージ図である。このうち、図２５（ａ）は、撮影装置１ａを利用しない場合を示し、図２５（ｂ）は、撮影装置１ａを利用する場合を示している。

まず、図２５（ａ）に示されているように、撮影装置１ａを利用しないで、ビデオ会議端末３ａに予め設けられたカメラ３１２（図１１参照）を利用する場合、画角が水平１２５度で垂直７０度であるため、ビデオ会議端末３ａを各利用者Ａ１等が映る机の端に置かなければならない。このため、各利用者Ａ１等は、ビデオ会議端末３ａ側を向いて話さなければならない。また、各利用者Ａ１等がビデオ会議端末３ａの方を向くため、ディスプレイ４ａもビデオ会議端末３ａの側に置くことになる。これにより、ビデオ会議端末３ａから離れた利用者Ａ２，Ａ４は、マイク３１４（図１１参照）から離れているため、比較的大きな声で話さないといけないし、ディスプレイ４ａの表示内容が見えづらい。

これに対して、図２５（ｂ）に示されているように、撮影装置１ａを利用する場合には、全天球パノラマ画像の元になる２つの半球画像を得ることができるため、ビデオ会議端末３ａ及びディスプレイ４ａは、比較的、机の中央に置くことができる。これにより、各利用者Ａ１等は、マイク３１４に近いため、比較的小声で話すことができ、ディスプレイ４ａの表示内容も見えやすくなる。なお、拠点Ａの右側には、利用者Ａ１等が文字や絵等を書き込むことができるホワイトボード６が設置されている。

続いて、図２６を用い、図２５（ｂ）に示されている拠点Ａで得られた撮影画像データ及び音データが、通信管理システム５を介して、他の各通信端末（スマートフォン９，ＰＣ７，ビデオ会議端末３ｄ）へ送信される処理について説明する。図２６は、映像通話における撮影画像データ及び音データの通信処理を示すシーケンス図である。

まず、撮影装置１ａの通信部１８ａからビデオ会議端末３ａの通信部３８ａに対して、被写体や風景等を撮影して得た撮影画像データ及び集音して得た音データを送信する（ステップＳ１０１）。この場合、撮影装置１ａは全天球パノラマ画像の元になる２つの半球画像を得ることができる装置であるため、図３（ａ）、（ｂ）に示されているように、撮影画像データは、２つの半球画像のデータによって構成されている。これにより、ビデオ会議端末３ａの通信部３８ａは、撮影画像データ及び音データを受信する。

次に、ビデオ会議端末３ａの送受信部３１ａは、通信管理システム５に対して、撮影装置１ａから送られてきた撮影画像データ及び音データを送信する（ステップＳ１０２）。この送信には、送信対象である撮影画像データを識別するための画像データＩＤが含まれている。これにより、通信管理システム５の送受信部５１は、撮影画像データ及び画像データＩＤを受信する。

次に、通信管理システム５の送受信部５１は、ビデオ会議端末３ａと同じ映像通話に参加している通信端末（スマートフォン９，ＰＣ７，ビデオ会議端末３ｄ）に対して、撮影画像データ及び音データを送信する（ステップＳ１０３，Ｓ１０４，Ｓ１０５）。これら各送信には、送信対象である撮影画像データを識別するための画像データＩＤが含まれている。これにより、スマートフォン９の送受信部９１、ＰＣ７の送受信部７１及びビデオ会議端末３ｄの送受信部３１ｄは、それぞれ撮影画像データ、画像データＩＤ及び音データを受信する。

続いて、図２７を用いて、拠点Ｂにおけるディスプレイ９１７の表示例を説明する。図２７は、拠点Ｄにおけるディスプレイの表示例である。このうち、図２７（ａ）は、拠点Ａの撮影装置１ａからビデオ会議端末３ａを介して送られて来た撮影画像データ、及び拠点Ｂの撮影装置１ｂから送られて来た撮影画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をせずに、そのまま表示する場合を示している。一方、図２７（ｂ）は、撮影装置１ａ，１ｂから送られて来た撮影画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をした場合を示している。なお、ディスプレイ９１７の左側の表示領域（レイアウト番号「１」）には拠点Ａの画像が表示され、右側上段の表示領域（レイアウト番号「２」）には拠点Ｂ（自拠点）の画像が表示されている。更に、ディスプレイ９１７の右側中段の表示領域（レイアウト番号「３」）には拠点Ｃの画像が表示され、右側下段の表示領域（レイアウト番号「４」）には拠点Ｄの画像が表示されている。レイアウト番号「１」の表示領域は主表示領域であり、レイアウト番号「２」、「３」及び「４」の表示領域は副表示領域である。主表示領域の画像と副表示領域の画像は、各通信端末で変更することができる。通常、各拠点では、主表示領域に、映像通話の中心人物がいる拠点の画像が表示される。

ここで、全天球パノラマ画像の撮影が可能な撮影装置１ａ，１ｂから送られて来た撮影画像データをそのまま表示すると、図２７（ａ）に示されているように、拠点Ａと拠点Ｂの画像が、それぞれ図３（ａ），（ｂ）に示されているように、前側の半球画像と後側の半球画像として表示される。

これに対して、画像・音処理部９３が、全天球パノラマ画像の元になる２つの半球画像を得ることができる撮影装置１ａ，１ｂが出力した撮影画像データから、全天球パノラマ画像を作成し、更に所定領域画像を作成すると、図２７（ｂ）に示されているように、平面画像である所定領域画像が表示される。なお、拠点Ｃでは、一般画像を得る撮影装置８が撮影し、拠点Ｄでも、一般画像を得るビデオ会議端末３ｄが撮影しているため、図２７（ａ），（ｂ）のいずれも、一般画像（ここでは、平面画像）が表示されている。

また、各拠点の利用者は、同じ全天球パノラマ画像における所定領域画像に係る所定領域を変更することができる。例えば、利用者Ｂ１は、タッチパネル９２１の操作等により、受付部９２が所定領域画像の移動を受け付け、表示制御部９４は、所定領域画像をずらしたり、回転したり、縮小したり、拡大したりすることができる。これにより、図２７（ｂ）に示されているように、初期設定（デフォルト）で拠点Ａの一部の利用者Ａ１，Ａ２が表示されている所定領域画像から、図２７（ｃ）に示されているように、所定領域画像を表示することができる。具体的には、図２７（ｃ）は、図２５（ｂ）に示されている拠点Ａの撮影画像において、利用者Ａ１，Ａ２を含む所定領域画像から、ホワイトボード６を含む所定領域画像に変更した状態を示している。

なお、図２７（ｂ）、（ｃ）に示されている全天球アイコン１９１，１９２は、全天球パノラマ画像の一部の所定領域Ｔを示す所定領域画像である旨を表すための特殊画像識別アイコンの一例である。なお、全天球アイコン１９１，１９２の表示位置は、右上ではなく、左上、左下、及び右下等、どこでもよい。また、全天球アイコン１９１，１９２の種類は図２７（ｂ）、（ｃ）に限らない。また、全天球アイコン１９１，１９２ではなく、「全天球画像」等の文字であってもよく、アイコンと文字の組み合わせであってもよい。

図２８を用いて、操作状態設定処理フローについて、スマートフォン９を例として説明する。

まず、スマートフォン９の判断部９５は、セッション中のある全天球パノラマ画像に対して、利用者によって表示画像に対する操作（ビュー操作）があったかどうかを判断する（Ｓ６５）。例えば、判断部９５は、スマートフォン９の画面上の判断対象の全天球パノラマ画像の一部の領域である所定領域画像（第１の所定領域画像の一例）に対して、利用者がタッチしたり、利用者が表示画像（ビュー表示領域）を選択してタッチパネル９２１で入力したりする等の操作を行ったか否かを判断する。

ステップＳ６５の判断の結果、操作があった場合（ＹＥＳ）には、設定部９６は、操作状態管理ＤＢ９００４にアクセスして判断対象の全天球パノラマ画像の一部の領域である所定領域画像に対する操作状態を、「操作中」に設定する（Ｓ６６）。

そして、設定部９６は操作状態管理ＤＢ９００４の操作時刻を、現在の時刻に更新し（Ｓ６７）、ステップＳ６５の処理に戻る。

一方、ステップＳ６５の判断の結果、操作がなかった場合（ＮＯ）には、判断部９５は、過去において最後に表示画像の操作が行われた操作時刻から所定時間経過したかを判断する（Ｓ６８）。判断する方法の例としては、判断部９５は、操作状態管理ＤＢ９００４の操作時刻を取得し、その時刻から現在までの経過時間を算出する。

ステップＳ６８の判断の結果、経過時間が所定時間未満の場合（ＮＯ）、ステップＳ６５の処理に戻る。ステップＳ６８の判断の結果、経過時間が所定時間以上の場合（ＹＥＳの場合）、設定部９６は、記憶・読出部９９を介して操作状態管理ＤＢ９００４の操作状態を「待機中」に設定する。所定時間は一例として３秒間であるが、これに限られない。所定時間は記憶部９０００に対して工場出荷前にあらかじめ設定されるようにしてもよいし、工場出荷後から、設定又は変更されるようにしてもよい。

本処理フローは、通信セッションに参加中の各通信端末において、他の通信端末と共有されている全天球パノラマ画像毎に定期的に実行される。

続いて、図２９を用いて、図２７（ｂ）のように所定領域画像を表示した場合、及び図２７（ｂ）から図２７（ｃ）のように所定領域画像を変更した場合の画像通信システムにおける処理について説明する。図２８は、所定領域情報を共有する処理を示したシーケンス図である。図２８では、拠点Ａのビデオ会議端末３ａが第３の通信端末であり、拠点Ｄのビデオ会議端末３ｄが他の通信端末であり、拠点Ｂのスマートフォン９が通信端末（自端末）である。

まず、図２７（ｂ）に示されているように、拠点Ｄで利用者Ｄ１等がビデオ会議端末３ｄを利用して拠点Ａの所定領域画像を表示させた場合、ビデオ会議端末３ｄの送受信部３１ｄは、通信管理システム５に対して、表示された所定領域画像を示す所定領域情報を送信する（Ｓ１１１）。この所定領域情報には、撮影画像データの送信元であるビデオ会議端末３ａのＩＰアドレス、及び撮影画像データの送信先（所定領域情報の送信元）であるビデオ会議端末３ｄのＩＰアドレスが含まれている。これにより、通信管理システム５の送受信部５１は、所定領域情報を受信する。

次に、送受信部５１は、所定領域情報の送信元であるビデオ会議端末３ｄと同じ映像通話を行なっている他の通信端末（ビデオ会議端末３ａ、スマートフォン９、ＰＣ７）に対して、ステップＳ１１１で受信された各ＩＰアドレスを含む所定領域情報を配信（送信）する（Ｓ１１２，Ｓ１１３，Ｓ１１４）。

なお、本フローによる処理は、図２７（ｂ）から図２７（ｃ）のように、ビデオ会議端末３ｄで所定領域画像が変更される度に行なわれる。

以上により、拠点Ａで変更された所定領域画像を示す所定領域情報は、同じ映像通話中の他拠点Ｂ，Ｃ，Ｄの各通信端末に送信される。この処理は、拠点Ｂ，Ｃ，Ｄにおいて所定領域画像が変更された場合も同様に行なわれ、同じ映像通話中の全拠点で互いに他拠点で表示中の所定領域画像を示す所定領域情報が共有される。

続いて、図３０、図３３乃至図３５を用いて、任意の拠点（例えば拠点Ｂ）の通信端末（例えばスマートフォン９）が、他拠点（例えば拠点Ａ）の他の通信端末（例えばビデオ会議端末３ａ）から所定領域情報を受信したときに実行される所定領域情報の受信処理について説明する。図３０は、所定領域情報の受信処理を示したフローチャートである。なお、図３０に示されている処理フローは、通信セッションに参加中の各通信端末が、通信セッションの参加中の他の通信端末から所定領域情報を受信する度に実行される。

また、図３３（ａ）は拠点Ｂにおいて図２７（ｃ）と同じ表示画像を示した図である。図３３（ｂ）は拠点Ａにおける映像通話の状態を示したイメージ図であり、図３３（ａ）に示す拠点Ａの様子を示した所定領域画像に対応する拠点Ａの撮影範囲を矢印で示した図である。

図３４（ａ）は図３３（ａ）の拠点Ａの様子を示した所定領域画像に対して変更の操作が行われた後の表示画像を示した図である。図３４（ｂ）は拠点Ａにおける映像通話の状態を示したイメージ図であり、図３４（ａ）に示す拠点Ａの様子を示した所定領域画像に対応する拠点Ａの撮影範囲を矢印で示した図である。

図３５（ａ）は拠点Ａの通信端末から送られて来た所定領域情報に基づく所定領域画像を含む表示画像を示した図である。図３５（ｂ）は拠点Ａにおける映像通話の状態を示したイメージ図であり、図３５（ａ）に示す拠点Ａの様子を示した所定領域画像に対応する拠点Ａの撮影範囲を矢印で示した図である。

まず、スマートフォン９の判断部９５は、表示中の所定領域画像に対する自拠点の操作状態が待機中であるか判断する（Ｓ７１）。具体的には、判断部９５が記憶・読出部９９を介して、操作状態管理ＤＢ９００４を参照することで操作状態を判断することができる。またその時点で対象の撮影画像データについて操作が行われているかを判断してもよい。

ステップＳ７１の判断結果が待機中である場合（ＹＥＳ）、判断部９５は、所定領域情報の送信元であるビデオ会議端末３ａが追従元（反映元拠点）であるかを判断する（Ｓ７２）。具体的には、記憶・読出部９９が所定領域情報の送信元の識別情報である送信元ＩＰアドレスを検索キーとして表示モード管理ＤＢ３００３ａの表示モードを参照し、表示モードが「放置モード」でなければ、判断部９５は、送信元であるビデオ会議端末３ａが追従元であると判断する。また、表示モードが「放置モード」であれば、判断部９５は、送信元であるビデオ会議端末３ａが追従元でないとすると判断する。

ステップＳ７２の判断の結果、ビデオ会議端末３ａが追従元である場合（ＹＥＳ）、画像・音処理部９３が、既に設定されている保留パラメータの値を用いて所定領域画像を作成する（Ｓ７３）。その後、表示制御部９４が、作成された所定領域画像をディスプレイ９１７上に表示して（Ｓ７４）、本処理フローは終了する。

このように、通信端末であるスマートフォン９で表示画面に対して待機中（操作が行われていない）場合には、スマートフォン９は、他の通信端末であるビデオ会議端末３ａが表示中の表示画像を自端末（スマートフォン９）に反映すべく、ビデオ会議端末３ａから受信された所定領域情報に基づく所定領域画像を優先して表示させる。ステップＳ７３とステップＳ７４を反映表示処理と呼ぶことがある。

ここで、ステップＳ７４の処理を行う場合の具体的な画面変移について説明する。この処理は、図１８に示される「放置モード」でない場合に実行される。例えば、図３３（ａ）に示されているように、拠点Ｂで各拠点の状態を示した所定領域画像が表示されている場合、拠点Ｂのスマートフォン９に拠点Ａのビデオ会議端末３ａから所定領域情報が送られて来たときは、スマートフォン９は、図３５（ａ）に示されているように、表示領域（レイアウト番号「１」）の表示画像を、ビデオ会議端末３ａで表示されている表示画像と同じ表示画像に変更する。

一方、ステップＳ７２の判断の結果、ビデオ会議端末３ａが追従元でない場合（ＮＯ）、本処理フローは終了する。この場合、スマートフォン９で表示中の表示画像はそのまま表示される。例えば、図３３（ａ）に示されているように、拠点Ｂで各拠点の状態を示した所定領域画像が表示されている場合、そのまま同じ表示画像が表示される。

ステップＳ７１の判断に戻り、ステップＳ７１の判断結果が待機中でない場合（ＮＯ）、判断部９５は、所定領域情報の送信元端末が「操作後追従モード」であるかを判断する（Ｓ７５）。具体的には、記憶・読出部９９が所定領域情報の送信元の識別情報である送信元ＩＰアドレスを検索キーとして表示モード管理ＤＢ９００３の表示モードを参照することで、判断部９５が操作後追従モードであるかを判断する。

ステップＳ７５の判断の結果、操作後追従モードである場合（ＹＥＳ）、設定部９６は、受信された所定領域情報に含まれている表示パラメータの値を、記憶・読出部９９を介して操作状態管理ＤＢ９００４の保留パラメータとして記憶して（Ｓ７６）、本処理フローを終了する。この場合、スマートフォン９は、自端末（スマートフォン９）で表示画像の操作を優先するが、操作後は操作中に受信された所定領域情報で示される所定領域画像（第２の所定領域画像の一例）表示する。この操作後追従モードによる操作後の表示処理については、図３２を用いて後述する。

また、ステップＳ７５の判断の結果、操作後追従モードでない場合（ＮＯ）、判断部９５は、送信元端末が「操作後放置モード」であるかを判断する（Ｓ７７）。具体的には、記憶・読出部９９が所定領域情報の送信元の識別情報である送信元ＩＰアドレスを検索キーとして表示モード管理ＤＢ９００３の表示モードを参照することで、判断部９５が操作後放置モードであるかを判断する。

ステップＳ７７の判断の結果、操作後放置モードでない場合（ＮＯの場合）、本処理フローは終了する。このように、所定領域情報の送信元が追従元（反映元拠点）ではない場合（ステップＳ７５、ステップＳ７６いずれもＮＯの場合）は、スマートフォン９では、受信された所定領域情報による所定領域画像（第２の所定領域画像の一例）の表示は行われず、既に表示されていた所定領域画像（第１の所定領域画像の一例）が表示されたままになる。

ステップＳ７７の判断の結果、操作後放置モードである場合（ＹＥＳ）、送受信部９１は、スマートフォン９の利用者が表示画像（第１の所定領域画像の一例）に対して操作中であるため、ビデオ会議端末３ａから送られて来た所定領域情報に基づいて所定領域画像（第２の所定領域画像の一例）を表示しない旨を示す所定のメッセージを、所定領域情報の送信元端末に送信して（Ｓ７８）、本処理フローを終了する。この場合、スマートフォン９は、自端末（スマートフォン９）で表示画像の操作を優先するが、操作後は操作中に表示していた最後の所定領域画が表示されたままになる。

ここで、ステップＳ７８の処理を行う場合の具体的な画面変移について説明する。この処理は、図１８に示される「操作後放置モード」の場合に実行される。例えば、図３３（ａ）に示されているように、当初、拠点Ｂで各拠点の状態を示した所定領域画像が表示されている場合、拠点Ｂの利用者Ｂ１が表示領域（レイアウト番号「１」）に対して操作することで、図３４（ａ）に示される所定領域画像を表示させている最中に、
スマートフォン９に拠点Ａのビデオ会議端末３ａから所定領域情報が送られて来たときは、スマートフォン９は図３４（ａ）に示される所定領域画像の表示を優先する。そして、その後に、スマートフォン９は、ビデオ会議端末３ａから送られて来た所定領域情報に追従せずに、図３４（ａ）に示される所定領域画像の表示のままにする。

なお、所定のメッセージは、表示画像に対して操作中である旨ではなく、（表示画像及び表示されていない画像を含む）全天球パノラマ画像に対して操作中である旨を示していてもよい。

また、所定のメッセージの送信によって、スマートフォン９は、所定領域画像の追従（反映）を行わない理由として、スマートフォン９で表示画像を操作中であることを、所定領域情報の送信元端末であるビデオ会議端末３ａに知らせることができる。これにより、画像通信システムの利便性を向上させることができるという効果を奏する。なお、所定のメッセージの送信は、通信管理システム５を介してビデオ会議端末３ａの撮影画像データ上の表示メッセージとして通知してもよいし、送信元端末ＩＰアドレスに電子メール等他の手段で直接送信してもよい。また、所定のメッセージの内容は、表示画像（第１の所定領域画像の一例）に対して操作中である旨を示すだけでなく、全天球パノラマ画像に対して操作中である旨を示してもよい。

ここで、図３１を用いて、所定のメッセージの通信処理について説明する。図３１は、スマートフォン９が通信端末であり、ビデオ会議端末３ａが所定領域情報を送信する他の通信端末である例である。そして、ビデオ会議端末３ａは、スマートフォン９にとって反映元拠点であり、特に「操作後放置モード」の場合の例である。

まず、ビデオ会議端末３ａは、図２９で説明したように、通信管理システム５に所定領域情報を送信し（Ｓ１２１）、所定領域情報を受信した通信管理システム５は、スマートフォン９に所定領域情報を送信する（Ｓ１２２）。すると、スマートフォン９は図３０で説明した所定領域受信処理を実行する（Ｓ１２３）。図３０において、スマートフォン９は操作中であるため、ステップＳ７１はＮＯ、ビデオ会議端末３ａは「操作後放置モード」であるためステップＳ７５はＮＯとなる。その結果、スマートフォン９は、ビデオ会議端末３ａに対して、上述の所定のメッセージを送信する（Ｓ１２４）。すると、所定のメッセージを受信したビデオ会議端末３ａの表示制御部３４ａは、所定のメッセージを表示する（Ｓ１２５）。

なお、所定のメッセージは、スマートフォン９の利用者が表示画像（第１の所定領域画像の一例）に対して操作中であるため表示画像の表示を追従（反映）しない旨を示す場合に限られない。例えば、所定のメッセージは、スマートフォン９の利用者が表示画像（第１の所定領域画像の一例）に対して操作中である旨を示しても良いし、又は、ビデオ会議端末３ａから送られて来た所定領域情報に基づいて所定領域画像（第２の所定領域画像の一例）を表示しない旨を示してもよい。更に、スマートフォン９は、所定のメッセージの送信元を示す情報(スマートフォンのＩＰアドレス、拠点名等)を所定のメッセージに含めて送信してもよい。これにより、送信元端末であるビデオ会議端末３ａの利用者は、どの通信端末が表示画面の追従を行っていないかを把握することができる。

また、所定のメッセージは記憶部３０００ａにあらかじめ記憶されていいてもよいし、送信前に作成されてもよいし、適宜変更されてもよい。

また、図３１においては、スマートフォン９がビデオ会議端末３ａに直接メッセージを送信しているが、通信管理システム５を介して送信してもよい。

更に、図３１においては、ビデオ会議端末３ａがスマートフォン９から所定のメッセージを受信する場合について説明したが、ビデオ会議端末３ａはスマートフォン９以外の拠点の通信端末から送られた所定のメッセージを受信して表示することもできる。これにより、所定領域情報を送信する他の通信端末であるビデオ会議端末３ａにおいて、所定領域の変更が各送信先端末の利用者に閲覧されているかどうかを把握することができる。

次に、図３２を用いて、操作状態遷移後の処理を説明する。

まず、記憶・読出部９９は、判断する全天球パノラマ画像の送信元ＩＰアドレスを検索キーとして、操作状態管理ＤＢ９００４を参照し、判断部９５は、保留パラメータが設定されているかどうかを判断する（Ｓ８１）。ステップＳ８１の判断の結果、保留パラメータが設定されていない場合（ＮＯ）、本処理フローは終了する。

一方、ステップＳ８１の判断の結果、保留パラメータが設定されている場合（ＹＥＳ）、
操作後追従モードであるため、画像・音処理部９３が、保留パラメータの値を用いて所定領域画像を作成し（Ｓ８２）、表示制御部９４がディスプレイ９１７上に所定領域画像を表示する（Ｓ８３）。ステップＳ８３とステップＳ８４を反映表示処理と呼ぶことがある。このようにして、通信端末は、操作中の状態から待機中の状態に遷移後、他の通信端末から受信された所定領域情報に基づく所定領域画像を表示画像として表示する。

そして、設定部９６は、操作状態管理ＤＢ９００４において、ステップＳ８２で所定領域画像が作成された保留パラメータを削除して（Ｓ８４）、本処理フローは終了する。

本処理フローは、通信セッションに参加中の各通信端末において、操作状態が待機中に遷移した全天球パノラマ画像等の撮影画像データ毎に実行される。

ここで、ステップＳ８３の処理を行う場合の具体的な画面変移について説明する。この処理は、図１８に示される「操作後追従モード」の場合に実行される。例えば、図３３（ａ）に示されているように、当初、拠点Ｂで各拠点の状態を示した所定領域画像が表示されている場合、拠点Ｂの利用者Ｂ１が表示領域（レイアウト番号「１」）に対して操作することで、図３４（ａ）に示される所定領域画像を表示させている最中に、
スマートフォン９に拠点Ａのビデオ会議端末３ａから所定領域情報が送られて来たときは、スマートフォン９は図３４（ａ）に示される所定領域画像の表示を優先する。そして、その後に、スマートフォン９は、図３５（ａ）に示されているように、表示領域（レイアウト番号「１」）の表示画像を、ビデオ会議端末３ａで表示されている表示画像と同じ表示画像に変更する。

以上のように、拠点Ｂの利用者は、表示画像の他拠点における表示範囲を自拠点に表示させることができ、また表示画像への自拠点における操作を優先して自拠点に表示画像を表示させることができる。これにより、利用者にとって、画像表示の操作性を良くするという効果を奏する。

〔実施形態の主な効果〕
以上説明したように本実施形態によれば、通信端末での表示の自由度の制限を少なくすることができるという効果を奏する。具体的には、スマートフォン９等の通信端末は、他の通信端末から送られて来た所定領域情報による所定領域画像の表示と、自拠点における操作による所定領域画像の表示とを、適切な優先順位で表示できるという効果を奏する。

〔補足〕
上記実施形態では、パノラマ画像の一例として、撮影画像（全体画像）が３次元の全天球パノラマ画像について説明したが、２次元のパノラマ画像であってもよい。

また、上記実施形態では、通信管理システム５が、各通信端末から送信された所定領域情報を中継しているが、これに限らず、各通信端末同士が直接、所定領域情報を送受信してもよい。

また、上記実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。

１ａ 撮影装置
１ｂ 撮影装置
３ａ ビデオ会議端末（他の通信端末の一例）
３ｄ ビデオ会議端末
４ａ ディスプレイ
４ｄ ディスプレイ
５ 通信管理システム
７ ＰＣ
８ 撮影装置
９ スマートフォン（通信端末の一例）
３１ｄ 送受信部
３４ｄ 表示制御部
３５ｄ 判断部
３６ｄ 設定部
９１ 送受信部（送信手段の一例、受信手段の一例）
９４ 表示制御部（表示制御手段の一例）
９５ 判断部（判断手段の一例）
９６ 設定部（設定手段の一例）
３００１ｄ 画像種類管理ＤＢ（画像種類管理手段の一例）
３００２ｄ 撮影装置管理ＤＢ（撮影装置管理手段の一例）
３００３ｄ 表示モード管理ＤＢ（表示モード管理手段の一例）
３００４ｄ 操作状態管理ＤＢ（操作状態管理手段の一例）
９００１ 画像種類管理ＤＢ（画像種類管理手段の一例）
９００２ 撮影装置管理ＤＢ（撮影装置管理手段の一例）
９００３ 表示モード管理ＤＢ（表示モード管理手段の一例）
９００４ 操作状態管理ＤＢ（操作状態管理手段の一例）

特開２００７－２１５０１２号公報

Claims (12)

1. 他の通信端末と共有した全体画像における第１の所定領域である第１の所定領域画像を表示可能な通信端末であって、
   前記全体画像における第２の所定領域である第２の所定領域画像を表示している他の通信端末が送信した当該第２の所定領域を示す所定領域情報を受信する受信手段と、
   前記受信手段によって前記所定領域情報が受信された場合に、前記第１の所定領域画像に対する操作状態に基づいて、前記所定領域情報で示された前記第２の所定領域画像の表示を制御する表示制御手段と、を有し、
   前記表示制御手段は、前記操作状態が操作中である場合には、前記第２の所定領域画像を表示させない、
   ことを特徴とする通信端末。
2. 前記表示制御手段は、前記操作状態が操作中である場合に前記第２の所定領域画像を示させないときは、前記全体画像に対する操作の終了後に、前記第２の所定領域画像を表示させる請求項１に記載の通信端末。
3. 請求項１又は２に記載の通信端末であって、
   前記操作状態が操作中である場合に、前記表示制御手段が前記第２の所定領域画像を表示させないときは、前記他の通信端末に対して所定のメッセージを送信する送信手段を有する通信端末。
4. 前記所定のメッセージは、前記全体画像又は前記第１の所定領域画像に対して操作中である旨を示すことを特徴とする請求項３に記載の通信端末。
5. 前記所定のメッセージは、前記他の通信端末から送られて来た前記所定領域情報に基づいて前記第２の所定領域画像を表示しない旨を示すことを特徴とする請求項３に記載の通信端末。
6. 請求項２に記載の通信端末であって、
   前記操作状態が操作中である場合に、前記表示制御手段が前記第２の所定領域画像を表示させないときは、前記他の通信端末に対して、操作の終了後に前記第２の所定領域画像を表示させる旨を示すメッセージを送信する送信手段を有する通信端末。
7. 前記操作状態が操作中でない場合には、前記表示制御手段は前記第２の所定領域画像を表示させる請求項１乃至６のいずれか一項に記載の通信端末。
8. 前記全体画像は、全天球パノラマ画像であることを特徴とする請求項１乃至７のいずれか一項に記載の通信端末。
9. 前記通信端末は、ビデオ会議端末、パーソナルコンピュータ、スマートフォン、デジタルテレビ、スマートウオッチ、カーナビゲーション装置のいずれか１つであることを特徴とする請求項１乃至８のいずれか一項に記載の通信端末。
10. 請求項１乃至９のいずれか一項に記載の通信端末と、
    前記他の通信端末と、
    前記通信端末及び他の通信端末の間の通信を管理する通信管理システムと、
    を有する画像通信システム。
11. 他の通信端末と共有した全体画像における第１の所定領域である第１の所定領域画像を表示可能な表示方法であって、
    前記全体画像における第２の所定領域である第２の所定領域画像を表示している他の通信端末が送信した当該第２の所定領域を示す所定領域情報を受信する受信ステップと、
    前記受信ステップによって前記所定領域情報が受信された場合に、前記第１の所定領域画像に対する操作状態に基づいて、前記所定領域情報で示された前記第２の所定領域画像の表示を制御する表示制御ステップと、を実行し、
    前記表示制御ステップは、前記操作状態が操作中である場合には、前記第２の所定領域画像を表示させない、
    ことを特徴とする表示方法。
12. コンピュータに、請求項１１に記載の方法を実行させるプログラム。