JP7205323B2 - 通信端末、画像通信システム、表示方法、及びプログラム - Google Patents

Description

本発明は、通信端末、画像通信システム、表示方法、及びプログラムに関するものである。

インターネット等の通信ネットワークを介して、遠隔地との間で遠隔会議を行う会議システムが普及している。この会議システムにおいては、遠隔会議を行う出席者等の当事者の一方がいる会議室において、遠隔会議システムの通信端末を用いて会議の当事者などの会議室の画像および発言などの音声を撮影および収集し、これらをデジタルデータに変換して相手方の通信端末に送信している。これにより、相手方の会議室のディスプレイに画像表示およびスピーカにより音声出力して、映像通話（ビデオ通話）を行なうことができるため、実際の会議に近い状態で遠隔地間の会議を行うことができる（特許文献１参照）。

また、通信端末に全天球パノラマ画像をリアルタイムに取得可能な撮影装置を接続し、この撮影装置から取得された全天球パノラマ画像を相手方の各通信端末に送信し、相手方の各通信端末において、全天球パノラマ画像から当該画像の一部である所定領域を示す所定領域画像をディスプレイ等に表示する技術が知られている（特許文献２参照）。これにより、各拠点の利用者は、全天球パノラマ画像の全体画像のうちで自分が気になる所定領域を示す所定領域画像を独自に決めて表示することができる。

更に、画像データの送り手側で、どの角度の画像がより多くの利用者に見られており、またどの画像データが殆ど見られていないか等の分析を行なう目的で、パノラマ、全天球動画など異なる視点位置からの画像データの視聴画像領域データの解析を可能とした通話システムが開示されている（特許文献３参照）。

しかしながら、従来の通話システムでは、全天球パノラマ画像上の受信者の視点位置とスマートフォン・カメラの画像の撮影位置が異なる場合、受信者、もしくは送信者が受信者の全天球パノラマ・カメラの画像からスマートフォン・カメラの画像を切り替えると、受信者は視点が急に切り替わるため、どこを見ているのか分からなくなるという問題があった。

本発明は上述した事情に鑑みてなされたものであり、射影方式が異なり表示される領域も異なる画像に切り替える場合でも、閲覧者の閲覧の補助を行うことを目的とする。

請求項１に係る発明は、他の通信端末から、第１の射影方式の第１の画像、及び第１の射影方式とは異なる第２の射影方式の第２の画像を取得する取得手段と、
前記第１の画像の第１の所定領域である第１の所定領域画像を表示した後に、前記第１の画像において、前記第１の所定領域と前記第２の画像に対応する第２の所定領域との間における中間の所定領域である中間領域画像を表示し、その後に前記第２の画像を表示する表示制御手段と、を有することを特徴とする通信端末である。

以上説明したように本発明によれば、射影方式が異なり表示される領域も異なる画像に切り替える場合でも、閲覧者の閲覧の補助を行うことができるという効果を奏する。

（ａ）は撮影装置の左側面図であり、（ｂ）は撮影装置の正面図であり、（ｃ）は撮影装置の平面図である。 撮影装置の使用イメージ図である。 （ａ）は撮影装置で撮影された半球画像（前）、（ｂ）は撮影装置で撮影された半球画像（後）、（ｃ）はメルカトル図法により表された画像を示した図である。 （ａ）メルカトル画像で球を被う状態を示した概念図、（ｂ）全天球パノラマ画像を示した図である。 全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されたている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 球座標による３次元ユークリッド空間内の点を示した図である。 本発明の実施形態に係る画像通信システムの概略図である。 撮影装置のハードウェア構成図である。 通信管理システム及びＰＣのハードウェア構成図である。 スマートフォンのハードウェア構成図である。 画像通信システムの機能ブロック図である。 （ａ）画像種類管理テーブルを示す概念図、（ｂ）撮影装置管理テーブルを示す概念図、（ｃ）視点切り替え移動速度管理テーブルを示す概念図である。 （ａ）セッション管理テーブルを示す概念図、（ｂ）画像種類管理テーブルを示す概念図である。 特定の通信セッションへの参加処理を示したシーケンス図である。 通信セッション（仮想の会議室）の選択画面を示した図である。 画像種類情報の管理処理を示すシーケンス図である。 映像通話における撮影画像データ及び音データの通信処理を示すシーケンス図である。 特徴点からの対応座標を算出する際の画像の概念図である。 （ａ）角度の定義を示した図、（ｂ）角度範囲の定義を示した図である。 スマートフォン７における各所定領域画像の表示処理を示したフローチャートである。 全天球パノラマ画像における各所定領域画像を示す図である。 スマートフォン７で表示された画面の推移を示す図である。

以下、図面を用いて、本発明の実施形態について説明する。

〔実施形態の概略〕
＜全天球パノラマ画像の生成方法＞
図１乃至図７を用いて、全天球パノラマ画像の生成方法について説明する。

まず、図１を用いて、撮影装置１の外観を説明する。撮影装置１は、３次元の全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は撮影装置の左側面図であり、図１（ｂ）は撮影装置の正面図であり、図１（ｃ）は撮影装置の平面図である。

図１（ａ）に示されているように、撮影装置１は、人間が片手で持つことができる大きさである。また、図１（ａ），図１（ｂ），図１（ｃ）に示されているように、撮影装置１の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。これら撮像素子（画像センサ）１０３ａ，１０３ｂは、半球画像（画角１８０°以上）の撮影が可能な光学部材（例えば、後述する図１０の魚眼レンズ１０２ａ，１０２ｂ）と併せて用いられる。また、図１（ｂ）に示されているように、撮影装置１の正面側と反対側の面には、シャッターボタン等の操作部１１５が設けられている。

次に、図２を用いて、撮影装置１の使用状況を説明する。なお、図２は、撮影装置の使用イメージ図である。撮影装置１は、図２に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、撮影装置１で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図３（ａ）は撮影装置で撮影された半球画像（前側）、図３（ｂ）は撮影装置で撮影された半球画像（後側）、図３（ｃ）はメルカトル図法により表された画像（以下、「メルカトル画像」という）を示した図である。図４（ａ）はメルカトル画像で球を被う状態を示した概念図、図４（ｂ）は全天球パノラマ画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮影装置１によって合成され、図３（ｃ）に示されているように、メルカトル画像が作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。

以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像ＣＥが、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。

そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。なお、所定領域情報、仮想カメラＩＣの位置座標ではなく、所定領域Ｔである仮想カメラＩＣの撮影領域（Ｘ，Ｙ，Ｚ）によって示してもよい。以下では、仮想カメラＩＣの撮影方向（ｒＨ，ｒＶ）と画角（α）を用いて説明する。

図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図７に示されているように、ｒＨはHorizontal Radian、ｒＶはVertical Radian、αは画角(Angle)を示す。即ち、撮影方向（ｒＨ，ｒＶ）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。

Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
図８は、球座標による３次元ユークリッド空間内の点を示した図である。中心点ＣＰを球面極座標系で表現したときの位置座標を（ｒ、θ、φ）とする。（ｒ、θ、φ）は、それぞれ動径、極角、方位角である。動径ｒは、全天球パノラマ画像を含む三次元の仮想空間の原点から中心点ＣＰまでの距離であるため、ｆに等しい。図８は、これらの関係を表した図である。以降、仮想カメラＩＣの位置座標（ｒ，θ、φ）を用いて説明する。

＜画像通信システムの概略＞
続いて、図９を用いて、本実施形態の画像通信システムの構成の概略について説明する。図９は、本実施形態の画像通信システムの構成の概略図である。

図９に示されているように、本実施形態の画像通信システムは、撮影装置１、通信管理システム５、スマートフォン７、及びスマートフォン３によって構成されている。撮影装置１とスマートフォンは、Wi-FiやNFC（Near Field Communication）等の近距離離無線技術により通信することができる。通信管理システム５、スマートフォン７、及びスマートフォン３は、インターネット等の通信ネットワーク１００を介して通信することができる。通信ネットワーク１００の接続形態は、無線又は有線のいずれでも良い。

これらのうち、撮影装置１は、上述のように、被写体や風景等を撮影して全天球パノラマ画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。

ここでは、撮影装置１及びスマートフォン３は、同じ拠点である拠点Ａに置かれている。また、拠点Ａでは、利用者ａが、撮影装置１及びスマートフォン３を操作して映像通話に参加している。一方、スマートフォン７は、拠点Ｂに置かれている。また、拠点Ｂでは、利用者ｂが、スマートフォン７を操作して、映像通話に参加している。

通信管理システム５は、ビデオ会議端末３、スマートフォン７、及びスマートフォン３の通信を管理及び制御したり、送受信される画像データの種類（一般画像と特殊画像の種別）を管理したりする。よって、通信管理システムは、通信制御システムでもある。ここでは、特殊画像は全天球パノラマ画像である。なお、通信管理システム５は、ビデオ通信のサービスを行なうサービス会社等に設置されている。また、通信管理システム５は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

スマートフォン３，７は、通信端末の一例であり、自装置に設けられた後述のディスプレイ９１７に映像通話の画像を表示する。また、通信端末には、デジタルテレビ、スマートウオッチ、カーナビゲーション装置等も含まれる。

スマートフォン３，７は、通常は自装置に設けられた後述のＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ９０５等で撮影するが、NFC(Near Field Communication)、Bluetooth(登録商標)、Wi-Fi等の近距離無線技術を利用して、撮影装置で得られた全天球パノラマ画像の元になる２つの半球画像データを取得することができる。図９では、拠点Ａのスマートフォン３は、撮影装置１から２つの半球画像データを取得して、通信管理システム５に送信するように用いられている。また、拠点Ｂのスマートフォン７は、自装置で撮影することで得られた画像データを、通信管理システム５に送信するように用いられている。

スマートフォン３，７には、OpenGL ESがインストールされており、天球パノラマ画像の一部の領域を示す所定領域情報を作成したり、他の通信端末から送られて来た全天球画像パノラマ画像から所定領域画像を作成したりすることができる。スマートフォン７には、後述の切替ボタン７００が表示さている。

なお、図９に示す各端末、装置、利用者の配置は一例であり、他の例であってもよい。例えば、拠点Ｂでも、拠点Ａと同様に全天球パノラマ画像の撮影が可能な撮影装置を利用してもよい。

〔実施形態のハードウェア構成〕
次に、図１０乃至図１２を用いて、本実施形態の撮影装置１、通信管理システム５、スマートフォン７，９のハードウェア構成を詳細に説明する。

＜撮影装置のハードウェア構成＞
まず、図１０を用いて、撮影装置１のハードウェア構成を説明する。図１０は、撮影装置１のハードウェア構成図である。以下では、撮影装置１は、２つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１と同じ機能を有するようにしてもよい。

図１０に示されているように、撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているようなメルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮影装置１によっては、ディスプレイ（例えば、ビデオ会議端末３ａのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置１には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してビデオ会議端末３ａ等の外部装置に送信されたりする。

通信部１１７は、撮影装置１に設けられたアンテナ１１７ａを介して、NFC、Bluetooth、Wi-Fi等の近距離無線技術によって、スマートフォン３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータをスマートフォン３等の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮影装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

＜通信管理システムのハードウェア構成＞
次に、図１１を用いて、通信管理システム５のハードウェア構成を説明する。図１１は、通信管理システムのハードウェア構成図である。なお、通信管理システム５及びスマートフォン７は、ともにコンピュータで同じ構成を有しているため、以下では、通信管理システム５の構成について説明し、スマートフォン７の構成の説明は省略する。

通信管理システム５は、通信管理システム５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、通信管理システム５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク１００を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ(Digital Versatile Disc -ReWritable)５１３に対する各種データの読み出しを制御するＤＶＤ－ＲＷドライブ５１４、及び、上記各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。なお、ＤＶＤ－ＲＷに限らず、他のＤＶＤ規格、各種Blu-ray Disc(Blu-rayは登録商標)、各種ＣＤ(Compact Disc)であってもよい。

＜スマートフォンのハードウェア構成＞
次に、図１２を用いて、スマートフォンのハードウェアについて説明する。図１２は、スマートフォンのハードウェア構成図である。図１２に示されているように、スマートフォン３は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＥＥＰＲＯＭ９０４、ＣＭＯＳセンサ９０５、加速度・方位センサ９０６、メディアＩ／Ｆ９０８、ＧＰＳ受信部９０９を備えている。

これらのうち、ＣＰＵ９０１は、スマートフォン３全体の動作を制御する。ＲＯＭ９０２は、ＩＰＬ等のＣＰＵ９０１の駆動に用いられるプログラムを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１のワークエリアとして使用される。ＥＥＰＲＯＭ９０４は、ＣＰＵ９０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ９０５は、ＣＰＵ９０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。加速度・方位センサ９０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ９０８は、フラッシュメモリ等の記録メディア９０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部９０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、スマートフォン３は、遠距離通信回路９１１、カメラ９１２、撮像素子Ｉ／Ｆ９１３、マイク９１４、スピーカ９１５、音入出力Ｉ／Ｆ９１６、ディスプレイ９１７、外部機器接続Ｉ／Ｆ９１８、近距離通信回路９１９、近距離通信回路９１９のアンテナ９１９ａ、及びタッチパネル９２１を備えている。

これらのうち、遠距離通信回路９１１は、通信ネットワーク１００を介して、他の機器と通信する回路である。カメラ９１２は、ＣＰＵ９０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ９１３は、カメラ９１２の駆動を制御する回路である。マイク９１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ９１６は、ＣＰＵ９０１の制御に従ってマイク９１４及びスピーカ９１５との間で音信号の入出力を処理する回路である。ディスプレイ９１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ９１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路９１９は、ＮＦＣやＢｌｕｅｔｏｏｔｈ等の通信回路である。タッチパネル９２１は、利用者がディスプレイ９１７を押下することで、スマートフォン３を操作する入力手段の一種である。

また、スマートフォン３は、バスライン９１０を備えている。バスライン９１０は、ＣＰＵ９０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、上記各プログラムが記憶されたＤＶＤ－ＲＷ等の記録媒体、並びに、これらプログラムが記憶されたＨＤは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

なお、スマートフォン７のハードウェア構成は、スマートフォン３のハードウェア構成と同じ構成であるため、図１２を代用して、説明を省略する。

〔実施形態の機能構成〕
次に、図１３乃至図１８を用いて、本実施形態の機能構成について説明する。図１３は、画像通信システムの一部の機能ブロック図である。

＜撮影装置の機能構成＞
図１３に示されているように、撮影装置１は、受付部１２、撮像部１３、集音部１４、通信部１８、及び記憶・読出部１９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、撮影装置１は、図１０に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。記憶部１０００には、自装置のＧＵＩＤ(Globally Unique Identifier)が記憶されている。

（撮影装置の各機能構成）
次に、図１３を用いて、撮影装置１の各機能構成について更に詳細に説明する。

撮影装置１の受付部１２は、主に、図１０に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者からの操作入力を受け付ける。

撮像部１３は、主に、図１０に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、風景等を撮像し、画像データ（第１の画像のデータの一例）を生成する。

集音部１４は、図１０に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、撮影装置１の周囲の音を集音する。

通信部１８は、主に、ＣＰＵ１１１の処理によって実現され、スマートフォン３の通信部９８と、NFC、Bluetooth、Wi-Fi等による近距離無線技術によって通信することができる。

記憶・読出部１９は、主に、図１０に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。

＜スマートフォン３の機能構成＞
次に、図１３及び図１４を用いて、スマートフォン３の機能構成について詳細に説明する。図１３に示されているように、スマートフォン３は、撮像部３０、送受信部３１、受付部３２、画像・音処理部３３、表示制御部３４、判断部３５、作成部３６、算出部３７、通信部３８、及び記憶・読出部３９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ９０４からＲＡＭ９０３上に展開されたスマートフォン３用プログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能又は手段である。

また、スマートフォン３は、図１３に示されているＲＯＭ９０２、ＲＡＭ９０３、及びＥＥＰＲＯＭ９０４によって構築される記憶部３０００を有している。この記憶部３０００には、画像種類管理ＤＢ３００１、及び撮影装置管理ＤＢ３００２が構築されている。画像種類管理ＤＢ３００１は画像種類管理テーブルで構成されている。撮影装置管理ＤＢ３００２は撮影装置管理テーブルで構成されている。

（画像種類管理テーブル）
図１４（ａ）は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データＩＤ、送信元端末の宛先の一例であるＩＰアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データＩＤは、ビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データＩＤが付加されている。これにより、送信先端末（受信側の通信端末）は、受信した画像データの送信元端末を特定することができる。送信元端末のＩＰアドレスは、関連付けられている画像データＩＤで示される画像データを送信する通信端末のＩＰアドレスを示す。ソース名は、関連付けられている画像データＩＤで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末３等の各通信端末によって作成された名称である。

例えば、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」の３つの通信端末は、それぞれ、画像データＩＤ「ＲＳ００１」、「ＲＳ００２」、「ＲＳ００３」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video.Theta」、「Video」、「Video.Theta」であり、これらは順に画像種類が「特殊画像」、「一般画像」、「特殊画像」である旨を示している。なお、特殊画像は、ここでは、全天球パノラマ画像である。

なお、画像データ以外のデータについても、画像データＩＤと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。また、画像データ以外のデータについても、画像データＩＤと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。

（撮影装置管理テーブル）
図１４（ｂ）は、撮影装置管理テーブルを示す概念図である。この撮影装置管理テーブルでは、全天球パノラマ画像の元になる２つの半球画像を得ることができる撮影装置のＧＵＩＤのうちのベンダＩＤとプロダクトＩＤが記憶されて管理されている。ＧＵＩＤとしては、例えば、ＵＳＢデバイスで利用されるベンダＩＤ(ＶＩＤ)とプロダクトＩＤ(ＰＩＤ)が利用できる。このベンダＩＤとプロダクトＩＤは、ビデオ会議端末等の通信端末の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。

（スマートフォン３の各機能構成）
図１３を用いて、スマートフォン３の各機能構成について更に詳細に説明する。

スマートフォン３の撮像部３０は、主に、ＣＰＵ９０１の処理、及びＣＯＭＳセンサ９１２（又は９０５）によって実現され、被写体の撮像を行って画像データ（第２の画像のデータの一例）を生成する。

送受信部３１は、主に、図１２に示されている遠距離通信回路９１１及びＣＰＵ９０１の処理によって実現され、通信ネットワーク１００を介して、通信管理システム５と各種データ（または情報）の送受信を行う。

受付部３２は、主にタッチパネル９２１及びＣＰＵ９０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。

画像・音処理部３３は、主にＣＰＵ９０１からの命令によって実現され、ＣＭＯＳセンサ９１２が被写体を撮像して得た画像データに対して画像処理を行なう。また、画像・音処理部３３は、マイク９１４によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行なう。

更に、画像・音処理部３３は、表示制御部３４がディスプレイ９１７に画像を表示させるため、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行なう。具体的には、画像種類情報が特殊画像である旨を示す場合には、画像・音処理部３３は、画像データ（例えば、図３（ａ），（ｂ）に示されているような各半球画像のデータ）に基づいて、図４（ｂ）に示されているような全天球パノラマ画像データに変換することで全天球パノラマ画像データを作成し、更に、図６（ｂ）に示されているような所定領域画像を作成する。また、画像・音処理部３３は、他の通信端末から通信管理システム５を介して受信された音データに係る音声信号をスピーカ９１５に出力し、スピーカ９１５から音声を出力させる。

表示制御部３４は、主にＣＰＵ９０１の処理によって実現され、ディスプレイ９１７に各種画像や文字等を表示させるための制御を行う。

判断部３５は、主にＣＰＵ９０１の処理によって実現され、例えば、撮影装置１から受信された画像データに係る画像種類を判断する。

作成部３６は、主にＣＰＵ９０１の処理によって実現され、判断部３５によって、一般画像又は特殊画像（ここでは、全天球パノラマ画像）と判断された結果に基づき、上述の命名規則に従って、画像種類情報の一例であるソース名を作成する。例えば、判断部３５が、一般画像であると判断した場合には、作成部３６は、一般画像である旨を示すソース名「Video」を作成する。一方、判断部３５が、特殊画像であると判断した場合には、作成部３６は、特殊画像である旨を示すソース名「Video_Theta」を作成する。

算出部３７は、主にＣＰＵ９０１の処理によって実現され、所定領域Ｔ２を示す所定領域情報(i2)、及び送受信部３１ａによって他の通信端末から受信された所定領域情報(i1)に基づき、撮影画像において所定領域Ｔ２に対する所定領域Ｔ１の位置（位置情報）を算出する。なお、所定領域情報(i1)は、撮影画像における所定領域Ｔ１を示している。また、撮影画像の全体が表示された場合の画像は、「全体画像」ともいう。また、算出部３７は、OpenGLの平面画像への変換に用いる画像変換パラメータを用いて、他の通信端末と自端末の所定領域画像の表示位置関係を計算するための処理を行う。

通信部３８は、主に、ＣＰＵ９０１の処理によって実現され、撮影装置１の通信部１８と、NFC、Bluetooth、Wi-Fi等による近距離無線技術によって通信することができる。なお、通信部３８と送受信部３１とは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。

記憶・読出部３９は、ＣＰＵ９０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

＜通信管理システムの機能構成＞
次に、図１３及び図１５を用いて、通信管理システム５の各機能構成について詳細に説明する。通信管理システム５は、送受信部５１、判断部５５、生成部５６、及び記憶・読出部５９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信管理システム５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、通信管理システム５は、図１２に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、セッション管理ＤＢ５００１、画像種類管理ＤＢ５００２、及び所定領域管理ＤＢ５００３が構築されている。このうち、セッション管理ＤＢ５００１は、図１９に示されているセッション管理テーブルによって構成されている。画像種類管理ＤＢ５００２は、図２０に示される画像種類管理テーブルによって構成されている。所定領域管理ＤＢ５００３は、図２１に示される所定領域管理テーブルによって構成されている。

（セッション管理テーブル）
図１５（ａ）は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションＩＤ、及び参加した通信端末のＩＰアドレスが関連付けて記憶されて管理されている。このうち、セッションＩＤは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションＩＤは、スマートフォン３等の通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のＩＰアドレスは、関連付けられているセッションＩＤで示される仮想の会議室に参加した通信端末のＩＰアドレスを示している。

（画像種類管理テーブル）
図１５（ｂ）は、画像種類管理テーブルを示す概念図である。図１５（ｂ）に示されている画像種類管理テーブルは、図１４（ａ）に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションＩＤと同じセッションＩＤが関連付けて管理されている。ここでは、同じセッションＩＤ「ｓｅ１０１」で示される仮想の会議室には、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」の３つの通信端末が参加していることが示されている。なお、通信管理システム５において、スマートフォン３等の通信端末で管理される、画像データＩＤ、送信元端末のＩＰアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。

（通信管理システムの各機能構成）
次に、図１１及び図１３を用いて、通信管理システム５の各機能構成について詳細に説明する。

通信管理システム５の送受信部５１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク１００を介してマートフォン７，９と各種データ（または情報）の送受信を行う。

判断部５５は、主にＣＰＵ５０１の処理によって実現され、各種判断を行なう。

生成部５６は、主にＣＰＵ５０１の処理によって実現され、画像データＩＤを生成する。

記憶・読出部５９は、主に、図１２に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

＜スマートフォン７の機能構成＞
次に、図１３及び図１４を用いて、スマートフォン７の機能構成について詳細に説明する。図１３に示されているように、スマートフォン７は、送受信部７１、撮像部７０、受付部７２、画像・音処理部７３、表示制御部７４、判断部７５、作成部７６、切替部７７、通信部７８、及び記憶・読出部７９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ９０４からＲＡＭ９０３上に展開されたスマートフォン３用プログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能又は手段である。

また、スマートフォン７は、図１３に示されているＲＯＭ９０２、ＲＡＭ９０３、及びＥＥＰＲＯＭ９０４によって構築される記憶部７０００を有している。この記憶部７０００には、画像種類管理ＤＢ７００１、撮影装置管理ＤＢ７００２、及び視点切り替え移動速度管理ＤＢ７００３が構築されている。画像種類管理ＤＢ７００１は画像種類管理テーブルで構成されている。撮影装置管理ＤＢ７００２は撮影装置管理テーブルで構成されている。視点切り替え移動速度管理ＤＢ７００３は視点切り替え移動速度管理テーブルで構成されている。なお、画像種類管理ＤＢ７００１、及び撮影装置管理ＤＢ７００２は、それぞれ、画像種類管理ＤＢ３００１、及び撮影装置管理ＤＢ３００２と同様のデータ構造を有するため、その説明を省略する。

（視点切り替え移動速度管理テーブル）
図１４（ｃ）は、視点切り替え移動速度管理テーブルを示す概念図である。この視点切り替え移動速度管理テーブルでは、管理する値は視点切り替え移動速度で数値をスマートフォン７のディスプレイ９１７より入力して設定する。ここでは、何ステップで視点を移動するかを決定する値とする。そのため、値が大きい方が視点位置切り替えの速度は遅くなり、小さいほど早くなる。

（スマートフォン７の各機能構成）
スマートフォン７における、撮像部７０、送受信部７１、受付部７２、画像・音処理部７３、表示制御部７４、判断部７５、作成部７６、通信部７８、及び記憶・読出部７９は、それぞれ、スマートフォン３における、撮像部３０、送受信部３１、受付部３２、画像・音処理部３３、表示制御部３４、判断部３５、作成部３６、通信部３８、及び記憶・読出部３９と同様の機能であるため、これらの説明を省略する。

スマートフォン７における切替部７７は、主に、ＣＰＵ９０１の処理によって実現され、画面の切り替えを行う。この切り替えの処理に関しては、後ほど詳細に説明する。

〔実施形態の処理又は動作〕
続いて、図１６乃至図２３を用いて、本実施形態の処理又は動作について説明する。

＜参加の処理＞
まず、図１６及び図１７を用いて、特定の通信セッションへの参加処理について説明する。図１６は、特定の通信セッションへの参加処理を示したシーケンス図である。図１７は、通信セッション（仮想の会議室）の選択画面を示した図である。

まず、拠点Ａの利用者（例えば、利用者ａ）が、スマートフォン３において、通信セッション（仮想の会議室）の選択画面の表示を行なう操作をすると、受付部３２が選択画面を表示する操作を受け付け、表示制御部３４がディスプレイ９１７に、図１７に示されているような選択画面を表示する（ステップＳ２１）。この選択画面には、選択対象である各仮想の会議室Ｒ１，Ｒ２，Ｒ３等を示す選択ボタンｂ１，ｂ２，ｂ３等が表示されている。また、各選択ボタンｂ１等には、各セッションＩＤが関連付けられている。

ここで、利用者ａが仮想の会議室の所望の選択ボタン（ここでは選択ボタンｂ１）を選択すると、受付部３２は、通信セッションの選択を受け付ける（ステップＳ２２）。そして、送受信部３１は、通信管理システム５に対して、仮想の会議室への参加要求を送信する（ステップＳ２３）。この参加要求には、ステップＳ２２で選択を受け付けられた通信セッションを示すセッションＩＤ、及び要求元端末であるスマートフォン３のＩＰアドレスが含まれている。これにより、通信管理システム５の送受信部５１は、参加要求を受信する。

次に、記憶・読出部９９は、セッション管理ＤＢ５００１において、ステップＳ２３で受信されたセッションＩＤと同じセッションＩＤのレコードにおける参加端末ＩＰアドレスのフィールドに、ステップＳ２３で受信されたＩＰアドレスを追加することで、通信セッションへの参加処理を行なう（ステップＳ２４）。そして、送受信部５１は、スマートフォン３に対して、参加要求応答を送信する（ステップＳ２５）。この参加要求応答には、ステップＳ２３によって受信されたセッションＩＤ、及び参加処理結果が含まれている。これにより、スマートフォン３の送受信部３１は、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。

＜画像種類情報の管理処理＞
続いて、図１８を用いて、画像種類情報の管理処理を説明する。図１８は、画像種類情報の管理処理を示すシーケンス図である。

まず、拠点Ａの利用者（例えば、利用者ａ）が、撮影装置１とスマートフォン３を操作して、撮影装置１とスマートフォン３との間で近距離無線通信を確立させると、撮影装置１の記憶・読出部１９が記憶部１０００に記憶されている自装置（撮影装置１）のＧＵＩＤを読み出し、通信部1８がスマートフォン３の通信部３８に対して自装置のＧＵＩＤを送信する（ステップＳ５１）。これにより、スマートフォン３は、撮影装置１のＧＵＩＤを受信する。

次に、スマートフォン３の判断部３５は、撮影装置管理ＤＢ３００２において、ステップＳ５１によって受信されたＧＵＩＤ中のベンダＩＤ及びプロダクトＩＤと、同じベンダＩＤ及びプロダクトＩＤが管理されているか否かを判断することで、画像種類を判断する（ステップＳ５２）。具体的には、撮影装置管理ＤＢ３００２において、同じベンダＩＤ及びプロダクトＩＤが管理されている場合には、判断部３５は、撮影装置１が特殊画像（ここでは、全天球パノラマ画像）を撮影する撮影装置であると判断する。これに対して、撮影装置管理ＤＢ３００２において、同じベンダＩＤ及びプロダクトＩＤが管理されていない場合には、判断部３５は、撮影装置１が一般画像を撮影する撮影装置であると判断する。

次に、記憶・読出部３９は、画像種類管理ＤＢ３００１に対して、送信先端末である自端末（スマートフォン３）のＩＰアドレスと、ステップＳ５２で判断された判断結果である画像種類情報とを関連付けて記憶する（ステップＳ５３）。この状態では、画像データＩＤは関連付けられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名や、画像種類（一般画像、特殊画像）である。

次に、送受信部３１は、通信管理システム５に対して、画像種類情報の追加要求を送信する（ステップＳ５４）。この画像種類情報の追加要求には、ステップＳ５３で記憶した送信元端末である自端末のＩＰアドレス、及び画像種類情報が含まれている。これにより、通信管理システム５の送受信部５１は、画像種類情報の追加要求を受信する。

次に、通信管理システム５の記憶・読出部５９は、ステップＳ５４によって受信された送信元端末のＩＰアドレスを検索キーとして、セッション管理ＤＢ５００１（図１６参照）を検索することにより、対応するセッションＩＤを読み出す（ステップＳ５５）。

次に、生成部５６は、固有の画像データＩＤを生成する（ステップＳ５６）。そして、記憶・読出部５９は、画像種類管理ＤＢ５００２（図１７参照）に、新たなレコードとして、ステップＳ５５で読み出されたセッションＩＤ、ステップＳ５６で生成された画像データＩＤ、並びに、ステップＳ５４で受信された送信元端末のＩＰアドレス及び画像種類情報を関連付けて記憶する（ステップＳ５７）。そして、送受信部５１は、スマートフォン３に対して、ステップＳ５６で生成された画像データＩＤを送信する。これにより、スマートフォン３の送受信部３１は、画像データＩＤを受信する。

次に、スマートフォン３の記憶・読出部３９は、画像種類管理ＤＢ３００１に、上記ステップＳ５３で記憶しておいた送信先端末である送信端末（スマートフォン３）のＩＰアドレス及び画像種類情報に関連づけて、ステップＳ５８で受信された画像データＩＤを記憶する（ステップＳ５９）。

一方、通信管理システム５の送受信部５１は、受信通信端末であるスマートフォン７に対して、画像種類情報の追加通知を送信する（ステップＳ６０）。この画像種類情報の追加通知には、ステップＳ５６で生成された画像データＩＤ、並びに、ステップＳ５３で記憶された送信先端末である送信端末（スマートフォン３）のＩＰアドレス及び画像種類情報が含まれている。これにより、スマートフォン７の送受信部７１は、画像種類情報の追加通知を受信する。なお、送受信部３１の送信先は、セッション管理ＤＢ５００１で、スマートフォン３のＩＰアドレスと同じセッションＩＤに関連付けられている他のＩＰアドレスである。即ち、送信先は、スマートフォン３と同じ仮想の会議室に入っている他の通信端末である。

次に、スマートフォン７の記憶・読出部７９は、画像種類管理ＤＢ９００１（図１４参照）に、新たなレコードとして、ステップＳ６０で受信された、画像データＩＤ、送信元端末のＩＰアドレス、及び画像種類情報を関連付けて記憶する（ステップＳ６１）。同じように、受信通信端末であるスマートフォン７にも画像種類情報の追加通信が送信され、スマートフォン７でも、画像種類管理ＤＢ７００１（図１４参照）に記憶される。以上より、各通信端末では、各画像種類管理ＤＢ３００１，７００１で同じ情報を共有することができる。

図１９乃至図２０を用いて、映像通話における画像データの通信処理について説明する。図１９は、映像通話における画像データの通信処理を示すシーケンス図である。

まず、撮影装置１の通信部１８からスマートフォン３の通信部３８に対して、被写体や風景等を撮影して得た図２０の第１の画像データを送信する（ステップＳ１０１）。この場合、撮影装置１は全天球パノラマ画像の元になる２つの半球画像を得ることができる装置であるため、図３（ａ）、（ｂ）に示されているように、画像データは、２つの半球画像のデータによって構成されている。これにより、スマートフォン３の通信部３８は、画像データを受信する。

次に、スマートフォン３の送受信部３１は、通信管理システム５に対して、撮影装置１から送られてきた画像データを送信する（ステップＳ１０２）。この送信には、送信対象である画像データを識別するための画像データＩＤが含まれている。これにより、通信管理システム５の送受信部５１は、画像データ及び画像データＩＤを受信する。

次に、通信管理システム５の送受信部５１は、スマートフォン７に対して、スマートフォン３から送られてきた画像データを送信する（ステップＳ１０３）。この送信には、送信対象である画像データを識別するための画像データＩＤが含まれている。これにより、スマートフォン７の送受信部７１は、画像データ及び画像データＩＤを受信する。

次に、スマートフォン７では、記憶・読出部７９が、ステップＳ１０３によって受信された画像データＩＤを検索キーとして、画像種類管理ＤＢ７００１を検索することにより、対応する画像種類情報（ソース名）を読み出す（ステップＳ１０４）。

同様に、スマートフォン３のＣＭＯＳ９１２は、被写体や風景等を撮影して得た図２０の第２の画像データを撮影する（ステップＳ１２１）。スマートフォン３の送受信部３１は、通信管理システム５に対して、ＣＭＯＳ９１２から取得された第２の画像データを送信する（ステップＳ１２２）。この送信には、送信対象である第２の画像データを識別するための画像データＩＤが含まれている。これにより、通信管理システム５の送受信部５１は、第２の画像データ及び画像データＩＤを受信する。

次に、通信管理システム５の送受信部５１は、スマートフォン７に対して、スマートフォン３から送られてきた第２の画像データを送信する（ステップＳ１２３）。この送信には、送信対象である第２の画像データを識別するための画像データＩＤが含まれている。これにより、スマートフォン７の送受信部７１は、第２の画像データ及び画像データＩＤを受信する。

次に、スマートフォン７では、記憶・読出部７９が、ステップＳ１０３によって受信された画像データＩＤを検索キーとして、画像種類管理ＤＢ７００１を検索することにより、対応する画像種類情報（ソース名）を読み出す（ステップＳ１２４）。そして、画像切り替え指示処理（Ｓ１１０参照）で、利用者からの画像切り替えの指示を処理し、第１の画像（全天球パノラマ画像）と第２の画像（スマートフォン３のＣＭＯＳ９１２）のどちらかの画像を表示制御部７４は、スマートフォン７のディスプレイ９１７に表示する。画像切り替え指示処理（Ｓ１１０参照）で切り替え指示を利用者から受けた場合、不自然さのない画像切り替え処理（Ｓ１１１参照）で、スマートフォン７の切替部７７で画像切り替え処理を行い、表示制御部７４は、スマートフォン７のディスプレイ９１７に、不自然さのない切り替え映像を表示し、指示された画像を表示する。

（表示位置関係の判定方法）
図２１乃至図２３を用いて、ステップＳ１１０で、切替部７７が、他拠点と自拠点の所定領域画像の表示位置関係を判定する方法について説明する。

図２１を用いて、判定に用いる角度の定義について説明する。初めに、自拠点の画像変換パラメータから方位角φを取得し、これを回転角φ１とする。次に他拠点の画像変換パラメータからφを取得し、これを回転角φ２とする。さらに、回転角φ２と回転角φ１の差を回転角φ３とする。図２１（ａ）はこれらの関係を表した図である。また、自拠点の回転角φを中心とした角度範囲と、自拠点水平角度に１８０度を加えた角度を中心とした角度範囲をそれぞれα１、α２とする。図２１（ｂ）はこれらの関係を表した図である。
φ３が角度範囲α１に含まれる場合は、位置関係を「前方向」とする。
φ３が角度範囲α２に含まれる場合は、位置関係を「後方向」とする。
φ３が基準水平角度と固定角度αの半分の値を引いた値が０度より大きく１８０度未満の場合は、位置関係を「右方向」と判定する。
φ３が基準水平角度から固定角度αを引いた値が０度より大きく１８０度未満の場合は、位置関係を「右方向」と判定する。
φ３が基準水平角度から固定角度αを引いた値が１８０度より大きく３６０度未満の場合は、位置関係を「左方向」と判定する。

（第１の画像から第２の画像に不自然さのない画像切り替えを行う方法）
ここで、図９を用いて、映像通話の状態を説明する。図９に示されているように、撮影装置１を利用する場合には、全天球パノラマ画像の元になる２つの半球画像を得ることができるため、利用者ａはスマートフォン３で全天球パノラマ画像の視点位置を自由に決めて表示することができる。一方、利用者ａがスマートフォン３のＣＭＯＳ９１２の画像を選択した場合、利用者ａが利用者ｂに見せたい特定の視点位置をスマートフォン９に表示する。

通常は、撮影装置１の全天球パノラ画像データを、スマーとフォン７で受信して、利用者ｂが自由な視点位置でスマートフォン７上で全天球パノラマ画像を閲覧することで、利用者ａと利用者ｂはコミュニケーションを行う。利用者ａが特定の位置を高精細な画像で見せたい、もしくは注視してほしい位置を示したい場合に、利用者ａはスマートフォン３の撮影画像を特定の位置に向ける。利用者ａは利用者ｂに特定の位置を撮影していることを音声で伝え、利用者ｂはスマートフォン７で画面の切替ボタン７００をタップする。画面の切替ボタン７０の押下は、図１９の画像切り替え指示処理（Ｓ１１０）で処理され、不自然さのない画像切り替え処理（Ｓ１１１参照）へ切り替え指示を渡す。利用者ｂが画面の切替ボタン７０を押すとスマートフォン７のディスプレイ９１７で図２３のような切り替え表示が行われる。図２３は、全天球パノラマ画像における各所定領域画像を示す図である。図２３では、撮影装置１からの全天球パノラマ画像（第１の画像の一例）を透視投影した受信者の視野領域７０１が表示されている。利用者ｂによって画面の切替ボタン７０が押下されると、第２の画像の対応領域７０５に第１の画像上での視野を移動する。この時、いきなり切り替えずに、最初の所定領域７０１（第１の所定領域画像の一例）から第２画像の対応する所定領域７０５（第２の所定領域画像の一例）の座標位置の差を視点切り替え移動速度管理ＤＢ７００３から視点位置切り替え速度に応じて移動速度で移動中の中間の所定領域７０２～７０４（中間の所定領域画像の一例）がスマートフォン７のディスプレイ９１７に順次変化しながら表示される。第２の画像に対応する所定領域７０５に移動後、スマートフォン３のＣＭＯＳ９１２の第２の画像にスマートフォン７のディスプレイ９１７の表示を切り替える。

図２４は、スマートフォン７で表示された画面の推移を示す図である。利用者ｂは、図２４に示されている推移の画像を閲覧することになる。図２３による全天球パノラマ画像における各所定領域は、スマートフォン７では、図２４に示されているように、各所定了領域７０１～７０５が表示され、最後にスマートフォン３で撮影されて生成された第２の画像に切り替え表示される。なお、所定領域７０１～７０４の表示後に、所定領域７０５を表示させず、第２の画像を表示するようにしてもよい。

図１９の画像切り替え指示処理（Ｓ１１０）で、利用者から全天球カメラの撮影装置１の画像からスマートフォン３ のカメラ9の画像に切り替え指示を受けたときの不自然さのない画像切り替え処理 ステップＳ１１１の処理について説明する。
初めに、画像・音処理部７３が、ステップＳ１０３によって受信された画像データから全天球パノラマ画像を作成し切替部７７に渡す。次に、画像・音処理部７３が、ステップＳ１２３によって受信されたスマートフォンのカメラの画像を切替部７７に渡す。

次に、前述のS111の処理を図２２ 不自然さのない画像切り替えのフローチャート で説明する。図１９の画像切り替え指示処理（Ｓ１１０）の指示をトリガーに図２２の第1画像から第2画像への切り替え処理指示（Ｓ２１０）が開始する。図１９のステップＳ１０４，Ｓ１０４，Ｓ１２４で取得された画像から、図２２の第１画像の特徴量の抽出処理（Ｓ２３０）と第2画像の特徴量の抽出（Ｓ２４０）の処理を行う。各画像の局所特徴に基づき特徴点を抽出する。局所特徴とは、エッジやプロブなど画像内に見あれるパターンや構造で、局所特徴を数値化したものである。本実施形態では、第１画像の特徴量の抽出（Ｓ２３０）と第２画像の特徴量の抽出（Ｓ２４０）は、異なる画像で各特徴点を抽出する。２つの画像は歪みが著しく大きくない限り、本実施形態のように異なる射影方式であってもよい。

第２画像の対応領域の座標算出（Ｓ２５０）は、最初に第１画像における複数の特徴点ｆｐ１に基づいた描く特徴量ｆｖ１を求めるとともに、第２画像における複数の特徴点ｆｐ２に基づいた各特徴量ｆｖ２を求める。特徴量の記述方法はいくつかの方式が提案されているが、本実施形態においてはスケールや回転に対して不変又は頑強であることが望ましい。続いて算出した第1画像の特徴点ｆｐ１の特徴量ｆｖ１と、第2画像の特徴点ｆｐ２の特徴量ｆｖ２の類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、第2画像におけるホモグラフィを算出し、このホモグラフィで変換を行う。その結果、図２３の第2画像の対応領域（Ｓ７５０）0を算出する。対応領域の４頂点の座標をT2とする。第2画像の対応領域の４頂点から中心点ＣＰ２を算出する。

第一画像の受信者視野の座標取得（Ｓ２６０）では、図６の所定領域Tを取得し、４頂点の座標をＴ１とする。所定領域Tの４頂点から中心点ＣＰ１を算出する。

ＣＰ１，ＣＰ２の算出式は、４頂点の座標をｐ１＝（ｘ１、ｙ1）、ｐ２＝（ｘ２、ｙ２）、ｐ３＝（ｘ３、ｙ３）、ｐ４＝（ｘ４、ｙ４）とすると、中心点CP（ｘ、ｙ）は下記の式で定めることができる。

S1＝((x4 - x2) * (y1 - y2) - (y4 - y2) * (x1 - x2)) / 2 ・・・（式２）
S2 = ((x4 - x2) * (y2 - y3) - (y4 - y2) * (x2 - x3)) / 2 ・・・（式３）
x = x1 + ( x3 - x1) * S1 / (S1 + S2) ・・・（式４）
y = y1 + (y3 - y1) * S1 / (S1 + S2) ・・・（式５）
また、受信者視野の座標領域と第2画像が長方形に限定される場合は、対角線画角２Lの中点を中心点CP1として下記の式で省略してもよい。

x = (x1 + x3) / 2 ・・・（式６）
y = (y1 + y3) / 2 ・・・（式７）
第１画像の座標と第２画像の対応領域の座標の差の算出（Ｓ２７０）では、ＣＰ１とＣＰ２の差を算出する。

座標の差と視点切り替え移動速度から視点移動の座標値を算出Ｓ２８０では、視点切り替え移動速度管理DB7004から視点切り替え移動速度を取得し、ＣＰ１とＣＰ２の差を割り、移動速度(x’, y’)を算出すし、移動量g1とする。

第１画像の座標から第２画像の座標へ視点移動の座標値から視野をスムーズに移動Ｓ２９０では、第１画像の受信者視野の座標Ｔ１に移動量g1を加え、移動中の視野Ｓ７４０を移動させる。これを移動速度の回数繰り返し、第２画像の対応領域Ｓ７５０まで移動中の視野Ｓ７４０を少しずつ移動していく。

移動が終わると、第１画像から第２画像への切り替えＳ３００で、第１画像から第２画像へ図１９の画像種類情報の読出（Ｓ１２４）の情報から表示制御部７４で切り替えを行い、スマートフォン７のディスプレイ９１７に第２画像を表示する。利用者ｂはスマートフォン７でスマートフォン３からの送られて来る画像を見ながら、利用者ａとコミュニケーションを行う。

〔本実施形態の主な効果〕
以上により、他拠点で全天球パノラマ画像の全体画像のうちのどこの部分の所定領域画像が表示されているかをより精度良く表示させることができるという効果を奏する。

〔補足〕
上記実施形態では、パノラマ画像の一例として、撮影画像（全体画像）が３次元の全天球パノラマ画像について説明したが、２次元のパノラマ画像であってもよい。

また、上記実施形態では、通信管理システム５が、各通信端末から送信された所定領域情報を中継しているが、これに限らず、各通信端末同士が直接、所定領域情報を送受信してもよい。

また、上記実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。

１ａ 撮影装置
１ｂ 撮影装置
３ａ ビデオ会議端末（第３の通信端末の一例／通信端末（自端末）の一例）
３ｄ ビデオ会議端末（他の通信端末の一例）
４ａ ディスプレイ
４ｄ ディスプレイ（表示手段の一例）
５ 通信管理システム
７ ＰＣ
８ 撮影装置
９ スマートフォン（通信端末（自端末）の一例）
３１ｄ 送受信部（送信手段の一例、受信手段の一例）
３７ｄ 算出部（変更手段の一例）
３００１ｄ 画像種類管理ＤＢ（画像種類管理手段の一例）
３００２ｄ 撮影装置管理ＤＢ（撮影装置管理手段の一例）
３００３ｄ 所定領域管理ＤＢ（所定領域管理手段の一例）
３００４ｄ 要求解像度管理ＤＢ（要求解像度管理手段の一例）
ｍ１１ 表示方向マーク（方向情報の一例）
ｍ１４ 表示方向マーク（方向情報の一例）
ｍ４１ 注視点マーク（対応位置情報の一例）

特開２０１２－１７８１３５号公報 特開２０１１－２２３０７６号公報 特開２００３－１３２３６２号公報

Claims (10)

1. 他の通信端末から、第１の射影方式の第１の画像、及び第１の射影方式とは異なる第２の射影方式の第２の画像を取得する取得手段と、
   前記第１の画像の第１の所定領域である第１の所定領域画像を表示した後に、前記第１の画像において、前記第１の所定領域と前記第２の画像に対応する第２の所定領域との間における中間の所定領域である中間の所定領域画像を表示し、その後に前記第２の画像を表示する表示制御手段と、
   を有することを特徴とする通信端末。
2. 前記表示制御手段は、前記中間の所定領域画像を表示した後に、前記第２の所定領域である第２の所定領域画像を表示し、その後に前記第２の画像を表示することを特徴とする請求項１に記載の通信端末。
3. 請求項１乃至２のいずれか一項に記載の通信端末であって、
   前記第１の画像における前記第１の所定領域の位置を示す第１の位置情報と、前記第２の画像における前記第２の所定領域の位置を示す第２の位置情報との差に基づいて、前記中間の所定領域の位置を算出する算出手段を有し、
   前記表示制御手段は、前記算出された前記中間の所定領域の位置に基づいて、前記中間の所定領域画像を表示することを特徴とする通信端末。
4. 前記中間の所定領域画像は複数であることを特徴とする請求項１乃至３のいずれか一項に記載の通信端末。
5. 請求項４に記載の通信端末であって、
   前記第１の画像における前記第１の所定領域の位置を示す第１の位置情報と、前記第２の画像における前記第２の所定領域の位置を示す第２の位置情報との差に基づいて、前記中間の所定領域の位置を複数算出する算出手段を有し、
   前記表示制御手段は、前記算出された前記中間の所定領域の複数の位置に基づいて、前記複数の中間の所定領域画像を表示することを特徴とする通信端末。
6. 前記第１の画像は正距円筒射影画像であり、前記第２の画像は透視射影画像であることを特徴とする請求項１乃至４のいずれか一項に記載の通信端末。
7. 前記通信端末は、スマートフォン、タブレット型パソコン、ノートパソコン、デスクトップパソコン、又はスマートウォッチであることを特徴とする請求項１乃至６のいずれか一項に記載の通信端末。
8. 請求項１乃至７に記載の通信端末と、
   前記他の通信端末と、
   被写体を撮影して前記第１の画像のデータを生成する撮像装置と、
   を有することを特徴とする画像通信システム。
9. 通信端末の表示方法であって、
   他の通信端末から、第１の射影方式の第１の画像、及び第１の射影方式とは異なる第２の射影方式の第２の画像を取得する取得ステップと、
   前記第１の画像の第１の所定領域である第１の所定領域画像を表示した後に、前記第１の画像において、前記第１の所定領域と前記第２の画像に対応する第２の所定領域との間における中間の所定領域である中間の所定領域画像を表示し、その後に前記第２の画像を表示する表示制御ステップと、
   を実行することを特徴とする表示方法。
10. コンピュータに、請求項９に記載の方法を実行させるためのプログラム。

Images