JP7006133B2 - 通信システム及び通信方法 - Google Patents

通信システム及び通信方法 Download PDF

Info

Publication number
JP7006133B2
JP7006133B2 JP2017207821A JP2017207821A JP7006133B2 JP 7006133 B2 JP7006133 B2 JP 7006133B2 JP 2017207821 A JP2017207821 A JP 2017207821A JP 2017207821 A JP2017207821 A JP 2017207821A JP 7006133 B2 JP7006133 B2 JP 7006133B2
Authority
JP
Japan
Prior art keywords
image
predetermined area
communication
unit
lighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017207821A
Other languages
English (en)
Other versions
JP2019080273A (ja
Inventor
洋平 大村
健一郎 森田
拓也 曽根田
毅史 本間
真夕 計田
博之 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2017207821A priority Critical patent/JP7006133B2/ja
Publication of JP2019080273A publication Critical patent/JP2019080273A/ja
Application granted granted Critical
Publication of JP7006133B2 publication Critical patent/JP7006133B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Description

本発明は、通信端末、通信システム、通信方法、及びプログラムに関するものである。
インターネット等の通信ネットワークを介して、遠隔地との間で遠隔会議を行う会議システムが普及している。この会議システムにおいては、遠隔会議を行う出席者等の当事者の一方がいる会議室において、遠隔会議システムの通信端末を用いて会議の当事者などの会議室の画像および発言などの音声を撮影および収集し、これらをデジタルデータに変換して相手方の通信端末に送信している。これにより、相手方の会議室のディスプレイに画像表示およびスピーカにより音声出力して、映像通話(ビデオ通話)を行なうことができるため、実際の会議に近い状態で遠隔地間の会議を行うことができる(特許文献1参照)。
また、通信端末に全天球パノラマ画像をリアルタイムに取得可能な撮影装置を接続し、この撮影装置から取得された全天球パノラマ画像を相手方の各通信端末に送信し、相手方の各通信端末において、全天球パノラマ画像から当該画像の一部である所定領域を示す所定領域画像をディスプレイ等に表示する技術が知られている(特許文献2参照)。これにより、各拠点の利用者は、全天球パノラマ画像の全体画像のうちで自分が気になる所定領域を示す所定領域画像を独自に決めて表示することができる。
しかしながら、従来の全天球パノラマ画像を表示する会議システムでは、全天球パノラマ画像を送信する拠点の利用者は、自拠点から送信された全天球パノラマ画像のデータのうち、所定領域画像が他拠点で表示されているかを把握することができないという課題が生じる。
請求項1に係る発明は、撮影画像データを得る通信端末と、前記撮影画像データに係る全体画像における所定領域の画像である所定領域画像の方向を示す方向指示装置と、を有する通信システムであって、前記方向指示装置は、所定の方角基準に対する前記所定領域の方角及び所定の極角基準に対する前記所定領域の極角を指示する指示体の先端部を移動させるためのモータと、前記方角を指示する複数の点灯手段と、を有し、前記通信端末は、他の通信端末が受信するように、前記撮影画像データを送信する送信手段と、前記所定領域画像を表示している前記他の通信端末から送信され、当該所定領域を示す所定領域情報を受信する受信手段と、前記受信手段によって受信された前記所定領域情報に基づき、所定の方角基準に対する前記所定領域の方角及び所定の極角基準に対する前記所定領域の極角を算出する算出手段と、前記算出手段によって算出された前記方角に基づき、前記複数の点灯手段のうちの特定の点灯手段を点灯させるための点灯パラメータを生成し、前記算出手段によって算出された前記方角及び前記極角に基づき、前記指示体を駆動させるための駆動パラメータを生成する生成手段と、前記生成手段によって生成された前記点灯パラメータ及び前記駆動パラメータを含む制御情報を、前記方向指示装置に出力する通信手段と、を有し、前記方向指示装置は、前記点灯パラメータに基づいて前記特定の点灯手段の点灯を制御し、前記駆動パラメータに基づいて前記モータの駆動を制御する、ことを特徴とする通信システムである。
以上説明したように本発明によれば、任意の拠点の利用者は、他拠点で全体画像のうちのどこの部分の所定領域画像が表示されているかを把握することができる。これにより、会議等の話題に付いて行けなくなることを防止することができる。
(a)は撮影装置の左側面図であり、(b)は撮影装置の正面図であり、(c)は撮影装置の平面図である。 撮影装置の使用イメージ図である。 (a)は撮影装置で撮影された半球画像(前)、(b)は撮影装置で撮影された半球画像(後)、(c)はメルカトル図法により表された画像を示した図である。 (a)メルカトル画像で球を被う状態を示した概念図、(b)全天球パノラマ画像を示した図である。 全天球パノラマ画像を3次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 (a)は図5の立体斜視図、(b)は通信端末のディスプレイに所定領域の画像が表示されたている状態を示す図である。 所定領域情報と所定領域Tの画像との関係を示した図である。 球座標による3次元ユークリッド空間内の点を示した図である。 本発明の実施形態に係る画像通信システムの概略図である。 撮影装置のハードウェア構成図である。 ビデオ会議端末のハードウェア構成図である。 通信管理システム及びPCのハードウェア構成図である。 方角指示装置の外観図である。 方向指示装置のハードウェア構成図である。 スマートフォンのハードウェア構成図である。 画像通信システムの一部の機能ブロック図である。 画像通信システムの一部の機能ブロック図である。 画像種類管理テーブルを示す概念図である。 撮影装置管理テーブルを示す概念図である。 所定領域管理テーブルを示す概念図である。 方角指示管理テーブルを示す概念図である。 セッション管理テーブルを示す概念図である。 画像種類管理テーブルを示す概念図である。 所定領域情報管理テーブルを示す概念図である。 特定の通信セッションへの参加処理を示したシーケンス図である。 通信セッション(仮想の会議室)の選択画面を示した図である。 画像種類情報の管理処理を示すシーケンス図である。 映像通話の状態を示したイメージ図であり、(a)は撮影装置1aを利用しない場合を示し、(b)は撮影装置1aを利用する場合を示している。 映像通話における撮影画像データ及び音データの通信処理を示すシーケンス図である。 拠点Bにおけるディスプレイの表示例を示し、(a)は撮影装置1a,1bから送られて来た画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をせずに、そのまま表示する場合を示し、(b)は撮影装置1a,1bから送られて来た画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をした場合を示し、(c)は図30(b)の所定領域画像を変更した場合を示した図である。 所定領域画像又は一般画像の表示処理を示したフローチャートである。 所定領域情報を共有する処理を示すシーケンス図である。 方角指示装置の制御方法を示したシーケンス図である。 (a)は方角の割り当てを示した概念図、(b)はLEDの点灯強度の割合を示した概念図である。 LEDユニット用の点灯パラメータの生成の処理を示したフローチャートである。 モータユニット用の駆動パラメータの生成の処理を示したフローチャートである。 定領域情報を共有する他の処理を示すシーケンス図である。
以下、図面を用いて、本発明の実施形態について説明する。
〔第1の実施形態〕
まず、図1乃至図36を用いて、第1の実施形態について説明する。
<<実施形態の概略>>
<全天球パノラマ画像の生成方法>
図1乃至図7を用いて、全天球パノラマ画像の生成方法について説明する。
まず、図1を用いて、撮影装置1の外観を説明する。撮影装置1は、3次元の全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図1(a)は撮影装置の左側面図であり、図1(b)は撮影装置の正面図であり、図1(c)は撮影装置の平面図である。
図1(a)に示されているように、撮影装置1は、人間が片手で持つことができる大きさである。また、図1(a),図1(b),図1(c)に示されているように、撮影装置1の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮影が可能な光学部材(例えば、後述する魚眼レンズ102a,102b)と併せて用いられる。また、図1(b)に示されているように、撮影装置1の正面側と反対側の面には、シャッターボタン等の操作部115が設けられている。
次に、図2を用いて、撮影装置1の使用状況を説明する。なお、図2は、撮影装置の使用イメージ図である。撮影装置1は、図2に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれユーザの周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図3及び図4を用いて、撮影装置1で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図3(a)は撮影装置で撮影された半球画像(前側)、図3(b)は撮影装置で撮影された半球画像(後側)、図3(c)はメルカトル図法により表された画像(以下、「メルカトル画像」という)を示した図である。図4(a)はメルカトル画像で球を被う状態を示した概念図、図4(b)は全天球パノラマ画像を示した図である。
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図3(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、撮影装置1によって合成され、図3(c)に示されているように、メルカトル画像が作成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図4(a)に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図4(b)に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。
以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図5及び図6を用いて説明する。
なお、図5は、全天球パノラマ画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球パノラマ画像に対して、その画像を見るユーザの視点の位置に相当するものである。また、図6(a)は図5の立体斜視図、図6(b)はディスプレイに表示された場合の所定領域画像を表す図である。また、図6(a)では、図4に示されている全天球パノラマ画像が、三次元の立体球CSで表わされている。このように生成された全天球パノラマ画像が、立体球CSであるとすると、図5に示されているように、仮想カメラICが全天球パノラマ画像の外部に位置している。全天球パノラマ画像における所定領域Tは、仮想カメラICの撮影領域であり、全天球パノラマ画像を含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定される。
そして、図6(a)に示されている所定領域Tの画像である所定領域画像は、図6(b)に示されているように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図6(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。以下では、仮想カメラICの撮影方向(ea,aa)と画角(α)を用いて説明する。
図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図7は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。図7に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮影方向(ea,aa)で示される仮想カメラICの注視点が、仮想カメラICの撮影領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図7では、一般的に以下の(式1)で示される三角関数が成り立つ。
Lf=tan(α/2)・・・(式1)
図8は、球座標による3次元ユークリッド空間内の点を示した図である。中心点CPを球面極座標系で表現したときの位置座標を(r、θ、φ)とする。(r、θ、φ)は、それぞれ動径、極角、方位角である。動径rは、全天球パノラマ画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、fに等しい。図8は、これらの関係を表した図である。以降、仮想カメラICの位置座標(r,θ、φ)を用いて説明する。
<画像通信システムの概略>
続いて、図9を用いて、本実施形態の画像通信システムの構成の概略について説明する。図9は、本実施形態の画像通信システムの構成の概略図である。
図9に示されているように、本実施形態の画像通信システムは、撮影装置1a,1b、ビデオ会議端末3a,3d、ディスプレイ4a,4d、通信管理システム5、方向指示装置6、PC(Personal Computer)7、撮影装置8、スマートフォン9、及び接続部材10によって構成され、インターネット等の通信ネットワーク100を介して通信することができる。通信ネットワーク100の接続形態は、無線又は有線のいずれでも良い。なお、ここでは、拠点Aで方向指示装置6が使用されているが、他の拠点B,C,Dで使用されるようにしてもよい。
これらのうち、撮影装置1a,1bは、上述のように、被写体や風景等を撮影して全天球パノラマ画像の元になる2つの半球画像を得るための特殊なデジタルカメラである。一方、撮影装置8は、被写体や風景等を撮影して一般の平面画像を得るための一般のデジタルカメラである。
ビデオ会議端末3a,3dは、ビデオ会議専用の端末であり、USB(Universal Serial Bus)ケーブル等の有線ケーブルを介して映像通話(ビデオ通話)の画像を、それぞれディスプレイ4a,4dに表示する。ビデオ会議端末3aは、通常は後述のカメラ312で撮影するが、撮影装置1aを取り付けるクレードル2aに、方向指示装置6及び接続部材10を介して有線ケーブルで接続されると、撮影装置1aが優先され、全天球パノラマ画像の元になる2つの半球画像を得ることができる。有線ケーブルを利用する場合、クレードル2aは、撮影装置1aとビデオ会議端末3aとの間の通信を行なうだけでなく、撮影装置1aに電源供給及び撮影装置1aを支える役割を果たす。
また、方向指示装置6は、自端末(ビデオ会議端末3a)から送信された撮影画像データに係る全天球パノラマ画像のうち、他の拠点で見られている所定領域画像の方向を示す装置である。方向指示装置6については、後ほど詳細に説明する。
なお、ここでは、撮影装置1a、クレードル2a、ビデオ会議端末3a、及びディスプレイ4a、方向指示装置6及び接続部材10は、同じ拠点である拠点Aに置かれている。また、拠点Aには、4人の利用者A1,A2,A3,A4が、映像通話に参加している。一方、ビデオ会議端末3d、及びディスプレイ4dは、同じ拠点である拠点Dに置かれている。また、拠点Dには、3人の利用者D1,D2,D3が、映像通話に参加している。
通信管理システム5は、ビデオ会議端末3a,3b、PC7、及びスマートフォン9の通信を管理及び制御したり、送受信される画像データの種類(一般画像と特殊画像の種別)を管理したりする。よって、通信管理システムは、通信制御システムでもある。ここでは、特殊画像は全天球パノラマ画像である。なお、通信管理システム5は、ビデオ通信のサービスを行なうサービス会社等に設置されている。また、通信管理システム5は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
PC7は、撮影装置8が取り付けられることで、映像通話が可能となる。なお、ここでは、PC7、及び撮影装置8は、同じ拠点である拠点Cに置かれている。また、拠点Cには、1人の利用者Cが映像通話に参加している。
スマートフォン9は、自装置に設けられた後述のディスプレイ917に映像通話の画像を表示する。スマートフォン9は、通常は自装置に設けられた後述のCMOS(Complementary Metal Oxide Semiconductor)センサ905等で撮影するが、Wi-Fi(Wireless Fidelity)やBluetooth(登録商標)等の無線通信技術を利用して、撮影装置1bで得られた全天球パノラマ画像の元になる2つの半球画像データを取得することができる。無線通信技術を利用する場合、クレードル2bは、撮影装置1bに電源供給と撮影装置1bを支えるだけの役割を果たす。なお、ここでは、撮影装置1b、クレードル2b、及びスマートフォン9は、同じ拠点である拠点Bに置かれている。また、拠点Bには、2人の利用者B1,B2が、映像通話に参加している。
また、ビデオ会議端末3a,3d、PC7、及びスマートフォン9は、通信端末の一例である。各通信端末には、OpenGL ESがインストールされており、全天球パノラマ画像の一部の領域を示す所定領域情報を作成したり、他の通信端末から送られて来た全天球画像パノラマ画像から所定領域画像を作成したりすることができる。
なお、図9に示す各端末、装置、利用者の配置は一例であり、他の例であってもよい。例えば、拠点Cで、撮影装置8に代えて、全天球パノラマ画像に係る撮影が可能な撮影装置を利用者してもよい。また、通信端末には、デジタルテレビ、スマートウオッチ、カーナビゲーション装置等も含まれる。また、以降、撮影装置1a,1bのうち任意の撮影装置を表す場合には、「撮影装置1」として表す。また、ビデオ会議端末3a,3dのうち任意のビデオ会議端末を表す場合には、「ビデオ会議端末3」として表す。更に、ディスプレイ4a,4bのうち任意のディスプレイを表す場合には、「ディスプレイ4」として表す。
<<実施形態のハードウェア構成>>
次に、図10乃至図15を用いて、本実施形態の撮影装置1、ビデオ会議端末3、通信管理システム5、PC7、及びスマートフォン9のハードウェア構成を詳細に説明する。なお、撮影装置8は、一般のカメラであるため、詳細な説明は省略する。
<撮影装置1のハードウェア構成>
まず、図10を用いて、撮影装置1のハードウェア構成を説明する。図10は、撮影装置1のハードウェア構成図である。以下では、撮影装置1は、2つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置1と同じ機能を有するようにしてもよい。
図10に示されているように、撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、及びアンテナ117aによって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOSセンサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(c)に示されているようなメルカトル画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置1によっては、ディスプレイ(例えば、ビデオ会議端末3aのディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置1には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わない。DRAM114に記憶されたメルカトル画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F116を介してビデオ会議端末3a等の外部装置に送信されたりする。
通信部117は、撮影装置1に設けられたアンテナ117aを介して、Wi-FiやNFC(Near Field Communication)等の近距離無線技術によって、ビデオ会議端末3a等の外部装置と通信を行う。この通信部117によっても、メルカトル画像のデータをビデオ会議端末3aの外部装置に送信することができる。
電子コンパス118は、地球の磁気から撮影装置1の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
<ビデオ会議端末のハードウェア構成>
次に、図11を用いて、ビデオ会議端末3のハードウェア構成を説明する。図11は、ビデオ会議端末のハードウェア構成図である。図11に示されているように、ビデオ会議端末3は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319のアンテナ319aを備えている。
これらのうち、CPU301は、ビデオ会議端末3全体の動作を制御する。ROM302は、IPL(Initial Program Loader)等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。SSD(Solid State Drive)305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読み出し又は書き込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御する。操作ボタン308は、ビデオ会議端末3の宛先を選択する場合などに操作されるボタンである。電源スイッチ309は、ビデオ会議端末3の電源のON/OFFを切り換えるためのスイッチである。
また、ネットワークI/F311は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェースである。カメラ312は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F313は、カメラ312の駆動を制御する回路である。マイク314は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F316は、CPU301の制御に従ってマイク314及びスピーカ315との間で音信号の入出力を処理する回路である。ディスプレイI/F317は、CPU301の制御に従って外付けのディスプレイ4に画像データを出力する回路である。外部機器接続I/F318は、各種の外部機器を接続するためのインターフェースである。近距離通信回路319は、NFC(登録商標)、Bluetooth(登録商標)等の通信回路である。
また、バスライン310は、図11に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
ディスプレイ4は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示手段の一種である。また、ディスプレイ4は、ケーブル4cによってディスプレイI/F317に接続される。このケーブル4cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)(登録商標)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
なお、カメラ312は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOSセンサや、CCDセンサ等が用いられる。外部機器接続I/F318には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU301の制御に従って、内蔵型のカメラ312に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU301の制御に従って、それぞれが内蔵型のマイク314や内蔵型のスピーカ315に優先して、外付けマイクや外付けスピーカが駆動する。
また、記録メディア306は、ビデオ会議端末3に対して着脱自在な構成となっている。また、CPU301の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ304に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
<通信管理システム、PCのハードウェア構成>
次に、図12を用いて、通信管理システム5及びPC7のハードウェア構成を説明する。図12は、通信管理システム及びPCのハードウェア構成図である。なお、通信管理システム5及びPC7は、ともにコンピュータで同じ構成を有しているため、以下では、通信管理システム5の構成について説明し、PC7の構成の説明は省略する。
通信管理システム5は、通信管理システム5全体の動作を制御するCPU501、IPL等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503、通信管理システム5用のプログラム等の各種データを記憶するHD504、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)505、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ508、通信ネットワーク100を利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス512、着脱可能な記録媒体の一例としてのCD-RW(Compact Disc -ReWritable)513に対する各種データの読み出しを制御するCD-RWドライブ514、及び、上記各構成要素を図12に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。
<方向指示装置のハードウェア構成>
次に、図13及び図14を用いて、方角指示装置のハードウェア構成について説明する。図13は、方角指示装置の外観図である。
図13に示されているように、方向指示装置6は、本体600、及び本体600の上部を保護するカバー640を有している。本体600は円筒状に構成されており、円筒側面には、複数のLED622aが設けられている。ここでは、8個のLED622a,622b,・・・622h)が設けられている場合を示している。また、本体600の側面には方向基準マーク690が表されている。ここでは、LED622aが設けられている位置が、方角基準マークの位置でもある。なお、複数のLED622a等のうち、任意のLEDを「LED622」と表す。また、方向基準マーク690は、方角基準を視覚的に示したマークであり、方角基準の示し方は、図13に示されている方角基準マークでなくてもよく、文字又は記号であってもよい。方向指示装置6は、後述のように、各LED622の点灯強度を変更することができる。
本体600の上部中央には、上下左右に回転する回転部650が設けられている。この回転部650には、矢印の形状の指示体607の基端部が設けられており、回転部650の回転に応じて、指示体607の示す方向が3次元的に変化する。なお、図13のCP(R,Θ,Φ)、R、Θ、及びΦは、図8に示されている各記号と同じ意味であり、実際の方向指示装置6には表されていない。
カバー640は、透明のガラス又はプラスティックによってドーム状に形成されている。
カバー640は、本体600に対して着脱自在に設けられている。
図14は、方向指示装置のハードウェア構成図である。図14に示されているように、方角指示装置6は、CPU601、ROM602、RAM603、バスライン610、外部機器接続I/F618a,618b、LEDユニット620、及びモータユニット630を備えている。
これらのうち、CPU601は、方角指示装置6全体の動作を制御する。ROM602は、IPL等のCPU601の駆動に用いられるプログラムを記憶する。RAM603は、CPU601のワークエリアとして使用される。
外部機器接続I/F618a,618bは、各種の外部機器を接続するためのインターフェースである。外部機器接続I/F618aは、図9に示されているように、ビデオ会議端末3aを有線ケーブルで電気的に接続するためのI/Fである。外部機器接続I/F618bは、図9に示されているように、クレードル2aを接続部材10で電気的に接続するためのI/Fである。
LEDユニット620は、複数のLED622、及び各LED622の点滅及び点灯強度を制御するためのLEDドライバ回路621a,・・・,621hを有している。なお、複数のLEDドライバ回路621a等のうち、任意のLEDを「LEDドライバ回路621」と表す。
モータユニット630は、モータドライバ回路631、回転部650、及び指示体607を有している。回転部650は、指示体607の先端部を経度方向に移動させるモータ632a、及び指示体607の先端部を緯度方向に移動させるモータ632bを有している。モータドライバ回路631は、各モータ632a,632bの駆動を制御する回路である。
また、バスライン610は、図14に示されているCPU601等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
<スマートフォンのハードウェア構成>
次に、図15を用いて、スマートフォンのハードウェアについて説明する。図15は、スマートフォンのハードウェア構成図である。図15に示されているように、スマートフォン9は、CPU901、ROM902、RAM903、EEPROM904、撮像素子I/F913a、CMOSセンサ905、加速度・方位センサ906、メディアI/F908、GPS受信部909を備えている。
これらのうち、CPU901は、スマートフォン9全体の動作を制御する。ROM902は、IPL等のCPU901の駆動に用いられるプログラムを記憶する。RAM903は、CPU901のワークエリアとして使用される。EEPROM904は、CPU901の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。CMOSセンサ905は、CPU901の制御に従って被写体(主に自画像)を撮像し画像データを得る。撮像素子I/F913bは、CMOSセンサ905の駆動を制御する回路である。加速度・方位センサ906は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F908は、フラッシュメモリ等の記録メディア907に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部909は、GPS衛星からGPS信号を受信する。
また、スマートフォン9は、遠距離通信回路911、カメラ912、撮像素子I/F913、マイク914、スピーカ915、音入出力I/F916、ディスプレイ917、外部機器接続I/F918、近距離通信回路919、近距離通信回路919のアンテナ919a、及びタッチパネル921を備えている。
これらのうち、遠距離通信回路911は、通信ネットワーク100を介して、他の機器と通信する回路である。CMOSセンサ912は、CPU901の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F913bは、CMOSセンサ912の駆動を制御する回路である。マイク914は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F916は、CPU901の制御に従ってマイク914及びスピーカ915との間で音信号の入出力を処理する回路である。ディスプレイ917は、被写体の画像や各種アイコン等を表示する液晶や有機ELなどの表示手段の一種である。外部機器接続I/F918は、各種の外部機器を接続するためのインターフェースである。近距離通信回路919は、NFCやBluetooth等の通信回路である。タッチパネル921は、利用者がディスプレイ917を押下することで、スマートフォン9を操作する入力手段の一種である。
また、スマートフォン9は、バスライン910を備えている。バスライン910は、CPU901等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたCD-ROM、HD等の記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。
<<実施形態の機能構成>>
次に、図16乃至図23を用いて、本実施形態の機能構成について説明する。図16及び図17は、画像通信システムの一部の機能ブロック図である。
<撮影装置1aの機能構成>
図16に示されているように、撮影装置1aは、受付部12a、撮像部13a、集音部14a、通信部18a、及び記憶・読出部19aを有している。これら各部は、図10に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
また、撮影装置1は、図10に示されているROM112、SRAM113、及びDRAM114によって構築される記憶部1000aを有している。記憶部1000aには、自装置のGUID(Globally Unique Identifier)が記憶されている。
なお、撮影装置1bは、受付部12b、撮像部13b、集音部14b、通信部18b、記憶・読出部19b、及び記憶部1000bを有しているが、それぞれ、撮影装置1aにおける受付部12a、撮像部13a、集音部14a、通信部18a、記憶・読出部19a及び記憶部1000aと同様の機能を実現するため、これらの説明を省略する。
(撮影装置1aの各機能構成)
次に、図10及び図16を用いて、撮影装置1aの各機能構成について更に詳細に説明する。
撮影装置1の受付部12aは、主に、図10に示されている操作部115及びCPU111の処理によって実現され、利用者からの操作入力を受け付ける。
撮像部13aは、主に、図10に示されている撮像ユニット101、画像処理ユニット104、及び撮像制御ユニット105、並びにCPU111の処理によって実現され、風景等を撮像し、撮影画像データを得る。
集音部14aは、図10に示されている108及び音処理ユニット109、並びにCPU111の処理によって実現され、撮影装置1aの周囲の音を集音する。
通信部18aは、主に、CPU111の処理によって実現され、ビデオ会議端末3aの通信部38aと、NFC規格、BlueTooth、Wi-Fi等による近距離無線通信技術によって通信することができる。
記憶・読出部19aは、主に、図10に示されているCPU111の処理によって実現され、記憶部1000aに各種データ(または情報)を記憶したり、記憶部1000aから各種データ(または情報)を読み出したりする。
<ビデオ会議端末3aの機能構成>
図16に示されているように、ビデオ会議端末3aは、生成部30a、送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、作成部36a、算出部37a、通信部38a、及び記憶・読出部39aを有している。これら各部は、図11に示されている各構成要素のいずれかが、フラッシュメモリ304からRAM303上に展開されたビデオ会議端末3a用プログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。
また、ビデオ会議端末3aは、図11に示されているROM302、RAM303、及びフラッシュメモリ304によって構築される記憶部3000aを有している。この記憶部3000aには、画像種類管理DB3001a、撮影装置管理DB3002a、所定領域管理DB3003a、及び方向指示管理DB3004aが構築されている。これらのうち、画像種類管理DB3001aは、図18に示されている画像種類管理テーブルによって構成されている。撮影装置管理DB3002aは、図19に示される撮影装置管理テーブルによって構成されている。所定領域管理DB3003aは、図20に示されている所定領域管理テーブルによって構成されている。方向指示管理DB3004aは、図21に示されている方向指示管理テーブルによって構成されている。
なお、ビデオ会議端末3dは、生成部30d、送受信部31d、受付部32d、画像・音処理部33d、表示制御部34d、判断部35d、作成部36d、算出部37d、通信部38d、記憶・読出部39d、及び記憶部3000dを有しているが、それぞれ、ビデオ会議端末3aにおける各部(生成部30a、送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、作成部36a、算出部37a、通信部38a、記憶・読出部39a、及び記憶部3000a)と同様の機能を実現するため、これらの説明を省略する。また、ビデオ会議端末3dにおける記憶部3000dには、画像種類管理DB3001d、撮影装置管理DB3002d、及び所定領域管理DB3003dが構築されているが、ビデオ会議端末3aにおける画像種類管理DB3001a、撮影装置管理DB3002a、所定領域管理DB3003a、及び方向指示管理DB3004aと同様のデータ構造であるため、これらの説明を省略する。
(画像種類管理テーブル)
図18は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データID、送信元端末の宛先の一例であるIPアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データIDは、ビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データIDが付加されている。これにより、送信先端末(受信側の通信端末)は、受信した画像データの送信元端末を特定することができる。送信元端末のIPアドレスは、関連付けられている画像データIDで示される画像データを送信する通信端末のIPアドレスを示す。ソース名は、関連付けられている画像データIDで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末3a等の各通信端末によって作成された名称である。
例えば、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」、「1.3.2.3」の4つの通信端末は、それぞれ、画像データID「RS001」、「RS002」、「RS003」、「RS004」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video_Theta」、「Video_Theta」、「Video」、「Video」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」である旨を示している。なお、特殊画像は、ここでは、全天球パノラマ画像である。
なお、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。また、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。
(撮影装置管理テーブル)
図19は、撮影装置管理テーブルを示す概念図である。この撮影装置管理テーブルでは、全天球パノラマ画像の元になる2つの半球画像を得ることができる撮影装置のGUIDのうちのベンダIDとプロダクトIDが記憶されて管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダーID(VID)とプロダクトID(PID)が利用できる。このベンダIDとプロダクトIDは、ビデオ会議端末等の通信端末の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。
(所定領域管理テーブル)
図20は、所定領域管理テーブルを示す概念図である。この所定領域管理テーブルでは、撮影画像データの送信元の通信端末のIPアドレス、撮影画像データの送信先の通信端末のIPアドレス、及び、撮影画像データの送信先の通信端末で表示中の所定領域画像を示す所定領域情報が関連付けられて記憶されて管理されている。なお、撮影画像データの送信先の通信端末は、所定領域情報の送信元の通信端末でもある。所定領域情報は、図6及び図7に示されているように、撮影画像から、この撮影画像における所定領域Tの画像(所定領域画像)に変換するための変換パラメータである。なお、IPアドレスは、宛先情報の一例であって、宛先情報には、MAC(Media Access Control)アドレス、通信端末を特定するための端末ID(Identification)等が含まれる。また、ここでは、IPアドレスは、IPv4アドレスを簡略化して表されている。IPアドレスは、IPv6でもよい。
例えば、図20の所定領域管理テーブルの1行目から3行目までは、ビデオ会議端末3aのIPアドレスが「1.2.1.3」の場合、ビデオ会議端末3aから送信された撮影画像データが、通信管理システム5を介して、IPアドレスが「1.2.2.3」のビデオ会議端末3d、IPアドレスが「1.3.1.3」のPC7、及びIPアドレスが「1.3.2.3」のスマートフォン9に送信された旨が管理されている。更に、ビデオ会議端末3dは、所定領域情報(r=10,θ=20,φ=30)の送信元の通信端末である旨が管理されている。同様に、PC7は、所定領域情報(r=10,θ=30,φ=40)の送信元の通信端末である旨が管理されている。また、スマートフォン9は、所定領域情報(r=30,θ=40,φ=50)の送信元の通信端末である旨が管理されている。
また、送受信部31aによって、既に管理されている撮影画像データの送信元の通信端末のIPアドレス及び撮影画像データの送信先の通信端末のIPアドレスと同じ組のIPアドレスを含む所定領域情報が新たに受信された場合には、記憶・読出部39aは既に管理している所定領域情報を新たに受信された所定領域情報に書き換える。
(方角指示管理テーブル)
図18は、方向指示管理テーブルを示す概念図である。この方向指示管理テーブルでは、
方角(度)、点灯対象番号、該当数、及び点灯強度が関連付けて記憶されて管理されている。これらのうち、方角(度)は、拠点Aの自端末(ビデオ会議端末3a)から送信された撮影画像データに係る全天球画像において、各他拠点B,C,Dで表示されている所定領域画像の中心点の方角を示している。この方角は、拠点Aの方角基準マークを基準にした方角である。
点灯対象番号は、LED622を特定するための番号である。例えば、点灯対象番号「1」はLED622aを示す。
該当数は、各他拠点B,C,Dで表示されている所定領域画像の中心点の方角が、上述の方角(度)に該当する数を示している。ここでは、他拠点のうち1拠点で表示されている所定領域画像の中心点の方角が、拠点Aの方角基準マークに対して時計回りに90度回転した方角であることを示している。また、他拠点のうち2拠点で表示されている所定領域画像の中心点の方角が、拠点Aの方角基準マークに対して時計回りに180度回転した方角であることを示している。
点灯強度は、全ての該当数における特定の方角の該当数を示している。例えば、映像通話中の全ての他の拠点が3つで、所定領域画像の中心点の方角が90度の拠点が1箇所の場合、点灯強度は最大点灯今強度の1/3となる。また、所定領域画像の中心点の方角が180度の拠点が2箇所の場合、点灯強度は最大点灯今強度の2/3となる。
(ビデオ会議端末3aの各機能構成)
次に、図11及び図16を用いて、ビデオ会議端末3aの各機能構成について更に詳細に説明する。
ビデオ会議端末3aの生成部30aは、主に、図11に示されているCPU301の処理によって実現され、算出部37aによって算出された方角に基づき、方角を指示する複数のLED622のうちの特定のLEDを点灯させるための点灯パラメータを生成する。また、生成部30aは、算出部37aによって算出された方角及び極角に基づき、方角及び極角を指示する指示体607を駆動させるための駆動パラメータを生成する。
送受信部31aは、主に、図11に示されているネットワークI/F311及びCPU301の処理によって実現され、通信ネットワーク100を介して、通信管理システム5と各種データ(または情報)の送受信を行う。
受付部32aは、主に操作ボタン308及びCPU301による処理によって実現され、利用者から各種の選択又は入力を受け付ける。また、操作ボタン308だけでなく、他の入力手段としてタッチパネル等を用いてもよい。
画像・音処理部33aは、図11に示されているCPU301からの命令によって実現され、カメラ312が被写体を撮像して得た画像データに対して画像処理を行なう。また、画像・音処理部33aは、マイク314によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行なう。
更に、画像・音処理部33aは、表示制御部34がディスプレイ4aに画像を表示させるため、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行なう。具体的には、画像種類情報が特殊画像である旨を示す場合には、画像・音処理部33aは、画像データ(例えば、図3(a),(b)に示されているような各半球画像のデータ)に基づいて、図4(b)に示されているような全天球パノラマ画像データに変換することで全天球パノラマ画像データを作成し、更に、図6(b)に示されているような所定領域画像を作成する。また、画像・音処理部33aは、他の通信端末から通信管理システム5を介して受信された音データに係る音声信号をスピーカ315に出力し、スピーカ315から音声を出力させる。
表示制御部34aは、主にディスプレイI/F317及びCPU301の処理によって実現され、ディスプレイ4aに各種画像や文字等を表示させるための制御を行う。
判断部35aは、主にCPU301の処理によって実現され、例えば、撮影装置1aから受信された画像データに係る画像種類を判断する。
作成部36aは、主にCPU301の処理によって実現され、判断部35aによって、一般画像又は特殊画像(ここでは、全天球パノラマ画像)と判断された結果に基づき、上述の命名規則に従って、画像種類情報の一例であるソース名を作成する。例えば、判断部35aが、一般画像であると判断した場合には、作成部36aは、一般画像である旨を示すソース名「Video」を作成する。一方、判断部35aが、特殊画像であると判断した場合には、作成部36aは、特殊画像である旨を示すソース名「Video_Theta」を作成する。
算出部37aは、主にCPU301の処理によって実現され、送受信部31aによって受信された所定領域情報に基づき、方角基準マーク690に対する所定領域(中心)の方角を算出する。また、撮影画像の全体が表示された場合の画像は、「全体画像」ともいう。
通信部38aは、主に、近距離通信回路319、アンテナ318a、及びCPU301の処理によって実現され、撮影装置1aの通信部18aと、NFC、BlueTooth、Wi-Fi等による近距離無線技術によって通信することができる。例えば、通信部38aは、生成部30aによって生成された点灯パラメータ及び駆動パラメータを含む制御情報を、方向指示装置6に出力する。なお、通信部38aと送受信部31aとは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。
記憶・読出部39aは、主に、図11に示されているCPU301の処理によって実現され、記憶部3000に各種データ(または情報)を記憶したり、記憶部3000から各種データ(または情報)を読み出したりする。
<通信管理システムの機能構成>
次に、図12及び図17を用いて、通信管理システム5の各機能構成について詳細に説明する。通信管理システム5は、送受信部51、判断部55、生成部56、及び記憶・読出部59を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理システム5用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、通信管理システム5は、図12に示されているRAM503、及びHD504によって構築される記憶部5000を有している。この記憶部5000には、セッション管理DB5001、画像種類管理DB5002、及び所定領域管理DB5003が構築されている。このうち、セッション管理DB5001は、図22に示されているセッション管理テーブルによって構成されている。画像種類管理DB5002は、図23に示される画像種類管理テーブルによって構成されている。所定領域管理DB5003は、図24に示される所定領域情報管理テーブルによって構成されている。
(セッション管理テーブル)
図22は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションID、及び参加した通信端末のIPアドレスが関連付けて記憶されて管理されている。このうち、セッションIDは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションIDは、ビデオ会議端末3a等の各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のIPアドレスは、関連付けられているセッションIDで示される仮想の会議室に参加した通信端末のIPアドレスを示している。
(画像種類管理テーブル)
図23は、画像種類管理テーブルを示す概念図である。図23に示されている画像種類管理テーブルは、図18に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションIDと同じセッションIDが関連付けて管理されている。ここでは、同じセッションID「se101」で示される仮想の会議室には、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」の3つの通信端末が参加していることが示されている。なお、通信管理システム5において、ビデオ会議端末3a等の通信端末で管理される、画像データID、送信元端末のIPアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。
(所定領域情報管理テーブル)
図24は、所定領域情報管理テーブルを示す概念図である。この所定領域情報管理テーブルは、基本的に図20に示されている所定領域情報管理テーブルと同様のデータ構造を有している。但し、後述のように、送受信部51は、各通信端末に一定期間(例えば30秒)毎に最新の所定領域情報を送信するため、所定領域情報が一定期間毎に送信されるまでの間に、送受信部51によって受信された全ての所定領域情報は削除されずに保存されている。図24では、新しい所定領域情報ほど上位で管理されている。
(通信管理システムの各機能構成)
次に、図12及び図17を用いて、通信管理システム5の各機能構成について詳細に説明する。
通信管理システム5の送受信部51は、主に、図12に示されているネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク100を介してビデオ会議端末3a,3d、又はPC7と各種データ(または情報)の送受信を行う。
判断部55は、主にCPU501の処理によって実現され、各種判断を行なう。
生成部56は、主にCPU501の処理によって実現され、画像データIDを生成する。
記憶・読出部59は、主に、図12に示されているHDD505、及びCPU501の処理によって実現され、記憶部5000に各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
<方角指示装置の機能構成>
次に、図14及び図16を用いて、方角指示装置6の各機能構成について詳細に説明する。方角指示装置6は、駆動信号生成部63、表示制御部64、駆動部66、及び通信部68を有している。これら各部は、図14に示されている各構成要素のいずれかが、ROM602からRAM603上に展開された方角指示装置6用プログラムに従ったCPU601からの命令によって動作することで実現される機能又は手段である。
駆動信号生成部63は、主に、CPU601の処理によって実現され、ビデオ会議端末3aの通信部38aから送られ通信部68によって受信された点灯パラメータに基づいて、表示制御部64を駆動させるための駆動信号を生成する。また、駆動信号生成部63は、ビデオ会議端末3aの通信部38aから送られ通信部68によって受信された駆動パラメータに基づいて、駆動部66を駆動させるための駆動信号を生成する。
表示制御部64は、主に、各LEDドライバ621及びCPU601の処理によって実現され、駆動信号生成部63によって生成された駆動信号に基づいて、各LED622の点滅及び点灯強度を制御する。
駆動部66は、主に、モータドライバ631及びCPU601の処理によって実現され、駆動信号生成部63によって生成された駆動信号に基づいて、モータ632a,632bを含む回転部650の駆動を制御する。
<PCの機能構成>
次に、図12及び図16を用いて、PC7の機能構成について詳細に説明する。PC7は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図16に示されているように、PC7は、生成部70、送受信部71、受付部72、画像・音処理部73、表示制御部74、判断部75、作成部76、算出部77、通信部78、及び記憶・読出部79を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたPC7用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、PC7は、図12に示されているROM502、RAM503、及びHD504によって構築される記憶部7000を有している。この記憶部7000には、画像種類管理DB7001、撮影装置管理DB7002、所定領域管理DB7003、及び方向指示管理DB7004が構築されている。なお、画像種類管理DB7001、撮影装置管理DB7002、所定領域管理DB7003、及び方向指示管理DB7004は、それぞれ画像種類管理DB3001a、撮影装置管理DB3002a、所定領域管理DB3003a、及び方向指示管理DB3004aと同じデータ構造であるため、これらの説明を省略する。
(PCの各機能構成)
PC7の生成部70は、主に、図12に示されているCPU501の処理によって実現され、生成部30aと同様の機能を実現する。
送受信部71は、主に、図12に示されているネットワークI/F509及びCPU501の処理によって実現され、送受信部31aと同様の機能を実現する。
受付部72は、主にキーボード511、マウス512及びCPU501の処理によって実現され、受付部32aと同様の機能を実現する。画像・音処理部73は、主にCPU501からの命令によって実現され、画像・音処理部33aと同様の機能を実現する。表示制御部74は、主にCPU501の処理によって実現され、表示制御部34aと同様の機能を実現する。判断部75は、主にCPU501の処理によって実現され、判断部35aと同様の機能を実現する。作成部76は、主にCPU501の処理によって実現され、作成部36aと同様の機能を実現する。算出部77は、主にCPU501の処理によって実現され、算出部37aと同様の機能を実現する。通信部78は、主に、CPU501の処理によって実現され、通信部38aと同様の機能を実現する。記憶・読出部79aは、CPU501の処理によって実現され、記憶部7000に各種データ(または情報)を記憶したり、記憶部7000から各種データ(または情報)を読み出したりする。
<スマートフォンの機能構成>
次に、図15及び図16を用いて、スマートフォン9の機能構成について詳細に説明する。スマートフォン9は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図16に示されているように、スマートフォン9は、生成部90、送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、算出部97、通信部98、及び記憶・読出部99を有している。これら各部は、図15に示されている各構成要素のいずれかが、EEPROM904からRAM903上に展開されたスマートフォン9用プログラムに従ったCPU901からの命令によって動作することで実現される機能又は手段である。
また、スマートフォン9は、図15に示されているROM902、RAM903、及びEEPROM904によって構築される記憶部9000を有している。この記憶部9000には、画像種類管理DB9001、撮影装置管理DB9002、所定領域管理DB9003、及び方向指示管理DB9004が構築されている。なお、画像種類管理DB9001、撮影装置管理DB9002、及び所定領域管理DB9003は、それぞれ画像種類管理DB3001a、撮影装置管理DB3002a、所定領域管理DB3003a、及び方向指示管理DB3004aと同じデータ構成であるため、これらの説明を省略する。
(スマートフォンの各機能構成)
スマートフォン9の生成部90は、主に、図15に示されているCPU901の処理によって実現され、生成部30aと同様の機能を実現する。
送受信部91は、主に、図15に示されている遠距離通信回路911及びCPU901の処理によって実現され、送受信部31aと同様の機能を実現する。
受付部92は、主にタッチパネル921及びCPU901の処理によって実現され、受付部32aと同様の機能を実現する。
画像・音処理部93は、主にCPU901からの命令によって実現され、画像・音処理部33aと同様の機能を実現する。表示制御部94は、主にCPU901の処理によって実現され、表示制御部34aと同様の機能を実現する。判断部95は、主にCPU901の処理によって実現され、判断部35aと同様の機能を実現する。作成部96は、主にCPU901の処理によって実現され、作成部36aと同様の機能を実現する。算出部97は、主にCPU901の処理によって実現され、算出部37aと同様の機能を実現する。通信部98は、主に、CPU901の処理によって実現され、通信部38aと同様の機能を実現する。記憶・読出部99は、CPU901の処理によって実現され、記憶部9000に各種データ(または情報)を記憶したり、記憶部9000から各種データ(または情報)を読み出したりする。
<<実施形態の処理又は動作>>
続いて、図25乃至図36を用いて、本実施形態の処理又は動作について説明する。
<参加の処理>
まず、図25及び図26を用いて、特定の通信セッションへの参加処理について説明する。図25は、特定の通信セッションへの参加処理を示したシーケンス図である。図26は、通信セッション(仮想の会議室)の選択画面を示した図である。
まず、拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3aにおいて、通信セッション(仮想の会議室)の選択画面の表示を行なう操作をすると、受付部32aが選択画面を表示する操作を受け付け、表示制御部34aがディスプレイ4aに、図26に示されているような選択画面を表示する(ステップS21)。この選択画面には、選択対象である各仮想の会議室R1,R2,R3等を示す選択ボタンb1,b2,b3等が表示されている。また、各選択ボタンb1等には、各セッションIDが関連付けられている。
ここで、利用者A1が仮想の会議室の所望の選択ボタン(ここでは選択ボタンb1)を選択すると、受付部32aは、通信セッションの選択を受け付ける(ステップS22)。そして、送受信部31aは、通信管理システム5に対して、仮想の会議室への参加要求を送信する(ステップS23)。この参加要求には、ステップS22で選択を受け付けられた通信セッションを示すセッションID、及び要求元端末であるビデオ会議端末3aのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、参加要求を受信する。
次に、記憶・読出部99は、セッション管理DB5001(図22参照)において、ステップS23で受信されたセッションIDと同じセッションIDのレコードにおける参加端末IPアドレスのフィールドに、ステップS23で受信されたIPアドレスを追加することで、通信セッションへの参加処理を行なう(ステップS24)。そして、送受信部51は、ビデオ会議端末3aに対して、参加要求応答を送信する(ステップS25)。この参加要求応答には、ステップS23によって受信されたセッションID、及び参加処理結果が含まれている。これにより、ビデオ会議端末3aの送受信部31aは、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。
<画像種類情報の管理処理>
続いて、図27を用いて、画像種類情報の管理処理を説明する。図27は、画像種類情報の管理処理を示すシーケンス図である。
まず、拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3aに、撮影装置1aが取り付けられた状態のクレードル2aのUSBケーブルを接続すると、撮影装置1aの記憶・読出部19aが記憶部1000aに記憶されている自装置(撮影装置1a)のGUIDを読み出し、通信部18aがビデオ会議端末3aの通信部38aに対して自装置のGUIDを送信する(ステップS51)。これにより、ビデオ会議端末3aの通信部38aは、撮影装置1aのGUIDを受信する。
次に、ビデオ会議端末3aの判断部35aは、撮影装置管理DB3002a(図19参照)において、ステップS51によって受信されたGUID中のベンダID及びプロダクトIDと、同じベンダID及びプロダクトIDが管理されているか否かを判断することで、画像種類を判断する(ステップS52)。具体的には、撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されている場合には、判断部35aは、撮影装置1aが特殊画像(ここでは、全天球パノラマ画像)を撮影する撮影装置であると判断する。これに対して、撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されていない場合には、判断部35aは、撮影装置1aが一般画像を撮影する撮影装置であると判断する。
次に、記憶・読出部39aは、画像種類管理DB3001a(図18参照)に対して、送信元端末である自端末(ビデオ会議端末3a)のIPアドレスと、ステップS52で判断された判断結果である画像種類情報とを関連付けて記憶する(ステップS53)。この状態では、画像データIDは関連付けられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名や、画像種類(一般画像、特殊画像)である。
次に、送受信部31aは、通信管理システム5に対して、画像種類情報の追加要求を送信する(ステップS54)。この画像種類情報の追加要求には、ステップS53で記憶した送信元端末である自端末のIPアドレス、及び画像種類情報が含まれている。これにより、通信管理システム5の送受信部51は、画像種類情報の追加要求を受信する。
次に、通信管理システム5の記憶・読出部59は、ステップS54によって受信された送信元端末のIPアドレスを検索キーとして、セッション管理DB5001(図22参照)を検索することにより、対応するセッションIDを読み出す(ステップS55)。
次に、生成部56は、固有の画像データIDを生成する(ステップS56)。そして、記憶・読出部59は、画像種類管理DB5002(図23参照)に、新たなレコードとして、ステップS55で読み出されたセッションID、ステップS56で生成された画像データID、並びに、ステップS54で受信された送信元端末のIPアドレス及び画像種類情報を関連付けて記憶する(ステップS57)。そして、送受信部51は、ビデオ会議端末3aに対して、ステップS56で生成された画像データIDを送信する。これにより、ビデオ会議端末3aの送受信部31aは、画像データIDを受信する(ステップS58)。
次に、ビデオ会議端末3aの記憶・読出部39aは、画像種類管理DB3001a(図18参照)に、上記ステップS53で記憶しておいた送信元端末である自端末(ビデオ会議端末3a)のIPアドレス及び画像種類情報に関連づけて、ステップS58で受信された画像データIDを記憶する(ステップS59)。
一方、通信管理システム5の送受信部51は、他の通信端末(ここでは、スマートフォン9)に対して、画像種類情報の追加通知を送信する(ステップS60)。この画像種類情報の追加通知には、ステップS56で生成された画像データID、並びに、ステップS53で記憶された送信元端末である自端末(ビデオ会議端末3a)のIPアドレス及び画像種類情報が含まれている。これにより、スマートフォン9の送受信部91は、画像種類情報の追加通知を受信する。なお、送受信部51の送信先は、セッション管理DB5001(図22参照)で、ビデオ会議端末3aのIPアドレスと同じセッションIDに関連付けられている他のIPアドレスである。即ち、送信先は、ビデオ会議端末3aと同じ仮想の会議室に入っている他の通信端末である。
次に、スマートフォン9の記憶・読出部99は、画像種類管理DB9001(図18参照)に、新たなレコードとして、ステップS60で受信された、画像データID、送信元端末のIPアドレス、及び画像種類情報を関連付けて記憶する(ステップS61)。同じように、他の通信端末であるビデオ会議端末3d及びPC7にも画像種類情報の追加通信が送信され、ビデオ会議端末3d及びPC7でも、それぞれ画像種類管理DB3001d,7001に記憶される。以上より、各通信端末では、各画像種類管理DB3001a,3001d,7001,9001で同じ情報を共有することができる。
<撮影画像データの通信処理>
続いて、図28乃至図36を用いて、映像通話における撮影画像データの通信処理について説明する。図28は、映像通話の状態を示したイメージ図である。このうち、図28(a)は、撮影装置1aを利用しない場合を示し、図28(b)は、撮影装置1a、及び方角指示装置6を利用する場合を示している。
まず、図28(a)に示されているように、撮影装置1aを利用しないで、ビデオ会議端末3aに予め設けられたカメラ312(図11参照)を利用する場合、画角が水平125度で垂直70度であるため、ビデオ会議端末3aを各利用者A1等が映る机の端に置かなければならない。このため、各利用者A1等は、ビデオ会議端末3a側を向いて話さなければならない。また、各利用者A1等がビデオ会議端末3aの方を向くため、ディスプレイ4aもビデオ会議端末3aの側に置くことになる。これにより、ビデオ会議端末3aから離れた利用者A2,A4は、マイク314(図11参照)から離れているため、比較的大きな声で話さないといけないし、ディスプレイ4aの表示内容が見えづらい。
これに対して、図28(b)に示されているように、撮影装置1aを利用する場合には、全天球パノラマ画像の元になる2つの半球画像を得ることができるため、ビデオ会議端末3a及びディスプレイ4aは、比較的、机の中央に置くことができる。これにより、各利用者A1等は、マイク314に近いため、比較的小声で話すことができ、ディスプレイ4aの表示内容も見えやすくなる。なお、拠点Aの右側には、利用者A1等が文字や絵等を書き込むことができるホワイトボード40が設置されている。
続いて、図29を用い、図28(b)に示されている拠点Aで得られた撮影画像データ及び音データが、通信管理システム5を介して、他の各通信端末(スマートフォン9,PC7,ビデオ会議端末3d)へ送信される処理について説明する。図29は、映像通話における撮影画像データ及び音データの通信処理を示すシーケンス図である。
まず、撮影装置1aの通信部18aからビデオ会議端末3aの通信部38aに対して、被写体や風景等を撮影して得た撮影画像データ及び集音して得た音データを送信する(ステップS101)。この場合、撮影装置1aは全天球パノラマ画像の元になる2つの半球画像を得ることができる装置であるため、図3(a)、(b)に示されているように、撮影画像データは、2つの半球画像のデータによって構成されている。これにより、ビデオ会議端末3aの通信部38aは、撮影画像データ及び音データを受信する。
次に、ビデオ会議端末3aの送受信部31aは、通信管理システム5に対して、撮影装置1aから送られてきた撮影画像データ及び音データを送信する(ステップS102)。この送信には、送信対象である撮影画像データを識別するための画像データIDが含まれている。これにより、通信管理システム5の送受信部51は、撮影画像データ及び画像データIDを受信する。
次に、通信管理システム5の送受信部51は、ビデオ会議端末3aと同じ映像通話に参加している通信端末(スマートフォン9,PC7,ビデオ会議端末3d)に対して、撮影画像データ及び音データを送信する(ステップS103,S104,S105)。これら各送信には、送信対象である撮影画像データを識別するための画像データIDが含まれている。これにより、スマートフォン9の送受信部91、PC7の送受信部71及びビデオ会議端末3dの送受信部31dは、それぞれ撮影画像データ、画像データID及び音データを受信する。
続いて、図30及び図31を用いて、拠点Bにおけるディスプレイ917の表示例を説明する。図30(a)は、拠点Aの撮影装置1aからビデオ会議端末3aを介して送られて来た撮影画像データ、及び拠点Bの撮影装置1bから送られて来た撮影画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をせずに、そのまま表示する場合を示している。一方、図30(b)は、撮影装置1a,1bから送られて来た撮影画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をした場合を示している。なお、ディスプレイ4dの左側の表示領域(レイアウト番号「1」)には拠点Aの画像が表示され、右側上段の表示領域(レイアウト番号「2」)には拠点Bの画像が表示されている。更に、ディスプレイ4dの右側中段の表示領域(レイアウト番号「3」)には拠点Cの画像が表示され、右側下段の表示領域(レイアウト番号「4」)には拠点D(自拠点)の画像が表示されている。レイアウト番号「1」の表示領域は主表示領域であり、レイアウト番号「2」、「3」及び「4」の表示領域は副表示領域である。主表示領域の画像と副表示領域の画像は、各通信端末で変更することができる。通常、各拠点では、主表示領域に、映像通話の中心人物がいる拠点の画像が表示される。
ここで、全天球パノラマ画像の撮影が可能な撮影装置1a,1bから送られて来た撮影画像データをそのまま表示すると、図30(a)に示されているように、拠点Aと拠点Bの画像が、それぞれ図3(a),(b)に示されているように、前側の半球画像と後側の半球画像として表示される。
これに対して、画像・音処理部93が、全天球パノラマ画像の元になる2つの半球画像を得ることができる撮影装置1a,1bが出力した撮影画像データから、全天球パノラマ画像を作成し、更に所定領域画像を作成すると、図30(b)に示されているように、平面画像である所定領域画像が表示される。なお、拠点Cでは、一般画像を得る撮影装置8が撮影し、拠点Dでも、一般画像を得るビデオ会議端末3dが撮影しているため、図30(a),(b)のいずれも、一般画像(ここでは、平面画像)が表示されている。
ここで、図31を用いて、図30(b)に示されている画面例を表示する処理を説明する。図31は、所定領域画像又は一般画像の表示処理を示したフローチャートである。
まず、スマートフォン9では、記憶・読出部99が、図29に示されているステップS103によって受信された画像データIDを検索キーとして、画像種類管理DB9001(図18参照)を検索することにより、対応する画像種類情報(ソース名)を読み出す(ステップS111)。
次に、判断部95は、ステップS111によって読み出された画像種類情報が「特殊画像」である旨を示すか否かを判断する(ステップS112)。画像種類情報が「特殊画像」である旨を示す場合には(ステップS112;YES)、作成部96は、予め定められている所定領域情報に基づいて所定領域画像を作成する(ステップS113)。この際、画像・音処理部93は、画像種類情報が「特殊画像」である旨を示すことに基づき、全天球パノラマ画像である旨を示す全天球アイコン191,192を所定領域画像に合成する。そして、表示制御部94は、図30(b)に示されているように、ステップS113によって作成された所定領域画像を表示する(ステップS114)。
一方、上記ステップS112の判断で、画像種類情報が「特殊画像」である旨を示さない場合には(ステップS112;NO)、即ち、画像種類情報が「一般画像」である旨を示す場合には、画像・音処理部93は、ステップS103によって受信された撮影画像データから全天球パノラマ画像を作成せず、表示制御部94は一般画像を表示する(ステップS115)。
また、各拠点の利用者は、同じ全天球パノラマ画像における所定領域画像に係る所定領域を変更することができる。例えば、利用者B1は、タッチパネル921の操作等により、受付部92が所定領域画像の移動を受け付け、表示制御部94は、所定領域画像をずらしたり、回転したり、縮小したり、拡大したりすることができる。これにより、図30(b)に示されているように、初期設定(デフォルト)で拠点Aの一部の利用者A1,A2が表示されている所定領域画像から、図30(c)に示されているように、所定領域画像を表示することができる。具体的には、図30(c)は、図28(b)に示されている拠点Aの撮影画像において、利用者A1,A2を含む所定領域画像から、ホワイトボード40を含む所定領域画像に変更した状態を示している。
なお、図30(b)、(c)に示されている全天球アイコン191,192は、全天球パノラマ画像の一部の所定領域Tを示す所定領域画像である旨を表すための特殊画像識別アイコンの一例である。なお、全天球アイコン191,192の表示位置は、右上ではなく、左上、左下、及び右下等、どこでもよい。また、全天球アイコン191,192の種類は図30(b)、(c)に限らない。また、全天球アイコン191,192ではなく、「全天球画像」等の文字であってもよく、アイコンと文字の組み合わせであってもよい。
続いて、図32を用いて、図30(b)のように所定領域画像を表示した場合、及び図30(b)から図30(c)のように所定領域画像を変更した場合の画像通信システムにおける処理について説明する。図32は、所定領域情報を共有する処理を示したシーケンス図である。
まず、図30(b)に示されているように、拠点Bで利用者B1等がスマートフォン9を利用して拠点Aの所定領域画像を表示させた場合、スマートフォン9の送受信部91は、通信管理システム5に対して、表示された所定領域画像を示す所定領域情報を送信する(ステップS131)。この所定領域情報には、撮影画像データの送信元であるビデオ会議端末3aのIPアドレス、及び撮影画像データの送信先(所定領域情報の送信元)であるスマートフォン9のIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の記憶・読出部59は、所定領域管理DB5003に、ステップS131で受信された所定領域情報並びに送信元及び送信先の各IPアドレスを関連付けて記憶する(ステップS132)。なお、ステップS131,132の処理は、図30(b)から図30(c)のように、スマートフォン9で所定領域画像が変更される度に行なわれる。
次に、通信管理システム5の記憶・読出部59は、所定領域管理DB5003に記憶しておいた所定領域情報及び各IPアドレスの組のうち、その時点で最新の組となる(最も遅く記憶された組となる)所定領域情報及び各IPアドレスの組を一定期間(例えば、30秒)毎に読み出す(ステップS133)。そして、送受信部51は、所定領域情報の送信元であるスマートフォン9と同じ映像通話を行なっている他の通信端末(ビデオ会議端末3a,PC7、ビデオ会議端末3d)に対して、ステップS133で読み出された各IPアドレスを含む所定領域情報を配信(送信)する(ステップS134,S136,S138)。これにより、ビデオ会議端末3aの送受信部31aは、所定領域情報を受信する。そして、記憶・読出部39aは、所定領域管理DB3003aに、ステップS134で受信された所定領域情報及び各IPアドレスを関連付けたまま記憶する(ステップS135)。同様に、PC7においても、送受信部71が所定領域情報を受信した後、記憶・読出部79が所定領域管理DB7003に、ステップS136で受信された所定領域情報及び各IPアドレスに関連付けたまま記憶する(ステップS137)。更に、ビデオ会議端末3dにおいても、送受信部31dが所定領域情報を受信した後、記憶・読出部39dが所定領域管理DB3003dに、ステップS138で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS139)。
以上により、拠点Bで変更された所定領域画像を示す所定領域情報は、同じ映像通話中の他拠点A,C,Dの各通信端末に送信されることで、拠点Bで表示中の所定領域画像を示す所定領域情報が他拠点A,C,Dにおいても共有される。この処理は、拠点A,C,Dにおいて所定領域画像が変更された場合も同様に行なわれ、同じ映像通話中の全拠点で互いに他拠点で表示中の所定領域画像を示す所定領域情報が共通される。
<方角指示装置の制御方法>
続いて、図33を用いて、方角指示装置の制御方法を説明する。図33は、方角指示装置の制御方法を示すシーケンス図である。
まず、ビデオ会議端末3aでは、生成部30aが、送受信部31aによって受信された所定領域情報に基づいて、各LEDユニット620用の点灯パラメータを生成する(ステップS151)。更に、生成部30aが、送受信部31aによって受信された所定領域情報に基づいて、モータユニット630用の駆動パラメータを生成する(ステップS152)。なお、方角指示装置6にLEDユニット620が設けられていない場合には、ステップS151を行う必要はない。同様に、方角指示装置6にモータユニット630が設けられていない場合には、ステップS152を行う必要はない。
ここで、図34乃至図36を用いて、LEDユニット用の点灯パラメータ及びモータユニット用の駆動パラメータの生成方法について説明する。まずは、点灯パラメータ及び駆動パラメータの生成の説明にあたって、図34を用いて、方向基準マーク690、各方角φ1~φ8、及び各LED622a~622hの位置関係について説明する。
図34(a)は、方角指示装置6の方角基準マーク690を基準とした方角の割り当てを示した概念図である。ここでは、8つの方角が示されており、方角φ2~φ8は、方角基準マーク690に位置する方角φ1から45°ずつの間隔で割り当てられている。なお、上述のステップS134によって、ビデオ会議端末3aは、拠点Bのスマートフォン9から所定領域情報を受信しているが、これ以外に、拠点CのPC7及び拠点Dのビデオ会議端末3dからも各所定領域情報を受信する。図34(a)は、拠点Aから各拠点B,C,Dに送られた撮影画像データに係る全体画像において、拠点B,C,Dにおける各所定領域画像の方角φB,φC,φDを示している。また、図34(a)における方角φB,φC,φDは、拠点Aにおける方向基準マーク690(方角φ1)に対する角度を示している。なお、図34(a)では、8つの方角を示しているが、これに限るものではなく、2以上の方角であればよい。
また、図34(b)は、図34(a)で示された各方角φ1~φ8と各LED622a~622hの位置関係を示した図である。LED622a~622hは、ぞれぞれ方角φ1~φ8の位置に設けられている。
そして、生成部30aは、ステップS151の処理において、具体的に、図35に示されているような処理を行なう。図35は、LEDユニット用の点灯パラメータの生成の処理を示したフローチャートである。
まず、生成部30aは、上記ステップS134のように各拠点の通信端末から受信された特定の所定領域情報に含まれている方角(比較元)と、予め割り当てられた8つの方角のうちの任意の1つの方角(比較先)との角度差を算出する(ステップS151-1)。例えば、図34(a)では、生成部30aは、所定領域情報に含まれている方角φB(比較元)と、予め割り当てられた8つの方角のうちの1つ目の方角φ1(比較先)との角度差を算出する。
次に、生成部30aは、特定の所定領域情報に含まれている方角(比較元)と、全ての方角(比較先)との角度差を算出したかを判断する(ステップS151-2)。このステップS151-2によって、生成部30aは、全ての方角(比較先)との角度差を算出していない場合には(NO)、ステップS501に戻って、残りの方角(比較先)との角度差を算出する。例えば、図34(a)において、生成部30aは、方角φB(比較元)と、予め割り当てられた8つの方角のうちの2つ目の方角φ2(比較先)との角度差を算出する。
一方、ステップS151-2において、生成部30aが、特定の所定領域情報に含まれている方角(比較元)と、全ての方角(比較先)との角度差を算出したと判断した場合には(YES)、生成部30aは、方角(比較元)を、角度差が最小となる方角(比較先)に置き換え、この置き換えた方角(比較先)の点灯対象番号の該当数を1カウント追加する(ステップS151-3)。例えば、図21に示されている方角指定管理テーブルにおいて、生成部30aは、方角φ180示す点灯対象番号「5」の該当数に「1」を加算する。
次に、生成部30aは、全ての方角(比較元)を比較対象としたかを判断する(ステップS151-4)。そして、ステップS151-4において、生成部30aが、全ての方角(比較元)を比較対象としていないと判断した場合には(NO)、上記ステップS151-1に戻り、生成部30aは、次の所定領域情報に含まれている方角(比較先)と予め割り当てられた方角(比較先)との角度差を算出する。例えば、生成部30aは、拠点Bから送られて来た所定領域情報に含まれる方角φBの次として、拠点Cから送られて来た所定領域情報に含まれる方角φCを比較先とし、予め割り当てられた8つの方角のうちの1つ目の方角φ1(比較先)との角度差の算出を開始する。これにより、例えば、図21に示されている方角指示管理テーブルでは、点灯対象番号「3」の該当数が「1」、点灯対象番号「5」の該当数が「2」として管理されることになる。
続いて、上記ステップS151-4において、生成部30aが、全ての方角(比較元)を比較対象としたと判断した場合には(YES)、算出部37aは、以下の(式2)によって、算出部37aは、各点灯対象番号の点灯強度を算出する(ステップS151-5)。
点灯強度=(方角nの該当数)/(該当数の合計)・・・(式2)
ここで、図21の場合、n=0,45,90,135,180,225,270,315である。そして、ステップS151-5の処理が終了する。
具体的には、生成部30aは、図21に示されている方角指示管理テーブルに基づき、任意の点灯対象番号の該当数を全該当数の合計で割ることで、この任意の点灯対象番号で示されるLEDの点灯強度を算出する。例えば、図21に示されている方角指示管理テーブルにおいて、点灯対象番号「5」の該当数が「2」で、全該当数の合計が「3」であるため、生成部30aは、点灯対象番号「5」の点灯強度が「2/3」と算出する。
以上により、ステップS151による、LEDユニット用の点灯パラメータを生成する処理が終了する。
続いて、生成部30aは、ステップS152の処理において、図36に示されているような処理を行なう。図36は、モータユニット用の駆動パラメータの生成の処理を示したフローチャートである。
まず、生成部30aは、図21に示されている方角指示管理テーブルから、最大の該当数である点灯対象番号を抽出する(ステップS152-1)。例えば、生成部30aは、最大の該当数「2」である点灯対象番号「5」を抽出する。
次に、生成部30aは、抽出した点灯対象番号が複数であるかを判断する(ステップS152-2)。例えば、最大の該当数「2」となる点灯対象領域が2つ存在する場合には、生成部30aは、複数の点灯対象番号があると判断する。
次に、ステップS152-2において、生成部30aが、複数の点灯対象番号があると判断した場合には(YES)、生成部30aは、図21に示されている方角指示管理テーブルにおいて、ステップS152-1で抽出した複数の点灯対象番号のうち、所定のルールに従って、単一の特定の点灯対象番号に決定する(ステップS152-3)。所定のルールは、例えば、生成部30aが、最新の所定領域情報に含まれる方角(比較元)に対応する単一の特定の点灯対象番号に決定することである。具体的には、生成部30aは、上記ステップS151-3によって各点灯対象番号に対応する方角(比較先)に置き換えられた方角(比較元)を含む所定領域情報のうち、ステップS134等によって受信された最新の所定領域情報を特定し、この最新の所定領域情報に含まれる方角(比較元)が置き換えられた方角(比較先)に対応する特定の点灯対象番号に決定する方法が挙げられる。この場合、図20に示されている所定領域管理テーブルでは、下の行にレコードが追加されるため、生成部30aは所定領域管理テーブルの最下段から検索することで、上記最新の所定領域情報を特定する。
なお、所定ルールの他の例としては、最初に映像通話に参加した通信端末から送られて来た所定領域情報の方角(比較元)が置き換えられている方角(比較先)に対応する特定の点灯対象番号に決定することが挙げられる。更に他の例としては、最後に映像通話に参加した通信端末から送られて来た所定領域情報の方角(比較元)が置き換えられている方角(比較先)に対応する特定の点灯対象番号に決定することが挙げられる。
一方、上記ステップS152-2において、抽出した点灯対象番号が複数でないと判断された場合には(NO)、上記ステップS152-3の処理は省略され、生成部30aは、上記ステップS152-1で抽出した点灯対象番号を特定の単一の点灯対象番号に決定する(ステップS152-4)。
次に、生成部30aは、決定した点灯対象番号に対応した該当数の対象となる各方角(比較元)の平均値を算出する(ステップS152-5)。例えば、図34(a)において、方角(比較元)φBが基準の方角φ1に対して160°で、方角(比較元)φCが基準の方角φ1に対して196°の場合、平均値は178°(=(160°+196°)/2)となる。この平均値は、図13に示されている方角指示装置6における指示体607の方角Φを示し、駆動パラメータの一部を構成する。
次に、生成部30aは、ステップS152-5によって平均値が算出された各方角(比較元)を含む各所定領域情報に含まれている各極角θの平均値を算出する(ステップS152-6)。この平均値は、図13に示されている方角指示装置6における指示体607の極角Θを示し、駆動パラメータの一部を構成する。
以上により、ステップS152による、モータユニット用の駆動パラメータを生成する処理が終了する。
続いて、図33に示されているように、ビデオ会議端末3aの通信部38aは、方角指示装置6の通信部68に対して、制御情報を出力する(ステップS153)。この制御情報には、ステップS151で生成された点灯パラメータ、及びステップS152で生成された駆動パラメータが含まれている。
次に、方角指示装置6の駆動信号生成部63は、通信部68によって受信された制御情報の点灯パラメータに基づいて、表示制御部64を制御するための点灯制御信号を生成するとともに、通信部68によって受信された制御情報の駆動パラメータに基づいて、駆動部66を制御するための駆動制御信号を生成する(ステップS154)。そして、表示制御部64は、各LED622の点滅及び点灯強度を制御すると共に、駆動部66は、回転部650の各モータ632a,632bの駆動を制御する(ステップS155)。
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、拠点Aの各利用者A1~A4は、各LED622の点滅に基づき、他拠点B,C,Dの各ディスプレイで表示されている所定領域画像(中心)の方角を視覚的に把握することができると共に、各LED622の点灯強度に基づき、他拠点B,C,Dうち、各ディスプレイで最も多く表示されている所定領域画像(中心)の方角を視覚的に把握することができる。また、拠点Aの各利用者A1~A4は、指示体607の先端部が示す方角に基づき、他拠点B,C,Dうち、各ディスプレイで最も多く表示されている所定領域画像(中心)の方角を視覚的に把握することができる。特に、指示体607は、緯度及び経度により3次元的に方角を示すため、拠点Aの各利用者A1~A4は、各LED622を使用する場合よりも、より正確に最も多く表示されている所定領域画像(中心)の方角を視覚的に把握することができる。
また、ビデオ会議端末3a等の通信端末は、画像データと共に送られて来る画像データIDに基づき、対応する画像種類情報によって、全天球パノラマ画像を作成し、更に所定領域画像を作成することができる。これにより、図30(a)に示されているように、前側の半球画像と後側の半球画像を表示してしまうことを防止することができるという効果を奏する。
〔第2の実施形態〕
続いて、図37を用いて、第2の実施形態について説明する。図37は、図32に示された処理の他の例を示し、所定領域情報を共有する他の処理を示すシーケンス図である。図37では、拠点Aのビデオ会議端末3aが通信端末(自端末)であり、拠点Dのビデオ会議端末3dが他の通信端末である。
上記第1の実施形態では、図32に示されているように、通信管理システム5が、各通信端末から送信された各所定領域情報を一旦管理して(S132参照)、一定期間毎に送信元以外の各通信端末に各所定領域情報を送信した(S134~S139参照)。これに対して、本実施形態では、図37に示されているように、撮影画像データの送信元の通信端末(ここでは、ビデオ会議端末3a)が、通信管理システム5に替わって、所定領域情報を一旦管理して(S213参照)、一定期間毎に自端末以外の各通信端末に各所定領域情報を送信する(S215~S221参照)。即ち、本実施形態では、撮影画像データの送信元の通信端末は、自端末(ここでは、ビデオ会議端末3a)が送信した撮影画像データが他の通信端末でどのような所定領域T1の所定領域画像として表示されているかを管理している。
なお、本実施形態は、第1の実施形態と同じ構成であり、図32に示されている処理が異なる。そのため、以下では、同じ構成には同一の符号を用いて説明を省略するとともに、図37を用いて、第1の実施形態と異なる処理の部分を説明する。
まず、拠点Bで利用者B1等がスマートフォン9を利用して拠点Aの所定領域画像を表示させた場合、スマートフォン9の送受信部91は、通信管理システム5に対して、表示された所定領域画像を示す所定領域情報を送信する(ステップS211)。この所定領域情報には、撮影画像データの送信元であるビデオ会議端末3aのIPアドレス、及び撮影画像データの送信先(所定領域情報の送信元)であるスマートフォン9のIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の送受信部51は、撮影画像データの送信元であるビデオ会議端末3aに、ステップS211で受信した各IPアドレスを含む所定領域情報を送信する(ステップS212)。これにより、ビデオ会議端末3aの送受信部31aは、所定領域情報を受信する。
次に、ビデオ会議端末3aの記憶・読出部39aは、所定領域管理DB3003aに、ステップS212で受信された所定領域情報並びに送信元及び送信先の各IPアドレスを関連付けて記憶する(ステップS213)。このステップS213の処理が、自端末(ここでは、ビデオ会議端末3a)が送信した撮影画像データが他の通信端末でどのように表示されているかを管理する処理である。なお、ステップS211~S213の処理は、スマートフォン9で所定領域画像が変更される度に行なわれる。
次に、ビデオ会議端末3aの記憶・読出部39aは、所定領域管理DB3003aに記憶しておいた所定領域情報及び各IPアドレスの組のうち、その時点で最新の組となる(最も遅く記憶された組となる)所定領域情報及び各IPアドレスを一定期間(例えば、30秒)毎に読み出す(ステップS214)。そして、送受信部31aは、通信管理システム5に対して、ステップS214で読み出された各IPアドレスを含む所定領域情報を送信する(ステップS215)。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の送受信部51は、各通信端末(スマートフォン9,PC7,ビデオ会議端末3d)に、ステップS215で受信した各IPアドレスを含む所定領域情報を送信(配信)する(ステップS216,S218,S220)。これにより、スマートフォン9の送受信部91は、所定領域情報を受信する。そして、記憶・読出部99は、所定領域管理DB9003に、ステップS216で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS217)。同様に、PC7においても、送受信部71が所定領域情報を受信した後、記憶・読出部79が所定領域管理DB7003に、ステップS220で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS219)。同様に、ビデオ会議端末3dにおいても、送受信部31dが所定領域情報を受信した後、記憶・読出部39dが所定領域管理DB3003dに、ステップS218で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS221)。
<<本実施形態の主な効果>>
以上説明したように、本実施形態によれば、撮影画像データの送信元の通信端末が、自端末から送信した撮影画像データに基づいて、各通信端末でどのように表示されているかを示す所定領域情報を収集して、各通信端末に配信する。これにより、第1の実施形態の効果に加え、多数の通信端末で同じ会議等を行なう場合に、通信管理システム5への負担が集中することを回避することができるという効果を奏する。
〔補足〕
上記実施形態では、パノラマ画像の一例として、撮影画像(全体画像)が3次元の全天球パノラマ画像について説明したが、2次元のパノラマ画像であってもよい。
また、上記実施形態では、通信管理システム5が、各通信端末から送信された所定領域情報を中継しているが、これに限らず、各通信端末同士が直接、所定領域情報を送受信してもよい。
また、上記実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。
1a 撮影装置
1b 撮影装置
3a ビデオ会議端末(第3の通信端末の一例/通信端末(自端末)の一例)
3d ビデオ会議端末(他の通信端末の一例)
4a ディスプレイ
4d ディスプレイ(表示手段の一例)
5 通信管理システム
7 PC
8 撮影装置
9 スマートフォン(通信端末の一例)
90 生成部(生成手段の一例)
91 送受信部(送信手段の一例、受信手段の一例)
97 算出部(変更手段の一例)
98 通信部(通信手段の一例)
9001 画像種類管理DB(画像種類管理手段の一例)
9002 撮影装置管理DB(撮影装置管理手段の一例)
9003 所定領域管理DB(所定領域管理手段の一例)
9004 方角指示管理DB(方角指示管理手段の一例)
特開2012-178135号公報 特開2011-223076号公報

Claims (5)

  1. 撮影画像データを得る通信端末と、前記撮影画像データに係る全体画像における所定領域の画像である所定領域画像の方向を示す方向指示装置と、を有する通信システムであって、
    前記方向指示装置は、
    所定の方角基準に対する前記所定領域の方角及び所定の極角基準に対する前記所定領域の極角を指示する指示体の先端部を移動させるためのモータと、
    前記方角を指示する複数の点灯手段と、を有し、
    前記通信端末は、
    他の通信端末が受信するように、前記撮影画像データを送信する送信手段と、
    前記定領域画像を表示している前記他の通信端末から送信され、前記所定領域を示す所定領域情報を受信する受信手段と、
    前記受信手段によって受信された前記所定領域情報に基づき、前記方角及び前記極角を算出する算出手段と、
    前記算出手段によって算出された前記方角に基づき、前記複数の点灯手段のうちの特定の点灯手段を点灯させるための点灯パラメータを生成し、前記算出手段によって算出された前記方角及び前記極角に基づき、前記指示体を駆動させるための駆動パラメータを生成する生成手段と、
    前記生成手段によって生成された前記点灯パラメータ及び前記駆動パラメータを含む制御情報を、前記向指示装置に出力する通信手段と、を有し、
    前記方向指示装置は、
    前記点灯パラメータに基づいて前記特定の点灯手段の点灯を制御し、前記駆動パラメータに基づいて前記モータの駆動を制御する、
    ことを特徴とする通信システム
  2. 前記点灯パラメータは、前記点灯させる特定の点灯手段の点灯強度を含むことを特徴とする請求項1に記載の通信システム
  3. 前記方向指示装置は、前記複数の点灯手段として、複数のLEDを有することを特徴とする請求項1又は2に記載の通信システム。
  4. 前記通信端末は、ビデオ会議端末、パーソナルコンピュータ、スマートフォン、デジタルテレビ、スマートウオッチ、又はカーナビゲーション装置であることを特徴とする請求項1乃至のいずれか一項に記載の通信システム
  5. 撮影画像データを得る通信端末と、前記撮影画像データに係る全体画像における所定領域の画像である所定領域画像の方向を示し、所定の方角基準に対する前記所定領域の方角及び所定の極角基準に対する前記所定領域の極角を指示する指示体の先端部を移動させるためのモータ、並びに、前記方角を指示する複数の点灯手段を備えた方向指示装置と、を有する通信システムが実行する通信方法であって、
    前記通信端末は、
    他の通信端末が受信するように、前記撮影画像データを送信する送信ステップと、
    前記定領域画像を表示している前記他の通信端末から送信され、前記所定領域を示す所定領域情報を受信する受信ステップと、
    前記受信ステップによって受信された前記所定領域情報に基づき、前記方角及び前記極角を算出する算出ステップと、
    前記算出ステップによって算出された前記方角に基づき、前記複数の点灯手段のうちの特定の点灯手段を点灯させるための点灯パラメータを生成し、前記算出ステップによって算出された前記方角及び前記極角に基づき、前記指示体を駆動させるための駆動パラメータを生成する生成ステップと、
    前記生成ステップによって生成された前記点灯パラメータ及び前記駆動パラメータを含む制御情報を、前記向指示装置に出力する通信ステップと、を含む処理を実行し、
    前記方向指示装置は、
    前記点灯パラメータに基づいて前記特定の点灯手段の点灯を制御するステップと、
    前記駆動パラメータに基づいて前記モータの駆動を制御するステップと、を含む処理を実行する、
    ことを特徴とする通信方法
JP2017207821A 2017-10-27 2017-10-27 通信システム及び通信方法 Active JP7006133B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017207821A JP7006133B2 (ja) 2017-10-27 2017-10-27 通信システム及び通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017207821A JP7006133B2 (ja) 2017-10-27 2017-10-27 通信システム及び通信方法

Publications (2)

Publication Number Publication Date
JP2019080273A JP2019080273A (ja) 2019-05-23
JP7006133B2 true JP7006133B2 (ja) 2022-01-24

Family

ID=66628108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017207821A Active JP7006133B2 (ja) 2017-10-27 2017-10-27 通信システム及び通信方法

Country Status (1)

Country Link
JP (1) JP7006133B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130251A (ja) 2003-10-24 2005-05-19 Sony Corp 映像配信システム
JP2006345386A (ja) 2005-06-10 2006-12-21 Canon Inc 監視カメラの撮影範囲の表示装置
JP2008294954A (ja) 2007-05-28 2008-12-04 Nikon Corp カメラシステム及び遠隔操作装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130251A (ja) 2003-10-24 2005-05-19 Sony Corp 映像配信システム
JP2006345386A (ja) 2005-06-10 2006-12-21 Canon Inc 監視カメラの撮影範囲の表示装置
JP2008294954A (ja) 2007-05-28 2008-12-04 Nikon Corp カメラシステム及び遠隔操作装置

Also Published As

Publication number Publication date
JP2019080273A (ja) 2019-05-23

Similar Documents

Publication Publication Date Title
JP7452596B2 (ja) 通信端末、表示方法、プログラム及び画像通信システム
JP7322940B2 (ja) 画像通信システム、画像通信端末、画像通信方法、プログラム、及び記録媒体
JP6907861B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7095361B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP6756269B2 (ja) 通信端末、画像通信システム、通信方法、及びプログラム
US10764513B2 (en) Communication terminal, image data communication system, and communication method
JP7346975B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
US10666898B2 (en) Communication management system, communication system, and communication method
US20190306201A1 (en) Communication terminal, image communication system, and display control method
JP2020150330A (ja) 画像通信システム、撮像装置、モード切替方法、プログラム
JP2020149635A (ja) 撮像装置、画像通信システム、画像処理方法、プログラム
JP7017045B2 (ja) 通信端末、表示方法、及びプログラム
JP7151316B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7006133B2 (ja) 通信システム及び通信方法
JP7326789B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7371369B2 (ja) 通信端末および画像通信システム
JP6992338B2 (ja) 通信システム、通信管理方法、プログラム、システム及び通信方法
JP7354733B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7210892B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2021176221A (ja) 通信端末、通信システム、通信方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220