JP7400195B2 - 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム - Google Patents
画像通信システム、撮像装置、通信端末、モード切替方法、プログラム Download PDFInfo
- Publication number
- JP7400195B2 JP7400195B2 JP2019044187A JP2019044187A JP7400195B2 JP 7400195 B2 JP7400195 B2 JP 7400195B2 JP 2019044187 A JP2019044187 A JP 2019044187A JP 2019044187 A JP2019044187 A JP 2019044187A JP 7400195 B2 JP7400195 B2 JP 7400195B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- predetermined area
- communication terminal
- mode
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims description 459
- 238000003384 imaging method Methods 0.000 title claims description 228
- 238000000034 method Methods 0.000 title claims description 58
- 238000012545 processing Methods 0.000 claims description 109
- 238000006243 chemical reaction Methods 0.000 claims description 46
- 238000012937 correction Methods 0.000 claims description 30
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 78
- 238000003860 storage Methods 0.000 description 55
- 230000006870 function Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 23
- 230000001133 acceleration Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 239000013256 coordination polymer Substances 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 239000007787 solid Substances 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Studio Devices (AREA)
Description
前記第二の通信端末は、前記第一の所定領域情報及び前記画像を受信する受信部と、前記受信部が受信した前記第一の所定領域情報で決定される前記画像の前記所定領域を画面に表示する表示制御部と、を有し、前記撮像装置は、前記撮像装置の姿勢情報を取得することで特定した前記撮像装置が指し示す方向を前記第一の所定領域情報として取得することを特徴とする。
まず、図1を用いて画像通信システム10の動作の概略を説明する。図1は、4つ拠点間で通信している画像通信システム10の動作の概略を説明する図である。拠点Aでは撮像者8が全天球画像をリアルタイムに撮像して、通信ネットワーク100を介して拠点B~Dに全天球画像を送信している。拠点B~Dも全天球画像又は画像を送信できる。音声データは送信してもしなくてもよい。全天球画像は静止画でもよいし動画のように繰り返し送信されてもよい。
・自由視点モード(ユーザが任意に所定領域画像を変更できる)
・撮像者ビューモード(撮像者が送信した撮像者ビュー情報に所定領域画像が制限される)
図示するように、撮像者8が撮像者ビューモードにモードを切り替えると、通信端末1(第一の通信端末の一例)から全天球画像と共に撮像者ビュー情報(第一の所定領域情報の一例)が各拠点B~Dに送信される。拠点B~Dの通信端末2~4(第二の通信端末の一例)は全天球画像と撮像者ビュー情報を受信すると、それまで表示していた所定領域画像に関わりなく、撮像者ビュー情報で所定領域画像を生成して表示する。
画像の閲覧に関するモードとは、閲覧者が所定領域を決定する自由度に関するモードである。本実施形態では、自由視点モードと撮像者ビューモードという用語で説明される。
図2乃至図8を用いて、全天球画像の生成方法について説明する。
図9は、球座標による3次元ユークリッド空間内の点を示した図である。中心点CPを球面座標系で表現したときの位置座標を(r、θ、φ)とする。(r、θ、φ)は、それぞれ動径、極角、方位角である。動径rは、全天球画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、fに等しい。図9は、これらの関係を表した図である。以降、中心点を位置座標(r,θ、φ)を用いて説明する。
続いて、図10を用いて、本実施形態の画像通信システム10の構成の概略について説明する。図10は、本実施形態の画像通信システム10の構成の概略図である。
次に、図11~図14を用いて、本実施形態の撮像装置5a、5c、通信端末1~4、通信管理システムのハードウェア構成を詳細に説明する。なお、撮像装置5cは、一般のカメラであるため、詳細な説明は省略する。
まず、図11を用いて、撮像装置5a、5cのハードウェア構成を説明する。図11は、撮像装置5a、5cのハードウェア構成図である。以下では、撮像装置5a、5cは、2つの撮像素子を使用した全天球(全方位)撮像装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置5a、5cと同じ機能を有するようにしてもよい。
次に、図12を用いて、通信端末3,4のハードウェア構成を説明する。図12は、通信端末3,4のハードウェア構成図である。図12に示されているように、通信端末3,4は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319のアンテナ319aを備えている。
次に、図13を用いて、通信管理システム50のハードウェア構成を説明する。図13は、通信管理システムのハードウェア構成図である。
次に、図14を用いて、通信端末1,2のハードウェアについて説明する。図14は、通信端末1,2のハードウェア構成図である。図14に示されているように、通信端末1,2は、CPU901、ROM902、RAM903、EEPROM904、CMOSセンサ905、加速度・方位センサ906、メディアI/F908、GPS受信部909を備えている。
次に、図15~図24を用いて、本実施形態の機能構成について説明する。図15及び図16は、画像通信システム10の機能をブロック状に示す機能ブロック図である。
図15に示されているように、撮像装置5aは、受付部12a、撮像部13a、集音部14a、姿勢情報取得部15a、画像処理部16a、モード受付部17a、通信部18a(送信部と受信部を有する)、及び記憶・読出部19aを有している。これら各部は画像処理部16aを除いて、図11に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮像装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。画像処理部16aはASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)等の回路モジュールで実現されるとするが、ソフト的に実現されてもよい。
図17はモード管理テーブルを示す概念図である。モード管理テーブルでは全天球画像の閲覧に関するモードが現在、撮像者ビューモードになっているか、自由視点モードになっているかを記憶する。撮像者ビューモードになっている場合、撮像者ビュー情報が各拠点に送信される。
撮像装置5aの受付部12aは、主に、図11に示されている操作部115及びCPU111の処理によって実現され、撮像者8からの操作入力を受け付ける。
<通信端末1の機能構成>
図15に示されているように、通信端末1は、送受信部91(送信部と受信部を有する)、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、算出部97、通信部98、及び記憶・読出部99を有している。これら各部は、図14に示されている各構成要素のいずれかが、EEPROM904からRAM903上に展開された通信端末1用プログラムに従ったCPU901からの命令によって動作することで実現される機能又は手段である。
図18は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データID、送信元端末の宛先の一例であるIPアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データIDは、ビデオ通信を行う際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データIDが付加されている。これにより、宛先端末(受信側の通信端末)は、受信した画像データの送信元端末を特定することができる。送信元端末のIPアドレスは、関連付けられている画像データIDで示される画像データを送信する通信端末のIPアドレスを示す。ソース名は、関連付けられている画像データIDで示される画像データを出力する撮像装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、通信端末3等によって作成された名称である。
図19は、撮像装置管理テーブルを示す概念図である。この撮像装置管理テーブルでは、全天球画像の元になる2つの半球画像を得ることができる撮像装置のGUIDのうちのベンダIDとプロダクトIDが記憶されて管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダID(VID)とプロダクトID(PID)が利用できる。このベンダIDとプロダクトIDは、通信端末3、4の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。
図20は、所定領域管理テーブルを示す概念図である。この所定領域管理テーブルでは、撮像画像データの送信元の通信端末のIPアドレス、撮像画像データの送信先の通信端末のIPアドレス、及び、撮像画像データの送信先の通信端末で表示中の所定領域画像を示す所定領域情報が関連付けられて記憶されて管理されている。なお、撮像画像データの送信先の通信端末は、所定領域情報の送信元の通信端末でもある。所定領域情報は、図6及び図7に示されているように、撮像画像から、この撮像画像における所定領域Tの画像(所定領域画像)に変換するための変換テーブルである。なお、IPアドレスは、宛先情報の一例であって、宛先情報には、MAC(Media Access Control)アドレス、通信端末を特定するための端末ID(Identification)等が含まれる。また、ここでは、IPアドレスは、IPv4アドレスを簡略化して表されている。IPアドレスは、IPv6でもよい。
図21は、閲覧者ビュー情報テーブルを示す概念図である。閲覧者ビュー情報テーブルには、通信端末1の現在の閲覧者ビュー情報を記憶する。閲覧者ビュー情報は、閲覧者(ユーザ)が全体画像から表示すべき中心点CPを特定するための動径、極角、方位角の情報である。これにより所定領域が決定される。図21では閲覧者ビュー情報は1つであるが、他の拠点から複数の全天球画像が送信されている場合は、画像データIDに対応付けてその数だけ閲覧者ビュー情報が登録される。
通信端末1の送受信部91は、主に、図14に示されている遠距離通信回路911及びCPU901の処理によって実現され、通信ネットワーク100を介して、通信管理システム50と各種データ(又は情報)の送受信を行う。
次に、通信端末2の機能構成について詳細に説明する。通信端末2は、基本的に通信端末1と同じ機能を有している。即ち、図16に示されているように、通信端末2は、送受信部71(送信部と受信部を有する)、受付部72、画像・音処理部73、表示制御部74、判断部75、作成部76、算出部77、通信部78、及び記憶・読出部79を有している。しかし、各機能はそれぞれ、通信端末1における送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、算出部97、通信部98、及び記憶・読出部99と同様の機能を実現するため、これらの説明を省略する。
次に、通信端末3の機能構成について説明する。通信端末3は、基本的に通信端末1と同じ機能を有している。即ち、図15に示されているように、通信端末3は、送受信部31c、受付部32c、画像・音処理部33c、表示制御部34c、判断部35c、作成部36c、算出部37c、通信部38c、記憶・読出部39cを有している。しかし、これらは、通信端末1における送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、算出部97、通信部98、記憶・読出部99、及び記憶部9000と同様の機能を実現するため、これらの説明を省略する。
次に、通信端末4の機能構成について説明する。通信端末4は、基本的に通信端末1と同じ機能を有している。即ち、図16に示されているように、通信端末4は、送受信部31d、受付部32d、画像・音処理部33d、表示制御部34d、判断部35d、作成部36d、算出部37d、通信部38d、記憶・読出部39d、及び記憶部3000dを有している。しかし、これらは、通信端末1における送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、算出部97、通信部98、記憶・読出部99、及び記憶部9000と同様の機能を実現するため、これらの説明を省略する。
次に、通信管理システム50の各機能構成について詳細に説明する。通信管理システム50は、送受信部51、判断部55、生成部56、及び記憶・読出部59を有している。これら各部は、図13に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理システム50用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
図22は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションID、及び参加した通信端末のIPアドレスが関連付けて記憶されて管理されている。このうち、セッションIDは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションIDは、通信端末1~4でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のIPアドレスは、関連付けられているセッションIDで示される仮想の会議室に参加した通信端末のIPアドレスを示している。
図23は、画像種類管理テーブルを示す概念図である。図23に示されている画像種類管理テーブルは、図18に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションIDと同じセッションIDが関連付けて管理されている。ここでは、同じセッションID「se101」で示される仮想の会議室には、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」の3つの通信端末が参加していることが示されている。なお、通信管理システム50において、通信端末1~4(ビデオ会議端末)等の通信端末で管理される、画像データID、送信元端末のIPアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行う必要がない。
図24は、所定領域情報管理テーブルを示す概念図である。この所定領域情報管理テーブルは、基本的に図20に示されている所定領域情報管理テーブルと同様のデータ構造を有している。但し、後述のように、送受信部51は、各通信端末に一定期間(例えば30秒)毎に最新の所定領域情報を送信するため、所定領域情報が一定期間毎に送信されるまでの間に、送受信部51によって受信された全ての所定領域情報は削除されずに保存されている。図24では、新しい所定領域情報ほど上位で管理されている。
通信管理システム50の送受信部51は、主に、図13に示されているネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク100を介して通信端末1~4と各種データ(又は情報)の送受信を行う。
まず、図25及び図26を用いて、特定の通信セッションへの参加処理について説明する。図25は、特定の通信セッションへの参加処理を示したシーケンス図である。図26は、通信セッション(仮想の会議室)の選択画面を示した図である。
続いて、図27~図35を参照して、撮像者ビュー情報の受け付け方法を説明する。本実施形態では撮像者ビュー情報の2つの受け付け方法を説明する。
図27は、拠点Aにおいて通信端末1のディスプレイ917に表示された映像表示画面250の一例である。映像表示画面250の左側の表示領域(レイアウト番号「1」)には拠点Bの全天球画像が表示され、右側上段の表示領域(レイアウト番号「2」)には拠点Cの全天球画像が表示されている。更に、映像表示画面250の右側中段の表示領域(レイアウト番号「3」)には拠点Dの画像が表示され、右側下段の表示領域(レイアウト番号「4」)には拠点A(自拠点)の画像が表示されている。レイアウト番号「1」の表示領域は主表示領域であり、レイアウト番号「2」、「3」及び「4」の表示領域は副表示領域である。主表示領域の画像と副表示領域の画像は、各通信端末で変更することができる。通常、各拠点では、主表示領域に、映像通話の中心人物がいる拠点の画像が表示される。
2つめの撮像者ビュー情報の受け付け方法は撮像装置5aを使用する方法である。撮像者8は所定のボタンを押して撮像装置5aを指し示すだけで撮像者ビュー情報を作成できる。この方法では、撮像装置5aに予め注目点座標が定義されており、撮像者がこの注目点座標で見せたい対象を指し示す。撮像装置5aはこの時の姿勢情報を検出しており、注目点座標を姿勢情報に応じて変換する。変換された注目点座標が撮像者ビュー情報である。
まず、図28~図30を用いて撮像装置5aの姿勢情報について説明する。図28は、撮像装置5aの座標軸を説明する図の一例であり、図29は基準となる撮像装置5aの姿勢を説明する図の一例である。基準となる撮像装置5aの姿勢とは、撮像装置の姿勢の初期状態である。
α= atan2(ay,-az) ay^2+az^2 ≧ threshR^2
= 0 ay^2+az^2 < threshR^2
と表せる。αは-π<α≦πの値をとる。
α(n+1)=α(n)+k*gα*dt
β(n+1)=β(n)+k*gβ*dt
γ(n+1)=γ(n)+k*gγ*dt
として算出できる。
図31を用いて、撮像者8が指し示した注目点座標が天頂補正でどのように処理されるかのイメージを説明する。図31(a)は撮像者8が対象を指し示す様子を示す。撮像者8は撮像装置5aで人形190を指し示している。
図32は、撮像装置5aが有する画像処理部16aの主要な機能ブロックを示す。画像処理部16aは、撮像画像取得部202と、つなぎ合わせ処理部204と、天頂補正部206と、全天球画像生成部208と、画像圧縮部210と、注目点定義部194と、注目点変換部196と、注目点指定有無判断部198と、を有する。
・変換テーブルについて
図33は変換テーブル及び平面座標系から球面座標系への変換を説明する図である。図33(a)は、本実施形態による撮像装置5aが用いる変換テーブルを説明する図である。変換テーブルは、撮像素子の平面座標系(x、y)で表現される部分画像から、球面座標系(θ、φ)の正距円筒画像(以下、補正後画像という)への射影を規定する。変換テーブルは、各魚眼レンズごとに、補正後画像の座標値(θ,φ)と、該座標値(θ,φ)にマッピングされる補正前の部分画像の座標値(x、y)とを対応付ける情報を、全座標値(θ,φ)に対して保持したものである。図33の例示では、1画素が担当する角度は、φ方向及びθ方向いずれも1/10度であり、変換テーブルは、各魚眼レンズについて、3600×1800の対応関係を示す情報を有している。オリジナルの変換テーブルは、事前に製造元等で理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものを用いることができる。
図34は、姿勢情報に基づく変換テーブルの補正を説明する図である。ここで、座標変換前の3次元直交座標を(x1,y1,z1)、(x1,y1,z1)の球面座標を(θ1,φ1)と表記し、座標変換後の3次元直交座標を(x2,y2,z2)、(x2,y2,z2)の球面座標を(θ2,φ2)と表記する。
他の拠点から送信された全天球画像を受信すると、通信端末1~4は全天球画像を表示する。各通信端末1~4の表示制御部74の機能は、撮像者ビュー情報の受け付け方法1,2に共通である。図32では表示制御部74の機能を説明するが、通信端末3の表示制御部34c、通信端末4の表示制御部34d、及び、通信端末1の表示制御部94も同様になる。
続いて、図35を用いて、画像回転部216による回転処理について説明する。図35は画像回転部216の画像回転処理を模式的に示す図である。画像回転とは球面座標上で注目点座標を画像中央に移動させる処理をいう。
・回転後の新しい座標を(θN,φN)
・注目点座標を(θ0,φ0)
・回転の対象となる任意の座標を(θ、φ)
とする。
θN=θ-θ0 + 180° (θ-θ0 ≦ 180°)
θ-θ0 - 180° (θ-θ0 > 180°) … (7)
φN=φ-φ0 + 90° (φ-φ0 ≦ 90°)
φ-φ0 - 90° (φ-φ0 > 90°) … (8)
式(7)(8)は、中央点と注目点座標のθ方向とφ方向の差だけ任意の画素を回転(移動)させている。
続いて、図36を用い、拠点Aで得られた全天球画像及び音データが、通信管理システム50を介して、他の各通信端末2~4へ送信される処理について説明する。図36は、映像通話における全天球画像及び音データの通信処理を示すシーケンス図である。
・撮像者ビュー情報の受け付け方法2の場合、注目点指定有無判断部198は記憶・読出部19aを介して、撮像者ビューモードか自由視点モードかをモード管理DB1001aに記憶する。また、撮像者ビューモードの場合、注目点変換部196が撮像者ビュー情報を生成するので、撮像者ビュー情報も通信端末1に送信される。
・撮像者ビュー情報の受け付け方法1の場合、受付部92はビューボタン251が押下されると、記憶・読出部99を介して、撮像者ビューモードか自由視点モードかを記憶部9000に記憶する。算出部97は撮像装置5aから送信された全天球画像を画面のレイアウト番号4の表示領域に表示した際の所定領域を示す所定領域情報を閲覧者ビュー情報DB9004に記憶しているので、これが撮像者ビュー情報となる。
図37は、モード切替トリガーの検出に応じて撮像者ビュー情報を送信する一例の送信手順をシーケンス図である。自由視点モードからモード切替トリガーにより撮像者ビューモードとなり、再び、モード切替トリガーにより自由視点モードに戻る例を示している。
続いて、図39を用いて撮像装置5aの処理を説明する。図39は撮像装置5aがモード切替トリガーを検出して、モードを切り替える一例の手順のフローチャート図である。図39の処理は、例えば、送信する全天球画像を準備できた後、スタートする。
続いて、図40を用いて通信端末2の処理を説明する。図40は通信端末2が撮像者ビュー情報の有無に応じて全天球画像を表示する一例の手順のフローチャート図である。図40の処理は、例えば、セッションに参加中、実行される。なお、通信端末1,3,4についても処理の流れは同じである。
図37や図38では、撮像者ビュー情報が送信されるとそれが全天球画像の閲覧に関するモードが撮像者ビューモードである旨を通知する情報となっていた。しかし、撮像者ビュー情報は所定領域Tを指示する情報なので、撮像者ビューモード以外でも使用されるおそれがある。このため、撮像装置5aは撮像者ビューモードであることを明示的に通信端末2~4に送信するとよい。
図42は、拠点Bにおいて通信端末2のディスプレイ917に表示された映像表示画面250の一例である。なお、図42において図27と同一の構成要素については説明を省略する。
本実施形態では撮像者が撮像者ビューモードにモードを切り替えると、他の通信端末2~4では撮像者ビュー情報に基づいて所定領域が表示される。しかし、図42の映像表示画面250で説明したように、撮像者ビュー情報で所定領域を表示した後、通信端末2~4のユーザが任意の所定領域を表示してもよい。
以上説明したように、本実施形態の画像通信システム10は、撮像者が撮像者ビューモードにモードを切り替えると、通信端末1から全天球画像と共に撮像者ビュー情報が各拠点B~Dに送信される。拠点B~Dの通信端末2~4は全天球画像と撮像者ビュー情報を受信すると、撮像者ビュー情報で全天球画像を表示する。従って、画像の表示に関する各拠点の通信端末の動作を切り替えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
5 撮像装置
8 撮像者
10 画像通信システム
Claims (13)
- 撮像装置が撮像した画像を、第一の通信端末からネットワークを介して受信した第二の通信端末が画面に表示する画像通信システムであって、
前記撮像装置又は前記第一の通信端末は、
前記画像の閲覧に関するモードを、表示できる所定領域を制限するモードに切り替える操作を受け付けるモード受付部と、
前記モード受付部が前記画像の閲覧に関するモードを前記表示できる所定領域を制限するモードに切り替える操作を受け付けた場合、前記第二の通信端末が画面に表示する前記画像の前記所定領域に関する第一の所定領域情報を前記第二の通信端末に送信する送信部と、有し、
前記第二の通信端末は、
前記第一の所定領域情報及び前記画像を受信する受信部と、
前記受信部が受信した前記第一の所定領域情報で決定される前記画像の前記所定領域を画面に表示する表示制御部と、を有し、
前記撮像装置は、前記撮像装置の姿勢情報を取得することで特定した前記撮像装置が指し示す方向を前記第一の所定領域情報として取得することを特徴とする画像通信システム。 - 前記モード受付部が前記画像の閲覧に関するモードを、前記表示できる所定領域を制限するモードに切り替える操作を受け付けた場合、前記送信部は、前記第一の所定領域情報、及び、前記第一の所定領域情報に基づいて決定される、前記表示できる所定領域を制限するモードである旨を前記第二の通信端末に送信し、
前記表示制御部は、前記第一の所定領域情報に基づいて決定される、前記表示できる所定領域を制限するモードである旨を受信した場合に、前記第一の所定領域情報で決定される前記画像の前記所定領域を画面に表示することを特徴とする請求項1に記載の画像通信システム。 - 前記表示制御部は、前記受信部が、前記第一の所定領域情報を受信しない場合、
前記第二の通信端末のユーザが決定した所定領域を画面に表示することを特徴とする請求項2に記載の画像通信システム。 - 前記第二の通信端末は第二の所定領域情報を送信する他の通信端末と前記所定領域を共有しており、
前記受信部は、前記第一の通信端末から前記第一の所定領域情報、前記画像及び優先度を受信し、
前記他の通信端末から前記第二の所定領域情報及び優先度を受信し、
前記表示制御部は、前記第一の所定領域情報と前記第二の所定領域情報のうち前記優先度が高い方に基づいて前記画像の所定領域を画面に表示することを特徴とする請求項1~3のいずれか1項に記載の画像通信システム。 - 前記第一の通信端末は、前記第一の通信端末が画面に表示した前記画像に対する操作で決定された前記所定領域に基づいて前記第一の所定領域情報を決定することを特徴とする請求項1~4のいずれか1項に記載の画像通信システム。
- 前記撮像装置は、
前記画像における注目点を定義する注目点定義部と、
前記撮像装置の姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を前記第一の所定領域情報に変換する注目点変換部と、を有することを特徴とする請求項1に記載の画像通信システム。 - 前記姿勢情報取得部が取得した前記姿勢情報を用いて画像の天頂補正に関する処理を行う天頂補正部を有し、
前記注目点変換部は、前記天頂補正部による天頂補正の結果を用いて、前記注目点定義部が定義した注目点を変換することを特徴とする請求項6に記載の画像通信システム。 - 前記天頂補正部は、撮像素子の座標値を球面座標系の座標値に変換する変換テーブルに、前記姿勢情報を用いて天頂補正を施し、
前記注目点変換部は前記注目点定義部が定義した注目点を撮像素子の座標値とし、前記姿勢情報で天頂補正が施された変換テーブルを用いて、前記注目点定義部が定義した注目点を球面座標系の座標値に変換することを特徴とする請求項7に記載の画像通信システム。 - 前記天頂補正は、前記撮像装置の姿勢に関わらず、前記画像の上側に実空間の上側が写るように補正するものであり、
前記撮像装置の長手方向の上側が指し示す対象が写る撮像素子の座標値を、前記注目点定義部が前記注目点として定義することを特徴とする請求項7又は8に記載の画像通信システム。 - 第二の通信端末に対し撮像した画像を送信する撮像装置であって、
前記画像の閲覧に関するモードを、表示できる所定領域を制限するモードに切り替える操作を受け付けるモード受付部と、
前記モード受付部が前記画像の閲覧に関するモードを、前記表示できる所定領域を制限するモードに切り替える操作を受け付けた場合、前記第二の通信端末が画面に表示する前記画像の所定領域に関する第一の所定領域情報を前記第二の通信端末に送信する送信部と、
を有し、
前記撮像装置は、前記撮像装置の姿勢情報を取得することで特定した前記撮像装置が指し示す方向を前記第一の所定領域情報として取得することを特徴とする撮像装置。 - 撮像装置の姿勢情報を取得することで特定した前記撮像装置が指し示す方向を第一の所定領域情報として取得する撮像装置が撮像した画像を第二の通信端末に送信する通信端末であって、
前記画像の閲覧に関するモードを、表示できる所定領域を制限するモードに切り替える操作を受け付けるモード受付部と、
前記モード受付部が前記画像の閲覧に関するモードを、前記表示できる所定領域を制限するモードに切り替える操作を受け付けた場合、前記第二の通信端末が画面に表示する前記画像の所定領域に関する前記第一の所定領域情報を前記第二の通信端末に送信する送信部と、
有することを特徴とする通信端末。 - 撮像装置が撮像した画像を、第一の通信端末からネットワークを介して受信した第二の通信端末が画面に表示する画像通信システムが行うモード切替方法であって、
前記撮像装置又は前記第一の通信端末において、
モード受付部が、前記画像の閲覧に関するモードを、表示できる所定領域を制限するモードに切り替える操作を受け付けるステップと、
前記モード受付部が前記画像の閲覧に関するモードを、前記表示できる所定領域を制限するモードに切り替える操作を受け付けた場合、送信部が、前記第二の通信端末が画面に表示する前記画像の所定領域に関する第一の所定領域情報を前記第二の通信端末に送信するステップと、有し、
前記第二の通信端末において、
受信部が、前記第一の所定領域情報及び前記画像を受信するステップと、
表示制御部が、前記受信部が受信した前記第一の所定領域情報で決定される前記画像の前記所定領域を画面に表示するステップと、を有し、
前記撮像装置は、前記撮像装置の姿勢情報を取得することで特定した前記撮像装置が指し示す方向を前記第一の所定領域情報として取得することを特徴とするモード切替方法。 - 第二の通信端末に撮像した画像を送信する撮像装置を、
前記画像の閲覧に関するモードを、表示できる所定領域を制限するモード切り替える操作を受け付けるモード受付部と、
前記モード受付部が前記画像の閲覧に関するモードを、前記表示できる所定領域を制限するモードに切り替える操作を受け付けた場合、前記第二の通信端末が画面に表示する前記画像の所定領域に関する第一の所定領域情報を前記第二の通信端末に送信する送信部、
として機能させ、
前記撮像装置は、前記撮像装置の姿勢情報を取得することで特定した前記撮像装置が指し示す方向を前記第一の所定領域情報として取得するためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019044187A JP7400195B2 (ja) | 2019-03-11 | 2019-03-11 | 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム |
US16/785,661 US11323621B2 (en) | 2019-03-11 | 2020-02-10 | Image communication system, image capturing device, communication terminal, and mode switching method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019044187A JP7400195B2 (ja) | 2019-03-11 | 2019-03-11 | 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020150330A JP2020150330A (ja) | 2020-09-17 |
JP7400195B2 true JP7400195B2 (ja) | 2023-12-19 |
Family
ID=72422806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019044187A Active JP7400195B2 (ja) | 2019-03-11 | 2019-03-11 | 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11323621B2 (ja) |
JP (1) | JP7400195B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020043387A (ja) | 2018-09-06 | 2020-03-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び、記憶媒体 |
JP7192592B2 (ja) * | 2019-03-15 | 2022-12-20 | 株式会社リコー | 撮像装置、画像通信システム、画像処理方法、プログラム |
US11743590B2 (en) | 2020-09-18 | 2023-08-29 | Ricoh Company, Ltd. | Communication terminal, image communication system, and method for displaying image |
JP2022057800A (ja) | 2020-09-30 | 2022-04-11 | 株式会社リコー | 画像通信システム、通信管理装置、通信管理方法及びプログラム |
JP2022057771A (ja) | 2020-09-30 | 2022-04-11 | 株式会社リコー | 通信管理装置、画像通信システム、通信管理方法及びプログラム |
JP2022125529A (ja) * | 2021-02-17 | 2022-08-29 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
JP2022129927A (ja) * | 2021-02-25 | 2022-09-06 | キヤノン株式会社 | 撮像装置、制御方法およびプログラム |
EP4064691A1 (en) * | 2021-03-23 | 2022-09-28 | Ricoh Company, Ltd. | Communication management device, image communication system, communication management method, and carrier means |
JP2022186117A (ja) * | 2021-06-04 | 2022-12-15 | 株式会社リコー | 通信端末、画像通信システム、画像表示方法およびプログラム |
JP2023048464A (ja) | 2021-09-28 | 2023-04-07 | 株式会社リコー | メディア配信システム、通信システム、配信制御装置、配信制御方法及びプログラム |
JP2023081226A (ja) | 2021-11-30 | 2023-06-09 | 株式会社リコー | 通信管理装置、通信システム、通信管理方法、及びプログラム |
JP7517356B2 (ja) * | 2022-02-21 | 2024-07-17 | 株式会社リコー | 情報処理システム、通信システム、画像共有方法、プログラム |
EP4294019A1 (en) * | 2022-06-17 | 2023-12-20 | Ricoh Company, Ltd. | Display terminal, communication system, display method, and communication method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009171272A (ja) | 2008-01-17 | 2009-07-30 | Sharp Corp | テレビ電話端末装置 |
JP2014131215A (ja) | 2012-12-28 | 2014-07-10 | Ricoh Co Ltd | 画像管理システム、画像管理方法、及びプログラム |
JP2018056930A (ja) | 2016-09-30 | 2018-04-05 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
JP2018061243A (ja) | 2016-09-30 | 2018-04-12 | 株式会社リコー | 通信端末、表示方法、及びプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1484918A (zh) * | 2000-12-01 | 2004-03-24 | ������·�ɷ�����˾ | 视频终端,视频终端通信系统,以及电视会议系统 |
JP2011223076A (ja) | 2010-04-03 | 2011-11-04 | Tokuzawa Masamichi | 双魚眼方式全方位パノラマ動画ライブ配信システム |
JP5948764B2 (ja) | 2011-01-31 | 2016-07-06 | 株式会社リコー | 画面共有装置、画面共有方法、及びプログラム |
US10264302B2 (en) | 2016-09-30 | 2019-04-16 | Ricoh Company, Ltd. | Communication management apparatus, method and computer-readable storage medium for generating image data identification information |
US10721116B2 (en) | 2016-09-30 | 2020-07-21 | Ricoh Company, Ltd. | Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium |
JP6756269B2 (ja) | 2017-01-05 | 2020-09-16 | 株式会社リコー | 通信端末、画像通信システム、通信方法、及びプログラム |
JP6805861B2 (ja) | 2017-02-09 | 2020-12-23 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
JP2019054322A (ja) | 2017-09-12 | 2019-04-04 | 株式会社リコー | 通信端末、画像通信システム、通信方法、及びプログラム |
EP3461124B1 (en) | 2017-09-25 | 2024-05-01 | Ricoh Company, Ltd. | Communication terminal, image communication system, display control method, and carrier means |
JP6907861B2 (ja) | 2017-09-25 | 2021-07-21 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
JP7095361B2 (ja) | 2018-03-29 | 2022-07-05 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
JP2019180027A (ja) | 2018-03-30 | 2019-10-17 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
JP7164831B2 (ja) | 2018-03-30 | 2022-11-02 | 株式会社リコー | 通信管理システム、通信システム、通信方法、及びプログラム |
US10554883B2 (en) | 2018-03-30 | 2020-02-04 | Ricoh Company, Ltd. | VR system, communication method, and non-transitory computer-readable medium |
US10764513B2 (en) * | 2018-07-31 | 2020-09-01 | Ricoh Company, Ltd. | Communication terminal, image data communication system, and communication method |
JP7192592B2 (ja) * | 2019-03-15 | 2022-12-20 | 株式会社リコー | 撮像装置、画像通信システム、画像処理方法、プログラム |
-
2019
- 2019-03-11 JP JP2019044187A patent/JP7400195B2/ja active Active
-
2020
- 2020-02-10 US US16/785,661 patent/US11323621B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009171272A (ja) | 2008-01-17 | 2009-07-30 | Sharp Corp | テレビ電話端末装置 |
JP2014131215A (ja) | 2012-12-28 | 2014-07-10 | Ricoh Co Ltd | 画像管理システム、画像管理方法、及びプログラム |
JP2018056930A (ja) | 2016-09-30 | 2018-04-05 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
JP2018061243A (ja) | 2016-09-30 | 2018-04-12 | 株式会社リコー | 通信端末、表示方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200296284A1 (en) | 2020-09-17 |
US11323621B2 (en) | 2022-05-03 |
JP2020150330A (ja) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7400195B2 (ja) | 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム | |
JP7322940B2 (ja) | 画像通信システム、画像通信端末、画像通信方法、プログラム、及び記録媒体 | |
US11558431B2 (en) | Communication terminal, communication system, communication method, and display method | |
US10863086B2 (en) | Communication terminal, image communication system, display control method, and non-transitory computer-readable medium | |
US10721116B2 (en) | Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium | |
US10764513B2 (en) | Communication terminal, image data communication system, and communication method | |
JP7192592B2 (ja) | 撮像装置、画像通信システム、画像処理方法、プログラム | |
US10536668B2 (en) | Communication terminal, image communication system, display control method, and non-transitory computer-readable medium | |
US10944619B2 (en) | Communication terminal, image communication system, and display control method | |
US10666898B2 (en) | Communication management system, communication system, and communication method | |
JP2018129716A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
JP2019180027A (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP2019054322A (ja) | 通信端末、画像通信システム、通信方法、及びプログラム | |
US20200186407A1 (en) | Communication terminal, image network system, display method, and program | |
JP7017045B2 (ja) | 通信端末、表示方法、及びプログラム | |
JP7354733B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP7371369B2 (ja) | 通信端末および画像通信システム | |
JP7210892B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP2018207466A (ja) | 通信管理システム、通信システム、通信管理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231120 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7400195 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |