JP6754953B2 - 撮像装置、電子機器及び撮像システム - Google Patents

撮像装置、電子機器及び撮像システム Download PDF

Info

Publication number
JP6754953B2
JP6754953B2 JP2017540284A JP2017540284A JP6754953B2 JP 6754953 B2 JP6754953 B2 JP 6754953B2 JP 2017540284 A JP2017540284 A JP 2017540284A JP 2017540284 A JP2017540284 A JP 2017540284A JP 6754953 B2 JP6754953 B2 JP 6754953B2
Authority
JP
Japan
Prior art keywords
video data
image
evaluation information
electronic devices
smartphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017540284A
Other languages
English (en)
Other versions
JPWO2017154411A1 (ja
Inventor
秀人 小林
秀人 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2017154411A1 publication Critical patent/JPWO2017154411A1/ja
Application granted granted Critical
Publication of JP6754953B2 publication Critical patent/JP6754953B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being at least another television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Description

本開示は、複数の外部機器から映像データを受信し、受信した映像データが示す画像と自機で撮像した画像とを合成した画像を記録可能な撮像装置に関する。
特許文献1は、複数チャンネルの電子画像を合成する電子カメラを開示している。特許文献1に開示された電子カメラは、撮像部で生成されたメイン電子画像に、取得部で取得されたサブ電子画像を合成する。その際、サブ電子画像は、メイン電子画像のサイズを下回るサイズに調整されて合成される。サブ電子画像において有意な変化が生じたサブシーンを検知する。サブシーンが検知された場合、検知されたサブシーンを表すサブ電子画像のサイズまたは合成態様を変更し、そのサブ電子画像を強調する。これにより、必要且つ十分な情報を観者に伝達し、合成画像の視認性を向上している。
特開2014−107775号公報 特開2007−173963号公報
本開示は、複数の外部機器から映像データを受信し、受信する映像データが示す画像と、自機で撮像した画像とを合成する画像を、記録可能な撮像装置を提供する。
本開示の第1の態様において、撮像装置が提供される。撮像装置は、被写体を撮像して第1の映像データを生成する第1の撮像部と、複数の電子機器と通信し、複数の電子機器で生成された第2の映像データ、及び第2の映像データの優先度を示す評価情報を受信する第1の通信部と、第1の映像データが示す第1の映像と、複数の電子機器の少なくとも一つの電子機器から受信する第2の映像データが示す第2の映像と、を合成処理する画像処理部と、画像処理部における合成処理を制御する第1の制御部と、を備える。第1の制御部は、複数の電子機器のそれぞれから受信する評価情報に基づいて、合成処理に用いられる第2の映像データを提供する、複数の電子機器の少なくとも一つの電子機器を選択する。
本開示の第2の態様において、上記の撮像装置に第2の映像データを送信する電子機器が提供される。電子機器は、被写体を撮像して第2の映像データを生成する第2の撮像部と、撮像装置と通信する第2の通信部と、評価情報を算出するとともに、撮像装置に対する第2の映像データ及び評価情報の送信を制御する第2の制御部と、を備える。第2の制御部は、撮像装置から第2の映像データの配信開始要求を受けたときは、撮像装置に対して、第2の映像データ及び評価情報を送信し、その後に撮像装置から第2の映像データの配信停止要求を受けたときは、撮像装置に対して、第2の映像データの送信は停止し、評価情報を送信する。
本開示の撮像装置によれば、複数の電子機器から受信した映像の中から、合成に用いる映像を、映像情報の評価情報に基づき自動で設定する。これにより、撮像装置に対して複数の電子機器が接続されている状態における、合成に用いる映像の設定作業において、ユーザの利便性を向上できる。
図1は、実施の形態1にかかるビデオカメラとスマートフォンとを含む撮像システムの構成を示す図である。 図2は、実施の形態1にかかるビデオカメラの電気的構成を示す図である。 図3は、実施の形態1にかかるスマートフォンの電気的構成を示す図である。 図4は、実施の形態1にかかる、マルチワイプ機能によりビデオカメラの液晶モニタに表示される画像の例を示す図である。 図5は、実施の形態1にかかる、ビデオカメラ及びスマートフォンで撮像される画像を説明する図である。 図6は、実施の形態1にかかる、サブカメラの登録動作を説明するための図である。 図7は、実施の形態1にかかる、サブカメラの登録情報を説明する図である。 図8は、実施の形態1にかかる、スマートフォンからビデオカメラへ評価情報のみが送信される状態を示す図である。 図9は、実施の形態1にかかる、スマートフォンからビデオカメラへ評価情報と映像データが送信される状態を示す図である。 図10は、実施の形態1にかかる、ビデオカメラにおける、ワイプ画像に用いる映像データの選択処理を示すフローチャートである。 図11は、実施の形態1にかかる、ワイプ画像の切り替わりを説明する図である。 図12は、実施の形態1にかかる、スマートフォンにおける映像配信処理を示すフローチャートである。 図13は、実施の形態1にかかる、式(1)のパラメータの例を示す図である。 図14は、実施の形態1にかかる、スマートフォンにおける配信許可フラグの設定処理を示すフローチャートである。 図15は、実施の形態1にかかる、ビデオカメラとスマートフォン間の通信シーケンスの一例を示す図である。 図16は、実施の形態1にかかる、ワイプ画像が切り替わる時の、ビデオカメラとスマートフォン間の通信シーケンスの一例を示す図である。 図17Aは、実施の形態1にかかる、評価情報に基づいて属性(表示位置)が変更されるワイプ画像を説明する図である。 図17Bは、実施の形態1にかかる、評価情報に基づいて属性(大きさ)が変更されるワイプ画像を説明する図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
図1は、実施の形態1にかかるビデオカメラ100とスマートフォン200a、200b、200cを含む撮像システムの構成を示す図である。ビデオカメラ100は、複数のスマートフォン200a、200b、200cと通信を確立することができる。ビデオカメラ100は、各スマートフォン200a、200b、200cで生成された映像データ(動画データまたは静止画データ)を受信することができる。ビデオカメラ100は、自機で撮像した映像データに、複数のスマートフォン200a、200b、200cの少なくとも1つから受信した映像データを、重畳して記録媒体に記録することができる(マルチワイプ機能(詳細は後述))。
〔1.構成〕
以下、実施の形態1にかかるビデオカメラ100及びスマートフォン200a、200b、200cの構成について説明する。なお、以下の説明において、スマートフォン200a、200b、200cを区別なく説明する場合、スマートフォンに対して符号「200」を用いる。
〔1−1.ビデオカメラの構成〕
図2は、実施の形態1にかかるビデオカメラ100の電気的構成を示す図である。ビデオカメラ100は、光学系110を介して形成される被写体像を画像センサ115で撮像する。画像センサ115は、撮像した被写体像に基づく撮像データ(RAWデータ)を生成する。画像処理部120は、画像センサ115により生成された撮像データに対して、各種処理を施して映像データを生成する。コントローラ135は、画像処理部120にて生成された映像データを、記録媒体145に記録する。コントローラ135は、画像処理部120で処理された映像データを、液晶モニタ130上にライブ表示させることができる。コントローラ135は、記録媒体145に記録された映像データを読み出して液晶モニタ130上に表示させること(再生)ができる。
光学系110は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正(Optical Image Stabilizer(OIS))レンズ、絞り、シャッタ等を含む。光学系110に含まれる各種レンズは、何枚から構成されるものであっても、何群から構成されるものであってもよい。光学系110に含まれる各種レンズは、レンズ駆動部113によって駆動される。
画像センサ115は、光学系110を介して形成される被写体像を、撮像して撮像データを生成するデバイスである。画像センサ115は、所定のフレームレート(例えば、30フレーム/秒)で、映像データ(動画データ)を生成する。画像センサ115における、撮像データの生成タイミング及び電子シャッタ動作は、コントローラ135によって制御される。画像センサ115は、例えば、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサまたはNMOS(n−Channel Metal Oxide Semiconductor)イメージセンサで構成される。
画像処理部120は、画像センサ115から出力される撮像データに対して、各種の処理を施して映像データを生成する回路である。画像処理部120は、記録媒体145から読み出される映像データに各種の処理を施して、液晶モニタ130に表示するための映像を生成する。各種処理としては、ホワイトバランス補正、ガンマ補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理部120は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。
液晶モニタ130は、例えば、ビデオカメラ100本体の側面において、開閉可能に取り付けられる筐体に備わる。液晶モニタ130は、画像処理部120にて処理された映像データに基づく映像を表示する。なお、表示装置として、液晶モニタに代えて、有機EL(Electroluminescence)モニタなど、他のモニタを用いてもよい。
コントローラ135は、ビデオカメラ100全体の動作を統括制御する。コントローラ135はCPU(Central Processing Unit)またはMPU(Micro Processing Unit)を含み、所定のプログラムを実行することで、後述するビデオカメラ100の機能を実現する。コントローラ135は、画像処理部120などと共に1つの半導体チップに集積されてもよい。コントローラ135は、内部にROM(Read Only Memory)(図示せず)を有している。ROMには、他の通信機器とのWiFi通信を確立するために必要なSSID(Servic Set Identifier)、WEPキー(Wired Equivalent Privacy Key)が記憶されている。コントローラ135は、必要に応じて、ROMからSSID、WEPキーを読み出すことができる。ROMには、オートフォーカス制御(AF(Autofocus)制御)、または、通信制御に関するプログラムの他、ビデオカメラ100全体の動作を統括制御するためのプログラムが記憶されている。
バッファメモリ125は、画像処理部120及びコントローラ135のワークメモリとして機能する、記録媒体である。バッファメモリ125は、DRAM(Dynamic Random Access Memory)などにより実現される。
記録制御部140は、記録媒体145に対する映像データの記録、及び記録媒体145からの映像データの再生を制御する。記録媒体145は、内部にフラッシュメモリを備えるSSD(Solid State Drive)である。記録媒体145はSSDに代えて、ハードディスク(Hard Disc Drive(HDD))または着脱可能なメモリカードで構成されてもよい。記録媒体145は、画像処理部120で生成される映像データなどを格納できる。
操作部150は、使用者による操作を受け付けるユーザインタフェースであり、操作釦、操作レバー、及びタッチパネル等を含む。操作部150は、使用者による操作を受け付けると、コントローラ135に種々の動作指示信号を通知する。
WiFiモジュール155は、通信規格IEEE(Institute of Electrical and Electronic Engineers)802.11に準拠した通信を行う通信モジュール(電子回路)である。ビデオカメラ100は、WiFiモジュール155を介して、WiFiモジュールを搭載した他の外部機器(例えば、スマートフォン200a、200b、200c)と通信することができる。ビデオカメラ100は、WiFiモジュール155を介して、外部機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。なお、WiFiモジュールに換えて、他の通信規格(例えば、通信規格IEEE802.15.1、すなわち、Bluetooth(登録商標))に準拠した通信を行う通信モジュールを使用しても構わない。WiFiモジュール155は、所定数(3台以上)の外部機器と通信を確立することができる。
〔1−2.スマートフォンの構成〕
図3は、実施の形態1にかかるスマートフォン200の電気的構成を示す図である。スマートフォン200は、画像センサ203により、光学系201を介して受信する被写体像から、映像データ(動画データ)を生成する。スマートフォン200は、WiFiモジュール235を介して、ビデオカメラ100と通信可能である。スマートフォン200は、生成される映像データを、WiFiモジュール235を介して、ビデオカメラ100に送信することができる。スマートフォン200は、ジャイロセンサ255により、自装置の動き(姿勢の変化)を検出することができる。スマートフォン200は、マイクロホン250により、音声を入力する。入力される音声は音声データに変換される。
画像処理部205は、画像センサ203で生成される映像データに各種の処理を施して、液晶モニタ215に表示するための画像(ライブビュー画像)を生成する。各種処理としては、伸張処理等が挙げられるが、これらに限定されない。画像処理部205は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いるマイクロコンピュータなどで構成してもよい。
タッチパネル210は、使用者の指等の接触を検出して、操作情報をコントローラ225に出力する入力デバイスである。タッチパネル210は、液晶モニタ215の表面に配置されている。タッチパネル210は、抵抗膜方式でも、静電容量方式でも、他の方式であっても構わない。
液晶モニタ215は、コントローラ225から指示される画面を表示する表示デバイスである。液晶モニタ215は、液晶モニタに代えて、他の種類の表示デバイス(例えば、有機ELモニタ)を用いてもよい。
バッファメモリ220は、コントローラ225が各種処理動作を実行するために必要な情報を、一時的に格納するメモリである。
コントローラ225は、スマートフォン200を構成する各部の動作を制御する。コントローラ225は、画像処理部205、タッチパネル210、液晶モニタ215、バッファメモリ220、操作部230、及びWiFiモジュール235に電気的に接続されている。コントローラ225は、CPUまたはMPU、メモリを含む。コントローラ225は、所定のプログラム(以下「映像配信アプリケーション」という)を実行することで、後述するスマートフォン200の機能を実現する。映像配信アプリケーションは、フラッシュメモリ(以下単に「メモリ」という)245に格納される。
WiFiモジュール235は、通信規格IEEE802.11に準拠した通信を行う通信モジュール(回路)である。スマートフォン200は、WiFiモジュール235を介して、WiFiモジュールを搭載した他の通信機器と通信することができる。スマートフォン200は、WiFiモジュール235を介して、他の通信機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。なお、WiFiモジュールに換えて、他の通信規格(例えば、通信規格IEEE802.15.1すなわち、Bluetooth(登録商標))に準拠した通信を行う通信モジュールを使用しても構わない。
スマートフォン200は、WiFiモジュール235を介して、ビデオカメラ100と通信可能であり、種々の情報をビデオカメラ100と送受信することができる。
フラッシュメモリ245は、スマートフォン200で撮影した映像データ等を格納する。
マイクロホン250は、スマートフォン200の外部の音声を、音声信号に変換する。ジャイロセンサ255はスマートフォン200の動き(角加速度)を計測するためのセンサである。スマートフォン200は、これらの他に、スマートフォン200の加速度を検出する加速度センサ、及びGPS(Global Positioning System)衛星の少なくとも一方から、測位信号を受信して、ビデオカメラ100の位置を測定するGPSモジュールを備えても良い。
〔2.動作〕
〔2.1 マルチワイプ機能〕
以下、マルチワイプ機能について説明する。ビデオカメラ100は、複数の外部の電子機器(以下「外部機器」という)をサブカメラとして使用することができる。ビデオカメラ100は、複数の外部機器で撮影した映像(動画)を各外部機器から受信し、ビデオカメラ100で撮影した映像(動画)の一部の領域に重畳(合成)して表示、記録することができる。この機能を「マルチワイプ機能」という。なお、本実施の形態では、サブカメラの例としてスマートフォンを使用する。
ビデオカメラ100は、スマートフォン200a、200b、200cとWiFiモジュール155を介して、WiFi通信を行うことができる。マルチワイプ機能実行時において、ビデオカメラ100は、スマートフォン200a、200b、200cから、スマートフォン200a、200b、200cで撮影した画像を示す映像データ(動画データ)を受信する。そして、ビデオカメラ100は、ビデオカメラ100自体で撮影した映像(動画)の一部にスマートフォン200a、200b、200cから受信した映像(動画)を重畳(合成)した画像を生成し、液晶モニタ130に表示する(スルー画像)とともに、ユーザ操作にしたがい、記録媒体145に記録する。
図4は、実施の形態1にかかる、マルチワイプ機能によりビデオカメラ100の液晶モニタ130に表示される画像の例を示す図である。図4に示すように、ビデオカメラ100で撮影した映像(以下「メイン画像」という)300に、スマートフォン200a、200bから受信される映像が、それぞれワイプ画像301、302として重畳(合成)される。ここで、本実施の形態のビデオカメラ100は、マルチワイプ機能において、メイン画像に合成されるワイプ画像の数の上限値が設定されている。本実施の形態では、図4に示すように、上限値は「2」(一例)に設定されている。
図5は、実施の形態1にかかる、ビデオカメラ100及びスマートフォン200a、200b、200cで撮像される画像を説明する図である。ビデオカメラ100は、被写体を撮影して、画像300aを示す映像データを生成する。スマートフォン200aは画像301aを示す映像データを生成する。スマートフォン200bは画像302aを示す映像データを生成する。スマートフォン200cは画像303aを示す映像データを生成する。ビデオカメラ100は、スマートフォン200a及び200bから、画像301a、302aをそれぞれ示す映像データを受信する。ここで、ビデオカメラ100は、スマートフォン200cからは映像データを受信しない。これは、マルチワイプ機能において、メイン画像に重畳されるワイプ画像の数の上限値が「2」に制限されているためである。ビデオカメラ100は、ビデオカメラ100で撮影される画像300aに対して、スマートフォン200a、200bから受信する映像データが示す画像301a、302aをワイプ画像として合成(重畳)する。これにより、図4に示すような、メイン画像300にワイプ画像301、302が合成される合成画像が生成される。この合成画像は、ビデオカメラ100の液晶モニタ130に表示される。図4に示す状態で、ビデオカメラ100において、ユーザにより動画記録の開始を指示する所定の操作がなされると、メイン画像300にワイプ画像301、302が合成(重畳)される状態で、動画が記録される。
本実施の形態のビデオカメラ100は、マルチワイプ機能のための、サブカメラとして使用する外部機器を予め登録している。図6は、実施の形態1にかかる、サブカメラの登録動作を説明するための図である。図6において、画面131は、ビデオカメラ100の液晶モニタ130に表示される設定画面の一例である。ビデオカメラ100の操作部150において、所定の操作(例えば、所定ボタンの押下)を行うことで、設定画面131が表示される。設定画面131において、種々の機能を設定するための複数のアイコンが表示される。設定画面131上で、ユーザによりマルチワイプ機能設定用のアイコン131aが選択されると、登録画面132が表示される。ユーザは、登録画面132において、マルチワイプ機能におけるサブカメラとして使用される、外部機器を登録することができる。登録画面132上では、ユーザは、登録する外部機器の機器名を入力する。登録画面132上での登録が完了すると、サブカメラ登録情報が生成(または更新)される。図7は、実施の形態1にかかる、サブカメラの登録情報を説明する図である。サブカメラの登録情報は、サブカメラとして登録される外部機器の機器名を管理する。サブカメラの登録情報は、ビデオカメラ100内の記録媒体145に格納される。図6と図7の例では、サブカメラとして、スマートフォン200a、200b、200c(機器名:smart_phone_a, smart_phone_b, smart_phone_c)が登録されている。
本実施の形態のビデオカメラ100において、マルチワイプ機能のための、サブカメラとして登録可能な機器の数の上限値が設定されている。本実施の形態では、この上限値は一例として「3」に設定される。
〔2.2 ワイプ画像の選択〕
前述のように、本実施の形態では、ビデオカメラ100において、サブカメラとして、3台までの外部機器を登録することができる。ビデオカメラ100は、WiFiモジュール155を介して、同時に3台以上の外部機器と通信を確立することができる。マルチワイプ機能において、メイン画像に合成されるワイプ画像の数の上限値は「2」に設定されている。
このため、3台以上の登録済みのスマートフォン200(外部機器)がビデオカメラ100と接続された場合、3台以上のスマートフォン200の中から、ワイプ画像として使用される映像データを提供する、2台のスマートフォン200を決定する必要がある。
そこで、本実施の形態のビデオカメラ100は、各スマートフォン200から、映像データの優先度を示す評価情報(詳細は後述)を受信する。ビデオカメラ100は、その評価情報に基づいて、合成に用いる映像データ(換言すれば、合成に用いる映像データを提供するスマートフォン)を選択する。このように、ビデオカメラ100は、ワイプ画像として使用される映像データ(すなわち、その映像データの提供先)を自動で選択する。したがって、ユーザは、ワイプ画像として用いる映像の選択作業を行う必要がなく、利便性が向上する。
〔2.3 ビデオカメラにおけるワイプ画像に用いられる映像の選択動作〕
図8と図9を用いて、ビデオカメラ100におけるワイプ画像に用いられる、映像の選択動作の概要を説明する。図8は、実施の形態1にかかる、スマートフォン200a、200b、200cからビデオカメラ100へ評価情報のみが送信される状態を示す図である。図9は、実施の形態1にかかる、スマートフォン200a、200b、200cからビデオカメラ100へ評価情報と映像データが送信される状態を示す図である。
ビデオカメラ100と、3台のスマートフォン200a、200b、200cとの間で通信接続が確立されると、図8に示すように、ビデオカメラ100は、スマートフォン200a、200b、200cから、まず評価情報を受信する。このとき、ビデオカメラ100は、スマートフォン200a、200b、200cから映像データを受信しない。ビデオカメラ100は、スマートフォン200a、200b、200cから受信した評価情報に基づいて、いずれのスマートフォン200からの映像をワイプ画像として使用するかを選択する。
次に、ビデオカメラ100は、選択された映像を提供するスマートフォン200a、200bに対して、映像データの配信を指示する映像配信要求を送信する。映像配信要求を受信するスマートフォン200a、200bはそれぞれ、図9に示すように、ビデオカメラ100に対して、評価情報とともに、映像データを送信する。一方、映像配信要求を受信しないスマートフォン200cは、ビデオカメラ100に対して、映像データを送信せずに、評価情報のみを送信する(図9を参照)。このように、ビデオカメラ100は、ワイプ画像のための映像の提供を受けないスマートフォンから、映像データを受信しない。これにより、多数のスマートフォン200から同時に映像データを受信する場合に生じる、通信帯域の不足を抑制し、ビデオカメラ100において、受信する映像データを再生する場合に発生し得る、コマ落ちまたは遅延、画質の劣化を低減することができる。
その後、ビデオカメラ100は、スマートフォン200から受信する映像データが示す画像301、302をワイプ画像として、メイン画像300に合成する。合成された画像の映像データは、液晶モニタ130に表示されるとともに、ユーザの指示に応じて記録媒体145に記録される。
以後、ビデオカメラ100は、スマートフォン200a、200b、200cから受信する評価情報に基づいて、映像データを受信するスマートフォン200を決定し、評価情報(すなわち、優先度)の高いスマートフォンからの映像をワイプ画像として使用するように、スマートフォン200に対して映像配信を許可する。これにより、ワイプ画像数の上限値より多い台数のスマートフォン200が、ビデオカメラ100に接続されている場合であっても、ワイプ画像として使用する映像データ(すなわち、その映像データを提供するスマートフォン200)が自動で設定されるため、ユーザの利便性が向上する。
図10は、実施の形態1にかかる、ビデオカメラ100における、ワイプ画像に用いる映像データの選択動作を示すフローチャートである。図10を参照し、ビデオカメラ100における、ワイプ画像に用いる映像データの選択動作の詳細を説明する。
ビデオカメラ100のコントローラ135は、WiFi通信において、接続可能なスマートフォン200を検出すると、検出されたスマートフォンに対して、WiFi規格にしたがい、接続処理(すなわち、WiFi通信の確立)を行う(ステップS11)。このため、ビデオカメラ100は、接続すべきスマートフォン200に対して、WiFi通信での接続に必要な接続情報(SSID、WEPキー等)を、事前に記録媒体145に保持している。
スマートフォン200との接続処理(ステップS11)が完了すると、ビデオカメラ100のコントローラ135は、接続されるスマートフォン200から、各スマートフォン200内で算出された優先度を示す評価情報を受信する(ステップS12)。この時点では、ビデオカメラ100は、各スマートフォン200から評価情報のみを受信し、各スマートフォン200で撮像された映像データを受信しない(図8を参照)。
接続されるスマートフォン200から評価情報を受信すると(ステップS12でY)、コントローラ135は、スマートフォン200から受信する評価情報に基づき、各スマートフォン200から受信する映像データの中のいずれの映像データを、ワイプ画像として使用するかを決定する(ステップS13)。具体的には、コントローラ135は、各スマートフォン200の評価情報が示す優先度を比較し、優先度の高い方から2台のスマートフォン200を特定する。コントローラ135は、特定されたスマートフォンからの映像データを、ワイプ画像に使用する映像データとして選択する。
コントローラ135は、選択結果にしたがい、ワイプ画像に使用する映像データとして選択される映像データを提供するスマートフォン200に対して、映像の配信の開始を指示する映像配信開始要求を送信する(ステップS14)。スマートフォン200は、ビデオカメラ100から映像配信開始要求を受信すると、評価情報に加えて、映像データのビデオカメラ100への送信を開始する。
その後、コントローラ135は、定期的に各スマートフォン200から評価情報を受信する(ステップS15)。コントローラ135は、受信する評価情報に基づいて、各スマートフォン200から受信する映像データが示す映像の中から、ワイプ画像として使用する映像を選択する(ステップS16)。すなわち、コントローラ135は、各スマートフォン200から受信する評価情報に基づいて、ワイプ画像として使用する映像を提供するスマートフォンを設定(選択)している。
選択した結果、コントローラ135は、ワイプ画像として使用する映像の選択に変更があった場合(ステップS17でY)、変更に関連するスマートフォン200に対して、映像配信の開始を指示する映像配信開始要求と、映像配信の停止を指示する映像配信停止要求をそれぞれ送信する(ステップS18)。
図11は、実施の形態1にかかる、ワイプ画像の切り替わりを説明する図である。例えば、図11の(A)に示すように、最初、スマートフォン200aからの画像301と、スマートフォン200bからの画像302とがワイプ画像として選択されているとする。この状態において、スマートフォン200cからの評価情報が示す値(優先度)が、スマートフォン200bからの評価情報が示す値よりも高くなる場合、スマートフォン200cからの画像303が新たにワイプ画像として選択される。このため、スマートフォン200bからの画像302は、ワイプ画像として選択されなくなる。このとき、コントローラ135は、スマートフォン200cに対して映像配信開始要求を送信するとともに、スマートフォン200bに対して映像配信停止要求を送信する。これにより、スマートフォン200cは映像データの配信を開始し、スマートフォン200bは映像データの配信を停止する。このとき、ビデオカメラ100により生成される合成画像は、図11の(A)に示す画像から図11の(B)に示す画像に変更される。
〔2.3 スマートフォンにおける映像配信動作〕
図12は、実施の形態1にかかる、スマートフォン200における映像配信処理を示すフローチャートである。図12を用いて、スマートフォン200における映像配信処理を説明する。
スマートフォン200のコントローラ225は、ビデオカメラ100との通信接続処理が確立されると(ステップS21)、ビデオカメラ100に送信する映像データに関する優先度を示す評価情報を算出する(ステップS22)。
ここで、優先度とは、スマートフォン200から送信される映像データを、ワイプ画像として、使用するときの優先順位を示す値である。優先度は種々の条件を考慮して算出される。種々の条件には、例えば、以下の条件が含まれる。
・人物の顔(人物の顔が含まれる映像を優先的にワイプ画像に使用する)
・被写体の変化(映像の動き、カメラの動き)(被写体の変化のある映像を、変化のない映像よりも、優先的にワイプ画像に使用する)
・音声の変化(音声の変化のある映像を、変化のない映像よりも、優先的にワイプ画像に使用する)
本実施の形態では、人物の顔を含む映像の点数が高くなるように、優先度を算出する。このとき、優先度を、例えば、下記の式で算出することができる。
優先度=(Fn×α)+(Vn×β)+{(1−Jn)×γ} (1)
ここで、Fnは、顔検出機能により検出される顔の数である。Vnは、マイクロホン250で収音される音声の音量(音声信号の振幅)である。Jnは、ジャイロセンサ255により検出されるスマートフォンの傾きの変化量である。α、β、γは係数であり、例えば、α=60、β=15、γ=20に設定される。
式(1)では、顔検出機能により検出される顔の数(Fn)、マイクロホンを介して入力した音声の音量(Vn)、スマートフォンの動き(傾きの変化量)(Jn)をそれぞれ、パラメータとして用いる。式(1)では、人物の顔を含む映像を、より優先して値を算出するために、顔検出に関するパラメータFnに対する係数αを、他の係数β、γよりも大きくしている。
図13は、実施の形態1にかかる、式(1)のパラメータの例を示す図である。各パラメータの値は、0〜1.0の間の値をとるように設定される。検出される顔の数を示すパラメータFnは、例えば、複数人の顔が検出されることを優先する場合、検出される人数が多いほど、その値が大きくなるように(上限値あり)設定される。また、一人の顔が検出されたことを優先する場合、検出される人数が「一人」に近いほど、Fnが大きくなるように設定される。
なお、上記に示す優先度の計算式は一例であり、式(1)に限定されない。式(1)は、人物の顔を含む映像を優先的にワイプ画像として表示させるために、優先度を算出する式であるが、映像の変化を優先させる式としてもよい。この場合は、優先度を算出するためのパラメータとして、映像データの変化を示すパラメータ(スマートフォンの位置の変化を示す情報(加速度センサ、ジャイロセンサの検出結果)、動きベクトル等)を設定すればよい。
すなわち、優先度の計算式においては、条件に応じて適宜パラメータを設定することができる。例えば、優先度を、上記の3つのパラメータのうちのいずれか1つのパラメータのみに基づいて算出してもよいし、3つのパラメータを任意に組み合わせて算出してもよい。または、上記の3つのパラメータに加えて、または、それらに代えて、他のパラメータ(被写体の動き等)を用いて優先度を算出してもよい。
図12において、評価情報の算出(ステップS22)後、スマートフォン200のコントローラ225は、配信許可フラグが「ON」に設定されているか否かを判断する(ステップS23)。ここで、配信許可フラグとは、スマートフォン200が、ビデオカメラ100から映像データの配信が許可(要求)されている状態にあるか否か、を示すフラグである。配信許可フラグは、ビデオカメラ100から映像データの配信が許可(要求)されている場合、「ON」に設定され、ビデオカメラ100から映像データの配信が許可(要求)されていない場合、「OFF」に設定される。配信フラグの設定処理については、後述する。
配信許可フラグが「ON」に設定されている場合(ステップS23でY)、コントローラ225は、評価情報とともに、自装置内で撮像した映像データを、ビデオカメラ100に送信する(ステップS24)。一方、配信許可フラグが「OFF」に設定されている場合(ステップS23でN)、コントローラ225は、映像データを送信せず、評価情報のみをビデオカメラ100に送信する(ステップS25)。
図14は、実施の形態1にかかる、スマートフォン200における配信許可フラグの設定処理を示すフローチャートである。図14を用いて、配信許可フラグの設定処理について説明する。
スマートフォン200のコントローラ225は、配信許可フラグを最初「OFF」に設定(初期化)する(ステップS30)。その後、コントローラ225は、ビデオカメラ100から映像配信開始要求を受信したときに(ステップS31でY)、配信許可フラグを「ON」に設定する(ステップS32)。また、コントローラ225は、ビデオカメラ100から映像配信停止要求を受信したときに(ステップS33でY)、配信許可フラグを「OFF」に設定する(ステップS34)。以上のように、映像配信開始要求及び映像配信停止要求の受信にしたがい、配信許可フラグが設定される。
図15、図16、図17A、図17Bは、ビデオカメラ100とスマートフォン200間の通信シーケンスを説明する図である。
図15は、実施の形態1にかかる、ビデオカメラ100とスマートフォン200a、200b、200c間の通信シーケンスの一例を示す図である。図15は、ビデオカメラ100とスマートフォン200a、200b、200c間の接続直後の通信を示す。図15の例は、ビデオカメラ100とスマートフォン200a、200b、200c間の通信接続確立後、ビデオカメラ100からスマートフォン200a、200bには映像配信開始要求が送信され、スマートフォン200cには映像配信開始要求が送信されない場合である(図9を参照)。この場合、映像配信開始要求を受信したスマートフォン200a、200bは、ビデオカメラ100に対して映像データ及び評価情報を送信する。一方、映像配信開始要求を受信しなかったスマートフォン200cは、ビデオカメラ100に対して、映像データを送信せず、評価情報のみを送信する。
図16は、実施の形態1にかかる、ワイプ画像が切り替わる時の、ビデオカメラとスマートフォン間の通信シーケンスの一例を示す図である。図16において、最初、スマートフォン200aからの映像と、スマートフォン200bからの映像とが、ワイプ画像に使用される映像として選択されている。この場合、ワイプ画像に使用される映像の1つが、スマートフォン200bからの映像から、スマートフォン200cからの映像に切り替わる。
ビデオカメラ100は、スマートフォン200a、200b、200cから受信した評価情報に基づき、ワイプ画像として使用する映像の1つを、スマートフォン200bからの映像から、スマートフォン200cからの映像に切り替える。このため、ビデオカメラ100は、スマートフォン200bに対して、映像配信の停止を指示する映像配信停止要求を送信するとともに、スマートフォン200cに対して、映像配信要求を送信する。
スマートフォン200bは、映像配信停止要求を受信すると、映像データの配信を停止し、以後は評価情報のみをビデオカメラ100に送信する。一方、スマートフォン200cは、映像配信要求を受信すると、映像データと評価情報をビデオカメラ100に送信する。これにより、ワイプ画像の1つが、スマートフォン200bからの映像から、スマートフォン200cからの映像に切り替えられる。
〔2.4 ワイプ画像の属性変更〕
図17Aは、実施の形態1にかかる、評価情報に基づいて属性(表示位置)が変更されるワイプ画像を説明する図である。図17Bは、実施の形態1にかかる、評価情報に基づいて属性(大きさ)が変更されるワイプ画像を説明する図である。コントローラ135は、評価情報が示す優先度の値に基づき、メイン画像に合成して表示するワイプ画像の属性を変化させてもよい。例えば、コントローラ135は、図17Aに示すように、評価情報が示す優先度の値が低くなるほど、ワイプ画像305の表示位置を右側に移動させてもよい。コントローラ135は、図17Bに示すように、評価情報が示す優先度の値が高くなるほど、ワイプ画像305のサイズを大きくしてもよい。
〔3.効果、等〕
以上のように、本実施の形態のビデオカメラ100(撮像装置の一例)は、被写体を撮像して映像データ(第1の映像データの一例)を生成する画像センサ115(第1の撮像部の一例)と、複数のスマートフォン200(電子機器の一例)と通信し、各スマートフォン200で生成された映像データ(第2の映像データの一例)及びその映像データの優先度を示す評価情報を受信するWiFiモジュール155(第1の通信部の一例)と、生成された映像データが示す映像と、ワイプ画像として、複数のスマートフォン200の少なくとも一つから受信する映像データが示す映像と、を合成処理する画像処理部120(画像処理部の一例)と、画像処理部120における合成処理を制御するコントローラ135(第1の制御部の一例)と、を備える。コントローラ135は、複数のスマートフォン200のそれぞれから受信する評価情報に基づいて、合成処理に用いられる映像データを提供する、スマートフォンを選択する。
本実施の形態のスマートフォン200は、ビデオカメラ100に映像データを送信する電子機器である。スマートフォン200は、被写体を撮像して映像データ(第2の映像データの一例)を生成する画像センサ203(第2の撮像部の一例)と、ビデオカメラ100と通信するWiFiモジュール235(第2の通信部の一例)と、評価情報を算出するとともに、ビデオカメラ100に対する映像データ及び評価情報の送信を制御するコントローラ225(第2の制御部の一例)と、を備える。コントローラ225は、ビデオカメラ100から映像データの配信開始要求を受けたときは、ビデオカメラ100に対して、映像データ及び評価情報を送信する。その後にビデオカメラ100から映像データの配信停止要求を受けたときは、コントローラ225は、ビデオカメラ100に対して、映像データの送信は停止し、評価情報を送信する。
以上の構成により、ビデオカメラ100は、各スマートフォン200から受信する映像の中から、ワイプ画像として用いる映像を、評価情報に基づき、自動で設定する。これにより、ビデオカメラ100に対して、複数のスマートフォン200が接続されている状態において、ワイプ画像が自動で設定され、ユーザの利便性が向上する。
ここで、評価情報は、映像データが示す映像中に検出された顔の数、少なくとも一つのスマートフォン200で検出された音量、及び少なくとも一つのスマートフォン200の傾きの変化量のうちの、少なくとも一つに基づいて算出されてもよい。
合成処理に用いられる映像データを提供するスマートフォン200の数の上限値は、WiFiモジュール155を介して通信可能なスマートフォン200の数の上限値よりも小さければよい。
コントローラ135は、評価情報が示す優先度が所定値より大きいスマートフォン200を、合成処理に用いられる映像データを提供するスマートフォン200として選択すればよい。
また、WiFiモジュール155は、合成処理に用いられる映像データを提供するスマートフォン200からは評価情報と映像データを受信し、合成処理に用いられる映像データを提供しないスマートフォン200からは、評価情報を受信するが、映像データを受信しない。これにより、ビデオカメラ100とスマートフォン200間の通信帯域不足を抑制し、ビデオカメラ100において、受信した映像データを再生する場合に発生し得るコマ落ちや遅延、画質の劣化を低減することができる。
また、本実施の形態の撮像システムは、ビデオカメラ100とスマートフォン200とを含む。
〔他の実施の形態〕
本開示は、上記実施の形態に限定されず、種々の実施の形態が考えられる。以下、他の実施の形態についてまとめて記載する。
実施の形態1では、スマートフォン200において、評価情報(優先度)を算出したが、評価情報をビデオカメラ100で算出してもよい。この場合、スマートフォン200は、評価情報を送信する代わりに、評価情報(優先度)の算出に用いる情報を、ビデオカメラ100に送信すればよい。例えば、スマートフォン200は、スマートフォン200において検出する顔検出の結果、音量、ジャイロセンサによる検出結果、等をビデオカメラ100に送信すればよい。ビデオカメラ100は各スマートフォン200から受信した情報に基づき、各スマートフォン200に対する評価情報(優先度)を算出すればよい。
実施の形態1では、ワイプ画像として表示する映像を提供する電子機器として、スマートフォンを用いたが、他の電子機器でもよい。すなわち、ビデオカメラ100と通信が可能であり、映像データを送信可能な電子機器であれば、様々な電子機器(例えば、ビデオカメラ、デジタルカメラ、携帯電話、タブレット端末、カメラ付きパーソナルコンピュータ)をサブカメラとして使用できる。
ビデオカメラ100は、光学系110及び画像センサ115を含むメインの撮像部(メインカメラ)に加えて、サブの撮像部(サブカメラ)をさらに備えても良い。この場合、ビデオカメラ100は、スマートフォン200から受信する映像と、サブの撮像部(サブカメラ)で撮影する映像との中から、ワイプ画像として表示する映像を、上記の制御にしたがい選択してもよい。
実施の形態1では、サブカメラとして登録可能な機器の数の上限値を「3」とし、ビデオカメラ100において表示され得るワイプ画像の最大数を「2」としたが、これらの数値は一例である。これらの数値は、システムの用途または制約に応じて、適宜設定することができる。
実施の形態1では、ビデオカメラ100のコントローラ135及びスマートフォン200のコントローラ225は、プログラムを実行するCPUまたはMPUを含む構成とした。しかし、コントローラ135及びコントローラ225は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。すなわち、コントローラ135及びコントローラ225は、CPU、MPU、DSU(Digital Service Unit)、FPGA(Field−programmable Gate Array)、ASIC(Application Specific Integrated Circuit)またはマイクロコンピュータ等で構成できる。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、複数の外部機器から映像データを受信し、受信する映像データが示す画像と、自機で撮像した画像とを合成する画像を、記録可能な撮像装置(例えば、ビデオカメラ)に対して有用である。
100 ビデオカメラ
110 光学系
113 レンズ駆動部
115 画像センサ
120 画像処理部
125 バッファメモリ
130 液晶モニタ
131 設定画面
131a アイコン
132 登録画面
135 コントローラ
140 記録制御部
145 記録媒体
150 操作部
155 WiFiモジュール
200,200a,200b,200c スマートフォン
201 光学系
203 画像センサ
205 画像処理部
210 タッチパネル
215 液晶モニタ
220 バッファメモリ
225 コントローラ
230 操作部
235 WiFiモジュール
245 フラッシュメモリ
250 マイクロホン
300 メイン画像
300a 画像
301,301a,302,302a,303,303a 画像
305 ワイプ画像

Claims (8)

  1. 被写体を撮像して第1の映像データを生成する第1の撮像部と、
    複数の電子機器と通信し、前記複数の電子機器で生成された第2の映像データ、及び前記第2の映像データの優先度を示す評価情報を受信する第1の通信部と、
    前記第1の映像データが示す第1の映像と、前記複数の電子機器の少なくとも一つの電子機器から受信する前記第2の映像データが示す第2の映像と、を合成処理する画像処理部と、
    前記画像処理部における前記合成処理を制御する第1の制御部と、を備え、
    前記第1の制御部は、前記複数の電子機器のそれぞれから受信する前記評価情報に基づいて、前記合成処理に用いられる前記第2の映像データを提供する、前記複数の電子機器の少なくとも一つの電子機器を選択し、
    前記合成処理に用いられる前記第2の映像データを提供する電子機器の数の上限値は、前記第1の通信部を介して通信可能な電子機器の数の上限値よりも小さい、撮像装置。
  2. 被写体を撮像して第1の映像データを生成する第1の撮像部と、
    複数の電子機器と通信し、前記複数の電子機器で生成された第2の映像データ、及び前記第2の映像データの優先度を示す評価情報を受信する第1の通信部と、
    前記第1の映像データが示す第1の映像と、前記複数の電子機器の少なくとも一つの電子機器から受信する前記第2の映像データが示す第2の映像と、を合成処理する画像処理部と、
    前記画像処理部における前記合成処理を制御する第1の制御部と、を備え、
    前記第1の制御部は、前記複数の電子機器のそれぞれから受信する前記評価情報に基づいて、前記合成処理に用いられる前記第2の映像データを提供する、前記複数の電子機器の少なくとも一つの電子機器を選択し、
    前記第1の通信部は、
    前記合成処理に用いられる前記第2の映像データを提供する電子機器からは、前記評価情報と前記第2の映像データを受信し、
    前記合成処理に用いられる前記第2の映像データを提供しない電子機器からは、前記評価情報を受信し、前記第2の映像データを受信しない、撮像装置。
  3. 前記評価情報は、前記第2の映像データが示す前記第2の映像中に検出された顔の数、前記少なくとも一つの電子機器で検出された音量、及び前記少なくとも一つの電子機器の傾きの変化量のうちの、少なくとも一つに基づいて算出される
    請求項1又は2記載の撮像装置。
  4. 前記第1の制御部は、前記評価情報が示す優先度が所定値より大きい電子機器を、前記合成処理に用いられる前記第2の映像データを提供する前記電子機器として選択する、請求項1又は2記載の撮像装置。
  5. 前記撮像装置はビデオカメラである、請求項1又は2に記載の撮像装置。
  6. 請求項1又は2に記載の撮像装置に前記第2の映像データを送信する電子機器であって、
    被写体を撮像して前記第2の映像データを生成する第2の撮像部と、
    前記撮像装置と通信する第2の通信部と、
    前記評価情報を算出するとともに、前記撮像装置に対する前記第2の映像データ及び前記評価情報の送信を制御する第2の制御部と、を備え、
    前記第2の制御部は、
    前記撮像装置から前記第2の映像データの配信開始要求を受けたときは、前記撮像装置に対して、前記第2の映像データ及び前記評価情報を送信し、
    その後に前記撮像装置から前記第2の映像データの配信停止要求を受けたときは、前記撮像装置に対して、前記第2の映像データの送信を停止し、前記評価情報を送信する電子機器。
  7. 前記電子機器はスマートフォンである、請求項記載の電子機器。
  8. 撮像装置と複数の電子機器を含む撮像システムであって、
    前記撮像装置は、
    被写体を撮像して第1の映像データを生成する第1の撮像部と、
    前記複数の電子機器と通信し、前記複数の電子機器で生成された第2の映像データ、及び前記第2の映像データの優先度を示す評価情報を受信する第1の通信部と、
    前記第1の映像データが示す第1の映像と、前記複数の電子機器の少なくとも一つの電子機器から受信する前記第2の映像データが示す第2の映像と、を合成処理する画像処理部と、
    前記画像処理部における前記合成処理を制御する第1の制御部と、を備え、
    前記第1の制御部は、前記複数の電子機器のそれぞれから受信する前記評価情報に基づいて、前記合成処理に用いられる前記第2の映像データを提供する、前記複数の電子機器の少なくとも一つの電子機器を選択し、
    前記複数の電子機器の少なくとも一つの電子機器は、前記撮像装置に前記第2の映像データを送信する電子機器であって、
    被写体を撮像して前記第2の映像データを生成する第2の撮像部と、
    前記撮像装置と通信する第2の通信部と、
    前記評価情報を算出するとともに、前記撮像装置に対する前記第2の映像データ及び前記評価情報の送信を制御する第2の制御部と、を備え、
    前記第2の制御部は、
    前記撮像装置から前記第2の映像データの配信開始要求を受けたときは、前記撮像装置に対して、前記第2の映像データ及び前記評価情報を送信し、
    その後に前記撮像装置から前記第2の映像データの配信停止要求を受けたときは、前記撮像装置に対して、前記第2の映像データの送信を停止し、前記評価情報を送信する、撮像システム。
JP2017540284A 2016-03-07 2017-01-31 撮像装置、電子機器及び撮像システム Active JP6754953B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016043802 2016-03-07
JP2016043802 2016-03-07
PCT/JP2017/003279 WO2017154411A1 (ja) 2016-03-07 2017-01-31 撮像装置、電子機器及び撮像システム

Publications (2)

Publication Number Publication Date
JPWO2017154411A1 JPWO2017154411A1 (ja) 2019-02-14
JP6754953B2 true JP6754953B2 (ja) 2020-09-16

Family

ID=59790495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017540284A Active JP6754953B2 (ja) 2016-03-07 2017-01-31 撮像装置、電子機器及び撮像システム

Country Status (3)

Country Link
US (1) US10349010B2 (ja)
JP (1) JP6754953B2 (ja)
WO (1) WO2017154411A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
WO2017098681A1 (ja) * 2015-12-11 2017-06-15 パナソニックIpマネジメント株式会社 撮像装置、電子機器及び撮像システム
US10783925B2 (en) 2017-12-29 2020-09-22 Dish Network L.L.C. Methods and systems for an augmented film crew using storyboards
US10834478B2 (en) 2017-12-29 2020-11-10 Dish Network L.L.C. Methods and systems for an augmented film crew using purpose
US10453496B2 (en) * 2017-12-29 2019-10-22 Dish Network L.L.C. Methods and systems for an augmented film crew using sweet spots
JP7064373B2 (ja) * 2018-04-26 2022-05-10 キヤノン株式会社 通信装置およびその制御方法、並びにプログラム
US11184415B2 (en) 2018-05-07 2021-11-23 Apple Inc. Media feed prioritization for multi-party conferencing
WO2021181442A1 (ja) * 2020-03-09 2021-09-16 小池 聡 スマートフォン撮影システム
US11930270B2 (en) * 2021-10-29 2024-03-12 Snap Inc. Identifying a video camera for an object

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2827932B2 (ja) 1994-11-25 1998-11-25 日本電気株式会社 多地点テレビ会議における合成画面表示制御方式
US7409111B2 (en) 1997-10-21 2008-08-05 Canon Kabushiki Kaisha Image synthesizing system for automatically retrieving and synthesizing images to be synthesized
JPH11127369A (ja) * 1997-10-21 1999-05-11 Canon Inc 撮像表示システム及びその制御プログラム並びに記録媒体
JP2005123807A (ja) * 2003-10-15 2005-05-12 Canon Inc 携帯情報端末、情報処理方法ならびに記憶媒体、プログラム
JP2007158860A (ja) * 2005-12-06 2007-06-21 Canon Inc 撮影システム、撮影装置、画像切替装置、およびデータ保持装置
JP4804141B2 (ja) 2005-12-19 2011-11-02 オリンパスイメージング株式会社 撮影装置
US8395655B2 (en) * 2010-08-15 2013-03-12 Hewlett-Packard Development Company, L.P. System and method for enabling collaboration in a video conferencing system
US8698874B2 (en) * 2011-06-10 2014-04-15 Microsoft Corporation Techniques for multiple video source stitching in a conference room
US9191619B2 (en) * 2012-08-01 2015-11-17 Google Inc. Using an avatar in a videoconferencing system
US9888214B2 (en) * 2012-08-10 2018-02-06 Logitech Europe S.A. Wireless video camera and connection methods including multiple video streams
JP2014107775A (ja) 2012-11-29 2014-06-09 Xacti Corp 電子カメラ
US9131284B2 (en) * 2013-01-04 2015-09-08 Omnivision Technologies, Inc. Video-in-video video stream having a three layer video scene
US20170237941A1 (en) * 2014-08-14 2017-08-17 Nitin Vats Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing
US9584763B2 (en) * 2014-11-06 2017-02-28 Cisco Technology, Inc. Automatic switching between dynamic and preset camera views in a video conference endpoint
US20160198097A1 (en) * 2015-01-05 2016-07-07 GenMe, Inc. System and method for inserting objects into an image or sequence of images
US9743042B1 (en) * 2016-02-19 2017-08-22 Microsoft Technology Licensing, Llc Communication event

Also Published As

Publication number Publication date
WO2017154411A1 (ja) 2017-09-14
US10349010B2 (en) 2019-07-09
US20170359552A1 (en) 2017-12-14
JPWO2017154411A1 (ja) 2019-02-14

Similar Documents

Publication Publication Date Title
JP6754953B2 (ja) 撮像装置、電子機器及び撮像システム
JP6805861B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
US10455180B2 (en) Electronic apparatus and method for conditionally providing image processing by an external apparatus
CN107750451B (zh) 用于稳定视频的方法和电子装置
US8803981B2 (en) Image capturing device having continuous image capture
JP6328255B2 (ja) マルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体
US20140244858A1 (en) Communication system and relaying device
US9924087B2 (en) Information terminal apparatus, information acquisition apparatus, information support method, and recording medium recording information support program
US11750926B2 (en) Video image stabilization processing method and electronic device
JP5838852B2 (ja) 撮像システム、撮像装置、撮像方法及びプログラム
US9323496B2 (en) Electronic device capable of transmitting an image
US10785415B2 (en) Display control device and display control method
US10200616B2 (en) Image processing device that performs image rotation processing, method of controlling the same, and storage medium
JP2019083378A (ja) 撮像装置
JP2018005091A (ja) 表示制御プログラム、表示制御方法および表示制御装置
US10250760B2 (en) Imaging device, imaging system, and imaging method
US20220247917A1 (en) Image capture apparatus, operation apparatus and control methods
JP7122564B2 (ja) 撮像装置、電子機器及び撮像システム
JP6674630B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20120256965A1 (en) Display control device, display control method, program, and display control system
US10178296B2 (en) Imaging apparatus, control method of imaging apparatus, imaging system, and portable display device
JP5836091B2 (ja) 再生装置及びプログラム
JP2015119432A (ja) 撮像装置、撮像システム、撮像方法及びプログラム
JP2021022910A (ja) 通信端末、通信プログラム、通信方法及び通信システム
JP2014050010A (ja) 通信装置を備えた撮像装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R151 Written notification of patent or utility model registration

Ref document number: 6754953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151