JP6754953B2 - 撮像装置、電子機器及び撮像システム - Google Patents
撮像装置、電子機器及び撮像システム Download PDFInfo
- Publication number
- JP6754953B2 JP6754953B2 JP2017540284A JP2017540284A JP6754953B2 JP 6754953 B2 JP6754953 B2 JP 6754953B2 JP 2017540284 A JP2017540284 A JP 2017540284A JP 2017540284 A JP2017540284 A JP 2017540284A JP 6754953 B2 JP6754953 B2 JP 6754953B2
- Authority
- JP
- Japan
- Prior art keywords
- video data
- image
- evaluation information
- electronic devices
- smartphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
- H04N5/9205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being at least another television signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
Description
図1は、実施の形態1にかかるビデオカメラ100とスマートフォン200a、200b、200cを含む撮像システムの構成を示す図である。ビデオカメラ100は、複数のスマートフォン200a、200b、200cと通信を確立することができる。ビデオカメラ100は、各スマートフォン200a、200b、200cで生成された映像データ(動画データまたは静止画データ)を受信することができる。ビデオカメラ100は、自機で撮像した映像データに、複数のスマートフォン200a、200b、200cの少なくとも1つから受信した映像データを、重畳して記録媒体に記録することができる(マルチワイプ機能(詳細は後述))。
以下、実施の形態1にかかるビデオカメラ100及びスマートフォン200a、200b、200cの構成について説明する。なお、以下の説明において、スマートフォン200a、200b、200cを区別なく説明する場合、スマートフォンに対して符号「200」を用いる。
図2は、実施の形態1にかかるビデオカメラ100の電気的構成を示す図である。ビデオカメラ100は、光学系110を介して形成される被写体像を画像センサ115で撮像する。画像センサ115は、撮像した被写体像に基づく撮像データ(RAWデータ)を生成する。画像処理部120は、画像センサ115により生成された撮像データに対して、各種処理を施して映像データを生成する。コントローラ135は、画像処理部120にて生成された映像データを、記録媒体145に記録する。コントローラ135は、画像処理部120で処理された映像データを、液晶モニタ130上にライブ表示させることができる。コントローラ135は、記録媒体145に記録された映像データを読み出して液晶モニタ130上に表示させること(再生)ができる。
図3は、実施の形態1にかかるスマートフォン200の電気的構成を示す図である。スマートフォン200は、画像センサ203により、光学系201を介して受信する被写体像から、映像データ(動画データ)を生成する。スマートフォン200は、WiFiモジュール235を介して、ビデオカメラ100と通信可能である。スマートフォン200は、生成される映像データを、WiFiモジュール235を介して、ビデオカメラ100に送信することができる。スマートフォン200は、ジャイロセンサ255により、自装置の動き(姿勢の変化)を検出することができる。スマートフォン200は、マイクロホン250により、音声を入力する。入力される音声は音声データに変換される。
〔2.1 マルチワイプ機能〕
以下、マルチワイプ機能について説明する。ビデオカメラ100は、複数の外部の電子機器(以下「外部機器」という)をサブカメラとして使用することができる。ビデオカメラ100は、複数の外部機器で撮影した映像(動画)を各外部機器から受信し、ビデオカメラ100で撮影した映像(動画)の一部の領域に重畳(合成)して表示、記録することができる。この機能を「マルチワイプ機能」という。なお、本実施の形態では、サブカメラの例としてスマートフォンを使用する。
前述のように、本実施の形態では、ビデオカメラ100において、サブカメラとして、3台までの外部機器を登録することができる。ビデオカメラ100は、WiFiモジュール155を介して、同時に3台以上の外部機器と通信を確立することができる。マルチワイプ機能において、メイン画像に合成されるワイプ画像の数の上限値は「2」に設定されている。
図8と図9を用いて、ビデオカメラ100におけるワイプ画像に用いられる、映像の選択動作の概要を説明する。図8は、実施の形態1にかかる、スマートフォン200a、200b、200cからビデオカメラ100へ評価情報のみが送信される状態を示す図である。図9は、実施の形態1にかかる、スマートフォン200a、200b、200cからビデオカメラ100へ評価情報と映像データが送信される状態を示す図である。
図12は、実施の形態1にかかる、スマートフォン200における映像配信処理を示すフローチャートである。図12を用いて、スマートフォン200における映像配信処理を説明する。
・被写体の変化(映像の動き、カメラの動き)(被写体の変化のある映像を、変化のない映像よりも、優先的にワイプ画像に使用する)
・音声の変化(音声の変化のある映像を、変化のない映像よりも、優先的にワイプ画像に使用する)
本実施の形態では、人物の顔を含む映像の点数が高くなるように、優先度を算出する。このとき、優先度を、例えば、下記の式で算出することができる。
ここで、Fnは、顔検出機能により検出される顔の数である。Vnは、マイクロホン250で収音される音声の音量(音声信号の振幅)である。Jnは、ジャイロセンサ255により検出されるスマートフォンの傾きの変化量である。α、β、γは係数であり、例えば、α=60、β=15、γ=20に設定される。
図17Aは、実施の形態1にかかる、評価情報に基づいて属性(表示位置)が変更されるワイプ画像を説明する図である。図17Bは、実施の形態1にかかる、評価情報に基づいて属性(大きさ)が変更されるワイプ画像を説明する図である。コントローラ135は、評価情報が示す優先度の値に基づき、メイン画像に合成して表示するワイプ画像の属性を変化させてもよい。例えば、コントローラ135は、図17Aに示すように、評価情報が示す優先度の値が低くなるほど、ワイプ画像305の表示位置を右側に移動させてもよい。コントローラ135は、図17Bに示すように、評価情報が示す優先度の値が高くなるほど、ワイプ画像305のサイズを大きくしてもよい。
以上のように、本実施の形態のビデオカメラ100(撮像装置の一例)は、被写体を撮像して映像データ(第1の映像データの一例)を生成する画像センサ115(第1の撮像部の一例)と、複数のスマートフォン200(電子機器の一例)と通信し、各スマートフォン200で生成された映像データ(第2の映像データの一例)及びその映像データの優先度を示す評価情報を受信するWiFiモジュール155(第1の通信部の一例)と、生成された映像データが示す映像と、ワイプ画像として、複数のスマートフォン200の少なくとも一つから受信する映像データが示す映像と、を合成処理する画像処理部120(画像処理部の一例)と、画像処理部120における合成処理を制御するコントローラ135(第1の制御部の一例)と、を備える。コントローラ135は、複数のスマートフォン200のそれぞれから受信する評価情報に基づいて、合成処理に用いられる映像データを提供する、スマートフォンを選択する。
本開示は、上記実施の形態に限定されず、種々の実施の形態が考えられる。以下、他の実施の形態についてまとめて記載する。
110 光学系
113 レンズ駆動部
115 画像センサ
120 画像処理部
125 バッファメモリ
130 液晶モニタ
131 設定画面
131a アイコン
132 登録画面
135 コントローラ
140 記録制御部
145 記録媒体
150 操作部
155 WiFiモジュール
200,200a,200b,200c スマートフォン
201 光学系
203 画像センサ
205 画像処理部
210 タッチパネル
215 液晶モニタ
220 バッファメモリ
225 コントローラ
230 操作部
235 WiFiモジュール
245 フラッシュメモリ
250 マイクロホン
300 メイン画像
300a 画像
301,301a,302,302a,303,303a 画像
305 ワイプ画像
Claims (8)
- 被写体を撮像して第1の映像データを生成する第1の撮像部と、
複数の電子機器と通信し、前記複数の電子機器で生成された第2の映像データ、及び前記第2の映像データの優先度を示す評価情報を受信する第1の通信部と、
前記第1の映像データが示す第1の映像と、前記複数の電子機器の少なくとも一つの電子機器から受信する前記第2の映像データが示す第2の映像と、を合成処理する画像処理部と、
前記画像処理部における前記合成処理を制御する第1の制御部と、を備え、
前記第1の制御部は、前記複数の電子機器のそれぞれから受信する前記評価情報に基づいて、前記合成処理に用いられる前記第2の映像データを提供する、前記複数の電子機器の少なくとも一つの電子機器を選択し、
前記合成処理に用いられる前記第2の映像データを提供する電子機器の数の上限値は、前記第1の通信部を介して通信可能な電子機器の数の上限値よりも小さい、撮像装置。 - 被写体を撮像して第1の映像データを生成する第1の撮像部と、
複数の電子機器と通信し、前記複数の電子機器で生成された第2の映像データ、及び前記第2の映像データの優先度を示す評価情報を受信する第1の通信部と、
前記第1の映像データが示す第1の映像と、前記複数の電子機器の少なくとも一つの電子機器から受信する前記第2の映像データが示す第2の映像と、を合成処理する画像処理部と、
前記画像処理部における前記合成処理を制御する第1の制御部と、を備え、
前記第1の制御部は、前記複数の電子機器のそれぞれから受信する前記評価情報に基づいて、前記合成処理に用いられる前記第2の映像データを提供する、前記複数の電子機器の少なくとも一つの電子機器を選択し、
前記第1の通信部は、
前記合成処理に用いられる前記第2の映像データを提供する電子機器からは、前記評価情報と前記第2の映像データを受信し、
前記合成処理に用いられる前記第2の映像データを提供しない電子機器からは、前記評価情報を受信し、前記第2の映像データを受信しない、撮像装置。 - 前記評価情報は、前記第2の映像データが示す前記第2の映像中に検出された顔の数、前記少なくとも一つの電子機器で検出された音量、及び前記少なくとも一つの電子機器の傾きの変化量のうちの、少なくとも一つに基づいて算出される、
請求項1又は2記載の撮像装置。 - 前記第1の制御部は、前記評価情報が示す優先度が所定値より大きい電子機器を、前記合成処理に用いられる前記第2の映像データを提供する前記電子機器として選択する、請求項1又は2記載の撮像装置。
- 前記撮像装置はビデオカメラである、請求項1又は2に記載の撮像装置。
- 請求項1又は2に記載の撮像装置に前記第2の映像データを送信する電子機器であって、
被写体を撮像して前記第2の映像データを生成する第2の撮像部と、
前記撮像装置と通信する第2の通信部と、
前記評価情報を算出するとともに、前記撮像装置に対する前記第2の映像データ及び前記評価情報の送信を制御する第2の制御部と、を備え、
前記第2の制御部は、
前記撮像装置から前記第2の映像データの配信開始要求を受けたときは、前記撮像装置に対して、前記第2の映像データ及び前記評価情報を送信し、
その後に前記撮像装置から前記第2の映像データの配信停止要求を受けたときは、前記撮像装置に対して、前記第2の映像データの送信を停止し、前記評価情報を送信する電子機器。 - 前記電子機器はスマートフォンである、請求項6記載の電子機器。
- 撮像装置と複数の電子機器を含む撮像システムであって、
前記撮像装置は、
被写体を撮像して第1の映像データを生成する第1の撮像部と、
前記複数の電子機器と通信し、前記複数の電子機器で生成された第2の映像データ、及び前記第2の映像データの優先度を示す評価情報を受信する第1の通信部と、
前記第1の映像データが示す第1の映像と、前記複数の電子機器の少なくとも一つの電子機器から受信する前記第2の映像データが示す第2の映像と、を合成処理する画像処理部と、
前記画像処理部における前記合成処理を制御する第1の制御部と、を備え、
前記第1の制御部は、前記複数の電子機器のそれぞれから受信する前記評価情報に基づいて、前記合成処理に用いられる前記第2の映像データを提供する、前記複数の電子機器の少なくとも一つの電子機器を選択し、
前記複数の電子機器の少なくとも一つの電子機器は、前記撮像装置に前記第2の映像データを送信する電子機器であって、
被写体を撮像して前記第2の映像データを生成する第2の撮像部と、
前記撮像装置と通信する第2の通信部と、
前記評価情報を算出するとともに、前記撮像装置に対する前記第2の映像データ及び前記評価情報の送信を制御する第2の制御部と、を備え、
前記第2の制御部は、
前記撮像装置から前記第2の映像データの配信開始要求を受けたときは、前記撮像装置に対して、前記第2の映像データ及び前記評価情報を送信し、
その後に前記撮像装置から前記第2の映像データの配信停止要求を受けたときは、前記撮像装置に対して、前記第2の映像データの送信を停止し、前記評価情報を送信する、撮像システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016043802 | 2016-03-07 | ||
JP2016043802 | 2016-03-07 | ||
PCT/JP2017/003279 WO2017154411A1 (ja) | 2016-03-07 | 2017-01-31 | 撮像装置、電子機器及び撮像システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017154411A1 JPWO2017154411A1 (ja) | 2019-02-14 |
JP6754953B2 true JP6754953B2 (ja) | 2020-09-16 |
Family
ID=59790495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017540284A Active JP6754953B2 (ja) | 2016-03-07 | 2017-01-31 | 撮像装置、電子機器及び撮像システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10349010B2 (ja) |
JP (1) | JP6754953B2 (ja) |
WO (1) | WO2017154411A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016046642A (ja) * | 2014-08-21 | 2016-04-04 | キヤノン株式会社 | 情報処理システム、情報処理方法及びプログラム |
WO2017098681A1 (ja) * | 2015-12-11 | 2017-06-15 | パナソニックIpマネジメント株式会社 | 撮像装置、電子機器及び撮像システム |
US10783925B2 (en) | 2017-12-29 | 2020-09-22 | Dish Network L.L.C. | Methods and systems for an augmented film crew using storyboards |
US10834478B2 (en) | 2017-12-29 | 2020-11-10 | Dish Network L.L.C. | Methods and systems for an augmented film crew using purpose |
US10453496B2 (en) * | 2017-12-29 | 2019-10-22 | Dish Network L.L.C. | Methods and systems for an augmented film crew using sweet spots |
JP7064373B2 (ja) * | 2018-04-26 | 2022-05-10 | キヤノン株式会社 | 通信装置およびその制御方法、並びにプログラム |
US11184415B2 (en) | 2018-05-07 | 2021-11-23 | Apple Inc. | Media feed prioritization for multi-party conferencing |
WO2021181442A1 (ja) * | 2020-03-09 | 2021-09-16 | 小池 聡 | スマートフォン撮影システム |
US11930270B2 (en) * | 2021-10-29 | 2024-03-12 | Snap Inc. | Identifying a video camera for an object |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2827932B2 (ja) | 1994-11-25 | 1998-11-25 | 日本電気株式会社 | 多地点テレビ会議における合成画面表示制御方式 |
US7409111B2 (en) | 1997-10-21 | 2008-08-05 | Canon Kabushiki Kaisha | Image synthesizing system for automatically retrieving and synthesizing images to be synthesized |
JPH11127369A (ja) * | 1997-10-21 | 1999-05-11 | Canon Inc | 撮像表示システム及びその制御プログラム並びに記録媒体 |
JP2005123807A (ja) * | 2003-10-15 | 2005-05-12 | Canon Inc | 携帯情報端末、情報処理方法ならびに記憶媒体、プログラム |
JP2007158860A (ja) * | 2005-12-06 | 2007-06-21 | Canon Inc | 撮影システム、撮影装置、画像切替装置、およびデータ保持装置 |
JP4804141B2 (ja) | 2005-12-19 | 2011-11-02 | オリンパスイメージング株式会社 | 撮影装置 |
US8395655B2 (en) * | 2010-08-15 | 2013-03-12 | Hewlett-Packard Development Company, L.P. | System and method for enabling collaboration in a video conferencing system |
US8698874B2 (en) * | 2011-06-10 | 2014-04-15 | Microsoft Corporation | Techniques for multiple video source stitching in a conference room |
US9191619B2 (en) * | 2012-08-01 | 2015-11-17 | Google Inc. | Using an avatar in a videoconferencing system |
US9888214B2 (en) * | 2012-08-10 | 2018-02-06 | Logitech Europe S.A. | Wireless video camera and connection methods including multiple video streams |
JP2014107775A (ja) | 2012-11-29 | 2014-06-09 | Xacti Corp | 電子カメラ |
US9131284B2 (en) * | 2013-01-04 | 2015-09-08 | Omnivision Technologies, Inc. | Video-in-video video stream having a three layer video scene |
US20170237941A1 (en) * | 2014-08-14 | 2017-08-17 | Nitin Vats | Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing |
US9584763B2 (en) * | 2014-11-06 | 2017-02-28 | Cisco Technology, Inc. | Automatic switching between dynamic and preset camera views in a video conference endpoint |
US20160198097A1 (en) * | 2015-01-05 | 2016-07-07 | GenMe, Inc. | System and method for inserting objects into an image or sequence of images |
US9743042B1 (en) * | 2016-02-19 | 2017-08-22 | Microsoft Technology Licensing, Llc | Communication event |
-
2017
- 2017-01-31 JP JP2017540284A patent/JP6754953B2/ja active Active
- 2017-01-31 WO PCT/JP2017/003279 patent/WO2017154411A1/ja active Application Filing
- 2017-08-04 US US15/669,285 patent/US10349010B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2017154411A1 (ja) | 2017-09-14 |
US10349010B2 (en) | 2019-07-09 |
US20170359552A1 (en) | 2017-12-14 |
JPWO2017154411A1 (ja) | 2019-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6754953B2 (ja) | 撮像装置、電子機器及び撮像システム | |
JP6805861B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
US10455180B2 (en) | Electronic apparatus and method for conditionally providing image processing by an external apparatus | |
CN107750451B (zh) | 用于稳定视频的方法和电子装置 | |
US8803981B2 (en) | Image capturing device having continuous image capture | |
JP6328255B2 (ja) | マルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体 | |
US20140244858A1 (en) | Communication system and relaying device | |
US9924087B2 (en) | Information terminal apparatus, information acquisition apparatus, information support method, and recording medium recording information support program | |
US11750926B2 (en) | Video image stabilization processing method and electronic device | |
JP5838852B2 (ja) | 撮像システム、撮像装置、撮像方法及びプログラム | |
US9323496B2 (en) | Electronic device capable of transmitting an image | |
US10785415B2 (en) | Display control device and display control method | |
US10200616B2 (en) | Image processing device that performs image rotation processing, method of controlling the same, and storage medium | |
JP2019083378A (ja) | 撮像装置 | |
JP2018005091A (ja) | 表示制御プログラム、表示制御方法および表示制御装置 | |
US10250760B2 (en) | Imaging device, imaging system, and imaging method | |
US20220247917A1 (en) | Image capture apparatus, operation apparatus and control methods | |
JP7122564B2 (ja) | 撮像装置、電子機器及び撮像システム | |
JP6674630B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20120256965A1 (en) | Display control device, display control method, program, and display control system | |
US10178296B2 (en) | Imaging apparatus, control method of imaging apparatus, imaging system, and portable display device | |
JP5836091B2 (ja) | 再生装置及びプログラム | |
JP2015119432A (ja) | 撮像装置、撮像システム、撮像方法及びプログラム | |
JP2021022910A (ja) | 通信端末、通信プログラム、通信方法及び通信システム | |
JP2014050010A (ja) | 通信装置を備えた撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20190123 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200720 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6754953 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |