JP2024064186A - Imaging system, device and controlling method - Google Patents
Imaging system, device and controlling method Download PDFInfo
- Publication number
- JP2024064186A JP2024064186A JP2022172596A JP2022172596A JP2024064186A JP 2024064186 A JP2024064186 A JP 2024064186A JP 2022172596 A JP2022172596 A JP 2022172596A JP 2022172596 A JP2022172596 A JP 2022172596A JP 2024064186 A JP2024064186 A JP 2024064186A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- camera
- main subject
- sensor
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title description 40
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 18
- 238000011156 evaluation Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000001454 recorded image Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、カメラの撮影を制御する技術に関し、特に、ウェアラブルデバイス等を用いた撮像システム並びに装置、制御方法に関する。 The present invention relates to a technology for controlling camera photography, and in particular to an imaging system, device, and control method using a wearable device, etc.
加速度センサや人感センサ等のセンシング結果によりカメラの撮影動作を制御する技術が知られている。 Technology is known that controls the shooting operation of a camera based on the results of sensing from an acceleration sensor, a human presence sensor, etc.
例えば、特許文献1では携帯可能な装置(ウェアラブルデバイス)の状況に応じて、離れたところにあるカメラのオート撮影を制御することが開示されている。 For example, Patent Document 1 discloses controlling automatic photography of a remote camera according to the status of a portable device (wearable device).
しかしながら、上述の特許文献に開示された従来技術では、センシング結果に基づいてオート撮影のタイミング制御を行うことが主である。すなわち、センシング結果に基づいて複数のカメラのピント位置・画角・構図といった撮影パラメータを制御するところまでは考慮されていない。例えば、撮影対象の被写体の顔の一部が他の被写体によって隠れていて、カメラで被写体の顔検出が出来ない場合を考える。この時、腕や足に装着しているセンシング結果のみから撮影のタイミングを制御すると、撮影対象の被写体の顔に焦点が合っていない撮影画像や、顔の一部が隠れたままの撮影画像になってしまう可能性がある。 However, the conventional technology disclosed in the above-mentioned patent document mainly controls the timing of automatic photography based on the sensing results. In other words, it does not take into consideration the control of photography parameters such as the focus position, angle of view, and composition of multiple cameras based on the sensing results. For example, consider a case where part of the face of the subject being photographed is hidden by another subject, making it impossible for the camera to detect the subject's face. In this case, if the timing of photography is controlled only from the sensing results attached to the arm or leg, there is a possibility that the face of the subject being photographed will not be in focus, or that the face will remain partially hidden.
そこで本発明では、複数カメラによる解析結果と携帯可能な装置によるセンシング結果を連携させ、被写体のベストショットを撮影出来るようカメラのピント位置・画角・構図といった撮影パラメータを制御することを可能にした撮像システムを提供する。 The present invention provides an imaging system that combines the analysis results from multiple cameras with the sensing results from a portable device, making it possible to control shooting parameters such as the camera's focus position, angle of view, and composition to capture the best shot of the subject.
上記目的を達成するために、本発明は、被写体を撮像する撮像手段と、前記撮像手段が撮像した画像を用いて主被写体を検出する主被写体検出手段と、外部装置から送信されたセンシング結果を受信する受信手段と、を備えた複数の撮像装置と被写体の情報を取得するセンサ手段と、前記センサ手段のセンシング結果を前記撮像装置に送信する送信手段と、を備えた前記撮像手段とは異なる、撮影する被写体に装着するセンサ装置からなる撮像システムであって、前記撮像装置は、前記センサ手段のセンシング結果を受信し、前記センサ手段のセンシング結果と、前記主被写体検出手段の結果を用いて前記撮像装置のピント位置・画角・構図の少なくとも1つ以上を制御することを特徴とするシステムを備えることを特徴とする。 In order to achieve the above object, the present invention provides an imaging system comprising a plurality of imaging devices each including an imaging means for imaging a subject, a main subject detection means for detecting a main subject using an image captured by the imaging means, and a receiving means for receiving a sensing result transmitted from an external device, and a sensor device attached to a subject to be photographed that is different from the imaging means and includes a sensor means for acquiring information about the subject and a transmitting means for transmitting the sensing result of the sensor means to the imaging device, wherein the imaging device receives the sensing result of the sensor means and uses the sensing result of the sensor means and the result of the main subject detection means to control at least one of the focus position, angle of view, and composition of the imaging device.
本発明によれば、複数のカメラが連携して撮影対象の被写体のベストショット撮影が可能なカメラシステムを提供することができる。 The present invention provides a camera system in which multiple cameras work together to capture the best shot of a subject.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態は特許請求に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、そのすべてが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Below, preferred embodiments of the present invention will be described in detail with reference to the attached drawings. Note that the following embodiments do not limit the claimed invention. In addition, although multiple features are described in the embodiments, not all of them are necessarily essential to the invention, and multiple features may be combined in any manner. Furthermore, in the attached drawings, the same reference numbers are used for the same or similar configurations, and duplicate explanations will be omitted.
本実施形態では、スマートフォンや、リストバンド型端末等のウェアラブルデバイスのセンシング結果と複数のカメラによる解析結果とを連携させ、カメラのピント位置・画角・構図といった撮影パラメータを制御する。具体的には、特定のカメラでは、撮影したい被写体の一部が他の被写体により隠れていてカメラで主被写体検出が困難な場合においても、別のカメラの主被写体検出結果の情報を用いて被写体のベストショット撮影が可能なシステムを実現する。 In this embodiment, the sensing results of a wearable device such as a smartphone or a wristband-type terminal are linked to the analysis results of multiple cameras to control shooting parameters such as the camera's focus position, angle of view, and composition. Specifically, even if a particular camera has difficulty detecting the main subject because part of the subject to be photographed is hidden by other subjects, a system is realized that can take the best shot of the subject by using information from the main subject detection results of another camera.
図1は本実施例で説明する撮像システム100の一例である。図1の撮像システム100は、カメラ101、カメラ102、ウェアラブルデバイス103の三つの装置で実現する。ウェアラブルデバイス103の一例としては、スマートフォンやリストバンド型端末等が挙げられ、その形態については問わない。図2は、本発明の一実施の形態の外観を示す図である。図2(a)はカメラ101、カメラ102としてデジタルカメラ201の二台と、ウェアラブルデバイス103としてスマートフォン202の三つを接続している撮像システム100を表している。
Figure 1 shows an example of an
制御部112は、例えばCPUであり、カメラ101が備える各ブロックに対する制御プログラムを後述のROM113より読み出し、後述のRAM114に展開して実行する。これにより、制御部112は、カメラ101が備える各ブロックの動作を制御する。
The
ROM113は、電気的に消去・記録可能な不揮発性メモリであり、カメラ101が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。
The
RAM114は、書き換え可能な揮発性メモリであり、制御部112等が実行するプログラムの展開や、カメラ101が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。
通信部115は、所定の無線通信規格に応じて通信を行う。無線通信規格としては、IEEE802.11規格の所謂Wi-Fi、Bluetooth(登録商標)、およびNFCなどがある。後述のウェアラブルデバイス103との連携は、カメラ101、カメラ102、ウェアラブルデバイス103との距離間において通信可能な規格が必要となる。例えば、Bluetooth(登録商標)は通信距離が400メートル程度あり、位置と方向(相対角度)を検知することが可能である。
The
光学系121は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像素子122の撮像面上に結像する。
The
撮像素子122は、例えばCCDやCMOSセンサ等で構成される。撮像素子122の各画素は、光学系121により撮像素子122の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号を後述のA/D変換部123に出力する。
The
A/D変換部123は、撮像素子122から入力されたアナログ画像信号をデジタル画像データに変換し、A/D変換部123から出力されたデジタル画像データは、RAM114に一時的に記憶される。
The A/
画像処理部124は、RAM114に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部124は、記録された画像の主被写体検出なども行う。これらの詳細については後述する。
The
記録部125は、着脱可能なメモリカード等であり、画像処理部124で処理された画像データを、RAM114を介し、記録画像として記録する。
The
パルス発生部126は、非撮影状態から撮影状態に移行した際に、撮像素子122に走査クロック(水平駆動パルス)や所定の制御パルスを供給する。パルス発生部126で発生した走査クロックのうち、垂直走査用のクロックは、後述の垂直駆動変調部111に入力する。
When transitioning from a non-imaging state to an imaging state, the
垂直駆動変調部111は、パルス発生部126で発生した走査クロック信号のうち、垂直走査用のクロックを所定のクロック周波数に変調し、撮像素子122に入力する。この垂直駆動変調部111によって、複数の画素からなる撮像素子122のライン毎に行われるリセット走査の走査パターンが決定される。この撮像素子122のライン毎のリセット走査により、電子先幕シャッタとしての機能を実現する。
The vertical
ジャイロセンサ119は、角速度を検出する動き検知センサであり、カメラの振れの大きさを判別する。
The
メカシャッタ118は、物理的に光を遮る遮光機構を実現する開閉式のシャッタ機構で構成される(以降、メカシャッタ)。また、メカシャッタ118は、複数の遮光羽根で構成された後幕(以降、メカ後幕)として働く。制御部112は、メカ後幕の走行を開始させるタイミングを調整することで露光時間(シャッタースピード)を制御する。一方、電子先幕の機能は、所定のタイミングで撮像素子122の画素をライン毎に順次リセット走査することで実現する。
The
表示部127は、LCD等の表示デバイスであり、RAM114に記憶されている画像や記録部125に記録されている画像の表示、ユーザの指示を受け付けるための操作ユーザインターフェイスの表示等を行う。また、表示部127は、準備撮影中に構図合わせ等のために撮像素子122が撮像した画像を表示する。
The
以上、カメラ101の構成について説明した。カメラ102の構成に関しては、カメラ101と同じ構成の為、説明は省略する。
The configuration of
続いてウェアラブルデバイス103の構成について図1を用いて説明する。ウェアラブルデバイス103はタッチスクリーンディスプレイ141を備えており、液晶ディスプレイ142には文字、画像、およびアイコンなどが表示される。タッチスクリーン143はジェスチャー操作を検知することでできる。
Next, the configuration of the
インカメラ134は、レンズと光学像を電気信号に変換するCCD又はCMOSなどの撮像素子とを備えている。このインカメラ134はAF(オートフォーカス)、絞り、およびシャッタースピード調整機能などを備える小型のカメラモジュールである。そして、インカメラ134はタッチスクリーンディスプレイ141に対面する物体を撮像する。
The in-camera 134 is equipped with a lens and an imaging element such as a CCD or CMOS that converts an optical image into an electrical signal. The in-camera 134 is a small camera module equipped with AF (autofocus), aperture, and shutter speed adjustment functions. The in-camera 134 captures an image of an object facing the
照度センサ145はインカメラ134や、アウトカメラ135で集光する被写体の照度情報を取得し、撮影時の露光時間やISO感度の調整に用いる。
The
制御部138は、例えばCPUであり、ウェアラブルデバイス103が備える各ブロックに対する制御プログラムを後述のROM151より読み出し、後述のRAM152に展開して実行する。これにより、制御部138は、ウェアラブルデバイス103が備える各ブロックの動作を制御する。制御部138はタッチスクリーン143、スイッチ144、インカメラ134、照度センサ145、アウトカメラ135、およびライト136などを制御してカメラ機能を提供する。
The
ROM151は、電気的に消去・記録可能な不揮発性メモリであり、ウェアラブルデバイス103が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。
RAM152は、書き換え可能な揮発性メモリであり、制御部112等が実行するプログラムの展開や、ウェアラブルデバイス103が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。
スピーカー139からは、スイッチ144において音出力オンの場合に、撮像の際のシャッタ音および警告音を出力する。
When the
コネクタ133はウェアラブルデバイス103と外部装置とを接続する際に用いられる。例えば、コネクタ133には、後述する電源モジュール132に備えられたバッテリーを充電するためのACアダプタが接続される。また、コネクタ133は、外部から接続される不揮発性メモリに対する画像データおよび音声データなどの入出力の際に用いられる。なお、コネクタ133はDockコネクタのような専用に設計された端子であってもよく、USB(Universal Serial Bus)のような汎用的な端子であってもよい。
The
アウトカメラ135は、インカメラ134と同様の小型のカメラモジュールである。アウトカメラ135はインカメラ134の反対側の被写体を撮像する。ライト136は発光モジュールであり、アウトカメラ135による撮像の際にはフラッシュとして機能する。 The outer camera 135 is a small camera module similar to the inner camera 134. The outer camera 135 captures an image of a subject on the opposite side of the inner camera 134. The light 136 is a light emitting module that functions as a flash when the outer camera 135 captures an image.
通信モジュール131は、所定の無線通信規格に応じて通信を行う。無線通信規格としては、IEEE802.11規格の所謂Wi-Fi、Bluetooth(登録商標)、およびNFCなどがある。具体的な通信としては、撮像によって得られた画像データの入出力およびウェアラブルデバイス103に対する機能追加プログラムモジュールのダウンロードが該当する。また、カメラ101、カメラ102に対し、後述するセンサ群(照度センサ145、加速度センサ146、ジャイロセンサ147、奥行きセンサ148)の情報を送信する際に用いられる。
The
電源モジュール132は充電可能なバッテリーを備えており、ウェアラブルデバイス103全体に電源を供給する。電源モジュール132に備えられたバッテリーとして、例えば、リチウムイオン電池又はニッケル水素電池が用いられる。
The
加速度センサ146は、ウェアラブルデバイス103に作用する加速度の方向と大きさを検知する。加速度センサ146はXYZ方向の3軸における検知が可能である。
The
ジャイロセンサ147はウェアラブルデバイス103の角度および角速度を検知する。奥行きセンサ148は、カメラから撮影する被写体までの距離を計測する。距離の計測する方式としては以下のようなものを用いることができる。例えば赤外線や光や超音波などを物体に反射して跳ね返ってくるまでの時間を測定する方式が挙げられる。また、複数台のカメラや画素を平行に並べ、視差画像から被写体の奥行情報を取得する方法でもよい。Bluetooth(登録商標)の無線通信規格を用いてウェアラブルデバイス103の位置、ウェアラブルデバイス103(発信機)からカメラ(受信機)までの距離と、ウェアラブルデバイス103(発信機)とカメラ(受信機)との相対角度を検知する方式などもある。なお、本発明を実施するうえで距離を計測する方式は上記に上げたものに限定されず、既存の好適な手法を適宜活用することが可能である。
The
図2は、撮像システム100の外観としての一例を示している。図2の(a)~(c)は、それぞれ撮像システム100として連携するカメラ101、カメラ102とウェアラブルデバイス103の組合せを表している。カメラ101、カメラ102と、ウェアラブルデバイス103間の接続は例えばBluetooth(商標登録)等で無線接続し、通信を行い撮像システム100と連携する。201は、カメラ101、カメラ102の一例としてデジタルカメラを示す。202は、ウェアラブルデバイス103の一例としてスマートフォンを示しており、このスマートフォンにはカメラ機能が搭載されている場合が多い。そのため、図2(c)のスマートフォン202に搭載するインカメラ134やアウトカメラ135のように、カメラ機能を使うことでウェアラブルデバイス103側ではなく、カメラ101、カメラ102側として使うことも可能である。また、ウェアラブルデバイス103は、スマートフォン以外にもリストバンド型端末203等の形態を使用することも可能である。以上、撮像システム100の外観とシステム構成について説明を行った。
Figure 2 shows an example of the appearance of the
(第1の実施形態)
以下、図3~図6を参照して、本発明の第1の実施形態(実施例1)に係る、撮像システム100の処理について説明する。実施例1では、ウェアラブルデバイス103を撮影対象である被写体が装着し、カメラ101とカメラ102を用いてユーザが撮影対象の被写体を撮影するという構成をとる。例えば、子供のサッカーやダンスの試合をお父さんとお母さんが各々のカメラで子供中心に撮影するようなユースケースを想定している。
First Embodiment
3 to 6, the processing of the
図3(a)にカメラ101、カメラ102、ウェアラブルデバイス103、被写体の位置関係の一例を示す。被写体として複数人の被写体A~被写体Dがいて、カメラ101とカメラ102は、ウェアラブルデバイス103を装着している被写体Aを撮影対象として撮影をする。カメラ101とカメラ102は、ウェアラブルデバイス103を通して各々のカメラと被写体の位置関係を考慮して、撮影パラメータを制御する。
Figure 3 (a) shows an example of the positional relationship between
まずは、ウェアラブルデバイス103の動作について、図5を用いて処理について説明する。なお、以下の処理は、ROM151に記憶されたプログラムに従って、制御部138が装置の各部を制御することにより実現される。
First, the operation of the
ステップS501では、まずウェアラブルデバイス103の電源をユーザが入れる。そしてウェアラブルデバイス103はセンサ(加速度センサ146、ジャイロセンサ147、奥行きセンサ148等)からウェアラブルデバイス103のセンシング信号を受信するための待機動作を行う。
In step S501, the user first turns on the power of the
ステップS502において、カメラ101、カメラ102の通信部115は、ステップS501で取得したセンシング信号を一定の時間の間隔で取得する。例えば、センシング信号として、ウェアラブルデバイス103の位置、ウェアラブルデバイス103からカメラ101、カメラ102までの距離とウェアラブルデバイス103とカメラ101、カメラ102との相対角度の情報を受信する。これら位置・距離・相対角度の情報を取得するためには、奥行きセンサ148からの出力を所定時刻ごとに定期的に取得する。
In step S502, the
ステップS503において、まずユーザは、ウェアラブルデバイス103を特定の位置、例えば手首に装着する。ウェアラブルデバイス103は、被写体に装着されたことを触感センサ(不図示)により感知する。また、ウェアラブルデバイス103は、被写体の動きがわかる位置なら自由に取り付けることも可能である。その場合、ウェアラブルデバイス103の装着部位の特定方法としては、装着しているデバイスをカメラ101側が取得した画像データから検出してもよい。事前にウェアラブルデバイス103の被写体に装着する部位を設定してもよい。また、事前に所定時間内における特定部位の加速度、速度の大きさなどを記録しておき、実際の動きを基に動いている被写体部位を特定する技術が知られている(特許第6325581号)。
In step S503, the user first wears the
ステップS504において、ウェアラブルデバイス103の通信モジュールA131は、ステップS502で求めたウェアラブルデバイス103の位置、ウェアラブルデバイス103からカメラ101、カメラ102までの距離、ウェアラブルデバイス103とカメラ101、カメラ102との相対角度の情報や、ウェアラブルデバイス103の装着部位情報をカメラ101、カメラ102に送信する。
In step S504, communication module A131 of
以上が、ウェアラブルデバイス103の処理である。
This completes the processing of the
続いて、カメラ101、カメラ102の動作について図4のフローチャートを用いて説明する。図4のフローチャートでは、カメラ101、カメラ102、ウェアラブルデバイス103、被写体の位置関係が図3(a)に示す位置関係にある。ここではカメラ101からは撮影対象の主被写体Aの顔が検出できていて、カメラ102からは撮影対象の主被写体Aの顔の一部が他の被写体Bによって隠れている状況でのカメラ101、カメラ102の動作について説明する。なお、図4のフローチャートの処理は、撮像システム100のカメラ101、カメラ102において、ROM113に記憶されたプログラムに従って、制御部112がカメラ101、カメラ102の各部を制御することで実現される。
Next, the operation of
撮影対象の主被写体が検出できたカメラ101の処理フローについて図4(a)を用いて説明する。
The processing flow of the
ステップS401では、カメラ101の通信部115は、ウェアラブルデバイス103から送信されたウェアラブルデバイス103の位置、ウェアラブルデバイス103からカメラ101までの距離とウェアラブルデバイス103とカメラ101の相対角度の情報を受信する。
In step S401, the
ステップS402において、ユーザは、カメラ101を用いて構図合わせなどの準備撮影を開始する。ステップS401で取得したウェアラブルデバイス103の位置、ウェアラブルデバイス103からカメラ101までの距離、ウェアラブルデバイス103とカメラ101の相対角度の情報を基に、ウェアラブルデバイス103の方向についてアシスト表示する。例えば、ウェアラブルデバイス103の位置がカメラ101の画角に含まれていなかった場合に、ウェアラブルデバイス103の位置が画角に含まれるように表示部127において、「もう少し左側を撮影して下さい」などといった表示をする。この準備撮影期間中は、カメラ101は連続的に画像を撮像し、記録した画像を表示部127に表示する。ユーザは表示された準備撮影画像を見ながら構図合わせなどを行う。なお、後述するステップS403、ステップS404及びステップS405の処理は準備撮影期間中に行う。
In step S402, the user starts preparatory shooting, such as adjusting the composition, using the
ステップS403において、カメラ101の制御部112は、画像処理部124において、準備撮影画像から主被写体が検出されたか否かを判定する。主被写体が検出されたと判定された場合はステップS404に進み、主被写体が検出されていないと判定された場合は、ステップS401に戻りステップS401以降の処理を繰り返す。カメラ101は、撮影対象である被写体Aの主被写体検出が出来ているとしてステップS404に進む。
In step S403, the
被写体を検出する方法としては、一般的な被写体検出技術などの手法を用いる。例えば、顔・顔器官検出や頭部検出などが挙げられる。顔・顔器官検出や頭部検出は、撮影された画像から、パターン認識や機械学習に基づく手法により、人物の顔及び器官や頭部が存在する領域を検出する方法である。検出された被写体が主被写体か否かの判定方法としては、例えば、予めユーザが登録した登録顔の特徴と一致するか否かで判定する方法や、画像全体の面積に対する被写体の顔面積の割合が大きい場合に主被写体と判定する方法などがある。 Methods for detecting subjects include general subject detection techniques. Examples include face/facial organ detection and head detection. Face/facial organ detection and head detection are methods for detecting the area where a person's face, organs, and head are present from a captured image using techniques based on pattern recognition and machine learning. Methods for determining whether a detected subject is the main subject include, for example, a method for determining whether the features match those of a registered face registered in advance by a user, and a method for determining that a subject is the main subject when the ratio of the subject's face area to the area of the entire image is large.
ステップS404では、撮像システム100内における他カメラ(カメラ102)で主被写体検出できていないカメラがあるかどうかを判定する。主被写体検出できていないカメラがあった場合は、ステップS405へ進み、主被写体検出できていないカメラがない場合は、ステップS406へ進む。
In step S404, it is determined whether there is any other camera (camera 102) in the
ステップS405では、主被写体の検出に成功したカメラ(カメラ101)から、主被写体検出が出来なかったカメラ(カメラ102)に対し、主被写体検出情報を送信する。主被写体検出情報とは、具体的には、検出した主被写体の顔の中心座標情報と、ウェアラブルデバイス103と主被写体Aの顔までの距離差分情報である。距離差分情報については、後述する図4(b)のフローで詳細に説明する。
In step S405, the camera that successfully detected the main subject (camera 101) transmits main subject detection information to the camera that failed to detect the main subject (camera 102). Specifically, the main subject detection information is center coordinate information of the detected main subject's face and distance difference information between the
ステップS406では、カメラ101の制御部112は、画像を撮影するために上記のステップの処理で行った撮影設定で撮影を行い、撮影が完了した画像は、ROM113に記録する。このように、準備撮影中において、ユーザは表示部127に表示される準備撮影画像を確認しながら、撮影対象の主被写体に焦点が合うよう撮影パラメータ設定を繰り返し、シャッターチャンス時にシャッターボタンを押下する。
In step S406, the
続いて、撮影対象の主被写体が検出できなかったカメラ102の処理フローについて図4(b)を用いて説明する。
Next, the processing flow of the
ステップS401では、カメラ102の通信部115は、ウェアラブルデバイス103から送信されたウェアラブルデバイス103の位置、ウェアラブルデバイス103からカメラ102までの距離とウェアラブルデバイス103とカメラ102の相対角度の情報を受信する。
In step S401, the
ステップS402において、ユーザは、カメラ102を用いて構図合わせなどの準備撮影を開始する。ステップS401で取得したウェアラブルデバイス103の位置、ウェアラブルデバイス103からカメラ102までの距離、ウェアラブルデバイス103とカメラ102の相対角度の情報を基に、ウェアラブルデバイス103の方向についてアシスト表示する。この準備撮影期間中は、カメラ102は連続的に画像を撮像し、記録した画像を表示部127に表示する。ユーザは表示された準備撮影画像を見ながら構図合わせなどを行う。なお、後述するステップS403、ステップS407及びステップS408の処理は準備撮影期間中に行う。
In step S402, the user starts preparatory shooting, such as adjusting the composition, using the
ステップS403において、カメラ102の制御部112は、画像処理部124において、準備撮影画像から主被写体が検出されたか否かを判定する。主被写体が検出されたと判定された場合はステップS406に進み、主被写体が検出されていないと判定された場合は、ステップS407に進む。カメラ102は、被写体Aの顔の一部が被写体Bによって隠れていて主被写体検出が出来ないため、ステップS407に進む。図6に、カメラ102からの撮影対象の主被写体Aを撮影しようとしてカメラ102の準備撮影中の表示部127で表示される準備撮影画像の一例を示す。
In step S403, the
ステップS407において、ステップS403で主被写体検出できなかったカメラ(カメラ102)が、撮像システム100内の他カメラ(カメラ101)に主被写体検出の情報があるか否かを判定する。他カメラ(カメラ101)の主被写体検出情報がある場合はステップS408に進み、他カメラ(カメラ101)の主被写体検出情報がない場合は、ステップS401に戻り、ステップS401以降の処理を繰り返す。
In step S407, the camera (camera 102) that was unable to detect the main subject in step S403 determines whether or not there is main subject detection information in the other camera (camera 101) in the
ステップS408では、主被写体検出できた他カメラ(カメラ101)からウェアラブルデバイス103と主被写体Aの顔までの距離差分情報を取得する。ここで、主被写体検出できなかったカメラ(カメラ102)はカメラ101が取得した距離情報を基に、ウェアラブルデバイス103の位置ではなく、主被写体Aの顔の位置にピント位置を合わせる。距離差分とは、図6(b)において、被写体Aが装着しているウェアラブルデバイス103の中心座標(Xs,Ys,Zs)から被写体Aの顔中心座標(XA,YA,ZA)までの点線で示した距離差分のことを指す。この距離差分情報を基に主被写体検出できなかったカメラ(カメラ102)は、ピント合わせをしていたウェアラブルデバイス103の中心座標(Xs,Ys,Zs)から主被写体Aの顔中心座標(XA,YA,ZA)にピント位置を移す。具体的には、図3(b)に示すように、カメラ101は、ウェアラブルデバイス103から受信したセンシング結果を基に、ウェアラブルデバイス103の中心座標(Xs,Ys,Zs)とカメラ101からウェアラブルデバイス103までの距離P、ウェアラブルデバイス103とカメラ101の相対角度Pの情報と、画像処理部124で検出した主被写体Aの顔の中心座標(XA,YA,ZA)を取得している。同様にカメラ102は、ウェアラブルデバイス103から受信したセンシング結果を基に、ウェアラブルデバイス103の中心座標(Xs,Ys,Zs)とカメラ102からウェアラブルデバイス103までの距離Q、ウェアラブルデバイス103とカメラ102の相対角度Qの情報を取得している。これらカメラ101、カメラ102で取得している情報を送受信することで情報を共有し、連携が可能である。例えば主被写体検出できたカメラ(カメラ101)から主被写体検出できなかったカメラ(カメラ102)に対して、どの位置にピントを合わせるべきか(主被写体Aの顔中心座標(XA,YA,ZA))や、現在合わせているピント位置(ウェアラブルデバイス103の中心座標(Xs,Ys,Zs))からどうピント位置を制御すれば良いか、カメラ102の撮影パラメータをアシスト制御することが出来る。
In step S408, the camera (camera 101) that was able to detect the main subject acquires distance difference information between the
ステップS406では、カメラ102の制御部112は、画像を撮影するために上記のステップの処理で行った撮影設定で撮影を行い、撮影が完了した画像は、ROM113に記録する。このように、準備撮影中において、ユーザは表示部127に表示される準備撮影画像を確認しながら、撮影対象の主被写体に焦点が合うよう撮影パラメータ設定を繰り返し、シャッターチャンス時にシャッターボタンを押下する。
In step S406, the
実施例1では、ピントを合わせる座標を撮影対象の主被写体の顔中心座標としたが、主被写体の瞳の中心座標としても良い。 In the first embodiment, the coordinates for focusing are the center coordinates of the face of the main subject being photographed, but they may also be the center coordinates of the main subject's eyes.
実施例1では、ステップS406においてシャッターチャンス時にシャッターボタンを押下するとしたが、主被写体が検出できたS403のタイミングでオート撮影する構成にしても良い。 In the first embodiment, the shutter button is pressed when a photo opportunity arises in step S406, but the camera may be configured to automatically capture the image when the main subject is detected in step S403.
実施例1では、カメラのピント位置についての撮影パラメータを制御する構成について説明した。なお、ピントに限らず、カメラの画角や構図に関する撮影パラメータを制御する構成にしても良い。例えば、カメラで主被写体の大きさ、中心座標を検出し、それに基づいてカメラ内での主被写体の面積が所定の割合になるように焦点距離を調整する(ズーム倍率を設定)ことが可能である。または、主被写体が画面内の中央になるように撮影者に移動の方向を指示するなどの構成にしても良い。 In the first embodiment, a configuration was described in which a shooting parameter related to the focus position of the camera is controlled. Note that the configuration may be such that shooting parameters related to the angle of view and composition of the camera are controlled in addition to the focus. For example, the size and center coordinates of the main subject are detected by the camera, and the focal length is adjusted (zoom magnification is set) based on the size and center coordinates so that the area of the main subject in the camera is a predetermined ratio. Alternatively, the configuration may be such that the photographer is instructed in the direction of movement so that the main subject is in the center of the screen.
(第2の実施形態)
次に、本発明の第2の実施形態(実施例2)について図面を参照して詳細に説明する。実施例2では、撮像動作に先立って、制御部112を介して、それぞれのカメラで撮影する構図の要件(以下、構図リクエストと表記)が設定された場合に、各々のカメラの撮影パラメータを制御する処理について説明する。なお、実施例2の撮像システム100のウェアラブルデバイス103側の処理は、実施例1と同様のため説明を省略する。実施例2の特徴となるカメラ101、カメラ102の制御部112で行う動作を図7と図8のフローチャートを用いて説明を行う。なお、以下の処理は、撮像システム100としてカメラ101、カメラ102は、ROM113に記憶されたプログラムに従って、制御部112が装置の各部を制御することで実現される。また、ウェアラブルデバイス103は、ROM151に記録されたプログラムに従って、制御部138が装置の各部を制御することによって実現される。実施例1と同じステップの処理については同符号を付与し、詳細な説明は省略する。
Second Embodiment
Next, a second embodiment (Example 2) of the present invention will be described in detail with reference to the drawings. In Example 2, a process of controlling the shooting parameters of each camera will be described when the requirements for the composition to be shot by each camera (hereinafter, referred to as a composition request) are set via the
図8のフローチャートを用いてカメラ101、カメラ102の動作について説明する。
The operation of
ステップS401では、カメラ101、カメラ102の通信部115は、ウェアラブルデバイス103から送信されたウェアラブルデバイス103の位置、ウェアラブルデバイス103からカメラ101、カメラ102までの距離とウェアラブルデバイス103とカメラ101、カメラ102の相対角度の情報を受信する。
In step S401, the
ステップS402では、ユーザは、カメラ101、カメラ102を用いて構図合わせなどの準備撮影を開始する。
In step S402, the user begins preparatory shooting, such as adjusting the composition, using
ステップS403では、カメラ101、カメラ102の制御部112は、画像処理部124において、準備撮影画像から主被写体が検出されたか否かを判定する。主被写体検出方法に関しては、実施例1で前述した通りである。
In step S403, the
主被写体が検出されたと判定された場合はステップS801に進み、主被写体が検出されていないと判定された場合は、ステップS407に進む。 If it is determined that the main subject has been detected, the process proceeds to step S801; if it is determined that the main subject has not been detected, the process proceeds to step S407.
ステップS801では、カメラ101、カメラ102の制御部は、ステップS403において、主被写体を検出できたと判定されている。そこで、不図示の操作部を介してユーザが設定した構図リクエスト情報と画像処理部124での画像解析結果を基に構図を評価する。
In step S801, the control units of the
図7を用いてユーザによる構図リクエストについて説明する。図7は、ユーザが構図リクエストを設定(構図リクエスト設定)する設定画面の一例である。この例では、顔サイズ、被写体領域、顔位置について設定する。顔サイズとは、画面全体の面積における主被写体の顔サイズについてのリクエストである。被写体領域とは、主被写体をどう撮りたいかのリクエストであり、顔アップなのか、バストアップなのか、全身なのかといった項目を選択可能である。顔位置とは、画像全体における主被写体の顔の位置のリクエストを設定する項目である。主被写体の位置が画像の左なのか、画像の中心なのか、画像の右なのかといったことを設定可能な例である。尚、構図リクエストで設定される構図の要件は、カメラ101、102のレンズの焦点距離や、撮影中の画像解析結果に基づいて、制御部112が決定してもよい。
A composition request by a user will be described with reference to FIG. 7. FIG. 7 is an example of a setting screen on which a user sets a composition request (composition request setting). In this example, face size, subject area, and face position are set. Face size is a request for the face size of the main subject in the area of the entire screen. Subject area is a request for how the main subject is to be photographed, and items such as a close-up of the face, a bust-up, or the whole body can be selected. Face position is an item for setting a request for the position of the main subject's face in the entire image. In this example, it is possible to set whether the position of the main subject is to the left of the image, the center of the image, or the right of the image. Note that the composition requirements set in the composition request may be determined by the
構図の評価方法としては、ステップS401、~ステップS403で取得したウェアラブルデバイス103の位置、ウェアラブルデバイス103のカメラ101、カメラ102までの距離とウェアラブルデバイス103とカメラ101、カメラ102の相対角度の情報及び、ユーザの構図リクエスト情報、主被写体検出情報、及び、カメラ101、カメラ102のレンズ情報(焦点距離)を基に構図評価値を算出する(第1の構図評価値)。
The composition evaluation method involves calculating a composition evaluation value (first composition evaluation value) based on the position of the
例えば、図7の構図リクエストで示したように、被写体領域として「バストアップ」と「全身」をリクエストしていた場合、カメラ101、カメラ102の各々のカメラのレンズの焦点距離とウェアラブルデバイス103までの距離とから評価値を算出する。具体的には、カメラ101とウェアラブルデバイス103までの距離とカメラ101のレンズの焦点距離から、「バストアップ」の撮影が可能であれば構図評価値を高く設定し、「バストアップ」の撮影が不可能であれば構図評価値は低く設定する。構図評価値は、各カメラ毎に、ユーザが設定したリクエスト項目全てに対して算出する。図7の例では、顔サイズで設定された項目・被写体領域で設定された項目・顔位置で設定された項目の各々で構図評価値を算出する。
For example, as shown in the composition request in FIG. 7, if "bust-up" and "full body" are requested as the subject area, the evaluation value is calculated from the focal length of the lens of each of
ステップS407において、ステップS403で主被写体検出できなかったカメラが、撮像システム100内の他カメラに主被写体検出の情報があるか否かを判定する。他カメラの主被写体検出情報がある場合はステップS408に進み、他カメラの主被写体検出情報がない場合は、ステップS802に進む。
In step S407, the camera that was unable to detect the main subject in step S403 determines whether or not there is main subject detection information in other cameras in the
ステップS408では、主被写体検出が出来た他カメラからウェアラブルデバイス103と主被写体Aの顔までの距離差分情報を取得する。一方、主被写体検出できなかったカメラはその算出した距離を基に、ウェアラブルデバイス103の位置ではなく、主被写体Aの顔の位置にピント位置を合わせ、ステップS403に戻り、ステップS403以降の処理を繰り返す。ステップS802では、ステップS407において他カメラでも主被写体検出情報がないと判定されているので、主被写体検出に基づく画像解析は用いることはできない。したがって、不図示の操作部を介してユーザが設定した構図リクエスト情報とウェアラブルデバイス103とカメラ101、カメラ102との距離・カメラ101、カメラ102のレンズ情報(焦点距離)を基に、構図評価値を算出する(第2の構図評価値)。
In step S408, distance difference information between the
具体的には、ステップS801の構図評価値算出方法と同じであるがステップS802においては主被写体検出の情報がなく主被写体の顔サイズなどが分からない。そこで、人体の標準的な大きさを、例えば予め大人と子供の標準的な大きさを予めROM113に記憶しておき、ウェアラブルデバイス103の装着時に大人なのか子供なのか予めユーザが設定することで設定する。ステップS803では、ステップS801、ステップS802の構図評価値を基に、カメラ101とカメラ102のどちらが「バストアップ」、「全身」の撮影に適しているか否かを判定する。例えば、「バストアップ」の構図評価値がカメラ101の方がカメラ102よりも高ければ、カメラ101で「バストアップ」を撮影、カメラ102で「全身」の画像を撮影するよう判定する。
Specifically, the composition evaluation value calculation method is the same as that of step S801, but in step S802, there is no information on main subject detection, and the face size of the main subject is unknown. Therefore, the standard sizes of the human body, for example, the standard sizes of adults and children are stored in
ステップS406では、ステップS803で判定された判定結果を基に、各カメラでの撮影条件を決定する。 In step S406, the shooting conditions for each camera are determined based on the results of the determination made in step S803.
以上、実施例2の撮像システム100が、ユーザが設定した構図リクエストに基づいて各々のカメラ撮影パラメータを制御する方法について図8のフローチャートを用いて説明を行った。これらの処理により、ユーザのリクエストに沿った主被写体のベストショットを撮影することが可能になる。
The above describes the method in which the
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Other Embodiments
The present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 The above describes preferred embodiments of the present invention, but the present invention is not limited to these embodiments, and various modifications and variations are possible within the scope of the gist of the invention.
100 撮像システム
101 カメラ
102 カメラ
121 光学系
122 撮像素子
123 A/D変換部
124 画像処理部
125 記録部
126 パルス発生部
127 表示部
118 メカシャッタ
119 ジャイロセンサ
111 垂直駆動変調部
112 制御部
113 ROM
114 RAM
115 通信部
103 ウェアラブルデバイス
132 電源モジュール
131 通信モジュール
133 コネクタ
134 インカメラ
135 アウトカメラ
136 ライト
137 システムメモリ
138 制御部
139 スピーカー
141 タッチスクリーンディスプレイ
142 液晶ディスプレイ
143 タッチスクリーン
144 スイッチ
145 照度センサ
147 ジャイロセンサ
148 奥行きセンサ
151 ROM
152 RAM
146 加速度センサ
REFERENCE SIGNS
114 RAM
115
152 RAM
146 Acceleration Sensor
Claims (5)
前記撮像手段が撮像した画像を用いて主被写体を検出する主被写体検出手段と、
外部装置から送信されたセンシング結果を受信する受信手段と、
を備えた複数の撮像装置と、
被写体の情報を取得するセンサ手段と、
前記センサ手段のセンシング結果を前記撮像装置に送信する送信手段と、
を備えた前記撮像手段とは異なる、撮影する被写体に装着するセンサ装置、
からなる撮像システムであって、
前記撮像装置は、前記センサ手段のセンシング結果を受信し、前記センサ手段のセンシング結果と、前記主被写体検出手段の結果を用いて前記撮像装置のピント位置、画角、構図の少なくとも1つ以上を制御することを特徴とする撮像システム。 An imaging means for imaging a subject;
a main subject detection means for detecting a main subject using the image captured by the imaging means;
A receiving means for receiving a sensing result transmitted from an external device;
A plurality of imaging devices each having
A sensor means for acquiring information of a subject;
a transmitting means for transmitting a sensing result of the sensor means to the imaging device;
A sensor device attached to a subject to be photographed, which is different from the imaging means;
An imaging system comprising:
an imaging system characterized in that the imaging device receives a sensing result of the sensor means, and controls at least one of a focus position, an angle of view, and a composition of the imaging device using the sensing result of the sensor means and a result of the main subject detection means.
前記構図リクエスト設定手段により設定されたリクエスト情報と、前記センサ手段のセンシング結果及び前記複数の撮像装置のレンズ情報から、各々の撮像装置の構図を制御することを特徴とする請求項1に記載の撮像システム。 the plurality of image capture devices further include a composition request setting unit for setting request information regarding a composition at the time of photographing,
2. The imaging system according to claim 1, wherein the composition of each of the imaging devices is controlled based on the request information set by said composition request setting means, the sensing result of said sensor means, and lens information of said plurality of imaging devices.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022172596A JP2024064186A (en) | 2022-10-27 | 2022-10-27 | Imaging system, device and controlling method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022172596A JP2024064186A (en) | 2022-10-27 | 2022-10-27 | Imaging system, device and controlling method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024064186A true JP2024064186A (en) | 2024-05-14 |
Family
ID=91034402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022172596A Pending JP2024064186A (en) | 2022-10-27 | 2022-10-27 | Imaging system, device and controlling method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024064186A (en) |
-
2022
- 2022-10-27 JP JP2022172596A patent/JP2024064186A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20090086032A1 (en) | System for detecting and compensating camera movement and a method thereof | |
JP2006005662A (en) | Electronic camera and electronic camera system | |
CN102158646A (en) | Imaging control apparatus, imaging apparatus, imaging control method, and program | |
US10708503B2 (en) | Image capture system, image capturing apparatus, lens unit, control methods therefor, and storage medium | |
CN104243800A (en) | Control device and storage medium | |
CN103813093A (en) | Imaging apparatus and imaging method thereof | |
JP2008205569A (en) | Imaging apparatus and method | |
JP6833375B2 (en) | Lighting device, imaging device and control method | |
RU2635873C2 (en) | Method and device for displaying framing information | |
WO2015194084A1 (en) | Information processing device, information processing system, and information processing method and program | |
KR101814714B1 (en) | Method and system for remote control of camera in smart phone | |
CN114882543A (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
US9143763B2 (en) | Imaging apparatus, imaging method, and computer-readable recording medium | |
JP5397078B2 (en) | Imaging device | |
JP5448868B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2024064186A (en) | Imaging system, device and controlling method | |
JP6257260B2 (en) | Imaging apparatus and control method thereof | |
JP6994665B1 (en) | Imaging device | |
JP2015031902A (en) | Camera system, main camera and sub camera | |
US20240147078A1 (en) | Photographing system having exposure control with sensing result, photographing device, and controlling method | |
US20240121506A1 (en) | System consisting of electronic device and notification apparatus, control method thereof, and electronic device and notification apparatus | |
WO2011024596A1 (en) | Image capturing device | |
JP5083299B2 (en) | Electronic camera and electronic camera system | |
KR20180015989A (en) | Method for optical information and lighting information collection for 3D environment map, Apparatus thereof | |
JP2009213094A (en) | Imaging apparatus capable of displaying observation image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |