JP6152738B2 - Camera system - Google Patents

Camera system Download PDF

Info

Publication number
JP6152738B2
JP6152738B2 JP2013163033A JP2013163033A JP6152738B2 JP 6152738 B2 JP6152738 B2 JP 6152738B2 JP 2013163033 A JP2013163033 A JP 2013163033A JP 2013163033 A JP2013163033 A JP 2013163033A JP 6152738 B2 JP6152738 B2 JP 6152738B2
Authority
JP
Japan
Prior art keywords
tracking
digital camera
tracking information
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013163033A
Other languages
Japanese (ja)
Other versions
JP2015033066A (en
Inventor
英樹 石原
英樹 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2013163033A priority Critical patent/JP6152738B2/en
Publication of JP2015033066A publication Critical patent/JP2015033066A/en
Application granted granted Critical
Publication of JP6152738B2 publication Critical patent/JP6152738B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、カメラシステムに関する。   The present invention relates to a camera system.

入力画像から継続的にテンプレート画像を生成することにより、追尾精度を向上する技術が知られている(特許文献1参照)。   A technique for improving tracking accuracy by continuously generating a template image from an input image is known (see Patent Document 1).

特開2009−111716号公報JP 2009-1111716 A

従来技術では、被写体の動きに対してテンプレート画像の生成が間に合わなくなると、追尾性能が低下する。   In the conventional technique, if the template image cannot be generated in time for the movement of the subject, the tracking performance is degraded.

第1の態様によるカメラシステムは、第1の撮影範囲を所定周期で撮像して第1画像のデータを生成し、第1画像に基づいて追尾対象物を検出する第1追尾部、および外部機器と通信する第1通信部を有する第1カメラと、第1の撮影範囲と略等しい第2撮影範囲を所定周期かつ第1カメラと異なるタイミングで撮像して第2画像のデータを生成し、第2画像に基づいて追尾対象物を検出する第2追尾部、および外部機器と通信する第2通信部を有する第2カメラと、を備え、第1通信部は、第1追尾部で取得された第1追尾情報を第2カメラへ送信し、第2通信部は、第2追尾部で取得された第2追尾情報を第1カメラへ送信することを特徴とする。
第2の態様によるカメラシステムは、第1の撮影範囲を所定周期で撮像して得られる第1画像に基づいて追尾対象物を検出し、第1追尾情報を生成する第1追尾部、および第2カメラと通信する第1通信部を有する第1カメラと、前記第1の撮影範囲と少なくとも一部重複する第2撮影範囲を前記第1カメラと異なるタイミングで撮像して得られる第2画像に基づいて前記追尾対象物を検出し、第2追尾情報を生成する第2追尾部、および前記第1カメラと通信する第2通信部を有する前記第2カメラと、を備え、前記第2通信部は、前記第2追尾部で生成された第2追尾情報を前記第1追尾部へ送信することを特徴とする。
A camera system according to a first aspect is configured to capture a first imaging range at a predetermined period to generate data of a first image, and to detect a tracking target object based on the first image, and an external device A first camera having a first communication unit that communicates with the first camera and a second shooting range that is substantially equal to the first shooting range at a predetermined cycle and different timing from the first camera to generate second image data; A second tracking unit that detects a tracking object based on two images, and a second camera that has a second communication unit that communicates with an external device, and the first communication unit is acquired by the first tracking unit. The first tracking information is transmitted to the second camera, and the second communication unit transmits the second tracking information acquired by the second tracking unit to the first camera.
The camera system according to the second aspect detects a tracking object based on a first image obtained by imaging the first imaging range at a predetermined period, and generates a first tracking information, A first camera having a first communication unit that communicates with two cameras and a second image obtained by imaging a second imaging range at least partially overlapping the first imaging range at a timing different from that of the first camera. A second tracking unit that detects the tracking object based on the second tracking unit and generates second tracking information; and the second camera having a second communication unit that communicates with the first camera, and the second communication unit. Transmits the second tracking information generated by the second tracking unit to the first tracking unit.

本発明によれば、従来技術に比べて、被写体の動きに対する追尾性能を高めることができる。   According to the present invention, it is possible to improve the tracking performance with respect to the movement of the subject as compared with the prior art.

デジタルカメラによって構成されるカメラシステムの使用場面を例示する図である。It is a figure which illustrates the use scene of the camera system comprised by a digital camera. デジタルカメラの構成例を説明するブロック図である。It is a block diagram explaining the structural example of a digital camera. 第一の実施形態における追尾処理シーケンスを説明する図である。It is a figure explaining the tracking process sequence in 1st embodiment. CPUが実行する処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of the process which CPU performs. 第二の実施形態における追尾処理シーケンスを説明する図である。It is a figure explaining the tracking process sequence in 2nd embodiment.

以下、図面を参照して本発明を実施するための形態について説明する。
(第一の実施形態)
<使用場面の説明>
図1は、本発明の第一の実施形態によるデジタルカメラ10、およびデジタルカメラ20によって構成されるカメラシステムの使用場面を例示する図である。図1において、第1のデジタルカメラ10と第2のデジタルカメラ20とが、それぞれ三脚に固定されている。デジタルカメラ10およびデジタルカメラ20が設置される位置は、デジタルカメラ10による撮影範囲10Aと、デジタルカメラ20による撮影範囲20Aとの間に重複する領域51を有する位置である。デジタルカメラ10およびデジタルカメラ20は、重複領域51を広く確保するように、近い位置に設置される。領域53および領域54は、撮影範囲10Aおよび撮影範囲20Aのいずれにも含まれない領域を表す。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
(First embodiment)
<Explanation of usage>
FIG. 1 is a diagram illustrating a use scene of a camera system including a digital camera 10 and a digital camera 20 according to the first embodiment of the present invention. In FIG. 1, a first digital camera 10 and a second digital camera 20 are each fixed to a tripod. The position where the digital camera 10 and the digital camera 20 are installed is a position having an overlapping area 51 between the shooting range 10A of the digital camera 10 and the shooting range 20A of the digital camera 20. The digital camera 10 and the digital camera 20 are installed at close positions so as to ensure a wide overlapping area 51. A region 53 and a region 54 represent regions that are not included in either the shooting range 10A or the shooting range 20A.

撮影者は、あらかじめデジタルカメラ10およびデジタルカメラ20を設置し、デジタルカメラ10側に陣取ってデジタルカメラ10に対して撮影指示を行う。デジタルカメラ10およびデジタルカメラ20はそれぞれ、ライブビュー画像を取得しながら追尾対象物である主要被写体60に対する追尾処理を行う。ライブビュー画像は、撮影指示前において所定のフレームレート(例えば60fps)で撮像されるモニタ用の画像のことをいう。   The photographer installs the digital camera 10 and the digital camera 20 in advance, and takes the digital camera 10 side to give a shooting instruction to the digital camera 10. Each of the digital camera 10 and the digital camera 20 performs a tracking process on the main subject 60 as a tracking target while acquiring a live view image. The live view image refers to a monitor image captured at a predetermined frame rate (for example, 60 fps) before a shooting instruction.

デジタルカメラ10およびデジタルカメラ20は、互いの追尾情報(撮影範囲における主要被写体60の位置等)を他方のデジタルカメラへ送信する。デジタルカメラ10およびデジタルカメラ20間において相互に追尾情報を送信するのは、デジタルカメラ10とデジタルカメラ20との間で追尾情報を共有し、各デジタルカメラが継続して追尾処理を行うためである。   The digital camera 10 and the digital camera 20 transmit each other's tracking information (such as the position of the main subject 60 in the shooting range) to the other digital camera. The reason why the tracking information is transmitted between the digital camera 10 and the digital camera 20 is that the tracking information is shared between the digital camera 10 and the digital camera 20 and each digital camera continuously performs the tracking process. .

<ブロック図の説明>
図2は、デジタルカメラ10およびデジタルカメラ20の構成例を説明するブロック図である。本実施形態では、デジタルカメラ10およびデジタルカメラ20を同一の構成とする。図2において、デジタルカメラ10は、撮影光学系11と、撮像素子12と、AFE(Analog front end)回路13と、画像処理回路14と、LCDモニタ15と、RAM16と、フラッシュメモリ17と、CPU18と、通信制御回路19と、操作部材20とを備える。
<Explanation of block diagram>
FIG. 2 is a block diagram illustrating a configuration example of the digital camera 10 and the digital camera 20. In the present embodiment, the digital camera 10 and the digital camera 20 have the same configuration. In FIG. 2, a digital camera 10 includes a photographing optical system 11, an image sensor 12, an AFE (Analog front end) circuit 13, an image processing circuit 14, an LCD monitor 15, a RAM 16, a flash memory 17, and a CPU 18. A communication control circuit 19 and an operation member 20.

画像処理回路14、LCDモニタ15、通信制御回路19、RAM16、フラッシュメモリ17、およびCPU18は、それぞれがバス21を介して接続されている。   The image processing circuit 14, the LCD monitor 15, the communication control circuit 19, the RAM 16, the flash memory 17, and the CPU 18 are connected via a bus 21.

撮影光学系11は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子12の受光面に結像させる。なお、図2を簡単にするため、撮影光学系11を単レンズとして図示している。   The photographing optical system 11 includes a plurality of lens groups including a zoom lens and a focusing lens, and forms a subject image on the light receiving surface of the image sensor 12. In order to simplify FIG. 2, the photographing optical system 11 is illustrated as a single lens.

撮像素子12は、受光面に受光素子が二次元配列されたCMOSイメージセンサなどによって構成される。撮像素子12は、撮影光学系11を通過した光束による被写体像を光電変換し、アナログ画像信号を生成する。アナログ画像信号は、AFE回路13に入力される。   The imaging element 12 is configured by a CMOS image sensor or the like in which light receiving elements are two-dimensionally arranged on the light receiving surface. The image sensor 12 photoelectrically converts a subject image by a light beam that has passed through the photographing optical system 11 to generate an analog image signal. The analog image signal is input to the AFE circuit 13.

AFE回路13は、アナログ画像信号に対して所定のアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。デジタル画像データは画像処理回路14に入力される。画像処理回路14は、デジタル画像データに対して各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など)を施す。   The AFE circuit 13 performs predetermined analog processing on the analog image signal and converts the image signal after the analog processing into digital image data. The digital image data is input to the image processing circuit 14. The image processing circuit 14 performs various types of image processing (color interpolation processing, gradation conversion processing, contour enhancement processing, white balance adjustment processing, etc.) on the digital image data.

LCDモニタ15は液晶パネルによって構成され、CPU18からの指示に応じて画像や操作メニュー画面などを表示する。RAM16はCPU18のワークメモリとして使用される。また、RAM16は、画像処理回路14による画像処理工程におけるデジタル画像データを一時的に記憶する。フラッシュメモリ17は、CPU18が実行するプログラムを記憶する。   The LCD monitor 15 is constituted by a liquid crystal panel, and displays an image, an operation menu screen, and the like according to an instruction from the CPU 18. The RAM 16 is used as a work memory for the CPU 18. The RAM 16 temporarily stores digital image data in the image processing step by the image processing circuit 14. The flash memory 17 stores a program executed by the CPU 18.

CPU18は、フラッシュメモリ17が記憶するプログラムを実行することにより、デジタルカメラ10の動作を制御する。CPU18は、AF(オートフォーカス)動作制御や、自動露出(AE)演算も行う。AF動作は、例えば、追尾対象物に対応する画像のコントラスト情報に基づいてフォーカシングレンズ(不図示)の合焦位置を求めるコントラスト検出方式を用いる。CPU18は、上述したライブビュー画像に基づいて逐次コントラスト情報を取得し、フォーカス調節を行う。露出(AE)演算は、例えば、追尾対象物が検出されている領域の画像信号に基づいて演算を行う。   The CPU 18 controls the operation of the digital camera 10 by executing a program stored in the flash memory 17. The CPU 18 also performs AF (autofocus) operation control and automatic exposure (AE) calculation. The AF operation uses, for example, a contrast detection method that obtains a focus position of a focusing lens (not shown) based on contrast information of an image corresponding to the tracking target. The CPU 18 sequentially acquires contrast information based on the above-described live view image and performs focus adjustment. In the exposure (AE) calculation, for example, the calculation is performed based on the image signal of the area where the tracking target is detected.

操作部材20は、メインスイッチ、レリーズボタンおよびメニュースイッチなどを含む。操作部材20は、メインスイッチ操作やレリーズ操作、メニュー選択操作など、各操作に応じた操作信号をCPU18へ送出する。CPU18は、操作部材20からの操作信号の入力を監視する。   The operation member 20 includes a main switch, a release button, a menu switch, and the like. The operation member 20 sends an operation signal corresponding to each operation such as a main switch operation, a release operation, and a menu selection operation to the CPU 18. The CPU 18 monitors input of operation signals from the operation member 20.

CPU18は、レリーズボタンの押下(全押し)操作を示す操作信号を受けると、図2の各ブロックへ指示を送って撮影処理を開始させる。通信制御回路19は、CPU18からの指示に応じて外部機器との間で無線通信を行う。通信制御回路19は、アンテナ19aを介して電波を送受信する。本実施形態では、デジタルカメラ10と同様の構成を有するデジタルカメラ20との間で無線通信を行う。   When the CPU 18 receives an operation signal indicating a pressing (full pressing) operation of the release button, the CPU 18 sends an instruction to each block in FIG. 2 to start photographing processing. The communication control circuit 19 performs wireless communication with an external device in response to an instruction from the CPU 18. The communication control circuit 19 transmits and receives radio waves via the antenna 19a. In the present embodiment, wireless communication is performed with a digital camera 20 having the same configuration as the digital camera 10.

<連動する追尾処理>
上述したように、デジタルカメラ10およびデジタルカメラ20は、相互に追尾情報を共有し、各デジタルカメラが継続して追尾処理を行う。追尾情報を共有することによって、例えば、一方のデジタルカメラにおいて主要被写体60が撮影範囲の外へ移動した場合でも、他方のデジタルカメラの撮影範囲に主要被写体60が含まれていれば、他方のデジタルカメラから受けた追尾情報を用いて主要被写体60の位置推定を行う。また、他方のデジタルカメラから受けた追尾情報を用いることで、追尾処理性能を高める。詳細については後述する。
<Linked tracking process>
As described above, the digital camera 10 and the digital camera 20 share tracking information with each other, and each digital camera continuously performs tracking processing. By sharing the tracking information, for example, even when the main subject 60 moves out of the shooting range in one digital camera, if the main subject 60 is included in the shooting range of the other digital camera, the other digital camera The position of the main subject 60 is estimated using the tracking information received from the camera. Further, the tracking processing performance is improved by using the tracking information received from the other digital camera. Details will be described later.

なお、追尾情報の共有は、相互に追尾情報を送信する場合に限らず、一方のデジタルカメラのみが他方のデジタルカメラに追尾情報を送信する場合も含まれる。すなわち、例えばデジタルカメラ10は、自身の追尾情報をデジタルカメラ20に送信せず、デジタルカメラ20の追尾情報の受信のみを行っても良い。これにより、少なくともデジタルカメラ10の追尾性能は向上する。   The sharing of tracking information is not limited to the case where tracking information is transmitted to each other, but includes the case where only one digital camera transmits tracking information to the other digital camera. That is, for example, the digital camera 10 may only receive the tracking information of the digital camera 20 without transmitting its own tracking information to the digital camera 20. Thereby, at least the tracking performance of the digital camera 10 is improved.

第一の実施形態においては、デジタルカメラ10およびデジタルカメラ20が、フレーム間(現フレーム画像と前フレーム画像との間)における主要被写体60の移動量が所定値より大きい場合に、他方のデジタルカメラに対して追尾情報を送信する。   In the first embodiment, when the movement amount of the main subject 60 between the digital camera 10 and the digital camera 20 is larger than a predetermined value between frames (between the current frame image and the previous frame image), the other digital camera Tracking information is transmitted to

デジタルカメラ10およびデジタルカメラ20は、同一のフレームレート(例えば60fps)でライブビュー画像を取得する。そして、デジタルカメラ10によるフレーム画像の取得タイミングとデジタルカメラ20によるフレーム画像の取得タイミングとを半周期ずらすことにより、一方のデジタルカメラによる一のフレーム画像の取得と次のフレーム画像の取得の間に、他方のデジタルカメラによるフレーム画像の取得が行われるようにする。なお、半周期は一例であり、所定の周期がずれていれば、2/5周期であっても3/7周期であってもよい。デジタルカメラ10およびデジタルカメラ20は、あらかじめ基準時刻が合わせられている。そして、例えば基準時刻から所定時間(オフセット)が経過したタイミングでフレーム画像の取り込みを開始するように構成されている。デジタルカメラ10およびデジタルカメラ20において、取り込み開始時刻(オフセット)を異なる値に設定することにより、互いのフレーム画像の取得タイミングをずらすことができる。   The digital camera 10 and the digital camera 20 obtain live view images at the same frame rate (for example, 60 fps). Then, by shifting the frame image acquisition timing by the digital camera 10 and the frame image acquisition timing by the digital camera 20 by a half cycle, between the acquisition of one frame image and the acquisition of the next frame image by one digital camera. The frame image is acquired by the other digital camera. The half cycle is an example, and if the predetermined cycle is deviated, it may be 2/5 cycle or 3/7 cycle. The digital camera 10 and the digital camera 20 have a reference time set in advance. For example, the frame image capturing is started at a timing when a predetermined time (offset) has elapsed from the reference time. In the digital camera 10 and the digital camera 20, by setting the capture start time (offset) to different values, the acquisition timing of the frame images can be shifted.

また、デジタルカメラ10およびデジタルカメラ20は、共通の主要被写体60を追尾対象物とし、相互に追尾情報を共有する。このためにデジタルカメラ10およびデジタルカメラ20で共通の座標系が用いられる。デジタルカメラ10の撮影範囲10Aおよびデジタルカメラ20の撮影範囲20Aとの間に重複する領域51が存在するので、例えば、領域51内のいずれかの位置(例えば中央)を原点とする座標系を共通の座標系として用いる。デジタルカメラ10およびデジタルカメラ20は、この座標原点を基準に主要被写体60の位置を表す。   In addition, the digital camera 10 and the digital camera 20 use the common main subject 60 as a tracking target and share tracking information with each other. For this purpose, a common coordinate system is used by the digital camera 10 and the digital camera 20. Since there is an overlapping region 51 between the shooting range 10A of the digital camera 10 and the shooting range 20A of the digital camera 20, for example, a coordinate system having the origin at any position (for example, the center) in the region 51 is common. Used as the coordinate system of The digital camera 10 and the digital camera 20 represent the position of the main subject 60 with reference to the coordinate origin.

<追尾処理シーケンスの説明>
図3は、追尾処理シーケンスを説明する図である。図3において上段は、デジタルカメラ10によるフレーム画像の取得タイミングを表す。図3において中段は、デジタルカメラ20によるフレーム画像の取得タイミングを表す。デジタルカメラ10は、時刻t1、t3、t5、…においてフレーム画像を取得する。デジタルカメラ20は、デジタルカメラ10によるフレーム画像の取得タイミングと半周期ずらした時刻t2、t4、t6、…においてフレーム画像を取得する。
<Description of tracking processing sequence>
FIG. 3 is a diagram for explaining the tracking processing sequence. In FIG. 3, the upper part represents the acquisition timing of the frame image by the digital camera 10. In FIG. 3, the middle part represents the acquisition timing of the frame image by the digital camera 20. The digital camera 10 acquires frame images at times t1, t3, t5,. The digital camera 20 acquires a frame image at times t2, t4, t6,... Shifted by a half cycle from the acquisition timing of the frame image by the digital camera 10.

主要被写体60は、例えば、当初は撮影範囲10Aのうち領域52(図1)に位置し、領域52から重複領域51内へ移動し、さらに重複領域51から撮影範囲20A内の領域55へ移動するものとする。図3において下段は、主要被写体60が含まれる領域を表す。   For example, the main subject 60 is initially located in the region 52 (FIG. 1) in the photographing range 10A, moves from the region 52 into the overlapping region 51, and further moves from the overlapping region 51 to the region 55 in the photographing range 20A. Shall. In FIG. 3, the lower part represents an area including the main subject 60.

デジタルカメラ10は、取得時刻が異なる複数フレームの画像データを用いて公知のテンプレートマッチング処理を施すことにより、先に取得されたフレーム画像における追尾対象物(主要被写体60)と類似する領域を、後から取得されたフレーム画像から検出(追尾)する。なお、テンプレート画像(追尾対象画像)は必ずしも毎フレームごとに更新する必要はない。すなわち、複数のフレームについて同じテンプレート画像を用いてテンプレートマッチング処理を行っても良い。これにより追尾演算の負荷を軽減できる。   The digital camera 10 performs a known template matching process using image data of a plurality of frames having different acquisition times, thereby reconstructing a region similar to the tracking target (main subject 60) in the previously acquired frame image. (Tracking) from the frame image acquired from Note that the template image (tracking target image) does not necessarily have to be updated every frame. That is, template matching processing may be performed using the same template image for a plurality of frames. Thereby, the load of the tracking calculation can be reduced.

テンプレートマッチング処理とは、テンプレート画像(追尾対象物)と類似する領域を検出対象のフレーム画像の中から探索する処理である。探索は検出対象のフレーム画像の全領域で行ってもよいし、検出対象のフレーム画像の一部である所定の探索領域でのみ行ってもよい。所定の探索領域でのみ探索を行う場合、探索領域の設定が必要になる。探索領域は、例えば先のフレーム画像のテンプレートマッチング処理の結果に基づいて、設定されるようにしてもよい。   The template matching process is a process of searching for a region similar to the template image (tracking target) from the detection target frame image. The search may be performed in the entire region of the detection target frame image, or may be performed only in a predetermined search region that is a part of the detection target frame image. When searching only in a predetermined search area, it is necessary to set the search area. The search area may be set based on, for example, the result of the template matching process for the previous frame image.

デジタルカメラ10は、後から取得されたフレーム画像における追尾対象物の位置と、先に取得されたフレーム画像における追尾対象物の位置との間の相対距離が所定値を超えている場合に、主要被写体60が大きく移動した(移動量:大)と判断する。デジタルカメラ10は、後から取得されたフレーム画像における追尾対象物の位置と、先に取得されたフレーム画像における追尾対象物の位置との間の相対距離が所定値を超えていない場合には、主要被写体60が大きく移動していない(移動量:小)と判断する。   When the relative distance between the position of the tracking object in the frame image acquired later and the position of the tracking object in the previously acquired frame image exceeds a predetermined value, the digital camera 10 It is determined that the subject 60 has moved greatly (movement amount: large). When the relative distance between the position of the tracking object in the frame image acquired later and the position of the tracking object in the previously acquired frame image does not exceed a predetermined value, the digital camera 10 It is determined that the main subject 60 has not moved significantly (movement amount: small).

デジタルカメラ10は、主要被写体60の移動量大を判断した場合、直近に取得したフレーム画像(図3の例では時刻t5において取得したフレーム画像)を用いて得た追尾情報をデジタルカメラ20へ送信する。追尾情報は、例えば主要被写体60の位置座標、主要被写体60のサイズ、主要被写体60が移動する向き、テンプレートマッチング処理用のテンプレート画像、フレーム画像の取得時刻を含む。主要被写体60のサイズは、例えば画面内の面積によって表される。テンプレート画像の代わりに、テンプレート画像の生成に用いる特徴量を含めてもよい。特徴量は、フレーム画像のうち主要被写体60を含む所定領域内の画像データから抽出される情報であり、例えば色情報などである。   When the digital camera 10 determines that the amount of movement of the main subject 60 is large, the digital camera 10 transmits tracking information obtained using the most recently acquired frame image (the frame image acquired at time t5 in the example of FIG. 3) to the digital camera 20. To do. The tracking information includes, for example, the position coordinates of the main subject 60, the size of the main subject 60, the direction in which the main subject 60 moves, the template image for template matching processing, and the acquisition time of the frame image. The size of the main subject 60 is represented by the area in the screen, for example. Instead of the template image, a feature amount used for generating the template image may be included. The feature amount is information extracted from image data in a predetermined area including the main subject 60 in the frame image, and is, for example, color information.

デジタルカメラ10は、検出対象のフレーム画像と、テンプレート画像とに基づいて追尾演算をし、新たな追尾情報を得る。通常、テンプレート画像は、デジタルカメラ10の撮像素子12が検出対象のフレーム画像を取得する前に取得したフレーム画像から生成される画像である。ここで、追尾情報をデジタルカメラ20から受信している場合は、デジタルカメラ20から受信した最新の追尾情報を用いて追尾演算をし、新たな追尾情報を得る。上述したように、追尾情報には、例えば、主要被写体60の位置座標、主要被写体60のサイズ、主要被写体60が移動する向き、テンプレートマッチング処理用のテンプレート画像、フレーム画像の取得時刻等、様々な情報が含まれており、デジタルカメラ10は追尾情報の中から必要な情報を用いて追尾演算をすることにより追尾性能を向上することができる。例えば、探索領域の設定に、主要被写体60の位置座標を用いることができる。   The digital camera 10 performs a tracking calculation based on the frame image to be detected and the template image to obtain new tracking information. Usually, the template image is an image generated from a frame image acquired before the image sensor 12 of the digital camera 10 acquires a detection target frame image. Here, when tracking information is received from the digital camera 20, tracking calculation is performed using the latest tracking information received from the digital camera 20 to obtain new tracking information. As described above, the tracking information includes various information such as the position coordinates of the main subject 60, the size of the main subject 60, the direction in which the main subject 60 moves, the template image for template matching processing, and the acquisition time of the frame image. Information is included, and the digital camera 10 can improve tracking performance by performing tracking calculation using necessary information from the tracking information. For example, the position coordinates of the main subject 60 can be used for setting the search area.

デジタルカメラ20から受信した追尾情報に、デジタルカメラ10の撮像素子12で取得したフレーム画像から生成されるテンプレート画像が含まれている場合、デジタルカメラ10は、検出対象フレーム画像と、デジタルカメラ20から受信した追尾情報に含まれるテンプレート画像とに基づいて追尾演算を行う。なお、デジタルカメラ20から受信した追尾情報は、必ずしもテンプレート画像を含んでいる必要はない。また、デジタルカメラ20から受信した追尾情報がテンプレート画像を含んでいたとしても、デジタルカメラ10は、デジタルカメラ20から受信した追尾情報に含まれるテンプレート画像を用いずに、デジタルカメラ10の撮像素子12が取得したフレーム画像から生成されるテンプレート画像を用いてもよい。   When the tracking information received from the digital camera 20 includes a template image generated from the frame image acquired by the image sensor 12 of the digital camera 10, the digital camera 10 receives the detection target frame image and the digital camera 20. A tracking calculation is performed based on the template image included in the received tracking information. Note that the tracking information received from the digital camera 20 does not necessarily include a template image. Further, even if the tracking information received from the digital camera 20 includes a template image, the digital camera 10 does not use the template image included in the tracking information received from the digital camera 20, and the image sensor 12 of the digital camera 10. A template image generated from the frame image acquired by may be used.

検出対象のフレーム画像と、例えば、時刻t6に対応する追尾情報(時刻t6で取得したフレーム画像の追尾演算の結果得られた追尾情報)をデジタルカメラ20から受けている場合、検出対象のフレーム画像(時刻t7)と、デジタルカメラ20から受信した最新の追尾情報(時刻t6)とに基づいて追尾演算をし、新たな追尾情報を得る。   For example, when a frame image to be detected and tracking information corresponding to time t6 (tracking information obtained as a result of tracking calculation of the frame image acquired at time t6) are received from the digital camera 20, the frame image to be detected A tracking calculation is performed based on (time t7) and the latest tracking information (time t6) received from the digital camera 20, and new tracking information is obtained.

デジタルカメラ10は、主要被写体60が領域55内へ進んだ時刻t9以降は、デジタルカメラ10自身で主要被写体60が含まれるフレーム画像を取得できない 。しかしながら、デジタルカメラ20から受信した追尾情報が存在する場合には、検出対象のフレーム画像(時刻t9)に対応する追尾情報を、例えば直近にデジタルカメラ20から受信した追尾情報(時刻t10)と、デジタルカメラ20から受信した前フレームに相当する追尾情報(時刻t8)とに基づいて推定するようにしても良い。   The digital camera 10 cannot acquire a frame image including the main subject 60 by the digital camera 10 itself after the time t9 when the main subject 60 has moved into the region 55. However, when tracking information received from the digital camera 20 exists, tracking information corresponding to the detection target frame image (time t9), for example, tracking information (time t10) received from the digital camera 20 most recently, The estimation may be performed based on tracking information (time t8) corresponding to the previous frame received from the digital camera 20.

一方、デジタルカメラ20は、主要被写体60が領域52内に存在する時刻t2においては、デジタルカメラ20自身で主要被写体60が含まれるフレーム画像を取得できないが、主要被写体60が領域51内へ進んだ時刻t4以降は、デジタルカメラ20自身で主要被写体60が含まれるフレーム画像を取得できる。
なお、図3は実施形態の一例であり、主要被写体60が領域52内に存在する場合に、デジタルカメラ20は、常にデジタルカメラ10から追尾情報を受信するようにしても良い。また、主要被写体60が領域55内に存在する場合に、デジタルカメラ10は、常にデジタルカメラ20から追尾情報を受信するようにしても良い。
On the other hand, the digital camera 20 cannot acquire a frame image including the main subject 60 by itself at the time t <b> 2 when the main subject 60 exists in the region 52, but the main subject 60 has advanced into the region 51. After time t4, the digital camera 20 itself can acquire a frame image including the main subject 60.
FIG. 3 is an example of the embodiment, and the digital camera 20 may always receive tracking information from the digital camera 10 when the main subject 60 exists in the area 52. Further, when the main subject 60 exists in the area 55, the digital camera 10 may always receive tracking information from the digital camera 20.

デジタルカメラ20は、主要被写体60の移動量大を判断した場合、上述したデジタルカメラ10の場合と同様に、直近に取得したフレーム画像(図3の例では時刻t6、t8、t10においてそれぞれ取得したフレーム画像)に基づいて得られる追尾情報を、その都度デジタルカメラ10へ送信する。   When the digital camera 20 determines that the amount of movement of the main subject 60 is large, as in the case of the digital camera 10 described above, the most recently acquired frame images (acquired at times t6, t8, and t10 in the example of FIG. 3 respectively). Tracking information obtained based on the frame image is transmitted to the digital camera 10 each time.

デジタルカメラ20は、デジタルカメラ20の撮像素子12が取得した検出対象のフレーム画像と、テンプレート画像とに基づいて追尾演算をし、新たな追尾情報を得る。通常、テンプレート画像は、デジタルカメラ20の撮像素子12が検出対象のフレーム画像を取得する前に取得したフレーム画像から生成される画像である。デジタルカメラ10の場合と同様に、追尾情報をデジタルカメラ10から受信している場合は、デジタルカメラ10から受信した最新の追尾情報を用いて追尾演算をし、新たな追尾情報を得る。例えば、時刻t5に対応する追尾情報(時刻t5で取得したフレーム画像の追尾演算の結果得られた追尾情報)をデジタルカメラ10から受けている場合、直近に取得したフレーム画像(時刻t6)と、デジタルカメラ10から受信した最新の追尾情報(時刻t5)とに基づいて追尾演算をし、新たな追尾情報を得る。   The digital camera 20 performs a tracking operation based on the detection target frame image acquired by the image sensor 12 of the digital camera 20 and the template image, and obtains new tracking information. Usually, the template image is an image generated from a frame image acquired before the image sensor 12 of the digital camera 20 acquires a detection target frame image. As in the case of the digital camera 10, when tracking information is received from the digital camera 10, the tracking calculation is performed using the latest tracking information received from the digital camera 10 to obtain new tracking information. For example, when the tracking information corresponding to time t5 (tracking information obtained as a result of the tracking calculation of the frame image acquired at time t5) is received from the digital camera 10, the most recently acquired frame image (time t6), A tracking calculation is performed based on the latest tracking information (time t5) received from the digital camera 10 to obtain new tracking information.

<フローチャートの説明>
デジタルカメラ10のCPU18が実行する処理の流れについて、図4に例示するフローチャートを参照して説明する。CPU18は、連動する追尾処理モードに設定されている場合において、図4の処理を行うプログラムを実行する。連動する追尾処理モードへの切替えは、例えばメニュー設定処理によって行われる。
<Description of flowchart>
The flow of processing executed by the CPU 18 of the digital camera 10 will be described with reference to the flowchart illustrated in FIG. The CPU 18 executes a program for performing the processing of FIG. 4 when the tracking processing mode is set to be linked. Switching to the tracking processing mode to be linked is performed by, for example, menu setting processing.

図4のステップS10において、CPU18は、初期化処理を行ってステップS30へ進む。初期化処理では、デジタルカメラ10およびデジタルカメラ20間で追尾情報を共有するための準備として、両デジタルカメラ間で共通する座標系の座標原点を合わせ、ズームレンズの画角を合わせ、ライブビュー画像の取得周期を合わせ、基準時刻を合わせる。デジタルカメラ10とデジタルカメラ20との間でライブビュー画像の取得周期が異なる場合は、遅い方の周期に合わせるものとする。また、設定されている撮影条件(シャッタースピード、絞り値、ISO感度など)が異なる場合は、デジタルカメラ10側の条件に揃えるものとする。   In step S10 of FIG. 4, the CPU 18 performs an initialization process and proceeds to step S30. In the initialization process, as preparation for sharing tracking information between the digital camera 10 and the digital camera 20, the coordinate origin of the coordinate system common to both digital cameras is adjusted, the angle of view of the zoom lens is adjusted, and the live view image Align the acquisition period of, and set the reference time. When the acquisition period of the live view image is different between the digital camera 10 and the digital camera 20, it is assumed to be adjusted to the slower period. In addition, when the set shooting conditions (shutter speed, aperture value, ISO sensitivity, etc.) are different, the conditions are matched to those on the digital camera 10 side.

ステップS30において、CPU18は、撮像素子12にライブビュー画像を取得させてステップS40へ進む。これにより、新たなフレーム画像が取得される。ステップS40において、CPU18は、補間追尾情報が存在するか否かを判定する。ここで、デジタルカメラ20から受信した追尾情報を補間追尾情報と呼ぶことにする。CPU18は、デジタルカメラ20から受信した補間追尾情報を有している場合に、ステップS40を肯定判定してステップS50へ進む。CPU18は、デジタルカメラ20から補間追尾情報を受信していない場合には、ステップS40を否定判定してステップS60へ進む。   In step S30, the CPU 18 causes the image sensor 12 to acquire a live view image and proceeds to step S40. Thereby, a new frame image is acquired. In step S40, the CPU 18 determines whether or not interpolation tracking information exists. Here, the tracking information received from the digital camera 20 will be referred to as interpolation tracking information. If the CPU 18 has the interpolation tracking information received from the digital camera 20, the CPU 18 makes an affirmative decision in step S40 and proceeds to step S50. If the interpolation tracking information is not received from the digital camera 20, the CPU 18 makes a negative determination in step S40 and proceeds to step S60.

ステップS50において、CPU18は、ステップS30にて取得した検出対象のフレーム画像と、デジタルカメラ20から受信した補間追尾情報とに基づいて追尾演算をし、新たな追尾情報を得てステップS70へ進む。なお、テンプレート画像は、補間追尾情報に含まれるテンプレート画像を用いてもよいし、前フレーム画像から生成されたテンプレート画像を用いてもよい。   In step S50, the CPU 18 performs tracking calculation based on the frame image to be detected acquired in step S30 and the interpolation tracking information received from the digital camera 20, obtains new tracking information, and proceeds to step S70. As the template image, a template image included in the interpolation tracking information may be used, or a template image generated from the previous frame image may be used.

ステップS60 において、CPU18は、ステップS30にて取得した検出対象のフレーム画像と、前フレーム画像の追尾情報とに基づいて追尾演算をし、新たな追尾情報を得てステップS70へ進む。なお、テンプレート画像は、前フレーム画像から生成されたテンプレート画像を用いる。前フレーム画像から生成されたテンプレート画像は、前フレーム画像の追尾情報に含まれていてもよい。   In step S60, the CPU 18 performs a tracking calculation based on the detection target frame image acquired in step S30 and the tracking information of the previous frame image, obtains new tracking information, and proceeds to step S70. Note that a template image generated from the previous frame image is used as the template image. The template image generated from the previous frame image may be included in the tracking information of the previous frame image.

ステップS70において、CPU18は、追尾演算によって追尾対象物(主要被写体60)を検出できたか否かを判定する。CPU18は、追尾対象物を検出できた場合にステップS70を肯定判定してステップS80へ進み、追尾対象物を検出できなかった場合にはステップS70を否定判定してステップS100へ進む。   In step S <b> 70, the CPU 18 determines whether or not the tracking target object (main subject 60) has been detected by the tracking calculation. If the tracking object can be detected, the CPU 18 makes an affirmative determination in step S70 and proceeds to step S80. If the tracking object cannot be detected, the CPU 18 makes a negative determination in step S70 and proceeds to step S100.

ステップS80において、CPU18は、追尾対象物(主要被写体60)の移動量が所定値より大きいか否かを判定する。CPU18は、上述したように主要被写体60の移動量大を判断した場合に、ステップS80を肯定判定してステップS90へ進む。CPU18は、主要被写体60の移動量大を判断しない場合には、ステップS80を否定判定してステップS100へ進む。   In step S80, the CPU 18 determines whether or not the amount of movement of the tracking object (main subject 60) is greater than a predetermined value. When the CPU 18 determines that the amount of movement of the main subject 60 is large as described above, the CPU 18 makes a positive determination in step S80 and proceeds to step S90. If the CPU 18 does not determine the amount of movement of the main subject 60, the CPU 18 makes a negative determination in step S80 and proceeds to step S100.

ステップS90において、CPU18は通信制御回路19へ指示を送り、最新の追尾情報をデジタルカメラ20へ送信させてステップS100へ進む。デジタルカメラ10から送信する追尾情報は、デジタルカメラ20にとって補間追尾情報となる。   In step S90, the CPU 18 sends an instruction to the communication control circuit 19, causes the latest tracking information to be transmitted to the digital camera 20, and proceeds to step S100. The tracking information transmitted from the digital camera 10 becomes interpolation tracking information for the digital camera 20.

ステップS100において、CPU18は、全押し操作されたか否かを判定する。CPU18は、操作部材20からレリーズボタンの全押し操作信号が入力された場合にステップS100を肯定判定してステップS110へ進む。CPU18は、操作部材20からレリーズボタンの全押し操作信号が入力されていない場合には、ステップS100を否定判定してステップS30へ戻る。ステップS30へ戻る場合は、上述した処理を繰り返す。   In step S100, the CPU 18 determines whether or not a full press operation has been performed. When the release button full-press operation signal is input from the operation member 20, the CPU 18 makes a positive determination in step S100 and proceeds to step S110. When the release button full-press operation signal is not input from the operation member 20, the CPU 18 makes a negative determination in step S100 and returns to step S30. When returning to step S30, the above-described processing is repeated.

ステップS110において、CPU18は、設定されている撮影条件(シャッタースピード、絞り値、ISO感度など)に基づいて撮影処理を実行させて、図4による処理を終了する。   In step S110, the CPU 18 executes the shooting process based on the set shooting conditions (shutter speed, aperture value, ISO sensitivity, etc.), and ends the process of FIG.

以上説明した第一の実施形態によれば、次の作用効果が得られる。
(1)カメラシステムは、第1の撮影範囲10Aを例えば60fpsで撮像して得られる第1画像に基づいて主要被写体60を検出し、第1追尾情報を生成するCPU18、およびデジタルカメラ20と通信する通信制御回路19を有するデジタルカメラ10と、第1の撮影範囲10Aと略等しい第2撮影範囲20Aを例えば60fpsかつデジタルカメラ10と異なるタイミングで撮像して得られる第2画像に基づいて主要被写体60を検出し、第2追尾情報を生成するCPU18、およびデジタルカメラ10と通信する通信制御回路19を有するデジタルカメラ20と、を備え、デジタルカメラ20の通信制御回路19は、CPU18で生成された第2追尾情報をデジタルカメラ10の通信制御回路19へ送信するようにした。これにより、デジタルカメラ10のみで追尾を行う場合に比べて、被写体の動きに対する追尾性能を高めることができる。例えば、少なくともデジタルカメラ20の撮影範囲に主要被写体60が含まれていれば、デジタルカメラ10はデジタルカメラ20から受けた追尾情報を用いて追尾を継続できる。また、フレーム画像の取得タイミングを半周期ずらすことによって、みかけ上のフレームレートを2倍(120fps)に速めることができる。これにより、追尾演算を行うフレーム間隔が短くなり、追尾精度を向上することができる。
According to the first embodiment described above, the following operational effects can be obtained.
(1) The camera system communicates with the CPU 18 and the digital camera 20 that detect the main subject 60 based on a first image obtained by imaging the first imaging range 10A at 60 fps, for example, and generate first tracking information. Main subject based on a second image obtained by imaging a digital camera 10 having a communication control circuit 19 and a second imaging range 20A substantially equal to the first imaging range 10A at a timing different from that of the digital camera 10, for example, 60 fps. 60, and a digital camera 20 having a communication control circuit 19 that communicates with the digital camera 10. The communication control circuit 19 of the digital camera 20 is generated by the CPU 18. The second tracking information is transmitted to the communication control circuit 19 of the digital camera 10. Thereby, the tracking performance with respect to the movement of the subject can be improved as compared with the case where the tracking is performed only by the digital camera 10. For example, if the main subject 60 is included at least in the shooting range of the digital camera 20, the digital camera 10 can continue tracking using the tracking information received from the digital camera 20. In addition, the apparent frame rate can be doubled (120 fps) by shifting the frame image acquisition timing by a half cycle. Thereby, the frame interval for performing the tracking calculation is shortened, and the tracking accuracy can be improved.

(2)デジタルカメラ10のCPU18は、第1画像または第2追尾情報に基づいて主要被写体60を検出し、デジタルカメラ20のCPU18は、第2画像または第1追尾情報に基づいて主要被写体60を検出するようにした。互いの追尾情報を共有することで、被写体の動きに対する追尾性能を高めることができる。 (2) The CPU 18 of the digital camera 10 detects the main subject 60 based on the first image or the second tracking information, and the CPU 18 of the digital camera 20 detects the main subject 60 based on the second image or the first tracking information. It was made to detect. By sharing each other's tracking information, the tracking performance with respect to the movement of the subject can be improved.

(3)デジタルカメラ10の通信制御回路19は、デジタルカメラ10のCPU18で検出された主要被写体60の移動量が所定値より大きい場合に第1追尾情報をデジタルカメラ20の通信制御回路19へ送信し、デジタルカメラ20の通信制御回路19は、デジタルカメラ20のCPU18で検出された主要被写体60の移動量が所定値より大きい場合に第2追尾情報をデジタルカメラ100の通信制御回路19へ送信する。追尾情報の送信を限定的にしたので、追尾情報を常に送信する場合に比べて、処理負担を軽減できる。 (3) The communication control circuit 19 of the digital camera 10 transmits the first tracking information to the communication control circuit 19 of the digital camera 20 when the movement amount of the main subject 60 detected by the CPU 18 of the digital camera 10 is larger than a predetermined value. The communication control circuit 19 of the digital camera 20 transmits the second tracking information to the communication control circuit 19 of the digital camera 100 when the movement amount of the main subject 60 detected by the CPU 18 of the digital camera 20 is larger than a predetermined value. . Since the transmission of the tracking information is limited, the processing load can be reduced compared to the case where the tracking information is always transmitted.

(4)デジタルカメラ10のCPU18は、主要被写体60を前回検出した以降に取得された第2追尾情報がデジタルカメラ10の通信制御回路19で受信されている場合に、第2追尾情報を用いて主要被写体60を検出し、デジタルカメラ20のCPU18は、主要被写体60を前回検出した以降に取得された第1追尾情報がデジタルカメラ20の通信制御回路19で受信されている場合に、第1追尾情報を用いて主要被写体60を検出するようにした。直近の追尾情報を共有することで、被写体の動きに対する追尾性能を、適切に高めることができる。 (4) The CPU 18 of the digital camera 10 uses the second tracking information when the second tracking information acquired after the previous detection of the main subject 60 is received by the communication control circuit 19 of the digital camera 10. When the main subject 60 is detected, and the CPU 18 of the digital camera 20 receives the first tracking information acquired after the main subject 60 was previously detected by the communication control circuit 19 of the digital camera 20, the first tracking is performed. The main subject 60 is detected using the information. By sharing the latest tracking information, it is possible to appropriately improve the tracking performance with respect to the movement of the subject.

(第二の実施形態)
上述した第一の実施形態においては、デジタルカメラ10(デジタルカメラ20)が、主要被写体60の移動量大を判断した場合に、検出対象のフレーム画像を用いて得た追尾情報をデジタルカメラ20へ送信する例を説明した。第二の実施形態では、デジタルカメラ10(デジタルカメラ20)が、検出対象のフレーム画像を用いて得た追尾情報を、主要被写体60の移動量にかかわらずデジタルカメラ20へ送信する。
(Second embodiment)
In the first embodiment described above, when the digital camera 10 (digital camera 20) determines that the amount of movement of the main subject 60 is large, the tracking information obtained using the frame image to be detected is sent to the digital camera 20. An example of transmission has been described. In the second embodiment, the digital camera 10 (digital camera 20) transmits the tracking information obtained using the detection target frame image to the digital camera 20 regardless of the movement amount of the main subject 60.

図5は、第二の実施形態における追尾処理シーケンスを説明する図である。図5において上段は、デジタルカメラ10によるフレーム画像の取得タイミングを表す。図5において中段は、デジタルカメラ20によるフレーム画像の取得タイミングを表す。図5において下段は、主要被写体60が含まれる領域を表す。   FIG. 5 is a diagram illustrating a tracking process sequence according to the second embodiment. In FIG. 5, the upper part represents the acquisition timing of the frame image by the digital camera 10. In FIG. 5, the middle part represents the acquisition timing of the frame image by the digital camera 20. In FIG. 5, the lower part represents an area including the main subject 60.

デジタルカメラ10が、時刻t1、t3、t5、…においてフレーム画像を取得する点、デジタルカメラ20が、デジタルカメラ10によるフレーム画像の取得タイミングと半周期ずらした時刻t2、t4、t6、…においてフレーム画像を取得する点、および、主要被写体60が、当初撮影範囲10Aのうち領域52(図1)に位置し、領域52から重複領域51内へ移動し、さらに重複領域51から撮影範囲20A内の領域55へ移動する点も、図3の場合と同様であるものとする。
図5より明らかなように、一方のデジタルカメラが、検出対象のフレーム画像を用いて得た追尾情報を、主要被写体60の移動量にかかわらず他方のデジタルカメラへ送信する。
The digital camera 10 acquires a frame image at times t1, t3, t5,..., And the digital camera 20 has a frame at times t2, t4, t6,. The point from which the image is acquired and the main subject 60 are located in the region 52 (FIG. 1) in the initial photographing range 10A, move from the region 52 into the overlapping region 51, and further from the overlapping region 51 into the photographing range 20A. The point of moving to the region 55 is also the same as in the case of FIG.
As apparent from FIG. 5, one digital camera transmits tracking information obtained using the detection target frame image to the other digital camera regardless of the amount of movement of the main subject 60.

以上説明した第二の実施形態によれば、第一の実施形態と同様に、デジタルカメラ10または20のみで追尾を行う場合に比べて、被写体の動きに対する追尾性能を高めることができる。   According to the second embodiment described above, similarly to the first embodiment, the tracking performance with respect to the movement of the subject can be improved as compared with the case where the tracking is performed only with the digital camera 10 or 20.

また、デジタルカメラ10の通信制御回路19は、デジタルカメラ10のCPU18によって第1追尾情報が取得されるごとに第1追尾情報をデジタルカメラ20の通信制御回路19へ送信し、デジタルカメラ20の通信制御回路19は、デジタルカメラ20のCPU18によって第2追尾情報が取得されるごとに第2追尾情報をデジタルカメラ10の通信制御回路19へ送信するようにしたので、デジタルカメラ10およびデジタルカメラ20間で追尾情報を共有する頻度が高まり、被写体の動きに対する追尾性能を、適切に高めることができる。   In addition, the communication control circuit 19 of the digital camera 10 transmits the first tracking information to the communication control circuit 19 of the digital camera 20 every time the first tracking information is acquired by the CPU 18 of the digital camera 10. Since the control circuit 19 transmits the second tracking information to the communication control circuit 19 of the digital camera 10 every time the second tracking information is acquired by the CPU 18 of the digital camera 20, the control circuit 19 is connected between the digital camera 10 and the digital camera 20. Thus, the frequency of sharing the tracking information increases, and the tracking performance with respect to the movement of the subject can be appropriately improved.

(変形例1)
デジタルカメラ10とデジタルカメラ20とでカメラシステムを構成する例を説明したが、デジタルカメラ10と、デジタルカメラ20と、デジタルカメラ30とでカメラシステムを構成してもよい。デジタルカメラ10、デジタルカメラ20、およびデジタルカメラ30は、同一のフレームレート(例えば60fps)でライブビュー画像を取得する。そして、デジタルカメラ10によるフレーム画像の取得タイミングと、デジタルカメラ20によるフレーム画像の取得タイミングと、デジタルカメラ30によるフレーム画像の取得タイミングとを、それぞれ1/3周期ずらすことにより、各デジタルカメラが順番にフレーム画像を取得するようにする。このためにデジタルカメラ10、デジタルカメラ20、およびデジタルカメラ30は、あらかじめ基準時刻が合わせられる。
(Modification 1)
Although the example in which the digital camera 10 and the digital camera 20 configure the camera system has been described, the digital camera 10, the digital camera 20, and the digital camera 30 may configure the camera system. The digital camera 10, the digital camera 20, and the digital camera 30 acquire live view images at the same frame rate (for example, 60 fps). The digital camera 10 sequentially shifts the frame image acquisition timing by the digital camera 10, the frame image acquisition timing by the digital camera 20, and the frame image acquisition timing by the digital camera 30. To get a frame image. For this reason, the digital camera 10, the digital camera 20, and the digital camera 30 are set in advance with a reference time.

また、デジタルカメラ10、デジタルカメラ20、およびデジタルカメラ30は、共通の主要被写体60を追尾対象物とし、相互に追尾情報を共有する。このためにデジタルカメラ10、デジタルカメラ20、およびデジタルカメラ30は、あらかじめ主要被写体60の位置を表す座標の基準点が合わせられる。例えばデジタルカメラ10の撮影範囲10A、デジタルカメラ20の撮影範囲20A、デジタルカメラ30の撮影範囲30Aとの間に重複する領域51を確保し、領域51内のいずれかの位置(例えば中央)を原点とする座標系の原点を基準に主要被写体60の位置を表す。   In addition, the digital camera 10, the digital camera 20, and the digital camera 30 use a common main subject 60 as a tracking target and share tracking information with each other. For this purpose, the digital camera 10, the digital camera 20, and the digital camera 30 are preliminarily aligned with reference points of coordinates representing the position of the main subject 60. For example, an overlapping area 51 is secured between the shooting range 10A of the digital camera 10, the shooting range 20A of the digital camera 20, and the shooting range 30A of the digital camera 30, and any position (for example, the center) in the area 51 is the origin. The position of the main subject 60 is expressed with reference to the origin of the coordinate system.

各デジタルカメラは、検出対象のフレーム画像と、テンプレート画像とに基づいて追尾演算をし、新たな追尾情報を得る。ここで、追尾情報を他のデジタルカメラから受信している場合は、他のデジタルカメラから受信した最新の追尾情報を用いて追尾演算をし、新たな追尾情報を得る。   Each digital camera performs a tracking calculation based on the frame image to be detected and the template image to obtain new tracking information. Here, when the tracking information is received from another digital camera, the tracking calculation is performed using the latest tracking information received from the other digital camera to obtain new tracking information.

以上説明した変形例1の場合は、3台のデジタルカメラで追尾情報を共有することによって、少なくとも1台のデジタルカメラの撮影範囲に主要被写体60が含まれていれば、そのデジタルカメラから受けた追尾情報を用いて主要被写体60の位置推定を行うことができる。また、フレーム画像の取得タイミングを例えば1/3周期ずつずらすことによって、各デジタルカメラが順番にフレーム画像を取得するようにする。他のデジタルカメラから受けた追尾情報を用いることで、みかけ上のフレームレートを約3倍(180fps)に速めることが可能になる。それにより、追尾演算を行うフレーム間隔が短くなり、追尾精度を向上することができる。   In the case of the modified example 1 described above, if tracking information is shared by three digital cameras, and the main subject 60 is included in the shooting range of at least one digital camera, it is received from that digital camera. The position of the main subject 60 can be estimated using the tracking information. Further, by shifting the frame image acquisition timing by, for example, 1/3 period, each digital camera sequentially acquires the frame image. By using the tracking information received from another digital camera, the apparent frame rate can be increased to about three times (180 fps). Thereby, the frame interval for performing the tracking calculation is shortened, and the tracking accuracy can be improved.

(変形例2)
上記実施形態では、主要被写体を人物として説明しているが、人物以外の複数の移動体を主要被写体としてもよい。例えば、犬や猫などの動物を主要被写体としてもよいし、あるいは車などの移動体を主要被写体としてもよい。周知の手法(例えばテンプレートマッチング等の手法)を用いて主要被写体を特定できるのであれば、どのような移動体にも適用可能である。
(Modification 2)
In the above embodiment, the main subject is described as a person, but a plurality of moving bodies other than the person may be used as the main subject. For example, an animal such as a dog or a cat may be the main subject, or a moving body such as a car may be the main subject. As long as the main subject can be specified using a known method (for example, a template matching method), the present invention can be applied to any moving object.

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。   The above description is merely an example, and is not limited to the configuration of the above embodiment.

10、20…デジタルカメラ
10A、20A…撮影範囲
12…撮像素子
14…画像処理回路
15…LCDモニタ
18…CPU
19…通信制御回路
20…操作部材
51…重複領域
52、55…領域
60…主要被写体
DESCRIPTION OF SYMBOLS 10, 20 ... Digital camera 10A, 20A ... Shooting range 12 ... Imaging element 14 ... Image processing circuit 15 ... LCD monitor 18 ... CPU
19 ... Communication control circuit 20 ... Operation member 51 ... Overlapping area 52, 55 ... Area 60 ... Main subject

Claims (11)

第1の撮影範囲を所定周期で撮像して得られる第1画像に基づいて追尾対象物を検出し、第1追尾情報を生成する第1追尾部、および外部機器と通信する第1通信部を有する第1カメラと、
前記第1の撮影範囲と略等しい第2撮影範囲を前記所定周期かつ前記第1カメラと異なるタイミングで撮像して得られる第2画像に基づいて前記追尾対象物を検出し、第2追尾情報を生成する第2追尾部、および外部機器と通信する第2通信部を有する第2カメラと、を備え、
前記第2通信部は、前記第2追尾部で生成された第2追尾情報を前記第1カメラへ送信することを特徴とするカメラシステム。
A first tracking unit that detects a tracking target based on a first image obtained by imaging the first imaging range at a predetermined period and generates first tracking information, and a first communication unit that communicates with an external device A first camera having;
The tracking object is detected based on a second image obtained by imaging a second imaging range substantially equal to the first imaging range at a timing different from that of the first camera with the predetermined period, and second tracking information is obtained. A second tracking unit that generates and a second camera having a second communication unit that communicates with an external device,
The second communication unit transmits the second tracking information generated by the second tracking unit to the first camera.
請求項1に記載のカメラシステムにおいて、
前記第1追尾部は、前記第1追尾情報と前記第2カメラから受信した前記第2追尾情報の何れか一方と前記第1画像とに基づいて前記追尾対象物を検出することを特徴とするカメラシステム。
The camera system according to claim 1,
The first tracking unit detects the tracking target object based on one of the first tracking information, the second tracking information received from the second camera, and the first image. Camera system.
請求項1または2に記載のカメラシステムにおいて、
前記第2通信部は、前記第2追尾部で検出された前記追尾対象物の移動量が所定値より大きい場合に前記第2追尾情報を前記第1カメラへ送信することを特徴とするカメラシステム。
The camera system according to claim 1 or 2,
The second communication unit transmits the second tracking information to the first camera when a movement amount of the tracking target detected by the second tracking unit is larger than a predetermined value. .
請求項1または2に記載のカメラシステムにおいて、
前記第2通信部は、前記第2追尾部によって前記第2追尾情報が生成されるごとに前記第2追尾情報を前記第1カメラへ送信することを特徴とするカメラシステム。
The camera system according to claim 1 or 2,
The second communication unit transmits the second tracking information to the first camera every time the second tracking information is generated by the second tracking unit.
請求項1または2に記載のカメラシステムにおいて、
前記第1通信部は、前記第1追尾部で生成された前記第1追尾情報を前記第2カメラへ送信し、
前記第2追尾部は、前記第2追尾情報と前記第1カメラから受信した前記第1追尾情報の何れか一方と前記第2画像とに基づいて前記追尾対象物を検出することを特徴とするカメラシステム。
The camera system according to claim 1 or 2,
The first communication unit transmits the first tracking information generated by the first tracking unit to the second camera,
The second tracking unit detects the tracking object based on one of the second tracking information, the first tracking information received from the first camera, and the second image. Camera system.
請求項5に記載のカメラシステムにおいて、
前記第1通信部は、前記第1追尾部で検出された前記追尾対象物の移動量が所定値より大きい場合に前記第1追尾情報を前記第2カメラへ送信し、
前記第2通信部は、前記第2追尾部で検出された前記追尾対象物の移動量が前記所定値より大きい場合に前記第2追尾情報を前記第1カメラへ送信することを特徴とするカメラシステム。
The camera system according to claim 5,
The first communication unit transmits the first tracking information to the second camera when a movement amount of the tracking target detected by the first tracking unit is larger than a predetermined value;
The second communication unit transmits the second tracking information to the first camera when a movement amount of the tracking target detected by the second tracking unit is larger than the predetermined value. system.
請求項5に記載のカメラシステムにおいて、
前記第1通信部は、前記第1追尾部によって前記第1追尾情報が生成されるごとに前記第1追尾情報を前記第2カメラへ送信し、
前記第2通信部は、前記第2追尾部によって前記第2追尾情報が生成されるごとに前記第2追尾情報を前記第1カメラへ送信することを特徴とするカメラシステム。
The camera system according to claim 5,
The first communication unit transmits the first tracking information to the second camera every time the first tracking information is generated by the first tracking unit,
The second communication unit transmits the second tracking information to the first camera every time the second tracking information is generated by the second tracking unit.
請求項1から7の何れか一項に記載のカメラシステムにおいて、
前記第1追尾情報は前記第1画像から生成したテンプレート画像を含み、
前記第2追尾情報は前記第2画像から生成したテンプレート画像を含むことを特徴とするカメラシステム。
The camera system according to any one of claims 1 to 7,
The first tracking information includes a template image generated from the first image,
The camera system, wherein the second tracking information includes a template image generated from the second image.
第1の撮影範囲を所定周期で撮像して得られる第1画像に基づいて追尾対象物を検出し、第1追尾情報を生成する第1追尾部、および第2カメラと通信する第1通信部を有する第1カメラと、  A first tracking unit that detects a tracking target based on a first image obtained by imaging the first imaging range at a predetermined period and generates first tracking information, and a first communication unit that communicates with the second camera A first camera having:
前記第1の撮影範囲と少なくとも一部重複する第2撮影範囲を前記第1カメラと異なるタイミングで撮像して得られる第2画像に基づいて前記追尾対象物を検出し、第2追尾情報を生成する第2追尾部、および前記第1カメラと通信する第2通信部を有する前記第2カメラと、を備え、  The tracking object is detected based on a second image obtained by capturing a second imaging range at least partially overlapping the first imaging range at a timing different from that of the first camera, and second tracking information is generated. A second tracking unit, and a second communication unit having a second communication unit communicating with the first camera,
前記第2通信部は、前記第2追尾部で生成された第2追尾情報を前記第1追尾部へ送信することを特徴とするカメラシステム。  The second communication unit transmits the second tracking information generated by the second tracking unit to the first tracking unit.
請求項9に記載のカメラシステムにおいて、The camera system according to claim 9, wherein
前記第1追尾部は、前記第1追尾情報と前記第2通信部から受信した前記第2追尾情報の何れか一方と前記第1画像とに基づいて前記追尾対象物を検出することを特徴とするカメラシステム。  The first tracking unit detects the tracking target object based on one of the first tracking information and the second tracking information received from the second communication unit and the first image. Camera system.
請求項9または10に記載のカメラシステムにおいて、The camera system according to claim 9 or 10,
前記第1通信部は、前記第1追尾部で生成された前記第1追尾情報を前記第2追尾部へ送信し、  The first communication unit transmits the first tracking information generated by the first tracking unit to the second tracking unit;
前記第2追尾部は、前記第2追尾情報と前記第1通信部から受信した前記第1追尾情報の何れか一方と前記第2画像とに基づいて前記追尾対象物を検出することを特徴とするカメラシステム。  The second tracking unit detects the tracking target object based on one of the second tracking information, the first tracking information received from the first communication unit, and the second image. Camera system.
JP2013163033A 2013-08-06 2013-08-06 Camera system Active JP6152738B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013163033A JP6152738B2 (en) 2013-08-06 2013-08-06 Camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013163033A JP6152738B2 (en) 2013-08-06 2013-08-06 Camera system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017107465A Division JP6485490B2 (en) 2017-05-31 2017-05-31 camera

Publications (2)

Publication Number Publication Date
JP2015033066A JP2015033066A (en) 2015-02-16
JP6152738B2 true JP6152738B2 (en) 2017-06-28

Family

ID=52518032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013163033A Active JP6152738B2 (en) 2013-08-06 2013-08-06 Camera system

Country Status (1)

Country Link
JP (1) JP6152738B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423196B2 (en) * 2019-05-09 2024-01-29 キヤノン株式会社 Imaging device, imaging system, and control method thereof
GB2614051A (en) * 2021-12-16 2023-06-28 Peacock Tech Limited Image processing

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246307A (en) * 2005-03-07 2006-09-14 Seiko Epson Corp Image data processing apparatus
JP5164700B2 (en) * 2008-07-08 2013-03-21 三菱電機株式会社 Multi-camera image processing apparatus and multi-camera image display apparatus
US8503727B2 (en) * 2009-07-22 2013-08-06 Omron Corporation Monitoring camera terminal
JP5568458B2 (en) * 2010-12-24 2014-08-06 京セラ株式会社 Stereo camera device
JP2012222526A (en) * 2011-04-06 2012-11-12 Canon Inc Imaging apparatus, method, and program

Also Published As

Publication number Publication date
JP2015033066A (en) 2015-02-16

Similar Documents

Publication Publication Date Title
JP5048468B2 (en) Imaging apparatus and imaging method thereof
KR101710633B1 (en) Auto focus adjusting method, auto focus adjusting apparatus, and digital photographing apparatus including the same
US20140198244A1 (en) Focus aid system
CN107850753B (en) Detection apparatus, detection method, detection program, and imaging apparatus
JP5618712B2 (en) Automatic focusing device and imaging device
US20140125814A1 (en) Imaging apparatus, imaging method thereof, and computer readable recording medium
JP2010096962A (en) Auto focus system with af frame auto-tracking function
JP2016142925A (en) Imaging apparatus, method of controlling the same, program, and storage medium
KR20120106307A (en) Auto focusing apparatus
US20090167931A1 (en) Imaging device
JP7218207B2 (en) Camera, lens apparatus, control method, and computer program
JP6152738B2 (en) Camera system
US8737831B2 (en) Digital photographing apparatus and method that apply high-speed multi-autofocusing (AF)
JP6485490B2 (en) camera
JP2015106851A (en) Digital camera
JP7131541B2 (en) Image processing device, image processing method and image processing program
CN107659766B (en) Control apparatus and method, image pickup apparatus and system, lens apparatus, and storage medium
JP2020167626A (en) Imaging apparatus and control method therefor
US11258943B2 (en) Imaging apparatus and method for controlling the same
JP2002311327A (en) Multipoint auto-focusing device
US10425574B2 (en) Imaging device and focusing evaluation device
WO2018181163A1 (en) Image processing device, image processing method and program
JP2016142924A (en) Imaging apparatus, method of controlling the same, program, and storage medium
JP6645690B2 (en) Automatic focus adjustment device, imaging device, and automatic focus adjustment method
JP2012133067A (en) Imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170515

R150 Certificate of patent or registration of utility model

Ref document number: 6152738

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250