JP4935380B2 - Image tracking device and imaging device - Google Patents

Image tracking device and imaging device Download PDF

Info

Publication number
JP4935380B2
JP4935380B2 JP2007017527A JP2007017527A JP4935380B2 JP 4935380 B2 JP4935380 B2 JP 4935380B2 JP 2007017527 A JP2007017527 A JP 2007017527A JP 2007017527 A JP2007017527 A JP 2007017527A JP 4935380 B2 JP4935380 B2 JP 4935380B2
Authority
JP
Japan
Prior art keywords
image
candidates
candidate
similarity
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007017527A
Other languages
Japanese (ja)
Other versions
JP2008187331A (en
Inventor
宏之 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007017527A priority Critical patent/JP4935380B2/en
Publication of JP2008187331A publication Critical patent/JP2008187331A/en
Application granted granted Critical
Publication of JP4935380B2 publication Critical patent/JP4935380B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、画像追尾装置と撮像装置に関する。   The present invention relates to an image tracking device and an imaging device.

撮影した画像内において追尾対象の被写体を囲む枠(追尾枠)を設定し、追尾枠内の輝度情報をテンプレート(基準画像)として記憶するとともに、繰り返し撮影される画像の中からテンプレートと類似度の高い領域を検索し、その領域へ追尾枠を移動して被写体を追尾するようにした画像追尾装置が知られている(例えば、特許文献1参照)。   A frame (tracking frame) that surrounds the subject to be tracked is set in the captured image, and luminance information in the tracking frame is stored as a template (reference image). An image tracking device that searches for a high area and moves a tracking frame to the area to track a subject is known (for example, see Patent Document 1).

この出願の発明に関連する先行技術文献としては次のものがある。
特開平07−092248号公報
Prior art documents related to the invention of this application include the following.
Japanese Patent Laid-Open No. 07-0922248

しかしながら、従来の画像追尾装置では、テンプレートマッチング途中で追尾対象でない被写体を誤って捕捉してしまうと、当初の追尾対象の被写体に復帰することが困難になるという問題がある。   However, the conventional image tracking device has a problem that if a subject that is not a tracking target is mistakenly captured during template matching, it is difficult to return to the original tracking target subject.

請求項1に記載の画像追尾装置は、光学系により結像される像を撮像する撮像素子と、前記撮像素子によって撮像した画像のうち、対象とする部分を基準画像として設定する基準画像設定手段と、前記撮像素子により撮像された画像内の複数の部分領域と前記基準画像との類似度をそれぞれ求め、前記複数の部分領域のうち前記類似度の高い順に選択した複数の部分領域の位置を、前記対象の新たな位置の複数の候補として抽出する候補抽出手段と、前記複数の候補のうちの1つを前記対象の新たな位置として認識する認識手段と、前記撮像素子によって新たに撮像される次画像のうちの前記複数の候補に対応する位置を基にして、前記候補抽出手段によって前記次画像から新たに前記複数の候補を抽出して次画像用候補とするとともに、該次画像用候補の中から前記認識手段によって前記次画像における前記対象の新たな位置を認識する制御手段とを備え、前記制御手段は、類似度の高い順に所定個数の前記候補を設定し、その内のいずれかが前記候補から外れた場合には、前記候補抽出手段による前回の抽出において最高の類似度とされた候補の画像と類似度が高い部分領域を検索し、当該部分領域を新しい前記候補に設定することを特徴とする。
請求項2に記載の画像追尾装置は、光学系により結像される像を撮像する撮像素子と、前記撮像素子によって撮像した画像のうち、対象とする部分を基準画像として設定する基準画像設定手段と、前記撮像素子により撮像された画像内の複数の部分領域と前記基準画像との類似度をそれぞれ求め、前記複数の部分領域のうち前記類似度の高い順に選択した複数の部分領域の位置を、前記対象の新たな位置の複数の候補として抽出する候補抽出手段と、前記複数の候補のうちの1つを前記対象の新たな位置として認識する認識手段と、前記複数のそれぞれの候補に対応する位置を基にして、前記撮像素子により新たに撮像される次画像から、前記候補抽出手段によって新たに前記複数の候補を抽出することにより前記それぞれの候補を更新するとともに、該更新された候補の中から前記認識手段によって前記次画像における前記対象の新たな位置を認識する制御手段とを備えることを特徴とする。
The image tracking device according to claim 1 , an image sensor that captures an image formed by an optical system, and a reference image setting unit that sets a target portion of the image captured by the image sensor as a reference image. And calculating the degree of similarity between each of the plurality of partial areas in the image captured by the image sensor and the reference image, and selecting the positions of the plurality of partial areas selected in descending order of the degree of similarity among the plurality of partial areas. A candidate extraction unit that extracts a plurality of candidates for the new position of the target, a recognition unit that recognizes one of the plurality of candidates as a new position of the target, and a new image picked up by the imaging device that based on the position corresponding to the plurality of candidates of the following image, as well as a candidate for the next image by extracting a new plurality of candidates from the next image by the candidate extracting means, And a recognizing control means the new position of the target in the next image by said recognition means from the candidates for the next image, the control unit sets the candidate of the predetermined number of high order of similarity, If any of them is out of the candidates, a partial area having a high similarity with the candidate image having the highest similarity in the previous extraction by the candidate extraction unit is searched, and the partial area is newly set. It is set as the candidate.
The image tracking device according to claim 2, an image pickup device that picks up an image formed by an optical system, and a reference image setting unit that sets a target portion as a reference image among images picked up by the image pickup device. And calculating the degree of similarity between each of the plurality of partial areas in the image captured by the image sensor and the reference image, and selecting the positions of the plurality of partial areas selected in descending order of the degree of similarity among the plurality of partial areas. Corresponding to each of the plurality of candidates, candidate extracting means for extracting as a plurality of candidates for the new position of the target, recognition means for recognizing one of the plurality of candidates as the new position of the target, and Based on the position where the image is picked up, the candidate extraction unit newly extracts the plurality of candidates from the next image newly picked up by the imaging device, thereby updating the respective candidates. Together, characterized in that it comprises a recognizing control means the new position of the target in the next image by the recognition unit among the updated candidate.

本発明によれば、誤って他の被写体を追尾する対象と認識した場合でも、当初の追尾対象の被写体に復帰させることができる。   According to the present invention, even when another subject is mistakenly recognized as a target to be tracked, it can be returned to the original subject to be tracked.

本発明の画像追尾装置を搭載した撮像装置として、一眼レフレックス・ディジタルカメラを例に上げて説明する。なお、本発明の画像追尾装置を搭載する撮像装置は一眼レフレックス・ディジタルカメラに限定されず、コンパクトディジタルカメラや一眼レフレックス・フィルムカメラにも搭載することができる。   A single-lens reflex digital camera will be described as an example of an imaging device equipped with the image tracking device of the present invention. Note that the image pickup apparatus on which the image tracking device of the present invention is mounted is not limited to a single-lens reflex digital camera, but can be mounted on a compact digital camera or a single-lens reflex film camera.

図1は一実施の形態の一眼レフレックス・ディジタルカメラの電気回路を示すブロック図、図2は一実施の形態の一眼レフレックス・ディジタルカメラの機構を示す横断面図である。図1および図2において、本発明に直接関係のないカメラの機器および回路については図示と説明を省略する。図1、図2により、一実施の形態の一眼レフレックス・ディジタルカメラの構成を説明する。   FIG. 1 is a block diagram showing an electric circuit of a single-lens reflex digital camera of one embodiment, and FIG. 2 is a cross-sectional view showing a mechanism of the single-lens reflex digital camera of one embodiment. In FIG. 1 and FIG. 2, illustration and description of camera devices and circuits not directly related to the present invention are omitted. The configuration of a single-lens reflex digital camera according to an embodiment will be described with reference to FIGS.

測光素子1は、被写体輝度を検出するためのセンサーであると同時に、被写体追尾を行うために被写体状況を解析するためのセンサーであり、被写界を図3(a)に示すように22行15列の二次元状に分割して各分割測光エリアごとに測光を行う。測光素子1はCCDやCMOSなどから構成され、複数の画素が図3(a)に示すように22行15列の二次元状に配列されている。さらに、各画素は、図3(b)に示すようにB、G、Rの三原色フィルターを備えた画素に分割されている。測光回路2は、測光素子1から出力された測光信号に対しノイズ除去、感度補正、A/D変換などの信号処理を施し、画素ごとのBGR輝度信号を出力する。   The photometric element 1 is a sensor for detecting the subject brightness, and at the same time, is a sensor for analyzing the subject situation in order to track the subject, and the object scene has 22 lines as shown in FIG. The light is divided into 15 rows in a two-dimensional shape, and photometry is performed for each divided photometry area. The photometric element 1 is composed of a CCD, a CMOS, or the like, and a plurality of pixels are arranged in a two-dimensional form of 22 rows and 15 columns as shown in FIG. Further, each pixel is divided into pixels each provided with three primary color filters of B, G, and R as shown in FIG. The photometric circuit 2 performs signal processing such as noise removal, sensitivity correction, and A / D conversion on the photometric signal output from the photometric element 1, and outputs a BGR luminance signal for each pixel.

焦点検出素子3は図2に示すAFモジュール21に内蔵され、図4に示すように被写界の51カ所に設定された焦点検出エリアにおいて、撮影レンズ22の射出瞳面の一対の領域を通過した一対の光束によって結像される一対の被写体像のズレ量を検出し、各焦点検出エリアごとの焦点検出信号を出力する。なお、図4は測光素子1の分割測光エリアと焦点検出素子3の焦点検出エリアとの対応関係を示しており、51カ所の焦点検出エリアは22行15列の分割測光エリアの範囲内に設定されている。焦点検出回路4は、焦点検出素子3から出力される各焦点検出エリアごとの焦点検出信号に基づいて、位相差検出方式により各焦点検出エリアごとのデフォーカス量を検出する。   The focus detection element 3 is built in the AF module 21 shown in FIG. 2, and passes through a pair of areas on the exit pupil plane of the photographing lens 22 in the focus detection areas set at 51 places in the object scene as shown in FIG. The shift amount of the pair of subject images formed by the pair of luminous fluxes is detected, and a focus detection signal for each focus detection area is output. FIG. 4 shows the correspondence between the divided photometry area of the photometry element 1 and the focus detection area of the focus detection element 3, and the 51 focus detection areas are set within the range of the 22 × 15 divided photometry area. Has been. The focus detection circuit 4 detects the defocus amount for each focus detection area by the phase difference detection method based on the focus detection signal for each focus detection area output from the focus detection element 3.

撮像素子5はCCDやCMOSから構成され、撮影レンズ22により結像される被写体像を撮像して撮像信号を出力する。信号処理回路6は、撮像素子5から出力された撮像信号に対しサンプリング、ノイズ除去、感度補正、A/D変換などの処理を施す。バッファー7は画像データやデフォーカス量などを一時的に記憶するメモリである。画像処理回路8は、信号処理回路6による処理後の画像データに対し画素補間、解像度変換、ホワイトバランス制御、ガンマ補正、マトリクス演算、画像圧縮などの処理を施す。メモリカード9は撮像画像を記録する記録媒体である。   The image pickup device 5 is composed of a CCD or a CMOS, picks up a subject image formed by the taking lens 22 and outputs an image pickup signal. The signal processing circuit 6 performs processing such as sampling, noise removal, sensitivity correction, and A / D conversion on the imaging signal output from the imaging device 5. The buffer 7 is a memory that temporarily stores image data, a defocus amount, and the like. The image processing circuit 8 performs processing such as pixel interpolation, resolution conversion, white balance control, gamma correction, matrix calculation, and image compression on the image data processed by the signal processing circuit 6. The memory card 9 is a recording medium that records captured images.

レンズ駆動回路10は焦点検出結果にしたがって撮影レンズ22のフォーカシングレンズ(不図示)を駆動し、撮影レンズ22の焦点調節を行う。絞り駆動回路11は露出演算結果にしたがって絞り23を駆動し、絞りを調節する。シャッター駆動回路12は露出演算結果にしたがってシャッター24を駆動し、撮像素子5を露光する。ミラー駆動回路13はメインミラー25およびサブミラー26を駆動し、ミラー25,26の上昇と下降を行う。表示駆動回路14は、ファインダー光学系のスクリーン27(図2参照)の上に設けられる拡散型液晶表示器(以下、ファインダー表示器という)15を制御し、スクリーン27の被写体像に追尾対象領域(追尾枠ともいう)や焦点検出エリアを重畳して表示する。   The lens driving circuit 10 drives a focusing lens (not shown) of the photographic lens 22 according to the focus detection result, and adjusts the focus of the photographic lens 22. The aperture drive circuit 11 drives the aperture 23 according to the exposure calculation result to adjust the aperture. The shutter drive circuit 12 drives the shutter 24 according to the exposure calculation result to expose the image sensor 5. The mirror drive circuit 13 drives the main mirror 25 and the sub mirror 26 to raise and lower the mirrors 25 and 26. The display drive circuit 14 controls a diffusion type liquid crystal display (hereinafter referred to as a finder display) 15 provided on a screen 27 (see FIG. 2) of the finder optical system, and a tracking target region (referred to as a subject image on the screen 27). (Also called a tracking frame) and a focus detection area are superimposed and displayed.

操作スイッチ類16は、カメラを操作するための各種操作部材の操作にともなってオンまたはオフするスイッチ類である。この操作スイッチ類16には、シャッターボタンの半押し操作でオンする半押しスイッチ、シャッターボタンの全押し操作でオンする全押しスイッチ、追尾撮影モードなどの撮影モードを選択するモードセレクター、焦点検出エリアを選択するための方向キーなどが含まれる。   The operation switches 16 are switches that are turned on or off in accordance with the operation of various operation members for operating the camera. The operation switches 16 include a half-press switch that is turned on when the shutter button is half-pressed, a full-press switch that is turned on when the shutter button is fully pressed, a mode selector that selects a shooting mode such as a tracking shooting mode, and a focus detection area. The direction key for selecting is included.

制御回路17はCPU17aとメモリ17bなどの周辺部品を備え、バス18を介して上述したカメラの各回路および機器と接続され、カメラの各種の制御と演算を行う。また、制御回路17は、マイクロコンピューターのソフトウエア形態により被写体追尾機能、類似度算出機能、距離算出機能などを有する。これらの機能については詳細を後述する。   The control circuit 17 includes peripheral components such as a CPU 17a and a memory 17b, and is connected to the above-described camera circuits and devices via the bus 18 to perform various controls and operations of the camera. The control circuit 17 has a subject tracking function, a similarity calculation function, a distance calculation function, and the like depending on the software form of the microcomputer. Details of these functions will be described later.

図2において、非撮影時にはメインミラー25とサブミラー26が撮影レンズ22の光路中に置かれる。この状態で、撮影レンズ22を透過した被写体光束の一部はメインミラー25で反射され、拡散スクリーン27に導かれて被写体像(以下、ファインダー像という)を結像する。このファインダー像はコンデンサーレンズ28、ペンタプリズム29、ビームスプリッター30、接眼レンズ31を介して撮影者の目へ導かれるとともに、ビームスプリッター30で一部が上方へ分割され、回折格子32、測光レンズ33を介して測光素子1へ導かれる。   In FIG. 2, the main mirror 25 and the sub mirror 26 are placed in the optical path of the photographing lens 22 when not photographing. In this state, a part of the subject luminous flux transmitted through the photographing lens 22 is reflected by the main mirror 25 and guided to the diffusion screen 27 to form a subject image (hereinafter referred to as a finder image). This viewfinder image is guided to the photographer's eyes through a condenser lens 28, a pentaprism 29, a beam splitter 30, and an eyepiece lens 31, and a part of the viewfinder image is divided upward by the beam splitter 30 to form a diffraction grating 32 and a photometric lens 33. To the photometric element 1 via

回折格子32は光の回折現象を利用して光束を波長ごとに分光する。図5に示すように、回折格子32により被写体の1点から出た光を測光素子1上に分光して入射させることによって、図3に示す測光素子1の各RGB画素上にそれぞれの波長の光が入射する。これにより、偽色補正を行うことができ、追尾対象の被写体の色情報に基づいて被写体を追尾する場合に正しい色情報を検出することができる。   The diffraction grating 32 uses the light diffraction phenomenon to split the light flux for each wavelength. As shown in FIG. 5, the light emitted from one point of the subject by the diffraction grating 32 is split and incident on the photometric element 1, so that each of the RGB pixels of the photometric element 1 shown in FIG. Light enters. Thereby, false color correction can be performed, and correct color information can be detected when the subject is tracked based on the color information of the subject to be tracked.

非撮影時にはまた、被写体光束の一部がメインミラー25を透過し、サブミラー26で反射されてAFモジュール21へ導かれ、AFモジュール21の焦点検出素子3で各焦点検出エリアごとの一対の被写体像のズレ量が検出される。   When not photographing, a part of the subject luminous flux is transmitted through the main mirror 25, reflected by the sub mirror 26 and guided to the AF module 21, and a pair of subject images for each focus detection area by the focus detection element 3 of the AF module 21. The amount of deviation is detected.

撮影時には、メインミラー25とサブミラー26が25’の位置まで跳ね上げられ、撮影レンズ22の撮影光路から退避される。この状態で、絞り23が所定の絞り値まで絞り込まれ、シャッター24が所定のシャッター秒時だけ開放されて、撮像素子5による撮像が行われる。シャッター秒時が経過した後、シャッター24が閉じられてメインミラー25とサブミラー26が撮影光路に戻され、絞り23が開放される。   At the time of photographing, the main mirror 25 and the sub mirror 26 are flipped up to the position 25 'and are retracted from the photographing optical path of the photographing lens 22. In this state, the aperture 23 is reduced to a predetermined aperture value, the shutter 24 is opened only for a predetermined shutter time, and imaging by the image sensor 5 is performed. After the shutter time elapses, the shutter 24 is closed, the main mirror 25 and the sub mirror 26 are returned to the photographing optical path, and the aperture 23 is opened.

次に、被写体追尾方法について説明する。この一実施の形態では、撮影した画像の中の、撮影者が指定した追尾対象領域(追尾枠)あるいはカメラが自動で設定した追尾対象領域の画像データをテンプレート画像データ(基準画像データ)としてバッファー7に記憶し、その後に繰り返し撮影される画像の中からパターンマッチング法によりテンプレート画像データと一致する画像データの領域を検索し、テンプレート画像データと一致する画像データの領域を撮影者の意図する被写体領域と見なし、追尾枠をその領域へ移動して被写体を追尾する。この一実施の形態では、テンプレート画像データとして追尾対象領域(追尾枠)内の各画素のRGB出力を記憶する。   Next, the subject tracking method will be described. In this embodiment, the image data of the tracking target area (tracking frame) designated by the photographer or the tracking target area automatically set by the camera in the captured image is buffered as template image data (reference image data). 7 is searched for a region of image data that matches the template image data by a pattern matching method from the images that are repeatedly captured after that, and the region of the image data that matches the template image data is searched for the subject intended by the photographer. Considering the area, the tracking frame is moved to that area and the subject is tracked. In this embodiment, the RGB output of each pixel in the tracking target area (tracking frame) is stored as template image data.

上記パターンマッチングに際しては、追尾枠を囲むように演算領域を定め、演算領域内でテンプレートを上下左右に少しずつずらしながら、テンプレート画像データの各画素のRGB出力と、演算領域内の比較対象領域の画像データのRGB出力とを比較する。そして、対応する画素どうしの出力の差を求め、全画素の差の総和を残差量として算出する。演算領域内においてテンプレートを上下左右にずらしながら残差量算出処理を行い、残差量が最も小さい比較対象領域を類似度が最も高い被写体、すなわち追尾対象の被写体であるとする。なお、被写体追尾方法は上述した方法に限定されるものではなく、すでに周知の多くの方法を用いることができる。   In the above pattern matching, the calculation area is defined so as to surround the tracking frame, and the RGB output of each pixel of the template image data and the comparison target area in the calculation area are gradually shifted in the calculation area in the vertical and horizontal directions. The RGB output of the image data is compared. Then, an output difference between corresponding pixels is obtained, and a sum of differences of all pixels is calculated as a residual amount. Residual amount calculation processing is performed while shifting the template up, down, left, and right within the calculation region, and it is assumed that the comparison target region with the smallest residual amount is the subject with the highest similarity, that is, the subject to be tracked. Note that the subject tracking method is not limited to the above-described method, and many already known methods can be used.

この一実施の形態では、基本的には上述した被写体追尾方法により残差量が小さい、すなわち類似度が高いとされた領域の被写体を追尾被写体とするが、追尾被写体を類似度が最も高いものだけに限定せず、類似度の高い順に複数の追肥被写体候補を設定する。つまり、類似度が最高の領域の被写体を追尾被写体の第1候補に、次に類似度が高い領域の被写体を追尾被写体の第2候補に、その次に類似度が高い領域の被写体を追尾被写体の第3候補にそれぞれ設定する。そして、これらの第1候補から第3候補までの追尾被写体を同時に追尾する。   In this embodiment, basically, the subject in the region where the residual amount is small by the subject tracking method described above, that is, the similarity is high is set as the tracking subject, but the tracking subject has the highest similarity. A plurality of additional fertilizer subject candidates are set in descending order of similarity. That is, the subject in the region with the highest similarity is the first candidate for the tracking subject, the subject in the region with the next highest similarity is the second candidate for the tracking subject, and the subject in the region with the next highest similarity is the tracking subject. Are set as third candidates. The tracking subjects from the first candidate to the third candidate are tracked simultaneously.

図6および図7は一実施の形態の複数の追尾被写体候補による追尾方法を説明するための図であり、図は追尾被写体候補の遷移を示し、図は画面内における追尾被写体候補の追尾枠の移動を示す。なお、図中の記号Phase1、Phase2、・・は残差量算出ごとの被写体追尾の場面を表す。また、図において、円形領域は画面内の複数の被写体を表し、四角形の領域は追尾被写体候補の領域を表す。まず、Phase1で、測光素子1により撮影した画像上で追尾対象領域(追尾枠)の初期位置を手動で指定、または自動で設定する。図のPhase1では、画面中央の円形領域で示す被写体に対して太線の四角形の追尾枠が設定されている。
6 and 7 are diagrams for explaining a tracking method using a plurality of tracking subject candidates according to an embodiment. FIG. 6 shows the transition of the tracking subject candidate. FIG. 7 shows the tracking of the tracking subject candidate in the screen. Indicates the movement of the frame. The symbols Phase1, Phase2,... In the figure represent subject tracking scenes for each residual amount calculation. In FIG. 7 , a circular area represents a plurality of subjects in the screen, and a rectangular area represents a tracking subject candidate area. First, in Phase 1, the initial position of the tracking target area (tracking frame) is manually designated or automatically set on the image photographed by the photometric element 1. In Phase 1 of FIG. 7, a thick rectangular tracking frame is set for the subject indicated by the circular area in the center of the screen.

Phase2において、次の撮影画像上で上述した被写体追尾処理を行い、類似度の高い順に追尾被写体の第1候補2−1、第2候補2−2、第3候補2−3を算出する。図のPhase2では、第1候補の追尾枠を太線の四角形で示し、第2候補と第3候補の追尾枠を細線の四角形で示す。なお、以下では上述した被写体追尾処理を行うたびに、第1候補から第3候補までの追尾枠内の画像データをバッファー7に記憶しておく。
In Phase 2, the subject tracking process described above is performed on the next photographed image, and the first candidate 2-1, the second candidate 2-2, and the third candidate 2-3 of the tracking subject are calculated in descending order of similarity. In Phase 2 of FIG. 7 , the tracking frame of the first candidate is indicated by a bold rectangle, and the tracking frame of the second candidate and the third candidate is indicated by a thin rectangle. In the following description, every time the subject tracking process described above is performed, the image data in the tracking frame from the first candidate to the third candidate is stored in the buffer 7.

Phase3では、次の撮影画像に対する被写体追尾処理行って類似度の高い順に追尾被写体の第1候補3−1、第2候補3−2、第3候補3−3を算出する。そして、各候補どうしの類似度の差を求め、各候補どうしの類似度の差が予め定めたしきい値以下であれば、前回の追尾枠を今回の追尾枠で更新する。もし、いずれかの候補の類似度と他の候補の類似度との差が予め定めたしきい値より大きい場合には、当該候補を追尾被写体の候補から外す。Phase4において、次の撮影画像に対する被写体追尾処理を行って類似度の高い順に3つの追尾被写体を算出したところ、従来の第1候補と第2候補との類似度が逆転したので、第1候補4−2、第2候補4−1、第3候補4−3とし、各追尾枠を更新する。   In Phase 3, subject tracking processing is performed on the next captured image, and the first candidate 3-1, the second candidate 3-2, and the third candidate 3-3 of the tracking subject are calculated in descending order of similarity. Then, the difference in similarity between the candidates is obtained, and if the difference in similarity between the candidates is equal to or less than a predetermined threshold, the previous tracking frame is updated with the current tracking frame. If the difference between the similarity of any candidate and the similarity of another candidate is greater than a predetermined threshold, the candidate is excluded from the tracking subject candidates. In Phase 4, when subject tracking processing is performed on the next captured image and three tracking subjects are calculated in descending order of similarity, the similarity between the conventional first candidate and the second candidate is reversed, so the first candidate 4 -2, second candidate 4-1, and third candidate 4-3, and update each tracking frame.

続くPhase5で、次の撮影画像に対する上記被写体追尾処理を行って類似度の高い順に3つの追尾被写体を算出したところ、前回の第3候補4−3に対応する追尾枠で検出された類似度が、予め設定した追尾被写体と判定するためのしきい値よりも低いために(この一実施の形態では、残差量が予め設定した追尾被写体判定しきい値より高い)、前回の第3候補4−3に対応する追尾枠を無効とし、その追尾枠で囲まれた被写体を追尾被写体候補としない。図のPhase5では、類似度がしきい値より低いために無効とされた追尾枠を破線の四角形で示す。追尾被写体候補が1つ減ったため、前回のPhase4で第1候補4−2に採用した追尾枠の画像をテンプレート画像として上述した被写体追尾処理を行い、第1候補5−2−1と第2候補5−2−2を算出するとともに、前回の第2候補4−1に対応する追尾枠を第3候補5−1として算出する。この結果、1つの追尾枠が無効とされてもふたたび3つの追尾被写体候補を設定することができる。
In the subsequent Phase 5, when the subject tracking process for the next captured image is performed and three tracking subjects are calculated in descending order of similarity, the similarity detected in the tracking frame corresponding to the previous third candidate 4-3 is obtained. Since the threshold value is lower than the preset threshold value for determining the tracking subject (in this embodiment, the residual amount is higher than the preset tracking subject determination threshold value), the previous third candidate 4 The tracking frame corresponding to -3 is invalidated, and the subject surrounded by the tracking frame is not regarded as a tracking subject candidate. In Phase 5 of FIG. 7 , the tracking frame that is invalidated because the similarity is lower than the threshold value is indicated by a broken-line rectangle. Since the number of tracking subject candidates has decreased by one, the above-described subject tracking processing is performed using the image of the tracking frame adopted as the first candidate 4-2 in the previous Phase 4 as a template image, and the first candidate 5-2-1 and the second candidate 5-2-2 is calculated, and the tracking frame corresponding to the previous second candidate 4-1 is calculated as the third candidate 5-1. As a result, even if one tracking frame is invalidated, three tracking subject candidates can be set again.

Phase6において、次の撮影画像に対する上記被写体追尾処理を行って類似度の高い順に3つの追尾被写体を算出すると、従来の第1候補と第2候補との類似度が逆転したので、第1候補6−2−2−1、第2候補6−2−1として追尾枠を更新する。さらに、前回のPhase5の第3候補5−1に対応する追尾枠は、新しい第1候補6−2−2−1と第2候補6−2−1の追尾枠までの画面上の距離が、追尾被写体と判定するためのしきい値より大きいため、前回の第3候補5−1に対応する追尾枠を無効とし、その追尾枠で囲まれた被写体を追尾被写体候補としない。図のPhase6では、距離が離れてしまって無効とされた追尾枠を破線の四角形で示す。追尾被写体候補が1つ減ったため、今回の第1候補6−2−2−1の前回の追尾枠5−2−2の画像をテンプレート画像として上述した被写体追尾処理を行い、第3候補6−2−2−2として算出する。この結果、1つの追尾枠が無効とされてもふたたび3つの追尾被写体候補を設定することができる。 In Phase 6, when the subject tracking process for the next captured image is performed and three tracking subjects are calculated in descending order of similarity, the similarity between the conventional first candidate and the second candidate is reversed. The tracking frame is updated as 2-2-1 and the second candidate 6-2-1. Furthermore, the tracking frame corresponding to the third candidate 5-1 of the previous Phase 5 is the distance on the screen to the tracking frame of the new first candidate 6-2-1 and the second candidate 6-2-1. Since it is larger than the threshold for determining a tracking subject, the tracking frame corresponding to the previous third candidate 5-1 is invalidated, and the subject surrounded by the tracking frame is not a tracking subject candidate. In Phase 6 of FIG. 7 , the tracking frame that has been invalidated due to a long distance is indicated by a broken-line rectangle. Since the number of tracking subject candidates has decreased by one, the above-described subject tracking processing is performed using the image of the previous tracking frame 5-2-2 of the current first candidate 6-2-2-1 as a template image, and the third candidate 6-2-1 Calculated as 2-2-2. As a result, even if one tracking frame is invalidated, three tracking subject candidates can be set again.

Phase7において、次の撮影画像上で上述した被写体追尾処理を行い、類似度の高い順に追尾被写体の第1候補7−2−2−1、第2候補7−2−1、第3候補7−2−2−2を算出し、上述したように各候補どうしの類似度の差を求め、各候補どうしの類似度の差が予め定めたしきい値以下であれば、前回の追尾枠を今回の追尾枠で更新する。   In Phase 7, the subject tracking process described above is performed on the next captured image, and the first candidate 7-2-2-1, second candidate 7-2-1 and third candidate 7- of the tracking subject in descending order of similarity. 2-2-2 is calculated, and the difference in similarity between the candidates is obtained as described above. If the difference in similarity between the candidates is equal to or less than a predetermined threshold, the previous tracking frame is Update with the tracking frame.

図8は一実施の形態の被写体追尾撮影処理を示すフローチャートである。制御回路17は、操作スイッチ類16に含まれる撮影モードセレクターにより追尾撮影モードが選択されるとこの処理を実行する。ステップ1において、測光素子1と測光回路2により被写界の測光を行い、測光結果の画像データをバッファー7に記憶する。また、焦点検出素子3と焦点検出回路4により各焦点検出エリアごとにデフォーカス量を検出し、ここでは例えば最至近を示すデフォーカス量にしたがってレンズ駆動回路11により焦点調節を行う。   FIG. 8 is a flowchart illustrating subject tracking imaging processing according to an embodiment. The control circuit 17 executes this process when the tracking shooting mode is selected by the shooting mode selector included in the operation switches 16. In step 1, photometry of the object scene is performed by the photometric element 1 and the photometric circuit 2, and image data of the photometric result is stored in the buffer 7. Further, the focus detection element 3 and the focus detection circuit 4 detect the defocus amount for each focus detection area, and here, for example, the lens drive circuit 11 performs focus adjustment according to the defocus amount indicating the closest distance.

ステップ2では、操作スイッチ類16に含まれる方向キーで撮影者が選択した焦点検出エリアを入力し、選択エリアに対応する測光素子1の複数の分割測光エリアの領域を撮影者が選択した追尾対象領域(追尾枠)として認識し、その追尾枠をファインダー表示器15によりファインダー像に重畳して表示する。ステップ3で操作スイッチ類16のレリーズ半押しスイッチによりレリーズ半押し操作を確認し、レリーズ半押し操作が行われたらステップ4へ進み、そうでなければステップ1へ戻って上述した処理を繰り返す。レリーズ半押し操作があると、ステップ4で撮影者が選択した追尾枠を初期追尾枠に決定する。   In step 2, the focus detection area selected by the photographer is input with the direction key included in the operation switches 16 and the tracking target selected by the photographer is selected from the plurality of divided photometry areas of the photometry element 1 corresponding to the selected area. It is recognized as a region (tracking frame), and the tracking frame is superimposed on the finder image by the finder display 15 and displayed. In step 3, the release half-press switch of the operation switch 16 is confirmed, and if the release half-press operation is performed, the process proceeds to step 4; otherwise, the process returns to step 1 to repeat the above-described processing. When the release half-press operation is performed, the tracking frame selected by the photographer in step 4 is determined as the initial tracking frame.

なお、この一実施の形態では方向キーで焦点検出エリアを選択して初期追尾枠を設定する例を示すが、画面中央に追尾対象の被写体を捕捉した状態でレリーズ半押し操作があったら、画面中央に初期追尾枠を設定する方法や、焦点検出の結果、最至近のデフォーカス量を示す焦点検出エリアの位置に追尾枠を自動的に設定する方法など、初期追尾枠の設定方法は種々の方法を採用することができる。また、この一実施の形態では追尾枠の大きさを、2行2列の分割測光エリアとするが、さらに大きな領域としてもよい。   In this embodiment, an example in which the focus detection area is selected with the direction key and the initial tracking frame is set is shown. However, if a release half-press operation is performed while the subject to be tracked is captured in the center of the screen, the screen There are various methods for setting the initial tracking frame, such as the method for setting the initial tracking frame in the center and the method for automatically setting the tracking frame at the position of the focus detection area that indicates the closest defocus amount as a result of focus detection. The method can be adopted. In this embodiment, the size of the tracking frame is a 2-by-2 divided photometry area, but it may be a larger area.

ステップ5において測光素子1と測光回路2により被写界の測光を行い、測光結果の画像データをバッファー7に記憶する。また、焦点検出素子3と焦点検出回路4により各焦点検出エリアごとにデフォーカス量を検出し、検出結果の各エリアのデフォーカス量をバッファー7に記憶する。続くステップ6では、測光結果の画像上で上述した被写体追尾処理を行い(図6〜図7参照)、追尾被写体の第1候補から第3候補を算出し、各候補の追尾枠をファインダー表示器15によりファインダー像に重畳して表示する。ステップ7では、追尾被写体の第1候補の追尾枠に対応する焦点検出エリアで検出されたデフォーカス量をバッファー7から読み出し、そのデフォーカス量にしたがってレンズ駆動回路10により撮影レンズ22の焦点調節を行う。   In step 5, photometry of the object scene is performed by the photometric element 1 and the photometric circuit 2, and image data of the photometric result is stored in the buffer 7. Further, the focus detection element 3 and the focus detection circuit 4 detect the defocus amount for each focus detection area, and store the defocus amount of each area of the detection result in the buffer 7. In the subsequent step 6, the above-described subject tracking processing is performed on the photometric result image (see FIGS. 6 to 7), the third candidate is calculated from the first candidate of the tracking subject, and the tracking frame of each candidate is displayed on the viewfinder display. 15 is displayed superimposed on the viewfinder image. In step 7, the defocus amount detected in the focus detection area corresponding to the tracking frame of the first candidate of the tracking subject is read from the buffer 7, and the lens drive circuit 10 adjusts the focus of the photographing lens 22 according to the defocus amount. Do.

ステップ8において操作スイッチ類16のレリーズ全押しスイッチによりレリーズ全押し操作を確認し、レリーズ全押し操作が行われたらステップ9へ進み、そうでなければステップ5へ戻って上述した処理を繰り返す。レリーズ全押し操作が行われたら、ステップ9でバッファー7から最新の測光結果(ステップ5における測光結果)を読み出し、被写体輝度を検出して露出演算を行う。そして、露出演算結果の絞り値で絞り駆動回路11により絞り調節を行うとともに、露出演算結果のシャッター秒時でシャッター駆動回路12によりシャッター24を駆動する。次に、ステップ10でミラー駆動回路13によりミラーアップを行って撮像素子5により撮像を行う。撮像後のステップ11で画像処理回路8で撮像画像を処理し、メモリカード9に画像を記録する。   In step 8, the release full-push operation of the operation switches 16 is confirmed by the release full-push switch. If the release full-push operation is performed, the process proceeds to step 9; otherwise, the process returns to step 5 and the above-described processing is repeated. When the release full-press operation is performed, in step 9, the latest photometric result (photometric result in step 5) is read from the buffer 7, and the subject brightness is detected to perform exposure calculation. Then, the aperture is adjusted by the aperture driving circuit 11 with the aperture value obtained as a result of the exposure calculation, and the shutter 24 is driven by the shutter driving circuit 12 when the shutter time is the exposure calculation result. Next, in step 10, the mirror drive circuit 13 performs mirror up and the image sensor 5 captures an image. In step 11 after imaging, the image processing circuit 8 processes the captured image and records the image on the memory card 9.

上述した一実施の形態では、初期追尾枠のテンプレート画像データの更新を行わないことを前提に説明したが、上述した被写体追尾処理ごとにテンプレート画像データを更新してもよい。例えば、追尾被写体の第1候補の追尾枠の画像データを新しいテンプレート画像データとしてもよいし、第1候補から第3候補の追尾枠の画像データの平均値もしくは加重加算平均値を新しいテンプレート画像データとしてもよい。あるいは、初期追尾枠のテンプレート画像データと、被写体追尾処理ごとに算出される第1候補の追尾枠の画像データとの加重加算平均値を新しいテンプレート画像データとしてもよい。   In the above-described embodiment, the description has been made on the assumption that the template image data of the initial tracking frame is not updated. However, the template image data may be updated for each subject tracking process described above. For example, the image data of the tracking frame of the first candidate of the tracking subject may be new template image data, or the average value or the weighted average value of the tracking data of the tracking frames of the first to third candidates is used as new template image data. It is good. Alternatively, the weighted average value of the template image data of the initial tracking frame and the image data of the first candidate tracking frame calculated for each subject tracking process may be used as new template image data.

また、上述した一実施の形態では、測光素子1により撮像した画像を用いて被写体追尾を行う例を示したが、非撮影時に撮像素子5で撮像した画像を用いて被写体追尾を行うようにしてもよい。さらに、上述した一実施の形態では、3個の追尾被写体候補を追尾する例を示したが、追尾する被写体候補の個数は3個に限定されず、2個または4個以上であってもよい。   In the above-described embodiment, an example in which subject tracking is performed using an image captured by the photometric element 1 has been described. However, subject tracking is performed by using an image captured by the image sensor 5 at the time of non-shooting. Also good. Furthermore, in the above-described embodiment, an example in which three tracking subject candidates are tracked has been shown. However, the number of subject candidates to be tracked is not limited to three, and may be two or four or more. .

一実施の形態によれば、測光素子1によって撮像した画像のうち、被写体追尾の対象とする部分を基準画像(テンプレート画像)として設定する。次に、測光素子1により撮像された画像内の複数の部分領域と基準画像との類似度をそれぞれ求め、複数の部分領域のうち類似度の高い順に選択した複数の部分領域の位置を、対象の新たな位置の複数の候補として抽出するとともに、複数の候補のうちの1つを対象の新たな位置として認識する。そして、測光素子1によって新たに撮像される次画像のうちの複数の候補に対応する位置を基にして、次画像から新たに複数の候補を抽出して次画像用候補とするとともに、これらの次画像用候補の中から次画像における対象の新たな位置を認識するようにした。これにより、追尾対象の被写体を誤って他の被写体を追尾する対象と認識した場合でも、当初の追尾対象の被写体に復帰させることができる。例えば、同じユニフォームを着た複数のサッカー選手の一人を追尾している際に、選手の向きによって別の選手を追尾対象として認識してしまった場合でも、後のタイミングで本来の追尾対象である選手の向きが変わった時点で復帰するようになる。   According to one embodiment, a portion to be subject tracking is set as a reference image (template image) among images captured by the photometric element 1. Next, the degree of similarity between each of the plurality of partial areas in the image captured by the photometric element 1 and the reference image is obtained, and the positions of the plurality of partial areas selected in descending order of similarity among the plurality of partial areas are determined as targets. Are extracted as a plurality of candidates for the new position, and one of the candidates is recognized as a new position of the target. Then, based on positions corresponding to a plurality of candidates among the next images newly captured by the photometric element 1, a plurality of candidates are newly extracted from the next image to be candidates for the next image, and these The new position of the object in the next image is recognized from the candidates for the next image. As a result, even if the subject to be tracked is mistakenly recognized as a subject to be tracked by another subject, it can be returned to the original subject to be tracked. For example, when one of a plurality of soccer players wearing the same uniform is being tracked, even if another player is recognized as a tracking target depending on the player's orientation, it is the original tracking target at a later timing. It will return when the player's orientation changes.

また、一実施の形態によれば、抽出された候補の類似度が所定値より低下した場合には、当該候補を候補から外すようにしたので、追尾対象の被写体を含む可能性が高い複数の候補を正確に捕捉し続けることができる。   Further, according to one embodiment, when the similarity of the extracted candidate is lower than a predetermined value, the candidate is excluded from the candidate. Candidates can continue to be captured accurately.

一実施の形態によれば、抽出された候補どうしの類似度の差を算出し、いずれかの候補と他の複数の候補との類似度の差が所定値より大きくなった場合には、当該候補を候補から外すようにしたので、追尾対象の被写体を含む可能性が高い複数の候補を正確に捕捉し続けることができる。   According to an embodiment, a difference in similarity between extracted candidates is calculated, and when a difference in similarity between any candidate and a plurality of other candidates is greater than a predetermined value, Since the candidates are excluded from the candidates, it is possible to continue to accurately capture a plurality of candidates that are likely to include the subject to be tracked.

一実施の形態によれば、抽出された候補どうしの画像上における距離を算出し、いずれかの候補と他の複数の候補との距離が所定値より大きくなった場合には、当該候補を候補から外すようにしたので、追尾対象の被写体を含む可能性が高い複数の候補を正確に捕捉し続けることができる。   According to an embodiment, the distance between the extracted candidates on the image is calculated, and when the distance between any one of the candidates and the plurality of other candidates is greater than a predetermined value, the candidate is selected as a candidate. Therefore, it is possible to continue to accurately capture a plurality of candidates that are likely to include the subject to be tracked.

一実施の形態によれば、類似度の高い順に所定個数の候補を設定し、その内のいずれかが候補から外れた場合には、前回の抽出において最高の類似度とされた候補の画像と類似度が高い部分領域を検索し、当該部分領域を新しい候補に設定するようにしたので、追尾対象の被写体を含む可能性が高い複数の候補領域を正確に捕捉し続けることができる。   According to one embodiment, a predetermined number of candidates are set in descending order of similarity, and if any of them is out of the candidates, the candidate image having the highest similarity in the previous extraction and Since a partial area having a high degree of similarity is searched and the partial area is set as a new candidate, a plurality of candidate areas that are likely to include the subject to be tracked can be accurately captured.

一実施の形態の一眼レフレックス・ディジタルカメラの電気回路を示すブロック図1 is a block diagram showing an electric circuit of a single-lens reflex digital camera of an embodiment; 一実施の形態の一眼レフレックス・ディジタルカメラの機構を示す横断面図Cross-sectional view showing mechanism of single-lens reflex digital camera of one embodiment 一実施の形態の測光素子の構成を示す図The figure which shows the structure of the photometric element of one embodiment. 測光素子の分割測光エリアと焦点検出素子の焦点検出エリアとの対応関係を示す図The figure which shows the correspondence of the division | segmentation photometry area of a photometry element, and the focus detection area of a focus detection element 回折格子の作用を説明する図Diagram explaining the action of diffraction grating 一実施の形態の複数の追尾被写体候補による追尾方法を説明するための図The figure for demonstrating the tracking method by the some tracking subject candidate of one Embodiment 一実施の形態の複数の追尾被写体候補による追尾方法を説明するための図The figure for demonstrating the tracking method by the some tracking subject candidate of one Embodiment 一実施の形態の被写体追尾撮影処理を示すフローチャートFlowchart showing subject tracking imaging processing of an embodiment

符号の説明Explanation of symbols

1 測光素子
4 焦点検出回路
7 バッファー
9 メモリカード
10 レンズ駆動回路
16 操作スイッチ類
17 制御回路
22 撮影レンズ
DESCRIPTION OF SYMBOLS 1 Photometry element 4 Focus detection circuit 7 Buffer 9 Memory card 10 Lens drive circuit 16 Operation switch 17 Control circuit 22 Shooting lens

Claims (9)

光学系により結像される像を撮像する撮像素子と、
前記撮像素子によって撮像した画像のうち、対象とする部分を基準画像として設定する基準画像設定手段と、
前記撮像素子により撮像された画像内の複数の部分領域と前記基準画像との類似度をそれぞれ求め、前記複数の部分領域のうち前記類似度の高い順に選択した複数の部分領域の位置を、前記対象の新たな位置の複数の候補として抽出する候補抽出手段と、
前記複数の候補のうちの1つを前記対象の新たな位置として認識する認識手段と、
前記撮像素子によって新たに撮像される次画像のうちの前記複数の候補に対応する位置を基にして、前記候補抽出手段によって前記次画像から新たに前記複数の候補を抽出して次画像用候補とするとともに、該次画像用候補の中から前記認識手段によって前記次画像における前記対象の新たな位置を認識する制御手段とを備え、
前記制御手段は、類似度の高い順に所定個数の前記候補を設定し、その内のいずれかが前記候補から外れた場合には、前記候補抽出手段による前回の抽出において最高の類似度とされた候補の画像と類似度が高い部分領域を検索し、当該部分領域を新しい前記候補に設定することを特徴とする画像追尾装置。
An image sensor for imaging an image formed by an optical system;
Reference image setting means for setting a target portion as a reference image among images captured by the image sensor;
The similarity between the plurality of partial areas in the image captured by the image sensor and the reference image is obtained, and the positions of the plurality of partial areas selected in descending order of the similarity among the plurality of partial areas, Candidate extraction means for extracting as a plurality of candidates for the new position of the target;
Recognizing means for recognizing one of the plurality of candidates as a new position of the target;
Based on positions corresponding to the plurality of candidates in the next image newly picked up by the imaging device, the candidate extraction unit newly extracts the plurality of candidates from the next image, and And a control means for recognizing a new position of the target in the next image by the recognition means from among candidates for the next image,
The control means sets a predetermined number of the candidates in descending order of similarity, and when any of them is out of the candidates, the highest similarity is obtained in the previous extraction by the candidate extraction means. An image tracking apparatus that searches for a partial area having a high similarity to a candidate image and sets the partial area as a new candidate .
光学系により結像される像を撮像する撮像素子と、
前記撮像素子によって撮像した画像のうち、対象とする部分を基準画像として設定する基準画像設定手段と、
前記撮像素子により撮像された画像内の複数の部分領域と前記基準画像との類似度をそれぞれ求め、前記複数の部分領域のうち前記類似度の高い順に選択した複数の部分領域の位置を、前記対象の新たな位置の複数の候補として抽出する候補抽出手段と、
前記複数の候補のうちの1つを前記対象の新たな位置として認識する認識手段と、
前記複数のそれぞれの候補に対応する位置を基にして、前記撮像素子により新たに撮像される次画像から、前記候補抽出手段によって新たに前記複数の候補を抽出することにより前記それぞれの候補を更新するとともに、該更新された候補の中から前記認識手段によって前記次画像における前記対象の新たな位置を認識する制御手段とを備えることを特徴とする画像追尾装置。
An image sensor for imaging an image formed by an optical system;
Reference image setting means for setting a target portion as a reference image among images captured by the image sensor;
The similarity between the plurality of partial areas in the image captured by the image sensor and the reference image is obtained, and the positions of the plurality of partial areas selected in descending order of the similarity among the plurality of partial areas, Candidate extraction means for extracting as a plurality of candidates for the new position of the target;
Recognizing means for recognizing one of the plurality of candidates as a new position of the target;
Based on the position corresponding to each of the plurality of candidates, the candidate extraction unit newly extracts the plurality of candidates from the next image newly picked up by the imaging device, thereby updating the candidates. And an image tracking apparatus comprising: a control unit that recognizes a new position of the target in the next image by the recognition unit from the updated candidates .
請求項1または請求項2に記載の画像追尾装置において、
前記制御手段は、前記候補抽出手段により抽出された前記候補の類似度が所定値より低下した場合には、当該候補を候補から外すことを特徴とする画像追尾装置。
In the image tracking device according to claim 1 or 2,
The image tracking device according to claim 1, wherein when the similarity of the candidate extracted by the candidate extraction unit is lower than a predetermined value, the control unit removes the candidate from the candidate.
請求項1または請求項2に記載の画像追尾装置において、
前記制御手段は、前記候補抽出手段により抽出された前記候補どうしの類似度の差を算出し、いずれかの候補と他の複数の候補との類似度の差が所定値より大きくなった場合には、当該候補を候補から外すことを特徴とする画像追尾装置。
In the image tracking device according to claim 1 or 2,
The control means calculates a difference in similarity between the candidates extracted by the candidate extraction means, and when a difference in similarity between any candidate and a plurality of other candidates is greater than a predetermined value. Is an image tracking device characterized in that the candidate is excluded from the candidates.
請求項1または請求項2に記載の画像追尾装置において、
前記制御手段は、前記候補抽出手段により抽出された前記候補どうしの画像上における距離を算出し、いずれかの候補と他の複数の候補との距離が所定値より大きくなった場合には、当該候補を候補から外すことを特徴とする画像追尾装置。
In the image tracking device according to claim 1 or 2,
The control means calculates a distance on the image of the candidates extracted by the candidate extraction means, and if the distance between any candidate and a plurality of other candidates is larger than a predetermined value, the control means An image tracking apparatus, wherein a candidate is excluded from the candidates.
請求項1〜5のいずれか1項に記載の画像追尾装置において、
前記基準画像設定手段は、前記認識手段によって前記対象の新たな位置として認識された位置の画像に基づいて更新された前記基準画像を設定することを特徴とする画像追尾装置。
In the image tracking device according to any one of claims 1 to 5 ,
The image tracking device, wherein the reference image setting unit sets the updated reference image based on an image at a position recognized as a new position of the target by the recognition unit .
請求項1〜6のいずれか1項に記載の画像追尾装置を備えた撮像装置であって、
前記撮像素子により撮像した画像を記録する記録手段を備えることを特徴とする撮像装置。
An imaging apparatus comprising the image tracking device according to any one of claims 1 to 6,
An image pickup apparatus comprising recording means for recording an image picked up by the image pickup element.
請求項7に記載の撮像装置において、
前記光学系の撮影画面内の複数の焦点検出領域で前記光学系の焦点調節状態を検出する焦点検出手段と、
前記認識手段により認識された位置に対応する前記焦点検出領域で検出された焦点調節状態に基づいて、前記光学系の焦点調節を行う焦点調節手段とを備えることを特徴とする撮像装置。
The imaging apparatus according to claim 7,
A focus detection means for detecting a focus adjustment state of the optical system in a plurality of focus detection areas in a photographing screen of the optical system;
An imaging apparatus comprising: a focus adjustment unit that performs focus adjustment of the optical system based on a focus adjustment state detected in the focus detection region corresponding to the position recognized by the recognition unit.
請求項8に記載の撮像装置において、
前記光学系の撮影画面内の前記複数の焦点検出領域の中から、撮影者がいずれかを選択するための選択部材を備え、
前記基準画像設定手段は、前記撮像素子による撮像画像のうち、前記選択部材により選択された前記焦点検出領域に対応する領域を前記対象とすることを特徴とする撮像装置。
The imaging device according to claim 8,
A selection member for a photographer to select one of the plurality of focus detection areas in the imaging screen of the optical system;
The imaging apparatus according to claim 1, wherein the reference image setting unit targets an area corresponding to the focus detection area selected by the selection member in an image captured by the imaging element.
JP2007017527A 2007-01-29 2007-01-29 Image tracking device and imaging device Active JP4935380B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007017527A JP4935380B2 (en) 2007-01-29 2007-01-29 Image tracking device and imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007017527A JP4935380B2 (en) 2007-01-29 2007-01-29 Image tracking device and imaging device

Publications (2)

Publication Number Publication Date
JP2008187331A JP2008187331A (en) 2008-08-14
JP4935380B2 true JP4935380B2 (en) 2012-05-23

Family

ID=39730095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007017527A Active JP4935380B2 (en) 2007-01-29 2007-01-29 Image tracking device and imaging device

Country Status (1)

Country Link
JP (1) JP4935380B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4760918B2 (en) * 2009-01-23 2011-08-31 カシオ計算機株式会社 Imaging apparatus, subject tracking method, and program
JP5110043B2 (en) * 2009-06-18 2012-12-26 株式会社ニコン Imaging device
US8520131B2 (en) 2009-06-18 2013-08-27 Nikon Corporation Photometric device, imaging device, and camera

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130784A (en) * 1995-08-25 1997-05-16 Matsushita Electric Works Ltd Automatic tracking method and its device
JP4013684B2 (en) * 2002-07-23 2007-11-28 オムロン株式会社 Unauthorized registration prevention device in personal authentication system
JP2004112537A (en) * 2002-09-19 2004-04-08 Ricoh Co Ltd Imaging apparatus, imaging method, and program for executing the method

Also Published As

Publication number Publication date
JP2008187331A (en) 2008-08-14

Similar Documents

Publication Publication Date Title
US8605942B2 (en) Subject tracking apparatus, imaging apparatus and subject tracking method
JP4872834B2 (en) Image recognition device, focus adjustment device, and imaging device
US9761010B2 (en) Tracking apparatus
JP5247076B2 (en) Image tracking device, focus adjustment device, and imaging device
US10033919B2 (en) Focus adjusting apparatus, focus adjusting method, image capturing apparatus, and storage medium
US8542941B2 (en) Imaging device, image detecting method and focus adjusting method
US8411159B2 (en) Method of detecting specific object region and digital camera
US8823863B2 (en) Image capturing apparatus and control method therefor
US20160088215A1 (en) Focus adjustment apparatus and control method therefor
JP5403111B2 (en) Image tracking device
JP5056136B2 (en) Image tracking device
JP4888249B2 (en) Focus detection apparatus and imaging apparatus
JP4935380B2 (en) Image tracking device and imaging device
JP5070856B2 (en) Imaging device
JP5858658B2 (en) Imaging device
JP4985155B2 (en) Focus adjustment device and imaging device
JP5418180B2 (en) Digital camera
JP5447579B2 (en) Tracking device, focus adjustment device, and photographing device
JP5233646B2 (en) Image tracking device, imaging device, and image tracking method
JP5176845B2 (en) Image tracking device and imaging device
JP2012093775A (en) Focus detector and imaging apparatus
JP5347834B2 (en) Image tracking device
JP4973369B2 (en) Image processing apparatus and imaging apparatus
JP2010072284A (en) Focusing unit for camera
CN104427248A (en) Image capture apparatus and method for controlling the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110914

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4935380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250