JP5836761B2 - Focus adjustment apparatus and control method thereof - Google Patents

Focus adjustment apparatus and control method thereof Download PDF

Info

Publication number
JP5836761B2
JP5836761B2 JP2011242428A JP2011242428A JP5836761B2 JP 5836761 B2 JP5836761 B2 JP 5836761B2 JP 2011242428 A JP2011242428 A JP 2011242428A JP 2011242428 A JP2011242428 A JP 2011242428A JP 5836761 B2 JP5836761 B2 JP 5836761B2
Authority
JP
Japan
Prior art keywords
focus detection
tracking
subject
photometric
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011242428A
Other languages
Japanese (ja)
Other versions
JP2013097312A (en
Inventor
武士 阪口
武士 阪口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011242428A priority Critical patent/JP5836761B2/en
Publication of JP2013097312A publication Critical patent/JP2013097312A/en
Application granted granted Critical
Publication of JP5836761B2 publication Critical patent/JP5836761B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、焦点調節装置に関し、特に被写体追尾機能を有するカメラ等に好適な焦点調節装置及びその制御方法に関するものである。   The present invention relates to a focus adjustment apparatus, and more particularly to a focus adjustment apparatus suitable for a camera having a subject tracking function and a control method thereof.

従来から、位相差検出方式による焦点調節装置において、複数の焦点検出位置を備えるものが知られている。この種の焦点調節装置には、測光センサーから出力される画像から追尾対象とする被写体の領域をテンプレート画像とし、連続して撮像される画像毎にテンプレート画像と類似する像の位置を検出し、これに対応する焦点検出位置を選択する(所謂、被写体追尾機能)ものがある。   2. Description of the Related Art Conventionally, a focus adjustment device using a phase difference detection method has been known that includes a plurality of focus detection positions. In this type of focus adjustment apparatus, a region of a subject to be tracked is set as a template image from an image output from a photometric sensor, and a position of an image similar to the template image is detected for each image captured continuously, There is one that selects a focus detection position corresponding to this (so-called subject tracking function).

このような被写体追尾機能を有する焦点調節において、追尾被写体を誤認識する場合や、追尾被写体の位置に対応する焦点検出位置で焦点検出不能になる場合、追尾被写体の位置で焦点状態を検出することができないおそれがある。これに対し、例えば、特許文献1では、複数の焦点検出位置で焦点状態を検出した結果、すべて焦点検出不能であれば、さらに多くの焦点検出位置で焦点状態を検出する方法が提案されている。   In the focus adjustment having such a subject tracking function, when the tracking subject is erroneously recognized or when focus detection becomes impossible at the focus detection position corresponding to the position of the tracking subject, the focus state is detected at the position of the tracking subject. You may not be able to. On the other hand, for example, Patent Document 1 proposes a method for detecting a focus state at a larger number of focus detection positions if all focus detection is impossible as a result of detection of focus states at a plurality of focus detection positions. .

特開2009−265239号公報JP 2009-265239 A

しかしながら、上記特許文献1は、焦点状態を検出可能な焦点検出領域内において、段階的に焦点検出位置を拡げていくというもので、焦点検出領域外において追尾被写体の位置が検出されたときに最適な焦点検出位置を選択するものではない。   However, the above-mentioned patent document 1 expands the focus detection position in a stepwise manner within the focus detection area where the focus state can be detected, and is optimal when the position of the tracking subject is detected outside the focus detection area. The focus detection position is not selected.

本発明の目的は、被写体が大きく移動する場合や、手ぶれなどで被写体が焦点検出領域から外れる場合でも、追尾被写体の位置に基づいて最適な焦点検出位置を選択可能にすることで追尾性能を向上させた焦点調節装置を提供することである。   The object of the present invention is to improve tracking performance by enabling the selection of the optimum focus detection position based on the position of the tracking subject even when the subject moves greatly or the subject moves out of the focus detection area due to camera shake or the like. Is to provide a focused focusing device.

上記目的を達成するために、本願第1の発明は、複数の焦点検出領域を備え、撮像光学系を通過した被写体からの光束の分割方向における相対的位置ずれ量に基づいて焦点状態を検出する焦点検出手段と、前記撮像光学系によって形成される被写体像を複数の測光領域に分割して測光し、前記測光領域毎に測光情報を出力する測光手段と、指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定手段と、前記測光手段で引き続き出力される測光情報から、前記設定手段が保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾手段とを有し、前記焦点検出手段は、前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域内である場合、前記追尾被写体位置に対応する前記焦点検出領域を用いて焦点検出を行い、前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域外である場合、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行い、所定時間経過後、前記被写体追尾手段による追尾の信頼性が閾値より低ければ、前記設定手段は、前記抽出領域を再設定することを特徴とする焦点調節装置である。 In order to achieve the above object, the first invention of the present application includes a plurality of focus detection areas, and detects a focus state based on a relative positional shift amount in a division direction of a light beam from a subject that has passed through an imaging optical system. A focus detection unit, a photometric unit that divides a subject image formed by the imaging optical system into a plurality of photometric regions, and outputs photometric information for each of the photometric regions, and a photometric region corresponding to a specified tracking subject A photometric information similar to the photometric information of the extraction area held by the setting means, from a setting means for holding the photometric information of the extraction area and the photometric information subsequently output by the photometric means. Subject tracking means that sequentially detects the photometric area as a tracking subject position, and the focus detection means detects the tracking subject position detected by the subject tracking means as the focus detection area. If the tracking subject position detected by the subject tracking means is outside the focus detection region, focus detection is performed using the focus detection region corresponding to the tracking subject position. the have line focus detection using the focus detection area, after a predetermined time elapses, if lower than the reliability of the tracking threshold by the subject tracking unit, the setting means, and characterized by reconfiguring the extracted region Focusing device.

本願第2の発明は、複数の焦点検出領域を備え、撮像光学系を通過した被写体からの光束の分割方向における相対的位置ずれ量に基づいて焦点状態を検出する焦点検出ステップと、前記撮像光学系によって形成される被写体像を複数の測光領域に分割して測光し、前記測光領域毎に測光情報を出力する測光ステップと、指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定ステップと、前記測光ステップにより引き続き出力される測光情報から、前記設定ステップで保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾ステップとを有し、前記焦点検出ステップにおいて、前記被写体追尾ステップで検出された追尾被写体位置が前記焦点検出領域内である場合、前記追尾被写体位置に対応する前記焦点検出領域を用いて焦点検出を行い、前記被写体追尾ステップで検出された追尾被写体位置が前記焦点検出領域外である場合、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行い、所定時間経過後、前記被写体追尾ステップによる追尾の信頼性が閾値より低ければ、前記設定ステップにおいて、前記抽出領域を再設定することを特徴とする焦点調節装置の制御方法である。 A second invention of the present application includes a focus detection step that includes a plurality of focus detection areas and detects a focus state based on a relative positional shift amount in a split direction of a light beam from a subject that has passed through the imaging optical system; The subject image formed by the system is divided into a plurality of photometric areas, and the photometric step for outputting the photometric information for each photometric area, and the photometric area corresponding to the specified tracking subject are set as the extraction areas, A photometric area having photometric information similar to the photometric information of the extraction area held in the setting step is set as a tracking subject position from the setting step of holding photometric information of the extraction area and the photometry information continuously output by the photometric step. Subject tracking step that sequentially detects, and in the focus detection step, the tracking subject position detected in the subject tracking step is If it is within the focus detection area, focus detection is performed using the focus detection area corresponding to the tracking subject position, and the tracking subject position detected in the subject tracking step is outside the focus detection area, There line focus detection using the focus detection area in the vicinity of the tracked object position, after a predetermined time has elapsed, if lower than the reliability threshold tracking by the object tracking step, in said setting step, resetting the extraction region A control method for a focus adjusting apparatus.

本発明によれば、被写体が大きく移動する場合や、手ぶれなどで被写体が焦点検出領域から外れる場合でも、追尾被写体の位置に基づいて最適な焦点検出位置を選択可能にすることで追尾性能を向上させた焦点調節装置を提供することができる。   According to the present invention, the tracking performance is improved by making it possible to select the optimum focus detection position based on the position of the tracking subject even when the subject moves greatly or the subject moves out of the focus detection area due to camera shake or the like. A focused focusing device can be provided.

本実施形態に関わる焦点検出装置のブロック図である。It is a block diagram of the focus detection apparatus concerning this embodiment. 本実施形態に関わる焦点検出装置の構成の模式図である。It is a schematic diagram of a structure of the focus detection apparatus concerning this embodiment. 本実施形態に関わる焦点検出装置の焦点検出センサーと測光センサーの模式図である。It is a schematic diagram of the focus detection sensor and photometry sensor of the focus detection apparatus according to the present embodiment. 本実施形態に関わる焦点検出装置の動作フローを説明する図である。It is a figure explaining the operation | movement flow of the focus detection apparatus in connection with this embodiment. 本実施形態に関わる焦点検出装置の被写体追尾処理のフローを説明する図である。It is a figure explaining the flow of the subject tracking process of the focus detection apparatus concerning this embodiment. 本実施形態に関わる焦点検出装置の被写体追尾処理を説明する図である。It is a figure explaining the subject tracking process of the focus detection apparatus concerning this embodiment. 本実施形態に関わる焦点検出装置の被写体追尾処理を説明する図である。It is a figure explaining the subject tracking process of the focus detection apparatus concerning this embodiment. 本実施形態に関わる焦点検出装置の焦点検出位置の設定のフローを説明する図である。It is a figure explaining the flow of the setting of the focus detection position of the focus detection apparatus concerning this embodiment. 本実施形態に関わる抽出領域の設定のフローを説明する図である。It is a figure explaining the flow of the setting of the extraction area | region in connection with this embodiment. 本実施形態に関わる焦点検出装置の焦点検出位置の設定と抽出領域の設定を説明する図である。It is a figure explaining the setting of the focus detection position of the focus detection apparatus concerning this embodiment, and the setting of an extraction area | region. 本実施形態に関わる焦点検出装置の焦点検出位置の設定と抽出領域の設定を説明する図である。It is a figure explaining the setting of the focus detection position of the focus detection apparatus concerning this embodiment, and the setting of an extraction area | region.

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図1は、本発明の実施形態に関わるカメラ100(焦点検出装置)のブロック図を示したものである。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 shows a block diagram of a camera 100 (focus detection apparatus) according to an embodiment of the present invention.

図1において、撮像素子107は、撮像光学系101を通過した被写体光学像を形成するCCDやCMOSセンサー等である。撮像素子107は、複数の画素から成り、撮像光学系101によって形成される被写体像を光電変換して撮像信号を出力する。絞りシャッター110は、カメラ100本体内に入射する光の量を調節する。シャッター111は、撮像素子107の露光時間を調節する。   In FIG. 1, an image sensor 107 is a CCD, a CMOS sensor, or the like that forms a subject optical image that has passed through the imaging optical system 101. The image sensor 107 includes a plurality of pixels, photoelectrically converts a subject image formed by the imaging optical system 101, and outputs an imaging signal. The aperture shutter 110 adjusts the amount of light incident on the camera 100 main body. The shutter 111 adjusts the exposure time of the image sensor 107.

図1では、主ミラー102が撮影光束内に挿入された状態(ミラーダウン)を示している。半透過部を有する主ミラー102は、撮影時には撮影光束外へ退避し、焦点検出時には撮影光束内(光路中)に斜設される。また、主ミラー102は、撮影光束内に斜設された状態で、撮像光学系101を通過した光束の一部をピント板103、ペンタプリズム104、及び、接眼レンズ105から構成されるファインダ光学系に導く。該光束が測光光学系109に入射し、撮像光学系101を通過した被写体光学像の輝度信号と色差信号が検出される。   FIG. 1 shows a state where the main mirror 102 is inserted in the imaging light beam (mirror down). The main mirror 102 having the semi-transmissive portion is retracted out of the photographing light beam at the time of photographing, and is obliquely installed in the photographing light beam (in the optical path) at the time of detecting the focus. The main mirror 102 is a finder optical system that includes a focus plate 103, a pentaprism 104, and an eyepiece lens 105 for a part of the light beam that has passed through the imaging optical system 101 while being inclined in the photographing light beam. Lead to. The luminous flux enters the photometric optical system 109, and the luminance signal and color difference signal of the subject optical image that has passed through the imaging optical system 101 are detected.

サブミラー106は、主ミラー102の動作に同期して主ミラー102に対して折り畳み、展開可能に構成されている。主ミラー102の半透過部を通過した光束の一部は、サブミラー106によって下方へ反射され、位相差方式の測距光学系108に入射し、撮像光学系101の焦点状態が検出される。   The sub mirror 106 is configured to be foldable and unfoldable with respect to the main mirror 102 in synchronization with the operation of the main mirror 102. A part of the light beam that has passed through the semi-transmissive portion of the main mirror 102 is reflected downward by the sub-mirror 106 and enters the phase difference type distance measuring optical system 108, and the focus state of the imaging optical system 101 is detected.

次に、本発明の実施形態に関わるカメラ100の機能について、図2と図3の模式図を用いて説明する。なお、図2において、図1と同じ構成要素には同じ参照番号を付している。また、図3において、図2と同じ構成要素には同じ参照番号を付している。   Next, functions of the camera 100 according to the embodiment of the present invention will be described with reference to the schematic diagrams of FIGS. In FIG. 2, the same components as those in FIG. 1 are denoted by the same reference numerals. In FIG. 3, the same components as those in FIG. 2 are denoted by the same reference numerals.

システム制御部201は、カメラ100全体の制御を行うCPU、記憶装置であるRAMなどから構成され、AF制御部202など後述する各部の動作を適宜制御する。AF制御部202は、システム制御部201に接続され、測距光学系108に備え付けられた焦点検出センサー203を駆動する。焦点検出センサー203は、図3(a)に示す61点の焦点検出位置301の配置に対応する一対のラインセンサー302で構成されている。AF制御部202は、サブミラー106を介して入射される被写体からの光束を電気信号に変換し、該光束の分割方向における一対の像信号のずれ量に基づいて各ラインセンサーに対応する焦点検出位置のデフォーカス量を計算する。   The system control unit 201 includes a CPU that controls the entire camera 100, a RAM that is a storage device, and the like, and appropriately controls the operation of each unit described later such as the AF control unit 202. The AF control unit 202 is connected to the system control unit 201 and drives the focus detection sensor 203 provided in the distance measuring optical system 108. The focus detection sensor 203 includes a pair of line sensors 302 corresponding to the arrangement of the 61 focus detection positions 301 shown in FIG. The AF control unit 202 converts the light flux from the subject incident through the sub mirror 106 into an electric signal, and the focus detection position corresponding to each line sensor based on the shift amount of the pair of image signals in the division direction of the light flux. Calculate the defocus amount.

AE制御部204は、システム制御部201に接続され、測光光学系109に備え付けられた測光センサー205を駆動する。測光センサー205は、図3(b)に示す複数の測光領域に分割され、各測光領域303においてRGB成分を検出する複数画素から構成されている。AE制御部204は、撮像光学系101を通過した被写体光学像の光束を電気信号に変換し、測光画像データを読み出し、このデータに基づいて自動露出演算を行い、結果をシステム制御部201に出力する。システム制御部201は、AE制御部204から出力された自動露出演算の結果に基づいて、絞りシャッター110の絞りを制御し、カメラ本体内に入射する光の量を調節する。さらに、AE制御部204は、レリーズ時にシャッター111を制御し、撮像素子107の露光時間を調節する。   The AE control unit 204 is connected to the system control unit 201 and drives a photometric sensor 205 provided in the photometric optical system 109. The photometric sensor 205 is divided into a plurality of photometric areas shown in FIG. 3B, and is composed of a plurality of pixels that detect RGB components in each photometric area 303. The AE control unit 204 converts the light beam of the subject optical image that has passed through the imaging optical system 101 into an electrical signal, reads photometric image data, performs automatic exposure calculation based on this data, and outputs the result to the system control unit 201. To do. The system control unit 201 controls the aperture of the aperture shutter 110 based on the result of the automatic exposure calculation output from the AE control unit 204, and adjusts the amount of light that enters the camera body. Further, the AE control unit 204 controls the shutter 111 at the time of release to adjust the exposure time of the image sensor 107.

また、AE制御部204は、測光センサー205から読み出した測光画像データを用いて被写体追尾を行い、被写体の位置データをシステム制御部201に出力する。システム制御部201は、AE制御部204から出力された追尾被写体の位置データをAF制御部202に出力する。AF制御部202は、システム制御部201から出力された追尾対象位置とその近傍にある焦点検出位置のデフォーカス量を計算し、最適な1つの焦点検出位置を選択する。   The AE control unit 204 performs subject tracking using photometric image data read from the photometric sensor 205 and outputs subject position data to the system control unit 201. The system control unit 201 outputs the tracking subject position data output from the AE control unit 204 to the AF control unit 202. The AF control unit 202 calculates the defocus amount of the tracking target position output from the system control unit 201 and a focus detection position in the vicinity thereof, and selects an optimum focus detection position.

レンズ制御部206は、システム制御部201に接続され、撮像光学系101を駆動する。ミラー制御部207は、システム制御部201に接続され、主ミラー102を撮影光束外へ駆動する。撮像素子制御部208は、システム制御部201に接続され、撮像素子107を駆動し、撮像光学系101によって形成される被写体像を光電変換してシステム制御部201に撮像信号を出力する。デジタル信号処理部209は、システム制御部201に接続され、撮像素子制御部208を介して撮像素子107から読み出される撮像信号について、シェーディング補正やガンマ補正などの画像処理を施す。   The lens control unit 206 is connected to the system control unit 201 and drives the imaging optical system 101. The mirror control unit 207 is connected to the system control unit 201 and drives the main mirror 102 out of the imaging light beam. The image sensor control unit 208 is connected to the system control unit 201, drives the image sensor 107, photoelectrically converts the subject image formed by the imaging optical system 101, and outputs an image signal to the system control unit 201. The digital signal processing unit 209 is connected to the system control unit 201 and performs image processing such as shading correction and gamma correction on the image signal read from the image sensor 107 via the image sensor control unit 208.

操作部210は、システム制御部201に接続され、カメラ100(撮像素子)の電源をオン・オフするための電源スイッチ、レリーズボタンなど、カメラ100(撮像素子)を操作するための操作部材が設けられている。これらのスイッチやボタンを操作すると、その操作に応じた信号がシステム制御部201に入力される。なお、レリーズボタンには、撮影者により操作されるレリーズボタンの第1ストローク操作(半押し操作)によりONするレリーズスイッチSW1と、レリーズボタンの第2ストローク操作(全押し操作)によりONするレリーズスイッチSW2とが接続されている。   The operation unit 210 is connected to the system control unit 201 and is provided with operation members for operating the camera 100 (imaging device) such as a power switch and a release button for turning on / off the power of the camera 100 (imaging device). It has been. When these switches and buttons are operated, a signal corresponding to the operation is input to the system control unit 201. The release button includes a release switch SW1 that is turned on by a first stroke operation (half-pressing operation) of the release button operated by a photographer, and a release switch that is turned on by a second stroke operation (full-pressing operation) of the release button. SW2 is connected.

ここで、図3(a)と(b)を用いて本実施形態の焦点検出センサー203の焦点検出領域と測光センサー205の測光領域について説明する。なお、図3において図2と同じ構成要素には同じ参照番号を付している。焦点検出センサー203の焦点検出領域は、図3(a)に示す61点の焦点検出位置と、それに対応して配置されたラインセンサー302からなる。図3(b)において、測光センサー205は、複数の測光領域303に分割されている。   Here, the focus detection area of the focus detection sensor 203 and the photometry area of the photometry sensor 205 of this embodiment will be described with reference to FIGS. In FIG. 3, the same components as those in FIG. 2 are denoted by the same reference numerals. The focus detection area of the focus detection sensor 203 is composed of 61 focus detection positions shown in FIG. 3A and a line sensor 302 arranged corresponding thereto. In FIG. 3B, the photometric sensor 205 is divided into a plurality of photometric areas 303.

続いて、図4を用いて本実施形態に関わるカメラ100の動作フローを説明する。なお、図4において、図1および図2と同じ構成要素には同じ参照番号を付している。   Subsequently, an operation flow of the camera 100 according to the present embodiment will be described with reference to FIG. In FIG. 4, the same components as those in FIGS. 1 and 2 are denoted by the same reference numerals.

図4では、システム制御部201、AF制御部202、AE制御部204の3つの制御部が並列的に動作していることを示している。システム制御部201は、ステップ401で操作部210のレリーズボタンからレリーズスイッチSW1またはSW2の入力を受け付け、ステップ402のAE/AFにおいてAF制御部202およびAE制御部204の処理を開始させる。その後、システム制御部201は、ステップ403のミラーアップ動作においてミラー制御部207を介して主ミラー102を撮影光束外へ駆動させる。また、システム制御部201は、ステップ404の撮像において撮像素子制御部208を介して撮像素子107を駆動させる。さらに、システム制御部201は、ステップ405のミラーダウン動作において、ミラー制御部207を介して主ミラー102を撮影光束内に駆動する。   FIG. 4 shows that the three control units of the system control unit 201, the AF control unit 202, and the AE control unit 204 operate in parallel. In step 401, the system control unit 201 receives an input from the release switch SW1 or SW2 from the release button of the operation unit 210, and starts processing of the AF control unit 202 and the AE control unit 204 in AE / AF of step 402. Thereafter, the system control unit 201 drives the main mirror 102 out of the imaging light beam via the mirror control unit 207 in the mirror-up operation in step 403. Further, the system control unit 201 drives the image sensor 107 via the image sensor control unit 208 in the imaging at step 404. Further, the system control unit 201 drives the main mirror 102 into the photographing light beam via the mirror control unit 207 in the mirror down operation in step 405.

AF制御部202は、レリーズスイッチSW1またはSW2の入力を受け付けたシステム制御部201からのAF開始データD01を受けて動作を開始する。   The AF control unit 202 starts the operation in response to the AF start data D01 from the system control unit 201 that has received the input of the release switch SW1 or SW2.

ステップ406では、AF制御部202は、焦点検出センサー203に蓄積を行う。ステップ407では、AF制御部202は、焦点検出センサー203から像信号を読み出す。ステップ408では、AF制御部202は、読み出した像信号に基づいて焦点検出演算を行い、各焦点検出位置のデフォーカス量を計算し、最適な1つの焦点検出位置を選択する。ここで、システム制御部201から後述するデータD04が通知されるのを待つ。   In step 406, the AF control unit 202 performs accumulation in the focus detection sensor 203. In step 407, the AF control unit 202 reads an image signal from the focus detection sensor 203. In step 408, the AF control unit 202 performs a focus detection calculation based on the read image signal, calculates a defocus amount at each focus detection position, and selects one optimum focus detection position. Here, the system control unit 201 waits for notification of data D04 described later.

AE制御部204は、レリーズスイッチSW1またはSW2の入力を受け付けたシステム制御部201からのAE開始データD02を受けて動作を開始する。   The AE control unit 204 receives the AE start data D02 from the system control unit 201 that has received the input of the release switch SW1 or SW2, and starts its operation.

ステップ411では、AE制御部204は、測光センサー205に電荷蓄積を行う。ステップ412では、AE制御部204は、測光センサー205から輝度信号および色差信号を持つ画像データを読み出す。ステップ413では、AE制御部204は、被写体追尾を行う。被写体追尾では、後述する追尾テンプレート生成ステップ417で生成されたテンプレート画像を追尾対象とし、ステップ412で読み出した画像データとテンプレートマッチングを行う。これにより追尾被写体の位置を検出し、テンプレートマッチングの結果に基づいて追尾の信頼性を求める。詳細な処理の説明は後述する。   In step 411, the AE control unit 204 accumulates charges in the photometric sensor 205. In step 412, the AE control unit 204 reads out image data having a luminance signal and a color difference signal from the photometric sensor 205. In step 413, the AE control unit 204 performs subject tracking. In subject tracking, a template image generated in a tracking template generation step 417 described later is set as a tracking target, and template matching is performed with the image data read out in step 412. Thereby, the position of the tracking subject is detected, and the reliability of tracking is obtained based on the result of template matching. Detailed processing will be described later.

AE制御部204は、ステップ413で検出した追尾被写体の位置と追尾の信頼性のデータをD03としてシステム制御部201に通知する。システム制御部201は、AE制御部204から追尾被写体の位置と追尾の信頼性のデータD03が通知されると、AF制御部202に追尾被写体の位置と追尾の信頼性のデータD03をD04として通知する。   The AE control unit 204 notifies the system control unit 201 of the tracking subject position and tracking reliability data detected in step 413 as D03. Upon receiving the tracking subject position and tracking reliability data D03 from the AE control unit 204, the system control unit 201 notifies the AF control unit 202 of the tracking subject position and tracking reliability data D03 as D04. To do.

AF制御部202は、追尾被写体の位置と追尾の信頼性のデータD04が通知されると、ステップ409において追尾被写体の位置に対応する焦点検出位置を設定する。さらにステップ410において、AF制御部202は、その焦点検出位置のデフォーカス量を計算し、ステップ408で予め選択した1つの焦点検出位置と比較し、最適な1つの焦点検出位置を選択する。AF制御部202は、この選択した焦点検出位置の情報をデータD05としてシステム制御部201に通知する。ステップ409の焦点検出位置の設定の詳細な説明は後述する。ステップ414では、AE制御部204は、ステップ412で読み出した画像データに基づいて露出演算を行い、結果をデータD06としてシステム制御部201に通知する。   When notified of the tracking subject position and tracking reliability data D04, the AF control unit 202 sets a focus detection position corresponding to the tracking subject position in step 409. In step 410, the AF control unit 202 calculates the defocus amount of the focus detection position, compares it with the one focus detection position previously selected in step 408, and selects the optimum focus detection position. The AF control unit 202 notifies the system control unit 201 of information on the selected focus detection position as data D05. Detailed description of the setting of the focus detection position in step 409 will be described later. In step 414, the AE control unit 204 performs an exposure calculation based on the image data read in step 412, and notifies the result to the system control unit 201 as data D06.

ステップ415では、ステップ412で読み出した画像データに基づいて顔検出する。顔検出についてはすでに多くの手法が提案されており、詳細な説明は省略する。例えば、特開平8−63597号公報では、人の顔の形状に相当する顔候補領域を決定し、この顔候補領域の特徴量から顔領域を決定するような手法が提案されている。また、画像から人の顔の輪郭を抽出することにより顔候補領域を検出する手法や、顔の様々な形状をした複数のテンプレートとの相関値を計算し、この相関値に基づいて顔候補領域とする手法が提案されている。   In step 415, face detection is performed based on the image data read in step 412. Many methods have already been proposed for face detection, and a detailed description thereof will be omitted. For example, Japanese Patent Laid-Open No. 8-63597 proposes a method of determining a face candidate area corresponding to the shape of a human face and determining the face area from the feature amount of the face candidate area. In addition, a method for detecting a face candidate area by extracting the outline of a human face from an image and a correlation value with a plurality of templates having various shapes of the face are calculated, and the face candidate area is calculated based on the correlation value. A method has been proposed.

ステップ416で、AE制御部204は、ステップ415で検出された顔の領域、AF選択焦点検出位置情報、テンプレート生成要求フラグで構成されるデータD07に基づいて、ステップ412で読み出した画像データからテンプレートとして抽出する領域を決定する。領域の決定においては、ステップ415で顔検出が成立したかどうかで分岐処理を行う。まず、ステップ415で顔検出が成立した場合には、AE制御部204は、検出した顔の領域を中心とする一定領域をテンプレート抽出領域に設定する。一方、ステップ415で顔検出が成立しなかった場合には、AE制御部204は、直前の被写体追尾処理ステップ413で検出した追尾対象位置を中心とする一定領域をテンプレート抽出領域に設定する。   In step 416, the AE control unit 204 generates a template from the image data read in step 412 based on the data D07 including the face area detected in step 415, the AF selected focus detection position information, and the template generation request flag. The area to be extracted is determined. In determining the area, branch processing is performed depending on whether or not face detection is established in step 415. First, if face detection is established in step 415, the AE control unit 204 sets a certain area centered on the detected face area as the template extraction area. On the other hand, if face detection is not established in step 415, the AE control unit 204 sets a certain region centered on the tracking target position detected in the immediately preceding subject tracking processing step 413 as the template extraction region.

上記は顔の領域を優先して追尾させるための処理であるが、被写体追尾処理の結果に応じて、顔検出が成立しても直前の被写体追尾処理ステップ413で検出した追尾対象位置を中心とする一定領域をテンプレート抽出領域に設定しても良い。   The above is a process for preferentially tracking the face area. However, depending on the result of the subject tracking process, even if face detection is established, the tracking target position detected in the immediately preceding subject tracking process step 413 is used as the center. A certain area to be set may be set as the template extraction area.

ステップ417では、AE制御部204は、ステップ416で設定したテンプレートの抽出領域内の色分布を計算し、追尾対象の特徴色を検出する。特徴色の検出は次のようにして行う。まず、テンプレート抽出領域内の各画素の色信号をRGB色データに変換し、R信号、G信号、B信号のそれぞれの強さに基づいてRGBヒストグラムを作成する。これをテンプレート抽出領域内の全ての画素について行い、最も度数の多い色を追尾対象の特徴色とする。   In step 417, the AE control unit 204 calculates the color distribution in the template extraction region set in step 416, and detects the characteristic color to be tracked. The feature color is detected as follows. First, the color signal of each pixel in the template extraction region is converted into RGB color data, and an RGB histogram is created based on the strength of each of the R signal, G signal, and B signal. This is performed for all the pixels in the template extraction area, and the color with the highest frequency is set as the characteristic color to be tracked.

続いて、ステップ413の被写体追尾処理について図5と図6を用いて説明する。図5は、被写体追尾処理のフローチャートを示した図であり、すべてAE制御部204が処理を行う。図6(a)では、図3(a)と同様に61点の焦点検出位置が示されている。撮影者が選択した焦点検出位置601に基づいて、ステップ416において図6(b)の入力画像602からテンプレート抽出領域603aが設定され、図6(c)のテンプレート画像603bが生成される。   Next, the subject tracking process in step 413 will be described with reference to FIGS. FIG. 5 is a flowchart of the subject tracking process, and the AE control unit 204 performs the process. In FIG. 6A, 61 focus detection positions are shown as in FIG. Based on the focus detection position 601 selected by the photographer, a template extraction region 603a is set from the input image 602 in FIG. 6B in step 416, and a template image 603b in FIG. 6C is generated.

ステップ501では、AE制御部204は、測光センサー205から読み出したカラー画像データに対して色変換処理を行い、図6(d)の色変換画像606を生成する。具体的には、前の駒の追尾テンプレート生成ステップ417で抽出された特徴色(図6(c)の斜線部分の色)を高輝度に、それ以外の色を低輝度に変換する。これは、追尾対象の特徴色を強調した状態で輝度画像を生成することでテンプレートマッチングの演算負荷を小さくするためである。   In step 501, the AE control unit 204 performs color conversion processing on the color image data read from the photometric sensor 205, and generates a color converted image 606 in FIG. Specifically, the characteristic color (the shaded portion in FIG. 6C) extracted in the tracking template generation step 417 of the previous frame is converted to high luminance, and the other colors are converted to low luminance. This is because the calculation load of template matching is reduced by generating a luminance image in a state where the characteristic color to be tracked is emphasized.

ステップ502では、前の駒の追尾テンプレート生成ステップ417で作成したテンプレート画像603bを用いてテンプレートマッチングを行い、色変換画像606の中でテンプレート画像と最も相関の高い(類似した)領域を検出する。AE制御部204は、この最も相関の高い領域について、追尾被写体の位置607と相関量に基づいて求められる追尾の信頼性をデータD03としてシステム制御部201に通知する。システム制御部201は、追尾被写体の位置607と追尾の信頼性をデータD04としてAF制御部202に通知する。   In step 502, template matching is performed using the template image 603b created in the tracking template generation step 417 of the previous frame, and a region having the highest correlation (similar) with the template image is detected in the color conversion image 606. The AE control unit 204 notifies the system control unit 201 of the tracking reliability obtained based on the tracking subject position 607 and the correlation amount as data D03 for the region having the highest correlation. The system control unit 201 notifies the AF control unit 202 of the tracking subject position 607 and tracking reliability as data D04.

なお、テンプレートマッチングの方法としては、相互相関関数や、残差逐次検定法などを用いれば良い。また、追尾の信頼性を求めるには、相関量が設定した閾値よりも高ければ追尾の信頼性が高いと判断し、閾値よりも低ければ追尾の信頼性が低いと判断すれば良い。テンプレートマッチングおよび追尾の信頼性を求める方法は、これらの方法に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   As a template matching method, a cross-correlation function, a residual sequential test method, or the like may be used. Further, in order to obtain the tracking reliability, it is determined that the tracking reliability is high if the correlation amount is higher than the set threshold value, and that the tracking reliability is low if the correlation amount is lower than the threshold value. The method for obtaining the reliability of template matching and tracking is not limited to these methods, and various modifications and changes can be made within the scope of the gist.

続いて、ステップ410の焦点検出位置再選択について図7を用いて説明する。   Subsequently, the focus detection position reselection in step 410 will be described with reference to FIG.

ステップ410では、AF制御部202は、システム制御部201からデータD04として通知される追尾被写体の位置607に対応する図7の焦点検出位置604を設定する。AF制御部202は、設定された焦点検出位置604とその周囲の焦点検出位置605a〜dのデフォーカス量を計算し、最適な1つの焦点検出位置を選択する。   In step 410, the AF control unit 202 sets the focus detection position 604 in FIG. 7 corresponding to the position 607 of the tracking subject notified as data D04 from the system control unit 201. The AF control unit 202 calculates the defocus amounts of the set focus detection position 604 and the surrounding focus detection positions 605a to 605d, and selects one optimum focus detection position.

ここで、周囲の焦点検出位置605a〜dのデフォーカス量を計算するのは、追尾被写体の位置607が焦点検出位置と焦点検出位置の間に存在する場合があるからである。追尾被写体の位置607と焦点検出位置604の位置が一致する場合は周囲の焦点検出位置605a〜dのデフォーカス量を計算しないようにしても良い。また、追尾の信頼性に応じて、信頼性が高いなら周囲の焦点検出位置605a〜dのデフォーカス量を計算しないようにしても良い。   Here, the defocus amounts of the surrounding focus detection positions 605a to 605d are calculated because the tracking subject position 607 may exist between the focus detection position and the focus detection position. When the tracking subject position 607 and the focus detection position 604 coincide with each other, the defocus amounts of the surrounding focus detection positions 605a to 605d may not be calculated. Further, depending on the reliability of tracking, if the reliability is high, the defocus amounts of the surrounding focus detection positions 605a to 605d may not be calculated.

以下、図8を用いて、本発明の実施例によるステップ409の焦点検出位置の設定について説明する。   Hereinafter, the setting of the focus detection position in step 409 according to the embodiment of the present invention will be described with reference to FIG.

ステップ701では、システム制御部201からAF制御部202にデータD04として通知される追尾の信頼性に応じて、AF制御部202は、追尾が成立したがどうかを判定する。追尾の信頼性が高ければ追尾が成立したと判定し、ステップ702へ進む。一方、追尾の信頼性が低ければ、焦点検出位置は設定せずに、ステップ408で予め選択した焦点検出位置の情報をD05としてシステム制御部201に通知する。   In step 701, the AF control unit 202 determines whether or not the tracking has been established in accordance with the tracking reliability notified from the system control unit 201 to the AF control unit 202 as data D04. If the tracking reliability is high, it is determined that tracking has been established, and the process proceeds to step 702. On the other hand, if the tracking reliability is low, the focus detection position is not set, and the information on the focus detection position previously selected in step 408 is notified to the system control unit 201 as D05.

ステップ702では、システム制御部201からAF制御部202にデータD04として通知される追尾被写体の位置が焦点検出センサー203の焦点検出領域内か外かの判定を行う。追尾被写体の位置が焦点検出領域内であればステップ703へ進み、焦点検出領域外であればステップ704へ進む。   In step 702, it is determined whether the position of the tracking subject notified from the system control unit 201 to the AF control unit 202 as data D04 is within or outside the focus detection area of the focus detection sensor 203. If the position of the tracking subject is within the focus detection area, the process proceeds to step 703, and if it is outside the focus detection area, the process proceeds to step 704.

ステップ703では、AF制御部202は、追尾被写体の位置に対応する焦点検出位置を設定する。   In step 703, the AF control unit 202 sets a focus detection position corresponding to the position of the tracking subject.

ステップ704では、AF制御部202は、追尾被写体の位置が初めて焦点検出領域外になったかどうかを判定する。初めてであればステップ705へ進み、初めてでなければステップ706へ進む。   In step 704, the AF control unit 202 determines whether or not the position of the tracking subject is outside the focus detection area for the first time. If it is the first time, the process proceeds to step 705, and if not, the process proceeds to step 706.

ステップ705では、AF制御部202は、現在の時刻を記憶する。これを領域外タイマーとする。   In step 705, the AF control unit 202 stores the current time. This is the out-of-area timer.

ステップ706では、AF制御部202は、ステップ705で記憶した時刻からの経過時間を計り、設定された時間を経過したかどうかを判定する。設定された時間を経過していなければステップ707へ進み、経過していればステップ708へ進む。   In step 706, the AF control unit 202 measures the elapsed time from the time stored in step 705, and determines whether the set time has elapsed. If the set time has not elapsed, the process proceeds to step 707, and if it has elapsed, the process proceeds to step 708.

ステップ707では、AF制御部202は、追尾被写体の位置の近傍の焦点検出位置を選択して設定する。   In step 707, the AF control unit 202 selects and sets a focus detection position near the position of the tracking subject.

ステップ708では、システム制御部201からAF制御部202にデータD04として通知される追尾の信頼性に応じて、信頼性が高ければステップ707へ進み、信頼性が低ければステップ709へ進む。   In step 708, according to the tracking reliability notified from the system control unit 201 to the AF control unit 202 as data D04, the process proceeds to step 707 if the reliability is high, and to step 709 if the reliability is low.

ステップ709では、AF制御部202は、AE制御部204に対して選択している焦点検出位置の位置でテンプレートを更新させるためにテンプレート生成要求フラグをセットする。テンプレート生成要求フラグは、ステップ707で選択した焦点検出位置とともにデータD05としてシステム制御部201に通知され、システム制御部201を介してデータD07としてAE制御部204に通知される。   In step 709, the AF control unit 202 sets a template generation request flag in order to update the template at the position of the focus detection position selected by the AE control unit 204. The template generation request flag is notified to the system control unit 201 as data D05 together with the focus detection position selected in step 707, and is notified to the AE control unit 204 as data D07 via the system control unit 201.

続いて、図9を用いて、本発明の実施例による、ステップ416の抽出領域の設定について説明する。   Subsequently, the setting of the extraction region in step 416 according to the embodiment of the present invention will be described with reference to FIG.

ステップ711では、AE制御部204は、被写体追尾処理が1回目か2回目以降かを判定する。1回目ならステップ712へ進み、2回目以降ならステップ715へ進む。   In step 711, the AE control unit 204 determines whether the subject tracking process is the first time or the second time or later. If it is the first time, the process proceeds to step 712.

ステップ712では、AE制御部204は、ステップ415で顔検出が成立したかどうかを判定する。顔検出が成立していなければステップ713へ進み、成立していればステップ714へ進む。   In step 712, the AE control unit 204 determines whether face detection is established in step 415. If face detection is not established, the process proceeds to step 713, and if it is established, the process proceeds to step 714.

ステップ713では、AE制御部204は、ユーザー選択焦点検出位置に対応する測光センサー205の測光領域を設定する。   In step 713, the AE control unit 204 sets a photometric area of the photometric sensor 205 corresponding to the user-selected focus detection position.

ステップ714では、AE制御部204は、ユーザー選択焦点検出位置に最も近い顔の領域を設定する。   In step 714, the AE control unit 204 sets the face area closest to the user-selected focus detection position.

ステップ715では、AE制御部204は、システム制御部201から通知されるデータD07のテンプレート生成要求フラグがセットされているかどうかの判定を行う。テンプレート生成要求フラグがセットされていればステップ716へ進み、セットされていなければ抽出領域の設定の処理を終了する。   In step 715, the AE control unit 204 determines whether or not the template generation request flag of the data D07 notified from the system control unit 201 is set. If the template generation request flag is set, the process proceeds to step 716. If not set, the extraction area setting process is terminated.

ステップ716では、AE制御部204は、システム制御部201から通知されるデータD07に含まれる選択された焦点検出位置に対応する測光領域を設定する。   In step 716, the AE control unit 204 sets a photometric area corresponding to the selected focus detection position included in the data D 07 notified from the system control unit 201.

以上、説明した本発明の実施例によれば、被写体が大きく移動したか、または、手ぶれなどで追尾被写体を焦点検出領域から外してしまっても、追尾対象とした被写体を追わせ続けることができる。   As described above, according to the embodiments of the present invention described above, even if the subject has moved greatly or the tracking subject is removed from the focus detection area due to camera shake or the like, it is possible to keep following the subject as the tracking target. .

図10(a)において、撮影者が焦点検出位置801を選択し、被写体Aを狙っているとする。図10(b)において、AE制御部204は、図9のステップ711の追尾回数の判定において追尾回数が1回目であることからステップ415の顔検出を行い、顔の領域804と805を検出したことを示している。この場合、図9のステップ712の顔検出の成立/不成立の判定において顔検出は成立している、したがって、ステップ714において、ユーザーが選択した焦点検出位置801に最も近い顔の領域804をテンプレートとして抽出する領域に設定する。そして、ステップ417により設定されたテンプレート抽出領域804から追尾対象の特徴色を設定し、追尾を開始する。   In FIG. 10A, it is assumed that the photographer selects the focus detection position 801 and aims at the subject A. In FIG. 10B, the AE control unit 204 detects the face area 804 and 805 by performing the face detection in step 415 because the tracking number is the first in the determination of the tracking number in step 711 in FIG. It is shown that. In this case, the face detection is established in the determination of the establishment / non-establishment of the face detection in step 712 in FIG. 9. Therefore, in step 714, the face region 804 closest to the focus detection position 801 selected by the user is used as a template. Set the area to be extracted. Then, the characteristic color to be tracked is set from the template extraction area 804 set in step 417, and tracking is started.

AF制御部202は、図4のステップ409の焦点検出位置の設定において、図8のステップ702により追尾被写体の位置804は焦点検出領域内であると判定し、ステップ703により追尾被写体の位置に対応する焦点検出位置802を設定する。そして、ステップ410の焦点検出位置再選択において、AF制御部202は、焦点検出位置802および周囲の焦点検出位置803a〜cの焦点検出位置のデフォーカス量を計算し、最適な1つの焦点検出位置を選択する。   In the setting of the focus detection position in step 409 in FIG. 4, the AF control unit 202 determines that the position 804 of the tracking subject is within the focus detection area in step 702 in FIG. 8, and corresponds to the position of the tracking subject in step 703. The focus detection position 802 to be set is set. In the focus detection position reselection in step 410, the AF control unit 202 calculates the defocus amounts of the focus detection positions of the focus detection position 802 and the surrounding focus detection positions 803a to 803c, and obtains one optimum focus detection position. Select.

続いて、図11(a)では、追尾を開始してから被写体が大きく移動したか、または、手ぶれなどで追尾被写体Aを焦点検出領から外してしまった場合を示している。このとき、AE制御部204は、図9のステップ711の追尾回数の判定において、追尾回数が2回目以降であるので、ステップ715へ進む。ステップ715のテンプレート生成要求フラグがセットされているかどうかの判定において、テンプレート生成要求フラグがセットされていないので抽出領域の設定を終了する。つまり、以前に抽出した追尾対象の特徴色を追尾し続ける。   Next, FIG. 11A shows a case where the subject has moved greatly after the start of tracking, or the tracking subject A has been removed from the focus detection area due to camera shake or the like. At this time, the AE control unit 204 proceeds to step 715 because the number of tracking is the second or later in the determination of the number of tracking in step 711 of FIG. In the determination of whether or not the template generation request flag is set in step 715, since the template generation request flag is not set, the extraction area setting is ended. That is, the characteristic color of the tracking target extracted previously is continuously tracked.

AF制御部202は、図4のステップ409の焦点検出位置の設定において、図8のステップ701の追尾成立の判定で追尾は成立しているのでステップ702に進む。ステップ702において、追尾被写体の位置808は焦点検出領域外であると判定し、ステップ704に進む。ステップ704において、初めての焦点検出領域外なので、ステップ705に進んで時刻を記憶し、ステップ707で追尾被写体の位置804の近傍の焦点検出位置802を設定する。そして、ステップ410の焦点検出位置再選択において、焦点検出位置806および周囲の焦点検出位置807a〜cの焦点検出位置のデフォーカス量を計算し、最適な1つの焦点検出位置を選択する。   In the setting of the focus detection position in step 409 in FIG. 4, the AF control unit 202 proceeds to step 702 because tracking is established in the determination of establishment of tracking in step 701 in FIG. 8. In step 702, the tracking subject position 808 is determined to be outside the focus detection area, and the process proceeds to step 704. In step 704, since it is outside the first focus detection area, the process proceeds to step 705, where the time is stored, and in step 707, a focus detection position 802 in the vicinity of the tracking subject position 804 is set. In the focus detection position reselection in step 410, the defocus amounts of the focus detection positions of the focus detection position 806 and the surrounding focus detection positions 807a to 807c are calculated, and one optimum focus detection position is selected.

AF制御部202は、ステップ706の領域外タイマー設定時間経過の判定において領域外タイマーが設定時間内の場合、ステップ707においてAE制御部204で追尾している被写体の位置の近傍の焦点検出位置を設定する。これにより、追尾被写体の領域の一部分で焦点状態を検出でき、追尾被写体が再び焦点検出領域内に戻ってきたときに大きく焦点検出位置を変更せずに追尾被写体の位置に対応する焦点検出位置で焦点状態を検出することができる。   If the out-of-region timer is within the set time in the determination of the out-of-region timer set time in step 706, the AF control unit 202 determines the focus detection position in the vicinity of the position of the subject tracked by the AE control unit 204 in step 707. Set. As a result, the focus state can be detected in a part of the tracking subject region, and when the tracking subject returns to the focus detection region again, the focus detection position is not changed greatly and the focus detection position corresponding to the tracking subject position is detected. The focus state can be detected.

一方、AF制御部202は、ステップ706の領域外タイマー設定時間経過の判定において領域外タイマーが設定時間を経過した場合、ステップ708において追尾の信頼性が高いかどうかを判定する。ステップ708において追尾の信頼性が高いと判定すれば、追尾被写体が再び焦点検出領域内に戻ってくる可能性があるとし、継続して被写体の位置の近傍の焦点検出位置を設定する。一方、追尾の信頼性が低いと判定すれば、追尾被写体が再び焦点検出領域内に戻ってくる可能性が低いとし、現在選択している焦点検出位置が追尾被写体の領域の一部分である可能性が高いことからステップ709においてテンプレート生成要求フラグをセットする。このテンプレート生成要求フラグがセットされると、AE制御部204は、図4のステップ416の抽出領域の設定において、図9のステップ715のテンプレート生成要求フラグがセットされているかどうかの判定で、ステップ716に進む。ステップ716では、AE制御部204は、追尾被写体の領域の一部分である可能性が高い現在選択している焦点検出位置に対応する測光領域をテンプレートの抽出領域に設定する。そして、図4のステップ417において、AE制御部204は、追尾対象とする特徴色を更新する。このように、本実施形態によれば、継続して追尾被写体の領域の一部分の焦点検出位置で焦点状態を検出できる。   On the other hand, if the out-of-region timer has passed the set time in the determination of the out-of-region timer set time elapse in step 706, the AF control unit 202 determines in step 708 whether the tracking reliability is high. If it is determined in step 708 that the tracking reliability is high, the tracking subject may return to the focus detection area again, and the focus detection position near the subject position is set continuously. On the other hand, if it is determined that the tracking reliability is low, the tracking subject is unlikely to return to the focus detection area again, and the currently selected focus detection position may be a part of the tracking subject area. In step 709, the template generation request flag is set. When the template generation request flag is set, the AE control unit 204 determines whether or not the template generation request flag in step 715 in FIG. 9 is set in the extraction area setting in step 416 in FIG. Proceed to 716. In step 716, the AE control unit 204 sets a photometric area corresponding to the currently selected focus detection position, which is likely to be a part of the area of the tracking subject, as a template extraction area. In step 417 in FIG. 4, the AE control unit 204 updates the characteristic color to be tracked. Thus, according to the present embodiment, it is possible to continuously detect the focus state at the focus detection position in a part of the tracked subject area.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

100 カメラ
101 撮像光学系
108 測距光学系
109 測光光学系
201 システム制御部
202 AF制御部
203 焦点検出センサー
204 AE制御部
205 測光センサー
DESCRIPTION OF SYMBOLS 100 Camera 101 Imaging optical system 108 Distance measuring optical system 109 Photometric optical system 201 System control part 202 AF control part 203 Focus detection sensor 204 AE control part 205 Photometric sensor

Claims (4)

複数の焦点検出領域を備え、撮像光学系を通過した被写体からの光束の分割方向における相対的位置ずれ量に基づいて焦点状態を検出する焦点検出手段と、
前記撮像光学系によって形成される被写体像を複数の測光領域に分割して測光し、前記測光領域毎に測光情報を出力する測光手段と、
指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定手段と、
前記測光手段で引き続き出力される測光情報から、前記設定手段が保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾手段とを有し、
前記焦点検出手段は、前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域内である場合、前記追尾被写体位置に対応する前記焦点検出領域を用いて焦点検出を行い、前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域外である場合、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行い、所定時間経過後、前記被写体追尾手段による追尾の信頼性が閾値より低ければ、前記設定手段は、前記抽出領域を再設定することを特徴とする焦点調節装置。
A focus detection unit that includes a plurality of focus detection regions and detects a focus state based on a relative positional shift amount in a split direction of a light beam from a subject that has passed through the imaging optical system;
A photometric unit that divides a subject image formed by the imaging optical system into a plurality of photometric areas and performs photometry, and outputs photometric information for each photometric area;
Setting means for setting a photometric area corresponding to the specified tracking subject as an extraction area, and holding photometric information of the extraction area;
Subject tracking means for sequentially detecting as a tracking subject position a photometric area having photometric information similar to the photometric information of the extraction area held by the setting means from the photometric information continuously output by the photometric means;
The focus detection means performs focus detection using the focus detection area corresponding to the tracking subject position when the tracking subject position detected by the subject tracking means is within the focus detection area, and the subject tracking means If in the detected tracking subject position is outside the focus detection area, have rows focus detection using the focus detection area in the vicinity of the tracked object position, after a predetermined time, reliability of tracking by the object tracking means The focus adjustment device is characterized in that the setting means resets the extraction region if the characteristic is lower than a threshold value .
前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域外である場合、前記所定時間が経過するまで、前記設定手段による前記抽出領域の再設定を行わずに、前記焦点検出手段は、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行うことを特徴とする請求項1に記載の焦点調節装置。When the tracking subject position detected by the subject tracking means is outside the focus detection area, the focus detection means does not reset the extraction area by the setting means until the predetermined time elapses. The focus adjustment apparatus according to claim 1, wherein focus detection is performed using the focus detection region in the vicinity of the tracking subject position. ユーザが焦点検出位置を指定するための指定手段と、
特定の被写体を検出する被写体検出手段をさらに有し、
前記設定手段は、前記被写体検出手段により特定の被写体が検出された場合、前記指定手段により指定された位置の最も近傍に存在する前記特定の被写体の領域を前記抽出領域に設定し、前記被写体検出手段により特定の被写体が検出されなかった場合、前記指定手段により指定された位置に対応する領域を前記抽出領域に設定することを特徴とする請求項1又は2に記載の焦点調節装置。
A designation means for the user to designate a focus detection position;
It further has subject detection means for detecting a specific subject,
When the specific object is detected by the object detection means, the setting means sets the area of the specific object that is present nearest to the position specified by the specifying means as the extraction area, and detects the object 3. The focus adjustment apparatus according to claim 1, wherein when a specific subject is not detected by the means, an area corresponding to the position designated by the designation means is set as the extraction area.
複数の焦点検出領域を備え、撮像光学系を通過した被写体からの光束の分割方向における相対的位置ずれ量に基づいて焦点状態を検出する焦点検出ステップと、
前記撮像光学系によって形成される被写体像を複数の測光領域に分割して測光し、前記測光領域毎に測光情報を出力する測光ステップと、
指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定ステップと、
前記測光ステップにより引き続き出力される測光情報から、前記設定ステップで保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾ステップとを有し、
前記焦点検出ステップにおいて、前記被写体追尾ステップで検出された追尾被写体位置が前記焦点検出領域内である場合、前記追尾被写体位置に対応する前記焦点検出領域を用いて焦点検出を行い、前記被写体追尾ステップで検出された追尾被写体位置が前記焦点検出領域外である場合、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行い、所定時間経過後、前記被写体追尾ステップによる追尾の信頼性が閾値より低ければ、前記設定ステップにおいて、前記抽出領域を再設定することを特徴とする焦点調節装置の制御方法。
A focus detection step that includes a plurality of focus detection areas and detects a focus state based on a relative positional shift amount in a split direction of a light beam from a subject that has passed through the imaging optical system;
A photometric step of dividing a subject image formed by the imaging optical system into a plurality of photometric areas and performing photometry, and outputting photometric information for each photometric area; and
Setting a photometric area corresponding to the specified tracking subject as an extraction area, and holding photometric information of the extraction area;
A subject tracking step for sequentially detecting, as a tracking subject position, a photometric area having photometric information similar to the photometric information of the extraction area held in the setting step from the photometric information continuously output by the photometric step;
In the focus detection step, when the tracking subject position detected in the subject tracking step is within the focus detection region, focus detection is performed using the focus detection region corresponding to the tracking subject position, and the subject tracking step If in the detected tracking subject position is outside the focus detection area, have rows focus detection using the focus detection area in the vicinity of the tracked object position, after a predetermined time, reliability of tracking by the object tracking step If the characteristic is lower than a threshold value, the extraction region is reset in the setting step .
JP2011242428A 2011-11-04 2011-11-04 Focus adjustment apparatus and control method thereof Expired - Fee Related JP5836761B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011242428A JP5836761B2 (en) 2011-11-04 2011-11-04 Focus adjustment apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011242428A JP5836761B2 (en) 2011-11-04 2011-11-04 Focus adjustment apparatus and control method thereof

Publications (2)

Publication Number Publication Date
JP2013097312A JP2013097312A (en) 2013-05-20
JP5836761B2 true JP5836761B2 (en) 2015-12-24

Family

ID=48619270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011242428A Expired - Fee Related JP5836761B2 (en) 2011-11-04 2011-11-04 Focus adjustment apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP5836761B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6212991B2 (en) * 2013-06-28 2017-10-18 株式会社ニコン Image processing apparatus, imaging apparatus, and program
JP7036423B2 (en) * 2016-02-01 2022-03-15 ソニーグループ株式会社 Controls, control methods and control programs
JP6463402B2 (en) * 2016-07-21 2019-01-30 キヤノン株式会社 Focus adjustment apparatus and method, and imaging apparatus
JP2018007272A (en) * 2017-09-21 2018-01-11 株式会社ニコン Image processing apparatus, imaging apparatus, and program

Also Published As

Publication number Publication date
JP2013097312A (en) 2013-05-20

Similar Documents

Publication Publication Date Title
JP5954336B2 (en) Image processing apparatus, image processing method, and recording medium
KR100858393B1 (en) Image pickup elements and record medium for performing a program thereof
JP5322783B2 (en) IMAGING DEVICE AND CONTROL METHOD OF IMAGING DEVICE
KR101699314B1 (en) Image capturing apparatus and control method thereof
KR101710633B1 (en) Auto focus adjusting method, auto focus adjusting apparatus, and digital photographing apparatus including the same
US9380200B2 (en) Image pickup apparatus and control method in which object searching based on an image depends on pixel combining on the image
JP2007065048A (en) Photographing device and focus control method
JP2007225808A (en) Autofocus unit and digital camera
JP5950664B2 (en) Imaging apparatus and control method thereof
JP2013003501A (en) Camera
US8743209B2 (en) Image pickup apparatus and method for controlling the same
JP5836761B2 (en) Focus adjustment apparatus and control method thereof
JP2008298943A (en) Focal point control device and imaging device
JP2009169282A (en) Imaging apparatus and its program
JP2007025559A (en) Focusing position detecting method and device
JP5482148B2 (en) Autofocus adjustment circuit and imaging apparatus
JP2016142999A (en) Imaging device and control method of the same
JP2016006449A (en) Image pickup apparatus and control method thereof
JP6427027B2 (en) Focus detection apparatus, control method therefor, imaging apparatus, program, and storage medium
JP4106485B2 (en) camera
JP2010062987A (en) Imaging apparatus and method
JP5326613B2 (en) Imaging apparatus and program
JP6300570B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2007110498A (en) Compound eye photographing apparatus
JP2003270521A (en) Camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151104

R151 Written notification of patent or utility model registration

Ref document number: 5836761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees