JP4980982B2 - Imaging apparatus, imaging method, focus control method, and program - Google Patents

Imaging apparatus, imaging method, focus control method, and program Download PDF

Info

Publication number
JP4980982B2
JP4980982B2 JP2008123544A JP2008123544A JP4980982B2 JP 4980982 B2 JP4980982 B2 JP 4980982B2 JP 2008123544 A JP2008123544 A JP 2008123544A JP 2008123544 A JP2008123544 A JP 2008123544A JP 4980982 B2 JP4980982 B2 JP 4980982B2
Authority
JP
Japan
Prior art keywords
subject
moving
detected
imaging
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008123544A
Other languages
Japanese (ja)
Other versions
JP2009273023A (en
Inventor
雅人 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008123544A priority Critical patent/JP4980982B2/en
Publication of JP2009273023A publication Critical patent/JP2009273023A/en
Application granted granted Critical
Publication of JP4980982B2 publication Critical patent/JP4980982B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は撮像装置、撮像方法、合焦制御方法及びプログラムに係り、特に撮像素子で撮像される画像をリアルタイムに表示(スルー画像の表示)する撮像装置、撮像方法、合焦制御方法及びプログラムに関する。   The present invention relates to an image pickup apparatus, an image pickup method, a focus control method, and a program, and more particularly to an image pickup apparatus, an image pickup method, a focus control method, and a program that display an image picked up by an image pickup device in real time (display a through image). .

特許文献1には、スルー画像表示時には両方のCCDに蓄積された画像データを交互に読み出しスルー画像表示に適した制御により、AF処理時には一方のCCDの画像データを用いてAF処理を行い、他方のCCDの画像データをスルー画像表示することにより、スルー画像表示時のフレームレートを向上させ、かつAF処理時の性能を高める撮像装置が記載されている。   In Patent Document 1, the image data stored in both CCDs is alternately read when a through image is displayed, and AF processing is performed using the image data of one CCD during the AF process. An image pickup apparatus is described in which image data of a CCD is displayed as a through image, thereby improving the frame rate when displaying a through image and improving the performance during AF processing.

特許文献2には、被写体光を2個に分割し、分割されたそれぞれの像において光軸と垂直な横方向に移動する被写体像を検出し、検出結果に基づいて被写体の光軸方向及び光軸方向と垂直な方向の被写体の動きを検出し、その被写体に対し合焦を行う自動焦点装置が記載されている。
特開2007―97033号公報 特開平5―93850号公報
Patent Document 2 divides subject light into two parts, detects a subject image that moves in a horizontal direction perpendicular to the optical axis in each of the divided images, and determines the subject's optical axis direction and light based on the detection result. An automatic focusing device is described that detects the movement of a subject in a direction perpendicular to the axial direction and focuses the subject.
JP 2007-97033 A JP-A-5-93850

しかしながら、特許文献1に記載された発明においては、AF処理に用いるCCDと、スルー画像表示に用いるCCDとで別のCCDを用意しなければならないという問題がある。   However, the invention described in Patent Document 1 has a problem that separate CCDs must be prepared for the CCD used for AF processing and the CCD used for through image display.

また、特許文献2に記載された発明においては、被写体光を2個に分割する必要があるため、構造が複雑になり、またコストがかかるという問題がある。   Further, in the invention described in Patent Document 2, since it is necessary to divide subject light into two, there is a problem that the structure becomes complicated and the cost is high.

さらに、特許文献2に記載された発明においては、光軸と垂直な横方向以外に移動する被写体像を検出して被写体の動きを検出するため、光軸と垂直な横方向以外に移動する被写体像に対して合焦精度がよくないという問題がある。   Furthermore, in the invention described in Patent Document 2, in order to detect a subject image that moves in a direction other than the horizontal direction perpendicular to the optical axis and detect the movement of the subject, a subject that moves in a direction other than the horizontal direction perpendicular to the optical axis. There is a problem that focusing accuracy is not good for an image.

本発明はこのような事情に鑑みてなされたもので、被写体の動きに合わせたスルー画像撮影やAF制御を簡単な構成で行うことで、スルー画像の画質向上や合焦精度の向上を図ることができる撮像装置、撮像方法、合焦制御方法及びプログラムを提供することを目的とする。   The present invention has been made in view of such circumstances. By performing through image shooting and AF control in accordance with the movement of a subject with a simple configuration, the image quality of the through image and the focusing accuracy are improved. It is an object to provide an imaging apparatus, an imaging method, a focus control method, and a program capable of performing the above.

上記目的を達成するため、本発明の一の態様に係る発明は、被写体を所定のフレームレートで連続して撮像する撮像手段と、前記撮像手段により撮像された被写体の画像を連続して表示する表示手段と、前記撮像手段により撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段であって、動く被写体が複数検出された場合には、最大の移動速度又は移動距離を算出する算出手段と、前記算出手段により算出された動く被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御手段と、を備えたことを特徴とする。 In order to achieve the above object, an invention according to one aspect of the present invention continuously displays an image of a subject imaged by the imaging unit and an imaging unit that continuously images the subject at a predetermined frame rate. A display means; a subject detection means for detecting a moving subject from at least two images before and after the image taken by the imaging means; and a calculation for calculating a moving speed or a moving distance of the moving subject detected by the subject detection means. Means for calculating a maximum moving speed or moving distance when a plurality of moving objects are detected, and the frame based on the moving speed or moving distance of the moving object calculated by the calculating means. And a frame rate control means for controlling the rate.

本発明の一の態様によれば、連続して撮影された画像(スルー画像)から動く被写体を検出し、複数の動く被写体が検出された場合には、移動速度又は移動距離が最大の被写体の移動速度に応じたフレームレートでスルー画像の撮影を行う。これにより、フレームレートの制御に最も適した被写体を選択し、その被写体に最適なフレームレートでスルー画像の撮影をすることができる。そのため、画質のよいスルー画像を得ることができる。 According to one aspect of the present invention, a moving subject is detected from continuously captured images (through images), and when a plurality of moving subjects are detected, the subject having the maximum moving speed or moving distance is detected. A through image is taken at a frame rate corresponding to the moving speed. As a result, it is possible to select a subject most suitable for the control of the frame rate and take a through image at a frame rate optimum for the subject. Therefore, a through image with good image quality can be obtained.

本発明の他の態様によれば、撮影光学系と、該撮影光学系により結像された被写体像を撮像する撮像素子とを含み、被写体を所定のフレームレートで連続して撮像する撮像手段と、前記撮像手段により撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、前記撮影光学系を移動させて前記被写体検出手段により検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御手段であって、前記算出手段により算出された被写体の移動速度又は移動距離に基づいて前記連続的に行う合焦制御の間隔を制御する自動合焦制御手段と、前記被写体検出手段により複数の被写体が検出された場合には、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、を備え、前記自動合焦制御手段は、前記被写体検出手段により複数の被写体が検出された場合には前記対象被写体設定手段により設定された前記対象被写体に対して合焦制御を行うことを特徴とする。 According to another aspect of the present invention, an imaging unit that includes an imaging optical system and an imaging device that images a subject image formed by the imaging optical system, and that continuously captures the subject at a predetermined frame rate. Subject detection means for detecting a moving subject from at least two front and rear images taken by the imaging means; calculation means for calculating a moving speed or a movement distance of the moving subject detected by the subject detection means; Automatic focusing control means for continuously performing focusing control for moving a photographing optical system and maintaining a focusing state for a moving subject detected by the subject detecting means, the subject calculated by the calculating means an automatic focus control means for controlling the interval of the continuously performed focusing control based on the moving speed or moving distance of a plurality of subjects detected by the subject detecting means A target subject setting unit configured to set a subject having the maximum moving speed or moving distance calculated by the calculating unit as a target subject, and the automatic focusing control unit includes the subject detecting unit. When a plurality of subjects are detected, focusing control is performed on the target subject set by the target subject setting means.

本発明の他の態様によれば、連続して撮影された画像(スルー画像)から動く被写体を検出し、検出された動く被写体の位置の移動速度又は移動距離を算出し、算出された移動速度又は移動距離に応じて連続的に行う合焦制御(コンティニュアスAF)の間隔を制御する。これにより、動く被写体に対する合焦精度を上げることができる。また、複数の動く被写体が検出された場合には、移動速度又は移動距離が最大の被写体を対象被写体とし、対象被写体に対してAF制御を行う。これにより、最も適した被写体に対して合焦制御をすることができる。 According to another aspect of the present invention, a moving subject is detected from continuously photographed images (through images), the moving speed or moving distance of the detected moving subject is calculated, and the calculated moving speed is calculated. Alternatively, the interval of the focusing control (continuous AF) continuously performed according to the moving distance is controlled. Thereby, the focusing accuracy with respect to the moving subject can be increased. In addition, when a plurality of moving subjects are detected, the subject having the maximum moving speed or moving distance is set as the target subject, and AF control is performed on the target subject. Thereby, focusing control can be performed on the most suitable subject.

本発明のさらに他の態様によれば、撮影光学系と、該撮影光学系により結像された被写体像を撮像する撮像素子とを含み、被写体を所定のフレームレートで連続して撮像する撮像手段と、前記撮像手段により撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、前記被写体検出手段により検出された動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出する移動方向検出手段と、前記撮影光学系を移動させて前記被写体検出手段により検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御手段であって、前記移動方向検出手段により検出された被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定する自動合焦制御手段と、前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、前記被写体検出手段により複数の被写体が検出された場合に、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、を備え、前記移動方向検出手段は、前記被写体検出手段により複数の被写体が検出された場合には前記対象被写体設定手段により設定された前記対象被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出し、前記自動合焦制御手段は、前記被写体検出手段により複数の被写体が検出された場合には前記対象被写体設定手段により設定された前記対象被写体に対して合焦制御を行い、かつ前記移動方向検出手段により検出された前記対象被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定することを特徴とする。 According to still another aspect of the present invention, the imaging means includes an imaging optical system and an imaging element that images a subject image formed by the imaging optical system, and continuously images the subject at a predetermined frame rate. A subject detection unit that detects a moving subject from at least two front and rear images taken by the imaging unit, and whether the moving subject detected by the subject detection unit is moving in a direction approaching a shooting position, Alternatively, continuous movement direction detecting means for detecting whether the object moves away from the photographing position and focusing control for moving the photographing optical system and maintaining the in-focus state for the moving subject detected by the subject detecting means are continuously performed. Automatic focusing control means for automatically determining the search direction of the photographing optical system based on the moving direction of the subject detected by the moving direction detecting means An automatic focus control unit that, a calculation means for calculating a moving speed or moving distance of the moving subject detected by the subject detecting means, when a plurality of subjects are detected by the subject detecting means, by said calculating means Target subject setting means for setting a subject whose calculated moving speed or moving distance is the maximum as a target subject, and the moving direction detecting means detects the subject when the subject detecting means detects a plurality of subjects. Detecting whether the target subject set by the target subject setting means is moving in a direction approaching the shooting position or moving away from the shooting position, and the automatic focusing control means is the subject detection means When a plurality of subjects are detected by the above, focusing control is performed on the target subject set by the target subject setting means, and Serial and determines a search direction of the photographing optical system based on the movement direction of the target object detected by the movement direction detection means.

本発明のさらに他の態様によれば、連続して撮影された画像(スルー画像)から動く被写体を検出し、動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているか検出し、検出された移動方向に応じて連続的に行う合焦制御(コンティニュアスAF)のサーチ方向を制御する。これにより、動く被写体に対する合焦精度を上げることができる。また、撮像光学系を動かす方向を予め決められるため、合焦制御を高速化することができる。さらに、複数の動く被写体が検出された場合には、移動速度又は移動距離が最大の被写体を対象被写体とし、対象被写体に対してAF制御を行う。これにより、最も適した被写体に対して合焦制御をすることができる。 According to still another aspect of the present invention, a moving subject is detected from continuously shot images (through images), and the moving subject is moving in a direction approaching the shooting position or in a direction away from the shooting position. It detects whether it is moving or not, and controls the search direction of focus control (continuous AF) that is continuously performed according to the detected moving direction. Thereby, the focusing accuracy with respect to the moving subject can be increased. In addition, since the direction in which the imaging optical system is moved can be determined in advance, the focusing control can be speeded up. Further, when a plurality of moving subjects are detected, the subject having the maximum moving speed or moving distance is set as the target subject, and AF control is performed on the target subject. Thereby, focusing control can be performed on the most suitable subject.

本発明のさらに他の態様によれば、被写体を所定のフレームレートで連続して撮像する撮像手段と、前記撮像手段により撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、前記被写体検出手段により複数の被写体が検出された場合に、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、前記被写体検出手段により検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測する被写体位置予測手段であって、前記被写体検出手段により複数の被写体が検出された場合には、前記対象被写体設定手段により設定された前記対象被写体の位置を予測する被写体位置予測手段と、前記被写体位置予測手段により予測された被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御手段であって、前記被写体検出手段により複数の被写体が検出された場合には前記被写体位置予測手段により予測された前記対象被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御手段と、を備えたことを特徴とする。 According to still another aspect of the present invention, an imaging unit that continuously images a subject at a predetermined frame rate, and a subject detection that detects a moving subject from at least two front and rear images captured by the imaging unit. Means for calculating the moving speed or moving distance of the moving subject detected by the subject detecting means, and the moving speed calculated by the calculating means when a plurality of subjects are detected by the subject detecting means. Alternatively, a target subject setting unit that sets a subject having the maximum moving distance as a target subject, and a subject that predicts the position of the moving subject in the next image to be captured based on the position of the moving subject detected by the subject detection unit a position prediction means, when a plurality of subjects are detected by the subject detecting means, the target object setting means And the object position predicting means for predicting a more set position of the target object, met the automatic focus control means performs a focusing control for a predetermined region including a position of the object predicted by the object position predicting means Automatic focus control means for performing focus control on a predetermined area including the position of the target subject predicted by the subject position prediction means when a plurality of subjects are detected by the subject detection means; , Provided.

本発明のさらに他の態様によれば、連続して撮影された画像(スルー画像)から動く被写体を検出し、動く被写体の位置に基づいて被写体位置を予測し、予測された被写体位置を含む所定の領域に対して合焦制御(コンティニュアスAF)を行う。これにより、動く被写体に対して確実に合焦制御を行うことができる。また、複数の動く被写体が検出された場合には、移動速度又は移動距離が最大の被写体を対象被写体とし、対象被写体に対してAF制御を行う。これにより、最も適した被写体に対して合焦制御をすることができる。 According to still another aspect of the present invention, a moving subject is detected from continuously captured images (through images), a subject position is predicted based on the position of the moving subject, and a predetermined including the predicted subject position is included. Focusing control (continuous AF) is performed on the area. Thereby, focusing control can be reliably performed on a moving subject. In addition, when a plurality of moving subjects are detected, the subject having the maximum moving speed or moving distance is set as the target subject, and AF control is performed on the target subject. Thereby, focusing control can be performed on the most suitable subject.

本発明のさらに他の態様によれば、前記撮像手段により撮像された画像の特徴点を抽出する特徴点抽出手段を備え、前記被写体検出手段は、前記特徴点抽出手段により抽出された特徴点に基づいて被写体の中心位置を検出し、前記算出手段は、前記被写体検出手段により検出された被写体の中心位置に基づいて前記被写体の移動速度又は移動距離を算出することを特徴とする。 According to still another aspect of the present invention, the image processing apparatus includes a feature point extraction unit that extracts a feature point of an image captured by the imaging unit, and the subject detection unit uses the feature point extracted by the feature point extraction unit Based on the center position of the subject detected based on the center position of the subject detected by the subject detection means, the calculation means calculates the moving speed or moving distance of the subject.

本発明のさらに他の態様によれば、画像データの特徴点を抽出することにより被写体とその中心位置を検出し、その中心位置に基づいて被写体の移動速度又は移動距離を算出する。これにより、被写体を誤認識することを防止することができる。 According to still another aspect of the present invention, a subject and a center position thereof are detected by extracting feature points of image data, and a moving speed or a moving distance of the subject is calculated based on the center position. Thereby, it is possible to prevent erroneous recognition of the subject.

本発明のさらに他の態様によれば、被写体を所定のフレームレートで連続して撮像する撮像ステップと、前記撮像ステップで撮像された被写体の画像を連続して表示する表示ステップと、前記撮像ステップで撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップであって、動く被写体が複数検出された場合には、最大の移動速度又は移動距離を算出する算出ステップと、前記算出ステップで算出された動く被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御ステップと、を含むことを特徴とする。 According to yet another aspect, an imaging step for imaging continuously the object at a predetermined frame rate, and a display step of displaying an image of a subject captured by the imaging step in succession, the imaging step of the present invention in a calculation step of calculating a subject detection step of detecting respective moving objects from at least the front and rear of the two images captured, the moving speed or moving distance of the object moving said detected by the subject detection step, moving the object When a plurality of movements are detected, a calculation step for calculating the maximum movement speed or movement distance, and a frame rate control for controlling the frame rate based on the movement speed or movement distance of the moving subject calculated in the calculation step And a step.

本発明のさらに他の態様によれば、撮影光学系により結像された被写体像を撮像する撮像素子を介して、被写体を所定のフレームレートで連続して撮像する撮像ステップと、前記撮像ステップで撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップと、前記撮影光学系を移動させて前記被写体検出ステップで検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御ステップであって、前記算出ステップで算出された被写体の移動速度又は移動距離に基づいて前記連続的に行う合焦制御の間隔を制御する自動合焦制御ステップと、前記被写体検出ステップで複数の被写体が検出された場合には、前記算出ステップで算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定ステップと、を含み、前記自動合焦制御ステップは、前記被写体検出ステップで複数の被写体が検出された場合には前記対象被写体設定ステップで設定された前記対象被写体に対して合焦制御を行うことを特徴とする。 According to still another aspect of the present invention, an imaging step of continuously imaging a subject at a predetermined frame rate via an imaging element that captures a subject image formed by a photographing optical system; and A subject detection step for detecting a moving subject from at least two captured images, a calculation step for calculating a moving speed or a moving distance of the moving subject detected in the subject detection step, and the photographing optical system. An automatic focusing control step for continuously performing focusing control for moving and maintaining a focusing state with respect to the moving subject detected in the subject detection step , wherein the moving speed or movement of the subject calculated in the calculation step an automatic focus control step of controlling the spacing of said continuously performed focusing control based on the distance, a plurality of the at the subject detecting step A target subject setting step for setting a subject having the maximum moving speed or moving distance calculated in the calculating step as a target subject when the body is detected, and the automatic focusing control step includes: When a plurality of subjects are detected in the detection step, focusing control is performed on the target subject set in the target subject setting step.

本発明のさらに他の態様によれば、撮影光学系により結像された被写体像を撮像する撮像素子を介して、被写体を所定のフレームレートで連続して撮像する撮像ステップと、前記撮像ステップで撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、前記被写体検出ステップで検出された動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているか検出する移動方向検出ステップと、前記撮影光学系を移動させて前記被写体検出ステップで検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御ステップであって、前記移動方向検出ステップで検出された被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定する自動合焦制御ステップと、前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップと、前記被写体検出ステップで複数の被写体が検出された場合に、前記算出ステップで算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定ステップと、を含み、前記移動方向検出ステップは、前記被写体検出ステップで複数の被写体が検出された場合には前記対象被写体設定ステップで設定された前記対象被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出し、前記自動合焦制御ステップは、前記被写体検出ステップで複数の被写体が検出された場合には前記対象被写体設定ステップで設定された前記対象被写体に対して合焦制御を行い、かつ前記移動方向検出ステップで検出された前記対象被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定することを特徴とする。 According to still another aspect of the present invention, an imaging step of continuously imaging a subject at a predetermined frame rate via an imaging element that captures a subject image formed by a photographing optical system; and A subject detection step for detecting a moving subject from at least two captured images, and a direction in which the moving subject detected in the subject detection step is moving toward or away from the shooting position. A moving direction detecting step for detecting whether or not the subject is moving, and automatic focusing for continuously performing focusing control for moving the photographing optical system and maintaining the in-focus state for the moving subject detected in the subject detecting step. a control step, determining a search direction of the photographing optical system based on the moving direction of the detected object in the moving direction detection step That an automatic focusing control step, the a calculation step of calculating a moving speed or moving distance of the moving subject detected by the subject detection step, when a plurality of subjects in the subject detection step is detected in the calculation step A target subject setting step of setting a subject whose calculated moving speed or moving distance is the maximum as a target subject, and the moving direction detecting step includes a step when the subject detecting step detects a plurality of subjects. Detecting whether the target subject set in the target subject setting step is moving in a direction approaching the shooting position or moving away from the shooting position, and the automatic focusing control step is the subject detection step When a plurality of subjects are detected in step 1, the subject subject set in the subject subject setting step is Performs focusing control, and is characterized in that to determine the search direction of the photographing optical system based on the movement direction of the target object detected by said moving direction detection step.

本発明のさらに他の態様によれば、被写体を所定のフレームレートで連続して撮像する撮像ステップと、前記撮像ステップで撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップと、前記被写体検出ステップで複数の被写体が検出された場合に、前記算出ステップで算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定ステップと、前記被写体検出ステップで検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測する被写体位置予測ステップであって、前記被写体検出ステップで複数の被写体が検出された場合に、前記対象被写体設定ステップで設定された前記対象被写体の位置を予測する被写体位置予測ステップと、前記被写体位置予測ステップで予測された被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御ステップであって、前記被写体検出ステップで複数の被写体が検出された場合には前記被写体位置予測ステップで予測された前記対象被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御ステップと、を含むことを特徴とする。 According to still another aspect of the present invention, an imaging step for continuously imaging a subject at a predetermined frame rate, and a subject detection for detecting a moving subject from at least two images before and after the imaging step. A calculating step for calculating a moving speed or moving distance of the moving subject detected in the subject detecting step, and a moving speed calculated in the calculating step when a plurality of subjects are detected in the subject detecting step. or a target subject setting step of moving distance is set as the target object up to the subject, based on the position of a moving subject detected by the subject detection step, then the subject for predicting the position of a moving object in an image to be captured a position prediction step, when a plurality of subjects are detected by the subject detecting step, the Automatic focusing performed and the object position prediction step, the focusing control with respect to a predetermined area including the location of the predicted subject in the subject position prediction step of predicting the position of the target object set by elephant object setting step In the control step , when a plurality of subjects are detected in the subject detection step, automatic focusing is performed for a predetermined area including the position of the target subject predicted in the subject position prediction step. A focus control step .

本発明のさらに他の態様によれば、請求項6に記載の撮像方法又は請求項7から9のいずれかに記載の合焦制御方法を演算装置に実行させることを特徴とする。 According to still another aspect of the present invention, an arithmetic device is caused to execute the imaging method according to claim 6 or the focus control method according to any one of claims 7 to 9 .

本発明によれば、被写体の動きに合わせたスルー画像撮影やAF制御を簡単な構成で行うことで、スルー画像の画質向上や合焦精度の向上を図ることができる撮像装置、撮像方法、合焦制御方法及びプログラムを提供することができる。   According to the present invention, it is possible to improve the image quality and focusing accuracy of a through image by performing through image capturing and AF control in accordance with the movement of the subject with a simple configuration. A focus control method and program can be provided.

以下、添付図面に従って本発明が適用された撮像装置、撮像方法、合焦制御方法及びプログラムを実施するための最良の形態について詳細に説明する。   DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The best mode for carrying out an imaging apparatus, an imaging method, a focus control method and a program to which the present invention is applied will be described in detail below with reference to the accompanying drawings.

<第1の実施の形態>
本発明の第1の実施の形態は、撮像された被写体像のなかに動きのある被写体が1つ検出された場合に、被写体の動きに応じた最適なフレームレートでスルー画像を表示する形態である。
<First Embodiment>
In the first embodiment of the present invention, when one moving subject is detected in a captured subject image, a through image is displayed at an optimum frame rate according to the subject's motion. is there.

図1は第1の実施の形態の撮像装置のデジタルカメラ10の内部の電気的な概略構成を示すブロック図である。   FIG. 1 is a block diagram showing an electrical schematic configuration inside the digital camera 10 of the imaging apparatus according to the first embodiment.

図1に示すように、デジタルカメラ10は、主として、CPU110、メモリ112、タイミングジェネレータ(TG)114、モータドライバ116、118、操作部120、ズームレンズ122、フォーカスレンズ124、撮像素子126、アナログ処理部(CDS/AMP)128、A/D変換器130、画像入力制御部132、画像信号処理部134、圧縮伸張処理部136、AE/AF検出回路140、動体検出回路142、メディアコントローラ150、表示回路154、記憶メディア152、画像表示装置156等で構成されている。   As shown in FIG. 1, the digital camera 10 mainly includes a CPU 110, a memory 112, a timing generator (TG) 114, motor drivers 116 and 118, an operation unit 120, a zoom lens 122, a focus lens 124, an image sensor 126, and analog processing. Unit (CDS / AMP) 128, A / D converter 130, image input control unit 132, image signal processing unit 134, compression / decompression processing unit 136, AE / AF detection circuit 140, moving object detection circuit 142, media controller 150, display A circuit 154, a storage medium 152, an image display device 156, and the like are included.

CPU110は、操作部120から入力される操作信号に基づき所定の制御プログラムに従ってデジタルカメラ10の全体を統括制御する。   The CPU 110 performs overall control of the entire digital camera 10 according to a predetermined control program based on an operation signal input from the operation unit 120.

バスを介してCPU110と接続されたメモリ112には、このCPU110が実行する制御プログラム及び制御に必要な各種データや、ユーザ設定情報等のデジタルカメラ10の動作に関する各種設定情報等が格納されている。また、メモリ112は、CPU110の演算作業用領域として利用されるとともに、画像データ等の一時記憶領域として利用される。   A memory 112 connected to the CPU 110 via the bus stores various control information executed by the CPU 110, various data necessary for control, various setting information regarding the operation of the digital camera 10 such as user setting information, and the like. . The memory 112 is used as a calculation work area for the CPU 110 and also as a temporary storage area for image data and the like.

操作部120は、シャッターボタン、電源/モードスイッチ、ズームボタン等により構成される。   The operation unit 120 includes a shutter button, a power / mode switch, a zoom button, and the like.

シャッターボタンは、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成されている。デジタルカメラ10は、このシャッターボタン26が「半押し」されることにより、AE/AFが作動し、「全押し」されることにより、撮影を実行する。   The shutter button is composed of a two-stage stroke type switch composed of a so-called “half press” and “full press”. When the shutter button 26 is “half-pressed”, the digital camera 10 activates AE / AF, and “full-press” to execute shooting.

電源/モードスイッチは、デジタルカメラ10の電源をON/OFFする電源スイッチとしての機能と、デジタルカメラ10のモードを設定するモードスイッチとしての機能とを併せ持っており、「OFF位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。デジタルカメラ10は、電源/モードスイッチをスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がONになり、「OFF位置」に合わせることにより、電源がOFFになる。そして、電源/モードスイッチをスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。   The power / mode switch has both a function as a power switch for turning on / off the power of the digital camera 10 and a function as a mode switch for setting the mode of the digital camera 10. ”And“ shooting position ”are slidably arranged. The digital camera 10 is turned on by sliding the power / mode switch to the “reproduction position” or “photographing position”, and turned off by setting it to the “OFF position”. Then, the power / mode switch is slid and set to “playback position” to set “playback mode”, and set to “shooting position” to set “shooting mode”.

ズームボタンは、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとからなる。撮影モード時にズームテレボタンとズームワイドボタンとが操作されると、CPU110は、モータドライバ116を介してズームレンズ122を移動し、焦点距離を変化させる。   The zoom button functions as zoom instruction means for instructing zooming, and includes a zoom tele button for instructing zooming to the telephoto side and a zoom wide button for instructing zooming to the wide angle side. When the zoom tele button and the zoom wide button are operated in the shooting mode, the CPU 110 moves the zoom lens 122 via the motor driver 116 to change the focal length.

ズームレンズ122は、モータドライバ116を介してズームモータにより駆動されて撮影光軸上を前後移動し、これにより、焦点距離を変化させる。   The zoom lens 122 is driven by the zoom motor via the motor driver 116 and moves back and forth on the photographing optical axis, thereby changing the focal length.

フォーカスレンズ124は、モータドライバ118を介してフォーカスモータにより駆動されて撮影光軸上を前後移動し、これにより結像位置を変化させる。   The focus lens 124 is driven by the focus motor via the motor driver 118 and moves back and forth on the photographing optical axis, thereby changing the imaging position.

撮像素子126は、たとえば、所定の配列構造(ベイヤー、Gストライプなど)で配列された赤(R)、緑(G)、青(B)のカラーフィルタを介して多数のフォトダイオード(受光素子)が受光面に二次元的に配置されており、ズームレンズ122、フォーカスレンズ124等によって結像された被写体の画像を電子的に撮像する。タイミングジェネレータ(TG)114は、CPU110からの指令に応じて、この撮像素子126を駆動するためのタイミング信号を出力する。   The image sensor 126 has a large number of photodiodes (light receiving elements) through, for example, red (R), green (G), and blue (B) color filters arranged in a predetermined arrangement structure (Bayer, G stripe, etc.). Is two-dimensionally arranged on the light receiving surface, and electronically captures an image of a subject formed by the zoom lens 122, the focus lens 124, and the like. A timing generator (TG) 114 outputs a timing signal for driving the image sensor 126 in response to a command from the CPU 110.

アナログ処理部128は、撮像素子126から出力された画像信号に対して、画素ごとのR、G、B信号をサンプリングホールド(相関二重サンプリング処理)するとともに、増幅してA/D変換器130に出力する。   The analog processing unit 128 samples and holds the R, G, and B signals for each pixel with respect to the image signal output from the image sensor 126 (correlation double sampling processing), and amplifies the signal to the A / D converter 130. Output to.

A/D変換器130は、アナログ処理部128から出力されたアナログのR、G、B信号をデジタルのR、G、B信号に変換して出力する。   The A / D converter 130 converts the analog R, G, and B signals output from the analog processing unit 128 into digital R, G, and B signals and outputs them.

画像入力制御部132は、A/D変換器130から出力されたデジタルのR、G、B信号をメモリ112に出力する。   The image input control unit 132 outputs digital R, G, and B signals output from the A / D converter 130 to the memory 112.

画像信号処理部134は、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路)、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、CPU110からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ(Yデータ)と色差データ(Cr,Cbデータ)とからなる画像データ(YUVデータ)を生成する。   The image signal processing unit 134 includes a synchronization circuit (a processing circuit that converts a color signal into a simultaneous expression by interpolating a spatial shift of the color signal associated with the color filter array of the single CCD), a white balance correction circuit, and a gamma correction. Circuit, contour correction circuit, luminance / color difference signal generation circuit, etc., and according to a command from the CPU 110, the input image signal is subjected to necessary signal processing to obtain luminance data (Y data) and color difference data (Cr, Cb data). ) Is generated.

圧縮伸張処理部136は、CPU110からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、CPU110からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。   The compression / decompression processing unit 136 performs compression processing in a predetermined format on the input image data in accordance with a command from the CPU 110 to generate compressed image data. Further, in accordance with a command from the CPU 110, the input compressed image data is subjected to a decompression process in a predetermined format to generate uncompressed image data.

AE/AF検出回路140は、AE(自動露出)検出回路とAF(自動合焦)検出回路とで構成される。AF検出回路は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、所定のフォーカスエリア(たとえば、画面中央部)内の信号を切り出すAFエリア検出部及びAFエリア内の絶対値データを積算する積算部から構成される。CPU110は、AF制御時にはフォーカスレンズ124を至近から無限遠に対応するレンズ位置に順次移動させるとともに、レンズ位置毎に撮像素子126を介して取り込まれるAFエリアの画像信号に基づいて画像信号の高周波成分を積算した評価値をAF検出回路から取得し、この評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズ124を移動させるコントラストAFを行う。   The AE / AF detection circuit 140 includes an AE (automatic exposure) detection circuit and an AF (automatic focus) detection circuit. The AF detection circuit includes a high-pass filter that passes only high-frequency components of the G signal, an absolute value processing unit, an AF area detection unit that extracts a signal within a predetermined focus area (for example, the center of the screen), and an absolute value within the AF area. It consists of an integration unit that integrates data. During the AF control, the CPU 110 sequentially moves the focus lens 124 from a closest position to a lens position corresponding to infinity, and at the same time, a high-frequency component of the image signal based on the image signal of the AF area captured via the image sensor 126 for each lens position. Is obtained from the AF detection circuit, a lens position where the evaluation value reaches a peak is obtained, and contrast AF is performed to move the focus lens 124 to the lens position.

AE検出回路は、CPU110からの指令に従い、入力された画像信号からAE制御及びAWB(自動ホワイトバランス)制御に必要な物理量を算出する。たとえば、AE制御に必要な物理量として、1画面を複数のエリア(たとえば16×16)に分割し、分割したエリアごとにR、G、Bの画像信号の積算値を算出する。   The AE detection circuit calculates a physical quantity necessary for AE control and AWB (automatic white balance) control from the input image signal in accordance with a command from the CPU 110. For example, as a physical quantity required for AE control, one screen is divided into a plurality of areas (for example, 16 × 16), and an integrated value of R, G, and B image signals is calculated for each divided area.

動体検出回路142は、被写体の動きを検出し、スルー画像表示用のフレームレートを決定する。動体検出回路142は、図2に示すように、動体検出時(nフレーム目)の画像と、動体検出時より1フレーム前(n−1フレーム目)の画像とが入力されると、パラメータとしてメモリ112に記録された移動速度とフレームレートの対応表を用いて、スルー画表示用のフレームレートを出力する。動体検出回路142で行う処理については後に詳述する。   The moving object detection circuit 142 detects the movement of the subject and determines a frame rate for displaying a through image. As shown in FIG. 2, the moving object detection circuit 142 receives, as parameters, an image at the time of moving object detection (nth frame) and an image one frame before (n-1 frame) from the time of moving object detection. Using the correspondence table of the moving speed and the frame rate recorded in the memory 112, a frame rate for displaying a through image is output. Processing performed by the moving object detection circuit 142 will be described in detail later.

メディアコントローラ150は、CPU110からの指令に従い、メディアスロットに装填された記憶メディア152に対してデータの読み/書きを制御する。   The media controller 150 controls reading / writing of data with respect to the storage medium 152 loaded in the media slot according to a command from the CPU 110.

表示回路154は、CPU110からの指令に従い、画像表示装置156への表示を制御する。すなわち、CPU110からの指令に従い、入力された画像信号を画像表示装置156に表示するための映像信号(たとえば、NTSC信号やPAL信号、SCAM信号)に変換して画像表示装置156に出力するとともに、必要に応じてCPU110で合成された、所定の文字、図形情報を画像表示装置156に出力する。   The display circuit 154 controls display on the image display device 156 in accordance with a command from the CPU 110. That is, in accordance with a command from the CPU 110, the input image signal is converted into a video signal (for example, NTSC signal, PAL signal, SCAM signal) for display on the image display device 156, and output to the image display device 156. Predetermined character and graphic information synthesized by the CPU 110 as necessary is output to the image display device 156.

画像表示装置156は、カラー表示が可能な液晶ディスプレイで構成されている。この画像表示装置156は、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザインターフェース表示パネルとして利用される。また、撮影モード時には、必要に応じてスルー画像が表示されて、画角確認用の電子ファインダとして利用される。   The image display device 156 includes a liquid crystal display capable of color display. The image display device 156 is used as an image display panel for displaying captured images in the playback mode, and is used as a user interface display panel for performing various setting operations. In the photographing mode, a through image is displayed as necessary, and is used as an electronic viewfinder for checking the angle of view.

次に、以上のように構成された本実施の形態のデジタルカメラ10の作用について説明する。   Next, the operation of the digital camera 10 of the present embodiment configured as described above will be described.

電源/モードスイッチを撮影位置に合わせることで、撮影モードに設定され、撮影が可能になる。そして、撮影モードに設定されることにより、レンズ群が繰り出され、撮影スタンバイ状態になる。   By setting the power / mode switch to the shooting position, the shooting mode is set and shooting is possible. Then, when the photographing mode is set, the lens group is extended and the photographing standby state is set.

この撮影モードの下、レンズ群を通過した被写体光は、絞り(図示せず)を介して撮像素子126の受光面に結像される。レンズ群を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。   Under this photographing mode, the subject light that has passed through the lens group forms an image on the light receiving surface of the image sensor 126 through a diaphragm (not shown). The subject light that has passed through the lens group is received by each photodiode and converted into a signal charge corresponding to the amount of incident light.

各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ(TG)114から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出され、アナログ処理部(CDS/AMP)128に加えられる。   The signal charge accumulated in each photodiode is sequentially read out as a voltage signal (image signal) corresponding to the signal charge on the basis of the drive pulse supplied from the timing generator (TG) 114, and an analog processing unit (CDS / AMP). 128.

アナログ処理部128から出力されたアナログのR、G、B信号は、A/D変換器130でデジタルのR、G、B信号に変換され、画像入力制御部132に加えられる。画像入力制御部132は、A/D変換器130から出力されたデジタルのR、G、B信号をメモリ112に出力する。   Analog R, G, and B signals output from the analog processing unit 128 are converted into digital R, G, and B signals by the A / D converter 130 and added to the image input control unit 132. The image input control unit 132 outputs digital R, G, and B signals output from the A / D converter 130 to the memory 112.

デジタルのR、G、B信号は、メモリ112から動体検出回路142に入力され、CPU110は、タイミングジェネレータ(TG)114に指令を出し、動体検出回路142から出力されたスルー画像表示用のフレームレートで撮像素子126を駆動する。   Digital R, G, and B signals are input from the memory 112 to the moving object detection circuit 142, and the CPU 110 issues a command to the timing generator (TG) 114 and outputs a frame rate for displaying a through image output from the moving object detection circuit 142. To drive the image sensor 126.

図3は、撮像素子126で取得された画像に基づいて生成されたデジタルのR、G、B信号から動体検出回路142においてスルー画像表示用のフレームレートを出力し、このフレームレートで取得されたスルー画像を表示する処理の流れを示すフローチャートである。   In FIG. 3, a frame rate for displaying a through image is output from the digital R, G, B signal generated based on the image acquired by the image sensor 126 in the moving object detection circuit 142, and the image is acquired at this frame rate. It is a flowchart which shows the flow of the process which displays a through image.

動体検出回路142は、以下に示すように、入力されたデジタルのR、G、B信号に基づいて動きのある被写体を検出する(ステップS10)。   As shown below, the moving body detection circuit 142 detects a moving subject based on the input digital R, G, and B signals (step S10).

動体検出回路142は、被写体の動きを検出する画像として、nフレーム目の画像データを取得する。動体検出回路142は、図4(b)に示すように、入力されたnフレーム目の画像データから、被写体の特徴点(例えば被写体のエッジ等)を検出する。   The moving object detection circuit 142 acquires image data of the nth frame as an image for detecting the movement of the subject. As shown in FIG. 4B, the moving body detection circuit 142 detects a feature point of the subject (for example, an edge of the subject) from the input image data of the nth frame.

次に動体検出回路142は、nフレーム目の画像の1フレーム前(n−1フレーム目)の画像データを取得する。動体検出回路142は、入力されたn−1フレーム目の画像について、nフレーム目の画像データに対して行ったのと同様にして、被写体の特徴点(例えば被写体のエッジ等)を検出する。   Next, the moving object detection circuit 142 acquires image data one frame before (n−1 frame) of the n frame image. The moving object detection circuit 142 detects a feature point of the subject (for example, an edge of the subject) in the same manner as performed on the image data of the nth frame for the input image of the (n−1) th frame.

そして、n−1フレーム目の画像データから検出された特徴点(図4(a)参照)と、に示すようなnフレーム目の画像データから検出された特徴点(図4(b)参照)とを比較し、同一の特徴点の位置が一致しない場合には、被写体が動いていると判断する。   Then, feature points detected from the image data of the (n−1) th frame (see FIG. 4A) and feature points detected from the image data of the nth frame as shown in FIG. 4 (see FIG. 4B). If the positions of the same feature points do not match, it is determined that the subject is moving.

また、動体検出回路142は、n−1フレーム目の画像データから検出された特徴点(図4(a)参照)に基づいて被写体の輪郭を検出し、それに基づいてn−1フレーム目の被写体の中心を求める。また、動体検出回路142は、nフレーム目の画像データから検出された特徴点(図4(b)参照)に基づいて被写体の輪郭を検出し、それに基づいてnフレーム目の被写体の中心を求める。このように、特徴点に基づいて被写体の中心を算出することにより、被写体を誤認識することを防止することができる。   In addition, the moving object detection circuit 142 detects the contour of the subject based on the feature point (see FIG. 4A) detected from the image data of the (n-1) th frame, and based on that, the subject of the (n-1) th frame. Find the center of. The moving object detection circuit 142 detects the contour of the subject based on the feature points (see FIG. 4B) detected from the image data of the nth frame, and obtains the center of the subject of the nth frame based on the detected contour. . Thus, by calculating the center of the subject based on the feature points, it is possible to prevent the subject from being erroneously recognized.

これにより、被写体検出処理(ステップS10)が終了する。ステップS10において、動いている被写体が検出された場合には、動体検出回路142は、図4(c)に示すように、n−1フレーム目の被写体の中心と、nフレーム目の被写体の中心とに基づいて、光軸方向と垂直方向(x方向及びy方向)の被写体の移動速度を算出する(ステップS11)。このように、被写体の中心に基づいて被写体の移動速度を算出することにより、被写体の移動速度を正確に算出することができる。   Thereby, the subject detection process (step S10) ends. When a moving subject is detected in step S10, the moving object detection circuit 142, as shown in FIG. 4C, the center of the subject of the (n-1) th frame and the center of the subject of the nth frame. Based on the above, the moving speed of the subject in the direction perpendicular to the optical axis direction (x direction and y direction) is calculated (step S11). Thus, by calculating the moving speed of the subject based on the center of the subject, the moving speed of the subject can be accurately calculated.

動体検出回路142は、算出された被写体の移動距離と、1フレームの時間(フレームレートの逆数)とに基づいて、被写体の移動速度を算出する。   The moving object detection circuit 142 calculates the moving speed of the subject based on the calculated moving distance of the subject and the time of one frame (the reciprocal of the frame rate).

これにより、移動速度算出処理(ステップS11)を終了する。動体検出回路142は、メモリ112に記録された移動速度とフレームレートの対応表を参照し、ステップS11で算出された被写体の移動速度に対応したスルー画像表示用のフレームレートを選択する(ステップS12)。移動速度に対応したフレームレートを選択できるように、メモリ112には、移動速度とフレームレートの対応表をあらかじめ用意しておく。この対応表において、移動速度に応じて30〜60フレーム/秒のフレームレートが設定されている。ステップS12で選択されたスルー画像表示用のフレームレートは動体検出回路142からCPU110に出力される。   Thereby, the moving speed calculation process (step S11) is terminated. The moving object detection circuit 142 refers to the correspondence table of the moving speed and the frame rate recorded in the memory 112, and selects a through image display frame rate corresponding to the moving speed of the subject calculated in step S11 (step S12). ). A correspondence table between the moving speed and the frame rate is prepared in advance in the memory 112 so that a frame rate corresponding to the moving speed can be selected. In this correspondence table, a frame rate of 30 to 60 frames / second is set according to the moving speed. The frame rate for displaying the through image selected in step S12 is output from the moving object detection circuit 142 to the CPU 110.

CPU110は、タイミングジェネレータ(TG)114に指令を出し、動体検出回路14から出力されたスルー画像表示用のフレームレートで撮像素子126を駆動し、撮像素子126から画像信号を定期的に取り込む。取画像信号処理部134はり込まれた画像信号より輝度/色差信号を生成し、表示回路154は輝度/色差信号を表示用の信号形式(たとえばNTSC方式のカラー複合映像信号)に変換して画像表示装置156に出力する。これにより、撮像素子126で撮像される画像がリアルタイムで画像表示装置156に表示される(ステップS13)。   The CPU 110 issues a command to the timing generator (TG) 114, drives the image sensor 126 at a frame rate for displaying a through image output from the moving object detection circuit 14, and periodically captures an image signal from the image sensor 126. The captured image signal processing unit 134 generates a luminance / color difference signal from the inserted image signal, and the display circuit 154 converts the luminance / color difference signal into a signal format for display (for example, an NTSC color composite video signal) to generate an image. The data is output to the display device 156. Thereby, the image imaged with the image pick-up element 126 is displayed on the image display apparatus 156 in real time (step S13).

これにより、動く被写体に対して最適なフレームレートが選択され、被写体の動きに合わせたスルー画像制御が行われる。ユーザは、画像表示装置156に表示されたスルー画像を確認しながらズームボタンを操作することにより、画角を決定し、撮影動作を行う。   As a result, an optimal frame rate is selected for the moving subject, and through image control is performed in accordance with the motion of the subject. The user operates the zoom button while confirming the through image displayed on the image display device 156, thereby determining the angle of view and performing a photographing operation.

撮影はシャッターボタン26の押下によって行なわれる。シャッターボタン26が半押しされると、S1ON信号がCPU110に入力される。   Shooting is performed by pressing the shutter button 26. When the shutter button 26 is half-pressed, an S1 ON signal is input to the CPU 110.

CPU110は、AE/AF検出回路140で算出された積算値のデータに基づいて、レンズ駆動部を制御してレンズ群を含む撮影光学系のフォーカスレンズ124を移動させながら、複数のAF検出ポイントで焦点評価値(AF評価値)を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカスレンズ124が移動するように、レンズ駆動部を制御する。   Based on the integrated value data calculated by the AE / AF detection circuit 140, the CPU 110 controls the lens driving unit and moves the focus lens 124 of the photographing optical system including the lens group at a plurality of AF detection points. A focus evaluation value (AF evaluation value) is calculated, and a lens position where the evaluation value is maximized is determined as a focus position. Then, the lens driving unit is controlled so that the focus lens 124 moves to the obtained in-focus position.

CPU110は、AE/AF検出回路140から得た積算値に基づいて被写体の明るさ(被写体輝度)を検出し、撮影に適した露出値(撮影EV値)を算出する。そして、求めた撮影EV値と所定のプログラム線図から絞り値とシャッタースピードを決定し、これに従い撮像素子126の電子シャッターと絞り駆動部を制御して(いわゆる電子シャッター)適正な露光量を得る。   The CPU 110 detects the brightness of the subject (subject brightness) based on the integrated value obtained from the AE / AF detection circuit 140, and calculates an exposure value (shooting EV value) suitable for shooting. Then, an aperture value and a shutter speed are determined from the obtained shooting EV value and a predetermined program diagram, and an electronic shutter and an aperture drive unit of the image sensor 126 are controlled according to this (so-called electronic shutter) to obtain an appropriate exposure amount. .

また、AE/AF検出回路140は、自動ホワイトバランス調整時、分割エリアごとにR、G、B信号の色別の平均積算値を算出し、その算出結果をCPU110に提供する。   Further, the AE / AF detection circuit 140 calculates an average integrated value for each color of the R, G, and B signals for each divided area during automatic white balance adjustment, and provides the calculation result to the CPU 110.

CPU110は、得られたRの積算値、Bの積算値、Gの積算値から分割エリアごとにR/G及びB/Gの比を求め、求めたR/G、B/Gの値のR/G、B/Gの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば、各比の値がおよそ1(つまり、1画面においてRGBの積算比率がR:G:B≒1:1:1)になるように、ホワイトバランス調整回路のR、G、B信号に対するゲイン値(ホワイトバランス補正値)を制御し、各色チャンネルの信号に補正をかける。   The CPU 110 obtains the ratio of R / G and B / G for each divided area from the obtained R accumulated value, B accumulated value, and G accumulated value, and R of the obtained R / G and B / G values. The light source type is discriminated based on the distribution in the color space of / G and B / G. Then, according to the white balance adjustment value suitable for the discriminated light source type, for example, the value of each ratio is approximately 1 (that is, the RGB integration ratio is R: G: B≈1: 1: 1 on one screen). As described above, the gain value (white balance correction value) for the R, G, and B signals of the white balance adjustment circuit is controlled to correct the signal of each color channel.

以上のように、シャッターボタン26の半押しによって、AE/AF処理及びAWB処理が行なわれる。この間、ユーザは、必要に応じてズームボタン38を操作し、レンズ群をズーミングさせて画角を調整し、CPU110は、AE/AF処理及びAWB処理を継続して行う。   As described above, AE / AF processing and AWB processing are performed by half-pressing the shutter button 26. During this time, the user operates the zoom button 38 as necessary to zoom the lens group and adjust the angle of view, and the CPU 110 continues to perform the AE / AF process and the AWB process.

この後、シャッターボタン26が全押しされると、CPU110にS2ON信号が入力され、CPU110は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で撮像素子126を露光する。   Thereafter, when the shutter button 26 is fully pressed, an S2ON signal is input to the CPU 110, and the CPU 110 starts photographing and recording processing. That is, the image sensor 126 is exposed at the shutter speed and aperture value determined based on the photometric result.

撮像素子126から出力された画像信号は、アナログ処理部128、A/D変換器130、画像入力制御部132を介してメモリ112に取り込まれ、画像信号処理部134において輝度/色差信号に変換されたのち、メモリ112に格納される。   The image signal output from the image sensor 126 is taken into the memory 112 via the analog processing unit 128, the A / D converter 130, and the image input control unit 132, and is converted into a luminance / color difference signal by the image signal processing unit 134. After that, it is stored in the memory 112.

メモリ112に格納された画像データは、圧縮伸張処理部136に加えられ、所定の圧縮フォーマット(たとえばJPEG形式)に従って圧縮された後、メモリ112に格納され、所定の画像記録フォーマット(たとえばExif形式)の画像ファイルとされたのち、メディアコントローラ150を介して記憶メディア152に記録される。   The image data stored in the memory 112 is added to the compression / decompression processing unit 136, compressed in accordance with a predetermined compression format (for example, JPEG format), then stored in the memory 112, and a predetermined image recording format (for example, Exif format). Are recorded on the storage medium 152 via the media controller 150.

本実施の形態によれば、被写体の移動速度に基づいてスルー画像取得時のフレームレートを切り替え、被写体の移動速度に応じた適切なフレームレートでスルー画像を表示することができる。   According to the present embodiment, it is possible to switch the frame rate at the time of obtaining a through image based on the moving speed of the subject and display the through image at an appropriate frame rate according to the moving speed of the subject.

すなわち、被写体の動きが早くなると、フレームレートは自動的に上げられる。被写体の動きよりフレームレートが遅い場合には、被写体の動きが滑らかに見えない等の問題が発生するが、被写体の動きにあわせてフレームレートを上げることにより、動く被写体が含まれる場合のスルー画像の画質を向上させることができる。   That is, the frame rate is automatically increased as the subject moves faster. When the frame rate is slower than the movement of the subject, problems such as the subject's movement not appearing smoothly occur, but a through image when moving subjects are included by increasing the frame rate according to the subject's movement. Image quality can be improved.

また、被写体の動きが遅くなったり被写体が止まったりした場合には、フレームレートは自動的に下げられる。被写体の動きよりフレームレートが速い場合には消費電力が大きくなる、ノイズが大きくなることにより画質が低下するなどの不具合が発生するが、被写体の動きに合わせてフレームレートを下げることにより、このような不具合を防止することができる。   Also, when the movement of the subject slows down or the subject stops, the frame rate is automatically lowered. When the frame rate is faster than the movement of the subject, power consumption increases and noise increases, resulting in problems such as image quality degradation.However, by reducing the frame rate according to the subject's movement, Can be prevented.

なお、本実施の形態では、ステップS11において、図4(c)に示すように、ステップS10で算出された特徴点に基づいて被写体の中心を算出し、被写体の中心に基づいて被写体の移動距離を算出したが、図5に示すように、ステップS10で算出された特徴点に基づいて被写体の移動距離を算出するようにしてもよい。この場合には、被写体の中心を求める必要が無いため、処理を簡略化し、処理に要する時間を短縮することができる。   In the present embodiment, in step S11, as shown in FIG. 4C, the center of the subject is calculated based on the feature point calculated in step S10, and the moving distance of the subject is calculated based on the center of the subject. However, as shown in FIG. 5, the moving distance of the subject may be calculated based on the feature points calculated in step S10. In this case, since it is not necessary to obtain the center of the subject, the processing can be simplified and the time required for the processing can be shortened.

また、本実施の形態では、ステップS12において、移動速度とフレームレートの対応表を参照して、ステップS11で算出された被写体の移動速度に対応したスルー画像表示用のフレームレートを選択したが、スルー画像表示用のフレームレートを選択する方法はこれに限らない。例えば、ステップS11で被写体の移動速度を算出する代わりに、n−1フレーム目の被写体の中心と、nフレーム目の被写体の中心との移動距離を算出し、予めメモリ112に記憶された被写体の移動距離とフレームレートの対応表を参照して、算出された被写体の移動距離に対応したスルー画像表示用のフレームレートを選択するようにしてもよい。   In the present embodiment, the frame rate for through image display corresponding to the moving speed of the subject calculated in step S11 is selected in step S12 with reference to the correspondence table of moving speed and frame rate. The method for selecting the frame rate for displaying the through image is not limited to this. For example, instead of calculating the moving speed of the subject in step S11, the moving distance between the center of the subject of the (n-1) th frame and the center of the subject of the nth frame is calculated, and the subject stored in the memory 112 in advance is calculated. A through image display frame rate corresponding to the calculated movement distance of the subject may be selected with reference to a correspondence table of movement distance and frame rate.

また、本実施の形態では、連続した2枚の画像から被写体を検出したが、連続していない2枚の画像から被写体を検出してもよいし、2枚以上の画像から被写体を検出してもよい。   In this embodiment, the subject is detected from two consecutive images. However, the subject may be detected from two non-continuous images, or the subject may be detected from two or more images. Also good.

<第2の実施の形態>
本発明の第1の実施の形態は、動体検出回路142において動きのある被写体が1つだけ検出された(ステップS10)場合について説明したが、動きのある被写体が1つだけ検出されるとは限らない。
<Second Embodiment>
In the first embodiment of the present invention, the case where only one moving subject is detected in the moving object detection circuit 142 (step S10) has been described. However, only one moving subject is detected. Not exclusively.

本発明の第2の実施の形態は、動体検出回路142において動きのある被写体が複数検出された場合に、被写体の動きに応じた最適なフレームレートでスルー画像を表示する形態である。以下、本発明の第2の実施の形態のデジタルカメラ11について説明する。なお、第1の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。   In the second embodiment of the present invention, when a plurality of moving subjects are detected by the moving object detection circuit 142, a through image is displayed at an optimal frame rate according to the motion of the subject. Hereinafter, the digital camera 11 according to the second embodiment of the present invention will be described. In addition, about the part same as 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.

デジタルカメラ11の内部の電気的な概略構成は、デジタルカメラ10と同一であるため説明を省略し、デジタルカメラ11の作用について説明する。   Since the electrical schematic configuration inside the digital camera 11 is the same as that of the digital camera 10, a description thereof will be omitted, and the operation of the digital camera 11 will be described.

デジタルカメラ11の電源/モードスイッチを撮影位置に合わせることで、撮影モードに設定され、撮影スタンバイ状態になる。   By setting the power / mode switch of the digital camera 11 to the photographing position, the photographing mode is set and the photographing standby state is set.

この撮影モードの下、レンズ群を通過した被写体光は、絞り(図示せず)を介して撮像素子126の受光面に結像される。レンズ群を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。   Under this photographing mode, the subject light that has passed through the lens group forms an image on the light receiving surface of the image sensor 126 through a diaphragm (not shown). The subject light that has passed through the lens group is received by each photodiode and converted into a signal charge corresponding to the amount of incident light.

各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ(TG)114から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出され、アナログ処理部(CDS/AMP)128に加えられる。
アナログ処理部128から出力されたアナログのR、G、B信号は、A/D変換器130でデジタルのR、G、B信号に変換され、画像入力制御部132に加えられる。画像入力制御部132は、A/D変換器130から出力されたデジタルのR、G、B信号をメモリ112に出力する。
The signal charge accumulated in each photodiode is sequentially read out as a voltage signal (image signal) corresponding to the signal charge on the basis of the drive pulse supplied from the timing generator (TG) 114, and an analog processing unit (CDS / AMP). 128.
Analog R, G, and B signals output from the analog processing unit 128 are converted into digital R, G, and B signals by the A / D converter 130 and added to the image input control unit 132. The image input control unit 132 outputs digital R, G, and B signals output from the A / D converter 130 to the memory 112.

デジタルのR、G、B信号は、メモリ112から動体検出回路142に入力され、CPU110は、タイミングジェネレータ(TG)114に指令を出し、動体検出回路142から出力されたスルー画像表示用のフレームレートで撮像素子126を駆動する。   Digital R, G, and B signals are input from the memory 112 to the moving object detection circuit 142, and the CPU 110 issues a command to the timing generator (TG) 114 and outputs a frame rate for displaying a through image output from the moving object detection circuit 142. To drive the image sensor 126.

図6は、動きのある被写体が複数ある場合に、撮像素子126で取得された画像に基づいて生成されたデジタルのR、G、B信号に基づいてスルー画像表示用のフレームレートを求め、このフレームレートで取得されたスルー画像を表示する処理の流れを示すフローチャートである。   FIG. 6 shows a frame rate for displaying a through image based on digital R, G, and B signals generated based on an image acquired by the image sensor 126 when there are a plurality of moving subjects. It is a flowchart which shows the flow of the process which displays the through image acquired at the frame rate.

動体検出回路142は、以下に示すように、入力されたデジタルのR、G、B信号に基づいて動きのある被写体をN個検出する(ステップS20)。これは、ステップS10の処理を行った結果、動きのある被写体がN個検出されたことを意味する。   As shown below, the moving object detection circuit 142 detects N moving subjects based on the input digital R, G, and B signals (step S20). This means that N moving subjects have been detected as a result of the processing of step S10.

次に、ステップS20で検出されたN個の被写体のなかから予測移動距離が最大となる被写体を選択する(ステップS21〜S26)。   Next, the subject having the maximum predicted movement distance is selected from the N subjects detected in step S20 (steps S21 to S26).

まずiを1に設定し(ステップS21)、Nをiに設定する(ステップS22)。   First, i is set to 1 (step S21), and N is set to i (step S22).

動体検出回路142は、図7に示すように、n−1フレーム目の被写体の中心と、nフレーム目の被写体の中心とに基づいて、被写体がどちらに移動するか(被写体の移動方向)を予測する(ステップS23)。   As shown in FIG. 7, the moving body detection circuit 142 determines to which direction the subject moves (moving direction of the subject) based on the center of the subject of the (n−1) th frame and the center of the subject of the nth frame. Prediction is made (step S23).

また、動体検出回路142は、算出された被写体の移動距離と、1フレームの時間とに基づいて、被写体の移動速度を算出する(ステップS11)。   The moving object detection circuit 142 calculates the moving speed of the subject based on the calculated moving distance of the subject and the time of one frame (step S11).

動体検出回路142は、ステップS23で予測された移動方向と、ステップS11で予測された移動速度とに基づいて、n+1フレーム目の画像データにおいて被写体がどこに移動しているか(被写体の予測移動距離)を算出する(ステップS24)。   Based on the movement direction predicted in step S23 and the movement speed predicted in step S11, the moving object detection circuit 142 indicates where the subject is moving in the image data of the (n + 1) th frame (predicted movement distance of the subject). Is calculated (step S24).

Nをi+1とし(ステップS25)、NがNであるか、すなわちステップS20で検出されたN個全ての被写体に対してステップS23、S11及びS24の処理が行われたかどうかを判断する(ステップS26)。   N is set to i + 1 (step S25), and it is determined whether N is N, that is, whether or not the processes of steps S23, S11, and S24 have been performed on all N subjects detected in step S20 (step S26). ).

ステップS20で検出されたN個全ての被写体に対してステップS23、S11及びS24の処理が行われていない場合(ステップS26でNO)には、ステップS23に戻り、ステップS23、S11及びS24を再度行う。   If the processes in steps S23, S11, and S24 have not been performed on all N subjects detected in step S20 (NO in step S26), the process returns to step S23, and steps S23, S11, and S24 are performed again. Do.

ステップS30で検出されたN個全ての被写体に対してステップS23、S11及びS24の処理が行われた場合(ステップS26でYES)には、N個の被写体に対してステップS25で算出された予測移動距離が最大となる被写体を対象被写体として選択する(ステップS27)。このステップS27で予測移動距離を算出するのは、速く進むこと等によりn+1フレーム目の画像の撮影範囲から外れる被写体を除外するためである。図8は、ステップS20で2個の被写体が検出された場合におけるそれぞれの被写体の予測移動距離を示したものである。図8において、被写体1の予測移動距離より被写体2の予測移動距離のほうが大きいこと、及び被写体2が撮影範囲の中にとどまることにより、被写体2が対象被写体として選択される。   When the processes in steps S23, S11, and S24 have been performed on all N subjects detected in step S30 (YES in step S26), the prediction calculated in step S25 for N subjects. A subject having the maximum moving distance is selected as a target subject (step S27). The reason for calculating the predicted moving distance in this step S27 is to exclude subjects that are out of the shooting range of the image of the (n + 1) th frame due to fast progress. FIG. 8 shows the predicted movement distance of each subject when two subjects are detected in step S20. In FIG. 8, the subject 2 is selected as the target subject because the predicted travel distance of the subject 2 is larger than the predicted travel distance of the subject 1 and the subject 2 remains in the shooting range.

動体検出回路142は、メモリ112に記録された移動速度とフレームレートの対応表を参照し、ステップS21で選択された対象被写体の移動速度に対応したスルー画像表示用のフレームレートを選択する(ステップS28)。移動速度に対応したフレームレートを選択できるように、メモリ112には、移動速度とフレームレートの対応表をあらかじめ用意しておく。この対応表において、移動速度に応じて30〜60フレーム/秒のフレームレートが設定されている。ステップS28で選択されたスルー画像表示用のフレームレートは動体検出回路142からCPU110に出力される。   The moving object detection circuit 142 refers to the correspondence table of the moving speed and the frame rate recorded in the memory 112, and selects a through image display frame rate corresponding to the moving speed of the target subject selected in step S21 (step S21). S28). A correspondence table between the moving speed and the frame rate is prepared in advance in the memory 112 so that a frame rate corresponding to the moving speed can be selected. In this correspondence table, a frame rate of 30 to 60 frames / second is set according to the moving speed. The through image display frame rate selected in step S28 is output from the moving object detection circuit 142 to the CPU 110.

CPU110は、動体検出回路142から出力されたスルー画像表示用のフレームレートで撮像素子126を駆動し、撮像素子126から画像信号を定期的に取り込む。取画像信号処理部134はり込まれた画像信号より輝度/色差信号を生成し、表示回路154は輝度/色差信号を表示用の信号形式(たとえばNTSC方式のカラー複合映像信号)に変換して画像表示装置156に出力する。これにより、撮像素子126で撮像される画像がリアルタイムで画像表示装置156に表示される(ステップS13)。   The CPU 110 drives the image sensor 126 at a through image display frame rate output from the moving object detection circuit 142 and periodically captures an image signal from the image sensor 126. The captured image signal processing unit 134 generates a luminance / color difference signal from the inserted image signal, and the display circuit 154 converts the luminance / color difference signal into a signal format for display (for example, an NTSC color composite video signal) to generate an image. The data is output to the display device 156. Thereby, the image imaged with the image pick-up element 126 is displayed on the image display apparatus 156 in real time (step S13).

この結果、動く被写体に対して最適なスルー画像制御が行われる。その後、撮影、記録処理が行われる。撮影、記録処理は第1の実施の形態と同様であるため、説明を省略する。   As a result, optimal through image control is performed on a moving subject. Thereafter, photographing and recording processes are performed. Since the photographing and recording processing is the same as that of the first embodiment, description thereof is omitted.

本実施の形態によれば、最も動きの早い被写体に合わせてスルー画像のフレームレートを選択することにより、画像データのなかに動く被写体が複数存在する場合においても、被写体の移動速度に基づいてスルー画像取得時のフレームレートを切り替え、被写体の移動速度に応じた適切なフレームレートでスルー画像を表示することができる。   According to the present embodiment, by selecting the through image frame rate in accordance with the fastest moving subject, even if there are a plurality of moving subjects in the image data, the through speed is determined based on the moving speed of the subject. By switching the frame rate at the time of image acquisition, a through image can be displayed at an appropriate frame rate according to the moving speed of the subject.

なお、本実施の形態では、ステップS24において、ステップS23で予測された被写体の移動方向と、ステップS11で算出された被写体の移動速度とを用いて被写体の予測移動距離を求めたが、被写体の予測移動距離の求め方はこれに限らず、n−1フレーム目の被写体の中心位置と、nフレーム目の被写体の中心位置とからn+1フレーム目の被写体の中心位置を求め、nフレーム目の被写体の中心位置とn+1フレーム目の被写体の中心位置との差を予測移動距離としてもよい。   In this embodiment, in step S24, the predicted moving distance of the subject is obtained using the moving direction of the subject predicted in step S23 and the moving speed of the subject calculated in step S11. The method of obtaining the predicted movement distance is not limited to this, and the center position of the subject of the (n + 1) th frame is obtained from the center position of the subject of the (n-1) th frame and the center position of the subject of the nth frame, and the subject of the nth frame. The difference between the center position of the subject and the center position of the subject of the (n + 1) th frame may be used as the predicted movement distance.

また、本実施の形態では、ステップS24において、光軸方向と垂直方向(x方向及びy方向)の被写体の移動距離を算出したが、光軸方向(z方向)を加え、z方向、y方向及びz方向の全ての方向を考慮した移動距離を算出してもよい。z方向の移動距離は、例えば、被写体の大きさの変化量と、被写体間での距離と、被写体の大きさ(例えば、人物の顔の場合には、約20〜30cm)とに基づいて算出することができる。この場合には、被写体の種類と大きさとの関係を予めメモリ112に記憶しておけばよい。   In the present embodiment, the moving distance of the subject in the direction perpendicular to the optical axis direction (x direction and y direction) is calculated in step S24. However, the optical axis direction (z direction) is added to the z direction and the y direction. In addition, the movement distance may be calculated in consideration of all the directions in the z direction. The moving distance in the z direction is calculated based on, for example, the amount of change in the size of the subject, the distance between the subjects, and the size of the subject (for example, about 20 to 30 cm in the case of a human face). can do. In this case, the relationship between the type and size of the subject may be stored in the memory 112 in advance.

また、本実施の形態では、ステップS27において、ステップS20で検出された被写体がN個の被写体から予測移動距離が最大となる被写体を対象被写体として選択したが、対象被写体を選択する方法はこれに限らず、ステップS11で算出された被写体の移動速度が最大の被写体を対象被写体としてもよいし、画像中心に最も近い被写体(図17ステップS20〜S52参照、詳細は後述)を対象被写体としてもよい。   In this embodiment, in step S27, the subject detected in step S20 is selected from the N subjects as the target subject with the maximum predicted movement distance. However, the method of selecting the target subject is not limited to this. Not limited, the subject whose moving speed of the subject calculated in step S11 is the maximum may be set as the target subject, and the subject closest to the center of the image (see steps S20 to S52 in FIG. 17, details will be described later) may be set as the target subject. .

<第3の実施の形態>
本発明の第1の実施の形態及び第2の実施の形態は、動く被写体に応じたフレームレートでスルー画像を表示することで、滑らかで画質のよいスルー画像を表示する形態であるが、滑らかで画質のよいスルー画像を表示する方法はこれに限らない。
<Third Embodiment>
In the first embodiment and the second embodiment of the present invention, a through image is displayed at a frame rate corresponding to a moving subject, thereby displaying a smooth through image with good image quality. The method of displaying a through image with good image quality is not limited to this.

本発明の第3の実施の形態は、画質のよりスルー画像を得るために、動く被写体に対してコンティニュアスAFを行う形態である。以下、本発明の第3の実施の形態のデジタルカメラ12について説明する。なお、第1の実施の形態又は第2の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。   The third embodiment of the present invention is a form in which continuous AF is performed on a moving subject in order to obtain a through image with higher image quality. The digital camera 12 according to the third embodiment of the present invention will be described below. In addition, about the part same as 1st Embodiment or 2nd Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.

図9はデジタルカメラ12の内部の電気的な概略構成を示すブロック図である。   FIG. 9 is a block diagram showing a schematic electrical configuration inside the digital camera 12.

図9に示すように、デジタルカメラ10は、主として、CPU110、メモリ112、タイミングジェネレータ(TG)114、モータドライバ116、118、操作部120、ズームレンズ122、フォーカスレンズ124、撮像素子126、アナログ処理部(CDS/AMP)128、A/D変換器130、画像入力制御部132、画像信号処理部134、圧縮伸張処理部136、AE/AF検出回路144、動体検出回路146、メディアコントローラ150、表示回路154、記憶メディア152、画像表示装置156等で構成されている。   As shown in FIG. 9, the digital camera 10 mainly includes a CPU 110, a memory 112, a timing generator (TG) 114, motor drivers 116 and 118, an operation unit 120, a zoom lens 122, a focus lens 124, an image sensor 126, and analog processing. Unit (CDS / AMP) 128, A / D converter 130, image input control unit 132, image signal processing unit 134, compression / decompression processing unit 136, AE / AF detection circuit 144, moving object detection circuit 146, media controller 150, display A circuit 154, a storage medium 152, an image display device 156, and the like are included.

AE/AF検出回路144は、AE検出回路とAF検出回路とで構成される。AE検出回路については、AE/AF検出回路140と同一であるため、説明を省略する。   The AE / AF detection circuit 144 includes an AE detection circuit and an AF detection circuit. Since the AE detection circuit is the same as the AE / AF detection circuit 140, description thereof is omitted.

AF検出回路は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、所定のフォーカスエリア(たとえば、画面中央部)内の信号を切り出すAFエリア検出部及びAFエリア内の評価値を積算する積算部から構成される。   The AF detection circuit includes a high-pass filter that passes only a high-frequency component of the G signal, an absolute value processing unit, an AF area detection unit that extracts a signal in a predetermined focus area (for example, the center of the screen), and an evaluation value in the AF area It is comprised from the integration part which integrates.

AF検出回路は、通常は、測距エリアを画面中央に固定して評価値を算出し、動体検出回路146からコンティニュアスAFの対象エリアが入力された場合には、入力された対象エリアを測距エリアとして評価値を算出する。   The AF detection circuit normally calculates an evaluation value by fixing the distance measurement area at the center of the screen, and when the target area of continuous AF is input from the moving object detection circuit 146, the input target area is calculated. An evaluation value is calculated as a distance measurement area.

CPU110は、AF制御時にはフォーカスレンズ124を至近から無限遠に対応するレンズ位置に順次移動させるとともに、レンズ位置毎に撮像素子126を介して取り込まれるAFエリアの画像信号に基づいて画像信号の高周波成分を積算した評価値をAF検出回路から取得し、この評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズ124を移動させるコントラストAFを行う。   During the AF control, the CPU 110 sequentially moves the focus lens 124 from a closest position to a lens position corresponding to infinity, and at the same time, a high-frequency component of the image signal based on the image signal of the AF area captured via the image sensor 126 for each lens position. Is obtained from the AF detection circuit, a lens position where the evaluation value reaches a peak is obtained, and contrast AF is performed to move the focus lens 124 to the lens position.

また、CPU110は、スルー画像撮影時には、コントラスト方式によるAF処理を繰り返し行うコンティニュアスAFを行う。   In addition, the CPU 110 performs continuous AF in which AF processing by a contrast method is repeatedly performed during through image shooting.

動体検出回路146は、被写体の動きを検出し、コンティニュアスAFのサーチ方向、フレームレート(AF処理の間隔)及び対象エリアを決定する。動体検出回路146は、図10に示すように、動体検出時(nフレーム目)の画像と、動体検出時より1フレーム前(n−1フレーム目)の画像とが入力されると、コンティニュアスAFのサーチ方向及び対象エリアを出力し、更にパラメータとしてメモリ112に記録された移動速度とフレームレートの対応表を用いてコンティニュアスAFのフレームレートを出力する。動体検出回路146で行う処理については後に詳述する。   The moving object detection circuit 146 detects the movement of the subject, and determines the search direction, frame rate (AF processing interval), and target area for continuous AF. As shown in FIG. 10, the moving object detection circuit 146 receives the image when moving object is detected (the nth frame) and the image one frame before (n−1 frame) before the moving object is detected. The AS AF search direction and the target area are output, and the frame rate of the continuous AF is output using the correspondence table of the moving speed and the frame rate recorded in the memory 112 as parameters. The processing performed by the moving object detection circuit 146 will be described in detail later.

次に、以上のように構成された本実施の形態のデジタルカメラ12の作用について説明する。   Next, the operation of the digital camera 12 of the present embodiment configured as described above will be described.

電源/モードスイッチを撮影位置に合わせることで、撮影モードに設定され、撮影が可能になる。そして、撮影モードに設定されることにより、レンズ群が繰り出され、撮影スタンバイ状態になる。   By setting the power / mode switch to the shooting position, the shooting mode is set and shooting is possible. Then, when the photographing mode is set, the lens group is extended and the photographing standby state is set.

この撮影モードの下、レンズ群を通過した被写体光は、絞り(図示せず)を介して撮像素子126の受光面に結像される。レンズ群を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。   Under this photographing mode, the subject light that has passed through the lens group forms an image on the light receiving surface of the image sensor 126 through a diaphragm (not shown). The subject light that has passed through the lens group is received by each photodiode and converted into a signal charge corresponding to the amount of incident light.

各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ(TG)114から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出され、アナログ処理部(CDS/AMP)128に加えられる。   The signal charge accumulated in each photodiode is sequentially read out as a voltage signal (image signal) corresponding to the signal charge on the basis of the drive pulse supplied from the timing generator (TG) 114, and an analog processing unit (CDS / AMP). 128.

アナログ処理部128から出力されたアナログのR、G、B信号は、A/D変換器130でデジタルのR、G、B信号に変換され、画像入力制御部132に加えられる。画像入力制御部132は、A/D変換器130から出力されたデジタルのR、G、B信号をメモリ112に出力する。これにより、撮像素子126で撮像された被写体像が画像信号として取り込まれる。   Analog R, G, and B signals output from the analog processing unit 128 are converted into digital R, G, and B signals by the A / D converter 130 and added to the image input control unit 132. The image input control unit 132 outputs digital R, G, and B signals output from the A / D converter 130 to the memory 112. As a result, the subject image captured by the image sensor 126 is captured as an image signal.

CPU110は、タイミングジェネレータ(TG)114に指令を出し、所定のフレームレートで撮像素子126を駆動し、撮像素子126から画像信号を定期的に取り込む。画像信号処理部134は取り込まれた画像信号より輝度/色差信号を生成し、表示回路154は輝度/色差信号を表示用の信号形式(たとえばNTSC方式のカラー複合映像信号)に変換して画像表示装置156に出力する。これにより、撮像素子126で撮像される画像が画像表示装置156にスルー画像として表示される。   The CPU 110 issues a command to the timing generator (TG) 114, drives the image sensor 126 at a predetermined frame rate, and periodically captures image signals from the image sensor 126. The image signal processing unit 134 generates a luminance / color difference signal from the captured image signal, and the display circuit 154 converts the luminance / color difference signal into a display signal format (for example, NTSC color composite video signal) to display an image. Output to the device 156. As a result, an image captured by the image sensor 126 is displayed on the image display device 156 as a through image.

それと共に、撮像素子126で取得された画像に基づいて生成されたデジタルのR、G、B信号は動体検出回路146に取り込まれる。動体検出回路146は、コンティニュアスAFの対象エリア、フレームレート及びサーチ方向を出力し、CPU110は、動体検出回路146から出力された結果に基づいてコンティニュアスAFを行う。当該処理の流れについて図11を用いて説明する。   At the same time, digital R, G, and B signals generated based on the image acquired by the image sensor 126 are taken into the moving object detection circuit 146. The moving object detection circuit 146 outputs the continuous AF target area, frame rate, and search direction, and the CPU 110 performs continuous AF based on the result output from the moving object detection circuit 146. The process flow will be described with reference to FIG.

動体検出回路146は、nフレーム目の画像データとnフレーム目の画像の1フレーム前(n−1フレーム目)の画像データとを取得し、それぞれの画像データから被写体の特徴点(例えば被写体のエッジ等)を検出し(図12(a)、(b)参照)、これらの特徴点を比較し、同一の特徴点の位置が一致しない場合には被写体が動いていると判断する。そして、動体検出回路146は、検出された特徴点に基づいて、n−1フレーム目の被写体の中心を算出と、nフレーム目の被写体の中心とを算出することにより、動いている被写体を検出する(ステップS10)。   The moving object detection circuit 146 acquires the image data of the nth frame and the image data one frame before (n−1th frame) of the nth frame image, and the feature point of the subject (for example, the subject's feature) Edge, etc.) are detected (see FIGS. 12A and 12B), and these feature points are compared. If the positions of the same feature points do not match, it is determined that the subject is moving. Then, the moving object detection circuit 146 detects the moving subject by calculating the center of the subject of the (n−1) th frame and the center of the subject of the nth frame based on the detected feature points. (Step S10).

そして、動体検出回路146は、図12(c)に示すように、これらに基づいて被写体がどちらに移動するか(被写体の移動方向)を予測する(ステップS23)。ステップS23では、光軸方向と垂直な方向(x方向及びy方向)の移動方向を予測する。   Then, as shown in FIG. 12C, the moving object detection circuit 146 predicts where the subject moves (moving direction of the subject) based on these (step S23). In step S23, a moving direction in a direction (x direction and y direction) perpendicular to the optical axis direction is predicted.

また、動体検出回路146は、図12(c)に示すように、n−1フレーム目の被写体の中心と、nフレーム目の被写体の中心とに基づいて被写体の移動距離を算出し、算出された被写体の移動距離と、1フレームの時間とに基づいて、被写体の移動速度を算出する(ステップS11)。   Further, as shown in FIG. 12C, the moving object detection circuit 146 calculates the moving distance of the subject based on the center of the subject of the (n-1) th frame and the center of the subject of the nth frame. The moving speed of the subject is calculated based on the moving distance of the subject and the time of one frame (step S11).

さらに、動体検出回路146は、図12(d)に示すように、n−1フレーム目の被写体の中心と、nフレーム目の被写体の中心とに基づいて、nフレーム目の1フレーム後(n+1フレーム目)の光軸方向と垂直な方向(x方向及びy方向)、すなわち画像データ上における被写体の位置を予測する(ステップS30)。   Further, as shown in FIG. 12D, the moving object detection circuit 146 is one frame after the nth frame (n + 1) based on the center of the subject of the (n−1) th frame and the center of the subject of the nth frame. The direction (x direction and y direction) perpendicular to the optical axis direction of the (frame)), that is, the position of the subject on the image data is predicted (step S30).

ステップS30で予測された被写体の予測位置は、コンティニュアスAFの対象エリアとして動体検出回路146からAE/AF検出回路144に入力される。AE/AF検出回路144は、入力された対象エリアをn+1フレーム目のコンティニュアスAFの測距エリアとして設定する(ステップS31)。これにより、被写体が画面中央にいない場合においても、被写体に対して確実に合焦させることができる。   The predicted position of the subject predicted in step S30 is input from the moving object detection circuit 146 to the AE / AF detection circuit 144 as a target area for continuous AF. The AE / AF detection circuit 144 sets the input target area as the distance measurement area of the continuous AF of the (n + 1) th frame (step S31). Thereby, even when the subject is not in the center of the screen, the subject can be reliably focused.

コンティニュアスAFの測距エリアの設定(ステップS31)が終了したら、動体検出回路146は、以下のようにして被写体の移動方向に基づいてコンティニュアスAFのサーチ方向を決定する(ステップS32)。   When the setting of the ranging area of the continuous AF (step S31) is completed, the moving object detection circuit 146 determines the search direction of the continuous AF based on the moving direction of the subject as follows (step S32). .

まず、動体検出回路146は、被写体の大きさの変化に基づいて光軸方向(z方向)の被写体の移動方向を予測する。すなわち、動体検出回路146は、図14(a)に示すように、nフレーム目の被写体がn−1フレーム目の被写体より小さい場合には、被写体が離れる方向に移動していると判断し、図14(b)に示すように、nフレーム目の被写体がn−1フレーム目の被写体より大きい場合には、被写体が近づく方向に移動していると判断する。なお、被写体の大きさは、ステップS10で算出された特徴点を連結するなどの方法により求めることができる。   First, the moving object detection circuit 146 predicts the moving direction of the subject in the optical axis direction (z direction) based on a change in the size of the subject. That is, as shown in FIG. 14A, the moving object detection circuit 146 determines that the subject is moving away when the subject of the nth frame is smaller than the subject of the (n−1) th frame, As shown in FIG. 14B, when the subject of the nth frame is larger than the subject of the (n−1) th frame, it is determined that the subject is moving in the approaching direction. Note that the size of the subject can be obtained by a method such as connecting the feature points calculated in step S10.

そして、動体検出回路146は、予測された被写体のz方向の移動方向と同一の方向をコンティニュアスAFのサーチ方向と決定する。すなわち、動体検出回路146は、被写体が離れる方向に移動していると判断した場合には、被写体が離れる方向をコンティニュアスAFのサーチ方向と決定し、被写体が近づく方向に移動していると判断した場合には、被写体が近づく方向をコンティニュアスAFのサーチ方向と決定する。このようにして決定されたコンティニュアスAFのサーチ方向は、動体検出回路146からCPU110に入力される。このように、コンティニュアスAFのサーチ方向、すなわちフォーカスレンズ124を動かす方向が予め決められるため、フォーカスレンズ124の移動に要する時間を短縮し、すぐにピントを合わせることができる。   Then, the moving object detection circuit 146 determines the same direction as the predicted movement direction of the subject in the z direction as the search direction of the continuous AF. That is, when the moving object detection circuit 146 determines that the subject is moving in the direction away from the subject, the moving object detection circuit 146 determines that the direction in which the subject leaves is the search direction of the continuous AF, and moves the subject toward the direction. If it is determined, the direction in which the subject approaches is determined as the search direction for continuous AF. The search direction of the continuous AF thus determined is input from the moving object detection circuit 146 to the CPU 110. As described above, since the search direction of continuous AF, that is, the direction in which the focus lens 124 is moved is determined in advance, the time required to move the focus lens 124 can be shortened and the focus can be immediately adjusted.

動体検出回路146は、メモリ112に記録された移動速度とフレームレートの対応表を参照し、ステップS11で選択された対象被写体の移動速度に対応したコンティニュアスAFのフレームレートを選択する(ステップS33)。移動速度に対応したフレームレートを選択できるように、メモリ112には、移動速度とフレームレートの対応表をあらかじめ用意しておく。ステップS33で選択されたコンティニュアスAFのフレームレートは動体検出回路146からCPU110に出力される。   The moving object detection circuit 146 refers to the correspondence table of the moving speed and the frame rate recorded in the memory 112, and selects the continuous AF frame rate corresponding to the moving speed of the target subject selected in Step S11 (Step S11). S33). A correspondence table between the moving speed and the frame rate is prepared in advance in the memory 112 so that a frame rate corresponding to the moving speed can be selected. The frame rate of the continuous AF selected in step S33 is output from the moving object detection circuit 146 to the CPU 110.

CPU110は、ステップS33で選択されたコンティニュアスAFのフレームレートでコントラスト検出方式によるAF処理を繰り返し行う(ステップS34)。AF/AF検出回路144は、ステップS33で選択されたコンティニュアスAFのフレームレートで、ステップS31で算出されたコンティニュアスAFの測距エリアに対して評価値を算出する。その評価値が所定の値より低くなった場合には、CPU110は、ステップS32で算出されたコンティニュアスAFのサーチ方向にフォーカスレンズ124を移動させ、ステップS31で算出されたコンティニュアスAFの測距エリアの評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズ124を移動させる。   The CPU 110 repeatedly performs the AF process using the contrast detection method at the frame rate of the continuous AF selected in step S33 (step S34). The AF / AF detection circuit 144 calculates an evaluation value for the continuous AF ranging area calculated in step S31 at the continuous AF frame rate selected in step S33. When the evaluation value is lower than the predetermined value, the CPU 110 moves the focus lens 124 in the search direction of the continuous AF calculated in step S32, and the continuous AF calculated in step S31. The lens position at which the evaluation value of the distance measurement area reaches a peak is obtained, and the focus lens 124 is moved to that lens position.

この結果、動く被写体に対して最適なAF処理が行われる。その後、撮影、記録処理が行われる。撮影、記録処理は第1の実施の形態と同様であるため、説明を省略する。   As a result, the optimum AF process is performed on the moving subject. Thereafter, photographing and recording processes are performed. Since the photographing and recording processing is the same as that of the first embodiment, description thereof is omitted.

本実施の形態によれば、動く被写体の速さや位置に追従してコンティニュアスAFを行うことができる。そのため、動き回る子供など規則的でない動きをする被写体に対しても、確実に合焦させることができる。また、被写体の動きを予測しているため、合焦速度を上げ、すぐに被写体にピントを合わせることができる。   According to the present embodiment, continuous AF can be performed following the speed and position of a moving subject. Therefore, even a subject that moves irregularly, such as a moving child, can be reliably focused. Since the movement of the subject is predicted, the focusing speed can be increased and the subject can be focused immediately.

なお、本実施の形態では、被写体の動きに合わせてコンティニュアスAFのフレームレートを変えたが、コンティニュアスAFのフレームレートのみでなく、被写体の動きに合わせてスルー画像表示のフレームレートも変えるようにしてもよい。   In this embodiment, the frame rate of the continuous AF is changed according to the movement of the subject. However, not only the frame rate of the continuous AF but also the frame rate of the through image display according to the movement of the subject. It may be changed.

また、本実施の形態では、ステップS30において、n−1フレーム目の被写体の中心と、nフレーム目の被写体の中心とに基づいて被写体の位置を予測したが、被写体の位置を予測する方法はこれに限らず、例えば、nフレーム目の被写体の中心と、ステップS11で算出された被写体の移動速度とに基づいて算出してもよい。   In the present embodiment, in step S30, the position of the subject is predicted based on the center of the subject in the (n-1) th frame and the center of the subject in the nth frame. However, the method for predicting the position of the subject is as follows. For example, the calculation may be performed based on the center of the subject of the nth frame and the moving speed of the subject calculated in step S11.

また、本実施の形態では、ステップS23で光軸方向と垂直な方向(x方向及びy方向)の移動方向を予測し、ステップS32で光軸方向(z方向)の移動方向を予測したが、ステップS33においてx方向、y方向及びz方向の全ての移動方向を予測してもよい。   In this embodiment, the movement direction in the direction (x direction and y direction) perpendicular to the optical axis direction is predicted in step S23, and the movement direction in the optical axis direction (z direction) is predicted in step S32. In step S33, all the movement directions of the x direction, the y direction, and the z direction may be predicted.

また、本実施の形態では、ステップS32において、被写体の大きさの変化に基づいて光軸方向(z方向)の被写体の移動方向を予測したが、光軸方向(z方向)の被写体の移動方向を予測する方法はこれに限らない。例えば、n−1フレーム目の被写体の中心と、nフレーム目の被写体の中心とを結んだベクトルが画像の水平方向より上向きであれば被写体が離れていると判断し、n−1フレーム目の被写体の中心と、nフレーム目の被写体の中心とを結んだベクトルが画像の水平方向より下向きであれば被写体が近づく方向に移動していると判断するようにしてもよい。   In the present embodiment, in step S32, the movement direction of the subject in the optical axis direction (z direction) is predicted based on the change in the size of the subject. However, the movement direction of the subject in the optical axis direction (z direction) is predicted. The method of predicting is not limited to this. For example, if the vector connecting the center of the subject of the (n−1) th frame and the center of the subject of the nth frame is upward from the horizontal direction of the image, it is determined that the subject is separated, and the n−1th frame If the vector connecting the center of the subject and the center of the nth frame is downward from the horizontal direction of the image, it may be determined that the subject is moving in the approaching direction.

また、本実施の形態では、ステップS33において、移動速度とフレームレートの対応表を参照して、ステップS11で算出された被写体の移動速度に対応したコンティニュアスAFのフレームレートを選択したが、コンティニュアスAFのフレームレートを選択する方法はこれに限らない。例えば、ステップS11で被写体の移動速度を算出する代わりに、n−1フレーム目の被写体の中心と、nフレーム目の被写体の中心との移動距離を算出し、予めメモリ112に記憶された被写体の移動距離とフレームレートの対応表を参照して、算出された被写体の移動距離に対応したコンティニュアスAFのフレームレートを選択するようにしてもよい。   In the present embodiment, the frame rate of the continuous AF corresponding to the moving speed of the subject calculated in step S11 is selected in step S33 with reference to the correspondence table of moving speed and frame rate. The method for selecting the frame rate of continuous AF is not limited to this. For example, instead of calculating the moving speed of the subject in step S11, the moving distance between the center of the subject of the (n-1) th frame and the center of the subject of the nth frame is calculated, and the subject stored in the memory 112 in advance is calculated. A frame rate of continuous AF corresponding to the calculated moving distance of the subject may be selected with reference to a correspondence table of moving distance and frame rate.

<第4の実施の形態>
本発明の第3の実施の形態は、動体検出回路146において動きのある被写体が1つだけ検出された(ステップS30)場合について説明したが、動きのある被写体が1つだけ検出されるとは限らない。
<Fourth embodiment>
In the third embodiment of the present invention, the case where only one moving subject is detected in the moving object detection circuit 146 has been described (step S30). However, only one moving subject is detected. Not exclusively.

本発明の第4の実施の形態は、動体検出回路146において動きのある被写体が複数検出された場合に、第2の実施の形態と同様の方法により被写体の移動距離が最大となる被写体を対象被写体とすることで、主要な被写体の動きに応じた最適なコンティニュアスAFを行う形態である。以下、本発明の第4の実施の形態のデジタルカメラ13について説明する。なお、第3の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。   In the fourth embodiment of the present invention, when a plurality of moving subjects are detected by the moving object detection circuit 146, the subject whose moving distance of the subject is the maximum is processed by the same method as in the second embodiment. By using the subject, the optimum continuous AF is performed in accordance with the movement of the main subject. The digital camera 13 according to the fourth embodiment of the present invention will be described below. In addition, about the part same as 3rd Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.

デジタルカメラ13の内部の電気的な概略構成は、デジタルカメラ12と同一であるため説明を省略し、デジタルカメラ13の作用について説明する。   Since the electrical schematic configuration inside the digital camera 13 is the same as that of the digital camera 12, a description thereof will be omitted, and the operation of the digital camera 13 will be described.

デジタルカメラ13の電源/モードスイッチを撮影位置に合わせることで、撮影モードに設定され、撮影スタンバイ状態になる。   By setting the power / mode switch of the digital camera 13 to the photographing position, the photographing mode is set and the photographing standby state is set.

この撮影モードの下、レンズ群を通過した被写体光は、絞り(図示せず)を介して撮像素子126の受光面に結像される。レンズ群を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。   Under this photographing mode, the subject light that has passed through the lens group forms an image on the light receiving surface of the image sensor 126 through a diaphragm (not shown). The subject light that has passed through the lens group is received by each photodiode and converted into a signal charge corresponding to the amount of incident light.

各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ(TG)114から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出され、アナログ処理部(CDS/AMP)128に加えられる。   The signal charge accumulated in each photodiode is sequentially read out as a voltage signal (image signal) corresponding to the signal charge on the basis of the drive pulse supplied from the timing generator (TG) 114, and an analog processing unit (CDS / AMP). 128.

アナログ処理部128から出力されたアナログのR、G、B信号は、A/D変換器130でデジタルのR、G、B信号に変換され、画像入力制御部132に加えられる。画像入力制御部132は、A/D変換器130から出力されたデジタルのR、G、B信号をメモリ112に出力する。   Analog R, G, and B signals output from the analog processing unit 128 are converted into digital R, G, and B signals by the A / D converter 130 and added to the image input control unit 132. The image input control unit 132 outputs digital R, G, and B signals output from the A / D converter 130 to the memory 112.

デジタルのR、G、B信号は、メモリ112から動体検出回路146に入力され、CPU110は、タイミングジェネレータ(TG)114に指令を出し、動体検出回路146から出力されたスルー画像表示用のフレームレートで撮像素子126を駆動する。   Digital R, G, and B signals are input from the memory 112 to the moving object detection circuit 146, and the CPU 110 issues a command to the timing generator (TG) 114 and outputs a frame rate for displaying a through image output from the moving object detection circuit 146. To drive the image sensor 126.

図15は、動きのある被写体が複数ある場合に、撮像素子126で取得された画像に基づいて生成されたデジタルのR、G、B信号に基づいてコンティニュアスAFの条件(サーチ方向、フレームレート及び対象エリア)を決定し、この条件でコンティニュアスAFを行う処理の流れを示すフローチャートである。   FIG. 15 shows the condition of the continuous AF (search direction, frame) based on digital R, G, B signals generated based on the image acquired by the image sensor 126 when there are a plurality of moving subjects. It is a flowchart which shows the flow of a process which determines a rate and an object area and performs continuous AF on this condition.

動体検出回路146は、入力されたデジタルのR、G、B信号に基づいて動きのある被写体をN個検出する(ステップS20)。これは、ステップS10の処理を行った結果、動きのある被写体がN個検出されたことを意味する。   The moving object detection circuit 146 detects N moving subjects based on the input digital R, G, and B signals (step S20). This means that N moving subjects have been detected as a result of the processing of step S10.

次に、ステップS20で検出されたN個の被写体のなかから予測移動距離が最大となる被写体を選択する(ステップS21〜S26)。   Next, the subject having the maximum predicted movement distance is selected from the N subjects detected in step S20 (steps S21 to S26).

まずiを1に設定し(ステップS21)、Nをiに設定する(ステップS22)。   First, i is set to 1 (step S21), and N is set to i (step S22).

動体検出回路146は、特徴点に基づいて、n−1フレーム目の被写体の中心とnフレーム目の被写体の中心を算出し、これに基づいて被写体の移動方向を予測する(ステップS23)。   The moving object detection circuit 146 calculates the center of the subject of the (n-1) th frame and the center of the subject of the nth frame based on the feature points, and predicts the moving direction of the subject based on this (step S23).

また、動体検出回路146は、算出された被写体の移動距離と、1フレームの時間とに基づいて、被写体の移動速度を算出する(ステップS41)。ここでは、ある被写体を基準にした相対的な移動速度を算出する。n−1フレーム目の被写体の中心と、nフレーム目の被写体の中心とに基づいて、光軸方向と垂直方向(x方向及びy方向)の被写体の移動速度を算出する。また、n−1フレーム目の被写体の大きさとnフレーム目の被写体の大きさとの差と、テレ端とワイド端との比率とに基づいて、光軸方向(z方向)の被写体の移動速度を算出する。そして、x方向及びy方向の移動速度と、z方向の移動速度とに基づいて被写体の移動速度を算出する。   Further, the moving object detection circuit 146 calculates the moving speed of the subject based on the calculated moving distance of the subject and the time of one frame (step S41). Here, the relative movement speed based on a certain subject is calculated. Based on the center of the subject of the (n-1) th frame and the center of the subject of the nth frame, the moving speed of the subject in the direction perpendicular to the optical axis direction (x direction and y direction) is calculated. Further, based on the difference between the size of the subject of the (n-1) th frame and the size of the subject of the nth frame and the ratio between the tele end and the wide end, the moving speed of the subject in the optical axis direction (z direction) is set. calculate. Then, the moving speed of the subject is calculated based on the moving speed in the x and y directions and the moving speed in the z direction.

動体検出回路146は、ステップS17で予測された移動方向と、ステップS41で予測された光軸方向と垂直方向(x方向及びy方向)の被写体の移動速度とに基づいて、n+1フレーム目の画像データにおいて、被写体がどこに移動しているか(被写体の予測移動距離)を算出する(ステップS24)。   The moving object detection circuit 146 determines the image of the (n + 1) th frame based on the movement direction predicted in step S17 and the movement speed of the subject in the direction perpendicular to the optical axis direction (x direction and y direction) predicted in step S41. In the data, it is calculated where the subject is moving (predicted movement distance of the subject) (step S24).

Nをi+1とし(ステップS25)、NがNであるか、すなわちステップS20で検出されたN個全ての被写体に対してステップS23、S11及びS24の処理が行われたかどうかを判断する(ステップS26)。   N is set to i + 1 (step S25), and it is determined whether N is N, that is, whether or not the processes of steps S23, S11, and S24 have been performed on all N subjects detected in step S20 (step S26). ).

ステップS20で検出されたN個全ての被写体に対してステップS23、S11及びS24の処理が行われていない場合(ステップS26でNO)には、ステップS23に戻り、ステップS23、S11及びS24を再度行う。   If the processes in steps S23, S11, and S24 have not been performed on all N subjects detected in step S20 (NO in step S26), the process returns to step S23, and steps S23, S11, and S24 are performed again. Do.

ステップS30で検出されたN個全ての被写体に対してステップS23、S11及びS24の処理が行われた場合(ステップS26でYES)には、N個の被写体に対してステップS25で算出された予測移動距離が最大となる被写体を対象被写体として選択する(ステップS27)。このステップS27で予測移動距離を算出するのは、速く進むこと等により撮影範囲から外れる被写体を除外するためである。図16に示す例においては、被写体2が対象被写体として選択される。   When the processes in steps S23, S11, and S24 have been performed on all N subjects detected in step S30 (YES in step S26), the prediction calculated in step S25 for N subjects. A subject having the maximum moving distance is selected as a target subject (step S27). The reason for calculating the predicted moving distance in this step S27 is to exclude subjects that are out of the shooting range due to fast advancement or the like. In the example shown in FIG. 16, the subject 2 is selected as the target subject.

次に、ステップS27で選択された被写体に対して最適なコンティニュアスAFの条件を求める(ステップS30〜S33)。以下、図16に示す被写体2に対して最適なコンティニュアスAFの条件を求める場合を例に説明する。   Next, the optimum continuous AF condition is obtained for the subject selected in step S27 (steps S30 to S33). Hereinafter, the case where the optimum continuous AF condition is obtained for the subject 2 shown in FIG. 16 will be described as an example.

動体検出回路146は、nフレーム目の被写体の中心と、ステップS11で算出された被写体の移動速度とに基づいて、nフレーム目の1フレーム後(n+1フレーム目)の画像データ上における被写体2のx方向及びy方向の位置を予測する(ステップS30)。   Based on the center of the subject of the nth frame and the moving speed of the subject calculated in step S11, the moving object detection circuit 146 detects the subject 2 on the image data after the first frame of the nth frame (n + 1th frame). The positions in the x direction and the y direction are predicted (step S30).

ステップS30で予測された被写体の予測位置は、コンティニュアスAFの対象エリアとして動体検出回路146からAE/AF検出回路144に入力され、AE/AF検出回路144でn+1フレーム目のコンティニュアスAFの測距エリアとして設定される(ステップS31)。これにより、被写体が画面中央にいない場合においても、被写体に対して確実に合焦させることができる。   The predicted position of the subject predicted in step S30 is input from the moving object detection circuit 146 to the AE / AF detection circuit 144 as a target area for continuous AF, and the AE / AF detection circuit 144 outputs the n + 1th frame of continuous AF. Is set as a distance measurement area (step S31). Thereby, even when the subject is not in the center of the screen, the subject can be reliably focused.

動体検出回路146は、被写体の大きさの変化に基づいて光軸方向(z方向)の被写体の移動方向を判断し、被写体を追いかける方向をコンティニュアスAFのサーチ方向と決定する(ステップS32)。このようにして決定されたコンティニュアスAFのサーチ方向は、動体検出回路146からCPU110に入力される。これにより、CPU110は、フォーカスレンズ124を動かす方向を予め決めておくことができるため、フォーカスレンズ124の移動に要する時間を短縮することができる。   The moving object detection circuit 146 determines the moving direction of the subject in the optical axis direction (z direction) based on the change in the size of the subject, and determines the direction to follow the subject as the search direction of the continuous AF (step S32). . The search direction of the continuous AF thus determined is input from the moving object detection circuit 146 to the CPU 110. As a result, the CPU 110 can determine in advance the direction in which the focus lens 124 is moved, so that the time required to move the focus lens 124 can be reduced.

動体検出回路146は、メモリ112に記録された移動速度とフレームレートの対応表を参照し、ステップS11で選択された対象被写体の移動速度に対応したコンティニュアスAFのフレームレートを選択する(ステップS33)。移動速度に対応したフレームレートを選択できるように、メモリ112には、移動速度とフレームレートの対応表をあらかじめ用意しておく。ステップS33で選択されたコンティニュアスAFのフレームレートは動体検出回路146からCPU110に出力される。   The moving object detection circuit 146 refers to the correspondence table of the moving speed and the frame rate recorded in the memory 112, and selects the continuous AF frame rate corresponding to the moving speed of the target subject selected in Step S11 (Step S11). S33). A correspondence table between the moving speed and the frame rate is prepared in advance in the memory 112 so that a frame rate corresponding to the moving speed can be selected. The frame rate of the continuous AF selected in step S33 is output from the moving object detection circuit 146 to the CPU 110.

これにより、コンティニュアスAFの条件を求めるステップ(ステップS30〜S33)が終了する。そして、CPU110は、ステップS33で選択されたコンティニュアスAFのフレームレートでコントラスト検出方式によるAF処理を繰り返し行う(ステップS34)。   Thereby, the steps (steps S30 to S33) for obtaining the condition for continuous AF are completed. Then, the CPU 110 repeatedly performs the AF process using the contrast detection method at the continuous AF frame rate selected in step S33 (step S34).

この結果、動く被写体に対して最適なAF処理が行われる。その後、撮影、記録処理が行われる。撮影、記録処理は第1の実施の形態と同様であるため、説明を省略する。   As a result, the optimum AF process is performed on the moving subject. Thereafter, photographing and recording processes are performed. Since the photographing and recording processing is the same as that of the first embodiment, description thereof is omitted.

本実施の形態によれば、最も動きの早い被写体に合わせてAF処理を行うことにより、画像データのなかに動く被写体が複数存在する場合においても、主要被写体に確実に合焦させることができる。   According to the present embodiment, by performing AF processing in accordance with the fastest moving subject, even when there are a plurality of moving subjects in the image data, the main subject can be reliably focused.

<第5の実施の形態>
本発明の第4の実施の形態は、動体検出回路146において動きのある被写体が複数検出された場合に、被写体の移動距離が最大となる被写体を対象被写体とすることで、主要な被写体の動きに応じた最適なコンティニュアスAFを行う形態であるが、主要な被写体を選択する方法はこれに限らない。
<Fifth embodiment>
According to the fourth embodiment of the present invention, when a plurality of moving subjects are detected by the moving object detection circuit 146, the subject whose maximum movement distance is the target subject, the movement of the main subject However, the method for selecting the main subject is not limited to this.

本発明の第5の実施の形態は、動体検出回路146において動きのある被写体が複数検出された場合に、画面の中心に最も近い被写体を対象被写体とすることで、主要な被写体の動きに応じた最適なコンティニュアスAFを行う形態である。以下、本発明の第5の実施の形態のデジタルカメラ14について説明する。なお、第3の実施の形態又は第4の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。   In the fifth embodiment of the present invention, when a plurality of moving subjects are detected by the moving object detection circuit 146, the subject closest to the center of the screen is set as the subject subject, so that the motion of the main subject can be adjusted. In this mode, optimum continuous AF is performed. The digital camera 14 according to the fifth embodiment of the present invention will be described below. In addition, about the part same as 3rd Embodiment or 4th Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.

デジタルカメラ14の内部の電気的な概略構成は、デジタルカメラ12と同一であるため説明を省略し、デジタルカメラ14の作用について説明する。   Since the electrical schematic configuration inside the digital camera 14 is the same as that of the digital camera 12, a description thereof will be omitted, and the operation of the digital camera 14 will be described.

図17は、動きのある被写体が複数ある場合に、撮像素子126で取得された画像に基づいて生成されたデジタルのR、G、B信号に基づいてコンティニュアスAFの条件(サーチ方向、フレームレート及び対象エリア)を決定し、この条件でコンティニュアスAFを行う処理の流れを示すフローチャートである。   FIG. 17 shows the condition of continuous AF (search direction, frame based on digital R, G, and B signals generated based on the image acquired by the image sensor 126 when there are a plurality of moving subjects. It is a flowchart which shows the flow of a process which determines a rate and an object area and performs continuous AF on this condition.

動体検出回路146は、入力されたデジタルのR、G、B信号に基づいて動きのある被写体をN個検出する(ステップS20)。これは、ステップS10の処理を行った結果、動きのある被写体がN個検出されたことを意味する。   The moving object detection circuit 146 detects N moving subjects based on the input digital R, G, and B signals (step S20). This means that N moving subjects have been detected as a result of the processing of step S10.

次に、ステップS20で検出されたN個の被写体のなかから予測移動距離が最大となる被写体を選択する(ステップS21〜S26)。   Next, the subject having the maximum predicted movement distance is selected from the N subjects detected in step S20 (steps S21 to S26).

まずiを1に設定し(ステップS21)、Nをiに設定する(ステップS22)。   First, i is set to 1 (step S21), and N is set to i (step S22).

動体検出回路146は、特徴点に基づいて、n−1フレーム目の被写体の中心とnフレーム目の被写体の中心を算出し、これに基づいて被写体の移動方向を予測する(ステップS23)。   The moving object detection circuit 146 calculates the center of the subject of the (n-1) th frame and the center of the subject of the nth frame based on the feature points, and predicts the moving direction of the subject based on this (step S23).

また、動体検出回路146は、算出された被写体の移動距離と、1フレームの時間とに基づいて、被写体の移動速度を算出する(ステップS11)。   Further, the moving object detection circuit 146 calculates the moving speed of the subject based on the calculated moving distance of the subject and the time of one frame (step S11).

動体検出回路146は、nフレーム目の被写体の中心と、ステップS11で算出された被写体の移動速度とに基づいて、nフレーム目の1フレーム後(n+1フレーム目)の画像データ上における被写体のx方向及びy方向の位置を予測し(ステップS30)、画像データの中心からステップS30で予測された被写体の位置までの距離を算出する(ステップS51)。   Based on the center of the subject of the nth frame and the moving speed of the subject calculated in step S11, the moving object detection circuit 146 determines the x of the subject on the image data one frame after the nth frame (n + 1th frame). The position in the direction and the y direction is predicted (step S30), and the distance from the center of the image data to the subject position predicted in step S30 is calculated (step S51).

Nをi+1とし(ステップS25)、NがNであるか、すなわちステップS20で検出されたN個全ての被写体に対してステップS23、S11及びS24の処理が行われたかどうかを判断する(ステップS26)。   N is set to i + 1 (step S25), and it is determined whether N is N, that is, whether or not the processes of steps S23, S11, and S24 have been performed on all N subjects detected in step S20 (step S26). ).

ステップS20で検出されたN個全ての被写体に対してステップS23、S11、S30及びS51の処理が行われていない場合(ステップS26でNO)には、ステップS23に戻り、ステップS23、S11、S30及びS51を再度行う。   If the processes in steps S23, S11, S30, and S51 have not been performed on all N subjects detected in step S20 (NO in step S26), the process returns to step S23, and steps S23, S11, S30 are performed. And S51 are performed again.

ステップS30で検出されたN個全ての被写体に対してステップS23、S11、S30及びS51の処理が行われた場合(ステップS26でYES)には、ステップS51で算出された画像データの中心から被写体の位置までの距離が最も短い被写体、すなわち画面中心に最も近い被写体を対象被写体として選択する(ステップS52)。   When the processes in steps S23, S11, S30, and S51 are performed on all N subjects detected in step S30 (YES in step S26), the subject from the center of the image data calculated in step S51. The subject having the shortest distance to the position of the subject, that is, the subject closest to the center of the screen is selected as the subject subject (step S52).

図18に示す例においては、現在のフレーム(nフレーム目)では、被写体2が画面中心に近い被写体であるため、被写体2が対象被写体とうぃて選択される。それに対し、現在のフレームの次のフレーム(n+1フレーム目)では、被写体1が画面中心に近いため、被写体1を対象被写体とする。   In the example shown in FIG. 18, in the current frame (the nth frame), since the subject 2 is a subject close to the center of the screen, the subject 2 is selected as the target subject. On the other hand, since the subject 1 is close to the center of the screen in the frame (n + 1 frame) after the current frame, the subject 1 is set as the target subject.

動体検出回路146は、ステップS52で選択された被写体の予測位置であって、ステップS30で予測された予測位置をAE/AF検出回路144に入力する。AE/AF検出回路144は、入力された予測位置をn+1フレーム目のコンティニュアスAFの測距エリアとして設定する(ステップS31)。これにより、画面中心に最も近い被写体に対して確実に合焦させることができる。   The moving body detection circuit 146 inputs the predicted position of the subject selected in step S52 and predicted in step S30 to the AE / AF detection circuit 144. The AE / AF detection circuit 144 sets the input predicted position as the distance measurement area of the continuous AF of the (n + 1) th frame (step S31). Thereby, it is possible to reliably focus on the subject closest to the center of the screen.

動体検出回路146は、被写体の大きさの変化に基づいて光軸方向(z方向)の被写体の移動方向を判断し、被写体を追いかける方向をコンティニュアスAFのサーチ方向と決定する(ステップS32)。このようにして決定されたコンティニュアスAFのサーチ方向は、動体検出回路146からCPU110に入力される。   The moving object detection circuit 146 determines the moving direction of the subject in the optical axis direction (z direction) based on the change in the size of the subject, and determines the direction to follow the subject as the search direction of the continuous AF (step S32). . The search direction of the continuous AF thus determined is input from the moving object detection circuit 146 to the CPU 110.

動体検出回路146は、メモリ112に記録された移動速度とフレームレートの対応表を参照し、ステップS11で選択された対象被写体の移動速度に対応したコンティニュアスAFのフレームレートを選択する(ステップS33)。移動速度に対応したフレームレートを選択できるように、メモリ112には、移動速度とフレームレートの対応表をあらかじめ用意しておく。ステップS33で選択されたコンティニュアスAFのフレームレートは動体検出回路146からCPU110に出力される。   The moving object detection circuit 146 refers to the correspondence table of the moving speed and the frame rate recorded in the memory 112, and selects the continuous AF frame rate corresponding to the moving speed of the target subject selected in Step S11 (Step S11). S33). A correspondence table between the moving speed and the frame rate is prepared in advance in the memory 112 so that a frame rate corresponding to the moving speed can be selected. The frame rate of the continuous AF selected in step S33 is output from the moving object detection circuit 146 to the CPU 110.

これにより、コンティニュアスAFの条件を求めるステップ(ステップS30〜S33)が終了する。そして、CPU110は、ステップS33で選択されたコンティニュアスAFのフレームレートでコントラスト検出方式によるAF処理を繰り返し行う(ステップS34)。   Thereby, the steps (steps S30 to S33) for obtaining the condition for continuous AF are completed. Then, the CPU 110 repeatedly performs the AF process using the contrast detection method at the continuous AF frame rate selected in step S33 (step S34).

この結果、動く被写体に対して最適なAF処理が行われる。その後、撮影、記録処理が行われる。撮影、記録処理は第1の実施の形態と同様であるため、説明を省略する。   As a result, the optimum AF process is performed on the moving subject. Thereafter, photographing and recording processes are performed. Since the photographing and recording processing is the same as that of the first embodiment, description thereof is omitted.

本実施の形態によれば、画面中心に最も近い被写体に合わせてAF処理を行うことにより、画像データのなかに動く被写体が複数存在する場合においても、主要被写体に確実に合焦させることができる。   According to the present embodiment, by performing AF processing on the subject closest to the center of the screen, even when there are a plurality of moving subjects in the image data, the main subject can be reliably focused. .

なお、本実施の形態では、画面中心に最も近い被写体を対象被写体として選択し(ステップS52)、選択された被写体の動きに応じてその被写体に対してAF処理を行ったが、当該動きのある被写体が複数検出された場合に所望の被写体を選択する方法を被写体の動きに応じた最適なフレームレートでスルー画像を表示する形態(例えば第1の実施の形態や第2の実施の形態)に適用してもよい。   In the present embodiment, the subject closest to the center of the screen is selected as the target subject (step S52), and AF processing is performed on the subject according to the movement of the selected subject. A method of selecting a desired subject when a plurality of subjects are detected is a form in which a through image is displayed at an optimal frame rate corresponding to the movement of the subject (for example, the first embodiment or the second embodiment). You may apply.

なお、本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置や、撮像装置で撮像された画像の処理をおこなうPCなどの撮像装置にも同様に適用することができる。また、PCなどの装置に適用するプログラムとして提供することもできる。   Note that the application of the present invention is not limited to a digital camera. The same applies to an imaging device such as a mobile phone with a camera or a video camera, or an imaging device such as a PC that processes an image captured by the imaging device. Can be applied to. It can also be provided as a program applied to a device such as a PC.

本発明が適用されたデジタルカメラ10の電気的構成を示すブロック図である。1 is a block diagram showing an electrical configuration of a digital camera 10 to which the present invention is applied. 上記デジタルカメラ10の動体検出回路142の機能を示す図である。It is a figure which shows the function of the moving body detection circuit 142 of the said digital camera 10. FIG. 上記デジタルカメラ10のスルー画像表示の処理の流れを示すフローチャートである。6 is a flowchart showing a flow of through image display processing of the digital camera 10. 上記デジタルカメラ10の処理内容を説明するための図である。It is a figure for demonstrating the processing content of the said digital camera. 上記デジタルカメラ10の処理内容を説明するための図である。It is a figure for demonstrating the processing content of the said digital camera. 本発明が適用されたデジタルカメラ11のスルー画像表示の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of the through image display of the digital camera 11 to which this invention was applied. 上記デジタルカメラ11の処理内容を説明するための図である。It is a figure for demonstrating the processing content of the said digital camera. 上記デジタルカメラ11の処理内容を説明するための図である。It is a figure for demonstrating the processing content of the said digital camera. 本発明が適用されたデジタルカメラ10の電気的構成を示すブロック図である。1 is a block diagram showing an electrical configuration of a digital camera 10 to which the present invention is applied. 上記デジタルカメラ11の動体検出回路146の機能を示す図ある。It is a figure which shows the function of the moving body detection circuit 146 of the said digital camera 11. FIG. 上記デジタルカメラ12のAF処理の流れを示すフローチャートである。It is a flowchart which shows the flow of AF process of the said digital camera. 上記デジタルカメラ12の処理の内容を説明するための図である。It is a figure for demonstrating the content of the process of the said digital camera. 上記デジタルカメラ12の処理の内容を説明するための図である。It is a figure for demonstrating the content of the process of the said digital camera. 上記デジタルカメラ12の処理の内容を説明するための図である。It is a figure for demonstrating the content of the process of the said digital camera. 上記デジタルカメラ13のAF処理の流れを示すフローチャートである。3 is a flowchart showing a flow of AF processing of the digital camera 13; 上記デジタルカメラ13の処理の内容を説明するための図である。It is a figure for demonstrating the content of the process of the said digital camera. 上記デジタルカメラ14のスルー画像表示の処理の流れを示すフローチャートである。4 is a flowchart showing a flow of through image display processing of the digital camera. 上記デジタルカメラ14の処理の内容を説明するための図である。It is a figure for demonstrating the content of the process of the said digital camera.

符号の説明Explanation of symbols

10、11、12、13,14:デジタルカメラ、110:CPU、112:メモリ、114:タイミングジェネレータ(TG)、116、118:モータドライバ、120:操作部、122:ズームレンズ、124:フォーカスレンズ、126:撮像素子、128:アナログ処理部(CDS/AMP)、130:A/D変換器、132;画像入力制御部、134:画像信号処理部、136:圧縮伸張処、140、144:AE/AF検出回路、142、146:動体検出回路、150:メディアコントローラ、152記憶メディア、154:表示回路、156:画像表示装置 10, 11, 12, 13, 14: Digital camera, 110: CPU, 112: Memory, 114: Timing generator (TG), 116, 118: Motor driver, 120: Operation unit, 122: Zoom lens, 124: Focus lens 126: Image sensor, 128: Analog processing unit (CDS / AMP), 130: A / D converter, 132: Image input control unit, 134: Image signal processing unit, 136: Compression / decompression processing, 140, 144: AE / AF detection circuit, 142, 146: moving object detection circuit, 150: media controller, 152 storage media, 154: display circuit, 156: image display device

Claims (10)

被写体を所定のフレームレートで連続して撮像する撮像手段と、
前記撮像手段により撮像された被写体の画像を連続して表示する表示手段と、
前記撮像手段により撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、
前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段であって、動く被写体が複数検出された場合には、最大の移動速度又は移動距離を算出する算出手段と、
前記算出手段により算出された動く被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御手段と、
を備えたことを特徴とする撮像装置。
Imaging means for continuously imaging a subject at a predetermined frame rate;
Display means for continuously displaying images of the subject imaged by the imaging means;
Subject detection means for detecting moving subjects from at least two images before and after the image taken by the imaging means;
A calculating means for calculating a moving speed or moving distance of a moving subject detected by the subject detecting means, and when a plurality of moving subjects are detected, a calculating means for calculating a maximum moving speed or moving distance;
Frame rate control means for controlling the frame rate based on the moving speed or moving distance of the moving subject calculated by the calculating means;
An imaging apparatus comprising:
撮影光学系と、該撮影光学系により結像された被写体像を撮像する撮像素子とを含み、被写体を所定のフレームレートで連続して撮像する撮像手段と、
前記撮像手段により撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、
前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、
前記撮影光学系を移動させて前記被写体検出手段により検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御手段であって、前記算出手段により算出された被写体の移動速度又は移動距離に基づいて前記連続的に行う合焦制御の間隔を制御する自動合焦制御手段と、
前記被写体検出手段により複数の被写体が検出された場合には、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、を備え、
前記自動合焦制御手段は、前記被写体検出手段により複数の被写体が検出された場合には前記対象被写体設定手段により設定された前記対象被写体に対して合焦制御を行うことを特徴とする撮像装置。
An imaging unit that includes an imaging optical system and an imaging device that captures a subject image formed by the imaging optical system, and that continuously images the subject at a predetermined frame rate;
Subject detection means for detecting moving subjects from at least two images before and after the image taken by the imaging means;
Calculating means for calculating the moving speed or moving distance of the moving subject detected by the subject detecting means;
Automatic focusing control means for continuously performing focusing control for moving a photographing optical system and maintaining a focusing state for a moving subject detected by the subject detecting means, the subject calculated by the calculating means Automatic focusing control means for controlling the continuous focusing control interval based on the moving speed or moving distance of
A target subject setting unit configured to set a subject having the maximum moving speed or moving distance calculated by the calculating unit as a target subject when a plurality of subjects are detected by the subject detecting unit;
The automatic focusing control unit performs focusing control on the target subject set by the target subject setting unit when a plurality of subjects are detected by the subject detection unit. .
撮影光学系と、該撮影光学系により結像された被写体像を撮像する撮像素子とを含み、被写体を所定のフレームレートで連続して撮像する撮像手段と、
前記撮像手段により撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、
前記被写体検出手段により検出された動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出する移動方向検出手段と、
前記撮影光学系を移動させて前記被写体検出手段により検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御手段であって、前記移動方向検出手段により検出された被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定する自動合焦制御手段と、
前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、
前記被写体検出手段により複数の被写体が検出された場合に、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、を備え、
前記移動方向検出手段は、前記被写体検出手段により複数の被写体が検出された場合には前記対象被写体設定手段により設定された前記対象被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出し、
前記自動合焦制御手段は、前記被写体検出手段により複数の被写体が検出された場合には前記対象被写体設定手段により設定された前記対象被写体に対して合焦制御を行い、かつ前記移動方向検出手段により検出された前記対象被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定することを特徴とする撮像装置。
An imaging unit that includes an imaging optical system and an imaging device that captures a subject image formed by the imaging optical system, and that continuously images the subject at a predetermined frame rate;
Subject detection means for detecting moving subjects from at least two images before and after the image taken by the imaging means;
A moving direction detecting means for detecting whether the moving subject detected by the subject detecting means is moving in a direction approaching the photographing position or moving away from the photographing position;
An automatic focusing control means for continuously performing focusing control for moving the photographing optical system and maintaining a focused state for a moving subject detected by the subject detecting means, and is detected by the moving direction detecting means. Automatic focusing control means for determining a search direction of the photographing optical system based on a moving direction of the subject,
Calculating means for calculating the moving speed or moving distance of the moving subject detected by the subject detecting means;
A target subject setting unit configured to set a subject having the maximum moving speed or moving distance calculated by the calculating unit as a target subject when a plurality of subjects are detected by the subject detecting unit;
The movement direction detection means is configured to detect whether the target subject set by the target subject setting means is moving in a direction approaching the shooting position when the subject detection means detects a plurality of subjects, or from the shooting position. Detect if you are moving away,
The automatic focusing control unit performs focusing control on the target subject set by the target subject setting unit when a plurality of subjects are detected by the subject detection unit, and the moving direction detection unit An image pickup apparatus, wherein a search direction of the photographing optical system is determined based on a moving direction of the target subject detected by the step.
被写体を所定のフレームレートで連続して撮像する撮像手段と、
前記撮像手段により撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、
前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、
前記被写体検出手段により複数の被写体が検出された場合に、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、
前記被写体検出手段により検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測する被写体位置予測手段であって、前記被写体検出手段により複数の被写体が検出された場合には、前記対象被写体設定手段により設定された前記対象被写体の位置を予測する被写体位置予測手段と、
前記被写体位置予測手段により予測された被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御手段であって、前記被写体検出手段により複数の被写体が検出された場合には前記被写体位置予測手段により予測された前記対象被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御手段と、
を備えたことを特徴とする撮像装置。
Imaging means for continuously imaging a subject at a predetermined frame rate;
Subject detection means for detecting moving subjects from at least two images before and after the image taken by the imaging means;
Calculating means for calculating the moving speed or moving distance of the moving subject detected by the subject detecting means;
A target subject setting means for setting a subject having the maximum moving speed or moving distance calculated by the calculating means as a target subject when a plurality of subjects are detected by the subject detecting means;
Subject position prediction means for predicting the position of the moving subject in the next image to be picked up based on the position of the moving subject detected by the subject detection means, wherein a plurality of subjects are detected by the subject detection means. In this case, subject position predicting means for predicting the position of the target subject set by the target subject setting means,
Automatic focus control means for performing focus control on a predetermined area including the position of the subject predicted by the subject position prediction means, and when a plurality of subjects are detected by the subject detection means, Automatic focus control means for performing focus control on a predetermined area including the position of the target subject predicted by the subject position prediction means;
An imaging apparatus comprising:
前記撮像手段により撮像された画像の特徴点を抽出する特徴点抽出手段を備え、
前記被写体検出手段は、前記特徴点抽出手段により抽出された特徴点に基づいて被写体の中心位置を検出し、
前記算出手段は、前記被写体検出手段により検出された被写体の中心位置に基づいて前記被写体の移動速度又は移動距離を算出することを特徴とする請求項1から4のいずれか1項記載の撮像装置。
Comprising feature point extraction means for extracting feature points of the image captured by the imaging means;
The subject detection means detects the center position of the subject based on the feature points extracted by the feature point extraction means;
5. The imaging apparatus according to claim 1 , wherein the calculating unit calculates a moving speed or a moving distance of the subject based on a center position of the subject detected by the subject detecting unit. 6. .
被写体を所定のフレームレートで連続して撮像する撮像ステップと、
前記撮像ステップで撮像された被写体の画像を連続して表示する表示ステップと、
前記撮像ステップで撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、
前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップであって、動く被写体が複数検出された場合には、最大の移動速度又は移動距離を算出する算出ステップと、
前記算出ステップで算出された動く被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御ステップと、
を含むことを特徴とする撮像方法。
An imaging step of continuously imaging a subject at a predetermined frame rate;
A display step of continuously displaying images of the subject imaged in the imaging step ;
A subject detection step of detecting respective moving objects from at least the front and rear of the two images captured by the imaging step,
A calculating step of calculating a moving speed or moving distance of the moving subject detected by the subject detection step, when the moving object is more detected, and calculating a maximum movement speed or movement distance,
A frame rate control step for controlling the frame rate based on the moving speed or moving distance of the moving subject calculated in the calculating step ;
An imaging method comprising:
撮影光学系により結像された被写体像を撮像する撮像素子を介して、被写体を所定のフレームレートで連続して撮像する撮像ステップと、
前記撮像ステップで撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、
前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップと、
前記撮影光学系を移動させて前記被写体検出ステップで検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御ステップであって、前記算出ステップで算出された被写体の移動速度又は移動距離に基づいて前記連続的に行う合焦制御の間隔を制御する自動合焦制御ステップと、
前記被写体検出ステップで複数の被写体が検出された場合には、前記算出ステップで算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定ステップと、を含み、
前記自動合焦制御ステップは、前記被写体検出ステップで複数の被写体が検出された場合には前記対象被写体設定ステップで設定された前記対象被写体に対して合焦制御を行うことを特徴とする合焦制御方法。
An imaging step of continuously imaging a subject at a predetermined frame rate via an imaging element that images a subject image formed by the imaging optical system;
A subject detection step of detecting respective moving objects from at least the front and rear of the two images captured by the imaging step,
A calculating step for calculating the moving speed or moving distance of the moving subject detected in the subject detecting step ;
An automatic focusing control step for continuously performing focusing control for moving the photographing optical system and maintaining a focusing state for the moving subject detected in the subject detecting step, wherein the subject calculated in the calculating step An automatic focusing control step for controlling the continuous focusing control interval based on the moving speed or moving distance of
When a plurality of subjects are detected in the subject detection step, a target subject setting step of setting a subject having the maximum moving speed or moving distance calculated in the calculating step as a target subject,
The automatic focusing control step performs focusing control on the target subject set in the target subject setting step when a plurality of subjects are detected in the subject detection step. Control method.
撮影光学系により結像された被写体像を撮像する撮像素子を介して、被写体を所定のフレームレートで連続して撮像する撮像ステップと、
前記撮像ステップで撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、
前記被写体検出ステップで検出された動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているか検出する移動方向検出ステップと、
前記撮影光学系を移動させて前記被写体検出ステップで検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御ステップであって、前記移動方向検出ステップで検出された被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定する自動合焦制御ステップと、
前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップと、
前記被写体検出ステップで複数の被写体が検出された場合に、前記算出ステップで算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定ステップと、を含み、
前記移動方向検出ステップは、前記被写体検出ステップで複数の被写体が検出された場合には前記対象被写体設定ステップで設定された前記対象被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出し、
前記自動合焦制御ステップは、前記被写体検出ステップで複数の被写体が検出された場合には前記対象被写体設定ステップで設定された前記対象被写体に対して合焦制御を行い、かつ前記移動方向検出ステップで検出された前記対象被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定することを特徴とする合焦制御方法。
An imaging step of continuously imaging a subject at a predetermined frame rate via an imaging element that images a subject image formed by the imaging optical system;
A subject detection step of detecting respective moving objects from at least the front and rear of the two images captured by the imaging step,
A moving direction detecting step for detecting whether the moving subject detected in the subject detecting step is moving in a direction approaching the shooting position or moving away from the shooting position;
An automatic focusing control step for continuously performing focusing control for moving the photographing optical system and maintaining a focusing state for the moving subject detected in the subject detecting step, and is detected in the moving direction detecting step. An automatic focusing control step for determining a search direction of the photographing optical system based on a moving direction of the subject,
A calculating step for calculating the moving speed or moving distance of the moving subject detected in the subject detecting step;
A target subject setting step for setting a subject having the maximum moving speed or moving distance calculated in the calculating step as a target subject when a plurality of subjects are detected in the subject detecting step;
In the moving direction detecting step, when a plurality of subjects are detected in the subject detecting step, the target subject set in the target subject setting step is moving in a direction approaching the photographing position, or from the photographing position. Detect if you are moving away,
In the automatic focusing control step, when a plurality of subjects are detected in the subject detection step, focusing control is performed on the target subject set in the target subject setting step, and the moving direction detection step A focus control method, comprising: determining a search direction of the photographing optical system based on a moving direction of the target subject detected in step (1).
被写体を所定のフレームレートで連続して撮像する撮像ステップと、
前記撮像ステップで撮像された少なくとも前後の2枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、
前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップと、
前記被写体検出ステップで複数の被写体が検出された場合に、前記算出ステップで算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定ステップと、
前記被写体検出ステップで検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測する被写体位置予測ステップであって、前記被写体検出ステップで複数の被写体が検出された場合に、前記対象被写体設定ステップで設定された前記対象被写体の位置を予測する被写体位置予測ステップと、
前記被写体位置予測ステップで予測された被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御ステップであって、前記被写体検出ステップで複数の被写体が検出された場合には前記被写体位置予測ステップで予測された前記対象被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御ステップと、
を含むことを特徴とする合焦制御方法。
An imaging step of continuously imaging a subject at a predetermined frame rate;
A subject detection step of detecting respective moving objects from at least the front and rear of the two images captured by the imaging step,
A calculating step for calculating the moving speed or moving distance of the moving subject detected in the subject detecting step;
A target subject setting step for setting a subject having the maximum moving speed or moving distance calculated in the calculating step as a target subject when a plurality of subjects are detected in the subject detecting step;
Based on the position of a moving subject said detected by the subject detection step, a next object position prediction step of predicting the position of a moving object in an image to be captured, a plurality of subjects are detected by the subject detection step A subject position predicting step for predicting a position of the target subject set in the target subject setting step;
An automatic focusing control step for performing focusing control on a predetermined area including the position of the subject predicted in the subject position prediction step, and when a plurality of subjects are detected in the subject detection step, An automatic focus control step for performing focus control on a predetermined region including the position of the target subject predicted in the subject position prediction step ;
A focusing control method comprising:
請求項6に記載の撮像方法又は請求項7から9のいずれかに記載の合焦制御方法を演算装置に実行させることを特徴とするプログラム。 A program that causes an arithmetic device to execute the imaging method according to claim 6 or the focus control method according to any one of claims 7 to 9 .
JP2008123544A 2008-05-09 2008-05-09 Imaging apparatus, imaging method, focus control method, and program Active JP4980982B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008123544A JP4980982B2 (en) 2008-05-09 2008-05-09 Imaging apparatus, imaging method, focus control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008123544A JP4980982B2 (en) 2008-05-09 2008-05-09 Imaging apparatus, imaging method, focus control method, and program

Publications (2)

Publication Number Publication Date
JP2009273023A JP2009273023A (en) 2009-11-19
JP4980982B2 true JP4980982B2 (en) 2012-07-18

Family

ID=41439158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008123544A Active JP4980982B2 (en) 2008-05-09 2008-05-09 Imaging apparatus, imaging method, focus control method, and program

Country Status (1)

Country Link
JP (1) JP4980982B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180087766A (en) * 2017-01-25 2018-08-02 삼성전자주식회사 Electronic device and method for capturing an image in the electronic device

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426181A (en) * 2012-05-25 2013-12-04 信帧电子技术(北京)有限公司 Automatic frame rate changing wire-mixing detection method
JP6145822B2 (en) * 2012-10-12 2017-06-14 パナソニックIpマネジメント株式会社 Imaging device
JP6289068B2 (en) * 2013-12-16 2018-03-07 キヤノン株式会社 Imaging apparatus and control method thereof
US9854216B2 (en) 2013-12-10 2017-12-26 Canon Kabushiki Kaisha Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium
WO2016084611A1 (en) * 2014-11-26 2016-06-02 ソニー株式会社 Image processing device, method, and program
JP6518452B2 (en) * 2015-02-05 2019-05-22 オリンパス株式会社 Imaging apparatus and imaging method
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
JP7022686B2 (en) * 2016-06-30 2022-02-18 株式会社ニコン camera
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. User interfaces for simulated depth effects
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN109819161A (en) * 2019-01-21 2019-05-28 北京中竞鸽体育文化发展有限公司 A kind of method of adjustment of frame per second, device, terminal and readable storage medium storing program for executing
CN112887586B (en) * 2019-05-06 2022-05-10 苹果公司 User interface for capturing and managing visual media
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
JP2021032964A (en) * 2019-08-20 2021-03-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Control device, imaging system, control method and program
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
CN118338122A (en) * 2023-01-10 2024-07-12 华为技术有限公司 Shooting method and equipment

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107335A (en) * 2001-09-28 2003-04-09 Ricoh Co Ltd Image pickup device, automatic focusing method, and program for making computer execute the method
JP2005164669A (en) * 2003-11-28 2005-06-23 Konica Minolta Photo Imaging Inc Digital camera
JP4446787B2 (en) * 2004-04-21 2010-04-07 富士フイルム株式会社 Imaging apparatus and display control method
JP4821355B2 (en) * 2006-02-14 2011-11-24 パナソニック株式会社 Person tracking device, person tracking method, and person tracking program
US8072531B2 (en) * 2006-08-22 2011-12-06 Panasonic Corporation Imaging device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180087766A (en) * 2017-01-25 2018-08-02 삼성전자주식회사 Electronic device and method for capturing an image in the electronic device
US11095838B2 (en) 2017-01-25 2021-08-17 Samsung Electronics Co., Ltd Electronic device and method for capturing image in electronic device
KR102657050B1 (en) 2017-01-25 2024-04-15 삼성전자주식회사 Electronic device and method for capturing an image in the electronic device

Also Published As

Publication number Publication date
JP2009273023A (en) 2009-11-19

Similar Documents

Publication Publication Date Title
JP4980982B2 (en) Imaging apparatus, imaging method, focus control method, and program
JP5954336B2 (en) Image processing apparatus, image processing method, and recording medium
US7706674B2 (en) Device and method for controlling flash
JP5054583B2 (en) Imaging device
US8717490B2 (en) Imaging apparatus, focusing method, and computer-readable recording medium recording program
JP4657960B2 (en) Imaging method and apparatus
KR101346426B1 (en) Image processing device capable of generating wide-range image
JP2012002951A (en) Imaging device, method for detecting in-focus position and in-focus position detection program
JP5782813B2 (en) Imaging apparatus and image display method
JP2008180906A (en) Photographing device and focusing control method
JP4645413B2 (en) Imaging device
JP3859131B2 (en) Digital camera
JP4775644B2 (en) Imaging apparatus and program thereof
KR20140014288A (en) Imaging device
JP5849389B2 (en) Imaging apparatus and imaging method
JP2008079193A (en) Digital camera
JP2007225897A (en) Focusing position determination device and method
KR101613617B1 (en) Apparatus and method for digital picturing image
JP2008263478A (en) Imaging apparatus
JP5195663B2 (en) Imaging apparatus, focusing method, and program
JP2004309653A (en) Imaging unit
JP5477345B2 (en) Imaging apparatus, focusing method, and program
JP2012003029A (en) Imaging device
US8073319B2 (en) Photographing method and photographing apparatus based on face detection and photography conditions
JP2010028273A (en) Imaging apparatus, display control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120419

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4980982

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250