JP5215879B2 - Imaging apparatus, control method thereof, and program - Google Patents

Imaging apparatus, control method thereof, and program Download PDF

Info

Publication number
JP5215879B2
JP5215879B2 JP2009001827A JP2009001827A JP5215879B2 JP 5215879 B2 JP5215879 B2 JP 5215879B2 JP 2009001827 A JP2009001827 A JP 2009001827A JP 2009001827 A JP2009001827 A JP 2009001827A JP 5215879 B2 JP5215879 B2 JP 5215879B2
Authority
JP
Japan
Prior art keywords
synchronization signal
flicker
signal
correction value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009001827A
Other languages
Japanese (ja)
Other versions
JP2010161572A5 (en
JP2010161572A (en
Inventor
和紀 ▲高▼山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009001827A priority Critical patent/JP5215879B2/en
Publication of JP2010161572A publication Critical patent/JP2010161572A/en
Publication of JP2010161572A5 publication Critical patent/JP2010161572A5/ja
Application granted granted Critical
Publication of JP5215879B2 publication Critical patent/JP5215879B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、ビデオカメラなどの撮像装置を制御する技術に関するものである。   The present invention relates to a technique for controlling an imaging apparatus such as a video camera.

従来より撮像装置には、フレーム同期信号とは非同期な、シャッター操作に起因する第2の同期信号に同期して撮像素子の蓄積応答動作を開始することにより、実際の使用に際して被写体の瞬間的な撮像機会を逸してしまう事態を回避する技術がある。この技術は、特許文献1に記載されている。   2. Description of the Related Art Conventionally, an image pickup apparatus starts an accumulation response operation of an image pickup device in synchronization with a second synchronization signal resulting from a shutter operation that is asynchronous with a frame synchronization signal, so that an object can be instantaneously used in actual use. There is a technique for avoiding a situation where an imaging opportunity is missed. This technique is described in Patent Document 1.

一方で、CMOSイメージセンサに代表されるXYアドレス方式の固体撮像素子を用いた撮像装置において、蛍光灯照明下の被写体を撮影した時に現れる蛍光灯フリッカに対する対策として特許文献2には次のような技術が開示されている。例えば、商用電源周波数50Hz、垂直同期周波数60Hzの条件下で発生する蛍光灯フリッカは、3フレームごとに元の位相に戻るというフレーム間の周期性がある。そのため、現フレームで検出したフリッカ成分から、そのフリッカ成分を補正するフリッカ補正値を生成し、また、そのフリッカ補正値の位相を調整することで次フレーム以降のフリッカ補正値を生成するという技術である。   On the other hand, in an imaging apparatus using an XY address type solid-state imaging device typified by a CMOS image sensor, Patent Document 2 discloses the following measures against fluorescent flicker that appears when a subject under fluorescent lamp illumination is photographed. Technology is disclosed. For example, a fluorescent lamp flicker generated under conditions of a commercial power supply frequency of 50 Hz and a vertical synchronization frequency of 60 Hz has an inter-frame periodicity that returns to the original phase every three frames. For this reason, the flicker correction value for correcting the flicker component is generated from the flicker component detected in the current frame, and the flicker correction value for the subsequent frames is generated by adjusting the phase of the flicker correction value. is there.

また、特許文献3には次のような技術が開示されている。すなわち、現フレームと前フレームの差分とフレーム同期信号の間隔(以下、フレーム周期と呼ぶ)から主要被写体の移動速度を求める。さらにその移動速度から次フレームの主要被写体の位置を予測し、その位置に自動合焦用の評価値枠を設定することで、主要被写体に合焦させ続けるという技術である。
特開平9−247556号公報 特開平11−313226号公報 特開平8−54556号公報
Patent Document 3 discloses the following technique. That is, the moving speed of the main subject is obtained from the difference between the current frame and the previous frame and the interval between the frame synchronization signals (hereinafter referred to as the frame period). In addition, the position of the main subject in the next frame is predicted from the moving speed, and an evaluation value frame for automatic focusing is set at that position, thereby keeping the main subject in focus.
Japanese Patent Laid-Open No. 9-247556 JP-A-11-313226 JP-A-8-54556

図9は、フレーム同期信号とは非同期な、シャッター操作に起因する第2の同期信号に同期して撮像素子の蓄積動作を開始する動作例を示した図である。   FIG. 9 is a diagram illustrating an operation example in which the accumulation operation of the image sensor is started in synchronization with the second synchronization signal resulting from the shutter operation, which is asynchronous with the frame synchronization signal.

VD1はフレーム同期信号であり、VD2はシャッタ操作に起因したフレーム同期信号である。また、図中のA、B、D、E、F、Gは動画、Cは静止画で、それぞれフレーム周期で連続して撮影されている。センサ蓄積については、動画は1/60sec固定(Tsa、Tsb、Tsd、Tse、Tsf、Tsg)、静止画は撮影モードにより可変であるが、本例では1/60sec以下とシャッタ速度の速い場合を想定している(Tsc)。   VD1 is a frame synchronization signal, and VD2 is a frame synchronization signal resulting from the shutter operation. In the figure, A, B, D, E, F, and G are moving images, and C is a still image, which are continuously captured in a frame cycle. As for sensor accumulation, moving images are fixed at 1/60 sec (Tsa, Tsb, Tsd, Tse, Tsf, Tsg), and still images are variable depending on the shooting mode. Assumed (Tsc).

センサの読み出しは読み出しクロック速度、チャネル数によるが、動画は1/60sec以下(Tra、Trb、Trd、Tre、Trf)である。静止画は読み出し画素数によるが、本例では、フレーム周期を越えない(1/60sec以下、Trc)としている。   The reading of the sensor depends on the reading clock speed and the number of channels, but the moving image is 1/60 sec or less (Tra, Trb, Trd, Tre, Trf). The still image depends on the number of read pixels, but in this example, the frame period is not exceeded (1/60 sec or less, Trc).

撮像素子の蓄積および読み出し動作はVD1またはVD2をトリガとして開始される。シャッタ操作がなされる時刻taより前は、VD1に同期して撮像素子の蓄積および読み出し動作が開始される(Tsa、Tsb、Tra、Trb)。次に時刻taにおいてシャッタ操作がなれるとVD2がトリガとなり、撮像素子の蓄積動作が開始される(Tsc)。以後、VD2を基準に撮像素子の蓄積、読み出し動作がなされる(Tsd、Tse、Tsf、Tsg、Trc、Trd、Tre、Trf)。   Storage and readout operations of the image sensor are started with VD1 or VD2 as a trigger. Prior to time ta at which the shutter operation is performed, the accumulation and reading operations of the image sensor are started in synchronization with VD1 (Tsa, Tsb, Tra, Trb). Next, when a shutter operation is performed at time ta, VD2 serves as a trigger, and the accumulation operation of the image sensor is started (Tsc). Thereafter, the image sensor is stored and read with reference to VD2 (Tsd, Tse, Tsf, Tsg, Trc, Trd, Tre, Trf).

ここで、フレーム同期信号とは非同期な、シャッター操作に起因する第2の同期信号に同期して撮像素子の蓄積動作を開始すると、図9のt2のようにVD1とVD2にフレーム周期のずれが生じる。特許文献2では、図9のような場合でも、例えば画像Aから取得したフリッカ補正値の位相をVD1のタイミングに基づいてずらすことで、画像B、画像Cのフリッカ補正値を生成するため、画像Cの補正が適切に行われないという問題があった。   Here, when the accumulation operation of the image sensor is started in synchronization with the second synchronization signal resulting from the shutter operation, which is asynchronous with the frame synchronization signal, the frame period shifts between VD1 and VD2 as shown at t2 in FIG. Arise. In Patent Document 2, even in the case of FIG. 9, for example, the flicker correction values of the image B and the image C are generated by shifting the phase of the flicker correction value acquired from the image A based on the timing of VD1. There was a problem that the correction of C was not properly performed.

また、特許文献3では、例えば図9において、画像Aと画像Bの差分とフレーム周期から主要被写体の移動速度を求め、さらにその移動速度から予測される主要被写体の位置に自動合焦用の評価値枠を設定して画像Cを取得しようとする。そのために、図9のようにフレーム周期がずれると主要被写体はより移動し、予測した位置から外れ、すなわち主要被写体から自動合焦用の評価値が取得できなくなる可能性があった。   Further, in Patent Document 3, for example, in FIG. 9, the moving speed of the main subject is obtained from the difference between the image A and the image B and the frame period, and the evaluation for automatic focusing is performed on the position of the main subject predicted from the moving speed. An attempt is made to acquire an image C by setting a value frame. For this reason, when the frame period is shifted as shown in FIG. 9, the main subject moves more and deviates from the predicted position, that is, there is a possibility that the evaluation value for automatic focusing cannot be acquired from the main subject.

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、フレーム同期信号とは非同期なシャッタ操作に起因する第2の同期信号を用いることによってフレーム周期がずれた場合でも、フレームの周期性を利用した処理を適切に行うことができるようにすることである。   Therefore, the present invention has been made in view of the above-described problems, and its purpose is to use a second synchronization signal resulting from a shutter operation asynchronous to the frame synchronization signal even when the frame period is shifted. It is to be able to appropriately perform processing using the periodicity of the frame.

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を結像させる光学系により結像された被写体像を画像信号に変換する撮像素子と、外部からの指示に応じて、第1の同期信号または該第1の同期信号とは非同期の第2の同期信号に基づいて前記撮像素子に蓄積動作を行わせる駆動手段と、点滅光源に起因する前記画像信号の信号レベルの変動成分を検出するフリッカ検出手段と、前記フリッカ検出手段による検出結果に基づいて、前記信号レベルの変動成分を補正する補正値を生成するフリッカ補正値推定手段と、前記フリッカ補正値推定手段により生成された補正値により、前記信号レベルの変動成分を補正するフリッカ補正手段と、を有し、前記フリッカ補正値推定手段は、前記撮像素子の前記第1の同期信号による蓄積動作と前記第2の同期信号による蓄積動作の切り替わりに応じて、前記第1の同期信号と前記第2の同期信号の位相ずれに応じて前記補正値を変更することを特徴とする。 In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes an imaging element that converts a subject image formed by an optical system that forms a subject image into an image signal, and an external signal . in response to the instruction, the first synchronous signal or the first synchronization signal and a driving means for causing the storage operation on the imaging element based on the second synchronization signal of the asynchronous, the image caused by blinking the light source Flicker detection means for detecting a signal level fluctuation component of the signal, flicker correction value estimation means for generating a correction value for correcting the signal level fluctuation component based on a detection result by the flicker detection means, and the flicker correction the correction value generated by the value estimating means, anda flicker correction means for correcting the variation component of the signal level, the flicker correction value estimation means, the first of the imaging device Depending on the accumulation operation by the synchronization signal switching of accumulation operation by the second synchronization signal, and characterized in that changes the correction value in accordance with the phase shift of the first synchronization signal and the second synchronization signal To do.

また、本発明に係わる撮像装置の制御方法は、被写体像を結像させる光学系により結像された被写体像を画像信号に変換する撮像素子を有する撮像装置を制御する方法であって、外部からの指示に応じて、第1の同期信号または該第1の同期信号とは非同期の第2の同期信号に基づいて前記撮像素子に蓄積動作を行わせる駆動工程と、点滅光源に起因する前記画像信号の信号レベルの変動成分を検出するフリッカ検出工程と、前記フリッカ検出工程における検出結果に基づいて、前記信号レベルの変動成分を補正する補正値を生成するフリッカ補正値推定工程と、前記フリッカ補正値推定工程において生成された補正値により、前記信号レベルの変動成分を補正するフリッカ補正工程と、を有し、前記フリッカ補正値推定工程では、前記撮像素子の前記第1の同期信号による蓄積動作と前記第2の同期信号による蓄積動作の切り替わりに応じて、前記第1の同期信号と前記第2の同期信号の位相ずれに応じて前記補正値を変更することを特徴とする。 An image pickup apparatus control method according to the present invention is a method for controlling an image pickup apparatus having an image pickup element for converting a subject image formed by an optical system for forming a subject image into an image signal, from the outside. depending on the instruction, the drive steps the first synchronization signal or the first synchronization signal to perform a storage operation to the image pickup device based on the second synchronization signal of asynchronous, the resulting flashing light source A flicker detection step for detecting a fluctuation component of the signal level of the image signal, a flicker correction value estimation step for generating a correction value for correcting the fluctuation component of the signal level based on a detection result in the flicker detection step, and the flicker A flicker correction step of correcting the fluctuation component of the signal level by the correction value generated in the correction value estimation step. In the flicker correction value estimation step, the imaging In response to the switching of the storage operation by the accumulation operation by the first synchronization signal of the child said second synchronizing signal, the correction value according to the phase shift of the first synchronization signal and the second synchronization signal It is characterized by changing .

本発明によれば、フレーム同期信号とは非同期なシャッタ操作に起因する第2の同期信号を用いることによってフレーム周期がずれた場合でも、フレームの周期性を利用した処理を適切に行うことが可能となる。   According to the present invention, even when the frame period is shifted by using the second synchronization signal resulting from the shutter operation asynchronous with the frame synchronization signal, it is possible to appropriately perform processing using the periodicity of the frame. It becomes.

以下、本発明の好適な実施形態について図面を参照して詳細に説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the drawings.

(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置の構成を示すブロック図である。
(First embodiment)
FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to the first embodiment of the present invention.

図1において、1はレンズ、絞りを含み被写体像を結像させる光学系、2は撮像素子、3は撮像素子駆動部、4はCDS回路およびA/D変換器を含むアナログフロントエンド部(AFEと図示する)である。5は撮像素子2の出力信号である画像信号からフリッカ成分を検出するフリッカ検出部、6は検出されたフリッカ成分から次のV(フレーム)のフリッカ補正値を推定するフリッカ補正値推定部である。7は推定された補正値を用いてフリッカを補正するフリッカ補正部、8はカメラ信号処理部、9はメモリである。11は撮像装置から取り外し可能な記録媒体、10はフレーム間予測符号化処理された画像データを記録媒体11に記録する記録処理部である。13は撮像装置全体を制御し、また外部からの信号を検出するシステム制御部、12はシステム制御部13と撮像装置内の各ブロックとの通信を行うバスである。15はシステム制御部13で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データを記憶しておく不揮発性メモリ(ROM)である。14は不揮発性メモリ15に記憶されたプログラムおよび制御データを転送して記憶しておき、システム制御部13が撮像装置を制御する際に使用する揮発性メモリ(RAM)である。   In FIG. 1, reference numeral 1 denotes an optical system including a lens and an aperture for forming a subject image, 2 an image sensor, 3 an image sensor drive unit, 4 an analog front end unit (AFE) including a CDS circuit and an A / D converter. Is illustrated). Reference numeral 5 denotes a flicker detection unit that detects a flicker component from an image signal that is an output signal of the image sensor 2, and reference numeral 6 denotes a flicker correction value estimation unit that estimates a flicker correction value of the next V (frame) from the detected flicker component. . 7 is a flicker correction unit that corrects flicker using the estimated correction value, 8 is a camera signal processing unit, and 9 is a memory. Reference numeral 11 denotes a recording medium that can be removed from the imaging apparatus, and reference numeral 10 denotes a recording processing unit that records the image data subjected to the inter-frame predictive encoding process on the recording medium 11. Reference numeral 13 denotes a system control unit that controls the entire imaging apparatus and detects external signals, and 12 denotes a bus that communicates between the system control unit 13 and each block in the imaging apparatus. A nonvolatile memory (ROM) 15 stores a program describing a control method executed by the system control unit 13 and control data such as parameters and tables used when the program is executed. Reference numeral 14 denotes a volatile memory (RAM) that transfers and stores the program and control data stored in the nonvolatile memory 15 and is used when the system control unit 13 controls the imaging apparatus.

以下、上述のように構成された撮像装置での撮影動作について説明する。   Hereinafter, a photographing operation in the imaging apparatus configured as described above will be described.

撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部13の動作開始時において、不揮発性メモリ15から必要なプログラム、制御データおよび補正データを揮発性メモリ14に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部13が撮像装置を制御する際に使用するとともに、必要に応じて、追加のプログラムやデータを不揮発性メモリ15から揮発性メモリ14に転送したりするものとする。また、システム制御部13が直接不揮発性メモリ15内のデータを読み出して使用したりするものとする。   Prior to the photographing operation, necessary programs, control data, and correction data are transferred from the nonvolatile memory 15 to the volatile memory 14 and stored at the start of the operation of the system control unit 13 such as when the imaging apparatus is turned on. Shall. These programs and data are used when the system control unit 13 controls the imaging apparatus, and additional programs and data are transferred from the nonvolatile memory 15 to the volatile memory 14 as necessary. Shall. Further, it is assumed that the system control unit 13 directly reads out and uses data in the nonvolatile memory 15.

まず、撮像素子2には、光学系1によって被写体からの光が入射され、システム制御部13により制御される撮像素子駆動部3からの第1の同期信号に基づく駆動パルスで駆動され、被写体光を光電変換により電気信号に変換する。撮像素子2で変換された電気信号はラスタスキャン状に読み出され、AFE4によりデジタル画像信号に変換される。AFE4により変換されたデジタル画像信号は、点滅光源に起因する画像信号レベルの変動成分であるフリッカを検出するフリッカ検出部5およびフリッカ補正値推定部6によって算出されたフリッカ補正値を用いて、フリッカ補正部7によってフリッカ補正されカメラ信号処理部8へ出力される。フリッカ補正部7によってフリッカ補正された画像信号は、カメラ信号処理部8により輝度色差の画像信号に変換される。また、メモリ9はカメラ信号処理された画像を保持する部分で、カメラ信号処理部8からの同期タイミングで記録され、記録処理部10の同期タイミングで読み出される。記録処理部10は画像信号を圧縮符号化し、記録媒体11に適したデータ(例えば階層構造を持つファイルシステムデータ)に変換して記録媒体11に記録する。システム制御部13は、バス12を介して、撮像素子駆動部3、カメラ信号処理部8、記録処理部10を制御する。各信号処理回路に必要な制御パラメータや、回路を制御するプログラム等の情報は、システム制御部13に接続された不揮発性メモリ15から読み出される。   First, light from the subject is incident on the image sensor 2 by the optical system 1 and is driven by a drive pulse based on the first synchronization signal from the image sensor drive unit 3 controlled by the system control unit 13. Is converted into an electric signal by photoelectric conversion. The electric signal converted by the image sensor 2 is read out in a raster scan form and converted into a digital image signal by the AFE 4. The digital image signal converted by the AFE 4 uses the flicker correction value calculated by the flicker detection unit 5 and the flicker correction value estimation unit 6 for detecting flicker which is a fluctuation component of the image signal level caused by the blinking light source, and uses the flicker correction value. Flicker correction is performed by the correction unit 7 and output to the camera signal processing unit 8. The image signal that has been subjected to the flicker correction by the flicker correction unit 7 is converted by the camera signal processing unit 8 into an image signal having a luminance color difference. The memory 9 is a part that holds an image subjected to camera signal processing, and is recorded at the synchronization timing from the camera signal processing unit 8 and read out at the synchronization timing of the recording processing unit 10. The recording processing unit 10 compresses and encodes the image signal, converts it into data suitable for the recording medium 11 (for example, file system data having a hierarchical structure), and records the data on the recording medium 11. The system control unit 13 controls the image sensor driving unit 3, the camera signal processing unit 8, and the recording processing unit 10 via the bus 12. Information such as control parameters necessary for each signal processing circuit and a program for controlling the circuit is read from the nonvolatile memory 15 connected to the system control unit 13.

次に、図2にフリッカ検出部5の構成を示す。   Next, FIG. 2 shows the configuration of the flicker detection unit 5.

図2において、100は画像信号に対し水平方向および垂直方向に検出する領域を設定するブロック分割部、101は設定された検出領域において、各々の輝度レベルの平均値を算出する加算平均部である。また、引算器102、乗算器103、加算器104およびメモリ105は、以下に示す演算によって、いわゆる巡回型ローパスフィルタを形成している。   In FIG. 2, reference numeral 100 denotes a block division unit that sets areas to be detected in the horizontal direction and vertical direction with respect to an image signal, and 101 denotes an addition average part that calculates an average value of each luminance level in the set detection area. . The subtractor 102, the multiplier 103, the adder 104, and the memory 105 form a so-called cyclic low-pass filter by the following calculation.

Figure 0005215879
Figure 0005215879

…(1)
ここで、aveは加算平均部101の出力を示し、moutはメモリ105からの出力を示す。memは加算器104からの出力を示し、メモリ105に新しく記憶される値を示す。また、kは巡回型ローパスフィルタのフィルタ係数である。
... (1)
Here, ave represents the output of the averaging unit 101, and mout represents the output from the memory 105. mem indicates an output from the adder 104 and indicates a value newly stored in the memory 105. K is a filter coefficient of the cyclic low-pass filter.

次に、106は、画像信号とメモリ105からの出力を除算することによってフリッカ成分を算出する除算器である。   A divider 106 calculates a flicker component by dividing the image signal and the output from the memory 105.

次に、本実施形態の特徴的な部分であるシャッター操作に起因する第1の同期信号とは非同期の第2の同期信号に同期して撮像素子の蓄積動作を開始したときのフリッカ補正値推定部6の動作(制御を変更する動作)について図3から図5を参照して説明する。   Next, flicker correction value estimation when the accumulation operation of the image sensor is started in synchronization with a second synchronization signal that is asynchronous with the first synchronization signal resulting from the shutter operation, which is a characteristic part of the present embodiment. The operation of the unit 6 (operation for changing control) will be described with reference to FIGS.

まず、図3はフリッカ補正値推定部6の構成を示す図である。   First, FIG. 3 is a diagram showing a configuration of the flicker correction value estimation unit 6.

200はフリッカ検出部5で検出されたフリッカ成分(検出結果)から、フリッカ特性パラメータを算出するフリッカ特性パラメータ抽出部である。フリッカ特性パラメータとは、ある特定のフリッカ成分の特性を表すパラメータであり、ここでは、ある特定のフリッカ成分の位相、振幅、周波数を示す。201は現フレームで検出されたフリッカ成分から、次フレーム以降のフリッカ補正値を算出するために必要な位相量を算出する位相調整値算出部である。202は、フリッカ特性パラメータ抽出部200からのフリッカ特性パラメータと、位相調整値算出部201からの位相量から、フリッカ補正値を算出するフリッカ補正値算出部である。   Reference numeral 200 denotes a flicker characteristic parameter extraction unit that calculates a flicker characteristic parameter from the flicker component (detection result) detected by the flicker detection unit 5. The flicker characteristic parameter is a parameter representing the characteristic of a specific flicker component, and here indicates the phase, amplitude, and frequency of a specific flicker component. Reference numeral 201 denotes a phase adjustment value calculation unit that calculates a phase amount necessary for calculating a flicker correction value for the subsequent frames from the flicker component detected in the current frame. A flicker correction value calculation unit 202 calculates a flicker correction value from the flicker characteristic parameter from the flicker characteristic parameter extraction unit 200 and the phase amount from the phase adjustment value calculation unit 201.

次に、図4にフリッカ特性パラメータ抽出部200の制御動作を示す。   Next, FIG. 4 shows the control operation of the flicker characteristic parameter extraction unit 200.

まず、ステップS100において、検出されたフリッカ成分に対し、例えば式(2)、式(3)、式(4)に示されるフーリエ変換を行う。   First, in step S100, the detected flicker component is subjected to, for example, Fourier transform represented by Expression (2), Expression (3), and Expression (4).

Figure 0005215879
Figure 0005215879

…(2)                                                   ... (2)

Figure 0005215879
Figure 0005215879

…(3)                                                   ... (3)

Figure 0005215879
Figure 0005215879

…(4)
ここで、hは垂直方向の検出枠番号を示し、y(h)はh番目の検出枠におけるフリッカ成分の値を示す。また、fは周波数を表し、YRe(f)、YIm(f)は、それぞれフーリエ変換した時の実部と虚部を表す。Y(f)は振幅成分を表す。
(4)
Here, h indicates a detection frame number in the vertical direction, and y (h) indicates a flicker component value in the h-th detection frame. F represents a frequency, and YRe (f) and YIm (f) represent a real part and an imaginary part when Fourier transform is performed, respectively. Y (f) represents an amplitude component.

次に、ステップS101では、式(4)にf=50を当てはめ、検出されたフリッカ成分の中の50Hzの振幅成分Y50を算出する。   Next, in step S101, f = 50 is applied to the equation (4) to calculate a 50 Hz amplitude component Y50 among the detected flicker components.

次に、ステップS102では、式(4)にf=60を当てはめ、検出されたフリッカ成分の中の60Hzの振幅成分Y60を算出する。   Next, in step S102, f = 60 is applied to Expression (4), and the 60 Hz amplitude component Y60 in the detected flicker component is calculated.

次に、ステップS103では、Y50とY60の比較を行う。ここで、Y50よりもY60の方が大きい場合は、ステップS104へ進み、振幅をY60、周波数を60Hzとして、フリッカ補正値算出部202へ出力する。一方、Y60がY50以下であった場合は、ステップS105へ進み、振幅をY50、周波数を50Hzとして、フリッカ補正値算出部202へ出力する。   Next, in step S103, Y50 and Y60 are compared. If Y60 is larger than Y50, the process proceeds to step S104, and the amplitude is set to Y60 and the frequency is set to 60 Hz, and the result is output to the flicker correction value calculation unit 202. On the other hand, if Y60 is Y50 or less, the process proceeds to step S105, where the amplitude is set to Y50 and the frequency is set to 50 Hz, and output to the flicker correction value calculation unit 202.

検出されたフリッカ成分は、フリッカ検出枠ごとに、例えば図5のように、フリッカ成分値1を境に正弦波状の値を示す。そこで、ステップS106においては、まず、各フリッカ検出枠ごとのフリッカ成分値を直線で近似する。次に、ステップS107においては直線で近似したフリッカ成分波形と、フリッカ成分値1が交わる垂直ライン数番号、V1、V2、V3、…をすべて求める。次にステップS108においては、V1とV2の差分を求め、その差分が閾値VTh1とVTh2の間にあるかどうか判定する(VTh1<VTh2)。ここで、その差分が閾値VTh1とVTh2の間にあったら、ステップS109へ進む。ステップS109においては、フリッカ成分波形のV1、V2における傾きを求める。次に、ステップS110においては、求めた傾きが正の値を示すライン番号を位相としてフリッカ補正値算出部202へ出力する。   The detected flicker component shows a sinusoidal value with the flicker component value 1 as a boundary, for example, as shown in FIG. 5 for each flicker detection frame. Therefore, in step S106, first, the flicker component value for each flicker detection frame is approximated by a straight line. Next, in step S107, all the vertical line number numbers V1, V2, V3,... Where the flicker component waveform approximated by a straight line and the flicker component value 1 intersect are obtained. Next, in step S108, the difference between V1 and V2 is obtained, and it is determined whether the difference is between the threshold values VTh1 and VTh2 (VTh1 <VTh2). If the difference is between the threshold values VTh1 and VTh2, the process proceeds to step S109. In step S109, the inclination of the flicker component waveform at V1 and V2 is obtained. Next, in step S110, the line number indicating a positive value for the obtained slope is output to the flicker correction value calculation unit 202 as a phase.

一方、ステップS108において、差分が閾値VTh1とVTh2の間にない場合はステップS111へ進む。ステップS111においては、第3の交点であるV3があるかどうかを判定し、V3がある場合はステップS112へ進む。ステップS112においては、第2の交点V2を第1の交点V1とし、第3の交点V3を第2の交点V2としてステップS108へ進む。   On the other hand, if the difference is not between the threshold values VTh1 and VTh2 in step S108, the process proceeds to step S111. In step S111, it is determined whether there is a third intersection V3. If there is V3, the process proceeds to step S112. In step S112, the second intersection point V2 is set as the first intersection point V1, and the third intersection point V3 is set as the second intersection point V2, and the process proceeds to step S108.

一方、ステップS111において、V3がなければ、ステップS113へ進み、ライン番号0を位相として選択し、フリッカ補正値算出部202へ出力する。   On the other hand, if there is no V3 in step S111, the process proceeds to step S113, where line number 0 is selected as the phase and output to the flicker correction value calculation unit 202.

次に、図6に位相調整値算出部201の制御動作を示す。   Next, FIG. 6 shows the control operation of the phase adjustment value calculation unit 201.

まず、ステップS200において、撮影指示が検出されたかどうかの判定を行う。ここで、撮影指示が検出された場合はステップS201へ進む。ステップS201においては、フレーム周期のずれ量をシステム制御部13より取得し、ステップS202へ進む。ステップS202においては、フレーム周期のずれ量を用いて例えば式(5)に示す演算を用いて位相の調整量を算出し、ステップS204へ進む。   First, in step S200, it is determined whether a shooting instruction has been detected. If a shooting instruction is detected, the process proceeds to step S201. In step S201, the shift amount of the frame period is acquired from the system control unit 13, and the process proceeds to step S202. In step S202, the amount of phase adjustment is calculated using, for example, the calculation shown in equation (5) using the amount of deviation of the frame period, and the process proceeds to step S204.

Figure 0005215879
Figure 0005215879

式(5)
ここで、aは位相調整量[line]をt1はフレーム周期[sec]を表し、t2はフレーム周期のずれ量[sec]を表し、lは垂直方向の総ライン数[line]を示す。例えば、フレーム周期1/60[sec]で、垂直方向の総ライン数が1080ラインである撮像装置において、フレーム周期が1/120[sec]ずれたとする。この場合、式(5)に基づき、a=((1/120)×1080)/(1/60)=540[line]となり、フリッカ成分が540lineずれるため、フリッカ補正値も540lineずらす必要があることになる。
Formula (5)
Here, a represents the phase adjustment amount [line], t1 represents the frame period [sec], t2 represents the frame period shift amount [sec], and l represents the total number of lines [line] in the vertical direction. For example, it is assumed that the frame period is shifted by 1/120 [sec] in an imaging apparatus having a frame period of 1/60 [sec] and a total number of vertical lines of 1080 lines. In this case, based on Expression (5), a = ((1/120) × 1080) / (1/60) = 540 [line], and the flicker component is shifted by 540 lines. Therefore, the flicker correction value needs to be shifted by 540 lines. It will be.

一方、ステップS200において、撮影指示が検出されていない場合は、ステップS203へ進む。ステップS203においては、フレーム周期がずれていないため位相調整量a=0としてステップS204へ進む。ステップS204においては、フレームごとの周期性を利用したフリッカ補正値の位相量の予測を、例えば式(6)を用いて算出し、ステップS205へ進む。   On the other hand, if no photographing instruction is detected in step S200, the process proceeds to step S203. In step S203, since the frame period is not shifted, the phase adjustment amount a = 0 is set, and the process proceeds to step S204. In step S204, the prediction of the phase amount of the flicker correction value using the periodicity for each frame is calculated using, for example, equation (6), and the process proceeds to step S205.

Figure 0005215879
Figure 0005215879

式(6)
ここで、nは現フレームから算出したフリッカ補正値を何フレーム先の画像に適用するかを表す整数で、次フレームであればn=1、次々フレームであればn=2である。また、kは垂直方向の総ライン数を表す。ステップS205では、フレーム周期のずれに起因する位相調整量aとフレームごとの周期性に起因する位相の予測量bを加算することで位相の総調整量を算出し、フリッカ補正値算出部202へ出力する。
Formula (6)
Here, n is an integer indicating how many frames ahead the flicker correction value calculated from the current frame is applied, where n = 1 for the next frame and n = 2 for the next frame. K represents the total number of lines in the vertical direction. In step S <b> 205, the total amount of phase adjustment is calculated by adding the phase adjustment amount “a” due to the frame period shift and the phase prediction amount “b” due to the periodicity of each frame, and the flicker correction value calculation unit 202 receives the calculation result. Output.

また、図3におけるフリッカ補正値算出部202は、フリッカ特性パラメータ抽出部200から出力される、位相、振幅、周波数と位相調整値算出部201からの位相の総調整量を用いて、例えば、式(7)に示すような演算を用いてフリッカ補正値Fmを生成する。   Also, the flicker correction value calculation unit 202 in FIG. 3 uses, for example, an equation that uses the total amount of phase, amplitude, and frequency output from the flicker characteristic parameter extraction unit 200 and the phase adjustment value from the phase adjustment value calculation unit 201. The flicker correction value Fm is generated using an operation as shown in (7).

Figure 0005215879
Figure 0005215879

式(7)
ここで、Aは振幅を表し、fはフリッカ成分の周波数を表す。また、yは垂直方向の画素位置を表し、lは位相を表す。また、aはフレーム周期のずれに起因する位相調整量を表し、bはフレームごとの周期性から予測した位相の予測量を表す。
Formula (7)
Here, A represents the amplitude, and f represents the frequency of the flicker component. Further, y represents the pixel position in the vertical direction, and l represents the phase. Further, a represents the amount of phase adjustment caused by the frame period shift, and b represents the predicted amount of phase predicted from the periodicity of each frame.

以上、説明したようにフレーム周期のずれ量を考慮して、フリッカ補正値を生成することにより、フレーム同期信号とは非同期なシャッタ操作に起因する第2の同期信号を用いた撮像装置において、フレームで検出されたフリッカ成分から次フレーム以降のフリッカ補正値を算出したとしても、適正に補正することができる。   As described above, in the imaging apparatus using the second synchronization signal resulting from the shutter operation asynchronous with the frame synchronization signal, by generating the flicker correction value in consideration of the frame period deviation amount, Even if the flicker correction values for the next and subsequent frames are calculated from the flicker components detected in step 1, they can be corrected appropriately.

(第2の実施形態)
次に、図7及び図8を参照して、第2の実施形態について説明する。
(Second Embodiment)
Next, a second embodiment will be described with reference to FIGS.

本実施形態の装置の構成は第1の実施形態と略同様であって、同一部材には同一番号を付して、重複する構成の説明は省略する。   The configuration of the apparatus according to the present embodiment is substantially the same as that of the first embodiment, and the same members are denoted by the same reference numerals, and the description of the overlapping configuration is omitted.

第1の実施形態と異なっている点は、フリッカ検出部5、フリッカ補正値算出部6、フリッカ補正部7の代わりに、マスク部16、被写体検出部17、マスク領域推定部18、メモリ19、AF評価値取得部20を備えている点である。   The difference from the first embodiment is that instead of the flicker detection unit 5, the flicker correction value calculation unit 6, and the flicker correction unit 7, a mask unit 16, a subject detection unit 17, a mask area estimation unit 18, a memory 19, The AF evaluation value acquisition unit 20 is provided.

マスク部16は、特定の被写体が検出され続けるように特定の被写体の周囲をマスクする部分で、後述するマスク領域推定部18からの位置とサイズに応じて入力画像に対しマスクを行う部分である。被写体検出部17は、マスク処理された入力画像から、例えば両目や鼻、口などの顔の器官の配置に基づいて人物の正面顔や斜め顔を検出し、その位置やサイズを出力する部分である。メモリ19は、被写体検出部17からの被写体の位置やサイズの情報(被写体情報)を所定期間保持する。AF評価値取得部20は、被写体検出部17からの被写体の位置やサイズに合わせて評価値枠を設定し、その枠内から自動合焦用の評価値を生成する部分である。マスク領域推定部18は、被写体検出部17からの被写体の位置やサイズの情報と、システム制御部13からのフレーム周期情報に応じてマスクする位置やサイズの情報をマスク部へ出力する(検出領域設定)部分である。   The mask unit 16 is a portion that masks the periphery of the specific subject so that the specific subject is continuously detected, and is a portion that masks the input image according to the position and size from the mask area estimation unit 18 described later. . The subject detection unit 17 is a portion that detects a front face or an oblique face of a person based on the arrangement of facial organs such as both eyes, nose and mouth from the masked input image, and outputs the position and size thereof. is there. The memory 19 holds information on the position and size of the subject (subject information) from the subject detection unit 17 for a predetermined period. The AF evaluation value acquisition unit 20 is a part that sets an evaluation value frame according to the position and size of the subject from the subject detection unit 17 and generates an evaluation value for automatic focusing from within the frame. The mask area estimation unit 18 outputs information about the position and size of the subject from the subject detection unit 17 and information about the position and size to be masked according to the frame period information from the system control unit 13 (detection region). Setting) part.

次に、本実施形態の特徴的な部分であるシャッター操作に起因する第2の同期信号に同期して撮像素子の蓄積動作を開始した時のマスク領域推定部18の制御動作について図8を参照しながら説明する。   Next, refer to FIG. 8 for the control operation of the mask region estimation unit 18 when the accumulation operation of the image sensor is started in synchronization with the second synchronization signal resulting from the shutter operation, which is a characteristic part of the present embodiment. While explaining.

まず、ステップS300においては、まだ被写体検出動作およびマスク領域推定動作が行われていない状態であるため、マスク部16においてマスクをしないことと同じ意味である、位置Mp(0,0)、サイズMs(hmax,vmax)でマスクを行う。ここで、マスクする位置は画像のx座標とy座標で表し、Mp(x,y)で表す。またマスクするサイズは、マスクをしない領域の縦vと横hを、Ms(v,h)で表す。また、hmax、vmaxはそれぞれx座標、y座標の最大値を表す。次にステップS301においては、マスクされた入力画像から被写体の検出を行い、被写体の位置Fp(x,y)、サイズFs(v,h)を出力する。ここで被写体の位置は画像のx座標とy座標でFp(x,y)と表し、被写体のサイズは縦vと横hでFs(v,h)と表す。次にステップS302においては、被写体検出部17の検出の結果、被写体がいくつ検出されたかを判定する。   First, in step S300, since the subject detection operation and the mask area estimation operation are not yet performed, the position Mp (0, 0), the size Ms, which is the same as not masking in the mask unit 16, is performed. Mask by (hmax, vmax). Here, the masking position is represented by the x-coordinate and y-coordinate of the image, and is represented by Mp (x, y). The size to be masked is represented by Ms (v, h) in the vertical v and horizontal h of the area not masked. Hmax and vmax represent the maximum values of the x coordinate and the y coordinate, respectively. Next, in step S301, the subject is detected from the masked input image, and the subject position Fp (x, y) and size Fs (v, h) are output. Here, the position of the subject is expressed as Fp (x, y) in the x and y coordinates of the image, and the size of the subject is expressed as Fs (v, h) in the vertical and horizontal directions. Next, in step S302, it is determined how many subjects are detected as a result of detection by the subject detection unit 17.

ステップS302において、0人であった場合はステップS300に戻り、マスクされていない入力画像を用いて再度、被写体検出を行う。またステップS302において、1人検出された場合はステップS304へ進む。また、ステップS302において2人以上検出された場合は、ステップS303へ進む。ステップS303においては、検出された2人以上の被写体の中から、例えば画像の中心に近く、サイズの最も大きいものを特定の被写体として選択する。   In step S302, if the number is zero, the process returns to step S300, and subject detection is performed again using an unmasked input image. If one person is detected in step S302, the process proceeds to step S304. If two or more people are detected in step S302, the process proceeds to step S303. In step S303, from among the detected two or more subjects, for example, the one close to the center of the image and having the largest size is selected as the specific subject.

次にステップS304においては、入力画像に対し、被写体検出部17からの位置、サイズに応じてAF評価値取得枠(評価値生成のための枠)を設定し、ステップS305へ進む。ステップS305においては、マスク領域を推定するために必要な、所定時間(例えば1V(垂直同期期間))前の被写体の位置とサイズの情報がメモリ19に保持されているかどうか判断する。ステップS305において、保持されていなければステップS306へ進み、保持されていればステップS307へ進む。   Next, in step S304, an AF evaluation value acquisition frame (frame for generating an evaluation value) is set for the input image according to the position and size from the subject detection unit 17, and the process proceeds to step S305. In step S305, it is determined whether or not the memory 19 holds information on the position and size of the subject before a predetermined time (for example, 1 V (vertical synchronization period)) necessary for estimating the mask area. In step S305, if not held, the process proceeds to step S306, and if held, the process proceeds to step S307.

ステップS306においては、所定時間(例えば1V)前の被写体の位置とサイズの情報がメモリ19に保持されていないため、検出された被写体の位置に、サイズをm倍してマスク領域を設定する。ステップS307においては、所定時間(例えば1V)前の被写体の位置とサイズの情報がメモリ19に保持されているため、例えば式(8)、式(9)に示される演算を用いて、次フレームの被写体の移動速度を算出し、ステップS308へ進む。   In step S306, since the information on the position and size of the subject before a predetermined time (for example, 1V) is not held in the memory 19, a mask area is set by multiplying the size by m at the detected position of the subject. In step S307, information on the position and size of the subject before a predetermined time (for example, 1V) is held in the memory 19, so that the next frame is calculated using the calculations shown in, for example, Expression (8) and Expression (9). The moving speed of the subject is calculated, and the process proceeds to step S308.

Figure 0005215879
Figure 0005215879

式(8)                                                 Formula (8)

Figure 0005215879
Figure 0005215879

式(9)
ここで、Epsは1フレームあたりの被写体の位置の変化速度を表し、x、yは現フレームの被写体の位置のx座標およびy座標、x’、y’は前フレームの被写体の位置のx座標およびy座標を表す。t1はフレーム周期を表す。また、Essは1フレームあたりの被写体のサイズの変化速度を表し、v、hは現フレームの縦および横のサイズを表す。またv’、h’は前フレームの縦および横のサイズを表す。
Formula (9)
Here, Eps represents the change speed of the subject position per frame, x and y are the x and y coordinates of the subject position of the current frame, and x ′ and y ′ are the x coordinates of the subject position of the previous frame. And y coordinate. t1 represents a frame period. Ess represents the change speed of the subject size per frame, and v and h represent the vertical and horizontal sizes of the current frame. Further, v ′ and h ′ represent the vertical and horizontal sizes of the previous frame.

次にステップS308においては、撮影指示が検出されたかどうかの判定を行う。ここで、撮影指示が検出された場合はステップS309へ進み、撮影指示が検出されていない場合はステップS310へ進む。ステップS309においては、例えば式(10)、式(11)に示される演算を用いて、次フレームの被写体の位置およびサイズを算出し、ステップS312へ進む。   Next, in step S308, it is determined whether a shooting instruction has been detected. If a shooting instruction is detected, the process proceeds to step S309. If a shooting instruction is not detected, the process proceeds to step S310. In step S309, the position and size of the subject of the next frame are calculated using, for example, calculations shown in equations (10) and (11), and the process proceeds to step S312.

Figure 0005215879
Figure 0005215879

式(10)                                                 Formula (10)

Figure 0005215879
Figure 0005215879

式(11)
ここで、Eps’は次フレームの被写体の位置を表し、Ess’は次フレームの被写体のサイズを表す。また、t2はフレーム周期のずれ量を表す。
Formula (11)
Here, Eps ′ represents the position of the subject in the next frame, and Ess ′ represents the size of the subject in the next frame. T2 represents the amount of deviation of the frame period.

また、ステップS310においては撮影指示が検出されておらず、フレーム周期にずれがないため、例えば式(10)、式(11)に示される演算において、t2=0として、次フレームの被写体の位置およびサイズを算出し、ステップS311へ進む。ステップS311においては、算出された被写体の位置およびサイズをメモリ19に保持し、ステップS312へ進む。ステップS312では、算出された被写体の位置およびサイズを用いてマスク領域を設定し、ステップS301へ戻る。   In step S310, since no shooting instruction is detected and there is no shift in the frame period, for example, in the calculations shown in Equation (10) and Equation (11), t2 = 0 and the position of the subject in the next frame And size is calculated and it progresses to step S311. In step S311, the calculated position and size of the subject are held in the memory 19, and the process proceeds to step S312. In step S312, a mask area is set using the calculated position and size of the subject, and the process returns to step S301.

以上、説明したようにフレーム周期のずれ量を考慮して、特定の被写体を検出するためのマスク領域を設定することにより、フレーム同期信号とは非同期なシャッタ操作に起因する第2の同期信号を用いた撮像装置において、精度良く特定の被写体に追従したAF制御(焦点調節制御)が可能となる。   As described above, the second synchronization signal resulting from the shutter operation that is asynchronous with the frame synchronization signal can be obtained by setting the mask region for detecting a specific subject in consideration of the shift amount of the frame period. In the used imaging apparatus, it is possible to perform AF control (focus adjustment control) following a specific subject with high accuracy.

(他の実施形態)
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
(Other embodiments)
The object of each embodiment is also achieved by the following method. That is, a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded is supplied to the system or apparatus. Then, the computer (or CPU or MPU) of the system or apparatus reads and executes the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but the present invention includes the following cases. That is, an operating system (OS) running on a computer performs part or all of actual processing based on an instruction of a program code, and the functions of the above-described embodiments are realized by the processing.

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。   Furthermore, the following cases are also included in the present invention. That is, the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion card or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。   When the present invention is applied to the above storage medium, the storage medium stores program codes corresponding to the procedure described above.

本発明の第1の実施形態に係わる撮像装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment of the present invention. 第1の実施形態のフリッカ検出部の構成を示すブロック図である。It is a block diagram which shows the structure of the flicker detection part of 1st Embodiment. 第1の実施形態のフリッカ補正値推定部の構成を示すブロック図である。It is a block diagram which shows the structure of the flicker correction value estimation part of 1st Embodiment. 第1の実施形態のフリッカ特性パラメータ抽出部の制御動作を示すフローチャートである。It is a flowchart which shows the control operation of the flicker characteristic parameter extraction part of 1st Embodiment. フリッカ検出部で検出されるフリッカ成分の一例を示す図である。It is a figure which shows an example of the flicker component detected by the flicker detection part. 第1の実施形態の位相調整値算出部の制御動作を示すフローチャートである。It is a flowchart which shows the control operation of the phase adjustment value calculation part of 1st Embodiment. 本発明の第2の実施形態に係わる撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device concerning the 2nd Embodiment of this invention. 第2の実施形態のマスク領域推定部の制御動作を示すフローチャートである。It is a flowchart which shows the control operation of the mask area | region estimation part of 2nd Embodiment. フレーム同期信号とは非同期な、シャッター操作に起因する第2の同期信号に同期して撮像素子の蓄積動作を開始する動作例を示す図である。It is a figure which shows the operation example which starts the accumulation | storage operation | movement of an image pick-up element synchronizing with the 2nd synchronizing signal resulting from shutter operation asynchronous with a frame synchronizing signal.

1 光学系
2 撮像素子
3 撮像素子駆動部
4 AFE
5 フリッカ検出部
6 フリッカ補正値推定部
7 フリッカ補正部
8 カメラ信号処理部
9 メモリ
10 記録処理部
11 記録媒体
12 バス
13 システム制御部
14 RAM
15 ROM
16 マスク部
17 被写体検出部
18 マスク領域推定部
19 メモリ
20 AF評価値生成部
100 ブロック分割部
101 加算平均部
102 引算器
103 乗算器
104 加算器
105 メモリ
106 除算器
200 フリッカ特性パラメータ抽出部
200 フリッカ補正値算出部
200 位相調整値算出部
DESCRIPTION OF SYMBOLS 1 Optical system 2 Image pick-up element 3 Image pick-up element drive part 4 AFE
DESCRIPTION OF SYMBOLS 5 Flicker detection part 6 Flicker correction value estimation part 7 Flicker correction part 8 Camera signal processing part 9 Memory 10 Recording processing part 11 Recording medium 12 Bus 13 System control part 14 RAM
15 ROM
DESCRIPTION OF SYMBOLS 16 Mask part 17 Subject detection part 18 Mask area | region estimation part 19 Memory 20 AF evaluation value production | generation part 100 Block division part 101 Addition averaging part 102 Subtractor 103 Multiplier 104 Adder 105 Memory 106 Divider 200 Flicker characteristic parameter extraction part 200 Flicker correction value calculation unit 200 Phase adjustment value calculation unit

Claims (9)

被写体像を結像させる光学系により結像された被写体像を画像信号に変換する撮像素子と、
外部からの指示に応じて、第1の同期信号または該第1の同期信号とは非同期の第2の同期信号に基づいて前記撮像素子に蓄積動作を行わせる駆動手段と、
点滅光源に起因する前記画像信号の信号レベルの変動成分を検出するフリッカ検出手段と、
前記フリッカ検出手段による検出結果に基づいて、前記信号レベルの変動成分を補正する補正値を生成するフリッカ補正値推定手段と、
前記フリッカ補正値推定手段により生成された補正値により、前記信号レベルの変動成分を補正するフリッカ補正手段と、を有し、
前記フリッカ補正値推定手段は、前記撮像素子の前記第1の同期信号による蓄積動作と前記第2の同期信号による蓄積動作の切り替わりに応じて、前記第1の同期信号と前記第2の同期信号の位相ずれに応じて前記補正値を変更することを特徴とする撮像装置。
An image sensor that converts a subject image formed by an optical system that forms a subject image into an image signal;
In response to an instruction from the outside, a drive means for causing the storage operation on the imaging element based on the second synchronization signal of the asynchronous to the first synchronization signal or the first synchronization signal,
Flicker detection means for detecting a fluctuation component of the signal level of the image signal caused by the blinking light source;
Flicker correction value estimating means for generating a correction value for correcting the fluctuation component of the signal level based on a detection result by the flicker detecting means;
Flicker correction means for correcting the fluctuation component of the signal level by the correction value generated by the flicker correction value estimation means,
The flicker correction value estimating unit is configured to switch the first synchronization signal and the second synchronization signal in accordance with switching between the accumulation operation by the first synchronization signal and the accumulation operation by the second synchronization signal of the image sensor. An image pickup apparatus, wherein the correction value is changed according to a phase shift.
前記第2の同期信号とは、シャッター操作に起因する信号であることを特徴とする請求項1に記載の撮像装置。The imaging apparatus according to claim 1, wherein the second synchronization signal is a signal resulting from a shutter operation. 前記第2の同期信号とは、撮影指示に起因する信号であることを特徴とする請求項1または2に記載の撮像装置。The imaging apparatus according to claim 1, wherein the second synchronization signal is a signal resulting from a shooting instruction. 前記第1の同期信号とは、前記撮像素子から所定の周期で繰り返し出力されるフレームのフレーム同期信号であることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。4. The imaging apparatus according to claim 1, wherein the first synchronization signal is a frame synchronization signal of a frame that is repeatedly output from the image sensor at a predetermined cycle. 5. 記画像信号から特定の被写体情報を検出する被写体検出手段と、前記特定の被写体情報を検出する領域を設定する検出領域設定手段と、前記被写体検出手段により検出された特定の被写体情報を所定期間保持する保持手段と、前記光学系の焦点調節のための評価値を生成する評価値生成手段と、前記評価値に基づいて前記焦点調節の制御を行う焦点調節制御手段とを有し、前記被写体検出手段は、前記撮像素子の前記第1の同期信号による蓄積動作と前記第2の同期信号による蓄積動作の切り替わりに応じて、前記特定の被写体情報を検出する領域を変更することを特徴とする請求項1に記載の撮像装置。 A subject detecting means for detecting a specific subject information from the previous SL image signal, a detection area setting means for setting a region for detecting the specific subject information, the predetermined time period specific subject information detected by the subject detecting means Holding means for holding, evaluation value generating means for generating an evaluation value for focus adjustment of the optical system, and focus adjustment control means for controlling the focus adjustment based on the evaluation value, and the subject detecting means, the first sync signal according to the accumulation operation and switching of the accumulation operation by the second synchronization signal by, wherein the benzalkonium change the region to detect the specific subject information of the imaging device The imaging apparatus according to claim 1. 前記特定の被写体情報を検出する領域の変更とは、前記第1の同期信号と前記第2の同期信号の位相ずれに応じて、前記検出する領域のサイズを変更することであることを特徴とする請求項に記載の撮像装置。 The change of the area for detecting the specific subject information is to change the size of the area to be detected according to a phase shift between the first synchronization signal and the second synchronization signal. The imaging device according to claim 5 . 前記特定の被写体情報を検出する領域の変更とは、前記第1の同期信号と前記第2の同期信号の位相ずれに応じて、前記検出する領域の位置を変更することであることを特徴とする請求項に記載の撮像装置。 The change of the area for detecting the specific subject information is to change the position of the area to be detected according to a phase shift between the first synchronization signal and the second synchronization signal. The imaging device according to claim 5 . 被写体像を結像させる光学系により結像された被写体像を画像信号に変換する撮像素子を有する撮像装置を制御する方法であって、
外部からの指示に応じて、第1の同期信号または該第1の同期信号とは非同期の第2の同期信号に基づいて前記撮像素子に蓄積動作を行わせる駆動工程と、
点滅光源に起因する前記画像信号の信号レベルの変動成分を検出するフリッカ検出工程と、
前記フリッカ検出工程における検出結果に基づいて、前記信号レベルの変動成分を補正する補正値を生成するフリッカ補正値推定工程と、
前記フリッカ補正値推定工程において生成された補正値により、前記信号レベルの変動成分を補正するフリッカ補正工程と、を有し、
前記フリッカ補正値推定工程では、前記撮像素子の前記第1の同期信号による蓄積動作と前記第2の同期信号による蓄積動作の切り替わりに応じて、前記第1の同期信号と前記第2の同期信号の位相ずれに応じて前記補正値を変更することを特徴とする撮像装置の制御方法。
A method for controlling an image pickup apparatus having an image pickup element for converting a subject image formed by an optical system for forming a subject image into an image signal,
In response to an instruction from the outside, and a driving step for performing the storage operation on the imaging element based on the second synchronization signal of the asynchronous to the first synchronization signal or the first synchronization signal,
A flicker detection step of detecting a fluctuation component of the signal level of the image signal caused by the blinking light source;
A flicker correction value estimation step for generating a correction value for correcting the fluctuation component of the signal level based on the detection result in the flicker detection step;
A flicker correction step of correcting the fluctuation component of the signal level by the correction value generated in the flicker correction value estimation step,
In the flicker correction value estimation step, the first synchronization signal and the second synchronization signal according to switching of the accumulation operation by the first synchronization signal and the accumulation operation by the second synchronization signal of the image sensor. A method for controlling an imaging apparatus, wherein the correction value is changed according to a phase shift.
請求項に記載の制御方法をコンピュータに実行させるためのプログラム。 A program for causing a computer to execute the control method according to claim 8 .
JP2009001827A 2009-01-07 2009-01-07 Imaging apparatus, control method thereof, and program Expired - Fee Related JP5215879B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009001827A JP5215879B2 (en) 2009-01-07 2009-01-07 Imaging apparatus, control method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009001827A JP5215879B2 (en) 2009-01-07 2009-01-07 Imaging apparatus, control method thereof, and program

Publications (3)

Publication Number Publication Date
JP2010161572A JP2010161572A (en) 2010-07-22
JP2010161572A5 JP2010161572A5 (en) 2012-01-19
JP5215879B2 true JP5215879B2 (en) 2013-06-19

Family

ID=42578413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009001827A Expired - Fee Related JP5215879B2 (en) 2009-01-07 2009-01-07 Imaging apparatus, control method thereof, and program

Country Status (1)

Country Link
JP (1) JP5215879B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5581968B2 (en) * 2010-10-25 2014-09-03 株式会社ニコン Imaging device
JP7336186B2 (en) * 2018-11-27 2023-08-31 キヤノン株式会社 IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM
CN114365477A (en) * 2019-08-27 2022-04-15 富士胶片株式会社 Imaging device, imaging method, and imaging program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03273786A (en) * 1990-03-23 1991-12-04 Canon Inc Image pickup device
JPH09247556A (en) * 1996-03-09 1997-09-19 Sony Corp Image pickup device provided with solid-state image pickup part
JP2006050031A (en) * 2004-08-02 2006-02-16 Hitachi Ltd Photographing apparatus
JP2008201146A (en) * 2007-02-16 2008-09-04 Denso Corp Vehicle operation guide device

Also Published As

Publication number Publication date
JP2010161572A (en) 2010-07-22

Similar Documents

Publication Publication Date Title
US7920175B2 (en) Electronic still camera performing composition of images and image capturing method therefor
JP4784678B2 (en) Imaging apparatus, imaging method, and program
JP6220225B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM
JP4626689B2 (en) Imaging apparatus, correction circuit, and correction method
JP5523124B2 (en) Imaging device
JP2006222935A (en) Electronic still camera, image capturing method, program and storage medium
JP5039588B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
US10447943B2 (en) Image capturing apparatus, control method, program, and recording medium therefor
JP5215879B2 (en) Imaging apparatus, control method thereof, and program
JP4953770B2 (en) Imaging device
US8947556B2 (en) Image pickup apparatus, control method therefor, and storage medium storing control program therefor
JP5482148B2 (en) Autofocus adjustment circuit and imaging apparatus
JP6652303B2 (en) Flash band determination device, control method thereof, control program, and imaging device
JP4867822B2 (en) Image processing apparatus, image processing method, and imaging apparatus
JP6024135B2 (en) Subject tracking display control device, subject tracking display control method and program
US11330192B2 (en) Acquisition method, computer readable recording medium and image apparatus
JP6570252B2 (en) Image processing apparatus, information processing method, and program
JP2008244670A (en) Imaging apparatus
JP2008028924A (en) Imaging apparatus and control method thereof
JP6659163B2 (en) Flash band determination device, control method thereof, and program
JP2010062825A (en) Imaging device and method of controlling imaging
JP2010093451A (en) Imaging apparatus and program for imaging apparatus
JP2013255005A (en) Electronic camera
JP5631084B2 (en) Image recording device
KR101039406B1 (en) Image processing apparatus and method using timing control

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130301

R151 Written notification of patent or utility model registration

Ref document number: 5215879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees