JP5215879B2 - Imaging apparatus, control method thereof, and program - Google Patents
Imaging apparatus, control method thereof, and program Download PDFInfo
- Publication number
- JP5215879B2 JP5215879B2 JP2009001827A JP2009001827A JP5215879B2 JP 5215879 B2 JP5215879 B2 JP 5215879B2 JP 2009001827 A JP2009001827 A JP 2009001827A JP 2009001827 A JP2009001827 A JP 2009001827A JP 5215879 B2 JP5215879 B2 JP 5215879B2
- Authority
- JP
- Japan
- Prior art keywords
- synchronization signal
- flicker
- signal
- correction value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000003384 imaging method Methods 0.000 title claims description 33
- 238000012937 correction Methods 0.000 claims description 69
- 238000001514 detection method Methods 0.000 claims description 38
- 238000009825 accumulation Methods 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000010363 phase shift Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 230000004397 blinking Effects 0.000 claims description 4
- 229960001716 benzalkonium Drugs 0.000 claims 1
- CYDRXTMLKJDRQH-UHFFFAOYSA-N benzododecinium Chemical compound CCCCCCCCCCCC[N+](C)(C)CC1=CC=CC=C1 CYDRXTMLKJDRQH-UHFFFAOYSA-N 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、ビデオカメラなどの撮像装置を制御する技術に関するものである。 The present invention relates to a technique for controlling an imaging apparatus such as a video camera.
従来より撮像装置には、フレーム同期信号とは非同期な、シャッター操作に起因する第2の同期信号に同期して撮像素子の蓄積応答動作を開始することにより、実際の使用に際して被写体の瞬間的な撮像機会を逸してしまう事態を回避する技術がある。この技術は、特許文献1に記載されている。
2. Description of the Related Art Conventionally, an image pickup apparatus starts an accumulation response operation of an image pickup device in synchronization with a second synchronization signal resulting from a shutter operation that is asynchronous with a frame synchronization signal, so that an object can be instantaneously used in actual use. There is a technique for avoiding a situation where an imaging opportunity is missed. This technique is described in
一方で、CMOSイメージセンサに代表されるXYアドレス方式の固体撮像素子を用いた撮像装置において、蛍光灯照明下の被写体を撮影した時に現れる蛍光灯フリッカに対する対策として特許文献2には次のような技術が開示されている。例えば、商用電源周波数50Hz、垂直同期周波数60Hzの条件下で発生する蛍光灯フリッカは、3フレームごとに元の位相に戻るというフレーム間の周期性がある。そのため、現フレームで検出したフリッカ成分から、そのフリッカ成分を補正するフリッカ補正値を生成し、また、そのフリッカ補正値の位相を調整することで次フレーム以降のフリッカ補正値を生成するという技術である。
On the other hand, in an imaging apparatus using an XY address type solid-state imaging device typified by a CMOS image sensor,
また、特許文献3には次のような技術が開示されている。すなわち、現フレームと前フレームの差分とフレーム同期信号の間隔(以下、フレーム周期と呼ぶ)から主要被写体の移動速度を求める。さらにその移動速度から次フレームの主要被写体の位置を予測し、その位置に自動合焦用の評価値枠を設定することで、主要被写体に合焦させ続けるという技術である。
図9は、フレーム同期信号とは非同期な、シャッター操作に起因する第2の同期信号に同期して撮像素子の蓄積動作を開始する動作例を示した図である。 FIG. 9 is a diagram illustrating an operation example in which the accumulation operation of the image sensor is started in synchronization with the second synchronization signal resulting from the shutter operation, which is asynchronous with the frame synchronization signal.
VD1はフレーム同期信号であり、VD2はシャッタ操作に起因したフレーム同期信号である。また、図中のA、B、D、E、F、Gは動画、Cは静止画で、それぞれフレーム周期で連続して撮影されている。センサ蓄積については、動画は1/60sec固定(Tsa、Tsb、Tsd、Tse、Tsf、Tsg)、静止画は撮影モードにより可変であるが、本例では1/60sec以下とシャッタ速度の速い場合を想定している(Tsc)。 VD1 is a frame synchronization signal, and VD2 is a frame synchronization signal resulting from the shutter operation. In the figure, A, B, D, E, F, and G are moving images, and C is a still image, which are continuously captured in a frame cycle. As for sensor accumulation, moving images are fixed at 1/60 sec (Tsa, Tsb, Tsd, Tse, Tsf, Tsg), and still images are variable depending on the shooting mode. Assumed (Tsc).
センサの読み出しは読み出しクロック速度、チャネル数によるが、動画は1/60sec以下(Tra、Trb、Trd、Tre、Trf)である。静止画は読み出し画素数によるが、本例では、フレーム周期を越えない(1/60sec以下、Trc)としている。 The reading of the sensor depends on the reading clock speed and the number of channels, but the moving image is 1/60 sec or less (Tra, Trb, Trd, Tre, Trf). The still image depends on the number of read pixels, but in this example, the frame period is not exceeded (1/60 sec or less, Trc).
撮像素子の蓄積および読み出し動作はVD1またはVD2をトリガとして開始される。シャッタ操作がなされる時刻taより前は、VD1に同期して撮像素子の蓄積および読み出し動作が開始される(Tsa、Tsb、Tra、Trb)。次に時刻taにおいてシャッタ操作がなれるとVD2がトリガとなり、撮像素子の蓄積動作が開始される(Tsc)。以後、VD2を基準に撮像素子の蓄積、読み出し動作がなされる(Tsd、Tse、Tsf、Tsg、Trc、Trd、Tre、Trf)。 Storage and readout operations of the image sensor are started with VD1 or VD2 as a trigger. Prior to time ta at which the shutter operation is performed, the accumulation and reading operations of the image sensor are started in synchronization with VD1 (Tsa, Tsb, Tra, Trb). Next, when a shutter operation is performed at time ta, VD2 serves as a trigger, and the accumulation operation of the image sensor is started (Tsc). Thereafter, the image sensor is stored and read with reference to VD2 (Tsd, Tse, Tsf, Tsg, Trc, Trd, Tre, Trf).
ここで、フレーム同期信号とは非同期な、シャッター操作に起因する第2の同期信号に同期して撮像素子の蓄積動作を開始すると、図9のt2のようにVD1とVD2にフレーム周期のずれが生じる。特許文献2では、図9のような場合でも、例えば画像Aから取得したフリッカ補正値の位相をVD1のタイミングに基づいてずらすことで、画像B、画像Cのフリッカ補正値を生成するため、画像Cの補正が適切に行われないという問題があった。
Here, when the accumulation operation of the image sensor is started in synchronization with the second synchronization signal resulting from the shutter operation, which is asynchronous with the frame synchronization signal, the frame period shifts between VD1 and VD2 as shown at t2 in FIG. Arise. In
また、特許文献3では、例えば図9において、画像Aと画像Bの差分とフレーム周期から主要被写体の移動速度を求め、さらにその移動速度から予測される主要被写体の位置に自動合焦用の評価値枠を設定して画像Cを取得しようとする。そのために、図9のようにフレーム周期がずれると主要被写体はより移動し、予測した位置から外れ、すなわち主要被写体から自動合焦用の評価値が取得できなくなる可能性があった。
Further, in
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、フレーム同期信号とは非同期なシャッタ操作に起因する第2の同期信号を用いることによってフレーム周期がずれた場合でも、フレームの周期性を利用した処理を適切に行うことができるようにすることである。 Therefore, the present invention has been made in view of the above-described problems, and its purpose is to use a second synchronization signal resulting from a shutter operation asynchronous to the frame synchronization signal even when the frame period is shifted. It is to be able to appropriately perform processing using the periodicity of the frame.
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を結像させる光学系により結像された被写体像を画像信号に変換する撮像素子と、外部からの指示に応じて、第1の同期信号または該第1の同期信号とは非同期の第2の同期信号に基づいて前記撮像素子に蓄積動作を行わせる駆動手段と、点滅光源に起因する前記画像信号の信号レベルの変動成分を検出するフリッカ検出手段と、前記フリッカ検出手段による検出結果に基づいて、前記信号レベルの変動成分を補正する補正値を生成するフリッカ補正値推定手段と、前記フリッカ補正値推定手段により生成された補正値により、前記信号レベルの変動成分を補正するフリッカ補正手段と、を有し、前記フリッカ補正値推定手段は、前記撮像素子の前記第1の同期信号による蓄積動作と前記第2の同期信号による蓄積動作の切り替わりに応じて、前記第1の同期信号と前記第2の同期信号の位相ずれに応じて前記補正値を変更することを特徴とする。 In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes an imaging element that converts a subject image formed by an optical system that forms a subject image into an image signal, and an external signal . in response to the instruction, the first synchronous signal or the first synchronization signal and a driving means for causing the storage operation on the imaging element based on the second synchronization signal of the asynchronous, the image caused by blinking the light source Flicker detection means for detecting a signal level fluctuation component of the signal, flicker correction value estimation means for generating a correction value for correcting the signal level fluctuation component based on a detection result by the flicker detection means, and the flicker correction the correction value generated by the value estimating means, anda flicker correction means for correcting the variation component of the signal level, the flicker correction value estimation means, the first of the imaging device Depending on the accumulation operation by the synchronization signal switching of accumulation operation by the second synchronization signal, and characterized in that changes the correction value in accordance with the phase shift of the first synchronization signal and the second synchronization signal To do.
また、本発明に係わる撮像装置の制御方法は、被写体像を結像させる光学系により結像された被写体像を画像信号に変換する撮像素子を有する撮像装置を制御する方法であって、外部からの指示に応じて、第1の同期信号または該第1の同期信号とは非同期の第2の同期信号に基づいて前記撮像素子に蓄積動作を行わせる駆動工程と、点滅光源に起因する前記画像信号の信号レベルの変動成分を検出するフリッカ検出工程と、前記フリッカ検出工程における検出結果に基づいて、前記信号レベルの変動成分を補正する補正値を生成するフリッカ補正値推定工程と、前記フリッカ補正値推定工程において生成された補正値により、前記信号レベルの変動成分を補正するフリッカ補正工程と、を有し、前記フリッカ補正値推定工程では、前記撮像素子の前記第1の同期信号による蓄積動作と前記第2の同期信号による蓄積動作の切り替わりに応じて、前記第1の同期信号と前記第2の同期信号の位相ずれに応じて前記補正値を変更することを特徴とする。 An image pickup apparatus control method according to the present invention is a method for controlling an image pickup apparatus having an image pickup element for converting a subject image formed by an optical system for forming a subject image into an image signal, from the outside. depending on the instruction, the drive steps the first synchronization signal or the first synchronization signal to perform a storage operation to the image pickup device based on the second synchronization signal of asynchronous, the resulting flashing light source A flicker detection step for detecting a fluctuation component of the signal level of the image signal, a flicker correction value estimation step for generating a correction value for correcting the fluctuation component of the signal level based on a detection result in the flicker detection step, and the flicker A flicker correction step of correcting the fluctuation component of the signal level by the correction value generated in the correction value estimation step. In the flicker correction value estimation step, the imaging In response to the switching of the storage operation by the accumulation operation by the first synchronization signal of the child said second synchronizing signal, the correction value according to the phase shift of the first synchronization signal and the second synchronization signal It is characterized by changing .
本発明によれば、フレーム同期信号とは非同期なシャッタ操作に起因する第2の同期信号を用いることによってフレーム周期がずれた場合でも、フレームの周期性を利用した処理を適切に行うことが可能となる。 According to the present invention, even when the frame period is shifted by using the second synchronization signal resulting from the shutter operation asynchronous with the frame synchronization signal, it is possible to appropriately perform processing using the periodicity of the frame. It becomes.
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the drawings.
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置の構成を示すブロック図である。
(First embodiment)
FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to the first embodiment of the present invention.
図1において、1はレンズ、絞りを含み被写体像を結像させる光学系、2は撮像素子、3は撮像素子駆動部、4はCDS回路およびA/D変換器を含むアナログフロントエンド部(AFEと図示する)である。5は撮像素子2の出力信号である画像信号からフリッカ成分を検出するフリッカ検出部、6は検出されたフリッカ成分から次のV(フレーム)のフリッカ補正値を推定するフリッカ補正値推定部である。7は推定された補正値を用いてフリッカを補正するフリッカ補正部、8はカメラ信号処理部、9はメモリである。11は撮像装置から取り外し可能な記録媒体、10はフレーム間予測符号化処理された画像データを記録媒体11に記録する記録処理部である。13は撮像装置全体を制御し、また外部からの信号を検出するシステム制御部、12はシステム制御部13と撮像装置内の各ブロックとの通信を行うバスである。15はシステム制御部13で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データを記憶しておく不揮発性メモリ(ROM)である。14は不揮発性メモリ15に記憶されたプログラムおよび制御データを転送して記憶しておき、システム制御部13が撮像装置を制御する際に使用する揮発性メモリ(RAM)である。
In FIG. 1,
以下、上述のように構成された撮像装置での撮影動作について説明する。 Hereinafter, a photographing operation in the imaging apparatus configured as described above will be described.
撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部13の動作開始時において、不揮発性メモリ15から必要なプログラム、制御データおよび補正データを揮発性メモリ14に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部13が撮像装置を制御する際に使用するとともに、必要に応じて、追加のプログラムやデータを不揮発性メモリ15から揮発性メモリ14に転送したりするものとする。また、システム制御部13が直接不揮発性メモリ15内のデータを読み出して使用したりするものとする。
Prior to the photographing operation, necessary programs, control data, and correction data are transferred from the
まず、撮像素子2には、光学系1によって被写体からの光が入射され、システム制御部13により制御される撮像素子駆動部3からの第1の同期信号に基づく駆動パルスで駆動され、被写体光を光電変換により電気信号に変換する。撮像素子2で変換された電気信号はラスタスキャン状に読み出され、AFE4によりデジタル画像信号に変換される。AFE4により変換されたデジタル画像信号は、点滅光源に起因する画像信号レベルの変動成分であるフリッカを検出するフリッカ検出部5およびフリッカ補正値推定部6によって算出されたフリッカ補正値を用いて、フリッカ補正部7によってフリッカ補正されカメラ信号処理部8へ出力される。フリッカ補正部7によってフリッカ補正された画像信号は、カメラ信号処理部8により輝度色差の画像信号に変換される。また、メモリ9はカメラ信号処理された画像を保持する部分で、カメラ信号処理部8からの同期タイミングで記録され、記録処理部10の同期タイミングで読み出される。記録処理部10は画像信号を圧縮符号化し、記録媒体11に適したデータ(例えば階層構造を持つファイルシステムデータ)に変換して記録媒体11に記録する。システム制御部13は、バス12を介して、撮像素子駆動部3、カメラ信号処理部8、記録処理部10を制御する。各信号処理回路に必要な制御パラメータや、回路を制御するプログラム等の情報は、システム制御部13に接続された不揮発性メモリ15から読み出される。
First, light from the subject is incident on the
次に、図2にフリッカ検出部5の構成を示す。
Next, FIG. 2 shows the configuration of the
図2において、100は画像信号に対し水平方向および垂直方向に検出する領域を設定するブロック分割部、101は設定された検出領域において、各々の輝度レベルの平均値を算出する加算平均部である。また、引算器102、乗算器103、加算器104およびメモリ105は、以下に示す演算によって、いわゆる巡回型ローパスフィルタを形成している。
In FIG. 2,
…(1)
ここで、aveは加算平均部101の出力を示し、moutはメモリ105からの出力を示す。memは加算器104からの出力を示し、メモリ105に新しく記憶される値を示す。また、kは巡回型ローパスフィルタのフィルタ係数である。
... (1)
Here, ave represents the output of the averaging
次に、106は、画像信号とメモリ105からの出力を除算することによってフリッカ成分を算出する除算器である。
A
次に、本実施形態の特徴的な部分であるシャッター操作に起因する第1の同期信号とは非同期の第2の同期信号に同期して撮像素子の蓄積動作を開始したときのフリッカ補正値推定部6の動作(制御を変更する動作)について図3から図5を参照して説明する。 Next, flicker correction value estimation when the accumulation operation of the image sensor is started in synchronization with a second synchronization signal that is asynchronous with the first synchronization signal resulting from the shutter operation, which is a characteristic part of the present embodiment. The operation of the unit 6 (operation for changing control) will be described with reference to FIGS.
まず、図3はフリッカ補正値推定部6の構成を示す図である。
First, FIG. 3 is a diagram showing a configuration of the flicker correction
200はフリッカ検出部5で検出されたフリッカ成分(検出結果)から、フリッカ特性パラメータを算出するフリッカ特性パラメータ抽出部である。フリッカ特性パラメータとは、ある特定のフリッカ成分の特性を表すパラメータであり、ここでは、ある特定のフリッカ成分の位相、振幅、周波数を示す。201は現フレームで検出されたフリッカ成分から、次フレーム以降のフリッカ補正値を算出するために必要な位相量を算出する位相調整値算出部である。202は、フリッカ特性パラメータ抽出部200からのフリッカ特性パラメータと、位相調整値算出部201からの位相量から、フリッカ補正値を算出するフリッカ補正値算出部である。
次に、図4にフリッカ特性パラメータ抽出部200の制御動作を示す。
Next, FIG. 4 shows the control operation of the flicker characteristic
まず、ステップS100において、検出されたフリッカ成分に対し、例えば式(2)、式(3)、式(4)に示されるフーリエ変換を行う。 First, in step S100, the detected flicker component is subjected to, for example, Fourier transform represented by Expression (2), Expression (3), and Expression (4).
…(2) ... (2)
…(3) ... (3)
…(4)
ここで、hは垂直方向の検出枠番号を示し、y(h)はh番目の検出枠におけるフリッカ成分の値を示す。また、fは周波数を表し、YRe(f)、YIm(f)は、それぞれフーリエ変換した時の実部と虚部を表す。Y(f)は振幅成分を表す。
(4)
Here, h indicates a detection frame number in the vertical direction, and y (h) indicates a flicker component value in the h-th detection frame. F represents a frequency, and YRe (f) and YIm (f) represent a real part and an imaginary part when Fourier transform is performed, respectively. Y (f) represents an amplitude component.
次に、ステップS101では、式(4)にf=50を当てはめ、検出されたフリッカ成分の中の50Hzの振幅成分Y50を算出する。 Next, in step S101, f = 50 is applied to the equation (4) to calculate a 50 Hz amplitude component Y50 among the detected flicker components.
次に、ステップS102では、式(4)にf=60を当てはめ、検出されたフリッカ成分の中の60Hzの振幅成分Y60を算出する。 Next, in step S102, f = 60 is applied to Expression (4), and the 60 Hz amplitude component Y60 in the detected flicker component is calculated.
次に、ステップS103では、Y50とY60の比較を行う。ここで、Y50よりもY60の方が大きい場合は、ステップS104へ進み、振幅をY60、周波数を60Hzとして、フリッカ補正値算出部202へ出力する。一方、Y60がY50以下であった場合は、ステップS105へ進み、振幅をY50、周波数を50Hzとして、フリッカ補正値算出部202へ出力する。
Next, in step S103, Y50 and Y60 are compared. If Y60 is larger than Y50, the process proceeds to step S104, and the amplitude is set to Y60 and the frequency is set to 60 Hz, and the result is output to the flicker correction
検出されたフリッカ成分は、フリッカ検出枠ごとに、例えば図5のように、フリッカ成分値1を境に正弦波状の値を示す。そこで、ステップS106においては、まず、各フリッカ検出枠ごとのフリッカ成分値を直線で近似する。次に、ステップS107においては直線で近似したフリッカ成分波形と、フリッカ成分値1が交わる垂直ライン数番号、V1、V2、V3、…をすべて求める。次にステップS108においては、V1とV2の差分を求め、その差分が閾値VTh1とVTh2の間にあるかどうか判定する(VTh1<VTh2)。ここで、その差分が閾値VTh1とVTh2の間にあったら、ステップS109へ進む。ステップS109においては、フリッカ成分波形のV1、V2における傾きを求める。次に、ステップS110においては、求めた傾きが正の値を示すライン番号を位相としてフリッカ補正値算出部202へ出力する。
The detected flicker component shows a sinusoidal value with the
一方、ステップS108において、差分が閾値VTh1とVTh2の間にない場合はステップS111へ進む。ステップS111においては、第3の交点であるV3があるかどうかを判定し、V3がある場合はステップS112へ進む。ステップS112においては、第2の交点V2を第1の交点V1とし、第3の交点V3を第2の交点V2としてステップS108へ進む。 On the other hand, if the difference is not between the threshold values VTh1 and VTh2 in step S108, the process proceeds to step S111. In step S111, it is determined whether there is a third intersection V3. If there is V3, the process proceeds to step S112. In step S112, the second intersection point V2 is set as the first intersection point V1, and the third intersection point V3 is set as the second intersection point V2, and the process proceeds to step S108.
一方、ステップS111において、V3がなければ、ステップS113へ進み、ライン番号0を位相として選択し、フリッカ補正値算出部202へ出力する。
On the other hand, if there is no V3 in step S111, the process proceeds to step S113, where
次に、図6に位相調整値算出部201の制御動作を示す。
Next, FIG. 6 shows the control operation of the phase adjustment
まず、ステップS200において、撮影指示が検出されたかどうかの判定を行う。ここで、撮影指示が検出された場合はステップS201へ進む。ステップS201においては、フレーム周期のずれ量をシステム制御部13より取得し、ステップS202へ進む。ステップS202においては、フレーム周期のずれ量を用いて例えば式(5)に示す演算を用いて位相の調整量を算出し、ステップS204へ進む。
First, in step S200, it is determined whether a shooting instruction has been detected. If a shooting instruction is detected, the process proceeds to step S201. In step S201, the shift amount of the frame period is acquired from the
式(5)
ここで、aは位相調整量[line]をt1はフレーム周期[sec]を表し、t2はフレーム周期のずれ量[sec]を表し、lは垂直方向の総ライン数[line]を示す。例えば、フレーム周期1/60[sec]で、垂直方向の総ライン数が1080ラインである撮像装置において、フレーム周期が1/120[sec]ずれたとする。この場合、式(5)に基づき、a=((1/120)×1080)/(1/60)=540[line]となり、フリッカ成分が540lineずれるため、フリッカ補正値も540lineずらす必要があることになる。
Formula (5)
Here, a represents the phase adjustment amount [line], t1 represents the frame period [sec], t2 represents the frame period shift amount [sec], and l represents the total number of lines [line] in the vertical direction. For example, it is assumed that the frame period is shifted by 1/120 [sec] in an imaging apparatus having a frame period of 1/60 [sec] and a total number of vertical lines of 1080 lines. In this case, based on Expression (5), a = ((1/120) × 1080) / (1/60) = 540 [line], and the flicker component is shifted by 540 lines. Therefore, the flicker correction value needs to be shifted by 540 lines. It will be.
一方、ステップS200において、撮影指示が検出されていない場合は、ステップS203へ進む。ステップS203においては、フレーム周期がずれていないため位相調整量a=0としてステップS204へ進む。ステップS204においては、フレームごとの周期性を利用したフリッカ補正値の位相量の予測を、例えば式(6)を用いて算出し、ステップS205へ進む。 On the other hand, if no photographing instruction is detected in step S200, the process proceeds to step S203. In step S203, since the frame period is not shifted, the phase adjustment amount a = 0 is set, and the process proceeds to step S204. In step S204, the prediction of the phase amount of the flicker correction value using the periodicity for each frame is calculated using, for example, equation (6), and the process proceeds to step S205.
式(6)
ここで、nは現フレームから算出したフリッカ補正値を何フレーム先の画像に適用するかを表す整数で、次フレームであればn=1、次々フレームであればn=2である。また、kは垂直方向の総ライン数を表す。ステップS205では、フレーム周期のずれに起因する位相調整量aとフレームごとの周期性に起因する位相の予測量bを加算することで位相の総調整量を算出し、フリッカ補正値算出部202へ出力する。
Formula (6)
Here, n is an integer indicating how many frames ahead the flicker correction value calculated from the current frame is applied, where n = 1 for the next frame and n = 2 for the next frame. K represents the total number of lines in the vertical direction. In step S <b> 205, the total amount of phase adjustment is calculated by adding the phase adjustment amount “a” due to the frame period shift and the phase prediction amount “b” due to the periodicity of each frame, and the flicker correction
また、図3におけるフリッカ補正値算出部202は、フリッカ特性パラメータ抽出部200から出力される、位相、振幅、周波数と位相調整値算出部201からの位相の総調整量を用いて、例えば、式(7)に示すような演算を用いてフリッカ補正値Fmを生成する。
Also, the flicker correction
式(7)
ここで、Aは振幅を表し、fはフリッカ成分の周波数を表す。また、yは垂直方向の画素位置を表し、lは位相を表す。また、aはフレーム周期のずれに起因する位相調整量を表し、bはフレームごとの周期性から予測した位相の予測量を表す。
Formula (7)
Here, A represents the amplitude, and f represents the frequency of the flicker component. Further, y represents the pixel position in the vertical direction, and l represents the phase. Further, a represents the amount of phase adjustment caused by the frame period shift, and b represents the predicted amount of phase predicted from the periodicity of each frame.
以上、説明したようにフレーム周期のずれ量を考慮して、フリッカ補正値を生成することにより、フレーム同期信号とは非同期なシャッタ操作に起因する第2の同期信号を用いた撮像装置において、フレームで検出されたフリッカ成分から次フレーム以降のフリッカ補正値を算出したとしても、適正に補正することができる。
As described above, in the imaging apparatus using the second synchronization signal resulting from the shutter operation asynchronous with the frame synchronization signal, by generating the flicker correction value in consideration of the frame period deviation amount, Even if the flicker correction values for the next and subsequent frames are calculated from the flicker components detected in
(第2の実施形態)
次に、図7及び図8を参照して、第2の実施形態について説明する。
(Second Embodiment)
Next, a second embodiment will be described with reference to FIGS.
本実施形態の装置の構成は第1の実施形態と略同様であって、同一部材には同一番号を付して、重複する構成の説明は省略する。 The configuration of the apparatus according to the present embodiment is substantially the same as that of the first embodiment, and the same members are denoted by the same reference numerals, and the description of the overlapping configuration is omitted.
第1の実施形態と異なっている点は、フリッカ検出部5、フリッカ補正値算出部6、フリッカ補正部7の代わりに、マスク部16、被写体検出部17、マスク領域推定部18、メモリ19、AF評価値取得部20を備えている点である。
The difference from the first embodiment is that instead of the
マスク部16は、特定の被写体が検出され続けるように特定の被写体の周囲をマスクする部分で、後述するマスク領域推定部18からの位置とサイズに応じて入力画像に対しマスクを行う部分である。被写体検出部17は、マスク処理された入力画像から、例えば両目や鼻、口などの顔の器官の配置に基づいて人物の正面顔や斜め顔を検出し、その位置やサイズを出力する部分である。メモリ19は、被写体検出部17からの被写体の位置やサイズの情報(被写体情報)を所定期間保持する。AF評価値取得部20は、被写体検出部17からの被写体の位置やサイズに合わせて評価値枠を設定し、その枠内から自動合焦用の評価値を生成する部分である。マスク領域推定部18は、被写体検出部17からの被写体の位置やサイズの情報と、システム制御部13からのフレーム周期情報に応じてマスクする位置やサイズの情報をマスク部へ出力する(検出領域設定)部分である。
The
次に、本実施形態の特徴的な部分であるシャッター操作に起因する第2の同期信号に同期して撮像素子の蓄積動作を開始した時のマスク領域推定部18の制御動作について図8を参照しながら説明する。
Next, refer to FIG. 8 for the control operation of the mask
まず、ステップS300においては、まだ被写体検出動作およびマスク領域推定動作が行われていない状態であるため、マスク部16においてマスクをしないことと同じ意味である、位置Mp(0,0)、サイズMs(hmax,vmax)でマスクを行う。ここで、マスクする位置は画像のx座標とy座標で表し、Mp(x,y)で表す。またマスクするサイズは、マスクをしない領域の縦vと横hを、Ms(v,h)で表す。また、hmax、vmaxはそれぞれx座標、y座標の最大値を表す。次にステップS301においては、マスクされた入力画像から被写体の検出を行い、被写体の位置Fp(x,y)、サイズFs(v,h)を出力する。ここで被写体の位置は画像のx座標とy座標でFp(x,y)と表し、被写体のサイズは縦vと横hでFs(v,h)と表す。次にステップS302においては、被写体検出部17の検出の結果、被写体がいくつ検出されたかを判定する。
First, in step S300, since the subject detection operation and the mask area estimation operation are not yet performed, the position Mp (0, 0), the size Ms, which is the same as not masking in the
ステップS302において、0人であった場合はステップS300に戻り、マスクされていない入力画像を用いて再度、被写体検出を行う。またステップS302において、1人検出された場合はステップS304へ進む。また、ステップS302において2人以上検出された場合は、ステップS303へ進む。ステップS303においては、検出された2人以上の被写体の中から、例えば画像の中心に近く、サイズの最も大きいものを特定の被写体として選択する。 In step S302, if the number is zero, the process returns to step S300, and subject detection is performed again using an unmasked input image. If one person is detected in step S302, the process proceeds to step S304. If two or more people are detected in step S302, the process proceeds to step S303. In step S303, from among the detected two or more subjects, for example, the one close to the center of the image and having the largest size is selected as the specific subject.
次にステップS304においては、入力画像に対し、被写体検出部17からの位置、サイズに応じてAF評価値取得枠(評価値生成のための枠)を設定し、ステップS305へ進む。ステップS305においては、マスク領域を推定するために必要な、所定時間(例えば1V(垂直同期期間))前の被写体の位置とサイズの情報がメモリ19に保持されているかどうか判断する。ステップS305において、保持されていなければステップS306へ進み、保持されていればステップS307へ進む。
Next, in step S304, an AF evaluation value acquisition frame (frame for generating an evaluation value) is set for the input image according to the position and size from the
ステップS306においては、所定時間(例えば1V)前の被写体の位置とサイズの情報がメモリ19に保持されていないため、検出された被写体の位置に、サイズをm倍してマスク領域を設定する。ステップS307においては、所定時間(例えば1V)前の被写体の位置とサイズの情報がメモリ19に保持されているため、例えば式(8)、式(9)に示される演算を用いて、次フレームの被写体の移動速度を算出し、ステップS308へ進む。
In step S306, since the information on the position and size of the subject before a predetermined time (for example, 1V) is not held in the
式(8) Formula (8)
式(9)
ここで、Epsは1フレームあたりの被写体の位置の変化速度を表し、x、yは現フレームの被写体の位置のx座標およびy座標、x’、y’は前フレームの被写体の位置のx座標およびy座標を表す。t1はフレーム周期を表す。また、Essは1フレームあたりの被写体のサイズの変化速度を表し、v、hは現フレームの縦および横のサイズを表す。またv’、h’は前フレームの縦および横のサイズを表す。
Formula (9)
Here, Eps represents the change speed of the subject position per frame, x and y are the x and y coordinates of the subject position of the current frame, and x ′ and y ′ are the x coordinates of the subject position of the previous frame. And y coordinate. t1 represents a frame period. Ess represents the change speed of the subject size per frame, and v and h represent the vertical and horizontal sizes of the current frame. Further, v ′ and h ′ represent the vertical and horizontal sizes of the previous frame.
次にステップS308においては、撮影指示が検出されたかどうかの判定を行う。ここで、撮影指示が検出された場合はステップS309へ進み、撮影指示が検出されていない場合はステップS310へ進む。ステップS309においては、例えば式(10)、式(11)に示される演算を用いて、次フレームの被写体の位置およびサイズを算出し、ステップS312へ進む。 Next, in step S308, it is determined whether a shooting instruction has been detected. If a shooting instruction is detected, the process proceeds to step S309. If a shooting instruction is not detected, the process proceeds to step S310. In step S309, the position and size of the subject of the next frame are calculated using, for example, calculations shown in equations (10) and (11), and the process proceeds to step S312.
式(10) Formula (10)
式(11)
ここで、Eps’は次フレームの被写体の位置を表し、Ess’は次フレームの被写体のサイズを表す。また、t2はフレーム周期のずれ量を表す。
Formula (11)
Here, Eps ′ represents the position of the subject in the next frame, and Ess ′ represents the size of the subject in the next frame. T2 represents the amount of deviation of the frame period.
また、ステップS310においては撮影指示が検出されておらず、フレーム周期にずれがないため、例えば式(10)、式(11)に示される演算において、t2=0として、次フレームの被写体の位置およびサイズを算出し、ステップS311へ進む。ステップS311においては、算出された被写体の位置およびサイズをメモリ19に保持し、ステップS312へ進む。ステップS312では、算出された被写体の位置およびサイズを用いてマスク領域を設定し、ステップS301へ戻る。
In step S310, since no shooting instruction is detected and there is no shift in the frame period, for example, in the calculations shown in Equation (10) and Equation (11), t2 = 0 and the position of the subject in the next frame And size is calculated and it progresses to step S311. In step S311, the calculated position and size of the subject are held in the
以上、説明したようにフレーム周期のずれ量を考慮して、特定の被写体を検出するためのマスク領域を設定することにより、フレーム同期信号とは非同期なシャッタ操作に起因する第2の同期信号を用いた撮像装置において、精度良く特定の被写体に追従したAF制御(焦点調節制御)が可能となる。 As described above, the second synchronization signal resulting from the shutter operation that is asynchronous with the frame synchronization signal can be obtained by setting the mask region for detecting a specific subject in consideration of the shift amount of the frame period. In the used imaging apparatus, it is possible to perform AF control (focus adjustment control) following a specific subject with high accuracy.
(他の実施形態)
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
(Other embodiments)
The object of each embodiment is also achieved by the following method. That is, a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded is supplied to the system or apparatus. Then, the computer (or CPU or MPU) of the system or apparatus reads and executes the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but the present invention includes the following cases. That is, an operating system (OS) running on a computer performs part or all of actual processing based on an instruction of a program code, and the functions of the above-described embodiments are realized by the processing.
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。 Furthermore, the following cases are also included in the present invention. That is, the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion card or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。 When the present invention is applied to the above storage medium, the storage medium stores program codes corresponding to the procedure described above.
1 光学系
2 撮像素子
3 撮像素子駆動部
4 AFE
5 フリッカ検出部
6 フリッカ補正値推定部
7 フリッカ補正部
8 カメラ信号処理部
9 メモリ
10 記録処理部
11 記録媒体
12 バス
13 システム制御部
14 RAM
15 ROM
16 マスク部
17 被写体検出部
18 マスク領域推定部
19 メモリ
20 AF評価値生成部
100 ブロック分割部
101 加算平均部
102 引算器
103 乗算器
104 加算器
105 メモリ
106 除算器
200 フリッカ特性パラメータ抽出部
200 フリッカ補正値算出部
200 位相調整値算出部
DESCRIPTION OF
DESCRIPTION OF
15 ROM
DESCRIPTION OF
Claims (9)
外部からの指示に応じて、第1の同期信号または該第1の同期信号とは非同期の第2の同期信号に基づいて前記撮像素子に蓄積動作を行わせる駆動手段と、
点滅光源に起因する前記画像信号の信号レベルの変動成分を検出するフリッカ検出手段と、
前記フリッカ検出手段による検出結果に基づいて、前記信号レベルの変動成分を補正する補正値を生成するフリッカ補正値推定手段と、
前記フリッカ補正値推定手段により生成された補正値により、前記信号レベルの変動成分を補正するフリッカ補正手段と、を有し、
前記フリッカ補正値推定手段は、前記撮像素子の前記第1の同期信号による蓄積動作と前記第2の同期信号による蓄積動作の切り替わりに応じて、前記第1の同期信号と前記第2の同期信号の位相ずれに応じて前記補正値を変更することを特徴とする撮像装置。 An image sensor that converts a subject image formed by an optical system that forms a subject image into an image signal;
In response to an instruction from the outside, a drive means for causing the storage operation on the imaging element based on the second synchronization signal of the asynchronous to the first synchronization signal or the first synchronization signal,
Flicker detection means for detecting a fluctuation component of the signal level of the image signal caused by the blinking light source;
Flicker correction value estimating means for generating a correction value for correcting the fluctuation component of the signal level based on a detection result by the flicker detecting means;
Flicker correction means for correcting the fluctuation component of the signal level by the correction value generated by the flicker correction value estimation means,
The flicker correction value estimating unit is configured to switch the first synchronization signal and the second synchronization signal in accordance with switching between the accumulation operation by the first synchronization signal and the accumulation operation by the second synchronization signal of the image sensor. An image pickup apparatus, wherein the correction value is changed according to a phase shift.
外部からの指示に応じて、第1の同期信号または該第1の同期信号とは非同期の第2の同期信号に基づいて前記撮像素子に蓄積動作を行わせる駆動工程と、
点滅光源に起因する前記画像信号の信号レベルの変動成分を検出するフリッカ検出工程と、
前記フリッカ検出工程における検出結果に基づいて、前記信号レベルの変動成分を補正する補正値を生成するフリッカ補正値推定工程と、
前記フリッカ補正値推定工程において生成された補正値により、前記信号レベルの変動成分を補正するフリッカ補正工程と、を有し、
前記フリッカ補正値推定工程では、前記撮像素子の前記第1の同期信号による蓄積動作と前記第2の同期信号による蓄積動作の切り替わりに応じて、前記第1の同期信号と前記第2の同期信号の位相ずれに応じて前記補正値を変更することを特徴とする撮像装置の制御方法。 A method for controlling an image pickup apparatus having an image pickup element for converting a subject image formed by an optical system for forming a subject image into an image signal,
In response to an instruction from the outside, and a driving step for performing the storage operation on the imaging element based on the second synchronization signal of the asynchronous to the first synchronization signal or the first synchronization signal,
A flicker detection step of detecting a fluctuation component of the signal level of the image signal caused by the blinking light source;
A flicker correction value estimation step for generating a correction value for correcting the fluctuation component of the signal level based on the detection result in the flicker detection step;
A flicker correction step of correcting the fluctuation component of the signal level by the correction value generated in the flicker correction value estimation step,
In the flicker correction value estimation step, the first synchronization signal and the second synchronization signal according to switching of the accumulation operation by the first synchronization signal and the accumulation operation by the second synchronization signal of the image sensor. A method for controlling an imaging apparatus, wherein the correction value is changed according to a phase shift.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009001827A JP5215879B2 (en) | 2009-01-07 | 2009-01-07 | Imaging apparatus, control method thereof, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009001827A JP5215879B2 (en) | 2009-01-07 | 2009-01-07 | Imaging apparatus, control method thereof, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010161572A JP2010161572A (en) | 2010-07-22 |
JP2010161572A5 JP2010161572A5 (en) | 2012-01-19 |
JP5215879B2 true JP5215879B2 (en) | 2013-06-19 |
Family
ID=42578413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009001827A Expired - Fee Related JP5215879B2 (en) | 2009-01-07 | 2009-01-07 | Imaging apparatus, control method thereof, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5215879B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5581968B2 (en) * | 2010-10-25 | 2014-09-03 | 株式会社ニコン | Imaging device |
JP7336186B2 (en) * | 2018-11-27 | 2023-08-31 | キヤノン株式会社 | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM |
CN114365477A (en) | 2019-08-27 | 2022-04-15 | 富士胶片株式会社 | Imaging device, imaging method, and imaging program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03273786A (en) * | 1990-03-23 | 1991-12-04 | Canon Inc | Image pickup device |
JPH09247556A (en) * | 1996-03-09 | 1997-09-19 | Sony Corp | Image pickup device provided with solid-state image pickup part |
JP2006050031A (en) * | 2004-08-02 | 2006-02-16 | Hitachi Ltd | Photographing apparatus |
JP2008201146A (en) * | 2007-02-16 | 2008-09-04 | Denso Corp | Vehicle operation guide device |
-
2009
- 2009-01-07 JP JP2009001827A patent/JP5215879B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010161572A (en) | 2010-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7920175B2 (en) | Electronic still camera performing composition of images and image capturing method therefor | |
JP4784678B2 (en) | Imaging apparatus, imaging method, and program | |
JP6220225B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM | |
JP4626689B2 (en) | Imaging apparatus, correction circuit, and correction method | |
JP5523124B2 (en) | Imaging device | |
JP2006222935A (en) | Electronic still camera, image capturing method, program and storage medium | |
US10447943B2 (en) | Image capturing apparatus, control method, program, and recording medium therefor | |
JP2008283605A (en) | Imaging apparatus | |
JP5039588B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP5215879B2 (en) | Imaging apparatus, control method thereof, and program | |
JP4953770B2 (en) | Imaging device | |
JP5482148B2 (en) | Autofocus adjustment circuit and imaging apparatus | |
JP6652303B2 (en) | Flash band determination device, control method thereof, control program, and imaging device | |
JP4867822B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP6024135B2 (en) | Subject tracking display control device, subject tracking display control method and program | |
US11330192B2 (en) | Acquisition method, computer readable recording medium and image apparatus | |
JP6570252B2 (en) | Image processing apparatus, information processing method, and program | |
JP4871664B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2008244670A (en) | Imaging apparatus | |
JP6659163B2 (en) | Flash band determination device, control method thereof, and program | |
JP2010062825A (en) | Imaging device and method of controlling imaging | |
JP2008283477A (en) | Image processor, and image processing method | |
JP2013255005A (en) | Electronic camera | |
JP5631084B2 (en) | Image recording device | |
JP2012257043A (en) | Image pickup apparatus and image pickup method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130301 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5215879 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160308 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |