JP7336186B2 - IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM - Google Patents

IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM Download PDF

Info

Publication number
JP7336186B2
JP7336186B2 JP2018221683A JP2018221683A JP7336186B2 JP 7336186 B2 JP7336186 B2 JP 7336186B2 JP 2018221683 A JP2018221683 A JP 2018221683A JP 2018221683 A JP2018221683 A JP 2018221683A JP 7336186 B2 JP7336186 B2 JP 7336186B2
Authority
JP
Japan
Prior art keywords
flicker
image
frames
images
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018221683A
Other languages
Japanese (ja)
Other versions
JP2020088656A (en
Inventor
宣和 吉田
日向子 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018221683A priority Critical patent/JP7336186B2/en
Priority to US16/688,703 priority patent/US11039082B2/en
Publication of JP2020088656A publication Critical patent/JP2020088656A/en
Application granted granted Critical
Publication of JP7336186B2 publication Critical patent/JP7336186B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、フリッカ光源下においてHDR動画を撮影する技術に関する。 The present invention relates to technology for shooting HDR moving images under a flickering light source.

撮像素子の電子シャッタの方式にはグローバルシャッタとスリットローリングシャッタがある。それぞれの方式でフリッカ光源下での撮影を行うと、前者では、画像全体の明るさがフリッカにより変化する所謂面フリッカが発生する。後者では、被写体を撮像することで得られた画像に明暗差が生じる所謂ラインフリッカが発生する。フリッカによる影響を軽減するため、各シャッタ方式によって発生するフリッカを検出及び補正する技術が既に知られている。例えば、特許文献1には、スリットローリングシャッタによって発生したラインフリッカの検出方法と補正方法が開示されている。 There are a global shutter and a slit rolling shutter in the electronic shutter system of the imaging device. When photographing is performed under a flickering light source in each method, the former causes so-called surface flicker, in which the brightness of the entire image changes due to flickering. In the latter, a so-called line flicker occurs in which a difference in brightness occurs in an image obtained by picking up an image of an object. Techniques for detecting and correcting flicker generated by each shutter method are already known in order to reduce the influence of flicker. For example, Patent Document 1 discloses a detection method and a correction method for line flicker generated by a slit rolling shutter.

ところで、近年撮像素子のダイナミックレンジを超える階調を表現するために、複数の露光条件で撮像した画像を合成する、HDR(ハイダイナミックレンジ)合成が提案されており、合成した画像を動画として記録するHDR動画技術も提案されている。このHDR動画を生成するための1つの方法として、基準の輝度に対して所定の露出段差をつけた一つまたは複数の露光条件の組み合わせで(例えば、適正露出と2段アンダーなど)連続的に蓄積を行い、読み出された画像を合成して動画の1フレームとして記録する方法がある。特許文献2には、このようなHDR動画駆動に特化したフリッカ検出方法とその補正方法に関する技術が提案されている。 By the way, in recent years, HDR (high dynamic range) synthesis, in which images captured under a plurality of exposure conditions are combined, has been proposed in order to express gradation exceeding the dynamic range of an image sensor, and the combined image is recorded as a moving image. HDR moving image technology has also been proposed. As one method for generating this HDR movie, a combination of one or more exposure conditions with a predetermined exposure step with respect to the reference luminance (for example, proper exposure and 2 steps under, etc.) There is a method of accumulating, synthesizing the read images, and recording them as one frame of a moving image. Patent Document 2 proposes a technique related to a flicker detection method and a correction method for such HDR moving image driving.

特開2009-17213号公報JP 2009-17213 A 特開2014-179924号公報JP 2014-179924 A

特許文献1に記載のフリッカ検出方法は、連続して撮像した画像を用いて時間方向に定常的な画像信号を抽出し、撮像した1フレームの画像を除算することによりフリッカの明滅成分を抽出して、フリッカを検出する方法である。ただし、HDR動画のように異なる露光条件の撮像を連続的に行う撮影モードでこのようなフリッカ検出を行うと、時間方向に定常的な画像信号が露光条件によって変化してしまう。特許文献2に記載のフリッカ検出方法では、露光条件ごと(例えば、適正露出と2段アンダーなど)にフリッカ成分を抽出する抽出器を備え、フリッカを検出する技術が提案されている。 The flicker detection method described in Patent Document 1 extracts a stationary image signal in the time direction using continuously captured images, and extracts the blinking component of the flicker by dividing one frame of the captured image. is a method for detecting flicker. However, if such flicker detection is performed in a shooting mode in which shooting is performed continuously under different exposure conditions, such as HDR moving images, the stationary image signal in the time direction will change depending on the exposure conditions. The flicker detection method described in Patent Document 2 proposes a technique for detecting flicker by providing an extractor for extracting flicker components for each exposure condition (for example, proper exposure and two-step underexposure).

しかしながら、露光条件ごとにフリッカの検出器を備える場合、合成する露光条件が増えるごとにハード構成やメモリの規模が増大する問題がある。 However, when a flicker detector is provided for each exposure condition, there is a problem that the hardware configuration and memory scale increase as the number of combined exposure conditions increases.

本発明は、上述した課題に鑑みてなされたものであり、その目的は、フリッカ光源下でHDR動画撮影を行う場合に、ハード構成やメモリの規模の増大を抑制しつつ、フリッカを検出することである。 SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and its object is to detect flicker while suppressing an increase in hardware configuration and memory size when performing HDR video shooting under a flickering light source. is.

本発明に係わる撮像装置は、被写体像を撮像して画像信号を出力する撮像素子と、前記画像信号が表わす画像を垂直方向に複数の領域に分割する分割手段と、前記複数の領域のそれぞれに対応する画像信号の信号レベルに基づいて、フリッカを検出する検出手段と、前記撮像素子に露出段差を有する複数フレームの画像を撮像する動画撮影を行わせる制御手段と、を備え、前記検出手段は、前記複数フレームの画像の撮像により得られる複数の画像信号のそれぞれに現れるフリッカの位相を調整することにより、前記複数の画像信号からフリッカを検出し、前記フリッカのレベルが所定値を超えるフレームが所定フレーム以上続いた場合にフリッカが存在すると判定することを特徴とする。 An image pickup apparatus according to the present invention comprises an image pickup device for picking up an image of a subject and outputting an image signal, dividing means for vertically dividing an image represented by the image signal into a plurality of areas, and each of the plurality of areas. a detection means for detecting flicker based on the signal level of the corresponding image signal ; and a control means for causing the imaging device to perform moving image shooting by capturing images of a plurality of frames having exposure steps, wherein the detection means is flicker is detected from the plurality of image signals by adjusting the phase of flicker appearing in each of the plurality of image signals obtained by capturing the images of the plurality of frames, and a frame in which the level of flicker exceeds a predetermined value is detected. It is characterized in that it is determined that flicker exists when it continues for a predetermined number of frames or longer .

本発明によれば、フリッカ光源下でHDR動画撮影を行う場合に、ハード構成やメモリの規模の増大を抑制しつつ、フリッカを検出できる。 Advantageous Effects of Invention According to the present invention, flicker can be detected while suppressing an increase in hardware configuration and memory size when HDR moving image shooting is performed under a flickering light source.

本発明の撮像装置の一実施形態であるデジタルカメラのブロック構成を示す図。1 is a diagram showing the block configuration of a digital camera that is an embodiment of an imaging apparatus of the present invention; FIG. 一実施形態におけるフリッカ検出部の構成を示すブロック図。FIG. 2 is a block diagram showing the configuration of a flicker detector in one embodiment; HDR動画モードでの露光条件の組み合わせを示した図。FIG. 5 is a diagram showing combinations of exposure conditions in HDR movie mode; 一実施形態におけるフリッカの検出動作を示すフローチャート。4 is a flowchart showing a flicker detection operation in one embodiment. 一実施形態におけるフリッカの周波数検出処理を説明するための図。FIG. 4 is a diagram for explaining flicker frequency detection processing according to an embodiment; 一実施形態におけるフリッカの周波数検出処理を示すフローチャート。4 is a flowchart showing flicker frequency detection processing in one embodiment.

以下、本発明の撮像装置の一実施形態について、添付図面を参照して詳細に説明する。 DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of an imaging apparatus of the present invention will be described in detail below with reference to the accompanying drawings.

<撮像装置の構成>
図1は、本発明の撮像装置の一実施形態であるデジタルカメラ100のブロック構成を示す図である。
<Structure of Imaging Device>
FIG. 1 is a diagram showing the block configuration of a digital camera 100, which is an embodiment of the imaging apparatus of the present invention.

絞りや減光フィルタにより露出を制御する機構、およびフォーカス動作やズーム動作を制御する機構を含むレンズ群101は、入射した光を撮像素子103上に結像させ、光学像(被写体像)を形成する。形成された光学像は撮像素子103によって電気信号へと変換され、信号処理部104に出力される。この際、レンズ群101に含まれる絞りの駆動、減光フィルタの変更、撮像素子103における蓄積時間の制御、電気信号の増幅率の制御等により、撮像画像の露出が制御される。信号処理部104は、得られた画像信号に対し、ゲイン補正などの輝度補正、ホワイトバランス補正などの色補正、その他の信号処理などを施した上で、処理された画像信号を画像合成部105に出力する。画像合成部105では時系列順に入力された複数の画像を用いて、ダイナミックレンジの拡大されたHDR(ハイダイナミックレンジ)画像を生成し、記録処理部106に出力する。 A lens group 101, which includes a mechanism for controlling exposure using an aperture and a neutral density filter, and a mechanism for controlling focus and zoom operations, forms an image of incident light on an image sensor 103 to form an optical image (object image). do. The formed optical image is converted into an electrical signal by the imaging device 103 and output to the signal processing unit 104 . At this time, the exposure of the captured image is controlled by driving the diaphragm included in the lens group 101, changing the neutral density filter, controlling the accumulation time in the image sensor 103, controlling the amplification factor of the electric signal, and the like. The signal processing unit 104 performs luminance correction such as gain correction, color correction such as white balance correction, and other signal processing on the obtained image signal, and then synthesizes the processed image signal with the image synthesis unit 105. output to The image synthesizing unit 105 generates an HDR (high dynamic range) image with an expanded dynamic range using a plurality of images input in chronological order, and outputs the HDR (high dynamic range) image to the recording processing unit 106 .

その際、画像合成部105は、時系列的に入力された入力画像の露出差に応じた非線形な階調変換処理を施すことにより輝度整合を行い、対応する画素同士の輝度値から合成比率を決定し、画素ごとに合成を行う。時系列順に入力された複数の画像から合成を行う際には、一度記憶領域に画像を記憶する必要がある。画像信号を記憶する記録領域はどこに存在してもよく、たとえば入力された画像を保持する記憶領域を画像合成部105の内部に備え、時系列順に入力された画像の合成に用いてもよい。 At this time, the image synthesizing unit 105 performs luminance matching by performing non-linear gradation conversion processing according to the exposure difference of the input images input in chronological order, and calculates the synthesizing ratio from the luminance values of the corresponding pixels. are determined, and synthesis is performed for each pixel. When synthesizing a plurality of images input in chronological order, it is necessary to store the images once in a storage area. The recording area for storing the image signals may exist anywhere. For example, a storage area for holding the input images may be provided inside the image synthesizing unit 105 and used for synthesizing the images input in chronological order.

また、本実施形態ではHDR動画について説明を行うが、当然通常のカメラモードとして動作することも可能である。その場合は、画像合成部105で画像合成を行わずに入力された画像をそのまま出力する構成であってもよい。この場合、例えば、外部のクライアント装置などの電子機器において、デジタルカメラ100から出力された画像に基づくHDR動画の生成を行う構成であればよい。 In addition, although HDR moving images will be described in this embodiment, it is of course possible to operate in a normal camera mode. In that case, the image composition unit 105 may output the input image as it is without image composition. In this case, for example, an electronic device such as an external client device may be configured to generate an HDR moving image based on an image output from the digital camera 100 .

前述した処理を経て記録処理部106から出力された記録可能な形式の画像信号は、記録媒体107に記録される。この一連の画像処理の流れは、各ブロックがカメラ制御部108によって制御されることにより実行される。カメラ制御部108は、マイクロコンピュータからなり、ROM115に格納されている制御プログラムをRAM113に展開して実行することにより、デジタルカメラ100全体を制御する。RAM113は、カメラ制御部108の作業領域としても使用される。 The image signal in a recordable format output from the recording processing unit 106 through the above-described processing is recorded on the recording medium 107 . This series of image processing flow is executed by controlling each block by the camera control unit 108 . The camera control unit 108 is composed of a microcomputer, and controls the entire digital camera 100 by loading a control program stored in the ROM 115 into the RAM 113 and executing it. The RAM 113 is also used as a work area for the camera control section 108 .

カメラ制御部108は操作部109を通じてユーザからの操作を受け付け、設定されている撮影のモードや被写体の明るさに応じて、ズーム、フォーカス、撮影画像の明るさに関するパラメータを設定する。設定されたパラメータはレンズ制御部102、露出制御部110に伝達され、設定値に応じた制御位置、制御状態となるように各ブロックが制御される。フリッカ検出部111は、撮像素子103で蓄積された撮像画像を入力として、時間的に連続する複数の画像データ(例えば、前後の画像データ)における明暗の変化周期からフリッカの周期(光量変化周期)を検出する。フリッカの周期の検出の詳細については後述する。 A camera control unit 108 receives an operation from a user through an operation unit 109, and sets parameters relating to zoom, focus, and brightness of a captured image according to the set shooting mode and subject brightness. The set parameters are transmitted to the lens control unit 102 and the exposure control unit 110, and each block is controlled so that the control positions and control states correspond to the set values. The flicker detection unit 111 receives captured images accumulated by the image sensor 103 as an input, and detects a flicker cycle (a light amount change cycle) from a brightness change cycle in a plurality of temporally continuous image data (for example, preceding and subsequent image data). to detect The details of the flicker period detection will be described later.

<フリッカの検出>
次に、図2は、フリッカ検出部111の構成を示すブロック図である。図2を用いて、フリッカの検知動作について説明する。
<Flicker detection>
Next, FIG. 2 is a block diagram showing the configuration of the flicker detector 111. As shown in FIG. A flicker detection operation will be described with reference to FIG.

カメラ制御部108を介してフリッカ検出部111に画像信号が入力されると、評価値生成部201において、色成分の信号値を算出するための評価値枠を設定する。ローリングシャッタ形式の撮像素子で撮像された画像では、水平ラインごとに露光開始と露光終了のタイミングが異なるため、光源の明滅により発生する明るさの違いは水平ラインごとに異なる。よって、垂直方向の輝度値は環境光とフリッカ光源の明滅の影響を受け、平均輝度(信号レベル)に差が生じる。この輝度値からフリッカ成分を抽出するために、巡回型ローパスフィルタ処理部202で下記の演算を行い、時間方向の定常的な信号成分(環境光)を抽出する。 When an image signal is input to the flicker detection unit 111 via the camera control unit 108, the evaluation value generation unit 201 sets an evaluation value frame for calculating signal values of color components. In an image captured by a rolling shutter type imaging device, the timing of exposure start and exposure end differs for each horizontal line, so the difference in brightness caused by blinking of the light source differs for each horizontal line. Therefore, the luminance value in the vertical direction is affected by ambient light and flickering of the flickering light source, resulting in a difference in average luminance (signal level). In order to extract the flicker component from this luminance value, the following calculation is performed by the cyclic low-pass filter processing unit 202 to extract a stationary signal component (environmental light) in the time direction.

mem=ave×k+mout×(1-k) …(式1)
ここで、memは上記式の出力として評価値メモリ203に格納される値であり、aveは評価値生成部201の出力結果を表す。kは巡回型ローパスフィルタ処理部202のフィルタ係数であり、moutは1フレーム前の画像の信号値が入力された時に演算された上記式の演算結果である。上記演算を入力画像の各水平ラインについて行うことにより、時間方向の定常的な信号成分を抽出することができる。
mem=ave×k+mout×(1−k) (Formula 1)
Here, mem is a value stored in the evaluation value memory 203 as the output of the above equation, and ave represents the output result of the evaluation value generation unit 201 . k is the filter coefficient of the cyclic low-pass filter processing unit 202, and mout is the calculation result of the above equation calculated when the signal value of the image one frame before is input. By performing the above calculation for each horizontal line of the input image, a stationary signal component in the time direction can be extracted.

フリッカ成分抽出部204において、新たに入力される画像の水平ラインの信号値と、巡回型ローパスフィルタ処理部202で抽出された定常的な信号成分の比や差分をとることにより、フリッカ成分(入力画像信号のレベル変動成分)を算出する。算出されたフリッカ成分から、フリッカ検出部205において垂直方向の信号のレベルの変動特性であるフリッカモデルを生成する。 In the flicker component extraction unit 204, the flicker component (input The level fluctuation component of the image signal) is calculated. From the calculated flicker component, the flicker detection unit 205 generates a flicker model, which is the fluctuation characteristic of the signal level in the vertical direction.

フリッカモデルは、フリッカによる輝度変動を例えば垂直方向に特定の振幅w、周波数f、位相θを持つ周期的な関数として近似したモデルである。交流電源の電圧変動が三角関数の特徴を持つため、モデルとする周期的な関数としては正弦波(または余弦波)を用いるのが一般的であるが、他の周期的な理想関数でも構わない。周波数fはフレームレートと光源の電源周波数により決定される。位相θは、検出された変動成分の変動比を1としたときに、垂直方向に変動比の変化量で1をとる行を位相θ=0として、各行について算出することができる。振幅wは算出された位相のπ/2及び3π/2における変動比から算出される。 The flicker model is a model approximating luminance variation due to flicker as a periodic function having specific amplitude w, frequency f, and phase θ in the vertical direction, for example. A sine wave (or cosine wave) is generally used as the periodic function to be modeled, since the voltage fluctuation of the AC power supply has trigonometric functions, but other ideal periodic functions may also be used. . The frequency f is determined by the frame rate and the power supply frequency of the light source. The phase θ can be calculated for each row by assuming that the variation ratio of the detected variation component is 1, and the row in which the change amount of the variation ratio in the vertical direction is 1 is set as the phase θ=0. The amplitude w is calculated from the variation ratio at π/2 and 3π/2 of the calculated phase.

<HDR動画>
次に、図3を用いてHDR動画の駆動制御について説明する。
<HDR video>
Next, drive control for an HDR moving image will be described with reference to FIG.

前述したとおり、HDR動画は基準の露出に対して所定の露出段差をつけた一つまたは複数の露光条件で複数回連続的に撮影を行い、読み出された画像信号を合成して動画の1フレームとして記録する撮影モードである。図3には、感度(以下、ISO)で露出段差をつけた場合と、蓄積時間(以下、Tv)で露出段差をつけた場合を図示している。a-1フレームとa-2フレーム、b-1フレームとb-2フレームがHDR動画を形成する1フレームを生成する際の合成のペアとなり、画像合成部105で合成され1フレームの画像として出力される。 As described above, HDR moving images are captured multiple times continuously under one or more exposure conditions with a predetermined exposure step with respect to the reference exposure, and the read image signals are synthesized to create one moving image. This is a shooting mode that records as frames. FIG. 3 shows a case where an exposure step is provided by sensitivity (hereinafter referred to as ISO) and a case where an exposure step is provided by storage time (hereinafter referred to as Tv). The a-1 frame and the a-2 frame, and the b-1 frame and the b-2 frame form a pair of synthesis when generating one frame forming the HDR moving image, and are synthesized by the image synthesizing unit 105 and output as one frame image. be done.

<撮像装置の動作>
図4は、本実施形態におけるフリッカの検出動作を示すフローチャートである。図4を用いて、HDR動画においてTv(蓄積時間)によって露出段差をつけている場合のフリッカ検出方法について説明する。
<Operation of Imaging Device>
FIG. 4 is a flow chart showing the flicker detection operation in this embodiment. With reference to FIG. 4, a flicker detection method in the case where an exposure step is provided by Tv (accumulation time) in an HDR moving image will be described.

HDR動画モードが開始され、フリッカ検出が開始されると、評価値生成部201は、ステップS401において、撮像した画像信号に対して各色信号の平均値を取得するための評価枠を設定する。 When the HDR moving image mode is started and flicker detection is started, the evaluation value generation unit 201 sets an evaluation frame for obtaining the average value of each color signal for the captured image signal in step S401.

ステップS402において、カメラ制御部108は、現在のフレームがフリッカ検出開始1フレーム目か否かを判定し、1フレーム目であればステップS406に進んで評価値生成部201で取得した評価値を評価値メモリ203に保持する。ステップS402において現在のフレームがフリッカ検出開始の2フレーム目(2枚目)以降に対応する蓄積タイミングであった場合はステップS403に進み、カメラ制御部108は、入力された画像信号がHDR動画の基準露光条件であるか否かを判定する。図4では、基準露光条件が適正露出だった場合を示している。 In step S402, the camera control unit 108 determines whether or not the current frame is the first frame from which flicker detection is started. It is held in the value memory 203 . If it is determined in step S402 that the current frame is the accumulation timing corresponding to the second frame (second frame) after the start of flicker detection, the process advances to step S403, and the camera control unit 108 determines that the input image signal is an HDR moving image. It is determined whether or not the exposure conditions are the reference exposure conditions. FIG. 4 shows the case where the reference exposure condition is proper exposure.

ステップS403において、入力された画像信号が適正露出で得られた撮像画像(適正露出フレーム)であると判定されると、ステップS405に進む。ステップS405での処理の詳細は、図2の巡回型ローパスフィルタ処理部202の動作で説明した通りであるので、説明を省略する。 If it is determined in step S403 that the input image signal is a captured image (properly exposed frame) obtained with proper exposure, the process proceeds to step S405. The details of the processing in step S405 are the same as those described in the operation of the cyclic low-pass filter processing unit 202 in FIG. 2, so description thereof will be omitted.

ステップS403において、適正露出フレームではなく、適正露出に対して所定露出段差をつけた撮像画像(画像信号)であった場合、評価値生成部201は、ステップS404において評価値ゲイン調整処理を行う。ここでは、基準フレームとの露出段差分、評価値に対してゲインをかける処理を行っており、例えば入力画像信号が基準フレームに対して2段アンダーな露光条件であった場合、評価値に対してその逆数である4倍のゲインをかけて信号を増幅する。評価値のゲイン調整処理が完了したら、巡回型ローパスフィルタ処理部202は、ステップS405においてローパスフィルタ処理を行う。 If it is determined in step S403 that the captured image (image signal) is not a proper exposure frame but a predetermined exposure step with respect to proper exposure, the evaluation value generation unit 201 performs evaluation value gain adjustment processing in step S404. Here, a gain is applied to the evaluation value and the difference in exposure steps from the reference frame. Amplifies the signal by applying a gain of 4 times, which is the reciprocal of it. When the evaluation value gain adjustment processing is completed, the cyclic low-pass filter processing unit 202 performs low-pass filter processing in step S405.

ステップS405の処理が完了したら、カメラ制御部108は、ステップ406において、巡回型ローパスフィルタ処理部202の出力としての評価値を評価値メモリ203に保持する。その後ステップS407に進み、フリッカ成分抽出部204は、入力画像信号の評価値とステップS406で保持した評価値の差分からフリッカ成分の抽出を行う。ステップS407の詳細も、図2のフリッカ成分抽出部204の動作で説明した通りであるので、説明を省略する。 After the processing of step S405 is completed, the camera control unit 108 holds the evaluation value as the output of the cyclic low-pass filter processing unit 202 in the evaluation value memory 203 in step S406. After that, proceeding to step S407, the flicker component extraction unit 204 extracts a flicker component from the difference between the evaluation value of the input image signal and the evaluation value held in step S406. The details of step S407 are also the same as those described in the operation of the flicker component extraction unit 204 in FIG. 2, so description thereof will be omitted.

フリッカ成分の抽出が完了したら、ステップS408に進み、フリッカ検出部205が抽出されたフリッカの周波数(すなわち、フリッカの光量変化周期)を決定してフリッカ検出を終了する。このフリッカ周波数検出処理については図5、図6を用いて後述する。なお、この検出結果はフリッカを除去するためにTv(蓄積時間)や画像処理にフィードバックされ、結果としてフリッカが消えるフレームが現れるようになるが、そのフレームではフリッカ検出は行わず、フリッカが現れているフレームで検出を続ける。 When flicker component extraction is completed, the process advances to step S408 to determine the frequency of the flicker extracted by the flicker detection unit 205 (that is, the flicker light amount change period), and flicker detection ends. This flicker frequency detection processing will be described later with reference to FIGS. 5 and 6. FIG. This detection result is fed back to Tv (accumulation time) and image processing in order to remove flicker, and as a result, a frame in which flicker disappears appears. continue detection in the frame

図5を用いて、図4のステップS408におけるフリッカ周波数(光量変化周期)検出処理について説明する。縦軸は時間軸であり、VDは垂直同期信号である。図5は、時刻t1から時刻t1’において第1フレームの画像データを読み出し、時刻t2から時刻t2’において第2フレームの画像データを読み出す様子を示している。被写体がフリッカ光源下にある場合、画像データには図5のようにライン毎に輝度変化が生じる。電源周波数をf[Hz]とすると、フリッカ光源の輝度変化は、
L(t)=Asin2(2πft)dt (Aは定数)
とモデル化できる。これを時刻(t-Δt)からtまでの、Δtの時間蓄積した場合の信号値は、
The flicker frequency (light amount change period) detection process in step S408 of FIG. 4 will be described with reference to FIG. The vertical axis is the time axis, and VD is the vertical synchronization signal. FIG. 5 shows how the image data of the first frame is read from time t1 to time t1', and the image data of the second frame is read from time t2 to time t2'. When the subject is under a flickering light source, the image data has a luminance change for each line as shown in FIG. If the power frequency is f [Hz], the luminance change of the flickering light source is
L(t)=A sin 2 (2πft)dt (A is a constant)
can be modeled as When this is accumulated for Δt from time (t−Δt) to t, the signal value is

Figure 0007336186000001
Figure 0007336186000001

となり、周波数2f[Hz]の信号となる。ここで、 and becomes a signal with a frequency of 2f [Hz]. here,

Figure 0007336186000002
Figure 0007336186000002

である。この周波数成分を画像データから検出することにより、電源周波数f[Hz]のフリッカの有無を検出する。 is. By detecting this frequency component from the image data, the presence or absence of flicker at the power supply frequency f [Hz] is detected.

そのために、ステップS401において、評価値生成部201は、毎フレーム読み出される画像を垂直方向にN分割した領域それぞれに評価枠を設定し、分割領域ごとに信号の平均値を取得する。図5では、N=16として、m番目のフレームで読み出された画像から得られた分割領域n(1≦n≦N)の平均値をI[m][n]と記している。このI[m][n]をフリッカ検出用の評価値として用いる。 For this purpose, in step S401, the evaluation value generating unit 201 sets an evaluation frame for each of the regions obtained by vertically dividing the image read out for each frame by N, and obtains the average value of the signal for each divided region. In FIG. 5, N=16, and the average value of divided regions n (1≦n≦N) obtained from the image read out in the m-th frame is denoted as I[m][n]. This I[m][n] is used as an evaluation value for flicker detection.

電源周波数f[Hz]のフリッカの有無を検出する場合、I[m][n]と、対応する2f[Hz]のsin波(およびcos波)の値とからフリッカレベルを算出する。そして、フリッカレベルが所定値を超えるフレームが所定フレーム続いたことをもってフリッカ有りと判断する。 When detecting the presence or absence of flicker at power supply frequency f[Hz], the flicker level is calculated from I[m][n] and the corresponding sine wave (and cosine wave) value at 2f[Hz]. Then, it is determined that there is flicker when frames having a flicker level exceeding a predetermined value continue for a predetermined number of frames.

図6は、図4のステップS408におけるフリッカ周波数検出処理の詳細動作を示すフローチャートである。 FIG. 6 is a flow chart showing the detailed operation of the flicker frequency detection process in step S408 of FIG.

ステップS601では、フリッカ検出部205は、変数dt_startの設定を行う。dt_startは、フレームmの最後の評価値と、フレームm+1の最初の評価値の間に、2f[Hz]のsin波の位相がどれだけ進むかを示す値である。dt_startは、撮像素子の読み出しモードによって決まるdt_start_orgをベースとして、蓄積時間に依存するθを加えた値に設定する。dt_start_orgは図5に示すように、例えばフレームレートF[fps]で画像の読み出しにR[ms]かかるとすると、
dt_start_org={1/F-R×(N-1)/N}×4πf
と設定すればよい。フレーム間で蓄積時間が同じであれば、フレーム間で位相ずれは発生しないので、dt_start=dt_start_orgとしておけば問題はない。しかし、(式2)および(式4)に示したように、画像信号のフリッカ成分は蓄積時間によってθだけ位相ずれが発生するので、蓄積時間に応じて位相を調整する必要がある。そこで蓄積時間に応じて(式4)を満たすθを求め、それをdt_startに反映することによって位相ずれを調整し、HDR動画のように蓄積時間がフレームごとに異なるような場合でもフリッカ検出を可能としている。
In step S601, the flicker detection unit 205 sets a variable dt_start. dt_start is a value that indicates how far the phase of the 2f [Hz] sine wave advances between the last evaluation value of frame m and the first evaluation value of frame m+1. dt_start is set to a value based on dt_start_org, which is determined by the readout mode of the image sensor, plus θ that depends on the accumulation time. For dt_start_org, as shown in FIG. 5, for example, if it takes R [ms] to read an image at a frame rate of F [fps],
dt_start_org={1/FR×(N−1)/N}×4πf
should be set as If the storage time is the same between frames, no phase shift occurs between frames, so there is no problem if dt_start=dt_start_org. However, as shown in (Eq.2) and (Eq.4), the flicker component of the image signal has a phase shift of .theta. Therefore, θ that satisfies (Equation 4) is calculated according to the accumulation time, and the phase shift is adjusted by reflecting it in dt_start, making it possible to detect flicker even when the accumulation time differs from frame to frame, such as in HDR video. and

例えば、蓄積時間1/120[s]で電源周波数50[Hz]のフリッカを検出しようとする場合は、
4πfΔt=4π×50/120=5/3×π
(式4)に代入すると、cosθ=-1/2,sinθ=(√3)/2となるから、
θ=( 2/3)×π
となる。
For example, when trying to detect a flicker with a power frequency of 50 [Hz] with an accumulation time of 1/120 [s],
4πfΔt=4π×50/120=5/3×π
Substituting into (Formula 4) yields cos θ=−1/2 and sin θ=(√3)/2, so
θ=(2/3)×π
becomes.

ステップS601においてdt_startの設定が終わると、フリッカ検出部205は、ステップS602において、N個の評価値を処理するループに先立ち、まず変数cntを0に初期化する。 After setting dt_start in step S601, the flicker detection unit 205 initializes a variable cnt to 0 in step S602 prior to a loop that processes N evaluation values.

ステップS603では、カメラ制御部108は、cntがNより小さいか否かを判断し、Nより小さければループを続行すべくステップS604へ進み、N以上であればステップS612へ進む。 In step S603, the camera control unit 108 determines whether or not cnt is smaller than N. If smaller than N, the process proceeds to step S604 to continue the loop.

ステップS604では、カメラ制御部108は、cntが0か否かを判断し、0であればループの初回用の処理をすべくステップS605へ進み、0でなければステップS606へ進む。 In step S604, the camera control unit 108 determines whether or not cnt is 0. If it is 0, the process proceeds to step S605 to perform processing for the first time of the loop, and if not 0, the process proceeds to step S606.

ステップS605では、フリッカ検出部205は、変数wt_sinおよびwt_cosを設定する。wt_sinは評価値に対応する2f[Hz]のsin波の位相を示し、wt_cosは評価値に対応する2f[Hz]のcos波の位相を示す。 In step S605, the flicker detection unit 205 sets variables wt_sin and wt_cos. wt_sin indicates the phase of the 2f[Hz] sine wave corresponding to the evaluation value, and wt_cos indicates the phase of the 2f[Hz] cosine wave corresponding to the evaluation value.

ステップS605では、フリッカ検出部205は、そのフレームで最初の評価値(図5のI[m][1])用の位相を生成するため、前のフレームで記憶しておいたwtにdt_startを加えてwt_sinを求める。後述するが、ステップS612において前のフレームの最後の評価値に対応する位相がwtに記憶されているため、これにdt_startを加えることで最初の評価値に対応する位相を求めることができる。また、wt_cosにはwt_sinの位相をπ/2ずらした値を設定することにより、cos波を表現する。 In step S605, the flicker detection unit 205 adds dt_start to wt stored in the previous frame in order to generate the phase for the first evaluation value (I[m][1] in FIG. 5) in that frame. In addition, obtain wt_sin. As will be described later, since the phase corresponding to the last evaluation value of the previous frame is stored in wt in step S612, the phase corresponding to the first evaluation value can be obtained by adding dt_start to this. A cosine wave is expressed by setting wt_cos to a value obtained by shifting the phase of wt_sin by π/2.

フレームの最初の評価値以外は、ステップS606においてwt_sinおよびwt_cosが設定される。ステップS606では、フリッカ検出部205は、その時点のwt_sin,wt_cosにdtを加えることによりwt_sin,wt_cosを更新する。dtは図5に示すように分割領域1つを読み出す時間に相当し、センサの読み出しモードによって決まる値で、例えば画像の読み出しにR[ms]かかるとすると、
dt=R/N×4πf
と設定すればよい。
Except for the first estimate of the frame, wt_sin and wt_cos are set in step S606. In step S606, the flicker detection unit 205 updates wt_sin and wt_cos by adding dt to wt_sin and wt_cos at that time. As shown in FIG. 5, dt corresponds to the time to read out one divided area, and is a value determined by the readout mode of the sensor.
dt=R/N×4πf
should be set as

ステップS607ではステップS403と同様に、カメラ制御部108は、適正露出フレームか否かの判断を行い、適正露出フレームでなければS608に進み、変数kを設定する。kは、適正露出フレームと適正露出でないフレームの蓄積時間の差による振幅のずれを調整するために、適正露出でないフレームの評価値に掛ける係数である。ここで、HDR動画で適正露出でないフレームの蓄積時間をΔt1、適正露出のフレームの蓄積時間をΔt2=aΔt1とする。そうすると、適正露出でないフレームのフリッカ成分以外の信号値をE1としたとき、適正露出フレームのフリッカ成分以外の信号値E2=aE1となるから、適正露出でないフレームの画像データの信号値S1は、(式2)のフリッカ成分と合わせて、 In step S607, similarly to step S403, the camera control unit 108 determines whether or not the frame is a proper exposure frame. k is a coefficient by which the evaluation value of the improperly exposed frame is multiplied in order to adjust the amplitude deviation due to the difference in accumulation time between the properly exposed frame and the improperly exposed frame. Here, let Δt1 be the accumulation time of frames that are not properly exposed in an HDR moving image, and Δt2=aΔt1 be the accumulation time of frames that are properly exposed. Then, when the signal value other than the flicker component of the frame not properly exposed is E1, the signal value other than the flicker component of the properly exposed frame E2=aE1. Therefore, the signal value S1 of the image data of the frame not properly exposed is ( Combined with the flicker component of equation 2),

Figure 0007336186000003
Figure 0007336186000003

適正露出フレームの画像データの信号値S2は、 The signal value S2 of the image data of the proper exposure frame is

Figure 0007336186000004
Figure 0007336186000004

と表すことができる。ここで、 It can be expressed as. here,

Figure 0007336186000005
Figure 0007336186000005

である。式を変形すると以下のようになる。 is. By transforming the formula, it becomes as follows.

Figure 0007336186000006
Figure 0007336186000006

このことから、適正露出フレームの評価値と、適正露出でないフレームの評価値のa倍とから直流成分aA/2Δt1+aE1=A/2Δt2+E2を求め、それを除いた成分をr2/(ar1)を用いて補正する。これにより、蓄積時間の差によりずれた振幅も揃えることができ、安定したフリッカ検出が可能となることがわかる。 From this, the DC component aA/2Δt1+aE1=A/2Δt2+E2 is obtained from the evaluation value of the properly exposed frame and a times the evaluation value of the frame that is not properly exposed, and the component other than that is obtained using r2/(ar1). to correct. It can be seen that this makes it possible to even out the amplitudes that have shifted due to the difference in accumulation time, and to enable stable flicker detection.

ステップS404で掛けるゲインはaに相当するから、ステップS403~S406を経て評価値メモリに記憶されるmem((式1)参照)がここでいう直流成分に相当する。この考えに基づき、適正露出フレームの蓄積時間と、適正露出でないフレームの蓄積時間とから、式に従いr2/(ar1)を求めてkに設定する。長秒側の場合は、ステップS609においてkを1に設定する。この処理は、適正露出フレームの評価値を使った演算では振幅調整用の係数を掛けずに評価値をそのまま使うことを意味する。 Since the gain multiplied in step S404 corresponds to a, mem (see (Equation 1)) stored in the evaluation value memory through steps S403 to S406 corresponds to the DC component here. Based on this idea, r2/(ar1) is obtained according to the equation from the accumulation time of the properly exposed frame and the accumulation time of the frame that is not properly exposed, and k is set. On the long side, k is set to 1 in step S609. This processing means that the evaluation value is used as it is without being multiplied by the coefficient for amplitude adjustment in the calculation using the evaluation value of the properly exposed frame.

ステップS610では、フリッカ検出部205は、ステップS605およびステップS606で設定した位相wt_sin,wt_cosを使って、評価値と周波数2f[Hz]のsin波、cos波を掛け合わせて積分する。Itg[cnt]はそのフレームで得られた評価値、mem[cnt]はステップS406で評価値メモリに記憶される定常的な信号成分で、それぞれN個の分割領域ごとに取得および記憶される。評価値から定常的な信号成分を減算した値に、係数kおよびsin波(sin(wt_sin))を掛け合わせた結果をdsに、cos波(sin(wt_cos))を掛け合わせた結果をdcに足しこむ。dsおよびdcはカメラ起動時に0に初期化しておき、評価値が得られる度に上記積分処理を行う。 In step S610, the flicker detection unit 205 uses the phases wt_sin and wt_cos set in steps S605 and S606 to multiply and integrate the evaluation value by the sine wave and cosine wave of frequency 2f [Hz]. Itg[cnt] is the evaluation value obtained in the frame, and mem[cnt] is the stationary signal component stored in the evaluation value memory in step S406, which are obtained and stored for each of the N divided regions. ds is the result of multiplying the value obtained by subtracting the stationary signal component from the evaluation value by the coefficient k and the sin wave (sin(wt_sin)), and dc is the result of multiplying the result by the cosine wave (sin(wt_cos)). Get in. ds and dc are initialized to 0 when the camera is started, and the integration process is performed each time an evaluation value is obtained.

ds,dcの更新が終わると、フリッカ検出部205は、ステップS611においてcntをインクリメントし、次の評価値に対する処理をすべくステップS603に戻る。 After updating ds and dc, the flicker detection unit 205 increments cnt in step S611 and returns to step S603 to process the next evaluation value.

N個の評価値に対して処理が終わるとステップS612へ進み、その時点のwt_sinをwtに記憶しておく。記憶したwtは次のフレームでステップS605においてwt_sin,wt_cosを算出するために用いられる。なお、wtはカメラ起動時に0に初期化しておく。 When the processing for N evaluation values is completed, the process proceeds to step S612, and wt_sin at that time is stored in wt. The stored wt is used in the next frame to calculate wt_sin, wt_cos in step S605. Note that wt is initialized to 0 when the camera is started.

ステップS613では、フリッカ検出部205は、ds,dcの二乗和を求め、これをフリッカレベルFとする。FがTh2を超えるフレームがTh1フレーム連続したか否かを、カメラ制御部108がステップS614において判断し、条件が成立しなければ、ステップS615においてフリッカ未検出状態であることを記憶してそのフレームのフリッカ周波数検出処理(ステップS408)を終了する。 In step S613, the flicker detection unit 205 obtains the sum of squares of ds and dc, and sets this as the flicker level F. FIG. In step S614, the camera control unit 108 determines whether frames in which F exceeds Th2 have continued for Th1 frames. flicker frequency detection processing (step S408).

ステップS614で条件が成立していれば、フリッカ検出部205は、フリッカ検出状態であることをステップS616において記憶し、そのフレームのフリッカ周波数検出処理(ステップS408)を終了する。 If the condition is satisfied in step S614, the flicker detection unit 205 stores the flicker detection state in step S616, and ends the flicker frequency detection processing (step S408) for that frame.

以上のように、本実施形態によれば、HDR動画のように異なる露光条件を連続的に撮像する撮影モードおいて、ハード構成やメモリの増加を抑制しつつフリッカを検出することができる。また、同じ露光条件の画像のみを使用し、一つのフリッカ検出器を使用してフリッカ検出することも可能であるが、この方法では、フリッカ検出に用いるフレーム数が少なくなる。複数フレームで安定的に同じフリッカ周波数が検出されるほどその信頼度は高くなるため、本実施形態のように、撮像した全フレームを使用してフリッカ検出をすると、より早く信頼度の高いフリッカ周波数を検出することができる。 As described above, according to the present embodiment, flicker can be detected while suppressing an increase in the hardware configuration and memory in a shooting mode in which different exposure conditions are continuously captured, such as an HDR moving image. It is also possible to detect flicker using only images with the same exposure conditions and using one flicker detector, but this method reduces the number of frames used for flicker detection. The more stably the same flicker frequency is detected in a plurality of frames, the higher the reliability. can be detected.

なお、本実施形態では、基準フレームを適正露出フレームとし、ステップS404では画像信号を増幅するゲイン調整処理を行った。しかし、基準フレームとして用いる露光条件はHDR合成する露光条件の組み合わせの中で任意のものでよく、ステップS404で画像信号を減衰させるような処理を行ってもよい。 Note that in this embodiment, the reference frame is the properly exposed frame, and the gain adjustment process for amplifying the image signal is performed in step S404. However, the exposure condition used as the reference frame may be any combination of exposure conditions for HDR synthesis, and processing such as attenuating the image signal may be performed in step S404.

(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
(Other embodiments)
In addition, the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads the program. It can also be realized by executing processing. It can also be implemented by a circuit (eg, ASIC) that implements one or more functions.

101:レンズ群、102:レンズ制御部、103:撮像素子、104:信号処理部、105:画像合成部、108:カメラ制御部、110:露出制御部、111:フリッカ検出部、201:評価値算出部、202:巡回型ローパスフィルタ処理部、203:評価値メモリ、204:フリッカ成分抽出部、205:フリッカ検出部 101: lens group, 102: lens control unit, 103: image sensor, 104: signal processing unit, 105: image synthesizing unit, 108: camera control unit, 110: exposure control unit, 111: flicker detection unit, 201: evaluation value Calculation unit 202: cyclic low-pass filter processing unit 203: evaluation value memory 204: flicker component extraction unit 205: flicker detection unit

Claims (11)

被写体像を撮像して画像信号を出力する撮像素子と、
前記画像信号が表わす画像を垂直方向に複数の領域に分割する分割手段と、
前記複数の領域のそれぞれに対応する画像信号の信号レベルに基づいて、フリッカを検出する検出手段と、
前記撮像素子に露出段差を有する複数フレームの画像を撮像する動画撮影を行わせる制御手段と、を備え、
前記検出手段は、前記複数フレームの画像の撮像により得られる複数の画像信号のそれぞれに現れるフリッカの位相を調整することにより、前記複数の画像信号からフリッカを検出し、前記フリッカのレベルが所定値を超えるフレームが所定フレーム以上続いた場合にフリッカが存在すると判定することを特徴とする撮像装置。
an imaging device that captures an image of a subject and outputs an image signal;
dividing means for vertically dividing an image represented by the image signal into a plurality of regions;
detection means for detecting flicker based on the signal level of the image signal corresponding to each of the plurality of areas;
a control means for causing the image sensor to perform video shooting of capturing images of a plurality of frames having exposure steps,
The detection means detects flicker from the plurality of image signals by adjusting the phase of flicker appearing in each of the plurality of image signals obtained by capturing the images of the plurality of frames, and the level of the flicker is a predetermined value. is continued for a predetermined number of frames or more, it is determined that flicker exists.
前記検出手段は、前記複数フレームの画像の撮像のそれぞれにおける信号の読み出し時間とフレームレートとの差に基づいて、前記複数の画像信号におけるフリッカの位相を調整することを特徴とする請求項1に記載の撮像装置。 2. The method according to claim 1, wherein said detection means adjusts phases of flicker in said plurality of image signals based on a difference between a signal readout time and a frame rate in each of said plurality of frame images. The imaging device described. 前記検出手段は、前記複数フレームの画像の撮像のそれぞれにおける信号の読み出し時間とフレームレートとの差の時間の間に進むフリッカの位相を算出することにより、前記複数の画像信号におけるフリッカの位相を調整することを特徴とする請求項2に記載の撮像装置。 The detection means detects the phases of flickers in the plurality of image signals by calculating the phases of flickers progressing during the difference between the signal readout time and the frame rate in each of the plurality of frame images. 3. The image pickup apparatus according to claim 2, wherein adjustment is performed. 前記検出手段は、前記複数フレームの画像の撮像のそれぞれにおける蓄積時間の差に基づいて、前記複数の画像信号におけるフリッカの位相を調整することを特徴とする請求項2に記載の撮像装置。 3. The image pickup apparatus according to claim 2, wherein said detection means adjusts phases of flickers in said plurality of image signals based on a difference in accumulation time between images of said plurality of frames. 前記検出手段は、前記複数フレームの画像の撮像のそれぞれにおける蓄積時間の差の時間の間に進むフリッカの位相を算出することにより、前記複数の画像信号におけるフリッカの位相を調整することを特徴とする請求項4に記載の撮像装置。 The detecting means adjusts the phase of flicker in the plurality of image signals by calculating the phase of flicker advancing during the time difference between the accumulation times in each of the images of the plurality of frames. 5. The imaging device according to claim 4. 前記検出手段は、前記複数フレームの画像の撮像のそれぞれにおける蓄積時間の差に基づく前記複数の画像信号の信号レベルの差を補正して、前記複数の画像信号からフリッカを検出することを特徴とする請求項4に記載の撮像装置。 The detection means detects flicker from the plurality of image signals by correcting a difference in signal level of the plurality of image signals based on a difference in accumulation time between images of the plurality of frames. 5. The imaging device according to claim 4. 前記制御手段は、前記複数フレームの画像の撮像におけるそれぞれの撮像ごとに蓄積時間または感度を変更して、前記複数フレームの画像の撮像を行うことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。 7. The controller according to any one of claims 1 to 6, wherein the control unit changes the accumulation time or sensitivity for each imaging of the plurality of frame images, and performs the imaging of the plurality of frame images. 10. The image pickup device according to claim 1. 前記複数フレームの画像の撮像により得られた明るさの異なる複数の画像信号を合成することによりHDR(ハイダイナミックレンジ)画像を合成する合成手段をさらに備えることを特徴とする請求項7に記載の撮像装置。 8. The apparatus according to claim 7, further comprising synthesizing means for synthesizing an HDR (high dynamic range) image by synthesizing a plurality of image signals with different brightness obtained by imaging the images of the plurality of frames. Imaging device. 被写体像を撮像して画像信号を出力する撮像素子を備える撮像装置を制御する方法であって、
分割手段が前記画像信号が表わす画像を垂直方向に複数の領域に分割する分割工程と、
検出手段が前記複数の領域のそれぞれに対応する画像信号の信号レベルに基づいて、フリッカを検出する検出工程と、
制御手段が前記撮像素子に露出段差を有する複数フレームの画像を撮像する動画撮影を行わせる制御工程と、を有し、
前記検出工程では、前記検出手段が前記複数フレームの画像の撮像により得られる複数の画像信号のそれぞれに現れるフリッカの位相を調整することにより、前記複数の画像信号からフリッカを検出し、前記フリッカのレベルが所定値を超えるフレームが所定フレーム以上続いた場合にフリッカが存在すると判定することを特徴とする撮像装置の制御方法。
A method for controlling an imaging device having an imaging device that captures an image of a subject and outputs an image signal, comprising:
a dividing step in which the dividing means vertically divides the image represented by the image signal into a plurality of regions;
a detection step in which the detection means detects flicker based on the signal level of the image signal corresponding to each of the plurality of areas;
a control step in which the control means causes the imaging element to perform moving image shooting, in which images of a plurality of frames having exposure steps are captured;
In the detecting step, the detecting means detects flicker from the plurality of image signals by adjusting the phase of flicker appearing in each of the plurality of image signals obtained by imaging the plurality of frame images, and detecting the flicker. 1. A control method for an imaging apparatus, comprising determining that flicker exists when frames whose level exceeds a predetermined value continue for a predetermined number of frames or more.
請求項9に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。 A program for causing a computer to execute each step of the control method according to claim 9. 請求項9に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。 A computer-readable storage medium storing a program for causing a computer to execute each step of the control method according to claim 9.
JP2018221683A 2018-11-27 2018-11-27 IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM Active JP7336186B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018221683A JP7336186B2 (en) 2018-11-27 2018-11-27 IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM
US16/688,703 US11039082B2 (en) 2018-11-27 2019-11-19 Image capturing apparatus, control method thereof, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018221683A JP7336186B2 (en) 2018-11-27 2018-11-27 IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM

Publications (2)

Publication Number Publication Date
JP2020088656A JP2020088656A (en) 2020-06-04
JP7336186B2 true JP7336186B2 (en) 2023-08-31

Family

ID=70910156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018221683A Active JP7336186B2 (en) 2018-11-27 2018-11-27 IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM

Country Status (1)

Country Link
JP (1) JP7336186B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115499597B (en) * 2022-09-13 2024-06-04 豪威集成电路(成都)有限公司 Identification method and device for target frequency light source of imaging system and terminal equipment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161572A (en) 2009-01-07 2010-07-22 Canon Inc Imaging apparatus, control method thereof, and program
JP2011091775A (en) 2009-10-26 2011-05-06 Toshiba Corp Solid-state image pickup device
JP2011160090A (en) 2010-01-29 2011-08-18 Sony Corp Image processing device and signal processing method, and program
JP2013017238A (en) 2012-10-05 2013-01-24 Canon Inc Image processing apparatus, image processing method, program, and storage medium
JP2016034094A (en) 2014-07-31 2016-03-10 ソニー株式会社 Image processing system, image processing method, program and image sensor
WO2017090300A1 (en) 2015-11-24 2017-06-01 ソニー株式会社 Image processing apparatus and image processing method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161572A (en) 2009-01-07 2010-07-22 Canon Inc Imaging apparatus, control method thereof, and program
JP2011091775A (en) 2009-10-26 2011-05-06 Toshiba Corp Solid-state image pickup device
JP2011160090A (en) 2010-01-29 2011-08-18 Sony Corp Image processing device and signal processing method, and program
JP2013017238A (en) 2012-10-05 2013-01-24 Canon Inc Image processing apparatus, image processing method, program, and storage medium
JP2016034094A (en) 2014-07-31 2016-03-10 ソニー株式会社 Image processing system, image processing method, program and image sensor
WO2017090300A1 (en) 2015-11-24 2017-06-01 ソニー株式会社 Image processing apparatus and image processing method, and program

Also Published As

Publication number Publication date
JP2020088656A (en) 2020-06-04

Similar Documents

Publication Publication Date Title
US9596400B2 (en) Image pickup apparatus that periodically changes exposure condition, a method of controlling image pickup apparatus, and storage medium
KR100868595B1 (en) Image pickup apparatus, exposure control method, and computer readable medium installed in the image pickup apparatus
KR101604068B1 (en) High dynamic range imaging apparatus and method
JP2009296178A (en) Imaging device and imaging method
JP5271346B2 (en) Imaging apparatus, image processing apparatus, image processing method, and image processing program
KR20010036040A (en) Apparatus and method for expanding dynamic range of image process system
US9277135B2 (en) Image-pickup apparatus, control method for the same, and non-transitory computer-readable storage medium
JP4821626B2 (en) Image processing apparatus, electronic camera, and image processing program
JP7190355B2 (en) Image processing device and image processing method
JP2007228200A (en) Brightness correcting device for motion picture, control method thereof and control program thereof
JPWO2019187901A1 (en) Imaging equipment, imaging methods, and programs
JP7336186B2 (en) IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM
US20200169658A1 (en) Image capturing apparatus, control method thereof, and storage medium
JP2016149631A (en) Imaging apparatus and imaging method
JP6423668B2 (en) Image processing apparatus, control method therefor, and program
US8982244B2 (en) Image capturing apparatus for luminance correction, a control method therefor, and a recording medium
JP2010183460A (en) Image capturing apparatus and method of controlling the same
JP7169859B2 (en) IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM
JP3748031B2 (en) Video signal processing apparatus and video signal processing method
JP5341536B2 (en) Imaging device
JP2015056758A (en) Imaging apparatus, its control method and control program
JP5195973B2 (en) Image processing apparatus, electronic camera, and image processing program
JP2010183461A (en) Image capturing apparatus and method of controlling the same
JP2004229084A (en) Blurring correcting instrument, method therefor and imaging apparatus
JP2011029875A (en) Imaging apparatus

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R151 Written notification of patent or utility model registration

Ref document number: 7336186

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151