JP6337948B2

JP6337948B2 - Image processing apparatus and flicker reduction method

Info

Publication number: JP6337948B2
Application number: JP2016235682A
Authority: JP
Inventors: 昭仁下大薗; 賢司松岡
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2016-12-05
Filing date: 2016-12-05
Publication date: 2018-06-06
Anticipated expiration: 2033-06-20
Also published as: JP2017046362A

Description

本発明は、画像処理装置、及びフリッカ低減方法に関する。 The present invention relates to an image processing apparatus and a flicker reduction method.

特許文献１、２には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）フリッカの低減方法が開示されている。特許文献１のフリッカ低減方法では、連続する３フィールドにおける積分値の平均値を算出して、平均値で正規化している。そして、正規化された積分値に対して、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）を施している。そして、離散フーリエ変換により抽出されたスペクトルからフリッカ係数を推定して、フリッカを低減している。 Patent Documents 1 and 2 disclose a CMOS (Complementary Metal Oxide Semiconductor) flicker reduction method. In the flicker reduction method of Patent Document 1, an average value of integral values in three consecutive fields is calculated and normalized with the average value. And the discrete Fourier transform (DFT: Discrete Fourier Transform) is given with respect to the normalized integral value. The flicker is reduced by estimating the flicker coefficient from the spectrum extracted by the discrete Fourier transform.

特許文献２では、取得部が１フレームを構成する水平ラインのうちの一部の水平ラインについて、ライン積分値を取得している。そして、メモリがライン積算値を複数の画面分格納している。複数の画面分のライン積分値列に対して、離散フーリエ変換を施して、フリッカ成分の情報を抽出している。 In Patent Document 2, the acquisition unit acquires line integration values for some horizontal lines of the horizontal lines constituting one frame. The memory stores line integrated values for a plurality of screens. Discrete Fourier transform is applied to the line integral value sequences for a plurality of screens to extract information on flicker components.

特開２００４−２２２２２８号公報JP 2004-222228 A 国際公開ＷＯ２０１０／０５８５６７号International Publication WO2010 / 058567

しかしながら、特許文献１では、１フレーム分の信号に対してＤＦＴ処理を行っている。被写体に動物体がある場合には補正ゲインが急激に変化するために適切な補正とならず、映像を破綻させるおそれがある。また、フレーム内ＤＦＴ処理を行うので、1周期分のフリッカ成分が1フレーム内に存在しない場合、例えば高速撮像モード時にはフリッカを検出することができないおそれがある。 However, in Patent Document 1, DFT processing is performed on a signal for one frame. If the subject has a moving object, the correction gain changes abruptly, so that the correction is not appropriate and the video may be broken. In addition, since intra-frame DFT processing is performed, there is a possibility that flicker cannot be detected in a high-speed imaging mode, for example, when there is no flicker component for one period in one frame.

特許文献２では、特許文献１のように、正規化を行っていないため、映像のＤＣ成分を除去できていない。したがって、同じフリッカ環境下であっても被写体の輝度によって検出されるフリッカ成分が異なってしまい、最適な補正ができないおそれがある。また、被写体に動物体がある場合には、フレーム間ＤＦＴ処理により得られるフリッカ成分は急激に変化してしまう。したがって適切な補正とならず、映像を破綻させるおそれがある。 In Patent Literature 2, since normalization is not performed as in Patent Literature 1, the DC component of the video cannot be removed. Therefore, even under the same flicker environment, the flicker component detected differs depending on the luminance of the subject, and there is a possibility that optimal correction cannot be performed. In addition, when there is a moving object in the subject, the flicker component obtained by the inter-frame DFT processing changes abruptly. Therefore, the correction is not appropriate and the video may be broken.

本発明は上記の点に鑑みなされたもので、適切にフリッカを低減することができる画像処理装置、及びフリッカ低減方法を提供することを目的とする。 The present invention has been made in view of the above points, and an object thereof is to provide an image processing apparatus and a flicker reduction method capable of appropriately reducing flicker.

本発明の一態様にかかる画像処理装置は、補正ゲインを用いて、入力映像信号に含まれるフリッカ成分を補正するフリッカ補正部と、フリッカ成分の情報を算出するフリッカ成分算出部と、前記フリッカ成分の情報に基づいて、前記補正ゲインを算出する補正ゲイン計算部と、前記フリッカ補正部で補正された映像信号に対して、前記フリッカ成分の情報を算出し、前記フリッカ補正部でフリッカ成分が補正された映像信号のフリッカ成分と、前記フリッカ成分が補正されていない映像信号のフリッカ成分とを比較することで、前記入力映像信号撮像時の環境がフリッカ環境にあるか否かを判定する環境判定部とを備え、前記環境判定部で前記フリッカ環境にないと判定された場合に、前記フリッカ補正部がフリッカ成分を補正していない映像信号を出力するものである。 An image processing apparatus according to an aspect of the present invention includes a flicker correction unit that corrects a flicker component included in an input video signal using a correction gain, a flicker component calculation unit that calculates information on a flicker component, and the flicker component. Based on the information, the correction gain calculation unit for calculating the correction gain, the flicker component information is calculated for the video signal corrected by the flicker correction unit, and the flicker component is corrected by the flicker correction unit. An environment determination that determines whether or not the environment at the time of imaging the input video signal is a flicker environment by comparing the flicker component of the video signal that has been recorded and the flicker component of the video signal that has not been corrected for the flicker component And when the environment determination unit determines that the flicker environment is not present, the flicker correction unit has not corrected the flicker component. And it outputs the signal.

本発明の一態様にかかるフリッカ低減方法は、入力映像信号のフリッカを低減するフリッカ低減方法であって、フリッカ成分の情報を算出するステップと、前記フリッカ成分の情報に基づいて、補正ゲインを算出するステップと、前記補正ゲインを用いて、前記映像信号を補正するステップと、補正された映像信号に対して、前記フリッカ成分の情報を算出するステップと、前記フリッカ成分が補正された映像信号のフリッカ成分と、前記フリッカ成分が補正されていない映像信号のフリッカ成分とを比較することで、前記入力映像信号撮像時の環境がフリッカ環境にあるか否かを判定するステップと、前記フリッカ環境にないと判定された場合に、前記フリッカ成分を補正していない映像信号を出力するステップとを備えるものである。 A flicker reduction method according to an aspect of the present invention is a flicker reduction method for reducing flicker of an input video signal, the step of calculating flicker component information, and the calculation of a correction gain based on the flicker component information. A step of correcting the video signal using the correction gain, a step of calculating information on the flicker component for the corrected video signal, and a step of calculating the flicker component. Determining whether the environment at the time of imaging the input video signal is a flicker environment by comparing a flicker component and a flicker component of a video signal in which the flicker component is not corrected; and And a step of outputting a video signal in which the flicker component is not corrected when it is determined that the flicker component is not corrected.

本発明によれば、適切にフリッカを低減することができる画像処理装置、及びフリッカ低減方法を提供することを目的とする。 An object of the present invention is to provide an image processing apparatus and a flicker reduction method that can appropriately reduce flicker.

本実施形態に係る撮像装置の全体構成を示す図である。1 is a diagram illustrating an overall configuration of an imaging apparatus according to an embodiment. 撮像装置の制御系を模式的に示すブロック図である。It is a block diagram which shows typically the control system of an imaging device. ＣＭＯＳフリッカ成分のイメージ図である。It is an image figure of a CMOS flicker component. 実施の形態１にかかる撮像装置のフリッカ補正部の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration of a flicker correction unit of the imaging apparatus according to the first embodiment. フリッカ低減方法におけるＤＦＴ処理ラインを説明するための図である。It is a figure for demonstrating the DFT processing line in a flicker reduction method. 実施の形態２にかかる撮像装置の主要部分の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration of a main part of an imaging apparatus according to a second embodiment. 実施の形態２にかかる撮像装置の環境判定部の構成を示すブロック図である。FIG. 6 is a block diagram illustrating a configuration of an environment determination unit of an imaging apparatus according to a second embodiment. フリッカ補正前の画像と、フリッカ補正後の画像を模式的に示す図である。FIG. 6 is a diagram schematically illustrating an image before flicker correction and an image after flicker correction. ６０ｆｐｓの通常撮像時と、１２０ｆｐｓの高速撮像時の動作比較例を示す表である。It is a table | surface which shows the operation comparative example at the time of 60 fps normal imaging, and 120 fps high-speed imaging. 実施の形態３にかかる撮像装置の主要部分の構成を示すブロック図である。FIG. 6 is a block diagram illustrating a configuration of a main part of an imaging apparatus according to a third embodiment. 垂直同期信号ＶＤとフリッカ成分の関係を説明するための図である。It is a figure for demonstrating the relationship between the vertical synchronizing signal VD and a flicker component.

実施の形態１．
（全体構成）
以下、図面を参照して、本発明の実施の形態に係る撮像装置、及びフリッカ低減方法について説明する。図１は、本実施の形態にかかる撮像装置の全体構成を示す斜視図である。撮像装置１は、モニタ３、筐体５、及び撮像部１００を備えている。 Embodiment 1 FIG.
(overall structure)
Hereinafter, an imaging device and a flicker reduction method according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a perspective view showing the overall configuration of the imaging apparatus according to the present embodiment. The imaging device 1 includes a monitor 3, a housing 5, and an imaging unit 100.

筐体５は、ＣＭＯＳ撮像素子及びレンズなどを備えた撮像部１００を内蔵している。撮像部１００は、被写体から光を受光して、動画、及び静止画を撮像する。さらに、筐体５は、図示しない、バッテリ、内蔵メモリ、メモリカードスロット、ＣＰＵ(Central Processing Unit)等を内蔵している。撮像部１００が取得した画像データは、所定の処理が施されて、メモリに格納される。筐体５の側面には、開閉可能に設けられたモニタ３が取り付けられている。モニタ３は、撮像部１００が取得した動画又は静止画を表示する。 The housing 5 includes an image pickup unit 100 including a CMOS image pickup device and a lens. The imaging unit 100 receives light from a subject and captures a moving image and a still image. Further, the housing 5 includes a battery, a built-in memory, a memory card slot, a CPU (Central Processing Unit), etc., not shown. Image data acquired by the imaging unit 100 is subjected to predetermined processing and stored in a memory. A monitor 3 provided so as to be openable and closable is attached to a side surface of the housing 5. The monitor 3 displays a moving image or a still image acquired by the imaging unit 100.

次に、図２を参照して、撮像装置１の制御系について説明する。図２は、撮像装置１の制御系を模式的に示すブロック図である。撮像部１００は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４を備えている。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子１０４は、ＣＭＯＳイメージセンサ等で構成される。 Next, a control system of the imaging apparatus 1 will be described with reference to FIG. FIG. 2 is a block diagram schematically showing a control system of the imaging apparatus 1. The imaging unit 100 includes a zoom lens 101, a focus lens 102, a diaphragm 103, and an imaging element 104. The zoom lens 101 is moved along the optical axis LA by a zoom actuator (not shown). Similarly, the focus lens 102 moves along the optical axis LA by a focus actuator (not shown). The diaphragm 103 operates by being driven by a diaphragm actuator (not shown). The image sensor 104 is configured by a CMOS image sensor or the like.

撮像素子１０４は、マトリクス状に配列された複数の画素を備えている。複数の画素は、垂直同期信号ＶＤ、及び水平同期信号ＨＤにしたがって動作する。なお、垂直同期信号ＶＤは、撮像素子１０４の１フィールド、又は１フレームのスタートを決めるパルス信号である。例えば、垂直同期信号ＶＤに同期して、１番目の水平ライン、即ち、先頭ラインの画像データの読み出しが行われる。垂直同期信号ＶＤの１周期である垂直同期期間が、１フレーム又は１フィールドに対応する期間となる。水平同期信号ＨＤは、各走査線、すなわち、各水平ラインのスタートを決めるパルス信号である。水平同期信号ＨＤに同期して、複数の水平ラインから画像データが順番に読み出されていく。さらに、撮像素子１０４がＣＭＯＳセンサである場合、画素の水平ラインに応じて露光タイミングが異なっているため、ＣＭＯＳフリッカが発生する。もちろん、撮像素子１０４はフリッカが発生するものであれば、ＣＭＯＳセンサに限られるものではない。 The image sensor 104 includes a plurality of pixels arranged in a matrix. The plurality of pixels operate according to the vertical synchronization signal VD and the horizontal synchronization signal HD. The vertical synchronization signal VD is a pulse signal that determines the start of one field or one frame of the image sensor 104. For example, the image data of the first horizontal line, that is, the first line is read in synchronization with the vertical synchronization signal VD. A vertical synchronization period which is one cycle of the vertical synchronization signal VD is a period corresponding to one frame or one field. The horizontal synchronization signal HD is a pulse signal that determines the start of each scanning line, that is, each horizontal line. Image data is sequentially read from a plurality of horizontal lines in synchronization with the horizontal synchronization signal HD. Further, when the image sensor 104 is a CMOS sensor, CMOS flicker occurs because the exposure timing differs according to the horizontal line of the pixel. Of course, the image sensor 104 is not limited to a CMOS sensor as long as flicker occurs.

撮像素子１０４はズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。そして、画像Ａ／Ｄ変換部１０６は、デジタル画像データを、映像信号として、フリッカ補正部１０７に出力する。 The image sensor 104 photoelectrically converts light that has passed through the zoom lens 101, the focus lens 102, and the aperture 103 to generate an analog image signal of the subject. After the analog image signal processing unit 105 amplifies the analog image signal, the image A / D conversion unit 106 converts the amplified signal into digital image data. Then, the image A / D conversion unit 106 outputs the digital image data to the flicker correction unit 107 as a video signal.

フリッカ補正部１０７は、映像信号に対してフリッカ補正を行って、フリッカを低減する。すなわち、フリッカ補正部１０７は、補正ゲインを用いて、デジタル画像データのフリッカ補正を行う。そして、フリッカ補正部１０７がフリッカ補正を施した映像信号を出力部１０８に出力する。出力部１０８は、メモリを有しており、フリッカが低減された映像信号をメモリに記憶させる。あるいは、出力部１０８は、モニタ３を有しており、フリッカが低減された映像信号をモニタ３に表示させる。 The flicker correction unit 107 performs flicker correction on the video signal to reduce flicker. That is, the flicker correction unit 107 performs digital image data flicker correction using the correction gain. Then, the flicker correction unit 107 outputs the video signal subjected to the flicker correction to the output unit 108. The output unit 108 has a memory, and stores the video signal with reduced flicker in the memory. Alternatively, the output unit 108 includes the monitor 3 and causes the monitor 3 to display a video signal with reduced flicker.

さらに、フリッカ補正部１０７は、画像Ａ／Ｄ変換部１０６からの映像信号に基づいて、フリッカ補正のための補正ゲインを算出する。フリッカ補正部１０７は、算出した補正ゲインに基づいて、フリッカ補正を行う。なお、補正ゲインは、フレーム、及び水平ラインに応じて、異なる値となっている。 Further, the flicker correction unit 107 calculates a correction gain for flicker correction based on the video signal from the image A / D conversion unit 106. The flicker correction unit 107 performs flicker correction based on the calculated correction gain. The correction gain has different values depending on the frame and the horizontal line.

（フリッカ成分）
ここで、ＮＴＳＣシステムで発生する蛍光灯フリッカをフリッカの一例として説明する。ここでは、フレームレートを６０ｆｐｓ、商用電源周波数を５０Ｈｚとした場合について説明する。この場合のＣＭＯＳフリッカの特徴は以下である。
（１）１画面中には、５／３周期分発生する。
（２）１ラインごとに位相が変化する。
（３）振幅は、蛍光灯の輝度に比例して変化する。
（４）商用電源周波数（５０Ｈｚ）の２倍の周波数（１００Ｈｚ）を持つ正弦波として扱うことができる。 (Flicker component)
Here, fluorescent lamp flicker generated in the NTSC system will be described as an example of flicker. Here, a case where the frame rate is 60 fps and the commercial power supply frequency is 50 Hz will be described. The characteristics of the CMOS flicker in this case are as follows.
(1) One screen is generated for 5/3 cycles.
(2) The phase changes for each line.
(3) The amplitude changes in proportion to the luminance of the fluorescent lamp.
(4) It can be handled as a sine wave having a frequency (100 Hz) that is twice the commercial power supply frequency (50 Hz).

上記の特徴から、ＣＭＯＳフリッカ現象が起きている際には、図３のようなフリッカ成分が発生している。なお、図３では、上側（画面上部）から下側（画面下部）に向かって走査が行われているものとする。撮像素子１０４では、水平ラインごとに露光タイミングが異なるため、水平ラインに応じて受光量が変化してしまう。よって、蛍光灯が空間的に均一に照明していたとしても、図３のように、映像信号の値が平均値よりも高い水平ラインと、映像信号の値が平均値よりも小さい水平ラインが存在してしまう。例えば、図３のフレームでは、画像中の最も上の水平ライン、すなわち、先頭ラインでフリッカ成分が最も高くなっている。さらに、先頭ラインから、１画面に含まれる総ライン数の３／５に相当するラインずれた水平ラインで、フリッカ成分も最も高くなる。このように、フリッカ成分は、図３に示すような、振幅、周期、及び初期位相を持つ、ｓｉｎ関数で表される。なお、初期位相は先頭ラインでの位相としている。 From the above characteristics, when the CMOS flicker phenomenon occurs, a flicker component as shown in FIG. 3 is generated. In FIG. 3, it is assumed that scanning is performed from the upper side (upper part of the screen) to the lower side (lower part of the screen). In the image sensor 104, since the exposure timing is different for each horizontal line, the amount of received light changes according to the horizontal line. Therefore, even if the fluorescent lamp illuminates spatially uniformly, as shown in FIG. 3, there are horizontal lines whose video signal value is higher than the average value and horizontal lines whose video signal value is smaller than the average value. It will exist. For example, in the frame of FIG. 3, the flicker component is the highest in the uppermost horizontal line in the image, that is, the top line. Further, the flicker component is the highest in a horizontal line shifted from the top line by a line corresponding to 3/5 of the total number of lines included in one screen. As described above, the flicker component is represented by a sin function having an amplitude, a period, and an initial phase as shown in FIG. Note that the initial phase is the phase at the first line.

また、フレームに応じて、各水平ラインの位相が変化する。すなわち、フレーム毎に、映像信号の値が平均値よりも高い水平ラインと、映像信号の値が平均値よりも低い水平ラインが変化する。次のフレームでは、初期位相が異なる正弦波となる。例えば、蛍光灯フリッカが１００Ｈｚで発生し、撮像素子、フレームレート６０ｆｐｓであるとすると、蛍光灯フリッカの５周期分が、３フレームに相当する時間となる。よって、３フレーム毎に初期位相が同じ位相となる。このように、水平ライン、及びフレームに応じて、フリッカ成分が変動する。 Further, the phase of each horizontal line changes according to the frame. That is, for each frame, a horizontal line whose video signal value is higher than the average value and a horizontal line whose video signal value is lower than the average value change. In the next frame, the sine wave has a different initial phase. For example, if fluorescent lamp flicker occurs at 100 Hz and the imaging device has a frame rate of 60 fps, five periods of fluorescent lamp flicker are equivalent to three frames. Therefore, the initial phase is the same every three frames. As described above, the flicker component varies depending on the horizontal line and the frame.

従って、フリッカ成分によるゲインが映像信号に乗じられて映像を劣化させていると考えることができる。フリッカ成分の周期、振幅、各ラインでの位相を得られれば、その逆相のゲインを映像信号に乗じることでＣＭＯＳフリッカを補正することできる。１フレームにおけるフリッカ低減用の補正ゲインは、正弦波にしたがって水平ラインごとに異なる値となる。さらに、同一ラインにおける補正ゲインは、フレームに応じて異なる値となり、３フレーム毎に同じ値となる。もちろん、上記したフレームレート、及び蛍光灯フリッカの周波数は、一例であり、上記の値に限定されるものではない。 Therefore, it can be considered that the video signal is deteriorated by multiplying the video signal by the gain due to the flicker component. If the period, amplitude, and phase of each line of the flicker component can be obtained, the CMOS flicker can be corrected by multiplying the video signal by the gain of the opposite phase. The correction gain for reducing flicker in one frame has a different value for each horizontal line according to the sine wave. Further, the correction gain in the same line varies depending on the frame, and is the same value every three frames. Of course, the frame rate and the frequency of the fluorescent lamp flicker are examples, and are not limited to the above values.

（フリッカ補正部１０７）
以下、図４を参照して、フリッカ補正部１０７について説明する。図４は、フリッカ補正部１０７の構成を示すブロック図である。フリッカ補正部１０７は、積算部１１１、積算値保持部１１２、平均値計算部１１３、正規化部１１４、正規化値保持部１１５、フレーム間ＤＦＴ処理部１１６、フリッカ成分算出部１１７、振幅／初期位相計算部１１８、振幅／初期位相保持部１１９、平均値計算部１２０、補正ゲイン計算部１２１、補正部１２２を備えている。フリッカ補正部１０７は、上記のように補正ゲインを算出する。 (Flicker correction unit 107)
Hereinafter, the flicker correction unit 107 will be described with reference to FIG. FIG. 4 is a block diagram illustrating a configuration of the flicker correction unit 107. The flicker correcting unit 107 includes an integrating unit 111, an integrated value holding unit 112, an average value calculating unit 113, a normalizing unit 114, a normalized value holding unit 115, an inter-frame DFT processing unit 116, a flicker component calculating unit 117, an amplitude / initial value. A phase calculation unit 118, an amplitude / initial phase holding unit 119, an average value calculation unit 120, a correction gain calculation unit 121, and a correction unit 122 are provided. The flicker correction unit 107 calculates the correction gain as described above.

積算部１１１には、画像Ａ／Ｄ変換部１０６からの映像信号が入力される。積算部１１１は、１フレーム（１垂直同期期間）における映像信号の値をライン積算する。すなわち、積算部１１１は１水平ラインでの映像信号の合計値をライン積算値として算出する。なお、積算部１１１が、１水平ラインの全ての画素に対してライン積算してもよく、あるいは、１水平ラインの一部の画素に対してライン積算してもよい。積算部１１１は、ライン積算値を積算値保持部１１２に出力する。積算値保持部１１２は、メモリ等を備え、積算部１１１が算出したライン積算値を保持する。積算値保持部１１２は、ライン積算値を水平ラインごとに記憶する。従って、積算値保持部１１２には、複数のライン積算値が格納される。さらに、積算値保持部１１２は、複数フレーム分のライン積算値を記憶する。 The integration unit 111 receives a video signal from the image A / D conversion unit 106. The integration unit 111 performs line integration of the values of the video signal in one frame (one vertical synchronization period). That is, the integrating unit 111 calculates the total value of the video signals in one horizontal line as the line integrated value. Note that the integration unit 111 may perform line integration for all pixels in one horizontal line, or may perform line integration for some pixels in one horizontal line. The integration unit 111 outputs the line integration value to the integration value holding unit 112. The integrated value holding unit 112 includes a memory or the like, and holds the line integrated value calculated by the integrating unit 111. The integrated value holding unit 112 stores the line integrated value for each horizontal line. Therefore, the integrated value holding unit 112 stores a plurality of line integrated values. Furthermore, the integrated value holding unit 112 stores line integrated values for a plurality of frames.

例えば、フレームレートが６０ｆｐｓ、商用電源周波数が５０Ｈｚの場合、３フレーム毎にフリッカ成分の位相が同じとなる。したがって３フレーム分の映像信号を用いると、フリッカ成分の無い信号を得られる。積算値保持部１１２は、３フレーム分のライン積算値を格納する。 For example, when the frame rate is 60 fps and the commercial power supply frequency is 50 Hz, the phase of the flicker component is the same every three frames. Therefore, when a video signal for three frames is used, a signal having no flicker component can be obtained. The integrated value holding unit 112 stores line integrated values for three frames.

平均値計算部１１３は、３フレーム（３垂直同期期間）分のライン積算値の平均値を水平ラインごとに算出する。平均値計算部１１３は、計算した平均値を正規化部１１４に出力する。正規化部１１４は、３フレームでのライン積算値の平均値と、現フレームでのライン積算値とに基づいて、正規化を行う。すなわち、正規化部１１４は、現フレームでのライン積算値を、平均値で除することによって、正規化を行う。こうすることで、映像信号を正規化することができ、フリッカ成分を含む映像から被写体そのものの輝度（ＤＣ成分）を除去できる。 The average value calculation unit 113 calculates an average value of line integrated values for three frames (three vertical synchronization periods) for each horizontal line. The average value calculation unit 113 outputs the calculated average value to the normalization unit 114. The normalizing unit 114 performs normalization based on the average value of the line integrated values in the three frames and the line integrated value in the current frame. That is, the normalization unit 114 performs normalization by dividing the line integrated value in the current frame by the average value. In this way, the video signal can be normalized, and the luminance (DC component) of the subject itself can be removed from the video including the flicker component.

正規化されたライン積算値は、正規化ライン積算値として、正規化値保持部１１５に保持される。すなわち、正規化値保持部１１５は、メモリ等を備えており、正規化ライン積算値を格納する。正規化部１１４、及び正規化値保持部１１５は、正規化ライン積算値をフレーム間ＤＦＴ処理部１１６に出力する。 The normalized line integrated value is held in the normalized value holding unit 115 as a normalized line integrated value. That is, the normalized value holding unit 115 includes a memory and stores the normalized line integrated value. The normalization unit 114 and the normalization value holding unit 115 output the normalized line integrated value to the inter-frame DFT processing unit 116.

フレーム間ＤＦＴ処理部１１６は、正規化ライン積算値に対して、フレーム間で離散フーリエ変換（ＤＦＴ）処理を行う。すなわち、フレーム間ＤＦＴ処理部１１６は、１ラインでの正規化ライン積算値に基づいて、フレーム間ＤＦＴ処理を行う。具体的には、１ラインでの正規化ライン積算値をｍ（ｍは２以上の整数）フレーム分用意する。ある特定の水平ラインの映像信号は、１フレーム期間、すなわち、１垂直周期期間ごとに、繰り返し取得されるので、ライン積算値、及び正規化ライン積算値は、時系列に沿った時間領域のデータとなる。そして、ｍ個の正規化ライン積算値に基づいて、フレーム間ＤＦＴ処理を行う。 The inter-frame DFT processing unit 116 performs a discrete Fourier transform (DFT) process between frames on the normalized line integrated value. That is, the inter-frame DFT processing unit 116 performs the inter-frame DFT processing based on the normalized line integrated value for one line. Specifically, normalized line integrated values for one line are prepared for m (m is an integer of 2 or more) frames. Since a video signal of a specific horizontal line is repeatedly acquired every frame period, that is, every vertical cycle period, the line integration value and the normalized line integration value are time domain data in time series. It becomes. Then, an inter-frame DFT process is performed based on the m normalized line integration values.

これにより、その水平ラインでの振幅スペクトルと位相スペクトルが算出される。すなわち、複数フレーム（複数の垂直同期期間）に渡る時間領域の正規化ライン積算値を、離散フーリエ変換することで、周波数領域のデータに変化する。フレーム間ＤＦＴ処理部１１６は、ＤＣ成分を除去した同一ラインでの正規化ライン積算値を複数フレームに渡って、フレーム間ＤＦＴ処理する。フレーム間ＤＦＴ処理部１１６は、振幅スペクトルと位相スペクトルをフリッカ成分算出部１１７に出力する。このように、フレーム間ＤＦＴ処理部１１６は、１ラインの正規化ライン積算値に対してフレーム間ＤＦＴ処理を施し、振幅スペクトル及び位相スペクトルを算出する。なお、フレーム間ＤＦＴ処理を行うフレーム数を増やすことで、ＤＦＴ点数を増やすことができる。これにより、周波差分解能を高くすることができるため、より適切にフリッカ補正することができる。もちろん、ＤＦＴ処理を行うフレーム数（ＤＦＴ点数）は、ＬＳＩ（Large Scale Integration）の回路規模等に応じて決定すればよい。 Thereby, an amplitude spectrum and a phase spectrum in the horizontal line are calculated. That is, the normalized line integrated value in the time domain over a plurality of frames (a plurality of vertical synchronization periods) is converted into frequency domain data by performing a discrete Fourier transform. The inter-frame DFT processing unit 116 performs inter-frame DFT processing over a plurality of frames of the normalized line integrated value on the same line from which the DC component is removed. The inter-frame DFT processing unit 116 outputs the amplitude spectrum and the phase spectrum to the flicker component calculation unit 117. As described above, the inter-frame DFT processing unit 116 performs the inter-frame DFT processing on the normalized line integrated value of one line, and calculates the amplitude spectrum and the phase spectrum. It should be noted that the number of DFT points can be increased by increasing the number of frames on which inter-frame DFT processing is performed. Thereby, since the frequency difference resolution can be increased, flicker correction can be performed more appropriately. Of course, the number of frames to be subjected to DFT processing (number of DFT points) may be determined according to the circuit scale of LSI (Large Scale Integration) or the like.

フリッカ成分算出部１１７は、振幅スペクトル、及び位相スペクトルのうちの、フリッカ成分の周波数（ここでは、１００Ｈｚ）に着目して、フリッカ成分の情報を算出する。例えば、フリッカ成分算出部１１７は、フリッカ成分の周波数での、振幅と位相を算出する。これにより、フリッカ成分の振幅Ａと、そのフレームでのその水平ラインにおける位相θを算出することができる。フリッカ成分算出部１１７は、振幅Ａと位相θを振幅／初期位相計算部１１８に出力する。 The flicker component calculation unit 117 calculates the flicker component information by paying attention to the frequency (100 Hz in this case) of the flicker component in the amplitude spectrum and the phase spectrum. For example, the flicker component calculation unit 117 calculates the amplitude and phase at the frequency of the flicker component. Thereby, the amplitude A of the flicker component and the phase θ in the horizontal line in the frame can be calculated. Flicker component calculation section 117 outputs amplitude A and phase θ to amplitude / initial phase calculation section 118.

振幅／初期位相計算部１１８は、ある１ラインの位相θに基づいて、初期位相θｉｎｉを算出する。フリッカ成分の周期をライン数に換算したライン数換算値が分かっているので、ＤＦＴ処理を行った水平ラインでの位相θを基に、１ライン目（先頭ライン）での位相、すなわち、そのフレームでの初期位相θｉｎｉを求めることができる。具体的には、ＤＦＴ処理を行ったＤＦＴ処理ラインと、先頭ラインとの間のライン数に応じた位相値だけ、位相θを加算、又は減算することで、初期位相θｉｎｉを求めることができる。振幅／初期位相保持部１１９は、メモリを有しており、振幅／初期位相計算部１１８が算出した初期位相θｉｎｉ及び振幅Ａを保持する。 The amplitude / initial phase calculation unit 118 calculates the initial phase θini based on the phase θ of one line. Since the line number converted value obtained by converting the cycle of the flicker component into the number of lines is known, the phase at the first line (first line) based on the phase θ at the horizontal line subjected to DFT processing, that is, the frame The initial phase θini at can be obtained. Specifically, the initial phase θini can be obtained by adding or subtracting the phase θ by the phase value corresponding to the number of lines between the DFT processing line subjected to the DFT processing and the leading line. The amplitude / initial phase holding unit 119 has a memory, and holds the initial phase θini and the amplitude A calculated by the amplitude / initial phase calculating unit 118.

これにより、フリッカ成分の初期位相、振幅、及び周期を求めることができるため、各ラインでの補正ゲインを求めることができる。各水平ラインの補正ゲインＧは、以下の（１）式のようになる。 Thereby, since the initial phase, amplitude, and cycle of the flicker component can be obtained, the correction gain in each line can be obtained. The correction gain G for each horizontal line is expressed by the following equation (1).

Ｇ＝１−Ａｓｉｎ（（２πＬｎ）／Ｌ＋θｉｎｉ）・・・（１） G = 1−Asin ((2πLn) / L + θini) (1)

なお、Ａはフリッカ成分の振幅、Ｌｎは各ラインのライン番号、Ｌはフリッカ成分１周期分のライン数換算値、θｉｎｉは当該フレームの初期位相である。１画面中に、フリッカが５／３周期分発生するため、ライン数換算値Ｌは、１画面のライン数の３／５に相当する値である。 Note that A is the flicker component amplitude, Ln is the line number of each line, L is the line number converted value for one cycle of flicker component, and θini is the initial phase of the frame. Since flicker occurs for 5/3 periods in one screen, the line number converted value L is a value corresponding to 3/5 of the number of lines in one screen.

（１）式の右辺第二項の各値はフリッカ成分より求めたものであり、補正ゲインはフリッカ成分の逆相でなければならないので符号がマイナスとなっている。正弦波の値は、正弦波のＲＯＭテーブルを用意しておき、当該ラインの画素が読み出される際にその値を係数として用いる構成とすることが好ましい。ＲＯＭテーブルを用意しておくことで、初期位相θｉｎｉから、全水平ラインの位相を容易に求めることができる。なお、正弦波のＲＯＭテーブルは１／４周期分を持てばよく、1周期分を持つよりも回路規模を削減できるのは言うまでもない。 Each value of the second term on the right side of the equation (1) is obtained from the flicker component, and since the correction gain must be in reverse phase of the flicker component, the sign is negative. For the sine wave value, it is preferable to prepare a sine wave ROM table and use the value as a coefficient when the pixels of the line are read out. By preparing the ROM table, the phases of all horizontal lines can be easily obtained from the initial phase θini. The sine wave ROM table only needs to have a quarter period, and it is needless to say that the circuit scale can be reduced as compared with one period.

上記のようなフリッカ成分の逆相の補正ゲインを映像信号に乗じることにより、フリッカ補正が可能となる。被写体が静止している場合には十分な補正効果が得られるが、被写体に動物体がある場合には補正精度が落ちてしまう。被写体に動物体が存在すると映像信号がフレーム間で急激に変化するので、当該ラインのライン積算値が大きく変化してしまうためである。上記ＤＦＴ処理は過去の複数フレームのライン積算値を用いるので、映像信号の急激な変化が起きると、本来３フレームであるはずのライン積算値の周期性が瞬間的に崩れる。したがって適切なフリッカ成分が得られないので、補正ゲインが最適値とならず、結果として誤補正となって画質を悪化させる。 Flicker correction can be performed by multiplying the video signal by the correction gain of the reverse phase of the flicker component as described above. A sufficient correction effect can be obtained when the subject is stationary, but the correction accuracy is reduced when the subject has a moving object. This is because if the moving object is present in the subject, the video signal changes abruptly between frames, and the line integrated value of the line changes greatly. Since the DFT processing uses the line integration values of a plurality of past frames, the periodicity of the line integration values, which should originally be 3 frames, is momentarily broken when a sudden change in the video signal occurs. Accordingly, since an appropriate flicker component cannot be obtained, the correction gain does not become an optimum value, resulting in erroneous correction and deterioration of image quality.

そこで、本実施の形態では、１フレーム中においてＤＦＴ処理するＤＦＴ処理ラインを１ラインだけではなく複数の水平ラインとしている。すなわち、複数のＤＦＴ処理ラインに対して、それぞれフリッカ成分の情報（振幅、及び位相）を抽出する。具体的には、複数のＤＦＴ処理ラインの正規化ライン積算値をフレーム間ＤＦＴ処理することで得られた振幅Ａ、及び初期位相θｉｎｉの平均値を平均値計算部１２０が求めている。 Therefore, in this embodiment, the DFT processing line for performing the DFT processing in one frame is not only one line but a plurality of horizontal lines. That is, flicker component information (amplitude and phase) is extracted for each of a plurality of DFT processing lines. Specifically, the average value calculation unit 120 obtains the average value of the amplitude A and the initial phase θini obtained by performing the inter-frame DFT processing on the normalized line integrated values of a plurality of DFT processing lines.

従って、積算部１１１、積算値保持部１１２、正規化部１１４は、１フレームから抽出された複数の水平ラインのそれぞれに対して、上記した処理を行う。そして、積算値保持部１１２、及び正規化値保持部１１５は、複数の水平ラインのそれぞれに対して、ライン積算値、及び正規化ライン積算値を保持する。 Accordingly, the integration unit 111, the integration value holding unit 112, and the normalization unit 114 perform the above-described processing on each of a plurality of horizontal lines extracted from one frame. Then, the integrated value holding unit 112 and the normalized value holding unit 115 hold the line integrated value and the normalized line integrated value for each of the plurality of horizontal lines.

フレーム間ＤＦＴ処理部１１６がｎ個（ｎは２以上の整数）の水平ラインでの正規化ライン積算値に対して、それぞれフレーム間ＤＦＴ処理を行っている。例えば、図５に示すように、１フレームからＤＦＴ処理が施される水平ラインをｎ個抽出する。ＤＦＴ処理が施されるＤＦＴラインをＤＦＴ処理ラインＬ_ＤＦＴ１〜Ｌ＿ＤＦＴｎのｎラインとする
。 The inter-frame DFT processing unit 116 performs inter-frame DFT processing for each normalized line integrated value in n (n is an integer of 2 or more) horizontal lines. For example, as shown in FIG. 5, n horizontal lines to be subjected to DFT processing are extracted from one frame. The DFT lines on which DFT processing is performed are n lines of DFT processing lines L_DFT1 to L_DFTn.

フレーム間ＤＴＦ処理部１１６は、ｍフレーム分のＤＦＴ処理ラインＬ_ＤＦＴ１の正規化ライン積算値に対して、フレーム間ＤＦＴ処理を実行する。さらに、フレーム間ＤＴＦ処理部１１６は、ｍフレーム分のＤＦＴ処理ラインＬ_ＤＦＴ２の正規化ライン積算値に対してフレーム間ＤＦＴ処理を実行する。そして、フレーム間ＤＦＴ処理部１１６は、ＤＦＴ処理ラインＬ_ＤＦＴｎまで、ｎ回のフレーム間ＤＦＴ処理を実行する。この結果、ｎ個の振幅スペクトルとｎ個の位相スペクトルが算出される。 The inter-frame DTF processing unit 116 performs inter-frame DFT processing on the normalized line integrated value of the DFT processing line L_DFT1 for m frames. Further, the inter-frame DTF processing unit 116 performs inter-frame DFT processing on the normalized line integrated value of the DFT processing line L_DFT2 for m frames. Then, the inter-frame DFT processing unit 116 performs n inter-frame DFT processing up to the DFT processing line L_DFTn. As a result, n amplitude spectra and n phase spectra are calculated.

そして、フリッカ成分算出部１１７は、それぞれのフレーム間ＤＦＴ処理結果に対して、フリッカ成分の情報を算出する。すなわち、フリッカ成分算出部１１７は、フリッカ成分の周波数に着目して、ｎ個の振幅、ｎ個の位相を算出する。なお、各ＤＦＴ処理ラインでの算出結果を識別するため、ＤＦＴ処理ラインＬ_ＤＦＴ１のＤＦＴ結果より得られた振幅、及び位相を、それぞれＡ１、及びθ１とする。同様にＤＦＴ処理ラインＬ_ＤＦＴｎのＤＦＴ結果より得られた振幅、及び位相を、それぞれＡｎ、及びθｎとして識別する。 The flicker component calculation unit 117 calculates flicker component information for each inter-frame DFT processing result. That is, the flicker component calculation unit 117 calculates n amplitudes and n phases by paying attention to the frequency of the flicker components. In order to identify the calculation result in each DFT processing line, the amplitude and phase obtained from the DFT result of the DFT processing line L_DFT1 are A1 and θ1, respectively. Similarly, the amplitude and phase obtained from the DFT result of the DFT processing line L_DFTn are identified as An and θn, respectively.

振幅／初期位相計算部１１８は、位相θ１〜θｎのそれぞれに基づいて、初期位相θｉｎｉを算出する。例えば、振幅／初期位相計算部１１８は、先頭ラインとＤＦＴ処理ラインＬ_ＤＦＴ１との間の水平ライン数に応じた位相値だけ、位相θ１を加算、又は減算することで、初期位相θｉｎｉ−１を求める。同様に、振幅／初期位相計算部１１８は、先頭ラインとＤＦＴ処理ラインＬ_ＤＦＴ２との間の水平ライン数に応じた位相値だけ、位相θ２を加算、又は減算することで、初期位相θｉｎｉ−２を求める。振幅／初期位相計算部１１８が、この処理を、全てのＤＦＴ処理ラインＬ_ＤＦＴ１〜Ｌ_ＤＦＴｎに対して行うことで、初期位相θｉｎｉ−１〜初期位相θｉｎｉ−ｎを算出する。そして、振幅／初期位相保持部１１９が、初期位相θｉｎｉ−１〜初期位相θｉｎｉ−ｎ、及び振幅Ａ１〜Ａｎを記憶する。 The amplitude / initial phase calculation unit 118 calculates the initial phase θini based on each of the phases θ1 to θn. For example, the amplitude / initial phase calculation unit 118 obtains the initial phase θini−1 by adding or subtracting the phase θ1 by the phase value corresponding to the number of horizontal lines between the first line and the DFT processing line L_DFT1. . Similarly, the amplitude / initial phase calculation unit 118 adds or subtracts the phase θ2 by the phase value corresponding to the number of horizontal lines between the first line and the DFT processing line L_DFT2, thereby obtaining the initial phase θini-2. Ask. The amplitude / initial phase calculation unit 118 calculates the initial phase θini−1 to initial phase θini−n by performing this process on all the DFT processing lines L_DFT1 to L_DFTn. Then, the amplitude / initial phase holding unit 119 stores the initial phase θini-1 to the initial phase θini-n and the amplitudes A1 to An.

平均値計算部１２０は、振幅Ａ１〜Ａｎの平均値と、初期位相θｉｎｉ−１〜初期位相θｉｎｉ−ｎの平均値を算出する。そして、平均値計算部１２０は、算出した振幅の平均値を振幅Ａ＿ａｖｅとして、補正ゲイン計算部１２１に出力する。同様に、平均値計算部１２０は、算出した初期位相の平均値を初期位相θｉｎｉ＿ａｖｅとして補正ゲイン計算部１２１に出力する。そして、補正ゲイン計算部１２１は、振幅Ａ＿ａｖｅ、及び初期位相θｉｎｉ＿ａｖｅから、補正ゲインＧを算出する。補正ゲインＧは、式（１）のＡをＡ＿ａｖｅとし、θｉｎｉをθｉｎｉ＿ａｖｅとすることで、算出することができる。このように、補正ゲイン計算部１２１は複数ラインでの振幅の平均値、及び初期位相の平均値から、補正ゲインＧを算出する。 The average value calculation unit 120 calculates the average value of the amplitudes A1 to An and the average value of the initial phase θini-1 to the initial phase θini-n. Then, the average value calculation unit 120 outputs the calculated average value of amplitudes to the correction gain calculation unit 121 as the amplitude A_ave. Similarly, the average value calculation unit 120 outputs the calculated average value of the initial phases to the correction gain calculation unit 121 as the initial phase θini_ave. Then, the correction gain calculation unit 121 calculates the correction gain G from the amplitude A_ave and the initial phase θini_ave. The correction gain G can be calculated by setting A in equation (1) to A_ave and θini to θini_ave. In this way, the correction gain calculation unit 121 calculates the correction gain G from the average value of the amplitudes in a plurality of lines and the average value of the initial phase.

補正ゲイン計算部１２１は、算出した補正ゲインＧを補正部１２２に出力する。補正部１２２は、補正ゲインＧを用いて、フリッカ補正を行う。すなわち、補正部１２２は、対応する水平ラインの補正ゲインＧを映像信号に乗じて、出力する。補正ゲインＧは、フリッカ成分と逆相になっているため、補正ゲインＧを映像信号に乗じることで、フリッカ補正が可能となる。そして、撮像素子１０４で撮像された動画像の各フレームの画像に対して、フリッカ補正部１０７が上記の処理を繰り返し行うことで、補正ゲインＧを更新していく。 The correction gain calculation unit 121 outputs the calculated correction gain G to the correction unit 122. The correction unit 122 performs flicker correction using the correction gain G. In other words, the correction unit 122 multiplies the video signal by the correction gain G of the corresponding horizontal line and outputs it. Since the correction gain G is out of phase with the flicker component, flicker correction can be performed by multiplying the video signal by the correction gain G. Then, the flicker correction unit 107 repeatedly performs the above processing on the image of each frame of the moving image captured by the image sensor 104, thereby updating the correction gain G.

このように、本実施形態では、複数の水平ラインに対して、フレーム間ＤＦＴ処理を施している。そして、複数の水平ラインのフレーム間ＤＦＴ処理結果に基づいて、補正ゲインＧを算出している。各水平ラインのフレーム間ＤＦＴ処理によって得られた振幅及び初期位相を平均化している。これにより、被写体に動物体がある場合にもその影響を受けず、ＣＭＯＳフリッカを精度良く補正することが可能となる。 Thus, in this embodiment, the inter-frame DFT processing is performed on a plurality of horizontal lines. Then, the correction gain G is calculated based on the inter-frame DFT processing results of a plurality of horizontal lines. The amplitude and initial phase obtained by inter-frame DFT processing for each horizontal line are averaged. This makes it possible to correct the CMOS flicker with high accuracy without being affected by a moving subject.

また、映像信号からＤＣ成分を除去してからフリッカ成分を求めている。すなわち、正規化部１１４が複数フレーム間の映像信号の平均値によって、映像信号を正規化している。そして、フレーム間ＤＦＴ処理部１１６は、正規化ライン積算値に基づいて、ＤＦＴ処理を行っている。これにより、被写体の輝度によらず精度良く補正することが可能になる。よって、特許文献２に比して、適切にフリッカを低減することができる。 Further, the flicker component is obtained after removing the DC component from the video signal. That is, the normalization unit 114 normalizes the video signal based on the average value of the video signal between a plurality of frames. The inter-frame DFT processing unit 116 performs DFT processing based on the normalized line integrated value. Thereby, it becomes possible to correct with high accuracy irrespective of the luminance of the subject. Therefore, flicker can be appropriately reduced as compared with Patent Document 2.

また、フレーム間ＤＦＴ処理部１１６が、複数フレームに渡る映像信号を用いて、フレーム間ＤＦＴ処理を行っている。すなわち、複数フレームに渡る正規化ライン積算値に基づいて、フレーム間ＤＦＴ処理を行っている。これにより、１フレーム内にフリッカ成分が１周期分無い場合でも、精度の良い補正が可能である。１フレーム内にフリッカ成分が１周期分無い高速撮像モードの場合であっても、特許文献１に比して、精度よくフリッカ補正することができる。 Further, the inter-frame DFT processing unit 116 performs inter-frame DFT processing using video signals over a plurality of frames. That is, the inter-frame DFT processing is performed based on the normalized line integrated value over a plurality of frames. As a result, even when there is no flicker component for one period in one frame, it is possible to correct with high accuracy. Even in the case of the high-speed imaging mode in which there is no flicker component for one cycle in one frame, flicker correction can be performed with higher accuracy than in Patent Document 1.

さらに、補正ゲイン計算部１２１が、補正ゲイン用の正弦波テーブルを持っていてもよい。そして、補正ゲイン計算部１２１がそのテーブルを参照して、補正ゲインＧを算出してもよい。フリッカ環境であれば正弦波状のフリッカ成分が重畳していることになるので、補正ゲイン計算部１２１が振幅と初期位相が算出できれば補正ゲインＧを容易に生成することができる。また、複数ライン間での初期位相情報にバラツキがあっても補正ゲインの正弦波の形が確保できるので、フリッカ成分と補正ゲインの形状のミスマッチが起こるのを防ぐことができる。 Further, the correction gain calculation unit 121 may have a sine wave table for correction gain. Then, the correction gain calculation unit 121 may calculate the correction gain G with reference to the table. In a flicker environment, sinusoidal flicker components are superimposed, so that the correction gain G can be easily generated if the correction gain calculation unit 121 can calculate the amplitude and the initial phase. Further, since the shape of the sine wave of the correction gain can be ensured even if the initial phase information among a plurality of lines varies, it is possible to prevent a mismatch between the flicker component and the shape of the correction gain.

正弦波ではない周期性を持ったフリッカ成分について、フリッカ成分の波形に応じたテーブルを用意するようにしてもよい。正弦波ではないフリッカ成分に対しても、ＲＯＭテーブルを変更するだけで容易に対応することができる。すなわち、フリッカ成分の波形に応じたテーブルを予め用意して、使用環境に応じてテーブルを切り替えて、用いることが可能である。 For flicker components having a periodicity that is not a sine wave, a table corresponding to the flicker component waveform may be prepared. Flicker components that are not sine waves can be easily dealt with by simply changing the ROM table. That is, it is possible to prepare a table corresponding to the flicker component waveform in advance and switch the table according to the use environment.

なお、ＤＦＴ処理するライン数は特に限定されるものではなく、回路規模と性能に応じて決定することができる。図５では、ＤＦＴ処理ラインＬ_ＤＦＴ１〜Ｌ＿ＤＦＴｎを４ライン毎に等間隔で配置しているが、１フレームから抽出されるＤＦＴ処理ラインの数は、２以上であれば、その数及び配置は特に限定されるものではない。 The number of lines to be DFT processed is not particularly limited and can be determined according to the circuit scale and performance. In FIG. 5, DFT processing lines L_DFT1 to L_DFTn are arranged at equal intervals for every four lines. However, the number and arrangement of DFT processing lines extracted from one frame are particularly limited if the number is two or more. Is not to be done.

実施の形態２．
本実施の形態にかかる撮像装置、及びフリッカ低減方法について、図６を用いて説明する。図６は、撮像装置１の制御系の一部を示すブロック図である。本実施の形態では、実施の形態１の構成に加えて、フリッカ補正を行うか否かを判定する環境判定部１３０が設けられている。なお、実施の形態１と重複する構成について、適宜省略して説明する。例えば、フリッカ補正部１０７におけるフリッカ成分算出処理は、実施の形態１と同様であるため説明を省略する。 Embodiment 2. FIG.
The imaging apparatus and flicker reduction method according to this embodiment will be described with reference to FIG. FIG. 6 is a block diagram illustrating a part of the control system of the imaging apparatus 1. In the present embodiment, in addition to the configuration of the first embodiment, an environment determination unit 130 that determines whether or not to perform flicker correction is provided. Note that the description of the same structure as that in Embodiment 1 is omitted as appropriate. For example, the flicker component calculation processing in the flicker correction unit 107 is the same as that in Embodiment 1, and thus the description thereof is omitted.

環境判定部１３０は、撮像装置１が使用されている使用環境において、フリッカが発生しているか否かを判定する。すなわち、環境判定部１３０は、使用環境が、フリッカが発生しているフリッカ環境であるか、フリッカが発生していない非フリッカ環境であるかを判定する。環境判定部１３０は、判定結果に応じた補正制御信号をフリッカ補正部１０７に出力する。 The environment determination unit 130 determines whether or not flicker occurs in the usage environment in which the imaging apparatus 1 is used. In other words, the environment determination unit 130 determines whether the usage environment is a flicker environment in which flicker has occurred or a non-flicker environment in which flicker has not occurred. The environment determination unit 130 outputs a correction control signal corresponding to the determination result to the flicker correction unit 107.

フリッカ補正部１０７は、補正制御信号に基づいて、フリッカ補正を行うか否かを決定する。フリッカ環境の場合は、フリッカ補正部１０７がフリッカ補正を行う。フリッカ環境では、フリッカ補正部１０７がフリッカ補正を行った映像信号を出力する。一方、非フリッカ環境の場合は、フリッカ補正部１０７がフリッカ補正を行わない。非フリッカ環境では、フリッカ補正部１０７がフリッカ補正を行っていない映像信号をそのまま出力する。 The flicker correction unit 107 determines whether or not to perform flicker correction based on the correction control signal. In the case of a flicker environment, the flicker correction unit 107 performs flicker correction. In the flicker environment, the flicker correction unit 107 outputs a video signal subjected to flicker correction. On the other hand, in a non-flicker environment, the flicker correction unit 107 does not perform flicker correction. In a non-flicker environment, the flicker correction unit 107 outputs a video signal that has not been subjected to flicker correction as it is.

以下、環境判定部１３０の構成について、図７を用いて説明する。図７は、フリッカ補正部１０７、及び環境判定部１３０の構成を示すブロック図である。なお、フリッカ補正部１０７については、実施の形態１と同様であるため、説明を省略する。環境判定部１３０は、積算部１３１、積算値保持部１３２、平均値計算部１３３、正規化部１３４、正規化値保持部１３５、フレーム間ＤＦＴ処理部１３６、フリッカ成分算出部１３７、常時補正部１４１、比較部１４２、及び補正制御信号生成部１４３を備えている。 Hereinafter, the configuration of the environment determination unit 130 will be described with reference to FIG. FIG. 7 is a block diagram illustrating the configuration of the flicker correction unit 107 and the environment determination unit 130. Note that the flicker correction unit 107 is the same as that of the first embodiment, and a description thereof will be omitted. The environment determining unit 130 includes an integrating unit 131, an integrated value holding unit 132, an average value calculating unit 133, a normalizing unit 134, a normalized value holding unit 135, an interframe DFT processing unit 136, a flicker component calculating unit 137, and a constant correcting unit. 141, a comparison unit 142, and a correction control signal generation unit 143.

常時補正部１４１には、補正ゲイン計算部１２１からの補正ゲインＧが入力される。さらに、常時補正部１４１には、映像信号が入力される。常時補正部１４１は、補正ゲインＧを用いて、常時、映像信号をフリッカ補正する。すなわち、常時補正部１４１は、無条件で、映像信号に補正ゲインＧを乗じた値を算出する。そして、常時補正部１４１は、フリッカ補正した映像信号を積算部１３１に出力する。 The correction gain G from the correction gain calculation unit 121 is input to the constant correction unit 141. Further, a video signal is input to the constant correction unit 141. The constant correction unit 141 always performs flicker correction on the video signal using the correction gain G. That is, the constant correction unit 141 unconditionally calculates a value obtained by multiplying the video signal by the correction gain G. Then, the constant correction unit 141 outputs the video signal subjected to flicker correction to the integration unit 131.

積算部１３１、積算値保持部１３２、平均値計算部１３３、正規化部１３４、正規化値保持部１３５、フレーム間ＤＦＴ処理部１３６、フリッカ成分算出部１３７は、それぞれ積算部１１１、積算値保持部１１２、平均値計算部１１３、正規化部１１４、正規化値保持部１１５、フレーム間ＤＦＴ処理部１１６、フリッカ成分算出部１１７に対応している。したがって、積算部１３１、積算値保持部１３２、平均値計算部１３３、正規化部１３４、正規化値保持部１３５、フレーム間ＤＦＴ処理部１３６、フリッカ成分算出部１３７は、それぞれ積算部１１１、積算値保持部１１２、平均値計算部１１３、正規化部１１４、正規化値保持部１１５、フレーム間ＤＦＴ処理部１１６、フリッカ成分算出部１１７と同様の処理を行う。フリッカ成分算出部１３７は、フリッカ補正された映像信号に対して、フリッカ成分の振幅、及び位相を算出する。フリッカ成分算出部１３７は、算出した振幅、及び位相を比較部１４２に出力する。 The integration unit 131, the integration value holding unit 132, the average value calculation unit 133, the normalization unit 134, the normalized value holding unit 135, the inter-frame DFT processing unit 136, and the flicker component calculation unit 137 are the integration unit 111 and the integration value holding, respectively. Corresponds to the unit 112, the average value calculation unit 113, the normalization unit 114, the normalized value holding unit 115, the inter-frame DFT processing unit 116, and the flicker component calculation unit 117. Therefore, the integration unit 131, the integration value holding unit 132, the average value calculation unit 133, the normalization unit 134, the normalized value holding unit 135, the inter-frame DFT processing unit 136, and the flicker component calculation unit 137 are respectively the integration unit 111 and the integration. The same processing as the value holding unit 112, the average value calculating unit 113, the normalizing unit 114, the normalized value holding unit 115, the interframe DFT processing unit 116, and the flicker component calculating unit 117 is performed. The flicker component calculation unit 137 calculates the amplitude and phase of the flicker component with respect to the video signal subjected to the flicker correction. The flicker component calculation unit 137 outputs the calculated amplitude and phase to the comparison unit 142.

さらに、フリッカ成分算出部１１７は、フリッカ成分の振幅、及び位相を比較部１４２に出力する。すなわち、フリッカ成分算出部１１７は、フリッカ補正していない映像信号のフリッカ成分の情報を比較部１４２に出力する。比較部１４２は、フリッカ成分算出部１３７からの補正有りフリッカ成分と、フリッカ成分算出部１１７からの補正なしフリッカ成分を比較する。そして、比較部１４２は、比較結果に応じた比較信号を補正制御信号生成部１４３に出力する。 Further, the flicker component calculation unit 117 outputs the amplitude and phase of the flicker component to the comparison unit 142. That is, the flicker component calculation unit 117 outputs the flicker component information of the video signal that has not been subjected to flicker correction to the comparison unit 142. The comparison unit 142 compares the flicker component with correction from the flicker component calculation unit 137 with the flicker component without correction from the flicker component calculation unit 117. Then, the comparison unit 142 outputs a comparison signal corresponding to the comparison result to the correction control signal generation unit 143.

フリッカが発生しているフリッカ環境であれば、常時補正部１４１での常時補正が適切な補正となる。したがって、常時補正後の映像信号のフリッカ成分が、補正なしでのフリッカ成分よりも小さくなる。反対に、フリッカが発生していない非フリッカ環境であれば、常時補正は、不適切な補正となる。したがって、常時補正後の映像信号のフリッカ成分が、補正なしでのフリッカ成分よりも大きくなる。 In a flicker environment where flicker occurs, the constant correction by the constant correction unit 141 is an appropriate correction. Therefore, the flicker component of the video signal after constant correction is smaller than the flicker component without correction. On the other hand, in a non-flicker environment where no flicker occurs, the constant correction is an inappropriate correction. Accordingly, the flicker component of the video signal after constant correction is larger than the flicker component without correction.

図８に、フリッカ環境と非フリッカ環境とにおけるフリッカ補正の有無のイメージ図を示す。図８の左上に示すように、フリッカ環境ではフリッカ成分が大きくなっている。フリッカ環境で取得された映像信号に対して常時補正を行うと、図８の右上に示すように、フリッカ成分が小さくなる。すなわち、補正部１２２の補正による効果があり、フリッカが低減される。
一方、非フリッカ環境では、図８の左下に示すように、フリッカ成分が小さくなっている。したがって、非フリッカ環境で取得された映像信号に対して常時補正を行うと、図８の右下に示すように、フリッカ成分が大きくなってしまう。非フリッカ環境では、常時補正部１４１による常時補正が誤補正となってしまう。すなわち、非フリッカ環境では、補正ゲインＧを用いた補正が逆効果となり、フリッカ成分を強調してしまう。 FIG. 8 shows an image diagram of the presence or absence of flicker correction in a flicker environment and a non-flicker environment. As shown in the upper left of FIG. 8, the flicker component is large in the flicker environment. When the video signal acquired in the flicker environment is always corrected, the flicker component becomes small as shown in the upper right of FIG. That is, there is an effect by the correction of the correction unit 122, and flicker is reduced.
On the other hand, in the non-flicker environment, the flicker component is small as shown in the lower left of FIG. Therefore, if correction is always performed on a video signal acquired in a non-flicker environment, the flicker component becomes large as shown in the lower right of FIG. In a non-flicker environment, the constant correction by the constant correction unit 141 is erroneously corrected. That is, in a non-flicker environment, correction using the correction gain G has an adverse effect and emphasizes the flicker component.

フリッカ補正部１０７にて生成される補正ゲインＧはフリッカ成分の周期に合わせたものなので、不適切な補正も３ＶＤ周期の位相となる。その結果、常時補正部１４１が不適切な補正をすると、フリッカ環境と同様の信号が発生することになる。不適切な補正が行われた映像信号に対して、フレーム間ＤＦＴ処理部１３６がフレーム間ＤＦＴ処理を行うと、フリッカ成分算出部１３７が大きなフリッカ成分を検出する。例えば、フリッカ成分算出部１３７で算出される振幅が大きくなる。 Since the correction gain G generated by the flicker correction unit 107 matches the cycle of the flicker component, inappropriate correction also has a phase of 3VD cycle. As a result, when the constant correction unit 141 performs an inappropriate correction, a signal similar to the flicker environment is generated. When the interframe DFT processing unit 136 performs the interframe DFT processing on the video signal that has been inappropriately corrected, the flicker component calculation unit 137 detects a large flicker component. For example, the amplitude calculated by the flicker component calculation unit 137 increases.

したがって、比較部１４２が補正有りの映像信号のフリッカ成分と、補正なしの映像信号のフリッカ成分の大小を比較することで、適切な補正かどうかを判断することができる。具体的には、フリッカ成分算出部１１７で算出された振幅と、フリッカ成分算出部１３７で算出された振幅を比較する。そして、フリッカ成分算出部１１７で算出された振幅がフリッカ成分算出部１３７で算出された振幅より小さい場合、比較部１４２は、非フリッカ環境と判定する。フリッカ成分算出部１１７で算出された振幅がフリッカ成分算出部１３７で算出された振幅より大きい場合、比較部１４２は、フリッカ環境と判定する。このように、フリッカ補正なしでの振幅と、フリッカ補正後の振幅を比較することで、撮像装置１がフリッカ環境で使用されているか、非フリッカ環境で使用されているかを適切に判定することができる。 Therefore, the comparison unit 142 can determine whether the correction is appropriate by comparing the flicker component of the video signal with correction and the flicker component of the video signal without correction. Specifically, the amplitude calculated by the flicker component calculation unit 117 and the amplitude calculated by the flicker component calculation unit 137 are compared. When the amplitude calculated by the flicker component calculation unit 117 is smaller than the amplitude calculated by the flicker component calculation unit 137, the comparison unit 142 determines that the environment is a non-flicker environment. When the amplitude calculated by the flicker component calculation unit 117 is larger than the amplitude calculated by the flicker component calculation unit 137, the comparison unit 142 determines that the flicker environment is present. In this way, by comparing the amplitude without flicker correction with the amplitude after flicker correction, it is possible to appropriately determine whether the imaging apparatus 1 is used in a flicker environment or in a non-flicker environment. it can.

比較部１４２での比較結果を実映像に対しての補正制御に用いる。例えば、比較部１４２は、比較結果を補正制御信号生成部１４３に出力する。補正制御信号生成部１４３は、補正を行うか否かを示す補正制御信号を補正部１２２に出力する。具体的には、補正制御信号生成部１４３は、ある一定回数以上、同じ比較結果が連続した場合、補正制御を切り替える補正制御信号を出力する。そして、補正部１２２は、補正制御信号に基づいて、フリッカ補正を行うか否かを制御する。補正を行う場合、補正部１２２は、補正ゲインＧを乗じた映像信号を出力する。補正を行わない場合、補正部１２２は、補正ゲインＧを乗じずに、映像信号をそのまま出力する。 The comparison result in the comparison unit 142 is used for correction control for an actual image. For example, the comparison unit 142 outputs the comparison result to the correction control signal generation unit 143. The correction control signal generation unit 143 outputs a correction control signal indicating whether or not to perform correction to the correction unit 122. Specifically, the correction control signal generation unit 143 outputs a correction control signal for switching correction control when the same comparison result continues for a certain number of times. Then, the correction unit 122 controls whether or not to perform flicker correction based on the correction control signal. When correction is performed, the correction unit 122 outputs a video signal multiplied by the correction gain G. When the correction is not performed, the correction unit 122 outputs the video signal as it is without multiplying the correction gain G.

なお、非フリッカ環境の場合には、常時補正に用いる補正ゲインＧの振幅はゼロ付近の小さな値となる。その場合、上記のような、不適切な常時補正ができなくなってしまう。すなわち、常時補正部１４１で常時補正された映像信号のフリッカ成分と、補正されていない映像信号のフリッカ成分の差が小さくなってしまう。この場合、比較部１４２での比較を適切に行えなくなってしまうおそれがある。したがって、常時補正用の最小振幅値を定めておき、補正ゲイン計算部１２１からの補正ゲインＧの振幅がそれを下回った際には最小振幅値で置き換える構成とすることが好ましい。これにより、環境判定を適切に行うことができる。 Note that in the case of a non-flicker environment, the amplitude of the correction gain G used for constant correction is a small value near zero. In that case, the above-mentioned inappropriate constant correction cannot be performed. That is, the difference between the flicker component of the video signal always corrected by the constant correction unit 141 and the flicker component of the video signal not corrected is reduced. In this case, there is a possibility that the comparison by the comparison unit 142 cannot be performed properly. Therefore, it is preferable that a minimum amplitude value for constant correction is determined and replaced when the amplitude of the correction gain G from the correction gain calculation unit 121 falls below the minimum amplitude value. Thereby, environment determination can be performed appropriately.

環境判定部１３０にて常時フリッカ補正を行い、その結果からフリッカ環境かどうかの判定を行う。よって、撮像装置１の使用環境が、フリッカ環境か否かを精度良く判定することができる。これによって、偶然、蛍光灯フリッカと同じ周波数成分を持つ動物体が被写体にあったとしても、誤ってフリッカ補正をしてしまうことがない。これにより、更に適切なフリッカ補正が可能となる。 The environment determination unit 130 always performs flicker correction, and determines whether the environment is a flicker environment based on the result. Therefore, it can be accurately determined whether or not the usage environment of the imaging apparatus 1 is a flicker environment. As a result, even if the subject has an object with the same frequency component as that of the fluorescent light flicker, the flicker correction is not erroneously performed. As a result, more appropriate flicker correction can be performed.

環境判定部１３０にて映像信号に対して内部で常時フリッカ補正を行う。比較部１４２が、常時補正の結果から得られるフリッカ成分を補正前の映像信号のフリッカ成分と比較する。補正制御信号生成部１４３が、比較結果に基づいて、補正制御信号を出力する。そして、補正部１２２は、補正制御信号生成部１４３からの補正制御信号を、実映像に対する補正制御に用いる。これにより、環境に応じてフリッカ補正のＯＮ／ＯＦＦを行うことができるので、非フリッカ環境において誤って補正してしまうことがない。さらに、実施の形態１と同様に、適切にフリッカを低減することができる。 The environment determination unit 130 always performs flicker correction internally on the video signal. The comparison unit 142 compares the flicker component obtained from the result of constant correction with the flicker component of the video signal before correction. The correction control signal generation unit 143 outputs a correction control signal based on the comparison result. Then, the correction unit 122 uses the correction control signal from the correction control signal generation unit 143 for correction control on the actual video. As a result, flicker correction can be turned ON / OFF according to the environment, so that the correction is not erroneously performed in a non-flicker environment. Furthermore, flicker can be reduced appropriately as in the first embodiment.

実施の形態３．
本実施の形態では、フレームレートによって異なるフリッカ成分に応じたＤＦＴ処理を行うことにより、高速撮像モードでのフリッカ補正を実現する。すなわち、本実施の形態では、実施の形態１、又は２に対して、高速撮像モードでのフリッカ補正を行う機能を追加している。 Embodiment 3 FIG.
In the present embodiment, flicker correction in the high-speed imaging mode is realized by performing DFT processing corresponding to flicker components that differ depending on the frame rate. That is, in this embodiment, a function of performing flicker correction in the high-speed imaging mode is added to the first or second embodiment.

例えば、撮像素子１０４のフレームレートが可変になっているとする。撮像素子１０４のフレームレートが変化すると、１フレーム内における映像信号のフリッカ成分が変化する。フレームレートが６０ｆｐｓの場合、上記したように１フレーム内に５／３周期分のフリッカ成分が含まれているが、フレームレートが１２０ｆｐｓとなると、１フレーム内に、５／６周期分のフリッカ成分が含まれることになる。 For example, assume that the frame rate of the image sensor 104 is variable. When the frame rate of the image sensor 104 changes, the flicker component of the video signal in one frame changes. When the frame rate is 60 fps, the flicker component for 5/3 period is included in one frame as described above. However, when the frame rate is 120 fps, the flicker component for 5/6 period is included in one frame. Will be included.

６０ｆｐｓを通常撮像モードとし、２倍速の１２０ｆｐｓを高速撮像モードとした場合のフレームレートとフリッカ成分についての比較を図９に示す。高速撮像モードではフレームレートが２倍になることで、フリッカ成分の周期が変わっている。例えば、通常撮像モードでは、初期位相が３Ｖ（３フレーム）毎に同じになるのに対して、高速撮像モードでは、初期位相が６Ｖ毎に同じになる。 FIG. 9 shows a comparison of the frame rate and the flicker component when 60 fps is set as the normal imaging mode and double speed 120 fps is set as the high speed imaging mode. In the high-speed imaging mode, the flicker component period is changed by doubling the frame rate. For example, in the normal imaging mode, the initial phase is the same every 3V (3 frames), whereas in the high-speed imaging mode, the initial phase is the same every 6V.

従って、フリッカ補正部１０７で検出されるフリッカ成分がフレームレートによって異なるので、ＤＣ成分を除去するための正規化処理における積算フレーム数が変わる。例えば６０ｆｐｓの場合は３フレーム分、１２０ｆｐｓの場合は６フレーム分のライン積算値が必要となる。 Accordingly, since the flicker component detected by the flicker correction unit 107 differs depending on the frame rate, the number of integrated frames in the normalization process for removing the DC component changes. For example, line integration values for 3 frames are required for 60 fps, and for 6 frames for 120 fps.

このように、映像信号からＤＣ成分を除去するためのライン積算値の正規化処理に必要な積算フレーム数が通常撮像モードの３Ｖ分から６Ｖ分に増加する。これはメモリの増加となるため、回路規模への影響が大きく、製造コストの増加を招いてしまう。また、ＤＦＴ処理でフリッカ成分を検出するためのＤＦＴ点数も変わるので、ＤＦＴ処理回路もそれぞれに適したものが必要となる。例えば、どちらも１次の係数で検出するとした場合、通常撮像モードではＤＦＴ点数が３点となり、高速撮像モードでは、ＤＦＴ点数が６点となる。フレーム間ＤＦＴ処理でのＤＦＴ点数が変わった場合、回路規模への影響が大きく、製造コストの増加を招いてしまう。また、ＬＳＩに搭載するという観点からは、予め設計対応したフレームレート以外でのフリッカ補正ができないおそれもある。 As described above, the number of integrated frames necessary for the normalization processing of the line integrated value for removing the DC component from the video signal increases from 3 V in the normal imaging mode to 6 V. Since this increases the memory, the influence on the circuit scale is large, and the manufacturing cost increases. In addition, since the number of DFT points for detecting flicker components in the DFT processing also changes, a DFT processing circuit suitable for each is required. For example, when both are detected by a first-order coefficient, the number of DFT points is 3 in the normal imaging mode, and the number of DFT points is 6 in the high-speed imaging mode. When the number of DFT points in the inter-frame DFT process changes, the influence on the circuit scale is great, resulting in an increase in manufacturing cost. Also, from the viewpoint of mounting on an LSI, there is a possibility that flicker correction cannot be performed at a frame rate other than that designed beforehand.

そこで、本実施の形態では、図１０に示すように、撮像装置１にＶＤ間引き部１５０を追加した構成としている。ＶＤ間引き部１５０が、撮像素子１０４の垂直同期信号ＶＤを間引いて、フリッカ補正用の垂直同期信号を生成している。ＶＤ間引き部１５０は間引いた後の垂直同期信号ＶＤをフリッカ補正部１０７、及び環境判定部１３０に出力している。フリッカ補正部１０７、及び環境判定部１３０は、間引いた後の垂直同期信号ＶＤに基づいて、動作する。 Therefore, in the present embodiment, as shown in FIG. 10, the VD thinning unit 150 is added to the imaging device 1. The VD thinning unit 150 thins out the vertical synchronization signal VD of the image sensor 104 to generate a vertical synchronization signal for flicker correction. The VD thinning unit 150 outputs the thinned vertical synchronization signal VD to the flicker correction unit 107 and the environment determination unit 130. The flicker correction unit 107 and the environment determination unit 130 operate based on the thinned vertical synchronization signal VD.

例えば、ＶＤ間引き部１５０は、例えば、６０ｆｐｓの通常撮像モードを基準として、１２０ｆｐｓの高速撮像モード時には２つに１つの垂直同期信号に間引く。この場合、フリッカ補正部１０７は、撮像素子１０４の２フレーム分の映像信号が１フレームの映像信号として認識する。ＶＤ間引き部１５０は、２４０ｆｐｓの高速撮像モード時には４つに１つの垂直同期信号となるように垂直同期信号ＶＤを間引く。間引かれた垂直同期信号ＶＤ（以下、間引き信号）はフリッカ補正部１０７、環境判定部１３０に送られ、フリッカ処理に用いられる。 For example, the VD thinning unit 150 thins out one vertical synchronizing signal every two in the high-speed imaging mode of 120 fps on the basis of the normal imaging mode of 60 fps, for example. In this case, the flicker correction unit 107 recognizes the video signal for two frames of the image sensor 104 as a video signal for one frame. The VD thinning unit 150 thins the vertical synchronization signal VD so that one vertical synchronization signal is provided for every four in the 240 fps high-speed imaging mode. The thinned vertical synchronization signal VD (hereinafter, thinned signal) is sent to the flicker correction unit 107 and the environment determination unit 130 and is used for flicker processing.

こうすることで、フリッカ処理内部では高速撮像モード時でも通常撮像モードと同様のフレームレートで処理することができる。なお、フリッカ処理ブロックの後段ブロックに送られる垂直同期信号ＶＤは間引かれないので後段ブロックへの影響は無い。ただし、フリッカ処理分と同等の遅延調整はされる。 By doing so, it is possible to perform processing at the same frame rate as in the normal imaging mode even in the high-speed imaging mode within the flicker processing. Note that since the vertical synchronization signal VD sent to the subsequent block of the flicker processing block is not thinned, there is no influence on the subsequent block. However, delay adjustment equivalent to the flicker processing is performed.

図１１に、６０ｆｐｓでの通常撮像モード時、垂直同期信号ＶＤを間引かない場合（以下、非間引き処理）の１２０ｆｐｓの高速撮像モード時、垂直同期信号ＶＤを間引いた場合（以下、間引き処理）の１２０ｆｐｓの高速撮像モード時の３つの動作比較例を示す。図１１では、通常撮像モード時を（ａ）、非間引き処理での高速撮像モード時を（ｂ）、間引き処理での高速撮像モード時を（ｃ）に示している。 FIG. 11 shows the case where the vertical synchronization signal VD is thinned out in the 120 fps high-speed imaging mode when the vertical synchronization signal VD is not thinned out in the normal imaging mode at 60 fps (hereinafter referred to as non-thinning processing) (hereinafter referred to as thinning out processing). Three operation comparison examples in the 120 fps high-speed imaging mode are shown. In FIG. 11, (a) shows the normal imaging mode, (b) shows the high-speed imaging mode in the non-thinning process, and (c) shows the high-speed imaging mode in the thinning process.

通常撮像モード時は３Ｖ毎のフリッカ成分周期なので、ＤＣ成分を除去するためには３フレーム分のライン積算値が必要になる。一方、非間引き処理での高速撮像モード時では６Ｖ毎のフリッカ成分周期なので、６フレーム分のライン積算値が必要になる。この場合、回路の最適化が必要になってしまう。しかしながら、間引き処理での高速撮像モード時では、通常撮像モードと同じ３Ｖ毎のフリッカ成分周期なので、通常撮像モードと同じ３フレーム分のライン積算値があればよい。高速撮像モード時であっても、回路規模を増大させることなく通常撮像モードと共通の処理が可能となる。 Since the flicker component cycle is every 3V in the normal imaging mode, line integrated values for three frames are required to remove the DC component. On the other hand, in the high-speed imaging mode in the non-thinning process, the flicker component period is every 6V, so that the line integrated value for 6 frames is required. In this case, circuit optimization becomes necessary. However, in the high-speed imaging mode in the thinning-out process, the flicker component cycle is every 3V as in the normal imaging mode. Even in the high-speed imaging mode, common processing with the normal imaging mode is possible without increasing the circuit scale.

フリッカ補正部１０７は、間引かれた信号に基づいて、補正ゲインＧを更新して、フリッカ補正を行う。なお、垂直同期信号ＶＤを間引いた場合と、間引かない場合とで、ＤＦＴ処理ライン数が同じであれば、フレーム内におけるＤＦＴ処理ラインの位置を同じにしてもよく、変更してもよい。例えば、６０ｆｐｓにおいて、４ラインおきにＤＦＴ処理ラインを抽出した場合、１２０ｆｐｓでは、撮像素子１０４の第１フレームにおいて、４ラインおきにＤＦＴラインを抽出することができる。この場合、撮像素子１０４の奇数フレームの映像信号に基づいて、補正ゲインＧが算出される。あるいは、撮像素子１０４の連続する２フレームにおいて、８ラインおきにＤＦＴ処理ラインを抽出することができる。これにより、ＤＦＴ処理ライン数を変えずに、補正ゲインＧを求めることができる。 The flicker correction unit 107 updates the correction gain G based on the thinned signal to perform flicker correction. If the number of DFT processing lines is the same when the vertical synchronization signal VD is thinned out and when it is not thinned out, the positions of the DFT processing lines in the frame may be the same or may be changed. For example, when DFT processing lines are extracted every 4 lines at 60 fps, DFT lines can be extracted every 4 lines in the first frame of the image sensor 104 at 120 fps. In this case, the correction gain G is calculated based on the odd-numbered frame video signal of the image sensor 104. Alternatively, DFT processing lines can be extracted every 8 lines in two consecutive frames of the image sensor 104. Thereby, the correction gain G can be obtained without changing the number of DFT processing lines.

上記の１２０ｆｐｓ以外の高速撮像時でも、フレームレートに合わせて垂直同期信号ＶＤを間引けば、同様の動作が可能である。したがって、回路設計時に補正可能なフレームレートが決定されてしまうことがなく、任意のフレームレートに対応できるのでフリッカ補正の性能向上が図れる。すなわち、ＶＤ間引き部１５０での間引き数を変えることで、１２０ｆｐｓ以外のフレームレートについても、６０ｆｐｓの場合と共通の回路で処理することができる。具体的には、基準処理（通常撮像モード時）となる６０ｆｐｓの整数倍のフレームレートについても、共通の回路で処理することができる。 Even during high-speed imaging other than the above 120 fps, the same operation is possible if the vertical synchronization signal VD is thinned out in accordance with the frame rate. Therefore, the frame rate that can be corrected is not determined at the time of circuit design, and it is possible to cope with an arbitrary frame rate, so that the performance of flicker correction can be improved. That is, by changing the thinning number in the VD thinning unit 150, a frame rate other than 120 fps can be processed by a circuit common to the case of 60 fps. Specifically, a frame rate that is an integral multiple of 60 fps, which is the standard process (in normal imaging mode), can be processed by a common circuit.

高速撮像モード時の、通常撮像モードとは異なるフレームレートにおいても回路規模を増加させることなく通常撮像モードと同様のフリッカ補正を実現することを目的とする。また、任意のフレームレートにおいても適用できるようにすることを目的とする。さらに、実施の形態１、又は２と同様の効果を得ることができる。 An object is to realize flicker correction similar to that in the normal imaging mode without increasing the circuit scale even at a frame rate different from that in the normal imaging mode in the high-speed imaging mode. It is another object of the present invention to be applicable at any frame rate. Furthermore, the same effect as in Embodiment 1 or 2 can be obtained.

ＶＤ間引き部１５０は、フリッカ補正用の垂直同期信号ＶＤを間引いている。そして、フリッカ補正部１０７が、間引かれた内部垂直同期信号に基づいて動作している。これにより、通常のフレームレートとは異なる高速撮像時においても、回路規模を増加させることなく通常撮像モード時と同様のＤＦＴ処理でフリッカ補正をすることができる。垂直同期信号の間引き数を可変設定するだけで基準処理の整数倍のフレームレートに対応できる
。これにより、回路設計時の想定外のフレームレートにも対応できる。フレームレートに応じた間引き設定をするだけで任意のフレームレートに対応することができる。基準処理の整数倍のフレームレートに対応するために、最もフレームレートが遅い場合を通常撮像モードとすればよい。 The VD thinning-out unit 150 thins out the vertical synchronization signal VD for flicker correction. The flicker correction unit 107 operates based on the thinned internal vertical synchronization signal. Thereby, even during high-speed imaging different from the normal frame rate, flicker correction can be performed by the same DFT processing as in the normal imaging mode without increasing the circuit scale. A frame rate that is an integral multiple of the reference processing can be accommodated simply by variably setting the thinning number of the vertical synchronization signal. Thereby, it is possible to cope with an unexpected frame rate at the time of circuit design. Arbitrary frame rates can be handled simply by setting the thinning out according to the frame rate. In order to cope with a frame rate that is an integral multiple of the reference processing, the normal imaging mode may be used when the frame rate is the slowest.

なお、本実施の形態では、実施の形態２の環境判定部１３０を有する撮像装置１において、ＶＤ間引き部１５０を設けたが、環境判定部１３０を用いない撮像装置１において、ＶＤ間引き部１５０を設けるようにしてもよい。 In the present embodiment, the VD thinning unit 150 is provided in the imaging device 1 having the environment determination unit 130 of the second embodiment. However, in the imaging device 1 that does not use the environment determination unit 130, the VD thinning unit 150 is provided. You may make it provide.

実施の形態１〜３の説明では、フリッカ成分の情報として、周波数、振幅、及び位相を用いたが、周波数、パワー、及び位相等を用いてもよい。もちろん、フレームレートや、蛍光灯フリッカの周期は、上記した値に限られるものではない。 In the description of the first to third embodiments, the frequency, amplitude, and phase are used as the flicker component information, but the frequency, power, phase, and the like may be used. Of course, the frame rate and the fluorescent light flicker cycle are not limited to the above values.

上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されても良い。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、ＣＤ−ＲＯＭ(Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ(例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM）、ＥＰＲＯＭ(Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ(Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 Part or all of the above processing may be executed by a computer program. The above-described program can be stored and supplied to a computer using various types of non-transitory computer readable media. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)) are included. The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。 As mentioned above, the invention made by the present inventor has been specifically described based on the embodiment. However, the present invention is not limited to the above embodiment, and various modifications can be made without departing from the scope of the invention. Needless to say.

１撮像装置、１００撮像部、
１０４撮像素子、１０７フリッカ補正部、１１１積算部
１１２積算値保持部、１１３平均値計算部、１１４正規化部
１１５正規化値保持部、１１６フレーム間ＤＦＴ処理部、
１１７フリッカ成分算出部、１１８振幅／初期位相計算部、
１１９振幅／初期位相保持部、１２０平均値計算部
１２１補正ゲイン計算部、１３０環境判定部、
１３７フリッカ成分算出部、１４１常時補正部、１４２比較部
１４３補正制御信号生成部、１５０ＶＤ間引き部 1 imaging device, 100 imaging unit,
104 image sensors, 107 flicker correction units, 111 integration units 112 integration value holding units, 113 average value calculation units, 114 normalization units 115 normalization value holding units, 116 inter-frame DFT processing units,
117 Flicker component calculation unit, 118 Amplitude / initial phase calculation unit,
119 Amplitude / initial phase holding unit, 120 Average value calculating unit 121 Correction gain calculating unit, 130 Environment determining unit,
137 Flicker component calculation unit, 141 constant correction unit, 142 comparison unit 143 correction control signal generation unit, 150 VD thinning unit

Claims

A flicker correction unit that corrects a flicker component included in the input video signal using the correction gain;
The flicker correction unit is
An integrating unit that calculates a line integrated value by performing line integration of video signals in one horizontal line in one vertical synchronization period ;
A normalization unit that calculates a normalized line integrated value obtained by normalizing the line integrated value based on the line integrated value in a plurality of vertical synchronization periods;
A Fourier transform processing unit for performing discrete Fourier transform on the normalized line integrated value over a plurality of vertical synchronization periods;
A flicker component calculating unit that calculates information on a flicker component based on a processing result in the Fourier transform processing unit ;
A correction gain calculation unit that calculates the correction gain based on information of the flicker component in the two or more horizontal lines ;
The flicker component information is calculated for the video signal corrected by the flicker correction unit, and the flicker component of the video signal whose flicker component is corrected by the flicker correction unit and the video in which the flicker component is not corrected An environment determination unit that determines whether the environment at the time of imaging the input video signal is a flicker environment by comparing the flicker component of the signal,
An image processing apparatus that outputs a video signal in which the flicker correction unit has not corrected a flicker component when the environment determination unit determines that the flicker environment is not present.

The imaging apparatus according to claim 1, wherein the correction gain calculation unit calculates the correction gain based on an average value of the flicker component information in the two or more horizontal lines.

When the frequency of the vertical synchronization signal of the input video signal has changed, further comprising a thinning unit that thins out the vertical synchronization signal,
The imaging apparatus according to claim 1, wherein the flicker correction unit operates in accordance with a signal thinned out by the thinning unit.

The imaging apparatus according to claim 1, wherein the correction gain calculation unit calculates the correction gain by referring to a value of a table corresponding to the flicker component waveform.

A flicker reduction method for reducing flicker of an input video signal,
  Calculating a line integrated value by performing line integration of video signals in one horizontal line in one vertical synchronization period;
  Calculating a normalized line integrated value obtained by normalizing the line integrated value based on the line integrated value in a plurality of vertical synchronization periods;
  Performing a discrete Fourier transform on the normalized line integration value over a plurality of vertical synchronization periods;
  Calculating flicker component information based on the processing result of the discrete Fourier transform;
  Calculating a correction gain based on information of the flicker component in two or more of the horizontal lines;
  Correcting the video signal using the correction gain;
  Calculating the flicker component information for the corrected video signal;
  By comparing the flicker component of the video signal in which the flicker component is corrected and the flicker component of the video signal in which the flicker component is not corrected, whether or not the environment at the time of imaging the input video signal is a flicker environment Determining
  Outputting a video signal in which the flicker component is not corrected when it is determined that the flicker environment is not present;
A flicker reduction method characterized by comprising:

The flicker reduction method according to claim 5, wherein the correction gain is calculated based on an average value of information of the flicker component in the two or more horizontal lines.

When the frequency of the vertical synchronization signal of the input video signal is changed, the vertical synchronization signal is thinned,
The flicker reduction method according to claim 5 or 6, wherein the correction is performed in accordance with a thinned signal .

The flicker reduction method according to claim 5, wherein the correction gain is calculated by referring to a value in a table corresponding to the flicker component waveform.