WO2012104932A1 - フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム - Google Patents

フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム Download PDF

Info

Publication number
WO2012104932A1
WO2012104932A1 PCT/JP2011/003192 JP2011003192W WO2012104932A1 WO 2012104932 A1 WO2012104932 A1 WO 2012104932A1 JP 2011003192 W JP2011003192 W JP 2011003192W WO 2012104932 A1 WO2012104932 A1 WO 2012104932A1
Authority
WO
WIPO (PCT)
Prior art keywords
flicker
average value
line
unit
value calculation
Prior art date
Application number
PCT/JP2011/003192
Other languages
English (en)
French (fr)
Inventor
豊田 圭司
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180004135.XA priority Critical patent/CN102754427B/zh
Priority to EP11824305.4A priority patent/EP2509301B1/en
Priority to US13/405,733 priority patent/US8542292B2/en
Publication of WO2012104932A1 publication Critical patent/WO2012104932A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Definitions

  • the present invention relates to a flicker correction technique for correcting a periodic change (hereinafter referred to as flicker) in an output signal of an image sensor mainly caused by illumination by an AC power source.
  • lighting that is lit by an AC power source repeats light and dark with luminance change at a frequency twice the power frequency.
  • periodic horizontal stripes so-called flickers, are generated in the image signal output from the imaging device.
  • the period of the periodic horizontal stripes is obtained from the drive frequency and power supply frequency of the image sensor.
  • the difference between the field period (1 / 59.94 sec) and the lighting blinking period (1/120 sec) is 16.67 ⁇ sec, the period until the field period and flicker period again match each other is every 500 fields. And appears on the screen as horizontal stripes that move very slowly. As described above, the image quality deterioration due to flicker is very disturbing.
  • a line average value is stored in a memory for each 1/3 phase of a period in which the phase of the field period and the flicker period again coincide with each other.
  • a reference value that eliminates the influence of flicker is created by averaging the average values, and flicker correction is performed.
  • flicker correction is performed when the subject is stationary, but processing is performed so that the flicker correction is not performed when the subject is moving, so that it is difficult to be influenced by the motion of the subject.
  • a flicker reduction device is realized.
  • the memory for storing the line average value is updated every 1/3 phase of the cycle in which the phase of the field cycle and the flicker cycle again match, and in particular, the 60 Hz flicker in the NTSC system.
  • three average values of an average value delayed for 167 field periods, an average value delayed for 334 field periods, and an average value delayed for 500 field periods are obtained to create a reference value that eliminates the influence of flicker. For this reason, if there is a movement in the 500 field period, a correct reference value cannot be obtained, so that a flicker cannot be detected, or at least the first flicker is determined even if it is a stationary subject. There was a problem that it took more than 500 field periods.
  • the present invention has been made to solve the problems of the conventional methods as described above, and provides a flicker correction apparatus, a flicker correction method, and a flicker correction program that determine and correct flicker in a short time. Objective.
  • a flicker correction apparatus is a flicker correction apparatus that reduces 60 Hz flicker of an image captured at a field frequency of the NTSC system using an image sensor whose exposure time is point-sequential or line-sequential.
  • a line average value calculating unit that calculates an average value for each line of the effective period of the input image signal; a storage unit that stores the average value obtained by the line average value calculating unit in units of one field period; The average value obtained by the line average value calculation unit, the motion detection unit for detecting motion from the output change of the average value one field before stored in the storage unit, and the line average value calculation unit obtained A difference value calculation unit for calculating a difference value between the average value and the average value before n fields (n is an integer value of a multiple of 3) obtained by the storage unit; and a plane value obtained by the line average value calculation unit.
  • a division value calculation unit that calculates a division value of the difference value obtained by the value and the difference value calculation unit, a flicker component extraction unit that extracts a flicker frequency from the result of the division value calculation unit, and the flicker component extraction unit, A flicker determination unit that determines the presence / absence of flicker and a flicker frequency of 60 Hz from the result of the motion detection unit, a flicker correction gain calculation unit that calculates a flicker correction gain synchronized with the flicker frequency from the result of the flicker determination unit, and the flicker
  • the image processing apparatus includes a flicker correction gain multiplication unit that multiplies the image signal by the correction gain from the correction gain calculation unit.
  • the flicker correction method of the present invention is a flicker correction method for reducing flicker of an image picked up using an image sensor whose exposure time is point-sequential or line-sequential, and for each line of the effective period of the input image signal.
  • a line average value calculating step for calculating an average value a storage step for storing the average value obtained in the line average value calculating step in one field period unit, an average value obtained in the line average value calculating step,
  • a motion detection step of detecting motion from the stored output change of the average value of the previous field, the average value obtained in the line average value calculation step, and the n field (n is 3) obtained in the storage step;
  • a difference value calculation step of calculating a difference value from the previous average value, and the average value obtained in the line average value calculation step and the difference A division value calculation step for calculating a division value of the difference value obtained in the calculation step, a flicker component extraction step for extracting a flicker frequency from the result of the division value calculation step, a result of
  • the flicker correction program of the present invention is a flicker correction program for reducing flicker in an image captured using an image sensor whose exposure time is point-sequential or line-sequential, and for causing a computer to execute the following steps.
  • This is a flicker correction program.
  • a line average value calculating step for calculating an average value for each effective period of the input image signal; a storage step for storing the average value obtained in the line average value calculating step in one field period; and the line average value
  • the average value obtained in the calculation step, the motion detection step for detecting motion from the stored output change of the average value one field before, the average value obtained in the line average value calculation step, and the storage step A difference value calculation step for calculating a difference value from the average value before the n field (n is an integer value of a multiple of 3) obtained in the step, and the average value obtained in the line average value calculation step and the difference value calculation.
  • a division value calculation step for calculating a division value of the difference value obtained in the step, and a flicker component extraction step for extracting a flicker frequency from the result of the division value calculation step.
  • a flicker determination step for determining the presence or absence of flicker and a flicker frequency of 60 Hz from the results of the flicker component extraction step and the motion detection step, and a flicker correction gain synchronized with the flicker frequency is calculated from the result of the flicker determination step.
  • the block diagram which shows the structure of the flicker correction apparatus in one Example of this invention The figure which shows an example of the image which flicker has generate
  • FIG. 1 is a diagram showing an embodiment of a flicker correction apparatus according to the present invention.
  • 100 is a line average calculation unit
  • 101 is a line average value before one field storage unit
  • 102 is a line average value storage unit before two fields
  • 103 is a line average value storage unit before n fields
  • 104 is a three field average value calculation.
  • 105 is a difference value calculation unit
  • 106 is a first division value calculation unit
  • 107 is a second division value calculation unit
  • 108 is a 50 Hz flicker component extraction unit
  • 109 is a 60 Hz flicker component extraction unit
  • 110 is a motion detection unit.
  • 111 is a microcomputer
  • 112 is a flicker determination unit
  • 113 is a flicker correction gain calculation unit
  • 114 is a flicker correction gain multiplication unit
  • 115 is a delay unit.
  • the line average calculation unit 100 calculates an average value for each line of the effective period of the input image signal.
  • the one-field previous line average value storage unit 101 and the two-field previous line average value storage unit 102 can hold a line average value for one field, and each outputs it with a delay of one field period.
  • the line average value storage unit 103 before n fields can hold the line average value for one field, and outputs it after delaying an arbitrary n field period.
  • the output y0 of the line average calculation unit 100, the output y-1 of the line average value storage unit 101 before field 1, and the average value of the output y-2 of the line average value storage unit 102 before field 2 are calculated. Calculate. That is, the average of the line average values at the same line position for every three fields is calculated, and a reference value that eliminates the influence of flicker is created.
  • the first division value calculation unit 106 divides the line average value output from the line average calculation unit 100 by the average value output from the three-field average value calculation unit 104, thereby eliminating flickering of the subject. Find the signal.
  • the difference value calculation unit 105 subtracts the n field previous line average value output from the n field previous line average value storage unit 103 from the line average value output from the line average calculation unit 100.
  • the second division value calculation unit 107 divides the difference value output from the difference value calculation unit 105 by the average value output from the line average calculation unit 100 to obtain a flicker signal from which the density of the subject is eliminated. .
  • the 50 Hz flicker component extraction unit 108 converts the frequency of the flicker signal calculated by the first division value calculation unit 106 and extracts only the frequency region of the 50 Hz flicker component.
  • the 60 Hz flicker component extraction unit 109 converts the frequency of the flicker signal calculated by the second division value calculation unit 107 and extracts only the frequency region of the 60 Hz flicker component.
  • the motion detection unit 110 detects the motion of the subject by comparing the difference between the line average value output from the line average calculation unit 100 and the average value output from the one-field previous line average value storage unit 101 with a certain threshold value. .
  • the flicker determination unit 112 determines the presence / absence of flicker and 50 Hz / 60 Hz based on the detection results of the motion detection unit 110 and the results of the 50 Hz flicker component extraction unit 108 and the 60 Hz flicker component extraction unit 109.
  • the flicker correction gain generation unit 113 generates a sine wave synchronized with the flicker frequency by superimposing trigonometric functions based on the result of the flicker determination unit 112.
  • the flicker correction multiplication unit 114 multiplies the image signal that has been delay-adjusted by the delay unit 115 by a flicker correction gain, thereby reducing the flicker of the input image.
  • the delay unit 115 adjusts a delay corresponding to generation of a correction gain for an input image signal.
  • the operation of the flicker correction apparatus of the present embodiment configured as described above will be described below.
  • the content of the operation is a flicker correction method for reducing flicker of an image captured using an image sensor whose exposure time is dot-sequential or line-sequential, and each operation (step) is executed using a computer. Obviously it can be done.
  • the program is a flicker correction program for reducing flicker of an image captured using an image sensor whose exposure time is point-sequential or line-sequential, and causes the computer to execute the following operations (steps). This is a flicker correction program.
  • Image signals captured using an image sensor whose exposure time is point-sequential or line-sequential are input to the line average calculation unit 100 and the delay unit 115 when input to the flicker correction apparatus shown in FIG.
  • the line average calculation unit 100 calculates an average value for each line of the effective period of the input image signal.
  • the calculated average value y0 is the one-field previous line average value storage unit 101, the n-field previous line average value storage unit 103, the three-field average value calculation unit 104, the difference value calculation unit 105, the first division value calculation unit 106,
  • the result is input to the second division value calculation unit 107 and the motion detection unit 110.
  • the one-field previous line average value storage unit 101 stores the input line average value y0 and outputs an average value y-1 delayed by one field period.
  • the average value y ⁇ 1 output from the one-field previous line average value storage unit 101 is input to the two-field previous line average value storage unit 102, the three-field average value calculation unit 104, and the motion detection unit 110.
  • the two-field previous line average value storage unit 102 stores the input line average value y-1, and outputs an average value y-2 delayed by one field.
  • y0, y-1, and y-2 are input to the three-field average value calculation unit 104.
  • the three-field average value calculation unit 104 generates a reference value that eliminates the influence of flicker by calculating the average of the same line average values of the three fields based on the input y0, y-1, and y-2.
  • the average value calculated by the three-field average value calculation unit 104 is input to the first division value calculation unit.
  • the first division value calculation unit 106 divides the line average value output from the line average calculation unit 100 by the average value output from the three-field average value calculation unit 104, thereby eliminating the flicker signal from which the density of the subject is eliminated. Is calculated.
  • the difference value calculation unit 105 subtracts the n field previous line average value output from the n field previous line average value storage unit 103 from the line average value output from the line average calculation unit 100 to obtain the second divided value. Input to the calculation unit 107.
  • the second division value calculation unit 107 divides the difference value output from the difference value calculation unit 105 by the average value output from the line average calculation unit 100 to calculate a flicker signal from which the density of the subject is excluded. .
  • Fig. 3 is a plot of the line average value of the image. As shown in this figure, the line average value is a signal in which the flicker component is modulated by the density of the subject.
  • Is (y) DC component of the y line (corresponding to the contrast of the subject)
  • the line average value circulates in three fields, it is possible to extract the shade of the subject from which the influence of flicker is eliminated by calculating the average value for three fields.
  • FIG. 5 shows a result of dividing the line average value of the current field by the average value of the three fields obtained previously, and a flicker signal excluding the contrast of the subject is extracted.
  • FIG. 7 shows the result of dividing the difference value between the two fields obtained previously by the line average value of the current field, and a flicker signal excluding the shade of the subject is extracted.
  • the line average value in the n 1 and n 2 frames is expressed by the following formula.
  • n is a multiple of 3 and 9, 12, 15, 18,... That can secure a difference to some extent in order to avoid the influence of 50 Hz flicker.
  • a 60 Hz flicker signal can be extracted in a minimum of about 10 frames.
  • the flicker signal output from the first division value calculation unit 106 is input to the 50 Hz flicker component extraction unit 108.
  • the 50 Hz flicker component extraction unit 108 converts the frequency of the input flicker signal, and extracts only the frequency region of the 50 Hz flicker component.
  • the flicker component extracted by the 50 Hz flicker component extraction unit 108 is input to the flicker determination unit 112.
  • the flicker signal output from the second division value calculation unit 107 is input to the 60 Hz flicker component extraction unit 109.
  • the 60 Hz flicker component extraction unit 109 converts the frequency of the input flicker signal and extracts only the frequency region of the 60 Hz flicker component.
  • the flicker component extracted by the 60 Hz flicker component extraction unit 109 is input to the flicker determination unit 112.
  • the motion detection unit 110 compares the difference between the line average value output from the line average calculation unit 100 and the average value output from the one-field previous line average value storage unit 101 with a certain threshold value to determine whether or not there is a motion of the subject. Is input to the flicker determination unit 112.
  • the flicker determination unit 112 Based on the detection result of the motion detection unit 110 and the results of the 50 Hz flicker component extraction unit 108 and the 60 Hz flicker component extraction unit 109, the flicker determination unit 112 adjusts flicker components according to the presence or absence of motion, the presence or absence of flicker, Determination is performed, and the flicker component based on the determination result is input to the flicker correction gain generation unit 113.
  • the flicker correction gain generation unit 113 generates a sine wave synchronized with the flicker frequency by superimposing trigonometric functions based on the result of the flicker determination unit 112 and inputs the sine wave to the flicker correction multiplication unit.
  • the flicker correction multiplication unit 114 multiplies the image signal subjected to delay adjustment by the delay unit 115 by a flicker correction gain.
  • the flicker correction multiplication unit 114 outputs a signal with corrected flicker.
  • the flicker correction apparatus As described above, according to the flicker correction apparatus according to the present embodiment, it is possible to provide an apparatus, a method, and a program for detecting and correcting flicker frequency at high speed even when there is little phase shift between the field period and the flicker period. Is possible.
  • the apparatus, method, and program for flicker correction according to the present invention can detect and correct the flicker frequency at high speed even when the phase shift between the field period and the flicker period is small. This is useful in the field of camera systems where shooting locations such as movie cameras, in-vehicle cameras, and portable cameras are not fixed and flicker correction of different frequencies is required.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Abstract

 ライン平均算出部100は入力画像信号の有効期間のライン毎の平均値を算出する。3フィールド平均値算出部104は3フィールドの同ライン平均値の平均を算出することでフリッカの影響を排除した基準値を作成し、現在のフレームのライン平均値をこの基準値で除算して被写体の濃淡が排除された50Hzフリッカ信号を算出する。差分値算出部105は現在のフィールドのライン平均値からnフィールド前のライン平均値を減算し、差分値を現在のフィールドのライン平均値で除算して被写体の濃淡が排除された60Hzフリッカ信号を算出する。フリッカ判定部112は50Hzフリッカ成分抽出部108と60Hzフリッカ成分抽出部109の結果に基づいてフリッカの有無や50/60Hzの判定を行いフリッカ補正を行う。これにより、フィールド周期とフリッカ周期の位相のズレが少ない場合でもフリッカの周波数を高速に検出し補正する装置が提供される。

Description

フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム
 本発明は、主に交流電源による照明等に起因する撮像素子の出力信号における周期的変化(以下、フリッカと記す)を補正するフリッカ補正技術に関するものである。
 一般に、交流電源で点灯されている照明(電球、蛍光灯、水銀灯など)は電源周波数の2倍の周波数で輝度変化を伴い明暗を繰り返している。このような照明下で露光時刻が点順次または線順次である撮像素子を用いて被写体を撮像すると、撮像素子出力の画像信号に周期的な横縞、いわゆるフリッカを生じる。この周期的な横縞の周期は撮像素子の駆動周波数と電源周波数から求まる。
 例えば、50Hzの交流電源で点灯する一般的な蛍光灯は100Hzで発光を繰り返すため、NTSC方式では、水平走査(以下、ラインと記す)周波数が15.75kHzであるので1/100sec=157.5ライン毎に明暗を繰り返す。また、フィールドの周期(1/59.94sec)と照明の点滅周期(1/100sec)との公倍数は1/20secであるため、1/20sec即ちほぼ3フィールド毎に同じ明暗のパターンとなる。
 また、60Hzの交流電源で点灯する蛍光灯は120Hzで発光を繰り返すため、1/120sec=131.3ライン毎に明暗を繰り返す。また、フィールドの周期(1/59.94sec)と照明の点滅周期(1/120sec)とのズレは16.67μsecであるため、フィールド周期とフリッカ周期とが再度合致するまでの周期は500フィールド毎となり、非常にゆっくり動く横縞となって画面上に現れる。このようにフリッカによる画質劣化は非常に目障りなものとなる。
 このような問題に対して、特許文献1に開示されている技術では、フィールド周期とフリッカ周期の位相が再度合致する周期の1/3位相毎にライン平均値をメモリに記憶しておき、それら平均値を平均することでフリッカの影響を排除した基準値を作成し、フリッカ補正を行っている。特にNTSC方式で60Hzのフリッカを受ける場合は、被写体が静止している時にはフリッカ補正をするが、被写体が動いている時にはフリッカ補正を行わないように処理することで、被写体の動きに影響され難いフリッカ低減装置を実現している。
特開2009-81684号公報
 しかしながら、従来手法においては、フィールド周期とフリッカ周期の位相が再度合致する周期の1/3位相毎にライン平均値を記憶しておくメモリを更新するようにしており、特にNTSC方式で60Hzのフリッカを受ける場合は、167フィールド期間遅延した平均値と334フィールド期間遅延した平均値と500フィールド期間遅延した平均値の3つの平均値を求めてフリッカの影響を排除した基準値を作成している。このため、500フィールド期間に動きがあった場合、正しい基準値が求められないので、フリッカ検出が出来ないという問題や、静止した被写体であっても初回のフリッカの有無を判定するまでに最低でも500フィールド期間以上の時間を要するという問題があった。
 本発明は、上述したような従来手法の問題を解決するためになされたもので、短時間にフリッカの有無を判定し補正するフリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラムを提供することを目的とする。
 上記課題を解決するために、本発明のフリッカ補正装置は、露光時刻が点順次または線順次である撮像素子を用いてNTSC方式のフィールド周波数で撮像した画像の60Hzフリッカを低減させるフリッカ補正装置であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、前記ライン平均値算出部で得られた平均値を1フィールド期間単位で記憶する記憶部と、前記ライン平均値算出部で得られた平均値と、前記記憶部に格納されている1フィールド前の平均値の出力変化から動きを検出する動き検出部と、前記ライン平均値算出部で得られた平均値と前記記憶部で得られたnフィールド(nは3の倍数の整数値)前の平均値との差分値を算出する差分値算出部と、前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値の除算値を算出する除算値算出部と、前記除算値算出部の結果からフリッカ周波数を抽出するフリッカ成分抽出部と、前記フリッカ成分抽出部と動き検出部の結果からフリッカの有無や60Hzのフリッカ周波数を判定するフリッカ判定部と、前記フリッカ判定部の結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、前記フリッカ補正ゲイン算出部からの補正ゲインを画像信号に乗ずるフリッカ補正ゲイン乗算部を備えた構成を有する。
 この構成により、被写体の濃淡などの影響を排除したフリッカ成分の抽出が高速に行えるので、様々な被写体で適切なフリッカ補正をすることができる。
 また、本発明のフリッカ補正方法は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、前記ライン平均値算出ステップで得られた平均値を1フィールド期間単位で記憶する記憶ステップと、前記ライン平均値算出ステップで得られた平均値と、前記記憶されている1フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで得られたnフィールド(nは3の倍数の整数値)前の平均値との差分値を算出する差分値算出ステップと、前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値の除算値を算出する除算値算出ステップと、前記除算値算出ステップの結果からフリッカ周波数を抽出するフリッカ成分抽出ステップと、前記フリッカ成分抽出ステップと動き検出ステップの結果からフリッカの有無や60Hzのフリッカ周波数を判定するフリッカ判定ステップと、前記フリッカ判定ステップの結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、前記フリッカ補正ゲイン算出ステップからの補正ゲインを画像信号に乗ずるフリッカ補正ゲイン乗算ステップを備えた構成を有する。
 この構成により、被写体の濃淡などの影響を排除したフリッカ成分の抽出が高速に行えるので、様々な被写体で適切なフリッカ補正をすることができる。
 また、本発明のフリッカ補正プログラムは、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記のステップを実行させるためのフリッカ補正プログラムである。入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、前記ライン平均値算出ステップで得られた平均値を1フィールド期間単位で記憶する記憶ステップと、前記ライン平均値算出ステップで得られた平均値と、前記記憶されている1フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで得られたnフィールド(nは3の倍数の整数値)前の平均値との差分値を算出する差分値算出ステップと、前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値の除算値を算出する除算値算出ステップと、前記除算値算出ステップの結果からフリッカ周波数を抽出するフリッカ成分抽出ステップと、前記フリッカ成分抽出ステップと動き検出ステップの結果からフリッカの有無や60Hzのフリッカ周波数を判定するフリッカ判定ステップと、前記フリッカ判定ステップの結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、前記フリッカ補正ゲイン算出ステップからの補正ゲインを画像信号に乗ずるフリッカ補正ゲイン乗算ステップ。
 本発明によれば、フィールド周期とフリッカ周期の位相のズレが少ない場合でも高速にフリッカ補正をすることができるという優れた効果を有する。
本発明の一実施例におけるフリッカ補正装置の構成を示すブロック図 フリッカが発生している画像の一例を示す図 図2の画像のライン平均値を示す図 3フィールドのライン平均値を示す図 現在のフィールドのライン平均値を3フィールド分の平均値で除算した結果を示す図 現在のフィールドとnフィールド前のライン平均値の差分値を示す図 差分値を現在のフィールドのライン平均値で除算した結果を示す図
 以下に、本発明の一実施例である露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正装置について、図面を参照しながら説明する。
 図1は、本発明におけるフリッカ補正装置の一実施例を示す図である。図1において100はライン平均算出部、101は1フィールド前ライン平均値記憶部、102は2フィールド前ライン平均値記憶部、103はnフィールド前ライン平均値記憶部、104は3フィールド平均値算出部、105は差分値算出部、106は第一の除算値算出部、107は第二の除算値算出部、108は50Hzフリッカ成分抽出部、109は60Hzフリッカ成分抽出部、110は動き検出部、111はマイコン、112はフリッカ判定部、113はフリッカ補正ゲイン算出部、114はフリッカ補正ゲイン乗算部、115は遅延部である。
 ライン平均算出部100は、入力画像信号の有効期間のライン毎の平均値を算出する。
 1フィールド前ライン平均値記憶部101及び2フィールド前ライン平均値記憶部102は1フィールド分のライン平均値を保持可能で、それぞれ1フィールド期間遅延して出力する。同様にnフィールド前ライン平均値記憶部103は1フィールド分のライン平均値を保持可能で、任意のnフィールド期間遅延して出力する。
 3フィールド平均値算出部104ではライン平均算出部100の出力y0、1フィールド前ライン平均値記憶部101の出力y-1、2フィールド前ライン平均値記憶部102の出力y-2の平均値を演算する。すなわち、3フィールド毎の同ライン位置のライン平均値の平均を算出し、フリッカの影響を排除した基準値を作成する。
 第一の除算値算出部106は、ライン平均算出部100から出力されるライン平均値を3フィールド平均値算出部104から出力される平均値で除算することで、被写体の濃淡が排除されたフリッカ信号を求める。
 差分値算出部105は、ライン平均算出部100から出力されるライン平均値からnフィールド前ライン平均値記憶部103から出力されるnフィールド前ライン平均値を減算する。
 第二の除算値算出部107は、差分値算出部105から出力される差分値をライン平均算出部100から出力される平均値で除算することで、被写体の濃淡が排除されたフリッカ信号を求める。
 50Hzフリッカ成分抽出部108は、第一の除算値算出部106で算出されるフリッカ信号を周波数変換し、50Hzのフリッカの成分の周波数領域だけを抽出する。
 60Hzフリッカ成分抽出部109は、第二の除算値算出部107で算出されるフリッカ信号を周波数変換し、60Hzのフリッカの成分の周波数領域だけを抽出する。
 動き検出部110は、ライン平均算出部100から出力されるライン平均値と1フィールド前ライン平均値記憶部101から出力される平均値の差分をあるスレッシュ値と比較して被写体の動きを検出する。
 フリッカ判定部112は、動き検出部110の検出結果と50Hzフリッカ成分抽出部108と60Hzフリッカ成分抽出部109の結果に基づいて、フリッカの有無、50Hz/60Hzの判定を行う。
 フリッカ補正ゲイン生成部113は、フリッカ判定部112の結果に基づいて、三角関数の重畳によりフリッカ周波数に同期した正弦波を生成する。
 フリッカ補正乗算部114は、遅延部115で遅延調整された画像信号に対してフリッカ補正ゲインを乗算することで、入力画像のフリッカを低減させる。
 遅延部115は、入力される画像信号に対して補正ゲインを生成するまでに相当する遅延分を調整するものである。
 以上のように構成された本実施例のフリッカ補正装置について、以下にその動作について説明する。なお、当該動作の内容は、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であり、その各動作(ステップ)をコンピュータを用いて実行することができることは明らかである。また、かかるプログラムは、露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、コンピュータに下記の各動作(ステップ)を実行させるためのフリッカ補正プログラムである。
 露光時刻が点順次または線順次である撮像素子を用いて撮像した画像信号は図1に示すフリッカ補正装置に入力されるとライン平均算出部100と遅延部115に入力される。ライン平均算出部100では、入力画像信号の有効期間のライン毎の平均値を算出する。算出された平均値y0は1フィールド前ライン平均値記憶部101、nフィールド前ライン平均値記憶部103、3フィールド平均値算出部104、差分値算出部105、第一の除算値算出部106、第二の除算値算出部107、動き検出部110に入力される。
 1フィールド前ライン平均値記憶部101は入力されたライン平均値y0を記憶し、1フィールド期間遅延した平均値y-1を出力する。1フィールド前ライン平均値記憶部101から出力される平均値y-1は2フィールド前ライン平均値記憶部102、3フィールド平均値算出部104、動き検出部110に入力される。2フィールド前ライン平均値記憶部102は入力されたライン平均値y-1を記憶し、1フィールド遅延した平均値y-2を出力する。これらより3フィールド平均値算出部104にはy0、y-1、y-2が入力される。3フィールド平均値算出部104では、入力されるy0、y-1,y-2に基づいて3フィールドの同ライン平均値の平均を算出することでフリッカの影響を排除した基準値を作成する。
 3フィールド平均値算出部104で算出された平均値は第一の除算値算出部に入力される。第一の除算値算出部106はライン平均算出部100から出力されるライン平均値を3フィールド平均値算出部104から出力される平均値で除算することで、被写体の濃淡が排除されたフリッカ信号を算出する。
 一方で、差分値算出部105はライン平均算出部100から出力されるライン平均値からnフィールド前ライン平均値記憶部103から出力されるnフィールド前ライン平均値を減算し、第二の除算値算出部107に入力する。第二の除算値算出部107は差分値算出部105から出力される差分値をライン平均算出部100から出力される平均値で除算することで、被写体の濃淡が排除されたフリッカ信号を算出する。
 ここまでの動作を図示しながら説明する。
 図2は、垂直走査周波数(フィールド周波数)が59.94Hz、水平走査周波数が15.75kHzであるNTSC方式で駆動している撮像装置で、fp=50Hzの交流電源で点灯する一般的な蛍光灯の照明下で白色チャートを撮影した場合の画像例を示す図である。
 図3はその画像のライン平均値をプロットしたものである。この図に示すように、ライン平均値は被写体の濃淡でフリッカ成分が変調されたような信号となる。
 電源周波数と撮像素子の駆動周波数の関係から、nフレームにおけるyラインの平均値Ys(Y,n)は以下の式で表される。
Figure JPOXMLDOC01-appb-M000001
 ここで、
Is(y):yラインの直流成分(被写体の濃淡に相当)
A:フリッカの大きさ
:水平走査周波数
:垂直走査周波数
:電源周波数
である。
 これより、
yラインについて、f/(2×f)ライン周期で横縞が現れ、
nフレームについて、(2π×2×f)/fで位相がシフトする。
 つまり、f=50Hz時のフリッカは、
/(2×f)=15.75kHz/100=157.5ライン周期で横縞が現れ、
1フィールドあたり、
(2π×2×f)/f=2π×100/59.94Hz≒2π×(1+2/3)
だけ位相がシフトすることから、三角関数の性質より3フィールドで一巡するものであることがわかる。
 同様に、f=60Hzの時フリッカは、
/(2×f)=15.75kHz/120=131.25ライン周期で横縞が現れ、
1フィールドあたり、
(2π×2×f)/f=2π×120/59.94Hz≒2π×(2+1/500)
だけ位相がシフトすることから、三角関数の性質より500フィールドで一巡するものであることがわかる。
 図4は、f=50Hz時の現在のフィールドのライン平均値と、1フィールド前のライン平均値と、2フィールド前のライン平均値と、それら3フィールド分の平均値をプロットしたものである。先に示したように、ライン平均値は3フィールドで一巡するので、3フィールド分の平均値を計算することで、フリッカの影響を排除した被写体の濃淡が抽出できる。
 図5は、現在のフィールドのライン平均値を先に求めた3フィールド分の平均値で除算した結果であり、被写体の濃淡を排除したフリッカ信号が抽出される。
 図6は、f=60Hz時の現在のフィールドのライン平均値と、nフィールド前のライン平均値と、それら2フィールドの差分値をプロットしたものである。
 図7は、先に求めた2フィールドの差分値を現在のフィールドのライン平均値で除算した結果であり、被写体の濃淡を排除したフリッカ信号が抽出される。
 被写体の濃淡を排除したフリッカ信号が抽出されることにつき、数式を用いて説明する。
 n、nフレームにおけるライン平均値は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000002
 上式を簡略化すると下記の[1]および[2]となり、これら[1]および[2]から求められる([2]-[1])/[2]は下式のとおりとなる。
Figure JPOXMLDOC01-appb-M000003
 一般的な蛍光灯によるフリッカは、A<<1であるので、上記([2]-[1])/[2]は下式で近似することができ、被写体の濃淡に影響されないフリッカ信号が抽出できる。
Figure JPOXMLDOC01-appb-M000004
 通常、nは50Hzのフリッカの影響を避けるために、3の倍数で且つある程度フィールドで差分が確保できる9、12、15、18・・を選択する。これにより最短で10フレーム程度で60Hzのフリッカ信号が抽出できることになる。
 第一の除算値算出部106から出力されたフリッカ信号は50Hzフリッカ成分抽出部108に入力される。50Hzフリッカ成分抽出部108は入力されるフリッカ信号を周波数変換し、50Hzのフリッカの成分の周波数領域だけを抽出する。50Hzフリッカ成分抽出部108で抽出されたフリッカ成分はフリッカ判定部112に入力される。
 また、第二の除算値算出部107から出力されたフリッカ信号は60Hzフリッカ成分抽出部109に入力される。60Hzフリッカ成分抽出部109は入力されるフリッカ信号を周波数変換し、60Hzのフリッカの成分の周波数領域だけを抽出する。60Hzフリッカ成分抽出部109で抽出されたフリッカ成分はフリッカ判定部112に入力される。
 動き検出部110は、ライン平均算出部100から出力されるライン平均値と1フィールド前ライン平均値記憶部101から出力される平均値の差分をあるスレッシュ値と比較して、被写体の動きの有無がフリッカ判定部112に入力される。
 フリッカ判定部112は、動き検出部110の検出結果と50Hzフリッカ成分抽出部108と60Hzフリッカ成分抽出部109の結果に基づいて、動きの有無によるフリッカ成分の調整やフリッカの有無、50Hz/60Hzの判定を行い、判定結果に基づいたフリッカ成分をフリッカ補正ゲイン生成部113に入力される。
 フリッカ補正ゲイン生成部113は、フリッカ判定部112の結果に基づいて、三角関数の重畳によりフリッカ周波数に同期した正弦波を生成し、フリッカ補正乗算部に入力される。
 フリッカ補正乗算部114は、遅延部115で遅延調整された画像信号に対してフリッカ補正ゲインを乗算する。フリッカ補正乗算部114からは、フリッカが補正された信号が出力される。
 以上に説明したとおり、本実施の形態に係るフリッカ補正装置によれば、フィールド周期とフリッカ周期の位相のズレが少ない場合でもフリッカの周波数を高速に検出し補正する装置、方法、およびプログラムの提供が可能である。
 上述のように、本発明に係るフリッカ補正のための装置、方法、およびプログラムは、フィールド周期とフリッカ周期の位相のズレが少ない場合でもフリッカの周波数を高速に検出し補正することができるので、ムービーカメラ、車載カメラ、携帯カメラなどの撮影場所が固定されず異なる周波数のフリッカ補正が必要とされるカメラシステムの分野において有用である。
100 ライン平均算出部
101 1フィールド前ライン平均値記憶部
102 2フィールド前ライン平均値記憶部
103 nフィールド前ライン平均値記憶部
104 3フィールド平均値算出部
105 差分値算出部
106 第一の除算値算出部
107 第二の除算値算出部
108 50Hzフリッカ成分抽出部
109 60Hzフリッカ成分抽出部
110 動き検出部
111 マイコン
112 フリッカ判定部
113 フリッカ補正ゲイン算出部
114 フリッカ補正ゲイン乗算部
115 遅延部

Claims (3)

  1.  露光時刻が点順次または線順次である撮像素子を用いてNTSC方式のフィールド周波数で撮像した画像の60Hzフリッカを低減させるフリッカ補正装置であって、
     入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出部と、
     前記ライン平均値算出部で得られた平均値を1フィールド期間単位で記憶する記憶部と、
     前記ライン平均値算出部で得られた平均値と、前記記憶部に格納されている1フィールド前の平均値の出力変化から動きを検出する動き検出部と、
     前記ライン平均値算出部で得られた平均値と前記記憶部で得られたnフィールド(nは3の倍数の整数値)前の平均値との差分値を算出する差分値算出部と、
     前記ライン平均値算出部で得られた平均値と前記差分値算出部で得られた差分値の除算値を算出する除算値算出部と、
     前記除算値算出部の結果からフリッカ周波数を抽出するフリッカ成分抽出部と、
     前記フリッカ成分抽出部と動き検出部の結果からフリッカの有無や60Hzのフリッカ周波数を判定するフリッカ判定部と、
     前記フリッカ判定部の結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出部と、
     前記フリッカ補正ゲイン算出部からの補正ゲインを画像信号に乗ずるフリッカ補正ゲイン乗算部と、
     を備えていることを特徴とするフリッカ補正装置。
  2.  露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正方法であって、
     入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップと、
     前記ライン平均値算出ステップで得られた平均値を1フィールド期間単位で記憶する記憶ステップと、
     前記ライン平均値算出ステップで得られた平均値と、前記記憶されている1フィールド前の平均値の出力変化から動きを検出する動き検出ステップと、
     前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで得られたnフィールド(nは3の倍数の整数値)前の平均値との差分値を算出する差分値算出ステップと、
     前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値の除算値を算出する除算値算出ステップと、
     前記除算値算出ステップの結果からフリッカ周波数を抽出するフリッカ成分抽出ステップと、
     前記フリッカ成分抽出ステップと動き検出ステップの結果からフリッカの有無や60Hzのフリッカ周波数を判定するフリッカ判定ステップと、
     前記フリッカ判定ステップの結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップと、
     前記フリッカ補正ゲイン算出ステップからの補正ゲインを画像信号に乗ずるフリッカ補正ゲイン乗算ステップと、
     を備えていることを特徴とするフリッカ補正方法。
  3.  露光時刻が点順次または線順次である撮像素子を用いて撮像した画像のフリッカを低減させるフリッカ補正プログラムであって、
     コンピュータに下記のステップを実行させるためのフリッカ補正プログラム。
     入力画像信号の有効期間のライン毎の平均値を算出するライン平均値算出ステップ;
     前記ライン平均値算出ステップで得られた平均値を1フィールド期間単位で記憶する記憶ステップ;
     前記ライン平均値算出ステップで得られた平均値と、前記記憶されている1フィールド前の平均値の出力変化から動きを検出する動き検出ステップ;
     前記ライン平均値算出ステップで得られた平均値と前記記憶ステップで得られたnフィールド(nは3の倍数の整数値)前の平均値との差分値を算出する差分値算出ステップ;
     前記ライン平均値算出ステップで得られた平均値と前記差分値算出ステップで得られた差分値の除算値を算出する除算値算出ステップ;
     前記除算値算出ステップの結果からフリッカ周波数を抽出するフリッカ成分抽出ステップ;
     前記フリッカ成分抽出ステップと動き検出ステップの結果からフリッカの有無や60Hzのフリッカ周波数を判定するフリッカ判定ステップ;
     前記フリッカ判定ステップの結果から、フリッカ周波数に同期したフリッカ補正ゲインを算出するフリッカ補正ゲイン算出ステップ;
     前記フリッカ補正ゲイン算出ステップからの補正ゲインを画像信号に乗ずるフリッカ補正ゲイン乗算ステップ。
     
PCT/JP2011/003192 2011-02-04 2011-06-07 フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム WO2012104932A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180004135.XA CN102754427B (zh) 2011-02-04 2011-06-07 闪烁校正装置和闪烁校正方法
EP11824305.4A EP2509301B1 (en) 2011-02-04 2011-06-07 Flicker compensation device, flicker compensation method, and flicker compensation program
US13/405,733 US8542292B2 (en) 2011-02-04 2012-02-27 Flicker correction device, flicker correction method and flicker correction program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-022849 2011-02-04
JP2011022849A JP5296112B2 (ja) 2011-02-04 2011-02-04 フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/405,733 Continuation US8542292B2 (en) 2011-02-04 2012-02-27 Flicker correction device, flicker correction method and flicker correction program

Publications (1)

Publication Number Publication Date
WO2012104932A1 true WO2012104932A1 (ja) 2012-08-09

Family

ID=46602180

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003192 WO2012104932A1 (ja) 2011-02-04 2011-06-07 フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム

Country Status (4)

Country Link
EP (1) EP2509301B1 (ja)
JP (1) JP5296112B2 (ja)
CN (1) CN102754427B (ja)
WO (1) WO2012104932A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200064139A1 (en) * 2016-01-25 2020-02-27 Tomtom Traffic B.V. Methods and systems for generating expected speeds of travel
CN113079322A (zh) * 2021-03-29 2021-07-06 豪威科技(上海)有限公司 成像系统及成像系统闪烁消除方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015115922A (ja) * 2013-12-16 2015-06-22 オリンパス株式会社 撮像装置および撮像方法
WO2016031402A1 (ja) 2014-08-27 2016-03-03 ソニー株式会社 撮像装置および撮像装置の制御方法
CN104378532B (zh) * 2014-11-28 2019-03-15 广东中星电子有限公司 一种抑制图像闪烁条纹的方法
CN105809639B (zh) * 2016-03-03 2019-01-11 上海大学 一种老电影褪色闪烁的修复方法
CN110445952B (zh) * 2019-07-15 2021-12-21 浙江大华技术股份有限公司 摄像头的画面闪烁处理方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222228A (ja) * 2002-11-18 2004-08-05 Sony Corp フリッカ低減方法、撮像装置およびフリッカ低減回路
JP2009081684A (ja) 2007-09-26 2009-04-16 Panasonic Corp フリッカ低減装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003198932A (ja) * 2001-12-27 2003-07-11 Sharp Corp フリッカ補正装置およびフリッカ補正方法、並びにフリッカ補正プログラムを記録した記録媒体
CN100589533C (zh) * 2002-11-18 2010-02-10 索尼株式会社 闪烁降低方法、图像拾取装置与闪烁降低电路
JP2004260574A (ja) * 2003-02-26 2004-09-16 Matsushita Electric Ind Co Ltd フリッカ検出方法およびフリッカ検出装置
CN100484197C (zh) * 2004-11-15 2009-04-29 索尼株式会社 闪烁校正方法、闪烁校正电路、以及使用它们的摄像装置
JP4453648B2 (ja) * 2005-06-13 2010-04-21 ソニー株式会社 画像処理装置および撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222228A (ja) * 2002-11-18 2004-08-05 Sony Corp フリッカ低減方法、撮像装置およびフリッカ低減回路
JP2009081684A (ja) 2007-09-26 2009-04-16 Panasonic Corp フリッカ低減装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2509301A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200064139A1 (en) * 2016-01-25 2020-02-27 Tomtom Traffic B.V. Methods and systems for generating expected speeds of travel
CN113079322A (zh) * 2021-03-29 2021-07-06 豪威科技(上海)有限公司 成像系统及成像系统闪烁消除方法

Also Published As

Publication number Publication date
JP5296112B2 (ja) 2013-09-25
CN102754427A (zh) 2012-10-24
CN102754427B (zh) 2016-08-10
EP2509301B1 (en) 2016-11-23
JP2012165118A (ja) 2012-08-30
EP2509301A4 (en) 2014-07-02
EP2509301A1 (en) 2012-10-10

Similar Documents

Publication Publication Date Title
WO2012104932A1 (ja) フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム
KR101659058B1 (ko) 롤링 셔터들을 채용하는 이미징 센서들을 위한 플리커 검출 회로
CN110012234B (zh) 减少闪烁的方法
CN1929562B (zh) 闪烁减少方法、闪烁减少电路和图像拾取装置
US8890975B2 (en) Image processing apparatus, signal processing method and computer-readable medium for image flicker correction
US7764312B2 (en) Flicker correction method and device, and imaging device
US8004578B2 (en) Automatic flicker detection and correction apparatus and method in a video capture device
JP2007174537A (ja) 撮像装置
JP2009212627A (ja) 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム
US20080278603A1 (en) Method and apparatus for reducing flicker of image sensor
JP2004007402A (ja) フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム
JP2010103746A (ja) 撮像装置
JP5331766B2 (ja) 撮像装置
US8542292B2 (en) Flicker correction device, flicker correction method and flicker correction program
US20140043502A1 (en) Flicker noise detection apparatus, flicker noise detection method, and computer-readable storage device storing flicker noise detection program
JP6100023B2 (ja) フリッカ検出装置、フリッカ補正装置、その制御方法、および制御プログラム
WO2016098155A1 (ja) 画像処理装置および画像処理方法
JP2009198886A (ja) 液晶プロジェクタおよびその投射画像調整方法
JP2012222739A (ja) フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム
JP2015192345A (ja) フリッカ低減装置およびそのプログラム、ならびに、フリッカ低減システム
JP2007329604A (ja) 蛍光灯フリッカ検出回路
JP5818451B2 (ja) 撮像装置および制御方法
JP6827838B2 (ja) 撮像装置及び画像処理装置とその制御方法並びにプログラム
JP2007336329A (ja) 撮像装置
JP6494351B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180004135.X

Country of ref document: CN

REEP Request for entry into the european phase

Ref document number: 2011824305

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011824305

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11824305

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE