JP3892172B2 - 固体撮像装置 - Google Patents
固体撮像装置 Download PDFInfo
- Publication number
- JP3892172B2 JP3892172B2 JP14239299A JP14239299A JP3892172B2 JP 3892172 B2 JP3892172 B2 JP 3892172B2 JP 14239299 A JP14239299 A JP 14239299A JP 14239299 A JP14239299 A JP 14239299A JP 3892172 B2 JP3892172 B2 JP 3892172B2
- Authority
- JP
- Japan
- Prior art keywords
- flicker
- area
- flicker correction
- average luminance
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラ等に用いられる固体撮像装置、特に蛍光灯フリッカなどを抑圧する技術に関する。
【０００２】
【従来の技術】
図６は従来のフリッカ補正装置を備えた固体撮像装置の概略構成を示す。図６において、１はＣＣＤからなる撮像素子、２は撮像素子１で撮像した映像信号の前処理部、３は映像信号をデジタル信号に変換するＡ／Ｄ変換部、４は映像信号の平均輝度を検出する平均輝度検出手段、５はマイクロコンピュータ、６はフリッカ補正ゲイン算出手段、７は映像アンプからなるフリッカ補正手段、８はビデオ信号を出力するメイン信号処理部である。撮像素子１により出力された映像信号は、ＣＤＳ、ＡＧＣ等の前処理を前処理部２で実施した後、Ａ／Ｄ変換部３によりデジタル信号に変換される。このデジタル信号から平均輝度検出手段４により毎フィールドの画像の平均輝度が算出され、これをマイクロコンピュータ５に入力してフリッカ補正ゲイン算出手段６により補正ゲインを算出し、この補正ゲインをフリッカ補正手段７に設定して、映像信号のフリッカ補正を行う。そしてフリッカ補正された映像信号は、メイン信号処理部８においてビデオ信号に作成され、出力される。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の固体撮像装置では、全画面領域により平均輝度を検出するとともに、単一のフリッカ補正手段によりフリッカ補正を行うため、フリッカが画面の一部に存在するように被写体の場合には、画面内の一部のフリッカ補正により、逆に本来フリッカのない部分にフリッカが発生するという問題を有していた。
【０００４】
本発明は、このような従来の問題を解決するものであり、フリッカが画面の一部に存在するような被写体の場合にも、フリッカ補正を適切に行うことのできる固体撮像装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、上記目的を達成するために、画面を複数の領域に分割して、各領域内の画像の平均輝度情報により各領域毎にフリッカ補正ゲインを算出し、各領域毎に独立にフリッカ補正を行い、フリッカ補正されたそれぞれの画像を合成するようにしたものであり、フリッカ補正を適切かつ効果的に行うことができる。
【０００６】
【発明の実施の形態】
本発明は、表示画面を任意の分割位置で複数の領域に分割するための領域分割位置データが記憶された領域分割位置データ記憶手段と、前記領域分割位置データから領域分割パルスを作成する領域分割パルス作成手段と、被写体の照明光として太陽および蛍光灯を光源として含んだ入力画像の各分割領域毎の平均輝度値を検出する平均輝度検出手段と、前記各分割領域毎の平均輝度値からフリッカ補正ゲインを算出するフリッカ補正ゲイン算出手段と、前記フリッカ補正ゲイン算出手段により算出されたフリッカ補正ゲインを各分割領域毎に所定の値に設定して前記入力画像全体に対してフリッカ補正を行う複数のフリッカ補正手段と、各分割領域毎にフリッカ補正された画像を合成する画像合成手段と、前記平均輝度検出手段により前記各分割領域毎に検出された複数の平均輝度の前記蛍光灯によるフリッカ成分を検出し、前記フリッカ成分が存在する領域が１ブロック枠内に集まるように前記領域分割位置データを設定するフリッカ領域検出手段とを備えたことを特徴とする個体撮像装置であり、フリッカの存在条件によって最適な画面分割位置が設定可能になり、フリッカ補正を適切かつ効果的に行うことができる。
【００１３】
以下、本発明の実施の形態を図面を参照して説明する。
（実施の形態１）
図１は本発明の実施の形態１における固体撮像装置の概略構成を示すものである。図１において、１１はＣＣＤからなる撮像素子、１２は撮像素子１１で撮像した映像信号の前処理部、１３は前処理後の映像信号をデジタル信号に変換するＡ／Ｄ変換部、１４は映像信号の各分割領域毎の平均輝度値を検出する平均輝度検出手段、１５はマイクロコンピュータ、１６は各分割領域毎の平均輝度値からフリッカ補正ゲインを算出するフリッカ補正ゲイン算出手段、１７は算出されたフリッカ補正ゲインを各分割領域毎に設定してフリッカ補正を行う複数の映像アンプからなるフリッカ補正手段、１８は表示画面を任意の分割位置で複数の領域に分割するための位置データであり、メモリ（領域分割位置データ記憶手段）に格納されている。１９は領域分割位置データ１８から領域分割パルスを作成するための領域分割パルス作成手段、２０は各分割領域毎にフリッカ補正された画像を合成する画像合成手段である。２１はメイン信号処理部である。
【００１４】
次に、上記のように構成された固体撮像装置の動作について説明する。撮像素子１１により出力された映像信号は、ＣＤＳ、ＡＧＳ等の前処理を前処理部１２で実施した後、Ａ／Ｄ変換部１３によりデジタル信号に変換される。このデジタル変換された映像信号は、平均輝度検出手段１４に入力され、平均輝度検出手段１４は、領域分割パルス作成手段１９により作成された領域分割パルスにより、各分割領域毎の毎フィールドの平均輝度値を検出する。図２（ａ）は被写体の照明光として太陽および蛍光灯を光源として含む場合の入力画像、（ｂ）は領域の分割位置の例を示す。領域分割位置データＨstart ，Ｈend ，Ｖstart ，Ｖend は、フリッカの強弱やフリッカの有無の分布に応じて効果的にフリッカ補正がかけられる位置に任意に設定することができる。フリッカ補正ゲイン算出手段１６では、平均輝度検出手段１４により得られた各領域毎の平均輝度値からフリッカ補正ゲインを算出し、これをフリッカ補正手段１７の各映像アンプに設定する。例えば、電源周波数が５０Ｈｚの地域において、蛍光灯などの照明下の被写体を、１フィールドの蓄積時間１／６０sec であるＮＴＳＣ方式のカメラで撮像した場合、蛍光灯によるフリッカ成分は、１フィールドの蓄積時間１６．６ｍｓと照明の点滅周期１０ｍｓの最小公倍数の５０ｍｓ（３フィールド）周期で繰り返すことになる。したがって、過去３フィールドに渡って平均輝度を加算して平均化した値と現在の平均輝度値との差を基にして、その差をなくすようなフリッカ補正ゲインを算出する。
【００１５】
フリッカ補正手段１７では、映像信号をＡ、Ｂ、Ｃ、Ｄの４つの独立した映像アンプに入力し、それぞれの領域に最適なフリッカ補正を行い、その補正が施された信号Ｓａ，Ｓｂ，Ｓｃ，Ｓｄを領域合成手段２０に出力する。領域合成手段２０では、Ａ、Ｂ、Ｃ、Ｄそれぞれの領域で最適なフリッカ補正が施された信号を、領域分割パルス作成手段１９からの領域分割パルスＨpuls、Ｖpulsに応じて合成し、補正画像信号Ｓout を出力し、これをメイン信号処理部２１がビデオ信号に生成して出力する。
【００１６】
信号ＳａからＳｄおよびＨpuls、ＶpulsとＳout の関係を式（１）に示す。
【００１７】
図２（ｂ）は領域分割位置データと領域分割パルスおよび４つの領域の対応関係を示す。そして、式（１）を変形すると、式（２）が得られる。
【００１８】
図３はこの式（２）の演算を行うための加算器３１、減算器３２および乗算器３３からなる領域合成手段２０の構成を示す。領域合成手段２０においては、それぞれの領域の境界を滑らかに合成するために、領域分割パルスを０から１まで緩やかに変化させるように合成する。
【００１９】
なお、被写体の条件によっては、フリッカのある領域が中央に孤立する場合や周辺に孤立する場合がある。このような場合は、図２（ｃ）に示すように、４つの領域のうちＡ、Ｂ、Ｃを合わせた領域とＤの領域それぞれの平均輝度情報からフリッカ補正ゲインを算出し、Ａ、Ｂ、Ｃを同一のフリッカ補正ゲインとすることで、中央の領域Ｄとそれ以外の領域の２つの分割領域においてフリッカ補正を行うことができる。
【００２０】
このように、本実施の形態１によれば、表示画面を複数の領域に分割するための領域分割パルスを作成する領域分割パルス作成手段１９と、入力画像の各分割領域毎の平均輝度値を検出する平均輝度検出手段１４と、各分割領域毎の平均輝度値からフリッカ補正ゲインを算出するフリッカ補正ゲイン算出手段１６と、算出されたフリッカ補正ゲインを各分割領域毎に設定してフリッカ補正を行うフリッカ補正手段１７と、各分割領域毎にフリッカ補正された画像を合成する画像合成手段２０とを備えているので、蛍光灯フリッカが画面の一部に存在するような被写体においても、適切かつ効果的なフリッカ補正を行うことができる。
【００２１】
（実施の形態２）
図４は本発明の実施の形態２における固体撮像装置の概略構成を示すものである。図４において、１１はＣＣＤからなる撮像素子、１２は撮像素子１１で撮像した映像信号の前処理部、１３は映像信号をデジタル信号に変換するＡ／Ｄ変換部、１４は映像信号の平均輝度を検出する平均輝度検出手段、１５はマイクロコンピュータ、１６はフリッカ補正ゲイン算出手段、１８は表示画面を任意の分割位置で複数の領域に分割するための位置データであり、メモリ（領域分割位置データ記憶手段）に格納されている。１９は領域分割位置データ１８から領域分割パルスを作成するための領域分割パルス作成手段、２１はビデオ信号を出力するメイン信号処理部、２２は外部から複数のゲインデータを時分割により設定できる１個の映像アンプで構成されているフリッカ補正手段、２３はゲイン切換手段である。
【００２２】
次に、上記のように構成された固体撮像装置の動作について説明する。撮像素子１１により出力された映像信号は、ＣＤＳ、ＡＧＣ等の前処理を前処理部１２で実施した後、Ａ／Ｄ変換部１３によりデジタル信号に変換されて平均輝度検出手段１４に入力される。平均輝度検出手段１４では、領域分割位置データ１８を基に領域分割パルス作成手段１９により作成された領域分割パルスにより、各領域毎の毎フィールドの平均輝度を検出する。検出された各領域の平均輝度は、マイクロコンピュータ１５に入力されてフリッカ補正ゲイン算出手段１６により各領域毎にフリッカ補正ゲインが算出される。算出された補正ゲインは、領域分割パルス作成手段１９からの領域分割パルスにより、ゲイン切換手段２３で各領域毎にゲイン切り換えを行い、フリッカ補正手段２２に入力して各領域毎に独立して映像信号のフリッカ補正を行う。そしてフリッカ補正された映像信号は、メイン信号処理部２１においてビデオ信号に作成され、出力される。
【００２３】
このように、本実施の形態２によれば、フリッカ補正手段２２が、外部から複数のゲインデータを時分割により設定できる１個の映像アンプで構成されているおり、被写体条件に応じて画面を領域分割して、各領域内の画像の平均輝度を検出し、各領域毎にフリッカ補正ゲインを算出し、各領域毎に独立してフリッカ補正を行なうので、フリッカ補正されたそれぞれの画像を合成するフリッカ補正方法と同一の効果を得ることができる。
【００２４】
（実施の形態３）
図５は本発明の実施の形態３における固体撮像装置の概略構成を示すものである。図５において、１１はＣＣＤからなる撮像素子、１２は撮像素子１１で撮像した映像信号の前処理部、１３は前処理後の映像信号をデジタル信号に変換するＡ／Ｄ変換部、１４は被写体の照明光として太陽および蛍光灯を光源として含んだ映像信号の各分割領域毎の平均輝度値を検出する平均輝度検出手段、１５はマイクロコンピュータ、１６は各分割領域毎の平均輝度値からフリッカ補正ゲインを算出するフリッカ補正ゲイン算出手段、１７は算出されたフリッカ補正ゲインを各分割領域毎に設定してフリッカ補正を行う複数の映像アンプからなるフリッカ補正手段、１８は表示画面を任意の分割位置で複数の領域に分割するための位置データであり、メモリ（領域分割位置データ記憶手段）に格納されている。１９は領域分割位置データ１８から領域分割パルスを作成するための領域分割パルス作成手段、２０は各分割領域毎にフリッカ補正された画像を合成する画像合成手段、２１はメイン信号処理部である。本実施の形態３が上記した実施の形態１と異なるのは、マイクロコンピュータ１５にフリッカ領域検出手段２４を備えていることである。フリッカ領域検出手段２４は、平均輝度検出手段１４により各分割領域毎に検出された複数の平均輝度の蛍光灯によるフリッカ成分を検出し、このフリッカ成分が存在する領域が１ブロック枠内に集まるように領域分割位置データ１８を設定するものである。
【００２５】
次に、上記のように構成された固体撮像装置の動作について説明する。撮像素子１１により出力された映像信号は、ＣＤＳ、ＡＧＳ等の前処理を前処理部１２で実施した後、Ａ／Ｄ変換部１３によりデジタル信号に変換される。このデジタル変換された映像信号は、平均輝度検出手段１４に入力され、平均輝度検出手段１４は、領域分割パルス作成手段１９により作成された領域分割パルスにより、各分割領域毎の毎フィールドの平均輝度値を検出する。検出された各領域の平均輝度は、フリッカ補正ゲイン算出手段１６により、各領域毎にフリッカ補正ゲインを算出され、これらの補正ゲインは領域分割パルス作成手段１９からの領域分割パルスにより領域フリッカ補正手段１７で各領域毎にゲイン設定を行い、領域合成手段２０により合成し、メイン信号処理部２１においてビデオ信号に作成され、出力される。
【００２６】
平均輝度検出手段１４で検出された各領域毎の平均輝度信号は、フリッカ領域検出手段２４にも同時に入力される。フリッカ領域検出手段２４では、各領域毎に蛍光灯によるフリッカ成分の有無を判定する。例えば、平均輝度信号を１フィールドに１回検出し、これを３フィールド分蓄積した平均値と、１フィールド毎に読み出される各平均輝度信号との差分が、あるしきい値より大きい場合、フリッカ成分が存在すると判定する。これを各領域の平均輝度信号毎に実施すると、画面内のフリッカ成分が存在する領域を特定することができ、この特定されたフリッカ領域を基に領域分割パルスの領域分割位置データ１８を設定する。
【００２７】
このように、本実施の形態３によれば、複数画面に分割した平均輝度検出手段１４により各領域毎に検出された複数の平均輝度の蛍光灯によるフリッカ成分をフリッカ領域検出手段２４が検出し、画面内にフリッカ成分が存在する領域が１ブロック枠内に集まるように、領域分割位置データ１８を設定することにより、フリッカの存在条件によって最適な画面分割位置が設定可能になり、最適なフリッカ補正効果を得ることができる。
【００２８】
【発明の効果】
本発明は、上記実施の形態から明らかなように、表示画面を任意の分割位置で複数の領域に分割するための領域分割位置データが記憶された領域分割位置データ記憶手段と、領域分割位置データから領域分割パルスを作成する領域分割パルス作成手段と、被写体の照明光として太陽および蛍光灯を光源として含んだ入力画像の各分割領域毎の平均輝度値を検出する平均輝度検出手段と、各分割領域毎の平均輝度値からフリッカ補正ゲインを算出するフリッカ補正ゲイン算出手段と、フリッカ補正ゲイン算出手段により算出されたフリッカ補正ゲインを各分割領域毎に所定の値に設定して入力画像全体に対してフリッカ補正を行う複数のフリッカ補正手段と、各分割領域毎にフリッカ補正された画像を合成する画像合成手段と、平均輝度検出手段により各分割領域毎に検出された複数の平均輝度の蛍光灯によるフリッカ成分を検出し、フリッカ成分が存在する領域が１ブロック枠内に集まるように領域分割位置データを設定するフリッカ領域検出手段とを備えているので、フリッカの存在条件によって最適な画面分割位置が設定可能になり、フリッカ補正を適切かつ効果的に行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における固体撮像装置の概略構成を示すブロック図
【図２】実施の形態１における領域分割パルスと各領域の対応関係を示し、
（ａ）は入力画像の例を示す模式図
（ｂ）は各領域の分割位置を例を示す模式図
（ｃ）は中央または周辺にフリッカのある被写体が孤立する場合の分割位置の例を示す模式図
【図３】実施の形態１における各領域を滑らかに合成するための領域合成手段の構成を示す回路図
【図４】本発明の実施の形態２における固体撮像装置の概略構成を示すブロック図
【図５】本発明の実施の形態３における固体撮像装置の概略構成を示すブロック図
【図６】従来例における固体撮像装置の概略構成を示すブロック図
【符号の説明】
１１ 撮像素子
１２ 前処理部
１３ Ａ／Ｄ変換部
１４ 平均輝度検出手段
１５ マイクロコンピュータ
１６ フリッカ補正ゲイン算出手段
１７ フリッカ補正手段
１８ 領域分割位置データ
１９ 領域分割パルス作成手段
２０ 領域合成手段
２１ メイン信号処理部
２２ フリッカ補正手段
２３ ゲイン切換手段
２４ フリッカ領域検出手段
【発明の属する技術分野】
本発明は、ビデオカメラ等に用いられる固体撮像装置、特に蛍光灯フリッカなどを抑圧する技術に関する。
【０００２】
【従来の技術】
図６は従来のフリッカ補正装置を備えた固体撮像装置の概略構成を示す。図６において、１はＣＣＤからなる撮像素子、２は撮像素子１で撮像した映像信号の前処理部、３は映像信号をデジタル信号に変換するＡ／Ｄ変換部、４は映像信号の平均輝度を検出する平均輝度検出手段、５はマイクロコンピュータ、６はフリッカ補正ゲイン算出手段、７は映像アンプからなるフリッカ補正手段、８はビデオ信号を出力するメイン信号処理部である。撮像素子１により出力された映像信号は、ＣＤＳ、ＡＧＣ等の前処理を前処理部２で実施した後、Ａ／Ｄ変換部３によりデジタル信号に変換される。このデジタル信号から平均輝度検出手段４により毎フィールドの画像の平均輝度が算出され、これをマイクロコンピュータ５に入力してフリッカ補正ゲイン算出手段６により補正ゲインを算出し、この補正ゲインをフリッカ補正手段７に設定して、映像信号のフリッカ補正を行う。そしてフリッカ補正された映像信号は、メイン信号処理部８においてビデオ信号に作成され、出力される。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の固体撮像装置では、全画面領域により平均輝度を検出するとともに、単一のフリッカ補正手段によりフリッカ補正を行うため、フリッカが画面の一部に存在するように被写体の場合には、画面内の一部のフリッカ補正により、逆に本来フリッカのない部分にフリッカが発生するという問題を有していた。
【０００４】
本発明は、このような従来の問題を解決するものであり、フリッカが画面の一部に存在するような被写体の場合にも、フリッカ補正を適切に行うことのできる固体撮像装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、上記目的を達成するために、画面を複数の領域に分割して、各領域内の画像の平均輝度情報により各領域毎にフリッカ補正ゲインを算出し、各領域毎に独立にフリッカ補正を行い、フリッカ補正されたそれぞれの画像を合成するようにしたものであり、フリッカ補正を適切かつ効果的に行うことができる。
【０００６】
【発明の実施の形態】
本発明は、表示画面を任意の分割位置で複数の領域に分割するための領域分割位置データが記憶された領域分割位置データ記憶手段と、前記領域分割位置データから領域分割パルスを作成する領域分割パルス作成手段と、被写体の照明光として太陽および蛍光灯を光源として含んだ入力画像の各分割領域毎の平均輝度値を検出する平均輝度検出手段と、前記各分割領域毎の平均輝度値からフリッカ補正ゲインを算出するフリッカ補正ゲイン算出手段と、前記フリッカ補正ゲイン算出手段により算出されたフリッカ補正ゲインを各分割領域毎に所定の値に設定して前記入力画像全体に対してフリッカ補正を行う複数のフリッカ補正手段と、各分割領域毎にフリッカ補正された画像を合成する画像合成手段と、前記平均輝度検出手段により前記各分割領域毎に検出された複数の平均輝度の前記蛍光灯によるフリッカ成分を検出し、前記フリッカ成分が存在する領域が１ブロック枠内に集まるように前記領域分割位置データを設定するフリッカ領域検出手段とを備えたことを特徴とする個体撮像装置であり、フリッカの存在条件によって最適な画面分割位置が設定可能になり、フリッカ補正を適切かつ効果的に行うことができる。
【００１３】
以下、本発明の実施の形態を図面を参照して説明する。
（実施の形態１）
図１は本発明の実施の形態１における固体撮像装置の概略構成を示すものである。図１において、１１はＣＣＤからなる撮像素子、１２は撮像素子１１で撮像した映像信号の前処理部、１３は前処理後の映像信号をデジタル信号に変換するＡ／Ｄ変換部、１４は映像信号の各分割領域毎の平均輝度値を検出する平均輝度検出手段、１５はマイクロコンピュータ、１６は各分割領域毎の平均輝度値からフリッカ補正ゲインを算出するフリッカ補正ゲイン算出手段、１７は算出されたフリッカ補正ゲインを各分割領域毎に設定してフリッカ補正を行う複数の映像アンプからなるフリッカ補正手段、１８は表示画面を任意の分割位置で複数の領域に分割するための位置データであり、メモリ（領域分割位置データ記憶手段）に格納されている。１９は領域分割位置データ１８から領域分割パルスを作成するための領域分割パルス作成手段、２０は各分割領域毎にフリッカ補正された画像を合成する画像合成手段である。２１はメイン信号処理部である。
【００１４】
次に、上記のように構成された固体撮像装置の動作について説明する。撮像素子１１により出力された映像信号は、ＣＤＳ、ＡＧＳ等の前処理を前処理部１２で実施した後、Ａ／Ｄ変換部１３によりデジタル信号に変換される。このデジタル変換された映像信号は、平均輝度検出手段１４に入力され、平均輝度検出手段１４は、領域分割パルス作成手段１９により作成された領域分割パルスにより、各分割領域毎の毎フィールドの平均輝度値を検出する。図２（ａ）は被写体の照明光として太陽および蛍光灯を光源として含む場合の入力画像、（ｂ）は領域の分割位置の例を示す。領域分割位置データＨstart ，Ｈend ，Ｖstart ，Ｖend は、フリッカの強弱やフリッカの有無の分布に応じて効果的にフリッカ補正がかけられる位置に任意に設定することができる。フリッカ補正ゲイン算出手段１６では、平均輝度検出手段１４により得られた各領域毎の平均輝度値からフリッカ補正ゲインを算出し、これをフリッカ補正手段１７の各映像アンプに設定する。例えば、電源周波数が５０Ｈｚの地域において、蛍光灯などの照明下の被写体を、１フィールドの蓄積時間１／６０sec であるＮＴＳＣ方式のカメラで撮像した場合、蛍光灯によるフリッカ成分は、１フィールドの蓄積時間１６．６ｍｓと照明の点滅周期１０ｍｓの最小公倍数の５０ｍｓ（３フィールド）周期で繰り返すことになる。したがって、過去３フィールドに渡って平均輝度を加算して平均化した値と現在の平均輝度値との差を基にして、その差をなくすようなフリッカ補正ゲインを算出する。
【００１５】
フリッカ補正手段１７では、映像信号をＡ、Ｂ、Ｃ、Ｄの４つの独立した映像アンプに入力し、それぞれの領域に最適なフリッカ補正を行い、その補正が施された信号Ｓａ，Ｓｂ，Ｓｃ，Ｓｄを領域合成手段２０に出力する。領域合成手段２０では、Ａ、Ｂ、Ｃ、Ｄそれぞれの領域で最適なフリッカ補正が施された信号を、領域分割パルス作成手段１９からの領域分割パルスＨpuls、Ｖpulsに応じて合成し、補正画像信号Ｓout を出力し、これをメイン信号処理部２１がビデオ信号に生成して出力する。
【００１６】
信号ＳａからＳｄおよびＨpuls、ＶpulsとＳout の関係を式（１）に示す。
図２（ｂ）は領域分割位置データと領域分割パルスおよび４つの領域の対応関係を示す。そして、式（１）を変形すると、式（２）が得られる。
図３はこの式（２）の演算を行うための加算器３１、減算器３２および乗算器３３からなる領域合成手段２０の構成を示す。領域合成手段２０においては、それぞれの領域の境界を滑らかに合成するために、領域分割パルスを０から１まで緩やかに変化させるように合成する。
【００１９】
なお、被写体の条件によっては、フリッカのある領域が中央に孤立する場合や周辺に孤立する場合がある。このような場合は、図２（ｃ）に示すように、４つの領域のうちＡ、Ｂ、Ｃを合わせた領域とＤの領域それぞれの平均輝度情報からフリッカ補正ゲインを算出し、Ａ、Ｂ、Ｃを同一のフリッカ補正ゲインとすることで、中央の領域Ｄとそれ以外の領域の２つの分割領域においてフリッカ補正を行うことができる。
【００２０】
このように、本実施の形態１によれば、表示画面を複数の領域に分割するための領域分割パルスを作成する領域分割パルス作成手段１９と、入力画像の各分割領域毎の平均輝度値を検出する平均輝度検出手段１４と、各分割領域毎の平均輝度値からフリッカ補正ゲインを算出するフリッカ補正ゲイン算出手段１６と、算出されたフリッカ補正ゲインを各分割領域毎に設定してフリッカ補正を行うフリッカ補正手段１７と、各分割領域毎にフリッカ補正された画像を合成する画像合成手段２０とを備えているので、蛍光灯フリッカが画面の一部に存在するような被写体においても、適切かつ効果的なフリッカ補正を行うことができる。
【００２１】
（実施の形態２）
図４は本発明の実施の形態２における固体撮像装置の概略構成を示すものである。図４において、１１はＣＣＤからなる撮像素子、１２は撮像素子１１で撮像した映像信号の前処理部、１３は映像信号をデジタル信号に変換するＡ／Ｄ変換部、１４は映像信号の平均輝度を検出する平均輝度検出手段、１５はマイクロコンピュータ、１６はフリッカ補正ゲイン算出手段、１８は表示画面を任意の分割位置で複数の領域に分割するための位置データであり、メモリ（領域分割位置データ記憶手段）に格納されている。１９は領域分割位置データ１８から領域分割パルスを作成するための領域分割パルス作成手段、２１はビデオ信号を出力するメイン信号処理部、２２は外部から複数のゲインデータを時分割により設定できる１個の映像アンプで構成されているフリッカ補正手段、２３はゲイン切換手段である。
【００２２】
次に、上記のように構成された固体撮像装置の動作について説明する。撮像素子１１により出力された映像信号は、ＣＤＳ、ＡＧＣ等の前処理を前処理部１２で実施した後、Ａ／Ｄ変換部１３によりデジタル信号に変換されて平均輝度検出手段１４に入力される。平均輝度検出手段１４では、領域分割位置データ１８を基に領域分割パルス作成手段１９により作成された領域分割パルスにより、各領域毎の毎フィールドの平均輝度を検出する。検出された各領域の平均輝度は、マイクロコンピュータ１５に入力されてフリッカ補正ゲイン算出手段１６により各領域毎にフリッカ補正ゲインが算出される。算出された補正ゲインは、領域分割パルス作成手段１９からの領域分割パルスにより、ゲイン切換手段２３で各領域毎にゲイン切り換えを行い、フリッカ補正手段２２に入力して各領域毎に独立して映像信号のフリッカ補正を行う。そしてフリッカ補正された映像信号は、メイン信号処理部２１においてビデオ信号に作成され、出力される。
【００２３】
このように、本実施の形態２によれば、フリッカ補正手段２２が、外部から複数のゲインデータを時分割により設定できる１個の映像アンプで構成されているおり、被写体条件に応じて画面を領域分割して、各領域内の画像の平均輝度を検出し、各領域毎にフリッカ補正ゲインを算出し、各領域毎に独立してフリッカ補正を行なうので、フリッカ補正されたそれぞれの画像を合成するフリッカ補正方法と同一の効果を得ることができる。
【００２４】
（実施の形態３）
図５は本発明の実施の形態３における固体撮像装置の概略構成を示すものである。図５において、１１はＣＣＤからなる撮像素子、１２は撮像素子１１で撮像した映像信号の前処理部、１３は前処理後の映像信号をデジタル信号に変換するＡ／Ｄ変換部、１４は被写体の照明光として太陽および蛍光灯を光源として含んだ映像信号の各分割領域毎の平均輝度値を検出する平均輝度検出手段、１５はマイクロコンピュータ、１６は各分割領域毎の平均輝度値からフリッカ補正ゲインを算出するフリッカ補正ゲイン算出手段、１７は算出されたフリッカ補正ゲインを各分割領域毎に設定してフリッカ補正を行う複数の映像アンプからなるフリッカ補正手段、１８は表示画面を任意の分割位置で複数の領域に分割するための位置データであり、メモリ（領域分割位置データ記憶手段）に格納されている。１９は領域分割位置データ１８から領域分割パルスを作成するための領域分割パルス作成手段、２０は各分割領域毎にフリッカ補正された画像を合成する画像合成手段、２１はメイン信号処理部である。本実施の形態３が上記した実施の形態１と異なるのは、マイクロコンピュータ１５にフリッカ領域検出手段２４を備えていることである。フリッカ領域検出手段２４は、平均輝度検出手段１４により各分割領域毎に検出された複数の平均輝度の蛍光灯によるフリッカ成分を検出し、このフリッカ成分が存在する領域が１ブロック枠内に集まるように領域分割位置データ１８を設定するものである。
【００２５】
次に、上記のように構成された固体撮像装置の動作について説明する。撮像素子１１により出力された映像信号は、ＣＤＳ、ＡＧＳ等の前処理を前処理部１２で実施した後、Ａ／Ｄ変換部１３によりデジタル信号に変換される。このデジタル変換された映像信号は、平均輝度検出手段１４に入力され、平均輝度検出手段１４は、領域分割パルス作成手段１９により作成された領域分割パルスにより、各分割領域毎の毎フィールドの平均輝度値を検出する。検出された各領域の平均輝度は、フリッカ補正ゲイン算出手段１６により、各領域毎にフリッカ補正ゲインを算出され、これらの補正ゲインは領域分割パルス作成手段１９からの領域分割パルスにより領域フリッカ補正手段１７で各領域毎にゲイン設定を行い、領域合成手段２０により合成し、メイン信号処理部２１においてビデオ信号に作成され、出力される。
【００２６】
平均輝度検出手段１４で検出された各領域毎の平均輝度信号は、フリッカ領域検出手段２４にも同時に入力される。フリッカ領域検出手段２４では、各領域毎に蛍光灯によるフリッカ成分の有無を判定する。例えば、平均輝度信号を１フィールドに１回検出し、これを３フィールド分蓄積した平均値と、１フィールド毎に読み出される各平均輝度信号との差分が、あるしきい値より大きい場合、フリッカ成分が存在すると判定する。これを各領域の平均輝度信号毎に実施すると、画面内のフリッカ成分が存在する領域を特定することができ、この特定されたフリッカ領域を基に領域分割パルスの領域分割位置データ１８を設定する。
【００２７】
このように、本実施の形態３によれば、複数画面に分割した平均輝度検出手段１４により各領域毎に検出された複数の平均輝度の蛍光灯によるフリッカ成分をフリッカ領域検出手段２４が検出し、画面内にフリッカ成分が存在する領域が１ブロック枠内に集まるように、領域分割位置データ１８を設定することにより、フリッカの存在条件によって最適な画面分割位置が設定可能になり、最適なフリッカ補正効果を得ることができる。
【００２８】
【発明の効果】
本発明は、上記実施の形態から明らかなように、表示画面を任意の分割位置で複数の領域に分割するための領域分割位置データが記憶された領域分割位置データ記憶手段と、領域分割位置データから領域分割パルスを作成する領域分割パルス作成手段と、被写体の照明光として太陽および蛍光灯を光源として含んだ入力画像の各分割領域毎の平均輝度値を検出する平均輝度検出手段と、各分割領域毎の平均輝度値からフリッカ補正ゲインを算出するフリッカ補正ゲイン算出手段と、フリッカ補正ゲイン算出手段により算出されたフリッカ補正ゲインを各分割領域毎に所定の値に設定して入力画像全体に対してフリッカ補正を行う複数のフリッカ補正手段と、各分割領域毎にフリッカ補正された画像を合成する画像合成手段と、平均輝度検出手段により各分割領域毎に検出された複数の平均輝度の蛍光灯によるフリッカ成分を検出し、フリッカ成分が存在する領域が１ブロック枠内に集まるように領域分割位置データを設定するフリッカ領域検出手段とを備えているので、フリッカの存在条件によって最適な画面分割位置が設定可能になり、フリッカ補正を適切かつ効果的に行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における固体撮像装置の概略構成を示すブロック図
【図２】実施の形態１における領域分割パルスと各領域の対応関係を示し、
（ａ）は入力画像の例を示す模式図
（ｂ）は各領域の分割位置を例を示す模式図
（ｃ）は中央または周辺にフリッカのある被写体が孤立する場合の分割位置の例を示す模式図
【図３】実施の形態１における各領域を滑らかに合成するための領域合成手段の構成を示す回路図
【図４】本発明の実施の形態２における固体撮像装置の概略構成を示すブロック図
【図５】本発明の実施の形態３における固体撮像装置の概略構成を示すブロック図
【図６】従来例における固体撮像装置の概略構成を示すブロック図
【符号の説明】
１１ 撮像素子
１２ 前処理部
１３ Ａ／Ｄ変換部
１４ 平均輝度検出手段
１５ マイクロコンピュータ
１６ フリッカ補正ゲイン算出手段
１７ フリッカ補正手段
１８ 領域分割位置データ
１９ 領域分割パルス作成手段
２０ 領域合成手段
２１ メイン信号処理部
２２ フリッカ補正手段
２３ ゲイン切換手段
２４ フリッカ領域検出手段
Claims (1)
- 表示画面を任意の分割位置で複数の領域に分割するための領域分割位置データが記憶された領域分割位置データ記憶手段と、
前記領域分割位置データから領域分割パルスを作成する領域分割パルス作成手段と、
被写体の照明光として太陽および蛍光灯を光源として含んだ入力画像の各分割領域毎の平均輝度値を検出する平均輝度検出手段と、
前記各分割領域毎の平均輝度値からフリッカ補正ゲインを算出するフリッカ補正ゲイン算出手段と、
前記フリッカ補正ゲイン算出手段により算出されたフリッカ補正ゲインを各分割領域毎に所定の値に設定して前記入力画像全体に対してフリッカ補正を行う複数のフリッカ補正手段と、
各分割領域毎にフリッカ補正された画像を合成する画像合成手段と、
前記平均輝度検出手段により前記各分割領域毎に検出された複数の平均輝度の前記蛍光灯によるフリッカ成分を検出し、前記フリッカ成分が存在する領域が１ブロック枠内に集まるように前記領域分割位置データを設定するフリッカ領域検出手段とを備えたことを特徴とする個体撮像装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14239299A JP3892172B2 (ja) | 1998-07-24 | 1999-05-21 | 固体撮像装置 |
| US09/353,633 US6630953B1 (en) | 1998-07-24 | 1999-07-15 | Flicker control imaging apparatus |
| DE69914545T DE69914545T2 (de) | 1998-07-24 | 1999-07-20 | Bildaufnahmegerät |
| EP99305738A EP0975153B1 (en) | 1998-07-24 | 1999-07-20 | Imaging apparatus |
| CNB991107136A CN1164087C (zh) | 1998-07-24 | 1999-07-26 | 成像装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21009798 | 1998-07-24 | ||
| JP10-210097 | 1998-07-24 | ||
| JP14239299A JP3892172B2 (ja) | 1998-07-24 | 1999-05-21 | 固体撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000101909A JP2000101909A (ja) | 2000-04-07 |
| JP3892172B2 true JP3892172B2 (ja) | 2007-03-14 |
Family
ID=26474414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14239299A Expired - Fee Related JP3892172B2 (ja) | 1998-07-24 | 1999-05-21 | 固体撮像装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6630953B1 (ja) |
| EP (1) | EP0975153B1 (ja) |
| JP (1) | JP3892172B2 (ja) |
| CN (1) | CN1164087C (ja) |
| DE (1) | DE69914545T2 (ja) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020012063A1 (en) * | 2000-03-10 | 2002-01-31 | Olympus Optical Co., Ltd. | Apparatus for automatically detecting focus and camera equipped with automatic focus detecting apparatus |
| WO2001076234A1 (en) * | 2000-03-30 | 2001-10-11 | Koninklijke Philips Electronics N.V. | Camera with light modulation removing means |
| GB0020857D0 (en) * | 2000-08-25 | 2000-10-11 | Vlsi Vision Ltd | Method of detecting flicker and video camera using the method |
| DE10109130B4 (de) * | 2001-02-24 | 2015-02-19 | Carl Zeiss Microscopy Gmbh | Verfahren zur Aufzeichnung und Darstellung von Fluoreszenzbildern mit hoher räumlicher Auflösung |
| JP2003018458A (ja) * | 2001-04-23 | 2003-01-17 | Hitachi Ltd | Ｃｍｏｓ型固体撮像素子を用いた撮像システム |
| US7996678B2 (en) | 2001-06-21 | 2011-08-09 | Civolution B.V. | Embedding and detection of watermark in a motion image signal |
| US7471315B2 (en) * | 2003-03-14 | 2008-12-30 | Aptina Imaging Corporation | Apparatus and method for detecting and compensating for illuminant intensity changes within an image |
| JP3991011B2 (ja) * | 2003-06-20 | 2007-10-17 | キヤノン株式会社 | 画像信号処理装置 |
| US7454078B2 (en) * | 2003-07-22 | 2008-11-18 | Warner Bros. Entertainment Inc. | Method and apparatus for flicker removal from an image sequence |
| JP4331026B2 (ja) * | 2004-03-17 | 2009-09-16 | 富士通マイクロエレクトロニクス株式会社 | フリッカノイズ検出方法、フリッカノイズ低減方法及びフリッカノイズ検出回路 |
| KR100574890B1 (ko) | 2004-04-27 | 2006-04-27 | 매그나칩 반도체 유한회사 | 이미지센서 및 이미지센서의 플리커 노이즈 검출 방법 |
| JP4377840B2 (ja) * | 2005-03-31 | 2009-12-02 | イーストマン コダック カンパニー | デジタルカメラ |
| JP4207923B2 (ja) * | 2005-04-19 | 2009-01-14 | ソニー株式会社 | フリッカ補正方法、フリッカ補正装置及び撮像装置 |
| JP4335849B2 (ja) * | 2005-06-13 | 2009-09-30 | 富士通マイクロエレクトロニクス株式会社 | フリッカ検出可能な撮像装置 |
| US7598987B2 (en) * | 2005-11-29 | 2009-10-06 | Stmicroelectronics Asia Pacific Pte. Ltd. | Flicker detection gain control circuit, digital imaging system, and method |
| US7667740B2 (en) * | 2006-07-28 | 2010-02-23 | Hewlett-Packard Development Company, L.P. | Elimination of modulated light effects in rolling shutter CMOS sensor images |
| JP4353223B2 (ja) * | 2006-09-07 | 2009-10-28 | ソニー株式会社 | 画像データ処理装置、画像データ処理方法および撮像システム |
| JP5072431B2 (ja) * | 2007-05-15 | 2012-11-14 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP2009017214A (ja) * | 2007-07-04 | 2009-01-22 | Canon Inc | フリッカ検出装置及びフリッカ検出方法 |
| JP4875564B2 (ja) * | 2007-08-02 | 2012-02-15 | キヤノン株式会社 | フリッカ補正装置及びフリッカ補正方法 |
| JP4881812B2 (ja) * | 2007-08-02 | 2012-02-22 | キヤノン株式会社 | フリッカ補正装置及びフリッカ補正方法 |
| JP4525719B2 (ja) * | 2007-08-31 | 2010-08-18 | カシオ計算機株式会社 | 階調補正装置、階調補正方法、及び、プログラム |
| CN101257571B (zh) * | 2008-03-25 | 2010-06-02 | 北京中星微电子有限公司 | 一种图像的闪烁去除方法及装置 |
| US8804003B2 (en) | 2011-01-28 | 2014-08-12 | Aptina Imaging Corporation | Flicker detection for imaging devices with high frame rates |
| TWI469632B (zh) * | 2011-11-09 | 2015-01-11 | Silicon Motion Inc | 抗閃爍攝錄裝置與攝錄方法 |
| US9723180B2 (en) * | 2014-01-08 | 2017-08-01 | Vizio Inc | Device and method for correcting lip sync problems on display devices |
| JP6300364B2 (ja) * | 2014-07-03 | 2018-03-28 | 日本放送協会 | 撮像装置およびフリッカー除去プログラム |
| JP2016034094A (ja) * | 2014-07-31 | 2016-03-10 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、およびイメージセンサ |
| CN105635594B (zh) * | 2014-11-05 | 2018-09-04 | 富士通株式会社 | 闪烁校正方法和闪烁校正设备 |
| CN110381276B (zh) * | 2019-05-06 | 2021-08-13 | 华为技术有限公司 | 一种视频拍摄方法及电子设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH031791A (ja) * | 1989-05-30 | 1991-01-08 | Sony Corp | オートホワイトバランス回路 |
| US5111301A (en) | 1989-06-28 | 1992-05-05 | Sanyo Electric Co., Ltd. | Automatic exposure adjusting apparatus for automatically adjusting exposure by fuzzy inference |
| JP2687670B2 (ja) | 1990-04-19 | 1997-12-08 | 松下電器産業株式会社 | 動き検出回路および手ぶれ補正装置 |
| US5313277A (en) * | 1990-10-30 | 1994-05-17 | Canon Kabushiki Kaisha | Image pickup device having white balance control function |
| JP2979081B2 (ja) | 1990-11-28 | 1999-11-15 | 日本フィリップス株式会社 | 自動露光制御方法及び装置 |
| JP2942047B2 (ja) | 1991-03-15 | 1999-08-30 | シャープ株式会社 | ビデオカメラ |
| US5319449A (en) * | 1991-04-17 | 1994-06-07 | Fuji Photo Film Company, Limited | White balance control device and video camera with a white balance control device |
| DE69433374T2 (de) | 1993-09-17 | 2004-10-07 | Canon Kk | Bildaufnahmegerät |
| EP0774865A3 (en) | 1995-11-17 | 2000-06-07 | SANYO ELECTRIC Co., Ltd. | Video camera with high speed mode |
-
1999
- 1999-05-21 JP JP14239299A patent/JP3892172B2/ja not_active Expired - Fee Related
- 1999-07-15 US US09/353,633 patent/US6630953B1/en not_active Expired - Fee Related
- 1999-07-20 DE DE69914545T patent/DE69914545T2/de not_active Expired - Lifetime
- 1999-07-20 EP EP99305738A patent/EP0975153B1/en not_active Expired - Lifetime
- 1999-07-26 CN CNB991107136A patent/CN1164087C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1250314A (zh) | 2000-04-12 |
| DE69914545D1 (de) | 2004-03-11 |
| US6630953B1 (en) | 2003-10-07 |
| CN1164087C (zh) | 2004-08-25 |
| JP2000101909A (ja) | 2000-04-07 |
| DE69914545T2 (de) | 2004-12-23 |
| EP0975153A1 (en) | 2000-01-26 |
| EP0975153B1 (en) | 2004-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3892172B2 (ja) | 固体撮像装置 | |
| KR100515225B1 (ko) | 플리커 보정 장치, 플리커 보정 방법 및 플리커 보정 프로그램을 저장한 기록 매체 | |
| US6278490B1 (en) | Exposure control for an image pickup apparatus that uses an electronic flash | |
| JP4646655B2 (ja) | 固体撮像装置及びその駆動方法並びに撮像システム | |
| JP3949903B2 (ja) | 撮像装置及び撮像信号処理方法 | |
| KR20030097687A (ko) | 화상 처리 장치, 카메라 장치, 및 그 자동 노광 제어 방법 | |
| JP2000224468A (ja) | 映像信号処理装置 | |
| JPH07212645A (ja) | テレビジョンカメラ | |
| JP3840671B2 (ja) | 撮像装置 | |
| JP2007174537A (ja) | 撮像装置 | |
| JP2003319250A (ja) | 撮像装置および撮像方法 | |
| JP2001061105A (ja) | 撮像装置 | |
| JP3834354B2 (ja) | 撮像装置 | |
| TW200539691A (en) | An image pickup apparatus and imaging method | |
| JP5274403B2 (ja) | 動き検出装置及び動き検出方法 | |
| JP2000092377A (ja) | 固体撮像装置 | |
| JP5022802B2 (ja) | 撮像装置及びその制御方法 | |
| JPH11155098A (ja) | 信号処理装置および方法 | |
| JP7439029B2 (ja) | 撮像装置、撮像方法、プログラムおよび記憶媒体 | |
| JP2003179809A (ja) | カメラ装置及びその信号処理方法 | |
| JP4359803B2 (ja) | 撮像装置及びその方法 | |
| JP2762560B2 (ja) | 撮像装置における商用電源周波数フリツカ除去回路 | |
| JP3852821B2 (ja) | 固体撮像装置 | |
| JP2008306326A (ja) | 画像処理装置および画像処理方法 | |
| JPH10257381A (ja) | フリッカ補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040319 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041119 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041126 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061206 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040319 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |