JP3522674B2 - 撮像装置および自動レベル調整方法 - Google Patents
撮像装置および自動レベル調整方法Info
- Publication number
- JP3522674B2 JP3522674B2 JP2000273669A JP2000273669A JP3522674B2 JP 3522674 B2 JP3522674 B2 JP 3522674B2 JP 2000273669 A JP2000273669 A JP 2000273669A JP 2000273669 A JP2000273669 A JP 2000273669A JP 3522674 B2 JP3522674 B2 JP 3522674B2
- Authority
- JP
- Japan
- Prior art keywords
- index value
- flicker
- group
- value
- power supply
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
カメラなどに適用される撮像装置および自動レベル調整
方法に関し、特に、蛍光灯照明下において発生するフリ
ッカを抑制する撮像装置および自動レベル調整方法に関
するものである。
する撮像装置において固体撮像素子にCMOSセンサを
使用する場合、蛍光灯照明下など明るさが周期的に変化
する環境で撮影すると、画素毎に光電変換を行うタイミ
ングが異なるため、撮影した画像に明暗の横縞が発生す
る。この現象はフリッカと呼ばれる。
は、過去数フレームにおける撮像データを平均する方法
や、電荷蓄積時間を光源の点滅周期の整数倍に設定する
方法などが知られている。後者の方法としては、例えば
特開2000−32330号公報に記載のものがある。
例えば特開2000−32330号公報に記載の方法で
は、被写体照度が低くなり電荷蓄積時間が1/(光源の
点滅周波数)秒より遅くなる場合に、設定可能な電荷蓄
積時間を1/(光源の点滅周波数)秒の整数倍に限定
し、その際、電荷蓄積時間が1/(光源の点滅周波数)
秒の整数倍で調整できるレベル調整幅よりも細かなレベ
ル調整を、アンプのゲイン調整で実行する。
0号公報に示された従来の自動レベル調整方法を実施す
る自動レベル調整装置の構成を示すブロック図である。
図11において、101は撮像素子であり、102は相
関二重サンプリング回路(CDS)であり、103はア
ナログアンプであり、104はA/D変換器であり、1
05はデジタルアンプであり、106は画面平均算出回
路であり、107は電子シャッタスピード制御回路であ
り、108はデジタルアンプ制御回路であり、109は
撮像素子の電子シャッタの動作のためのタイミング信号
を発生するタイミング信号発生部である。
1より取り込まれたアナログ映像信号は、CDS102
によりノイズを除去され、アナログアンプ103により
一定率増幅される。アナログアンプ103より出力され
た信号は、A/D変換器104を介してデジタル信号に
変換され、このデジタル信号がデジタルアンプ105に
よって増幅され、図示せぬ次段のカメラ信号処理部に送
出される。
画面平均算出回路106に入力され、画面平均算出回路
106により算出された結果は電子シャッタスピード制
御回路107およびデジタルアンプ制御回路108に入
力される。電子シャッタスピード制御回路107とデジ
タルアンプ制御回路108は、電子シャッタスピードと
デジタルアンプゲインの値を決定し、その値でタイミン
グ信号発生部109を介して撮像素子101の電荷蓄積
時間を制御するととともに、デジタルアンプ105の増
幅率を制御する。
に説明する。図12は従来の自動レベル調整方法を具体
的に説明する図である。図12に示すように、光源の点
滅周波数を1/100秒とする。当初、被写体照度が高
く、電子シャッタスピードが最速であり、かつ、デジタ
ルアンプ105のゲインが最小(+0dB)である状態
で、出力が所定のレベルになっていたとする。その状態
から被写体照度が低くなったとすると、出力レベルが所
定のレベルより低くなる。その時、出力レベルを上げる
ように電子シャッタスピードが遅くなっていき、電子シ
ャッタスピードが1/100秒になった時点でなおも出
力が所定のレベルより低い場合は、電子シャッタスピー
ドを1/100秒にしたままでデジタルアンプ105の
ゲインを上げていく。デジタルアンプ105のゲインが
最大(+6dB弱)になった時点で、なおも出力が所定
のレベルより低い場合は、電子シャッタスピードを1/
50秒にしてデジタルアンプ105のゲインを最小(+
0dB)にする。なおも出力が所定のレベルより低い場
合は、電子シャッタスピードを1/50秒にしたままで
デジタルアンプ105のゲインを最大(+6dB弱)ま
で上げていく。
方法は以上のように構成されているので、フリッカ発生
の主要因である交流電源による蛍光灯の照度変化の周期
が地域によって異なる(電源周波数が50Hzである地
域では照度変化周期が1/100秒であり、電源周波数
が60Hzである地域では照度変化周期が1/120秒
である)ことに起因して、一方の地域においてはフリッ
カを良好に抑制することができるものの、他方の地域に
おいては照度変化周期が異なることに起因してフリッカ
を良好に抑制することが困難であるなどの課題があっ
た。
めになされたもので、フレーム内の所定のラインにおけ
る複数の画素値を積算し、所定の間隔で配列する複数の
ラインをグループとして、複数のグループについての各
ラインの積算値をそれぞれ積算し、複数のグループにつ
いての積算値に基づいて、フリッカ検出のための指標値
を演算し、その指標値に基づいてフリッカを検出し、検
出結果に基づいて、固体撮像素子の電荷蓄積時間を第1
の電源周波数の逆数の1/2の整数倍のうちのいずれか
の時間か、固体撮像素子の電荷蓄積時間を第2の電源周
波数の逆数の1/2の整数倍のうちのいずれかの時間に
設定するようにして、地域によって電源周波数が異なる
場合でも、フリッカ指標値に基づいて所在地域の電源周
波数を検知し、フリッカの発生を確実に抑制して良好な
画像を得ることができる撮像装置および自動レベル調整
方法を得ることを目的とする。
は、固体撮像素子の電荷蓄積時間を第1の電源周波数の
逆数の1/2の整数倍のうちのいずれかの時間に設定す
る第1の設定手段と、固体撮像素子の電荷蓄積時間を第
2の電源周波数の逆数の1/2の整数倍のうちのいずれ
かの時間に設定する第2の設定手段と、第1の設定手段
または第2の設定手段を選択し、固体撮像素子の電荷蓄
積時間を設定させる切り換え手段と、フレーム内の所定
のラインにおける複数の画素値を積算する積算手段と、
所定の間隔で配列する複数のラインをグループとして、
複数のグループについて積算手段による積算値をそれぞ
れ積算し、各グループの積算値の変動幅に基づいた指標
値を演算する指標値演算手段と、2つの電源周波数に対
応する2種類の所定の間隔について、指標値演算手段に
よる第1の電源周波数に対応する指標値及び第2の電源
周波数に対応する指標値をそれぞれ演算し、当該両指標
値の大小関係に応じて切り換え手段を制御するフリッカ
検出手段とを備えるものである。
段が、固体撮像素子の電荷蓄積時間を1/100秒の整
数倍のうちのいずれかの時間に設定し、第2の設定手段
が、固体撮像素子の電荷蓄積時間を1/120秒の整数
倍のうちのいずれかの時間に設定するようにしたもので
ある。
段が、2つの電源周波数に対応する2種類の所定の間隔
で配列する複数のラインをそれぞれ所定のライン数だけ
シフトさせた各ラインをグループとして、第1の電源周
波数に対応するグループについての指標値と第2の電源
周波数に対応する前記グループについての指標値とを演
算するものである。
手段が、第1の電源周波数に対応するグループについて
の指標値と第2の電源周波数に対応するグループについ
ての指標値との差が所定の範囲内である場合には、切り
換え手段による切り換えを実行させないようにしたもの
である。
段が、各グループに属する各ラインのうち複数の所定の
注目ラインの積算値と当該注目ラインの前後のラインの
積算値とを比較して当該各注目ラインの変化傾向を求
め、複数の注目ラインの変化傾向に基づいて各グループ
の積算値を演算するようにしたものである。
段によって求められた各グループの積算値を記憶するデ
ータ蓄積手段を備え、指標値演算手段が、前のフレーム
の各グループの積算値を求めてデータ蓄積手段に記憶さ
せ、次のフレームの各グループの積算値を求めた後、当
該積算値とデータ蓄積手段に記憶されている積算値との
差分を各グループごとに求め、当該差分値を各グループ
の積算値として扱うようにしたものである。
段が、各グループごとに求めた次のフレームの積算値と
データ蓄積手段に記憶されている前のフレームの積算値
との差分値を合計してフリッカ検出手段を制御する切り
換え指標値を求める演算を行い、フリッカ検出手段が、
指標値演算手段からの切り換え指標値が所定値より大き
いとき、第1の電源周波数に対応する指標値と第2の電
源周波数に対応する指標値との大小関係による切り換え
手段の切り換え動作を制限するものである。
レーム内の所定のラインにおける複数の画素値を積算す
るステップと、2つの電源周波数に対応して発生するフ
リッカの横縞の周期と一致する2種類の間隔で配列する
複数のラインをグループとして、複数のグループについ
ての各ラインの積算値をそれぞれ積算し、各グループの
積算値の変動幅に基づいた指標値を演算するステップ
と、指標値の大小関係に基づいてフリッカを検出し、検
出結果に基づいて、2種類のグループのライン間隔にそ
れぞれ対応する2種類の電源周波数のうち、固体撮像素
子の電荷蓄積時間を第1の電源周波数の逆数の1/2の
整数倍のうちのいずれかの時間か、固体撮像素子の電荷
蓄積時間を第2の電源周波数の逆数の1/2の整数倍の
うちのいずれかの時間に設定するステップとを備えるも
のである。
説明する。 実施の形態1. 図1はこの発明の実施の形態1による撮像装置の構成を
示すブロック図である。図1において、1は画素毎に異
なるタイミングで光電変換を実行して画像信号を生成す
るCMOSセンサなどの固体撮像素子であり、2は画像
信号におけるノイズをキャンセルする相関二重サンプリ
ング回路(CDS)であり、3は画像信号を増幅する増
幅器であり、4は画像信号をデジタルデータに変換する
A/D変換器であり、5は固体撮像素子1の電荷蓄積時
間と増幅器3の利得を自動的に制御する自動レベル調整
手段である。
レーム内の所定のラインにおける複数の画素値を積算す
る積算手段であり、12は画像のレベルに応じて自動レ
ベル調整処理を実行する演算手段であり、13は演算手
段12の演算結果に応じて、固体撮像素子1の電荷蓄積
時間を1/100秒の整数倍のうちのいずれかの時間に
設定するための設定信号、および増幅器3の増幅率を設
定するための設定信号を出力する第1の撮像パラメータ
設定手段(第1の設定手段)であり、14は演算手段1
2の演算結果に応じて、固体撮像素子1の電荷蓄積時間
を1/120秒の整数倍のうちのいずれかの時間に設定
するための設定信号、および増幅器3の増幅率を設定す
るための設定信号を出力する第2の撮像パラメータ設定
手段(第2の設定手段)である。
をグループとして、複数のグループについての積算手段
11による積算値をそれぞれ積算し、複数のグループに
ついての積算値に基づいて、フリッカ検出のための指標
値を演算する演算手段(指標値演算手段)であり、16
は演算手段15による指標値に基づいてフリッカを検出
し、検出結果に基づいて切り換え手段17を制御するフ
リッカ検出手段であり、17はフリッカ検出手段16か
らの制御信号に応じて、第1の撮像パラメータ設定手段
13または第2の撮像パラメータ設定手段14からの設
定信号を選択し、増幅率の設定信号を増幅器3に供給
し、電荷蓄積時間の設定信号をタイミングジェネレータ
18に供給する切り換え手段であり、18は切り換え手
段17を介して供給される電荷蓄積時間の設定信号に基
づいて固体撮像素子1の電荷蓄積時間を制御するタイミ
ングジェネレータである。
体撮像素子1に入射すると、固体撮像素子1により画像
信号に変換され、その画像信号はCDS2によりノイズ
を除去される。CDS2から出力された画像信号は増幅
器3により増幅され、A/D変換器4によりデジタルデ
ータに変換され、画素データとして図示せぬ後段の処理
部へ出力される。
算手段11は、1フレーム毎に画面全体あるいは画面の
一部の領域の画素データを積算し、積算値を演算手段1
2に供給する。また、積算手段11は、所定の複数の水
平ラインの画素データを積算した積算値、すなわちその
各水平ラインの射影出力値を演算手段15に供給する。
レベルになるように、積算手段11からの積算値に基づ
いて次フレーム撮像時の撮像パラメータ設定値を演算
し、その撮像パラメータ設定値を第1の撮像パラメータ
設定手段13および第2の撮像パラメータ設定手段14
に供給する。
第2の撮像パラメータ設定手段14は、その撮像パラメ
ータ設定指標値に基づき増幅器3に対するゲイン設定信
号、およびタイミングジェネレータ18に対する電荷蓄
積時間の設定信号を出力する。
13は、交流電源の周波数が50Hzの地域でフリッカ
が発生しないようにするために、電荷蓄積時間が1/1
00秒の整数倍のいずれかにする電荷蓄積時間の設定信
号を出力し、第2の撮像パラメータ設定手段14は、交
流電源の周波数が60Hzの地域でフリッカが発生しな
いようにするために、電荷蓄積時間が1/120秒の整
数倍のいずれかにする電荷蓄積時間の設定信号を出力す
る。ただし、撮影環境が高照度の場合には、第1の撮像
パラメータ設定手段13は、1/100秒より短い電荷
蓄積時間を設定するための設定信号を出力し、第2の撮
像パラメータ設定手段14は、1/120秒より短い電
荷蓄積時間を設定するための設定信号を出力する。
3および第2の撮像パラメータ設定手段14からの2組
のゲイン設定信号および電荷蓄積時間設定信号のうちい
ずれか一組が切り換え手段17により選択され、選択さ
れたゲイン設定信号が増幅器3に供給され、選択された
電荷蓄積時間設定信号がタイミングジェネレータ18に
供給される。
の射影出力値に基づいてフリッカ検出のためのフリッカ
指標値を算出し、フリッカ検出手段16に供給する。フ
リッカ検出手段16は、このフリッカ指標値に基づいて
切り換え手段17を制御し、第1の撮像パラメータ設定
手段13または第2の撮像パラメータ設定手段14によ
る設定信号を選択させる。これにより、所在地域でのフ
リッカの抑制に適したゲイン設定信号および電荷蓄積時
間設定信号が増幅器3およびタイミングジェネレータ1
8にそれぞれ供給される。
標値の計算について説明する。演算手段15は、所定の
間隔で配列する複数のラインをグループとして、複数の
グループについての積算手段11による積算値をそれぞ
れ積算し、複数のグループについての積算値やそれらの
平均値に基づいてフリッカ指標値を演算する。このとき
の各ラインの間隔は、検出するフリッカの横縞の周期
(以下、フリッカ周期という)と一致させる。例えば、
水平ラインの総数が240である場合に、検出対象とな
るフリッカ周期が40であるとすると、40ライン置き
に、第0ライン、第40ライン、第80ライン、第12
0ライン、・・・、第200ラインが第1のグループに
属する。さらに、所定のライン数だけ各ラインをシフト
して構成されるグループも存在する。
つシフトさせる場合、元になる第1のグループと、第1
のグループからフリッカ周期の1/4だけシフトさせた
第2のグループと、第2のグループからフリッカ周期の
1/4だけシフトさせた第3のグループと、第3のグル
ープからフリッカ周期の1/4だけシフトさせた第4の
グループとが存在する。図2はフリッカ周期の1/4ず
つシフトさせる場合に存在する4つのグループとそれに
属するラインとの関係の一例を示す図である。また、図
3はグループに属するラインとフリッカとの位相関係の
一例を示す図である。
プに属するラインについての積算値は、検出対象のフリ
ッカに対して同位相になる。これにより、フリッカ発生
時には、グループ毎に、射影出力値の積算値が大きく異
なる。
影出力値を積算し、上記例の場合、第1のグループ〜第
4のグループに対応する積算値V1 〜V4 を計算し、式
(1)に従ってフリッカ指標値Kを計算する。 K=|V1 −V3 |+|V2 −V4 | ・・・(1)
値Vi (i=1,・・・,4)が周期的に変化すること
を利用して、フリッカ指標値Kを得るものである。図4
はフリッカの有無それぞれの場合の積算値Vi の分布例
を示す図である。すなわち、フリッカが発生している場
合、図4(a)に示すように、積算値Vi は周期的に変
化するので、積算値Vi のうちの最大値および最小値の
組合せは第1および第3のグループ、または第2および
第4のグループになる。一方、フリッカが発生していな
い場合には、画像自体に明暗の変化があっても、その明
暗の周期がグループ毎の積算の周期と異なるため互いに
打ち消し合い、図4(b)に示すように、グループ間の
積算値Vi の差はあまり大きくならず、積算値Vi に周
期性も見られない。
なるとフリッカ周期も異なるため、グループに属する各
ラインの間隔を電源周波数(50Hzまたは60Hz)
に応じて変更して、各電源周波数に対するフリッカ指標
値を計算する。ここで、電源周波数50Hzに対応した
フリッカ指標値KをK50とし、電源周波数60Hzに対
応したフリッカ指標値KをK60とする。
説明する。図5は実施の形態1におけるフリッカ検出手
段16の動作について説明するフローチャートである。
まず、フリッカ検出手段16は、演算手段15からフリ
ッカ指標値K50,K60を取得する(ステップST1)。
指標値K50が所定の閾値Kb 以上であり、かつ、フリッ
カ指標値K60が所定の閾値Kb より小さいか否かを判断
する(ステップST2)。
カ指標値K50が所定の閾値Kb 以上であり、かつ、フリ
ッカ指標値K60が所定の閾値Kb より小さい場合、第1
の撮像パラメータ設定手段13からの設定信号が選択さ
れるように切り換え手段17を制御する(ステップST
6)。
標値K50が所定の閾値Kb より小さいか、あるいは、フ
リッカ指標値K60が所定の閾値Kb 以上である場合、フ
リッカ検出手段16は、フリッカ指標値K50が所定の閾
値Kb より小さく、かつ、フリッカ指標値K60が所定の
閾値Kb 以上であるか否かを判断する(ステップST
3)。
カ指標値K50が所定の閾値Kb より小さく、かつ、フリ
ッカ指標値K60が所定の閾値Kb 以上である場合、第2
の撮像パラメータ設定手段14からの設定信号が選択さ
れるように切り換え手段17を制御する(ステップST
7)。
標値K50が所定の閾値Kb 以上であるか、あるいは、フ
リッカ指標値K60が所定の閾値Kb より小さい場合、フ
リッカ検出手段16は、フリッカ指標値K50が所定の閾
値Kb 以上であり、かつ、フリッカ指標値K60が所定の
閾値Kb 以上であるか否かを判断する(ステップST
4)。
Kb 以上であり、かつ、フリッカ指標値K60が所定の閾
値Kb 以上である場合、フリッカ検出手段16は、フリ
ッカ指標値K60がフリッカ指標値K50以上であるか否か
を判断し(ステップST5)、フリッカ指標値K60がフ
リッカ指標値K50以上である場合には、第2の撮像パラ
メータ設定手段14からの設定信号が選択されるように
切り換え手段17を制御し(ステップST7)、フリッ
カ指標値K60がフリッカ指標値K50より小さい場合に
は、第1の撮像パラメータ設定手段13からの設定信号
が選択されるように切り換え手段17を制御する(ステ
ップST6)。
条件および撮影対象の変化に起因してフリッカ指標値に
誤差が生じる可能性があるので、そのような場合には、
フリッカ指標値K60およびフリッカ指標値K50のうち、
大きい方の条件(電源周波数)でフリッカが発生してい
ると判断する。
標値K50が所定の閾値Kb より小さいか、あるいは、フ
リッカ指標値K60が所定の閾値Kb より小さい場合(す
なわち、フリッカ指標値K50が所定の閾値Kb より小さ
く、かつフリッカ指標値K60が所定の閾値Kb より小
さい場合)には、切り換え手段17の制御は実行され
ず、設定信号の切り換えは実行されない。
たフリッカの検知および所在地域の電源周波数に対応し
た撮像パラメータの設定が実行される。
のノイズや撮影条件および撮影対象の変化に起因してフ
リッカ指標値に誤差が生じ、フリッカの誤認識が多く発
生すると、撮像パラメータの設定信号の無意味な切り換
えが多く発生し、画像のちらつきなどの原因になる恐れ
がある。そこで、フリッカの検知条件に許容範囲を持た
すことにより、撮像パラメータの設定信号の無意味な切
り換えを抑制するようにしてもよい。図6は実施の形態
1におけるフリッカ検出手段16の他の動作について説
明するフローチャートである。すなわち、図6に示すよ
うに、ステップST6の処理の前段で、フリッカ指標値
K50とフリッカ指標値K60との差が所定の値Kd 以上で
あるか否かが判断され(ステップST11)、フリッカ
指標値K50とフリッカ指標値K60との差が所定の値Kd
以上である場合のみ、設定信号の切り換えが実行され、
また、ステップST7の処理の前段で、フリッカ指標値
K60とフリッカ指標値K50との差が所定の値Kd 以上で
あるか否かが判断され(ステップST12)、フリッカ
指標値K60とフリッカ指標値K50との差が所定の値Kd
以上である場合のみ、設定信号の切り換えが実行され
る。
ば、フレーム内の所定のラインにおける複数の画素値を
積算し、所定の間隔で配列する複数のラインをグループ
として、複数のグループについての各ラインの積算値を
それぞれ積算し、複数のグループについての積算値に基
づいてフリッカ指標値を演算し、その指標値に基づいて
フリッカを検出し、検出結果に基づいて、固体撮像素子
の電荷蓄積時間を第1の電源周波数の逆数の1/2の整
数倍のうちのいずれかの時間か、固体撮像素子の電荷蓄
積時間を第2の電源周波数の逆数の1/2の整数倍のう
ちのいずれかの時間に設定するようにしたので、地域に
よって電源周波数が異なる場合でも、フリッカ指標値に
基づいて所在地域の電源周波数を検知し、フリッカの発
生を確実に抑制して良好な画像を得ることができるとい
う効果が得られる。
カ検出手段16は、フリッカ指標値K50とフリッカ指標
値K60との大小関係に応じて切り換え手段17を制御す
るようにしたので、固体撮像素子1のノイズや撮影条件
および撮影対象の変化に起因してフリッカ指標値に誤差
が生じるような場合にも、妥当な設定信号への切り換え
を実行することができるという効果が得られる。
ッカ検出手段16は、フリッカ指標値K50とフリッカ指
標値K60との差が所定の範囲内である場合には、切り換
え手段による切り換えを実行させないようにしたので、
固体撮像素子1のノイズや撮影条件および撮影対象の変
化に起因してフリッカ指標値に誤差が生じて撮像パラメ
ータの設定信号の無意味な切り換えの発生を抑制するこ
とができるという効果が得られる。
5が、各グループに属するラインについて局所的な、積
算手段11による積算値の変化傾向を抽出し、その変化
傾向に基づいてフリッカ指標値を演算するようにしたも
のである。
の積算値Vi を直接利用する場合、複数ラインにおけ
る射影出力値を積算/平均することにより、画面全体の
明るさや画像の局所的な明暗変化などの影響を軽減して
いるが、フレーム内で極端な明度変化や色変化がある場
合、フリッカを誤認識する可能性がある。そこで、積算
手段11による積算値の変化傾向に基づいてフリッカ指
標値を演算するようにしたものである。
構成は実施の形態1によるものと同様であるので、その
説明を省略する。ただし、演算手段15の動作は異な
る。
は、各グループに属する各ラインについての射影出力値
の変化の傾向に基づいて、フリッカ指標値を演算する。
図7は演算手段15による各ラインについての指標値の
決定について説明する図である。
1/4の間隔で6周期分、合計24本のラインについて
の射影出力値を使用し、各ラインの射影出力値と1つ前
のラインの射影出力値および1つ後のラインの射影出力
値とを比較し、注目ラインの射影出力値が1つ前のライ
ンの射影出力値および1つ後のラインの射影出力値より
大きい場合(図7(a))にはその注目ラインの指標値
を2とし、注目ラインの射影出力値が1つ前のラインの
射影出力値および1つ後のラインの射影出力値より小さ
い場合(図7(d))にはその注目ラインの指標値を0
とし、それ以外の場合(図7(b),図7(c))には
その注目ラインの指標値を1とする。
を4つのグループに分け、式(2)に従って、各ライン
の指標値から各グループの積算値V1 〜V4 を計算す
る。 V1 =I0 +I4 +I8 +I12+I16+I20 V2 =I1 +I5 +I9 +I13+I17+I21 V3 =I2 +I6 +I10+I14+I18+I22 V4 =I3 +I7 +I11+I15+I19+I23 ・・・(2) ここで、Ii は、第iラインの指標値を示す。また、こ
の場合、各グループの積算値V1 〜V4 は、0から12
のうちのいずれかの値をとる。
同様に、式(1)に従ってフリッカ指標値Kを、各電源
周波数に対応して計算する。
1によるものと同様であるので、その説明を省略する。
ば、演算手段15が、各グループに属するラインについ
て局所的な、積算手段11による積算値の変化傾向を抽
出し、その変化傾向に基づいてフリッカ指標値を演算す
るようにしたので、フレーム内で極端な明度変化や色変
化がある場合にも、フリッカを良好に検知することがで
きるという効果が得られる。
5Aが、フレーム間の各グループについての積算値の変
動に基づいて、フリッカ検出のための指標値を演算する
ようにしたものである。
装置の構成を示すブロック図である。図において、15
Aはフレーム間の各グループについての積算値の変動に
基づいて、フリッカ検出のための指標値を演算する演算
手段(指標値演算手段)であり、21は1フレーム前の
各グループの積算値を記憶するデータ蓄積手段である。
なお、図8におけるその他の構成要素については実施の
形態1と同様であるので、その説明を省略する。
Aは、まず、1フレーム前の各グループの積算値をデー
タ蓄積手段21から読み出し、次に、積算手段11から
の各水平ラインの射影出力値から実施の形態1と同様に
して各グループの積算値を計算し、データ蓄積手段21
に記憶させる。
の積算値のフレーム間の差に基づいてフリッカ指標値K
を計算する。例えばグループが4つである場合、式
(3)に従って各グループの積算値V1 〜V4 からフリ
ッカ指標値Kが計算される。 K=|(V1 (n)−V1 (n−1)) −(V3 (n)−V3 (n−1))| +|(V2 (n)−V2 (n−1)) −(V4 (n)−V4 (n−1))| ・・・(3) ここで、Vi (n)は、第nフレームの第iグループの
積算値である。
カが上下方向に移動することを利用して、フリッカ指標
値Kを得るものである。CMOSセンサなどの固体撮像
装置1では、フレーム毎に電荷の蓄積タイミングと光の
明暗変化とのずれに起因して、フリッカによる画像上の
横縞は上下方向に流れるよう見える。したがって、式
(3)に従ってフレーム間の積算値の差分を考慮するこ
とで、画像の局所的な変化による画像信号のばらつきは
相殺され、フリッカによる周期的な射影出力値の変化の
みを抽出することができる。すなわち、フリッカ発生時
にはこのフレーム間の差分値に、フリッカと同周期の周
期的な変化が見られるため、実施の形態1と同様にし
て、その周期性を利用してフリッカ指標値を計算するこ
とができる。
1によるものと同様であるので、その説明を省略する。
ば、演算手段15Aが、フレーム間の各グループについ
ての積算値の変動に基づいて、フリッカ検出のための指
標値を演算するようにしたので、画像の局所的な変化の
影響を抑制して、フリッカを検知することができるとい
う効果が得られる。
5Aが、フレーム間の各グループについての積算値の変
動の合計値を切り換え指標値として演算するようにした
ものである。
発生した場合、実施の形態3のように、局所的な変化に
対応しただけでは、フリッカの誤検知を抑制することが
できない可能性がある。そこで、各グループについての
積算値の変動の合計値を別の指標値D(切り換え指標
値)として演算して、その切り換え指標値に基づいて画
像全体の変化を把握し、画像全体の変化が大きい場合に
は、設定信号の切り換えを実行しないようにする。
構成は実施の形態3によるものと同様であるので、その
説明を省略する。ただし、演算手段15Aの動作が異な
る。
施の形態4における演算手段15Aの動作について説明
するフローチャートである。
り換え動作をするとき、切り換え先の設定信号によりフ
リッカを抑制しようとする電源周波数に関して、各グル
ープについての積算値の変動の合計値を別の指標値Dと
して演算して、その指標値Dが所定の値Db 以下である
場合のみ、フリッカ検出手段16を介して切り換え手段
17に切り換え動作を実行させる。
リッカ指標値K50が所定の閾値Kb以上であり、か
つ、フリッカ指標値K60が所定の閾値Kbより小さい
とフリッカ検出手段16が判断したとき(ステップST
2)、演算手段15Aは、電源周波数50Hzに関し
て、各グループについての積算値の変動の合計値を指標
値D50として演算して、その指標値D50が所定の値Db
以下であるか否かを判断し(ステップST21)、指標
値D50が所定の値Db以下である場合のみ、図5を用い
て説明したステップST2のフリッカ検出手段16の判
断結果に基づく制御を当該フリッカ検出手段16に実行
させ、切り換え手段17が第1の撮像パラメータ設定手
段13からの設定信号を選択するように切り換え動作を
実行させる(ステップST6)。同様に、図5を用いて
説明したようにフリッカ指標値K50が所定の閾値Kb
より小さく、かつ、フリッカ指標値K60が所定の閾値
Kb以上であるとフリッカ検出手段16が判断したとき
(ステップST3)、演算手段15Aは、電源周波数6
0Hzに関して、各グループについての積算値の変動の
合計値を指標値D60として演算して、その指標値D60が
所定の値Db 以下であるか否かを判断し(ステップST
22)、指標値D60が所定の値Db 以下である場合の
み、図5を用いて説明したステップST3のフリッカ検
出手段16の判断結果に基づく制御を当該フリッカ検出
手段16に実行させ、切り換え手段17が第2の撮像パ
ラメータ設定手段14からの設定信号を選択するように
切り換え動作を実行させる(ステップST7)。
(4)に従って各グループの積算値V1 〜V4 から指標
値Dが計算される。 D=|V1 (n)−V1 (n−1)| +|V3 (n)−V3 (n−1)| +|V2 (n)−V2 (n−1)| +|V4 (n)−V4 (n−1)| ・・・(4)
のフレーム間の変化を示すものであり、この指標値Dが
所定の値以上である場合には、撮影対象自体が変化して
いると考えられるため、フリッカが検知されても、設定
信号の切り換えを実行しない。
3によるものと同様であるので、その説明を省略する。
子1のノイズや撮影条件および撮影対象の変化に起因し
てフリッカ指標値に誤差が生じ、フリッカの誤認識が多
く発生すると、撮像パラメータの設定信号の無意味な切
り換えが多く発生し、画像のちらつきなどの原因になる
恐れがある。そこで、フリッカの検知条件に許容範囲を
持たすことにより、撮像パラメータの設定信号の無意味
な切り換えを抑制するようにしてもよい。図10は実施
の形態4におけるフリッカ検出手段16の他の動作につ
いて説明するフローチャートである。すなわち、図10
に示すように、ステップST6(およびステップST2
1)の処理の前段で、フリッカ指標値K50とフリッカ指
標値K60との差が所定の値Kd 以上であるか否かが判断
され(ステップST11)、フリッカ指標値K50とフリ
ッカ指標値K60との差が所定の値Kd 以上である場合の
み、設定信号の切り換えが実行され、また、ステップS
T7(およびステップST22)の処理の前段で、フリ
ッカ指標値K60とフリッカ指標値K50との差が所定の値
Kd 以上であるか否かが判断され(ステップST1
2)、フリッカ指標値K60とフリッカ指標値K50との差
が所定の値Kd 以上である場合のみ、設定信号の切り換
えが実行される。
ば、演算手段15Aが、フレーム間の各グループについ
ての積算値の変動の合計値を切り換え指標値として演算
するようにしたので、画像全体において大きな変化が発
生した場合にも、フリッカの誤検知を抑制することがで
きるという効果が得られる。
50Hzか60Hzとしており、日本国内では問題ない
が、外国など、電源周波数を50Hzおよび60Hz以
外である地域では、その地域の電源周波数に対応して装
置を構成することにより、同様の効果が得られる。
ーム内の所定のラインにおける複数の画素値を積算し、
所定の間隔で配列する複数のラインをグループとして、
複数のグループについての各ラインの積算値をそれぞれ
積算し、複数のグループの積算値の変動幅に基づいて、
フリッカ検出のための指標値を演算し、2つの電源周波
数に対応する2種類の所定の間隔について、第1の電源
周波数に対応する指標値及び第2の電源周波数に対応す
る指標値をそれぞれ演算し、当該両指標値の大小関係に
応じてフリッカを検出し、その検出結果に基づいて、固
体撮像素子の電荷蓄積時間を第1の電源周波数の逆数の
1/2の整数倍のうちのいずれかの時間か、固体撮像素
子の電荷蓄積時間を第2の電源周波数の逆数の1/2の
整数倍のうちのいずれかの時間に設定するようにしたの
で、地域によって電源周波数が異なる場合でも、フリッ
カ指標値に基づいて所在地域の電源周波数を検知し、フ
リッカの発生を確実に抑制して良好な画像を得ることが
できるという効果がある。
体撮像素子の電荷蓄積時間を1/100秒の整数倍のう
ちのいずれかの時間に設定し、第2の設定手段は、固体
撮像素子の電荷蓄積時間を1/120秒の整数倍のうち
のいずれかの時間に設定するようにしたので、日本国内
において、フリッカ指標値に基づいて所在地域の電源周
波数を検知し、フリッカの発生を確実に抑制して良好な
画像を得ることができるという効果がある。
つの電源周波数に対応する2種類の所定の間隔で配列す
る複数のラインをそれぞれ所定のライン数だけシフトさ
せた各ラインをグループとして、第1の電源周波数に対
応するグループについての指標値と第2の電源周波数に
対応するグループについての指標値とを演算するように
したので、固体撮像素子のノイズや撮影条件および撮影
対象の変化に起因してフリッカ指標値に誤差が生じるよ
うな場合にも、妥当な設定信号への切り換えを実行する
ことができるという効果がある。
第1の電源周波数に対応するグループについての指標値
と第2の電源周波数に対応するグループについての指標
値との差が所定の範囲内である場合には、切り換え手段
による切り換えを実行させないようにしたので、固体撮
像素子のノイズや撮影条件および撮影対象の変化に起因
してフリッカ指標値に誤差が生じて撮像パラメータの設
定信号の無意味な切り換えの発生を抑制することができ
るという効果がある。
グループに属する各ラインのうち複数の所定の注目ライ
ンの積算値と当該注目ラインの前後のラインの積算値と
を比較して当該各注目ラインの変化傾向を求め、複数の
注目ラインの変化傾向に基づいて各グループの積算値を
演算するようにしたので、フレーム内で極端な明度変化
や色変化がある場合にも、フリッカを良好に検知するこ
とができるという効果がある。
て求められた各グループの積算値を記憶するデータ蓄積
手段を備え、指標値演算手段が、前のフレームの各グル
ープの積算値を求めてデータ蓄積手段に記憶させ、次の
フレームの各グループの積算値を求めた後、当該積算値
とデータ蓄積手段に記憶されている積算値との差分を各
グループごとに求め、当該差分値を各グループの積算値
として扱うようにしたので、画像の局所的な変化の影響
を抑制して、フリッカを検知することができるという効
果がある。
グループごとに求めた次のフレームの積算値とデータ蓄
積手段に記憶されている前のフレームの積算値との差分
値を合計してフリッカ検出手段を制御する切り換え指標
値を求める演算を行い、フリッカ検出手段は、指標値演
算手段からの切り換え指標値が所定値より大きいとき、
第1の電源周波数に対応する指標値と第2の電源周波数
に対応する指標値との大小関係による切り換え手段の切
り換え動作を制限するようにしたので、画像全体におい
て大きな変化が発生した場合にも、フリッカの誤検知を
抑制することができるという効果がある。
成を示すブロック図である。
に存在する4つのグループとそれに属するラインとの関
係の一例を示す図である。
関係の一例を示す図である。
布例を示す図である。
作について説明するフローチャートである。
の動作について説明するフローチャートである。
決定について説明する図である。
成を示すブロック図である。
ついて説明するフローチャートである。
他の動作について説明するフローチャートである。
レベル調整装置の構成を示すブロック図である。
する図である。
段、11 積算手段、13 第1の撮像パラメータ設定
手段(第1の設定手段)、14 第2の撮像パラメータ
設定手段(第2の設定手段)、15,15A 演算手段
(指標値演算手段)、16 フリッカ検出手段、17
切り換え手段。
Claims (8)
- 【請求項1】 画素毎に異なるタイミングで光電変換を
実行して画像信号を生成する固体撮像素子と、前記画像
信号を増幅する増幅器と、前記固体撮像素子の電荷蓄積
時間と前記増幅器の利得を自動的に制御して前記画像信
号のレベルを所定のレベルにする自動レベル調整手段を
備えた撮像装置において、 前記自動レベル調整手段は、 前記固体撮像素子の電荷蓄積時間を第1の電源周波数の
逆数の1/2の整数倍のうちのいずれかの時間に設定す
る第1の設定手段と、 前記固体撮像素子の電荷蓄積時間を第2の電源周波数の
逆数の1/2の整数倍のうちのいずれかの時間に設定す
る第2の設定手段と、 前記第1の設定手段または前記第2の設定手段を選択
し、前記固体撮像素子の電荷蓄積時間を設定させる切り
換え手段と、 フレーム内の所定のラインにおける複数の画素値を積算
する積算手段と、 所定の間隔で配列する複数のラインをグループとして、
複数のグループについて前記積算手段による積算値をそ
れぞれ積算し、前記各グループの積算値の変動幅に基づ
いた指標値を演算する指標値演算手段と、 前記2つの電源周波数に対応する2種類の前記所定の間
隔について、前記指標値演算手段による第1の電源周波
数に対応する指標値及び第2の電源周波数に対応する指
標値をそれぞれ演算し、当該両指標値の大小関係に応じ
て前記切り換え手段を制御するフリッカ検出手段とを備
えることを特徴とする撮像装置。 - 【請求項2】 第1の設定手段は、固体撮像素子の電荷
蓄積時間を1/100秒の整数倍のうちのいずれかの時
間に設定し、 第2の設定手段は、固体撮像素子の電荷蓄積時間を1/
120秒の整数倍のうちのいずれかの時間に設定するこ
とを特徴とする請求項1記載の撮像装置。 - 【請求項3】 指標値演算手段は、2つの電源周波数に
対応する2種類の所定の間隔で配列する複数のラインを
それぞれ所定のライン数だけシフトさせた各ラインをグ
ループとして、第1の電源周波数に対応する前記グルー
プについての指標値と第2の電源周波数に対応する前記
グループについての指標値とを演算することを特徴とす
る請求項1記載の撮像装置。 - 【請求項4】 フリッカ検出手段は、第1の電源周波数
に対応するグループについての指標値と第2の電源周波
数に対応するグループについての指標値との差が所定の
範囲内である場合には、切り換え手段による切り換えを
実行させないことを特徴とする請求項1項記載の撮像装
置。 - 【請求項5】 指標値演算手段は、各グループに属する
各ラインのうち複数の所定の注目ラインの積算値と当該
注目ラインの前後のラインの積算値とを比較して当該各
注目ラインの変化傾向を求め、前記複数の注目ラインの
変化傾向に基づいて前記各グループの積算値を演算する
ことを特徴とする請求項1記載の撮像装置。 - 【請求項6】 指標値演算手段によって求められた各グ
ループの積算値を記憶するデータ蓄積手段を備え、 指標値演算手段は、前のフレームの各グループの積算値
を求めて前記データ蓄積手段に記憶させ、次のフレーム
の各グループの積算値を求めた後、当該積算値と前記デ
ータ蓄積手段に記憶されている積算値との差分を前記各
グループごとに求め、当該差分値を前記各グループの積
算値として扱うことを特徴とする請求項1記載の撮像装
置。 - 【請求項7】 指標値演算手段は、各グループごとに求
めた次のフレームの積算値とデータ蓄積手段に記憶され
ている前のフレームの積算値との差分値を合計してフリ
ッカ検出手段を制御する切り換え指標値を求める演算を
行い、 フリッカ検出手段は、前記指標値演算手段からの切り換
え指標値が所定値より大きいとき、第1の電源周波数に
対応する指標値と第2の電源周波数に対応する指標値と
の大小関係による前記切り換え手段の切り換え動作を制
限することを特徴とする請求項6記載の撮像装置。 - 【請求項8】 画素毎に異なるタイミングで光電変換を
実行して画像信号を生成する固体撮像素子と、前記画像
信号を増幅する増幅器とを備えた撮像装置で、前記固体
撮像素子の電荷蓄積時間と前記増幅器の利得を自動的に
制御して前記画像信号のレベルを所定のレベルにする自
動レベル調整方法において、 フレーム内の所定のラインにおける複数の画素値を積算
するステップと、 2つの電源周波数に対応して発生するフリッカの横縞の
周期と一致する2種類の間隔で配列する複数のラインを
グループとして、複数のグループについての各ラインの
積算値をそれぞれ積算し、前記各グループの積算値の変
動幅に基づいた指標値を演算するステップと、 前記指標値の大小関係に基づいてフリッカを検出し、検
出結果に基づいて、前記2種類のグループのライン間隔
にそれぞれ対応する2種類の電源周波数のうち、前記固
体撮像素子の電荷蓄積時間を第1の電源周波数の逆数の
1/2の整数倍のうちのいずれかの時間か、前記固体撮
像素子の電荷蓄積時間を第2の電源周波数の逆数の1/
2の整数倍のうちのいずれかの時間に設定するステップ
とを備えることを特徴とする自動レベル調整方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000273669A JP3522674B2 (ja) | 2000-09-08 | 2000-09-08 | 撮像装置および自動レベル調整方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000273669A JP3522674B2 (ja) | 2000-09-08 | 2000-09-08 | 撮像装置および自動レベル調整方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002084467A JP2002084467A (ja) | 2002-03-22 |
JP3522674B2 true JP3522674B2 (ja) | 2004-04-26 |
Family
ID=18759572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000273669A Expired - Lifetime JP3522674B2 (ja) | 2000-09-08 | 2000-09-08 | 撮像装置および自動レベル調整方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3522674B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10432875B2 (en) | 2014-07-31 | 2019-10-01 | Sony Corporation | Image processing apparatus, image processing method, and image sensor |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3370979B2 (ja) * | 2000-09-08 | 2003-01-27 | 三菱電機株式会社 | 撮像装置および自動レベル調整方法 |
JP4519306B2 (ja) * | 2000-11-10 | 2010-08-04 | 株式会社東芝 | フリッカ除去装置 |
JP4337353B2 (ja) | 2002-03-25 | 2009-09-30 | セイコーエプソン株式会社 | フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム |
JP3826904B2 (ja) * | 2003-07-08 | 2006-09-27 | ソニー株式会社 | 撮像装置およびフリッカ低減方法 |
KR100574890B1 (ko) * | 2004-04-27 | 2006-04-27 | 매그나칩 반도체 유한회사 | 이미지센서 및 이미지센서의 플리커 노이즈 검출 방법 |
JP4515991B2 (ja) * | 2005-09-28 | 2010-08-04 | Hoya株式会社 | フリッカノイズ低減装置 |
US7728186B2 (en) | 2006-04-21 | 2010-06-01 | Exxonmobil Chemical Patents Inc. | Production of aromatics from methane |
JP4948090B2 (ja) * | 2006-08-25 | 2012-06-06 | キヤノン株式会社 | 撮像装置及び駆動制御方法 |
JP2011176559A (ja) * | 2010-02-24 | 2011-09-08 | Fujitsu Frontech Ltd | 画像読み取り装置及びその画像読み取り方法 |
JP6456038B2 (ja) * | 2014-04-23 | 2019-01-23 | キヤノン株式会社 | 電子機器、光量変化特性の算出方法、プログラム及び記憶媒体 |
JP6525757B2 (ja) * | 2015-06-17 | 2019-06-05 | キヤノン株式会社 | 撮像装置、光量変化特性の算出方法、プログラム及び記憶媒体 |
JP6700763B2 (ja) * | 2015-12-11 | 2020-05-27 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6481580A (en) * | 1987-09-24 | 1989-03-27 | Toshiba Corp | Solid-state image pickup device |
JP2821129B2 (ja) * | 1988-02-10 | 1998-11-05 | 株式会社日立製作所 | テレビカメラ |
JPH11122513A (ja) * | 1997-10-09 | 1999-04-30 | Matsushita Electric Ind Co Ltd | 蛍光灯フリッカー補正装置及びそれを使用したカメラ |
JP2000032330A (ja) * | 1998-07-08 | 2000-01-28 | Toshiba Corp | カメラの自動レベル調整装置 |
JP3375557B2 (ja) * | 1999-01-29 | 2003-02-10 | 松下電器産業株式会社 | 映像信号処理装置 |
JP3539901B2 (ja) * | 1999-10-08 | 2004-07-07 | 松下電器産業株式会社 | フリッカ検出・補正装置およびフリッカ検出・補正方法 |
JP3685686B2 (ja) * | 2000-06-12 | 2005-08-24 | 三菱電機株式会社 | 撮像エリアセンサおよび撮像装置 |
JP3370979B2 (ja) * | 2000-09-08 | 2003-01-27 | 三菱電機株式会社 | 撮像装置および自動レベル調整方法 |
-
2000
- 2000-09-08 JP JP2000273669A patent/JP3522674B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10432875B2 (en) | 2014-07-31 | 2019-10-01 | Sony Corporation | Image processing apparatus, image processing method, and image sensor |
Also Published As
Publication number | Publication date |
---|---|
JP2002084467A (ja) | 2002-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3370979B2 (ja) | 撮像装置および自動レベル調整方法 | |
JP4904749B2 (ja) | フリッカ低減方法、フリッカ低減回路及び撮像装置 | |
KR100515225B1 (ko) | 플리커 보정 장치, 플리커 보정 방법 및 플리커 보정 프로그램을 저장한 기록 매체 | |
US6710818B1 (en) | Illumination flicker detection apparatus, an illumination flicker compensation apparatus, and an ac line frequency detection apparatus, methods of detecting illumination flicker, compensating illumination flicker, and measuring ac line frequency | |
JP3730419B2 (ja) | 映像信号処理装置 | |
JP3892172B2 (ja) | 固体撮像装置 | |
JP3522674B2 (ja) | 撮像装置および自動レベル調整方法 | |
KR101143861B1 (ko) | 플리커 보정방법 및 플리커 보정회로와 그것들을 이용한촬상장치 | |
JP3375557B2 (ja) | 映像信号処理装置 | |
US20040165091A1 (en) | Image pickup apparatus | |
JP2006245784A (ja) | 固体撮像装置及びその駆動方法並びに撮像システム | |
JP2007174537A (ja) | 撮像装置 | |
EP0430982A4 (en) | Wide dynamic range camera | |
JP2005347939A (ja) | 撮像装置および信号処理方法 | |
KR20030097687A (ko) | 화상 처리 장치, 카메라 장치, 및 그 자동 노광 제어 방법 | |
KR20060128649A (ko) | 화상 처리 장치 및 촬상 장치 | |
KR20080098864A (ko) | 이미지 센서의 플리커 감소 방법 및 장치 | |
KR20080076004A (ko) | 촬상장치 및 그 다이나믹 레인지 확장방법 | |
JP3539901B2 (ja) | フリッカ検出・補正装置およびフリッカ検出・補正方法 | |
JP2001119708A (ja) | フリッカ検出・補正装置およびフリッカ検出・補正方法 | |
GB2499668A (en) | Exposure Controller | |
JP4323343B2 (ja) | 撮像装置及びフリッカ検出方法 | |
US20090086054A1 (en) | Image pickup apparatus and control method therefor | |
JP4519306B2 (ja) | フリッカ除去装置 | |
JP2007158964A (ja) | 画像処理装置および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3522674 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |