JP3524117B2 - 露光制御装置及びそれを用いた撮像装置 - Google Patents

露光制御装置及びそれを用いた撮像装置

Info

Publication number
JP3524117B2
JP3524117B2 JP03038393A JP3038393A JP3524117B2 JP 3524117 B2 JP3524117 B2 JP 3524117B2 JP 03038393 A JP03038393 A JP 03038393A JP 3038393 A JP3038393 A JP 3038393A JP 3524117 B2 JP3524117 B2 JP 3524117B2
Authority
JP
Japan
Prior art keywords
exposure
image pickup
signal
period
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP03038393A
Other languages
English (en)
Other versions
JPH06245140A (ja
Inventor
秀夫 中村
治樹 古田
Original Assignee
チノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by チノン株式会社 filed Critical チノン株式会社
Priority to JP03038393A priority Critical patent/JP3524117B2/ja
Publication of JPH06245140A publication Critical patent/JPH06245140A/ja
Application granted granted Critical
Publication of JP3524117B2 publication Critical patent/JP3524117B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Facsimile Heads (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、撮像対象の明るさが一
定でなくとも鮮明に撮像を行うことを可能にする露光制
御装置及びそれを用いた撮像装置に関する。
【0002】
【従来の技術】周知のように、ビデオカメラやファクシ
ミリその他の撮像機能を有する光学機器において、フリ
ッカ等を抑制することは、撮像対象を鮮明に撮像するた
めの最も重要な技術的課題の一つである。即ち、典型的
な場合としては、撮像対象を照明するための外部照明装
置の発光照度が商用電源の周波数変化に応じて周期的に
変化し、これに応じて光度が変化する撮像対象を撮像し
て、その撮像によって得られた映像信号に基づいて画像
再生を行うと、再生画像にフリッカ(ちらつき)が発生
し、鮮明な再生画像を得ることができない。
【0003】従来は、このようなフリッカを抑制するた
めに次のような技術的手段が講じられていた。尚、CC
D等の固体撮像デバイスを適用した撮像装置における従
来技術を説明するものとする。
【0004】第1の従来例としては、商用電源で作動す
る外部照明装置で撮像対象を照明する場合を予め想定
し、固体撮像デバイスの露光期間を商用電源の周波数に
同期した固定周期に設定するものである。従って、日本
国内では50Hz又は60Hzの商用電源が適用されて
いるので、固定周期の露光期間は、これらの周波数に同
期し且つフリッカの発生を抑制することができるタイミ
ングを狙って予め決められる。
【0005】第2の従来例としては、露光期間を予め固
定化するのではなく、撮像対象の現実の光度の変化を逐
一測定し、且つ測定結果を統計的に処理することによっ
て、最適の露光期間を決定するものがある。具体的に
は、50Hz又は60Hzの商用電源で作動する外部照
明装置を用いる場合には、予め決められた露光期間TD
で固体撮像デバイスを露光すると共に、そのピクセルに
蓄積される映像信号(電荷信号)を露光期間TD 内にお
いて例えば20回サンプリングし、夫々サンプリングし
た映像信号の輝度レベルの分散値を統計的に算出する。
尚、露光期間TDは、50Hzの商用電源に対応して予
め10mS、60Hzの商用電源に対応して予め8.3
3mSの2種類の時間が設定されており、夫々の露光期
間TD について上記20回のサンプリングと夫々の分散
値を算出する。そして、これらの分散値に基づいてフリ
ッカ周期Tf が50Hzか60Hzか、又はそれ以外の
フリッカ周期かの判断を行う。
【0006】次に、このようにして求めたフリッカ周期
f と露光期間TD 及びこれらの最小公倍数の時間T
LCM と、サンプリング回数n1 (=20)について、次
式(1)の関係式を満足する係数n2 を算出する。
【0007】 n1 ×Tf =n2 ×TD =TLCM … (1) 次に、ピクセルに蓄積される映像信号を、露光期間TD
内に時間TLCM の周期でn2 回サンプリングし、夫々サ
ンプリングした映像信号の輝度レベルの平均値を求め、
更に、かかる処理を例えば合計20回繰り返すことによ
って、20個の平均値X1 〜X20を算出し、更にこれら
20個の平均値X1 〜X20の平均値ATD =(X1 +X
2 +……+X19+X20)/20を算出する。
【0008】次に、最小公倍数の時間TLCM を露光期間
とし、その時間TLCM 内にピクセルに蓄積される映像信
号をn2 回サンプリングすると共に、夫々サンプリング
した映像信号の輝度レベルが平均値ATD と等しくなる
様に最終的な露光期間TD ’を決定する。
【0009】このような統計的な処理を行うと、撮像対
象の光度が低い場合(即ち、外部照明装置の照度が低い
場合)には、決定される露光期間TD ’が長くなり、逆
に撮像対象の光度が高い場合(即ち、外部照明装置の照
度が高い場合)には、決定される露光期間TD ’が短く
なることから、現実の撮像対象の光度に応じて露光期間
D ’が可変調整され、フリッカが抑制されることとな
る。
【0010】
【発明が解決しようとする課題】しかしながら、このよ
うな従来技術にあっては次のような問題点があった。
【0011】(第1の従来例の問題点)この従来技術
は、フリッカ発生の原因を予め想定しておき、例えば5
0Hzや60Hzの商用電源で作動する外部照明装置を
用いる場合には、かかる商用電源の周波数に対応した固
定の露光期間が設定される。したがって、他の周波数で
周期的に照度が変動する外部照明装置を用いた場合に
は、フリッカを抑制することができないという問題があ
る。
【0012】又、この従来技術は、露光期間をフリッカ
周期の1以上の整数倍に設定するものであって、フリッ
カ周期より短い露光期間を設定することができない。即
ち、フリッカ周期より短時間での高速露光を実現するこ
とができない。この結果、例えば、撮像素子の各ピクセ
ルに発生する映像信号(電荷信号)をある時には高速で
又ある時には低速で順次走査読出しする等の、順次走査
読出しを可変制御することができない。
【0013】又、カラー撮像を行う撮像装置に適用され
る場合には、赤(R)、青(B)及び緑(G)の全ての
ピクセルについての露光期間が一律に固定化されるの
で、赤(R)、青(B)及び緑(G)の夫々のピクセル
についての露光期間を独立に可変制御しつつ逐一ホワイ
トバランス調整を行うことができない。
【0014】(第2の従来例の問題点)この従来技術に
あっては、露光期間を可変調整することによりフリッカ
を抑制するものであるので、第1の従来例よりも汎用性
があると言える。しかし、これにも限界があり、上述し
たように、50Hzと60Hzの商用電源に対応し得る
程度の極めて狭い範囲で露光期間を調整してフリッカを
抑制することができるのに止まる。
【0015】特に、統計的処理のアルゴリズムが複雑で
あるので、最適な露光期間TD ’を決定するのに長時間
を要する問題がある。例えば、露光期間とフリッカ周期
との最小公倍数の時間TLCM が比較的小さな値の場合に
は比較的問題がないが、しかし、露光期間の制御範囲が
全く任意である場合には時間TLCM が極めて大きくなる
可能性があることから統計的処理の計算量が膨大とな
り、高速露光を繰り返して行う等の技術に適用すること
ができないという問題を生じる。
【0016】又、このように撮像対象の光度の変化に応
じて露光期間を変化させる手段は、フリッカの抑制とい
う点に関しては効果的であるが、周知のように固体撮像
デバイスでは暗電流が発生するので、ピクセルに発生す
るピクセル信号(電荷信号)に対する暗電流の影響が、
露光期間の長短によって異なる。したがって、このよう
に露光期間を可変制御することは、画質の劣化を招来す
る問題がある。
【0017】
【課題を解決するための手段】このような目的を達成す
るために本発明は、撮像対象の明るさの変化を検出する
光電変換素子と、該光電変換素子の検出信号の振幅が予
め設定されたしきい値レベルより大きいときは第1の論
理レベル、該しきい値レベルより小さいときは第2の論
理レベルに2値化変換することにより2値化信号に変換
する比較手段と、該比較手段の2値化信号が変化する時
点から予め決められた期間を露光期間とし、明るさが定
常状態より変動した場合に露光を停止するタイミング制
御手段とを具備する構成とした。
【0018】又、撮像対象を撮像する固体撮像デバイス
等の撮像素子と、該撮像対象の明るさの変化を検出する
光電変換素子と、該光電変換素子の検出信号の振幅が予
め設定されたしきい値レベルより大きいときは第1の論
理レベル、該しきい値レベルより小さいときは第2の論
理レベルに2値化変換することにより2値化信号に変換
する比較手段と、該比較手段の2値化信号が変化する時
点から予め決められた期間を、上記撮像素子の露光期間
し、明るさが定常状態より変動した場合に露光を停止
するタイミング制御手段とを具備し、原稿を読取る構成
とした。
【0019】
【作用】このような構成の露光制御装置及び撮像装置に
よれば、撮像対象の明るさの変化点を比較手段が検知
し、この変化点に同期して露光開始が行われ且つその露
光開始時点から一定の露光期間で露光が行われることと
なり、したがって、撮像対象の現実の明暗変化(フリッ
カ周期)に同期して露光が行われることとなるので、フ
リッカ等を抑制することができる。又、外部照明の照度
が変動したり遮光状態となるような不規則な照度変化状
態が生じてもそれに追従して露光を停止させ撮像動作を
行わないことにより、鮮明な画像撮像のみを実現するこ
とが可能である。
【0020】
【実施例】以下本発明の一実施例を図1及び図2と共に
説明する。まず、図1に基づいて本発明による露光制御
装置を具備した撮像装置の構成を説明する。尚、この実
施例は、撮像素子として、複数のフォトダイオードで構
成されるピクセル群とこのピクセル群にトランスファゲ
ートを介して併設された電荷転送路を有し且つ露光によ
りピクセル群に蓄積される電荷信号を電荷転送路により
走査読出しすることによって映像信号を出力するCCD
固体撮像デバイス1が適用されている。
【0021】CCD固体撮像デバイス1の前方には、撮
像対象2の像をピクセル群に結像するための光学系3が
配置されている。タイミング制御回路4は、CCD固体
撮像デバイス1の露光開始時点を指定制御する露光開始
制御信号SBNと露光終了時点を指定制御する露光終了制
御信号SENと、撮像によってピクセル群に蓄積された電
荷信号をトランスファゲートを介して電荷転送路へ転送
させると共に電荷転送路に電荷転送動作を行わせること
により各ピクセルに対応する映像信号(ピクセル信号)
Piを点順次に走査読出しさせる走査読出制御信号SC
等を発生する。尚、詳細は後述するが、タイミング制御
回路4は、一連の撮像動作を集中制御するためのマイク
ロプロセッサ等の主制御回路4aと、制御信号SBN,S
ENと走査読出制御信号SC とを形成するタイミングジェ
ネレータ4bを具備している。
【0022】フォトダイオード等の光電変換素子5は、
測定対象2の明るさを検出するために光学系3に隣接し
て設けられている。そして、光電変換素子5がその光電
変換機能によって出力する検出信号Sは増幅回路
で増幅され、更に、増幅回路5aから出力される増幅
後の検出信号S’が比較回路6の非反転入力接点に
供給され、比較回路6の反転入力接点には任意の基準電
圧Vを設定することができる可変電圧回路7が接続
されている。即ち、比較回路6は、検出信号S’の
振幅が基準電圧Vより大きな場合には論理“H”、
検出信号S’の振幅が基準電圧Vより小さな場合
には論理“L”となる2値化信号SHLを発生し、この
2値化信号SHLはタイミング制御回路4に供給され
る。
【0023】尚、タイミング制御回路4は、2値化信号
HLが論理“L”から“H”に反転するのに同期して露
光開始を指示する露光開始制御信号SBNと、その時点か
ら予め決められた露光期間τ0 の経過時点で露光終了を
指示する露光終了制御信号SENと、その露光完了時点か
ら走査読出しを行わせる走査読出制御信号SC をCCD
固体撮像デバイス1に供給する処理を繰り返す。
【0024】次に、かかる構成の実施例の動作を図2に
基づいて説明する。尚、動作を明確化するための典型例
として、図1に示すように、測定対象2は、50Hzや
60Hzの商用電源によって動作する蛍光灯等の外部照
明装置Aによって照明され、又、このような照明下で外
部照明装置Aと測定対象2の間に何等かの移動物Bがα
方向等に移動することによって照明が遮られたり、又
は、他の外部照明(図示せず)が点灯することによって
測定対象2の照度が上昇する等の要素により、測定対象
2の光度が変動した場合を前提に説明するものとする。
【0025】したがって、商用電源が安定した状態で特
定の外部照明装置Aのみで照明が行われている場合に
は、50Hzや60Hzの商用電源の周期的電圧変化に
従って外部照明装置Aの照度が周期的に変化するので、
光電変換素子5から出力される検出信号Sは、図2
(a)に示すように、50Hzや60Hzで周期的に振
幅変化する。又、例えば、ある期間τにおいて商用
電源に電圧降下が発生して外部照明装置Aの照度が低下
したような場合には、同図(a)に示すように、検出信
号Sの最大振幅が小さくなる。又、ある期間τ
において他の外部照明装置が点灯して測定対象2への照
度が上昇した場合には、同図(b)に示すように、検出
信号Sの振幅が全体的に上昇し、又、ある期間τ
において移動物Bが外部照明装置Aを遮光するよう
な場合には、同図(b)に示すように、検出信号S
の振幅が全体的に下降する。このような現象が時系列的
に発生したような場合には、増幅回路5aを介して出力
される検出信号S’は、同図(c)に示すようにな
る。
【0026】同図(c)に示すような検出信号SP ’が
比較回路6に入力されるものとすると、比較回路6は可
変電圧回路7に予め設定された基準電圧VR と検出信号
P’の振幅を比較し、SP ’≧VR のときは論理
“H”、SP ’<VR のときは論理“L”となる2値化
信号SHLを発生する。即ち、2値化信号SHLは同図
(d)に示すように、期間τ1 ,τ2 ,τ3 を除く期間
では検出信号SP ’の周期に同期して論理が反転する矩
形波となり、期間τ1 ,τ2 ,τ3 では、検出信号
P’の振幅の大きさに応じて継続的に論理“H”又は
論理“L”となる。
【0027】タイミング制御回路4は、このような2値
化信号SHLが供給されると、同図(d)の一部分を時間
的に拡大して示す同図(e)〜(i)のように、2値化
信号SHLが論理“H”に反転する時点に同期して短時間
論理“H”の露光開始信号SBNを発生することにより、
CCD固体撮像装置1に露光を開始させ、更に、その露
光開始時点から一定時間τ0 が経過する時点で短時間論
理“H”となる露光終了信号SENを発生することにより
CCD固体撮像装置1に露光を停止させる。尚、この期
間τ0 に限定して露光させるには周知の電子シャッター
技術等が適用されている。更に、同図(h)に示すよう
に、露光終了信号SENが論理“H”から“L”に反転す
る時点から走査読出信号SC を発生して電荷転送路を駆
動させることにより、同図(i)に示すように、CCD
固体撮像装置1からは、ピクセル配列に順じた(即ち、
点順次)映像信号Piが出力される。
【0028】ここで、期間τ1 ,τ2 ,τ3 のように、
測定対象2の明るさが定常状態よりも極端に変動した場
合には、2値化信号SHLの論理が“H”又は“L”とな
って変化しないので、このような期間(例えば、
τOFF )では露光開始信号SBNと露光終了信号SEN及び
走査読出信号SC が発生されず、よってCCD固体撮像
装置1は撮像動作を行わない。
【0029】このようにこの実施例によれば、蛍光灯等
の外部照明装置によって測定対象を照明するような場合
でも、その照度の変化に同期して露光を行うので、フリ
ッカが完全に抑制される。特に、照度が増加する期間に
露光を行うように制御するので、鮮明な画像を得ること
ができると共に、露光期間を短縮化することができる。
更に、露光期間τ0 は予め固定化されるものであるけれ
ども、任意に変更することができるものであるのでフリ
ッカ周期とは関係なく設定することができ、例えば高速
露光と高速撮像等を行うことができる。又、撮像素子と
してカラー撮像素子を用いた場合、夫々の色のピクセル
について個々独立に露光期間を設定することができるの
で、露光期間に基づいてホワイトバランスを調整するこ
とが可能となる。
【0030】又、外部照明の照度が極端に変動したり遮
光状態となるような不規則な照度変化状態が生じてもそ
れに追従して露光を停止させるので、鮮明な画像撮像の
みを実現することが可能である。
【0031】このような優れた効果が発揮される結果、
外部照明によって照明された原稿等を光学的読取るイ
メージリーダーやファクシミリ等に適用すると優れた効
果を得ることができ、又、常に一定照度で発光する特殊
な照明装置等を必要としないで、通常の照明環境内での
高品質の画像読取りが可能となる。
【0032】尚、この実施例では比較手段6の立ち上が
りパルスに同期した場合について説明したが、当然なが
ら立ち下がりパルスを利用してもよい。またCCD固体
撮像デバイスを適用する場合を説明したが、MOS型固
体撮像デバイスその他の周知の撮像素子にも用いること
ができる。
【0033】
【発明の効果】以上に説明したように本発明によれば、
露光制御装置は、撮像対象の明るさの変化を検出する光
電変換素子と、該光電変換素子の検出信号の振幅が予め
設定されたしきい値レベルより大きいときは第1の論理
レベル、該しきい値レベルより小さいときは第2の論理
レベルに2値化変換することにより2値化信号に変換す
る比較手段と、該比較手段の2値化信号が変化する時点
から予め決められた期間を露光期間とし、明るさが定常
状態より変動した場合に露光を停止するタイミング制御
手段とを具備する構成としたので、次のような効果が得
られる。
【0034】即ち、照明装置と撮像対象との間に何等か
の物体が介在する等して撮像対象に影が入るような不規
則な照度変化があっても、その影の写り込みを撮像せず
常に最適な光度の想定対象を撮像することができる。
又、照明装置の照度が周期的に変化するような場合でも
その周期に同期して露光期間が設定されるのでフリッカ
を抑制することができる。更に、かかる露光期間は任意
に設定する事ができるので、高速露光等の広範囲の応用
が可能である。露光期間を照明装置の照度が高く成る期
間に同期させることにより露光期間を短縮化することが
できる。又、本発明の露光制御装置から制御信号が出力
されない場合には照明装置の照度変化が無い状態である
と検知することができるという副次的効果が得られるの
で、この状態に基づいて蓄積期間とそのタイミングを自
由に制御することができるという応用も可能である。カ
ラー撮像素子を用いて撮像を行う場合、赤(R),緑
(g),青(B)の夫々のピクセルの露光期間を個々独
立に制御することができるので、露光期間を可変制御す
ることによってホワイトバランスを調整することが可能
である。又、外部照明の照度が変動したり遮光状態とな
るような不規則な照度変化状態が生じてもそれに追従し
て露光を停止させ撮像動作を行わないことにより、鮮明
な画像撮像のみを実現することが可能である。
【図面の簡単な説明】
【図1】本発明による一実施例の構成を示す構成説明図
である。
【図2】一実施例の動作を説明するためのタイミングチ
ャートである。
【符号の説明】
A…外部照明装置、B…移動物体、1…CCD固体撮像
デバイス、2…撮像対象、3…光学系、4…タイミング
制御回路、4a…主制御回路、4b…タイミングジェネ
レータ、5…光電変換素子、5a…増幅回路、6…比較
回路、7…可変電源回路。
フロントページの続き (56)参考文献 特開 平2−135986(JP,A) 特開 平1−227581(JP,A) 特開 昭64−86666(JP,A) 特開 昭62−31274(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/235 H04N 1/028

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 撮像対象の明るさの変化を検出する光電
    変換素子と、 該光電変換素子の検出信号の振幅が予め設定されたしき
    い値レベルより大きいときは第1の論理レベル、該しき
    い値レベルより小さいときは第2の論理レベルに2値化
    変換することにより2値化信号に変換する比較手段と、 該比較手段の2値化信号が変化する時点から予め決めら
    れた期間を露光期間とし、明るさが定常状態より変動し
    た場合に露光を停止するタイミング制御手段と、 を具備することを特徴とする露光制御装置。
  2. 【請求項2】 撮像対象を撮像する撮像素子と、 該撮像対象の明るさの変化を検出する光電変換素子と、 該光電変換素子の検出信号の振幅が予め設定されたしき
    い値レベルより大きいときは第1の論理レベル、該しき
    い値レベルより小さいときは第2の論理レベルに2値化
    変換することにより2値化信号に変換する比較手段と、 該比較手段の2値化信号が変化する時点から予め決めら
    れた期間を、上記撮像素子の露光期間とし、明るさが定
    常状態より変動した場合に露光を停止するタイミング制
    御手段とを具備し、 原稿を読取る ことを特徴とする撮像装置。
  3. 【請求項3】 前記撮像素子は、固体撮像デバイスであ
    ることを特徴とする請求項2の撮像装置。
JP03038393A 1993-02-19 1993-02-19 露光制御装置及びそれを用いた撮像装置 Expired - Lifetime JP3524117B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03038393A JP3524117B2 (ja) 1993-02-19 1993-02-19 露光制御装置及びそれを用いた撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03038393A JP3524117B2 (ja) 1993-02-19 1993-02-19 露光制御装置及びそれを用いた撮像装置

Publications (2)

Publication Number Publication Date
JPH06245140A JPH06245140A (ja) 1994-09-02
JP3524117B2 true JP3524117B2 (ja) 2004-05-10

Family

ID=12302374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03038393A Expired - Lifetime JP3524117B2 (ja) 1993-02-19 1993-02-19 露光制御装置及びそれを用いた撮像装置

Country Status (1)

Country Link
JP (1) JP3524117B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5867673B2 (ja) * 2011-04-15 2016-02-24 株式会社ニコン 撮像装置
JP5865280B2 (ja) * 2013-02-28 2016-02-17 京セラドキュメントソリューションズ株式会社 レーザー光制御装置及び画像形成装置

Also Published As

Publication number Publication date
JPH06245140A (ja) 1994-09-02

Similar Documents

Publication Publication Date Title
US7034870B2 (en) Image pickup apparatus with reduced flicker and automatic level adjusting method of the same
JP4948090B2 (ja) 撮像装置及び駆動制御方法
CN1226866C (zh) 固态图像传感器
US7965327B2 (en) Method and apparatus for detecting camera sensor intensity saturation
US5416611A (en) Raster input scanner with short and long integration periods
US7202897B2 (en) Solid-state image pickup exposure control system and method
JPH031772A (ja) 撮像装置
JP3524117B2 (ja) 露光制御装置及びそれを用いた撮像装置
US6275307B1 (en) Image read apparatus
US4687919A (en) A lighting control device in manuscript reproduction equipment
JP4192111B2 (ja) 画像入力装置
KR100248226B1 (ko) 화상독취기의 밝기조정방법 및 그 장치
JP3124124B2 (ja) 画像情報読取り装置
KR910007703B1 (ko) 고체촬상소자의 블루밍 측정방법 및 그 장치
KR100890153B1 (ko) 시모스 이미지센서의 플리커 노이즈 제거방법 및 이를적용한 시모스 이미지센서
JPS60236569A (ja) 画像読取り補正方法
JPH05316430A (ja) 撮像装置及び撮像素子
US20040017589A1 (en) Method for selecting a shading correcting line
KR960014832B1 (ko) 비디오 카메라의 프리커 보상장치
JP2000184291A (ja) 固体電子撮像素子の制御装置および方法
JPH0220979A (ja) 映像信号処理回路
JP2000184290A (ja) 固体撮像装置
JPH01241280A (ja) 固体撮像装置
CN117751572A (zh) 图像获取系统及图像获取方法
JP3128836B2 (ja) 画像読取装置におけるシェーディング補正装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040212

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 9

EXPY Cancellation because of completion of term
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371