JPH10243290A - ビデオカメラ - Google Patents

ビデオカメラ

Info

Publication number
JPH10243290A
JPH10243290A JP9045923A JP4592397A JPH10243290A JP H10243290 A JPH10243290 A JP H10243290A JP 9045923 A JP9045923 A JP 9045923A JP 4592397 A JP4592397 A JP 4592397A JP H10243290 A JPH10243290 A JP H10243290A
Authority
JP
Japan
Prior art keywords
output
charge
noise
unit
ccd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9045923A
Other languages
English (en)
Other versions
JP3693780B2 (ja
Inventor
Takanori Ishii
孝典 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP04592397A priority Critical patent/JP3693780B2/ja
Publication of JPH10243290A publication Critical patent/JPH10243290A/ja
Application granted granted Critical
Publication of JP3693780B2 publication Critical patent/JP3693780B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Abstract

(57)【要約】 【課題】 CCD出力に含まれる雑音に対し雑音レベル
が増減する条件を考慮してS/N改善度を変化させて効
果的に雑音除去を行うビデオカメラを得る。 【解決手段】 被写体を撮像して映像信号を出力するC
CD1と、CCDから出力される映像信号をフレーム単
位で遅延させるためのフレームメモリ3と、CCDを介
した映像信号とフレームメモリ3から出力される映像信
号との差分値を抽出する減算器6と、それぞれ異なる帰
還係数を有し上記差分値に対し帰還係数を乗じた出力を
送出する関数器11〜13と、切換指示に基づいて関数
器11〜13のうちいずれかの関数器の出力を切換選択
する切換器14と、CCDから出力される映像信号に切
換器14により選択された関数器の出力を加算してフレ
ームメモリに入力させる加算器8と、切換器14へ電荷
蓄積時間に応じた切換指示を与えるCPU15とを備え
た。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、被写体を撮像し
て映像信号を出力する電荷蓄積素子(以下、CCDと称
す)の電荷蓄積時間を制御することにより高感度を得る
ようにしたビデオカメラに関するものである。
【0002】
【従来の技術】図6はCCD電荷蓄積時間を制御するこ
とにより高感度を得る機構をもつ従来のビデオカメラの
主要な構成を示すブロック図である。図6において、1
は受光部とシャッター部を有し被写体を撮像してアナロ
グ映像信号100を出力するCCD、2はアナログ映像
信号100をA/D変換してディジタル映像信号101
を出力するA/D変換器、3はディジタル映像信号10
1を1フレーム分格納するフレームメモリ、4はフレー
ムメモリ3を介して出力されるディジタル映像信号10
1に基づいてビデオ信号102を生成して出力するプロ
セス部、5はCCDの感度を電荷蓄積時間により変化さ
せるために(電子的に処理を行う)CCD1のシャッタ
ー部の開閉間隔を調整するとともに、上記シャッター部
の開閉間隔に含わせてフレームメモリ3の処理を制御す
るCPUである。
【0003】次に動作について説明する。CCD1が被
写体を撮像する場合の感度は、CCD1に対する電荷蓄
積時間によって調整される。例えば、被写体が明るい場
合は、CPU5の指示によりシャッターの開閉時間を短
くして感度を低くし、逆に、被写体が暗い場合は、シャ
ッターの開閉間隔を長くして感度を高くすることができ
る。また、CPU5はシャッターの開閉間隔に合わせて
フレームメモリ4の動作を調整し、プロセス部4でビデ
オ信号を構成できるよう、電荷蓄積時に補間を行ってい
る。
【0004】また、図7は例えば「画像のディジタル信
号処理」(吹抜敬彦著、日刊工業新開社出版)P.11
5−P.118に記載されたフレーム相関を用いた雑音
低減回路の構成を示す構成図である。図7に示す回路
は、フレームメモリ3をCCD1側から出力される映像
信号をフレーム単位で遅延させる遅延手段として用い、
該フレームメモリ3が出力する前フレームとCCD1側
から出力される現フレームとを差分してフレーム間差分
値103を得る差分抽出手段としての減算器6と、フレ
ーム間差分値103に対し帰還係数Kを乗算する関数器
7と、関数器7の出力を現フレームに加算する加算器8
とを備えて、フレーム単位の遅延を用いた巡回型フィル
タを構成することにより、フレーム相関を用いた雑音低
減を図っている。
【0005】
【発明が解決しようとする課題】従来のビデオカメラは
以上のように構成されており、以下のような課題があっ
た。 (1)CCD1における電荷蓄積時間を制御することに
より高感度を得るビデオカメラにおいて、CCD1の感
度を上げるためにシャッター部の閉閉間隔を長くして電
荷蓄積時間を増加させた場合には、この電荷蓄積時間の
長さに比例して暗電流も多く蓄積される。この暗電流が
蓄積するとディジタル映像信号の(映像としての)雑音
も増加する。つまり、シャッター部の開閉速度が遅くな
るのに比例してディジタル映像信号に含まれる雑音の量
が増加する。
【0006】(2)しかし、増加する雑音に対し、何も
処置が施されていなかったため、CCD1の電荷蓄積時
間が長くなるにつれて映像に対する雑音が増加し、映像
の画質が悪化するという問題を生じていた。フレーム単
位の遅延を用いた巡回型フィルタを構成する図7に示す
回路は、フレーム相関を用いて雑音低減を図ることがで
きるが、帰還係数Kが固定であるため、電荷蓄積時間に
応じて蓄積される暗電流の影響による雑音量を制御する
ことはできなかった。
【0007】この発明は上述した従来例に係る問題点を
解消するためになされたもので、CCD出力に含まれる
雑音に対し、雑音レベルが増減する条件を考慮してS/
N改善度を変化させることにより、効果的に雑音除去を
行うビデオカメラを得ることを目的とするものである。
【0008】
【課題を解決するための手段】この発明に係るビデオカ
メラは、被写体を撮像して映像信号を出力する電荷結合
素子部と、上記電荷結合素子部から出力される映像信号
をフィールドまたはフレーム単位で遅延させる遅延手段
と、上記電荷結合素子部を介した映像信号と上記遅延手
段から出力される映像信号との差分値を抽出する差分抽
出手段と、それぞれ異なる帰還係数を有し、上記差分抽
出手段から出力される差分値に対し帰還係数を乗じた出
力を送出する複数の関数器と、切換指示に基づいて上記
複数の関数器のうちいずれかの関数器の出力を切換選択
する切換器と、上記電荷結合素子部から出力される映像
信号に上記切換器により選択された関数器の出力を加算
して上記遅延手段に入力させる加算器と、上記切換器へ
切換指示を与える制御手段とを備えたものである。
【0009】また、上記制御手段は、上記電荷結合素子
部の電荷蓄積時間に応じて複数の関数器のうちいずれか
の関数器の出力を切換選択すべく上記切換器に切換指示
を与えることを特徴とするものである。
【0010】さらに、上記制御手段は、上記電荷結合素
子部の電荷蓄積時間と出力値に基づいて複数の関数器の
うちいずれかの関数器の出力を切換選択すべく上記切換
器に切換指示を与えることを特徴とするものである。
【0011】
【発明の実施の形態】
実施の形態1.以下、この発明の実施の形態1を図を参
照して説明する。図1はこの発明の実施の形態1に係る
ビデオカメラの主要な構成を示すブロック図である。図
1において、図6及び図7に示す従来例と同一部分は同
一を付してその説明は省略する。図示構成の実施の形態
1に係るビデオカメラにおいては、減算器6から出力さ
れるCCD1を介した映像信号とフレームメモリ3から
出力される映像信号との差分値に対し帰還係数を乗じた
値を求める関数器として、それぞれ異なる帰還係数
1,K2,K3を有する関数器11〜13を備えてお
り、これら関数器は、切換器14によって切換選択さ
れ、その切換指示は、CPU15からCCD1の電荷蓄
積時間に応じていずれかの関数器の出力を選択すべく与
えられるようになされており、CCD1からA/D変換
器2を介して出力される映像信号に上記切換器14によ
り切換選択されたいずれかの関数器の出力が加算器8に
より加算されてフレームメモリ3に入力される。
【0012】ここで、関数器11〜13の帰還係数K1
〜K3は、図2に示す特性を有する。すなわち、関数器
11の帰還係数K1としては、図2(a)に示すよう
に、フレーム間差分値がα(>0)までは一定した値
(0.5)を維持し、フレーム間差分値がさらに増加す
る範囲では徐々に減衰する値を有し、同様に、関数器1
2の帰還係数K2としては、図2(b)に示すように、
フレーム間差分値がβ(>α)までは一定した値(0.
5)を維持し、フレーム間差分値がさらに増加する範囲
では徐々に減衰する値を有し、さらに、関数器13の帰
還係数K3としては、図2(c)に示すように、フレー
ム間差分値がγ(>β)までは一定した値(0.5)を
維持し、フレーム間差分値がさらに増加する範囲では徐
々に減衰する値を有することにより、関数器11、1
2、13の順に雑音低減効果を高めるようにしている。
【0013】図1に示す構成でなるビデオカメラは、C
CD1における電荷蓄積時間を制御することにより高感
度を得る機構を持つビデオカメラであり、また、フレー
ム相関を用いた雑音低減回路により雑音低減を図るもの
であるが、CPU15により、CCD1における電荷蓄
積時間に応じて帰還係数を選択切換することによってよ
り効果的に雑音除去を図っている。
【0014】図1において、A/D変換器2によってデ
ィジタル化された映像信号は、後段の雑音低減回路のフ
レームメモリ3に入力される。フレームメモリ3は、C
CD電荷蓄積期間時のフレーム補間を担うとともに、雑
音低減回路においてはフレーム単位での時間遅延素子と
しても働く。関数器群は関数器11、12、13の順に
雑音低減効果を高めているが、しかし、実際の画像信号
には動きがあり、そのまま加算器6により加算したので
は、巡回型フィルタの特性上、関数器11、12、13
の順に動画部では時間的に「ぼけ」が大きくなる。
【0015】関数器11〜13は、CPU15により切
り換えられるようになっており、雑音の増減、映像の静
動に応じて適宜見やすい映像を選択できる。例えば、動
きの大きな映像の場合は、帰還係数K1の関数器11を
選択することにより画像の「ぼけ」を抑え(その分、雑
音低減は望まない)、動きの少ない場合は、帰還係数K
2の関数器12を選択し、静止画もしくはそれに近いよ
うな映像の場合は、帰還係数K3の関数器13を選択す
ることで最も雑音低減効果の高い関数器を選択すること
ができる。
【0016】すなわち、前述の通り、CCD1における
電荷蓄積時間を増加させると、雑音が増加する。これを
効果的に除去するために、関数器11〜13を適宜自動
にて切り換えこれに対応させる。例えば3つの関数器1
1、12、13は、図2に示す特性のように、順に雑音
低減効果を高めているが、巡回型フィルタの性質上、関
数器11、12、13の順に動画部での「ぼけ」が大き
くなる。従って、電荷蓄積時間に応じて、時間の短いほ
うから関数器11、12、13の順に切り換えることに
より、巡回型フィルタを用いることによる画質の劣化
(ぼけ)を最大限に抑えながら、効果的に雑音を除去す
ることを自動的に行うことができる。
【0017】図3にその切り換えのタイミングの一例を
示す。例えば1/30秒で1フレームを構成する場合、
電荷蓄積時間が1/15秒〜2/15秒(2フレーム〜
4フレーム)の範囲では関数器11を選択し、5/30
〜15/15秒(5フレーム〜30フレーム)の範囲で
は関数器12を選択し、16/15秒以上(31フレー
ム以上)では関数器13を選択するように切り換えるこ
とで効果的な雑音除去を行うことができる。
【0018】実施の形態2.次に、図4はこの発明の実
施の形態2に係るビデオカメラの主要な構成を示すブロ
ック図である。図4に示す構成としては、図1に示す実
施の形態1に対して、CCD1の出力レベルを補正する
ゲインコントロールアンプ16を備えている場合を想定
したもので、CPU15により、CCD1のアナログ映
像信号のレベルをディジタル値に変換するA/D変換器
17から出力されるCCD出力値とCCD電荷蓄積時間
とを加味して関数器群11〜13を切り換えるようにし
ている。
【0019】すなわち、現在のビデオカメラには、CC
D1に入力する光量に応じて映像信号のレベルを補正す
るゲインコントロールアンプ16が装備されていること
が多く、実施の形態2は、このアンプ16の利得を決め
るためのCCD出力値とCCD電荷蓄積時間とを加味し
てCPU15により関数器群11〜13を切り換えるこ
とにより効果的に雑音を除去するしようとするものであ
る。
【0020】ゲインコントロールアンプ16によりCC
D1の出力信号を増幅すると、その分雑音レベルも当然
増大する。特に、アンプ16に入力する信号レベルが小
さい場合、雑音が視覚上目立つ。これは、信号レベルの
大小に対し、雑音レベルが相関しない(ほぼ一定であ
る)ことに由来する。アンプ16における信号増幅によ
る雑音増大と、CCD電荷蓄積による雑音増大とを両方
考慮するために、CCD出力レベルと電荷蓄積時間の両
方をCPU15にて共に監視し、雑音レベルが大小する
条件に合わせて、実施の形態1と同様に、関数器群11
〜13を切り換えれば、効果的に雑音除去ができる。
【0021】図5はその切り換えタイミングをグラフと
して示したものである。すなわち、CPU15により、
CCD出力レベルがV2〜Vmaxであり、CCD電荷蓄積
時間がtmin〜t1までの範囲では関数器11を選択し、
CCD出力レベルがV1〜V2であり、CCD電荷蓄積時
間がt1〜t2までの範囲では関数器12を選択し、CC
D出力レベルがVmin〜V1であり、CCD電荷蓄積時間
がt2〜tmaxまでの範囲では関数器13を選択すること
で、CCD出力値とCCD電荷蓄積時間とを加味して効
果的に雑音を除去することができる。
【0022】なお、上記実施の形態1及び2は、電荷結
合素子部から出力される映像信号をフレーム単位で遅延
させ、電荷結合素子部を介した映像信号と遅延手段から
出力される映像信号とのフレーム間の差分値を抽出し、
差分値に対し帰還係数を乗じた値を電荷結合素子部から
出力される映像信号に加算するようにしてフレーム単位
の遅延を用いた巡回型フィルタを構成したが、これをフ
ィールド単位で行ってよく、フィールド単位の遅延を用
いた巡回型フィルタを構成して上記各実施の形態と同様
な効果を得ることができる。
【0023】
【発明の効果】以上のように、この発明によれば、被写
体を撮像して映像信号を出力する電荷結合素子部と、上
記電荷結合素子部から出力される映像信号をフィールド
またはフレーム単位で遅延させる遅延手段と、上記電荷
結合素子部を介した映像信号と上記遅延手段から出力さ
れる映像信号との差分値を抽出する差分抽出手段と、そ
れぞれ異なる帰還係数を有し、上記差分抽出手段から出
力される差分値に対し帰還係数を乗じた出力を送出する
複数の関数器と、切換指示に基づいて上記複数の関数器
のうちいずれかの関数器の出力を切換選択する切換器
と、上記電荷結合素子部から出力される映像信号に上記
切換器により選択された関数器の出力を加算して上記遅
延手段に入力させる加算器と、上記切換器へ切換指示を
与える制御手段とを備えたので、CCD出力に含まれる
雑音に対し、雑音レベルが増減する条件を考慮してS/
N改善度を変化させることにより、効果的に雑音除去を
行うことができる。
【0024】また、上記制御手段は、上記電荷結合素子
部の電荷蓄積時間に応じて複数の関数器のうちいずれか
の関数器の出力を切換選択すべく上記切換器に切換指示
を与えることにより、電荷結合素子部の電荷蓄積時間に
応じて蓄積される暗電流の影響による雑音量を制御する
ことができ、効果的に雑音除去を行うことができる。
【0025】さらに、上記制御手段は、上記電荷結合素
子部の電荷蓄積時間と出力値に基づいて複数の関数器の
うちいずれかの関数器の出力を切換選択すべく上記切換
器に切換指示を与えることにより、電荷結合素子部に入
力する光量に応じて映像信号のレベルを補正する場合
に、電荷結合素子部の電荷蓄積時間と出力値に基づいて
効果的に雑音除去を行うことができる。
【図面の簡単な説明】
【図1】 この発明の実施の形態1に係るビデオカメラ
の主要部を示す構成図である。
【図2】 図1の関数器11〜13の帰還係数の特性図
である。
【図3】 図1の関数器11〜13を電荷蓄積時間に応
じて切り換えるタイミングを示した説明図である。
【図4】 この発明の実施の形態2に係るビデオカメラ
の主要部を示す構成図である。
【図5】 図4の関数器11〜13を電荷蓄積時間と出
力レベルに応じて切り換えるタイミングを示した説明図
である。
【図6】 従来のCCD電荷蓄積時間を制御することに
より高感度を得る機構を持つビデオカメラの構成図であ
る。
【図7】 フレーム相関を用いた従来の雑音低減回路の
構成を示す構成図である。
【符号の説明】 1 CCD、3 フレームメモリ、6 減算器、8 加
算器、11〜13 関数器、14 切換器、15 CP
U。

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 被写体を撮像して映像信号を出力する電
    荷結合素子部と、 上記電荷結合素子部から出力される映像信号をフィール
    ドまたはフレーム単位で遅延させる遅延手段と、 上記電荷結合素子部を介した映像信号と上記遅延手段か
    ら出力される映像信号との差分値を抽出する差分抽出手
    段と、 それぞれ異なる帰還係数を有し、上記差分抽出手段から
    出力される差分値に対し帰還係数を乗じた出力を送出す
    る複数の関数器と、 切換指示に基づいて上記複数の関数器のうちいずれかの
    関数器の出力を切換選択する切換器と、 上記電荷結合素子部から出力される映像信号に上記切換
    器により選択された関数器の出力を加算して上記遅延手
    段に入力させる加算器と、 上記切換器へ切換指示を与える制御手段とを備えたビデ
    オカメラ。
  2. 【請求項2】 請求項1記載のビデオカメラにおいて、
    上記制御手段は、上記電荷結合素子部の電荷蓄積時間に
    応じて複数の関数器のうちいずれかの関数器の出力を切
    換選択すべく上記切換器に切換指示を与えることを特徴
    とするビデオカメラ。
  3. 【請求項3】 請求項1記載のビデオカメラにおいて、
    上記制御手段は、上記電荷結合素子部の電荷蓄積時間と
    出力値に基づいて複数の関数器のうちいずれかの関数器
    の出力を切換選択すべく上記切換器に切換指示を与える
    ことを特徴とするビデオカメラ。
JP04592397A 1997-02-28 1997-02-28 ビデオカメラ Expired - Lifetime JP3693780B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04592397A JP3693780B2 (ja) 1997-02-28 1997-02-28 ビデオカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04592397A JP3693780B2 (ja) 1997-02-28 1997-02-28 ビデオカメラ

Publications (2)

Publication Number Publication Date
JPH10243290A true JPH10243290A (ja) 1998-09-11
JP3693780B2 JP3693780B2 (ja) 2005-09-07

Family

ID=12732786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04592397A Expired - Lifetime JP3693780B2 (ja) 1997-02-28 1997-02-28 ビデオカメラ

Country Status (1)

Country Link
JP (1) JP3693780B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042240A (ja) * 2006-08-01 2008-02-21 Canon Inc 撮像装置
JP2010171517A (ja) * 2009-01-20 2010-08-05 Hitachi Kokusai Electric Inc ノイズリダクション回路
JP2011015147A (ja) * 2009-07-01 2011-01-20 Canon Inc 撮像装置及びその制御方法
CN106031039A (zh) * 2014-09-05 2016-10-12 华为技术有限公司 电荷共享滤波器

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042240A (ja) * 2006-08-01 2008-02-21 Canon Inc 撮像装置
JP2010171517A (ja) * 2009-01-20 2010-08-05 Hitachi Kokusai Electric Inc ノイズリダクション回路
JP2011015147A (ja) * 2009-07-01 2011-01-20 Canon Inc 撮像装置及びその制御方法
CN106031039A (zh) * 2014-09-05 2016-10-12 华为技术有限公司 电荷共享滤波器
US10056881B2 (en) 2014-09-05 2018-08-21 Huawei Technologies Co., Ltd. Charge sharing filter

Also Published As

Publication number Publication date
JP3693780B2 (ja) 2005-09-07

Similar Documents

Publication Publication Date Title
JP3730419B2 (ja) 映像信号処理装置
JP3074967B2 (ja) 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
EP3128740B1 (en) Image-capturing device, method for outputting image data, and program
JP5525592B2 (ja) 映像信号処理装置
JP6831493B2 (ja) 撮像装置、撮像方法、およびプログラム
JP2002271689A (ja) 撮像装置および撮像装置のアイリス制御方法
JP4484363B2 (ja) ビデオ・イメージ・シーケンス内のフリッカを低減する方法および装置
JP3702222B2 (ja) 撮像装置及び映像信号処理方法
JP2003309763A (ja) 動画撮像システム
JP2007189295A (ja) 撮像装置及びそのプログラム
JP3297485B2 (ja) 撮像装置
JPH10243290A (ja) ビデオカメラ
JP2000278592A (ja) 撮像装置、その制御方法および記憶媒体
JP4301012B2 (ja) 撮像装置および方法、記録媒体、並びにプログラム
JP2002314885A (ja) 撮像装置
JP2002199272A (ja) 撮像装置および撮像方法
JP2000196916A (ja) ノイズ低減装置
JP3045394B2 (ja) ビデオカメラ
JP3812182B2 (ja) 撮像装置
JP2001069400A (ja) 撮像装置
JPH08116482A (ja) 撮像装置
JP6635722B2 (ja) 画像処理装置、画像処理方法及びプログラム
JPH02228884A (ja) 低照度時でのビデオカメラ用雑音除去回路
JP2001218081A (ja) 撮像装置および撮像信号のクランプ方法
JP4147098B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050622

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090701

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100701

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100701

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110701

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110701

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120701

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120701

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130701

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term