JP2846317B2 - カラー撮像装置 - Google Patents

カラー撮像装置

Info

Publication number
JP2846317B2
JP2846317B2 JP63146645A JP14664588A JP2846317B2 JP 2846317 B2 JP2846317 B2 JP 2846317B2 JP 63146645 A JP63146645 A JP 63146645A JP 14664588 A JP14664588 A JP 14664588A JP 2846317 B2 JP2846317 B2 JP 2846317B2
Authority
JP
Japan
Prior art keywords
signal
color
primary color
color difference
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP63146645A
Other languages
English (en)
Other versions
JPH01314083A (ja
Inventor
健一 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP63146645A priority Critical patent/JP2846317B2/ja
Publication of JPH01314083A publication Critical patent/JPH01314083A/ja
Application granted granted Critical
Publication of JP2846317B2 publication Critical patent/JP2846317B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は色調の調整手段を設けたカラー撮像装置に関
する。
[従来の技術] 近年、電荷結合素子(CCDと略記する。)等の固体撮
像素子がカラー撮像装置に広く用いられるようになっ
た。
ところで、1つの固体撮像素子を用いて単板式のカラ
ー撮像装置を構成するためには、固体撮像素子の撮像面
に異なる色成分のフィルタがモザイク状等に配列された
色分解フィルタを設ける必要がある。色分解フィルタと
しては赤(R),緑(G),青(B)の3原色の組合せ
を用いる原色系のものと、黄(Ye:RとGを透過する)、
シアン(Cy:BとGを透過する)等の補色と透明/白(W:
R,G,Bを全て透過する)ないしはGを組合せた補色系の
ものがある。後者の方が光の透過率が高く、感度、解像
度の点で優れている。この補色系の色分解フィルタを用
いた単板式のカラー撮像装置の従来例としては、テレビ
ジョン学会誌,Vol 37,No.10(1983)に記載の「フィー
ルド蓄積モードCCDの単板カラー化方式」(曽根,石
川,橋本,黒田,大久保)がある。
ここでは、第4図に示すようなCy,Ye,マゼンタ(Mg:R
とBを透過する)、Gからなる色分解フィルタが用いら
れている。フィールド蓄積モードとはAフィールド、B
フィールドで垂直方向の異なる隣接2画素の信号電荷を
混合して読み出すモードであり、フレーム蓄積モードに
比べて残像が少ない長所がある。そして、垂直方向の2
画素が混合して読み出されても、各フィールド、各ライ
ンで輝度信号が等しく、かつ、2水平ラインで少なくと
も2種類の色信号が得られるように、色分解フィルタの
色配列が決定されている。また、水平方向の画素数は輝
度信号の周波数帯域幅を確保するために2列がくり返さ
れている。これらから、色分解フィルタの色配列は2列
4行のくり返し配列となっている。
このような色分解フィルタを有するCCDカメラの映像
信号処理回路の従来例を第5図を参照して以下に説明す
る。
撮像レンズ6を介して入射された被写体の光学像が第
4図に示したような色分解フィルタ8を介して固体撮像
素子(ここではCCD)10の結像面に入射され、撮像され
る。CCD10の出力信号がローパスフィルタ(LPF)12,1
4、バンドパスフィルタ(BPF)16に供給される。CCD10
の読出し周波数が7.16MHzである場合、LPF12,14の通過
帯域はそれぞれ3MHz,0.5MHzであり、BPF16の中心周波数
は3.58MHz、帯域幅は約1MHzである。色分解フィルタ8
の色配列は第4図のようになっているので、各ライン毎
に(Cy+Ye)+(Mg+G)=(B+G+R+G)+(R
+B+G)=2R+3G+2Bの成分の輝度信号が得られる。
LPF12,14からはそれぞれ広帯域輝度信号YH、狭帯域輝度
信号YLが得られる。LPF12から出力された広帯域輝度信
号YHは、複合映像信号回路20に入力される。BPF16の出
力が復調回路22、LPF24を介して加減算回路26に入力さ
れる。復調回路22では偶数列の出力が奇数列の出力を減
算して次のような色差信号を交互に出力している。ここ
で、色差信号としては第4図でnラインと表されている
一方のラインでは(Cy+Mg)−(Ye+G)=(B+G+
R+B)−(R+G+G)=2B−G信号が得られ、n+
1ラインと表されている他方のラインでは(Ye+Mg)−
(Cy+G)=(R+G+R+B)−(B+G+G)=2R
−G信号が得られる。ここで得られる2B−G及び2R−G
信号は、それぞれB−Y,R−Yと等価なものである。LPF
14から出力される狭帯域輝度信号YLも加減算回路26に入
力される。複合映像信号を得るために必要な色差信号は
R−Y,B−Y信号であるので、加減算回路26は色差信号
と狭帯域輝度信号YLに適当な係数を掛けて、これらを加
算して色差信号R−Y,B−Yを出力する。ここで、復調
回路22は1ライン毎に色差信号2R−G,2B−Gを交互に出
力しているので、加減算色26からも1ライン毎に色差信
号R−Y,B−Yが交互に出力される。そのため、加減算
回路26の出力信号が1H(1水平走査期間)遅延回路28、
ライン切換回路30を用いて同時化される。すなわち、各
ラインの色差信号が1H期間遅延され、次のラインの色差
信号とともにライン切換回路30から出力される。このラ
イン切換回路30から出力される色差信号R−Y,B−Yが
変調回路32で変調(3.58MHz)され色副搬送波信号が生
成され、この色副搬送波信号は複合映像信号回路20に供
給される。複合映像信号回路20はこの色副搬送波信号
と、LPF12から出力される広帯域輝度信号YHと、同期信
号に基づいて複合映像信号を発生する。
上記従来例では撮影者が出力ビデオ信号の色調を変更
する場合、第5図において加減算回路26の加減算の比を
変化させて行なう。一般には、第5図において R−Y=2R−G+kYL B−Y=2R−G+lYL という様な演算を行なって色調変更を行なう。
ここで色調変更の際、映像信号をR,G,B原色信号と考
え、R及びBの大きさを変更する場合があり、特に電子
内視鏡等医療用ビデオ機器では微妙な色調変更を行なう
場合に広く用いられている。例えば、病変によって赤成
分を強調させてり、病変部に青色の染色行なった場合に
青を強調させたりする。
[発明が解決しようとする問題点] しかしながら、前述の第4図に示すモザイクフィルタ
を有する固体撮像素子を用いた場合においては色信号と
して、色差信号(R−Y,B−Y)系の情報しか得られな
いため、上式によって色調変更を行なっており、このま
までは原色信号を変化させるのと同じような色調変更は
できない。
尚、本出願人は、特開昭61-287396号において、第5
図に示す従来例に対し、γ補正を行なえるカラー撮像装
置を提案しているが、上記欠点を解消できるものではな
い。
本発明は上述した点にかんがみてなされたもので、補
色系の色分解フィルタを有する固体撮像素子を用いた単
板式のカラー撮像装置において、好みの色調に設定しや
すいカラー撮像装置を提供することを目的とする。
[問題点を解決する手段及び作用] 補色系の色分離フィルタを有する単板式の固体撮像素
子と、前記固体撮像素子の出力信号に基づき広帯域の輝
度信号を出力する第1の輝度信号抽出手段と、前記固体
撮像素子の出力信号に基づき狭帯域の輝度信号を出力す
る第2の輝度信号抽出手段と、前記固体撮像素子の出力
信号に基づき第1および第2の色差信号が交互に切り換
えられる線順次信号を生成して出力する色差信号抽出手
段と、前記線順次信号の切り換えタイミングに同期して
切り換えられる所定の定数と前記狭帯域輝度信号とに基
づき、前記第1および第2の色差信号の信号レベルを調
整して、ホワイトバランス調整された線順次信号を生成
するホワイトバランス回路と、前記ホワイトバランス調
整された線順次信号における第1の色差信号と前記狭帯
域輝度信号とに基づき第1の原色信号を生成すると共
に、前記ホワイトバランス調整された線順次信号におけ
る第2の色差信号と前記狭帯域輝度信号とに基づき第2
の原色信号を生成する原色信号生成手段と、前記原色信
号生成手段で生成された前記第1の原色信号の信号レベ
ルを調整可能な第1の原色信号調整手段と、前記原色信
号生成手段で生成された前記第2の原色信号の信号レベ
ルを調整可能な第2の原色信号調整手段と、前記第1の
原色信号調整手段で調整された第1の原色信号と前記狭
帯域輝度信号に基づき第3の色差信号を生成する第1の
色差信号生成手段と、前記第2の原色信号調整手段で調
整された第2の原色信号と前記狭帯域輝度信号に基づき
第4の色差信号を生成する第2の色差信号生成手段と、
前記第3および第4の色差信号と前記広帯域輝度信号と
に基づき表示手段に表示可能な映像信号を生成する映像
信号生成手段と、を具備したことを特徴とする。
[実施例] 以下、図面を参照して本発明を具体的に説明する。
第1図は第1実施例のカラー撮像装置38の構成を示す
ブロック図である。
第5図に示した従来例と同一部分は同一参照数字を付
して詳細な説明は省略する。撮像レンズ6により結像さ
れた光学像がCCD10に入射される。撮像レンズ6とCCD10
の間には、第4図に示したような色分解フィルタ8が設
けられる。CCD10の出力がLPF12,14、BPF16に供給され
る。
この場合のLPF12,14、BPF16の通過帯域はCCD10の読出
し周波数が7.16MHzの場合である。
上記LPF12,14からはそれぞれ広帯域輝度信号YH、狭帯
域輝度信号YLが得られる。広帯域輝度信号YH、狭帯域輝
度信号YLはともに2R+3G+2Bである。LPF12から出力さ
れた広帯域輝度信号YHは複合映像信号回路20に入力され
る。BPF16の出力が復調回路22、LPF24を介して加減算回
路40に入力される。この加減算回路40は、ホワイトバラ
ンス回路42と、マトリクス回路44とから構成される。
上記LPF24から出力されるライン順次の色差信号2R−
G,2B−Gは、ホワイトバランス回路42により、狭帯域輝
度信号YLとで、次式、つまり R−Y=2R−G+aYL B−Y=2B−G+bYL に従って演算され、その色温度に合った線順次の色差
信号R−Y,B−Yが生成される。
ここで色差信号2R−G,2B−Gは線順次であるので、狭
帯域輝度信号YLにかかる係数a,bは1H(1水平走査期
間)毎に切換えられる。
このようにして得られる線順次色差信号R−Y,B−Y
はマトリクス回路44に入力され、輝度信号YLとで次式 R=(R−Y)+YL B=(B−Y)+YL の演算が行なわれ、線順次の原色信号R,Bが生成され
る。
上記加減算回路40は、従来例とは異なる加減算処理を
行なうことにより、原色信号R,Bを生成している。
しかして、この加減算回路40の出力信号は1H遅延回路
46、ライン切換回路48を用いて同時化される。ライン切
換回路48から出力される信号R,Bがそれぞれ係数器50,52
を介して加減算回路54,56に供給される。
上記係数器50,52により、色信号R,Bはコントローラ58
により指示された係数によって、その出力レベルが増減
される。これら係数器50,52としては、電気的に利得が
変化する電圧制御増幅器とか数ビットのデータによっ
て、出力信号の大きさが変化するタイプの増幅器とか、
単に可変抵抗を用いて構成することが考えられる。
上記LPF14から出力された狭帯域輝度信号YLも加減算
回路54,56に供給される。加減算回路54,56は色調変更さ
れた色信号から狭帯域輝度信号YLを減算して、色差信号
R−Y,B−Yを発生する。色差信号R−Y,B−Yは変調回
路32により色副搬送信号とされ、複合映像信号回路20に
供給される。複合映像信号回路20はこの色副搬送波信号
と、LPF12から出力された広帯域輝度信号YHと、同期信
号から複合映像信号を生成する。
この実施例によれば、復調回路22で得られた色差信号
2R−G,2B−Gと狭帯域輝度信号YLを演算する加減算回路
40は従来のように色差信号R−Y,B−Yを発生するので
なく、色信号(原色信号)R,Bを発生している。そし
て、得られた色信号R,Bがそれぞれ係数器50,52に供給さ
れている。
これら係数器50,52により、色調変更された色信号R,B
と輝度信号から色差信号R−Y,B−Yが生成され、従来
例と同様に複合映像信号が得られている。
この第1実施例によれば、出力される複合映像信号
は、係数器50,52により、原色信号R,Bの大きさ(振幅)
を直接変化して色調を変えることができるものとなる。
このように原色信号R,Bで色調を変えることができる
ため、色差信号で色調変化を行う場合よりも直接赤,青
のレベルを変化でき(色差信号の場合にはこれらを混合
したもののレベル変化)、病変部等の診断に適した色調
調整を行なうことができる。又、ユーザの好みの色調整
を行ない易いものとなる。
第2図は本発明の第2実施例のカラー撮像装置60の主
要部を示す。
この第2実施例は、3原色信号を出力する構成にして
ある。
第1図に示す第1実施例において、マトリクス回路44
に入力する輝度信号は狭帯域輝度信号YLであるが、これ
を広帯域輝度信号YHとすれば、ライン切換回路45から出
力される原色信号R,Bは広帯域原色信号となる。この広
帯域原色信号R,Bは、輝度信号YHと共に加減算回路62に
入力され、これら入力される信号に対し、加減算処理を
行なって原色信号Gを生成し、原色信号出力端64に導く
ようにしてある。また、ライン切換回路48の原色信号R,
Bはそれぞれ係数器50,52を通して振幅が変化された原色
信号R′,B′とされ、原色信号出力端64に導かれる。
尚、同期信号もこの出力端64から出力できるようにし
てあり、RGB対応のカラーモニタにてカラー表示できる
ようにしてある。その他の構成は第1実施例と同様であ
る。又、その作用効果も略同様のものとなる。
第3図は本発明の第3実施例の主要部を示す。
この実施例は、第1図に示す第1実施例において、加
減算回路40の出力信号を色調変化回路72に入力すると共
に、選択スイッチ74に導くようにしている。
上記色調変化回路72は、入力される線順次原色信号R,
Bを1Hごとに切換えるスイッチ76を経て2つの電圧制御
アンプ(以下VCAと略記する。)78R,78Bに導くようにし
ている。これらVCA78R,78Bのゲインは可変抵抗を用いた
電圧変化手段80R,80Bにより、変化できるようにして、
原色信号R,Bの振幅変化による色調調整を行なえるよう
にしてある。尚、上記切換スイッチ76は、1Hごとに
“H",“L"レベルになる切換信号fH/2で、1Hごとに交互
に切換えられるようにしている。
一方、上記選択スイッチ74は、色調変化を望む場合
と、色調変化を望まない場合とを選択できるようにする
ためのものであり、接点aを選択した場合には色調変化
を行なわないノーマルモードとなり、一方接点bを選択
した場合には色調変化モードとなる。
ところで、上記選択スイッチ74を通した信号は、1H遅
延回路46及びライン切換回路48に入力され、同時化され
た原色信号R,Bが生成される。この原色信号R,Bは、輝度
信号YLと共にそれぞれ加減算回路54,56に入力され、色
差信号R−Y,B−Y変換された後、変調回路32で変調さ
れる。上記加減算回路54、56以降は第1実施例と同様の
信号処理が行なわれる。
この第3実施例では、色調変化を行なうことができる
と共に、スイッチ操作により、正規の色調に戻すことが
できる。従って、色調変化を行った場合、その色調変化
は正規の状態からどれくらいずれたものであるかを知り
たい、あるいは比べたいと望む場合にはスイッチ74を切
換えれば良い。
尚、例えば第3実施例において、電圧変化手段80R,80
Bの出力レベル又はゲインレベルを複合映像信号に重畳
して色調変化の程度を確認できるようにすることもでき
る。又、この第3実施例では複合映像信号を出力する構
成であるが、第2実施例の様に3原色信号を出力する構
成にしてもよい。又、第1図,第3図において、複合映
像信号回路20をマトリクス回路とすれば、輝度信号YH
よび色差信号R−Y,B−Yにより3原色信号R,G,Bを得る
ことができる。
この発明は上述の実施例に限定されずに種々変更可能
であり、色分解フィルタの構成は補色系の色成分を有し
ていれば、他の配列でもよい。この場合、BPF、復調回
路から出力された色差信号から一度色信号を得て、これ
を色調変更した後に色差信号R−Y,B−Y等を生成すれ
ばよい。又、上記実施例では、輝度信号、色差信号の分
離として、LPF,BPFを使用した場合について説明した
が、これとは異なる、例えば各画素をサンプリングして
演算することによって、輝度信号及び色差信号を生成す
る方式においても本方式は適用できる。
この場合、色差信号及びLPF14から出力される輝度信
号YLは0.5MHzと狭帯域のため、結果的に加減算回路40の
出力信号R,Bは狭帯域のため、係数器50,52は広帯域のも
のが必要なく、回路系のコストも低減化できる。
また、上記第1実施例では、線順次色差信号を線順次
信号のまま、色信号R,Bに変換し、その後ライン切換回
路48によって、同時化しているが、線順次色差信号を1
度同時化して、その後輝度信号YLと演算を行なって、色
信号R,Bに変換し、この色信号に対しその振幅を変化す
る手段を通すようにしても良い。
尚、上述の各実施例では、3原色信号R,G,Bの内、縁
の原色信号Gを一定として赤,青の原色信号R,Bを変化
できるものを示してあるが、他の組合わせでも良いし、
3つ全てを変化できるようにしても良いし、3つの内1
つのみを変化できるようにすることもできる。
[発明の効果] 以上述べたように本発明によれば、補色系の色分解フ
ィルタを有する固体撮像素子を用いたカラー撮像装置に
おいて、線順次信号における第1の色差信号と輝度信号
とに基づき第1の原色信号を生成すると共に、第2の色
差信号と輝度信号とに基づき第2の原色信号を生成する
原色信号生成手段と、この第1および第2の原色信号の
信号レベルが調整可能な第1および第2の原色信号調整
手段とを備えて色の調整を行えるようにしている。
従って、3原色信号全てを得るための構成を備えずし
て、原色信号による色の調整が可能となり、容易に好み
の色に設定することができる。
【図面の簡単な説明】
第1図は本発明の第1実施例のカラー撮像装置の構成を
示すブロック図、第2図は本発明の第2実施例の主要部
の構成を示すブロック図、第3図は本発明の第3実施例
の主要部の構成を示すブロック図、第4図は補色系のモ
ザイクカラーフィルタの配列を示す説明図、第5図は従
来例の構成を示すブロック図である。 8……色分解フィルタ、10……CCD 14……LPF、16……BPF 20……複合映像信号回路 32……変調回路、38……カラー撮像装置 40……加減算回路 42……ホワイトバランス回路 44……マトリクス回路、46……1H遅延回路 48……ライン切換回路、50,52……係数器 54,56……加減算回路 58……コントローラ

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】補色系の色分離フィルタを有する単板式の
    固体撮像素子と、 前記固体撮像素子の出力信号に基づき広帯域の輝度信号
    を出力する第1の輝度信号抽出手段と、 前記固体撮像素子の出力信号に基づき狭帯域の輝度信号
    を出力する第2の輝度信号抽出手段と、 前記固体撮像素子の出力信号に基づき第1および第2の
    色差信号が交互に切り換えられる線順次信号を生成して
    出力する色差信号抽出手段と、 前記線順次信号の切り換えタイミングに同期して切り換
    えられる所定の定数と前記狭帯域輝度信号とに基づき、
    前記第1および第2の色差信号の信号レベルを調整し
    て、ホワイトバランス調整された線順次信号を生成する
    ホワイトバランス回路と、 前記ホワイトバランス調整された線順次信号における第
    1の色差信号と前記狭帯域輝度信号とに基づき第1の原
    色信号を生成すると共に、前記ホワイトバランス調整さ
    れた線順次信号における第2の色差信号と前記狭帯域輝
    度信号とに基づき第2の原色信号を生成する原色信号生
    成手段と、 前記原色信号生成手段で生成された前記第1の原色信号
    の信号レベルを調整可能な第1の原色信号調整手段と、 前記原色信号生成手段で生成された前記第2の原色信号
    の信号レベルを調整可能な第2の原色信号調整手段と、 前記第1の原色信号調整手段で調整された第1の原色信
    号と前記狭帯域輝度信号に基づき第3の色差信号を生成
    する第1の色差信号生成手段と、 前記第2の原色信号調整手段で調整された第2の原色信
    号と前記狭帯域輝度信号に基づき第4の色差信号を生成
    する第2の色差信号生成手段と、 前記第3および第4の色差信号と前記広帯域輝度信号と
    に基づき表示手段に表示可能な映像信号を生成する映像
    信号生成手段と、 を具備したことを特徴とするカラー撮像装置。
JP63146645A 1988-06-13 1988-06-13 カラー撮像装置 Expired - Lifetime JP2846317B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP63146645A JP2846317B2 (ja) 1988-06-13 1988-06-13 カラー撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63146645A JP2846317B2 (ja) 1988-06-13 1988-06-13 カラー撮像装置

Publications (2)

Publication Number Publication Date
JPH01314083A JPH01314083A (ja) 1989-12-19
JP2846317B2 true JP2846317B2 (ja) 1999-01-13

Family

ID=15412415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63146645A Expired - Lifetime JP2846317B2 (ja) 1988-06-13 1988-06-13 カラー撮像装置

Country Status (1)

Country Link
JP (1) JP2846317B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460115B2 (en) 2004-05-14 2008-12-02 Canon Kabushiki Kaisha Display apparatus using subpixels with high light utilization

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2614850B2 (ja) * 1986-09-25 1997-05-28 ソニー株式会社 撮像信号処理回路

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460115B2 (en) 2004-05-14 2008-12-02 Canon Kabushiki Kaisha Display apparatus using subpixels with high light utilization
US8184134B2 (en) 2004-05-14 2012-05-22 Canon Kabushiki Kaisha Display apparatus

Also Published As

Publication number Publication date
JPH01314083A (ja) 1989-12-19

Similar Documents

Publication Publication Date Title
JPH0823543A (ja) 撮像装置
JPH0352276B2 (ja)
JPS631276A (ja) カラ−撮像装置
JP2846317B2 (ja) カラー撮像装置
JP2748442B2 (ja) カラー映像信号の処理装置
JPH0470828B2 (ja)
JPH11136693A (ja) 電子内視鏡装置
JP3613071B2 (ja) 撮像装置
JP2000341710A (ja) 撮像装置
JP3024815B2 (ja) カラーカメラにおけるハイライト部の色消去方法
JP3524118B2 (ja) 撮像装置
JPH0417486A (ja) カラー固体撮像装置
JPH0584989B2 (ja)
JP2650062B2 (ja) カラー撮像装置
JP3425161B2 (ja) 簡易型テレビカメラ
JPH089395A (ja) カラー撮像装置
JPS6253586A (ja) カラ−固体撮像装置
JPS6129287A (ja) カラ−固体撮像装置
JPH059992B2 (ja)
JPS6124388A (ja) カラ−撮像装置
JP3017873B2 (ja) 白黒映像信号出力装置
JPS63198495A (ja) ビデオカメラ
JPH0716252B2 (ja) 撮像装置
JPH05236492A (ja) カラービデオカメラ
JPS6252518B2 (ja)

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071030

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081030

Year of fee payment: 10

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081030

Year of fee payment: 10