JPH0955885A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JPH0955885A
JPH0955885A JP7205888A JP20588895A JPH0955885A JP H0955885 A JPH0955885 A JP H0955885A JP 7205888 A JP7205888 A JP 7205888A JP 20588895 A JP20588895 A JP 20588895A JP H0955885 A JPH0955885 A JP H0955885A
Authority
JP
Japan
Prior art keywords
image
image pickup
signal
color
ccd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7205888A
Other languages
English (en)
Other versions
JP4377970B2 (ja
Inventor
Yoshiro Udagawa
善郎 宇田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP20588895A priority Critical patent/JP4377970B2/ja
Priority to US08/695,233 priority patent/US6195125B1/en
Priority to ES96112905T priority patent/ES2268697T3/es
Priority to DE69636322T priority patent/DE69636322T2/de
Priority to EP96112905A priority patent/EP0758831B1/en
Publication of JPH0955885A publication Critical patent/JPH0955885A/ja
Application granted granted Critical
Publication of JP4377970B2 publication Critical patent/JP4377970B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 画素ずらしにより高解像度静止画像を得るこ
とのできる撮像装置を得る。 【解決手段】 レンズ1を通じて入射される被写体像は
可変頂角プリズム2により1フィールド毎に画素ずらし
され、さらに色フィルタ3aで色分解された後、CCD
3の撮像面に結像される。CCD3から1フィールドづ
つ画像信号を読み出す際に、各画像信号における被写体
像のずれが補正されるようなタイミングで読み出しを行
う。読み出された画像信号は動画として用いられると共
に、複数の画像信号を合成することにより、1枚の高画
像度の静止画像を得ることができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はディジタルスチルカ
メラ、ビデオカメラ等の撮像装置に関するものである。
【0002】
【従来の技術】従来のCCD等の撮像素子を用いた撮像
装置を高解像度化するためには、使用する撮像素子の画
素数を増やすかあるいは3板式のように撮像素子の使用
個数を増やす方法が考えられる。しかしながら前者の方
法では、撮像素子の価格が上昇し、後者の方法では、撮
像素子3個分の価格が必要になると共に、光路を3つに
分岐するための光学プリズムのような大きな光学部材が
必要になるという問題が生じる。
【0003】そこで「画素ずらし」という手法を用いて
高解像度化することが知られている。画素ずらしは、互
いの位置が微小量ずれている複数枚の画像を得、それら
を合成することにより1枚の高解像度の静止画像を得る
という方法であり、例えば特公昭50−17134号公
報等に開示されている。画素ずらしを単板式で行うもの
としては、例えば特公平1−863号に開示される技術
が知られている。これは光学系、撮像素子又は被写体を
所定量づつずらせながら撮像して得た複数枚の画像を合
成することにより、1枚の高解像度の静止画像を得ると
いうものである。
【0004】
【発明が解決しようとする課題】しかしながら上述した
従来の画素ずらしは基本的な技術が提案されているだけ
であり、特に単板式で画素ずらしを行う場合に、具体的
にどのように色処理等を行うのか、また動画の撮像を行
いながら静止画の高解像度化処理を行うのか等について
は何ら開示されてなく、実際の撮像装置を開発する上で
問題となっていたものである。
【0005】そこで本発明は、画素ずらしによる高解像
度化を実現することのできる撮像装置を得ることを目的
としている。
【0006】
【課題を解決するための手段】本発明においては、撮像
面に結像された被写体像を光電変換して画像信号と成す
撮像素子と、上記撮像素子の撮像面に結像される上記被
写体像を所定期間毎に微少量変位させる画像変位手段
と、上記撮像素子の撮像面から上記被写体像の変位に対
応する画像信号を順次に読み出し、その際、上記微少量
の変位を補正するタイミングで読み出しを行う読み出し
制御手段とを設けている。
【0007】
【作用】本発明によれば、画像変位手段は撮像素子の撮
像面上で例えば1フィールドの所定期間毎に被写体像を
例えば1画素づつずらせる。読み出し制御手段は、撮像
面から所定期間づつずらされた画像信号を順次にずれを
補正するタイミングで読み出す。従って、読み出された
複数の画像信号を用いて1枚の高解像度静止画を合成す
ることができると共に、動画を撮像しながら高解像度静
止画を得ることができる。
【0008】
【発明の実施の形態】図1は本発明の実施例による単板
方式による撮像装置の構成を示すブロック図である。図
において、レンズ1を経て入射した被写体像は可変頂角
プリズム2により画素ずらしされた後、色フィルタ3a
を介して撮像素子としてのCCD3の撮像面に結像され
る。
【0009】可変頂角プリズム2は、図示のように2枚
の透明板102a、102bを蛇腹103a、103b
で接続して形成される空間に高屈折率の液体120を封
入して成るもので、透明板102a、102bを光軸に
対して傾けることにより、CCD3の撮像面上に結像さ
れる被写体像をずらすことができるものである。尚、こ
の可変頂角プリズム2については図7について後述によ
り詳しく説明する。
【0010】CCD3は結像された被写体像を光電変換
して画像信号と成し、この画像信号はS/H・A/D変
換回路4でサンプリングホールドされた後、ディジタル
画像信号に変換される。メモリコントローラ5は上記デ
ィジタル画像信号を取り込んでメモリ6に一旦書き込ん
だ後、これを読み出してDSP(デジタル信号処理回
路)7に送る。ここで処理された信号はメモリコントロ
ーラ5を経てD/A変化器8によりアナログ信号に変換
され、所定方式のビデオ信号として出力される。また、
DSP7で処理された信号あるいは上記ビデオ信号を記
録装置20で記録することもできる。以上の動作はシス
テムコントローラ9の制御により行われる。またシステ
ムコントローラ9は制御回路10を介して可変頂角プリ
ズム2の画素ずらしを制御すると共に、駆動回路11を
介してCCD3を駆動制御する。
【0011】図2は単板方式におけるCCD3の撮像面
に設けられる色分解用の色フィルタ3aの配列を示す。
図示のように、Gフィルタが各行、各列に画素毎にオフ
セットされて配され、その間にR、Bの各フィルタが配
されたいわゆるベイヤー配列となっている。
【0012】次に上記色フィルタ配列を用いた場合の信
号処理の方法について説明する。先ず、1ライン目の輝
度信号Y1 は、 Y1 =G11、R11、G21、R21、G31…… のように、ライン上の各画素値をスイッチングすること
により作られる。以下同様にして、 Y2 =B12、G12、B22、G22……… Y3 =G13、R13、G23、R23……… により各ラインの輝度信号が作られる。
【0013】次に低域色信号RL 、GL 、BL を作る。
これは各色画素値のローパスフィルタ(LPF)を用い
た補間により以下のようにして作られる。 RL1=R11、(R11+R21)/2、R21、(R21+R31)/2…… GL1=G11、(G11+G21)/2、G21、(G21+G31)/2…… BL1=B11、(B11+B21)/2、B21、(B21+B31)/2…… 次にこれらの低域色信号RL 、GL 、BL を用いて色差
信号R−Y、B−Yが作られる。
【0014】以上の処理はDSP7で行われる。図3は
DPS7における、動画処理に関する部分を示す。前記
メモリ6からの1画面分のデータをLPF12に通じ、
さらにバンドパスフィルタ13に通じることにより、ア
パーチャ補正信号APCが得られる。この信号APCと
LPF12からの信号とが加算器14で加算されること
により、輝度信号Yが得られる。
【0015】一方、上記1画面分のデータは色分離回路
15で色分離処理されてRGB信号が得られ、このRG
B信号をLPF16に通じることにより、低域色信号R
L 、GL 、BL 信号が得られる。さらにこの信号RL
L 、BL をマトリクス回路17でマトリクス処理する
ことにより色差信号R−Y、B−Yを得ることができ
る。
【0016】次に、CCD3の読み出しタイミングと可
変頂角プリズム2の制御タイミングについて説明する。
図4はCCD3の構成を模式的に示す。図において、各
フォトダイオード3aに蓄積された電荷は垂直レジスタ
3bに読み出され、垂直駆動パルスVCCDに従って1
水平ブランキング期間に2段づつ2本の水平レジスタ3
c、3dに転送される。転送された電荷は水平駆動パル
スHCCDに従って1水平走査期間内に出力アンプ3
e、3fを介して出力される。
【0017】ここで、CCD3の水平画素数640、垂
直画素数480であるとすると、 (640×2)×240 により、1フィールド期間内に全ての画素を読み出すこ
とができる。
【0018】図5は上述した1フィールド全画素読み出
し方式におけるCCD3と可変頂角プリズム2の動作タ
イミングを示す。(A)はフィールドインデックス信号
であり、ODDフィールド、EVENフィールドを示
す。(B)はSYNCパルスで、水平同期信号を示す。
(C)は上記垂直駆動パルスVCCD、(D)は上記水
平駆動パルスHCCDである。また(E)は可変頂角プ
リズム2の位置制御パルスであり、ODDフィールドと
EVENフィールドとで異る位置にセットして、フィー
ルド間で画素ずらしが行われることを示している。
【0019】図6(a)は図5(D)の水平駆動パルス
HCCDのODDフィールドにおける(a)の部分の拡
大を示し、図6(b)は同じくEVENフィールドにお
ける(b)の部分の拡大を示したものであり、それぞれ
水平ブランキング期間との関係を示している。即ち、O
DDフィールドでは、通常の走査開始位置から水平レジ
スタ3c、3dを読み出し始める。こさに対してENE
Nフィールドでは、1画素分遅れたタイミングで読み出
しを始めている。
【0020】このように、ODDでフィールドとEVE
NフィールドとでCCD3の読み出しタイミングを調整
することによって、可変頂角プリズム2によりCCD3
の撮像面上でフィールド毎にずらされた被写体像の光学
的位置のずれを補正することができる。尚、ここでのず
らし量1画素分は被写体像の光学的変位量と対応してい
る。
【0021】以上述べた動作によれば、CCD3で連続
する動画を撮像する場合、フィールド毎に画素ずらしを
行っても、CCD3から画素ずらしされた画像データを
取り出しながら、しかも連続した動画出力には何らの位
置ずれを生じさせないようにすることができる。
【0022】図7は可変頂角プリズム2の構成を示す。
図において、102a、102bは対向する2枚の透明
板であり、これとその外周を封止する前記蛇腹103
a、103bとしてのフィルム103とによって密封さ
れた空間に高屈折率の前記液体120(不図示)が満た
されている。104a、104bは透明板102a、1
02bを挟持する枠体であり、透明板102a、102
bをピッチ軸105a、ヨ一軸105bの周りに回動自
在に保持している。
【0023】106aは前側枠体104aの一端に固着
された駆動コイルであり、その両面に対向して永久磁石
107a並びに継鉄108a、109aが配置され、こ
れらによって閉じた磁気回路を構成している。111a
は枠体104aに一体的に構成された腕部であり、ここ
にスリット110aを有している。112a及び113
aは上記スリット110aを挟んで対向した位置に配置
される例えばIRED等の発光素子及び受光した光束の
スポットの位置によって出力が変化する例えばPSD等
の受光素子であり、発光素子112aから発射された光
束はスリット110aを透過した後に受光素子113a
へ照射されるようになっている。
【0024】114a、114bは装置全体のピッチ方
向、ヨ一方向の振れ量を検出できるように装置の支持部
に取り付けられた振れ検出器である。10aは装置の制
御を行う制御回路、10bは制御回路10aよりの駆動
信号にしたがって上記駆動コイル106aを駆動するコ
イル駆動回路、115は駆動コイル106aの作用点で
あり、空間上の表われない点である。
【0025】なお、図7では省略しているが、ヨ一方向
にもそれぞれ駆動コイル106b、永久磁石107b、
継鉄108b、109b、スリット110b、腕部11
1b、発光素子112b、受光素子113bが配置さ
れ、ピッチ側の動作と同様に機能する。
【0026】上記のように構成された可変頂角プリズム
2によれば、制御回路10a、駆動回路10bにより駆
動コイル106a、106bを駆動制御し、透明板10
2a、102bをそれぞれの方向に傾けることによっ
て、CCD3の撮像面上で被写体像を1フィールド毎に
水平又は垂直方向に1画素分ずらせることができる。
【0027】次に上記の画素ずらしによって1フィール
ドづつ得られる複数枚の画像から1枚の高解像度静止画
を得る方法について図8、図9を用いて説明する。図8
(a)はODDフィールドにおけるCCD3の撮像面上
における色フィルタの画素配置を示す。図8(b)はE
VENフィールドにおけるCCD3の撮像面上における
色フィルタの画素配置を示すもので、ODDフィールド
と同一の被写体像に対して画素配置が相対的に1画素分
水平方向にずれている。
【0028】即ち、(a)ではG信号のサンプリングに
寄与した画素情報が(b)ではR又はB信号のサンプリ
ングに寄与している。また(a)でR又はB信号のサン
プリングに寄与した画素情報は(b)ではG信号のサン
プリングに寄与している。
【0029】この図8の(a)と(b)のデータを組み
合わせると、図9(a)(b)に示すような第1の画像
データと第2の画像データとが得られる。第1の画像デ
ータは、輝度信号の形成に最も寄与するG信号が全画面
にわたって得られる。また、第2の画像データは、Rと
Bとが水平ストライプ状に配列されている。このように
2フィールドで得られるずらされた2つの画像を合成す
ることにより、図9に示す高帯域信号用の2つの画像デ
ータが生成される。
【0030】これらの第1、第2の画像データの処理回
路を図10に示す。図において、図8(a)(b)に示
すODDフィールドのデータとEVENフィールドのデ
ータとは色分離回路21により図9に示す第1の画像デ
ータと第2の画像データとに色分離される。このうち
R、B信号についてはRB垂直補間回路22により垂直
方向に補間され、低域色信号RL 、GL 、BL が生成さ
れる。また Y=0.3R+0.6G+0.1B により輝度信号Yが生成される。
【0031】次に各種輪郭補償処理やLPF処理がLP
F、APC処理回路24で行われることにより、高帯域
の輝度信号Y、色差信号R−Y、B−Yを得ることがで
きる。
【0032】次に上記処理における信号のサンプリング
に対応する光学LPFについて説明する。高帯域画像デ
ータのサンプリングにおける特徴はRとBの信号が水平
ストライプ状に配列されていることである。従って、こ
のRBの水平ストライプの周波数よりも高い周波数帯域
を光学的に除去しておかないとモアレが発生する。
【0033】図11は上記の場合におけるサンプリング
から生ずるキャリアの出る様子を示す。図において、水
平ストライプにより作り出される繰り返しパターンによ
って、R、B信号成分については垂直=fSV/2、水平
=0、fHSのポイントにあるキャリアが問題となる。従
って、これをトラップするように、垂直方向に光学LP
FをCCD3の前に設ける必要がある。
【0034】光学LPFを設けることにより、垂直方向
に帯域が制御されてしまうが、実際には、動画の撮像時
にはフリッカ防止のために垂直=fSV/2のポイントを
トラップすることが多いので、実質的には問題はない。
【0035】次に静止画と動画との切り換えについて説
明する。本実施例では、通常は動画モードで撮像されて
いる。その間前述したように可変頂角プリズム2と読み
出し位置の制御が動作している。また、不図示の静止画
撮像スイッチがONされると、ONされた直後のフィー
ルドについて前述した合成処理が行われて出力される。
【0036】本実施例では純色ベイヤー型の色フィルタ
配列を使用して、ODDフィールドとEVENフィール
ドとで高解像度化をはかる方法について説明したが、補
色モザイク型色フィルタを用いても同様の効果が得られ
る。図12は補色モザイク色フィルタ配列の一例を示
す。この色フィルタ配列のCCD3を左右、上下に1画
素づつ4画素変位することで1サイクルとなるように可
変頂角プリズム2を駆動する。上下方向にも変位する場
合には、水平方向だけでなく垂直方向の読み出し位置を
それに合わせてずらせる必要がある。
【0037】また実施例では、CCD3の読み出し位置
による制御を行ったが、出力表示する時に調整制御を行
うようにしてもよい。また、本装置の出力画像の記録に
ついては説明していないが、CCD3の出力をそのまま
順次記録してもよいし、輝度・色差信号に変換後に記録
してもよい。さらに高解像度化処理を記録した信号に対
して行うようにしてもよい。
【0038】
【発明の効果】以上説明したように、本発明によれは、
高解像度静止画を容易に安価に得ることができると共
に、動画と静止画とを同時に撮像することができる撮像
装置を実現することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施例を示すブロック図であ
る。
【図2】色フィルタの構成図である。
【図3】動画処理を示すブロック図である。
【図4】CCDの構成図である。
【図5】動作を示すタイミングチャートである。
【図6】図5の一部の拡大図である。
【図7】可変頂角プリズムの分解斜視図である。
【図8】フィールド毎の色フィルタ画素配置を示す構成
図である。
【図9】合成された画像データの構成図である。
【図10】静止画処理のブロック図である。
【図11】サンプリングキャリアを説明するための特性
図である。
【図12】色フィルタの他の配列を示す構成図である。
【符号の説明】
2 可変頂角プリズム 3 CCD 3a 色フィルタ 5 メモリコントローラ 6 メモリ 7 DSP 9 システムコントローラ 10 制御回路 11 駆動回路

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 撮像面に結像された被写体像を光電変換
    して画像信号と成す撮像素子と、 上記撮像素子の撮像面に結像される上記被写体像を所定
    期間毎に微少量変位させる画像変位手段と、 上記撮像素子の撮像面から上記被写体像の変位に対応す
    る画像信号を順次に読み出し、その際、上記微少量の変
    位を補正するタイミングで読み出しを行う読み出し制御
    手段とを備えた撮像装置。
  2. 【請求項2】 上記被写体像を色分解するための複数の
    色フィルタを配列して成る色フィルタ手段を上記撮像素
    子の撮像面に設け、 上記画像変位手段は、上記被写体像の同一部分が異る色
    フィルタに対応するように上記被写体像を変位させるよ
    うにした請求項1記載の撮像装置。
  3. 【請求項3】 上記読み出し制御手段から順次に読み出
    された複数の画像信号を合成して1つの高解像度静止画
    像信号を生成する画像合成手段を備えた請求項1又は2
    記載の撮像装置。
  4. 【請求項4】 上記読み出し制御手段から順次に読み出
    しされた複数の画像信号を動画像信号として記録する記
    録手段を設けた請求項1又は2記載の撮像装置。
  5. 【請求項5】 上記高解像度静止画像信号を記録する記
    録手段を設けた請求項3記載の撮像装置。
JP20588895A 1995-08-11 1995-08-11 撮像装置 Expired - Fee Related JP4377970B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP20588895A JP4377970B2 (ja) 1995-08-11 1995-08-11 撮像装置
US08/695,233 US6195125B1 (en) 1995-08-11 1996-08-07 Pixel shifting image sensor with a different number of images sensed in each mode
ES96112905T ES2268697T3 (es) 1995-08-11 1996-08-09 Aparato para la deteccion de imagenes que utiliza diferentes metodos de desplazamiento de los pixels.
DE69636322T DE69636322T2 (de) 1995-08-11 1996-08-09 Bildaufnahmevorrichtung mit verschiedenen Methoden zur Bildpunktverschiebung
EP96112905A EP0758831B1 (en) 1995-08-11 1996-08-09 Image sensing apparatus using different pixel shifting methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20588895A JP4377970B2 (ja) 1995-08-11 1995-08-11 撮像装置

Publications (2)

Publication Number Publication Date
JPH0955885A true JPH0955885A (ja) 1997-02-25
JP4377970B2 JP4377970B2 (ja) 2009-12-02

Family

ID=16514399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20588895A Expired - Fee Related JP4377970B2 (ja) 1995-08-11 1995-08-11 撮像装置

Country Status (1)

Country Link
JP (1) JP4377970B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008147715A (ja) * 2006-12-05 2008-06-26 Canon Inc 撮像装置及び方法
US7595826B2 (en) 1997-01-08 2009-09-29 Ricoh Company, Ltd. Method a system for improving resolution in color image data generated by a color image sensor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7595826B2 (en) 1997-01-08 2009-09-29 Ricoh Company, Ltd. Method a system for improving resolution in color image data generated by a color image sensor
JP2008147715A (ja) * 2006-12-05 2008-06-26 Canon Inc 撮像装置及び方法

Also Published As

Publication number Publication date
JP4377970B2 (ja) 2009-12-02

Similar Documents

Publication Publication Date Title
US6195125B1 (en) Pixel shifting image sensor with a different number of images sensed in each mode
US4521804A (en) Solid-state color TV camera image size control
US20040046882A1 (en) Electric camera
JP3704238B2 (ja) 撮像装置
WO1997017811A1 (fr) Procede et dispositif pour la prise de vue d'image fixe en couleur
JPH0147073B2 (ja)
JPH08172635A (ja) 撮像装置
US20090096915A1 (en) Anti-aliasing spatial filter system
JPH06133321A (ja) Ccd撮像装置
JP3967853B2 (ja) 固体撮像装置および信号読出し方法
JP4317117B2 (ja) 固体撮像装置および撮像方法
JP3965555B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2000106678A (ja) 撮像装置
JP4377970B2 (ja) 撮像装置
JP2002287197A (ja) 撮像装置における画像安定化装置
JP3738654B2 (ja) デジタルカメラ
JP2001352483A (ja) 動画静止画撮像装置
JP3967500B2 (ja) 固体撮像装置および信号読出し方法
US6184933B1 (en) Image pickup apparatus wherein plural elements simultaneously pick up the image and the state of the incident
JPH09219867A (ja) カラー静止画撮像装置及び方法
JP2004194248A (ja) 撮像素子及び撮像装置
JPH06269010A (ja) 色分解光学系,撮像方法,及び撮像装置
JPH08251604A (ja) 固体カラー撮像装置
JPH05276452A (ja) 撮像装置
JPH08307776A (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070427

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070517

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070601

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090914

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130918

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees