JP3466031B2 - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JP3466031B2
JP3466031B2 JP27443596A JP27443596A JP3466031B2 JP 3466031 B2 JP3466031 B2 JP 3466031B2 JP 27443596 A JP27443596 A JP 27443596A JP 27443596 A JP27443596 A JP 27443596A JP 3466031 B2 JP3466031 B2 JP 3466031B2
Authority
JP
Japan
Prior art keywords
image
video signal
output
imaging device
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27443596A
Other languages
English (en)
Other versions
JPH10126694A (ja
Inventor
裕夫 竹村
康夫 佐久間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Development and Engineering Corp
Original Assignee
Toshiba Corp
Toshiba Digital Media Engineering Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Media Engineering Corp filed Critical Toshiba Corp
Priority to JP27443596A priority Critical patent/JP3466031B2/ja
Publication of JPH10126694A publication Critical patent/JPH10126694A/ja
Application granted granted Critical
Publication of JP3466031B2 publication Critical patent/JP3466031B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Television Systems (AREA)

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明は、比較的低精細の画
像を観察し、必要に応じて高精細の画像を得ることがで
きる画像撮像装置に関する。 【0002】 【従来の技術】撮像装置はテレビジョン技術とともに進
歩し、放送局用を始め、家庭用ビデオカメラから産業用
の分野まで幅広く使われてきた。最近ではパソコンに画
像を取り込むためのパソコンカメラやデジタルメモリに
ダイレクトに記録するデジタルカメラなどの用途が広が
っている。 【0003】ところが、これらはいずれも標準のNTS
C信号やPAL方式に準じた信号であり、標準方式より
走査線の数が多い信号を得ようとすると撮像デバイスも
異なり、またカメラ自体も複雑になる。さらに、これを
表示するためのモニターも高度な技術を要求されるため
に複雑高価になる等の欠点があった。 【0004】これらに類するものとしては、HDTV等
が諸外国で盛んに研究開発されている。日本ではハイビ
ジョンと称してHDTVを普及させようとする動きがあ
った。 【0005】そこで、HDTVの画像の内容だけを見た
い場合は、有効走査線を1080本も使わないで、走査
変換をして有効走査線を480本の標準のテレビジョン
信号に変換してそれほど高精細でなくても標準のテレビ
ジョン受像機で見ることができるようなMNコンバータ
ーも開発されている。これはもともとは高精細画像であ
りながら、実際に見るときは低精細で見ることができる
例である。 【0006】ここで、図8に従来の撮像装置の第1の構
成例の概略を示す。被写体101の光学像は、撮像レン
ズ102を介して撮像デバイスであるCCD103の感
光面上に結像される。CCD103では光学像が光電変
換され、光の強弱に応じた電荷像となる。 【0007】CCD104からの映像信号は、CDS
(Corelated DoubleSamplin
g)回路104に加えられ、ノイズ除去が行われる。C
DS回路104からの映像信号は、次の信号処理回路1
05に加えられ、ガンマ補正、輪郭補正、ホワイトクリ
ップ、クランプ等の通常の映像信号生成に必要な処理が
施される。 【0008】信号処理回路105の出力映像信号は、小
型液晶モニター107と画像メモリ106に供給され
る。 【0009】この場合、小型液晶モニター107が小型
で画素数が少ないので、モニター107上に表示される
画像は画像メモリ106に記憶される画像信号に比べ低
精細になっている。 【0010】更に、図9に従来の撮像装置の第2の構成
例の概略を示す。図7と同一構成要素については、同一
参照符号を付し詳細な説明は省略する。この例では、信
号処理回路105の出力映像信号は、1.5インチ程度
の小型モニター112とVTR111に供給される。 【0011】この場合でも、モニター112が小型なた
め画質はさほど良くなくVTR111に記録される画像
信号よりは低精細の画像が表示される。 【0012】これらのモニター107、112では、記
憶又は記録されている画像がどのようなものか、アング
ルや、色調や、ピントなどが判ればよいだけであり、小
型化を優先するために画質が低下しているものである。 【0013】また、最近のデジタルカメラでは高解像度
のCCD撮像デバイスを用いながら、常時は360×2
40画素の比較的粗い画像で撮影して1枚のメモリに9
6枚程度の沢山の画像が撮影できるようにしておき、必
要に応じて720×480画素の高解像度の画像に切り
替えて撮影できるようにしたものも開発されている。た
だし、この場合には1枚のメモリに記録される画像の枚
数が1/4の24枚程度に減少してしまう。 【0014】さらに、プログレシブ方式の画像が取り出
せるようにした、いわゆる全画素読み出しCCDも開発
されてきた。この全画素読みだしCCDを使った撮像装
置では磁気テープにいつもはインターレースの動画像を
記録していき、必要に応じて切り替えて、プログレシブ
方式の静止画像が撮影できるようにしたものが製品化さ
れている。 【0015】 【発明が解決しようとする課題】このように静止画像と
動画像とを切り替えて撮影できるような撮像装置では、
本当に高精細で見たいときにシャッターチャンスを失し
てしまい、貴重な画像の撮影に失敗し、必要な画像が得
られないと言う欠点があった。 【0016】また、医療分野や印刷の分野では、静止画
像であっても走査線の本数が2倍以上の高精細の画像の
要請が強いが、これらの高精細画像を動画像で得ようと
すると機器全体が大きくなり、さらに高価なものとなっ
てしまい、この種の撮像装置の普及に大きな妨げになっ
ていた。 【0017】さらに、パソコンの普及によって標準のテ
レビジョンより高精細な静止画像を手軽に求めたいとい
う要求が高まってきたが、これらが簡便に得られるよう
にした撮像装置やシステムはなかなか技術的にも難しく
普及が困難であった。 【0018】そこで本発明は、被写体の画像を連続的に
撮像し、動画像を表示するモニターを観察しながら所望
の画像が現れたときにさらに高精細の画像が得られる撮
像装置を提供することを目的とする。 【0019】 【課題を解決するための手段】本発明による撮像装置
は、被写体を撮像レンズを介して結像される光学手段
と、この光学手段により結像される光学像が感光面に結
像されるように配置され、光学像に応じて隣接する複数
の走査線の映像信号を出力する撮像デバイスと、前記撮
像デバイスからの複数の出力映像信号の1つを選択する
か又は複数の出力信号を加算する選択加算手段と、前記
選択加算手段により選択又は加算された前記撮像デバイ
スの出力映像信号動画像として表示する第1の表示手
段と、前記第1の表示手段の画面を観測して1瞬間の
望の画像を選択する選択手段と、前記選択手段により選
択された1瞬間の静止画像に相当する映像信号およびこ
れ以降適宜の間隔をおいた各瞬間の静止画像の映像信号
を、前記撮像デバイスから出力された複数走査線各々の
出力映像信号から得る手段と、前記静止画像の複数走査
線各々の出力映像信号をすべて間歇的に記憶する記憶手
段と、前記記憶手段により記憶された前記複数走査線各
々の出力映像信号をすべて用いることにより高解像度の
静止画像を表示する第2の表示手段と、を具備したこと
を特徴とする。 【0020】 【0021】 【0022】 【0023】 【発明の実施の形態】図1に、本発明の撮像装置の第1
の実施の形態の構成を示す。被写体1の光学像は、撮像
レンズ2を介して撮像デバイスであるCCD3の感光面
上に結像される。CCD3では光学像が光電変換され、
光の強弱に応じた電荷像となって形成される。 【0024】一方、信号発生器4からの信号は駆動ロジ
ック回路5に加えられ、ここでCCD3の駆動や各種信
号処理に必要なパルスが形成される。これらのパルスは
次の水平駆動回路6、垂直駆動回路7に加えられる。水
平駆動回路6、垂直駆動回路7は、それぞれCCD3の
駆動に必要な駆動波形を形成する。 【0025】水平駆動回路6からの水平駆動パルス、垂
直駆動回路7からの垂直駆動パルスはそれぞれ所定のC
CD3の端子に印加され、感光面上に形成された信号電
荷を出力端子まで移動させ出力映像信号とする。 【0026】CCD3の実際は図2に示すように、光電
変換を行うフォトダイオードPDと垂直転送CCDのV
−CCD、それに水平転送CCDのH−CCDから成っ
ている。 【0027】フォトダイオードPDは水平1000画
素、垂直960画素からなり、フォトダイオードPDの
垂直方向各2画素に対応して4電極が配置された垂直転
送CCDがフォトダイオードPDと交互に配置されてい
る。 【0028】フォトダイオードPDと垂直転送CCDか
ら成る感光面であるイメージ領域の下部には2本の水平
転送CCDである第1のH−CCDと第2のH−CCD
が設けられ、これに隣接してそれぞれ第1と第2の信号
出力回路が設けられている。 【0029】垂直転送CCD、V−CCDは、ΦVAと
ΦVBの2組のパルス波形が印可され、それぞれΦVAに
は4相のパルスΦV1A、ΦV2A、ΦV3A、ΦV4
Aが、ΦVBには4相のパルスΦV1B、ΦV2B、Φ
V3B、ΦV4Bが、垂直駆動回路7から印加される。 【0030】このようにしてΦVA、ΦVBの二つの系
統の垂直駆動波形を印加する事により、隣接2画素の信
号を独立して読み出す事が可能になる。 【0031】この詳細を、図3を用いて説明する。図3
(a)に示すように、使用しているCCDでは、下から
1,2,3,・・・・,960まで画素が垂直方向に並
んでいるが、第1フィールド(Aモード)では下から
3,4,7,8,11,12,・・・,959,960
のように2画素ごとに信号が読み出されていく。 【0032】最後の出力段では2つの水平CCDが配置
されているが、ここに2画素ずつ転送されてきた信号電
荷が順序通りに転送されて、第1の信号出力回路から
は、3,7,11,・・・,959のように各画素の信
号が得られる。同様に第2の信号出力回路からは、4,
8,12,・・・,960のように各画素の信号が順次
得られてくる。このようにして、第1フィールドの映像
信号が得られる。 【0033】一方、第2フィールド(Bモード)でも同
様に図3(b)に示すように下から1,2,5,6,
9,10,・・・,957,958のように2画素ごと
に信号が読み出されていく。最後の出力段では2つの水
平CCDが配置されているので、ここに2画素ずつ転送
されてきた信号電荷が順序通りに転送されて、第1の信
号出力回路からは、1,5,9,・・・,957、第2
の信号出力回路からは、2,6,10,・・・,958
のように各画素の信号が順次得られてくる。このように
して、第2フィールドの映像信号が得られる。 【0034】ここで第1の信号出力と第2の信号出力を
加算すると、第1フィールドでは図4(a)に示すよう
に有効走査線240本の標準フォーマットの信号が得ら
れ、同様に第2フィールドも図4(b)に示すような有
効走査線240本の標準フォーマットの信号が得られる
ことになる。 【0035】なお、これらの出力信号を加算する事なく
別々に組立なおして表示すれば、図5に示すような有効
走査線960本の高精細画像が得られる事になる。 【0036】さて、図1に戻って、2つの信号出力はそ
れぞれのCDS回路11、21に加えられ、ノイズ除去
が行われる。 【0037】CDS回路11、21からの映像信号は次
の信号処理回路12、22に加えられ、ガンマ補正、輪
郭補正、ホワイトクッリプ、クランプ等の通常の映像信
号生成に必要な処理が施される。信号処理回路12、2
2の出力映像信号は、画像メモリ13に加えられるとと
もに、加算回路14に加えられ走査線2本分の信号が加
算される。 【0038】加算回路14の出力信号は標準のNTSC
モニター15に加えられて、1フレームで有効走査線4
80本の動画像となって表示される。 【0039】一方、画像メモリ13は、信号処理回路1
2、22からの映像信号(画像信号)を順次更新する。 【0040】画像メモリ13に加えられた映像信号は、
パソコンの選択ボタンを押せば、押された瞬間の1画像
の映像信号が、インターフェース(例えばSCSI(S
mall Computer System Inte
rface)ボードやIEEE1394等)16を介し
て、パソコン17に内蔵されるメモリに一端記憶され
る。記憶された映像信号は、直ちに画像表示装置、ここ
ではパソコン17のモニター上に1フレームで有効走査
線960本の高精細静止画像となって表示される。 【0041】このようにして標準モニターには標準画像
が動画像で表示されており、観察者がこの画像を見なが
ら必要な画像が現れたときにここぞとパソコン側で選択
ボタンを押す事によって、画像メモリ13に加えられて
いた1フレームで有効走査線960本の映像信号がイン
ターフェース16を介してパソコン17のメモリに取り
込まれ、この映像信号がパソコン画面上に高精細静止画
像となって表示され、細部まで詳細に観察する事ができ
る。 【0042】元々人間の目は動画像に対してはそれほど
解像度があっても認識できないが、静止画像に対しては
細部まで認識が可能である。 【0043】上記撮像装置によればこの人間の目の特徴
を有効に活用し、動画像に対しては比較的安価に構成で
きる標準画像システムで構築し、詳細な検討が必要な静
止画像に対しては有効走査線の数を標準画像の2倍にし
たシステムを構築して高精細な画像として隅々まで観察
が容易に可能であるというメリットがある。 【0044】図8、図9に示したような従来の撮像装置
では、画像メモリ106に記憶される信号やVTR11
1に記録される信号をそのままモニター107、112
に表示しているが、このときに表示装置の性能が悪いた
めに、画質が低下しているだけの事である。モニターの
画像を見て高精細の画像を記録しようとしているわけで
はない。 【0045】図6に、本発明の撮像装置の第2の実施の
形態の構成を示す。図1の第1の実施の形態と同一の構
成要素については、同一参照符号を付し詳細な説明は省
略する。第2の実施の形態が、第1の実施の形態と違う
のは信号処理回路12、22の2つの出力映像信号の中
の片方を使う点である。この場合でも、第1の実施の形
態と同等の効果が得られる。このときには3dB程度の
S/Nの低下が考えられるが、回路が簡単になり、小
型、軽量にセットを試作する際には有効である。 【0046】また、上記説明では標準モニター15の画
像を見ながらボタンを押すことによって必要なシーン1
枚をパソコン17に取り込むように説明してきたが、パ
ソコン17の選択ボタンを押すことにより連続して複数
の画像をパソコン17のメモリに記憶させることも可能
である。このようにすると必要な画像が間欠的に複数枚
パソコン17のメモリに取り込むことができ、変化して
いる現象などの解明に便利である。 【0047】この場合には取り込んだ画像を必要に応じ
て、パソコン17のモニター上に並べて表示したり、重
ねて表示することもできる。また、取込ごとに表示した
り、複数枚取り込んでから一気に表示するなど、表示モ
ードは各種の変形が可能である。 【0048】さらに、撮像装置の主要部はパソコン17
の位置と同じ場所にあるように説明してきたが、図7の
第1の実施の形態の変形例に示す如く、撮像装置の主要
部は遠隔地に置いて患者の状態を撮影し、点線で囲んだ
部分にある標準モニター95を見ながら専門の医者がパ
ソコン17の選択ボタンを押すことによって高精細の画
像を伝送するような遠隔観察、遠隔診療にも使えること
はもちろんである。専門の医者は標準モニター95で患
者の様子や容態を観察していて、患部を詳細に見たいと
きに遠隔操縦で撮像装置のカメラの位置を変えていき所
望のシーンやアングルを設定し、撮影可能になったとき
に、パソコン17の選択ボタンを押して高精細の静止画
像をゆっくり伝送する。 【0049】なお、第2の実施の形態も図7の第1の実
施の形態の変形例のように構成することが可能である。 【0050】このようにすると、医者は送られてきた画
像をパソコン17の高精細モニターで観察して的確な判
断を下すことができる。常時は伝送料金も安価な標準画
像で伝送して、本当に必要な資料だけを高精細静止画像
で見られるので伝送コストも安価になり、効率的な運用
が可能になるという大きな特徴がある。 【0051】さらに、パソコン17のメモリに取り込ま
れた高精細の画像情報はパソコン専用の画像ソフトや一
般のアプリケーションソフトを利用して、輪郭補正や色
づけ処理、階調の補正等の画像処理が簡単に施され、目
的に応じて観測のしやすい画像を構築できるというメリ
ットもある。 【0052】さらに、この記憶された画像情報は磁気フ
ロッピーなどの記憶媒体にも簡単に記録できるので、必
要に応じてほかのパソコンで再生したり、画像処理を行
うこともできる。 【0053】さらに、上記画像情報は通常のパソコン通
信を利用して遠隔地に送ることも容易である。医療情報
の場合など遠隔地の病院に伝送して的確な指示判断を仰
ぐなど大きなメリットがある。 【0054】なお、上記した実施の形態並びに変形例で
は、撮像デバイス3はCCDとしたがこれに限定される
ものでなく、C−MOSセンサー等でも良い。さらに、
パソコン17のモニターは、パソコン17本体と別体の
ものとしても良い。 【0055】 【発明の効果】前述したように本発明によれば、常時観
測するためには半分の信号を捨てるか加算し、標準のフ
ォーマットの画像信号としておき、欲しい1瞬間及びそ
の後の静止画像の信号を記憶し、高精細画像で表示する
ので、変化する現象などの解明に便利な撮像装置が得ら
れる効果がある。 【0056】さらに、本発明によれば常時は標準方式の
動画像の画面を見ながら被写体を観察していて、この画
面をもう少し詳細に見たいという際にボタン操作により
パソコン内部に高精細の静止画像が記憶されるととも
に、直ちに再生されてパソコンの高精細モニターに表示
される。従って、動画像に対しては現在普及している比
較的安価なシステムで構築できるとともに、高精細画像
に対してもパソコンを利用した安価なシステムを利用し
て簡便にシステムを構築できるという大きなメリットが
ある。
【図面の簡単な説明】 【図1】本発明の撮像装置の第1の実施の形態の構成を
示すブロック図である。 【図2】図1の撮像デバイスであるCCD3の構成を示
す構成図である。 【図3】図1のCCD3からの映像信号出力を示す図で
ある。 【図4】図1において、標準ホーマットの映像信号(画
像信号)を抽出するのを説明するための図である。 【図5】高精細モードの画像を構成するための説明図で
ある。 【図6】本発明の撮像装置の第2の実施の形態の構成を
示すブロック図である。 【図7】本発明に撮像装置の第1の実施の形態の変形例
の構成を示すブロック図である。 【図8】従来の撮像装置の第1の構成例の概要を示すブ
ロック図である。 【図9】従来の撮像装置の第2の構成例の概要を示すブ
ロック図である。 【符号の説明】 1・・・被写体、2・・・撮像レンズ、3・・・撮像デ
バイス(CCD)、4・・・信号発生器、5・・・駆動
ロジック回路、6・・・水平駆動回路、7・・・垂直駆
動回路、11・・・CDS(Corelated Do
uble Sampling)回路、12・・・信号処
理回路、13・・・画像メモリ、14・・・加算回路、
15・・・標準モニター、16・・・インターフェー
ス、17・・・パソコン、21・・・CDS回路、22
・・・信号処理回路、95・・・標準モニター。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平9−270959(JP,A) 特開 昭62−84681(JP,A) 特開 平5−130645(JP,A) 特開 平7−203273(JP,A) 特開 平4−323973(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/30 - 5/335

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】 被写体を撮像レンズを介して結像される
    光学手段と、この光学手段により結像される 光学像が感光面に結像さ
    れるように配置され、光学像に応じて隣接する複数の走
    査線の映像信号を出力する撮像デバイスと、 前記撮像デバイスからの複数の出力映像信号の1つを選
    択するか又は複数の出力信号を加算する選択加算手段
    と、 前記選択加算手段により選択又は加算された前記撮像デ
    バイスの出力映像信号動画像として表示する第1の表
    示手段と、 前記第1の表示手段の画面を観測して1瞬間の所望の画
    像を選択する選択手段と、 前記選択手段により選択された1瞬間の静止画像に相当
    する映像信号およびこれ以降適宜の間隔をおいた各瞬間
    の静止画像の映像信号を、前記撮像デバイスから出力さ
    れた複数走査線各々の出力映像信号から得る手段と、 前記静止画像の複数走査線各々の出力映像信号をすべて
    間歇的に記憶する記憶手段と、 前記記憶手段により記憶された前記複数走査線各々の出
    力映像信号をすべて用いることにより高解像度の静止画
    像を表示する第2の表示手段と、 を具備したことを特徴とする撮像装置
JP27443596A 1996-10-17 1996-10-17 撮像装置 Expired - Fee Related JP3466031B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27443596A JP3466031B2 (ja) 1996-10-17 1996-10-17 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27443596A JP3466031B2 (ja) 1996-10-17 1996-10-17 撮像装置

Publications (2)

Publication Number Publication Date
JPH10126694A JPH10126694A (ja) 1998-05-15
JP3466031B2 true JP3466031B2 (ja) 2003-11-10

Family

ID=17541647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27443596A Expired - Fee Related JP3466031B2 (ja) 1996-10-17 1996-10-17 撮像装置

Country Status (1)

Country Link
JP (1) JP3466031B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3932006B2 (ja) 1998-12-02 2007-06-20 株式会社日立製作所 撮像装置
JP2000299810A (ja) * 1999-04-13 2000-10-24 Matsushita Electric Ind Co Ltd 撮像装置

Also Published As

Publication number Publication date
JPH10126694A (ja) 1998-05-15

Similar Documents

Publication Publication Date Title
JP3991543B2 (ja) 撮像装置
JP3819511B2 (ja) Ccd撮像デバイスにおけるモニタ方法およびディジタルスチルカメラ
JPH01280977A (ja) テレビジョンシステムの子画面表示方法及びその装置
JPH10210367A (ja) 電子的撮像装置
US20010024234A1 (en) Digital camera
EP0794662A2 (en) Electronic still camera
US7236194B2 (en) Image signal processing apparatus
JP3374651B2 (ja) ディジタル電子撮像装置および撮像方法
JP3466031B2 (ja) 撮像装置
JP3346481B2 (ja) 動画入力装置
JP3985275B2 (ja) 撮像装置および撮像方法
JP3932006B2 (ja) 撮像装置
JP3967392B2 (ja) 撮像装置
JP2713295B2 (ja) 固体撮像素子の駆動方法と撮像装置
JP3925479B2 (ja) 撮像装置
JPS63123286A (ja) 電子スチルカメラ
JP3734104B2 (ja) 画像信号処理装置
JP3651477B2 (ja) 画像信号処理装置
JP2008035307A (ja) 情報処理装置
JP3948456B2 (ja) 固体撮像素子および固体撮像素子の制御方法
KR19980055669A (ko) 유니버설 시리얼 버스를 이용한 카메라
JP3777723B2 (ja) 電子スチルカメラ
JP3058166B2 (ja) 撮像装置
JPH05268523A (ja) ビデオカメラ
JP4311473B2 (ja) 撮像装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070829

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080829

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090829

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090829

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100829

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100829

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees