JPH077653A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JPH077653A
JPH077653A JP5144567A JP14456793A JPH077653A JP H077653 A JPH077653 A JP H077653A JP 5144567 A JP5144567 A JP 5144567A JP 14456793 A JP14456793 A JP 14456793A JP H077653 A JPH077653 A JP H077653A
Authority
JP
Japan
Prior art keywords
image
signal
image pickup
signal processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5144567A
Other languages
English (en)
Other versions
JP3321904B2 (ja
Inventor
Toru Matsumura
透 松村
Hiroyasu Otsubo
宏安 大坪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=15365230&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPH077653(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP14456793A priority Critical patent/JP3321904B2/ja
Publication of JPH077653A publication Critical patent/JPH077653A/ja
Application granted granted Critical
Publication of JP3321904B2 publication Critical patent/JP3321904B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Direct Current Feeding And Distribution (AREA)

Abstract

(57)【要約】 【目的】複数の撮像素子からの信号を撮像素子よりも少
ない信号処理装置で信号処理することにより、従来より
も低消費電力、小容量、安価な多入力、多出力の撮像装
置を提供することを目的にする。 【構成】n個の固体撮像素子と、n個の撮像素子とk個
の信号処理装置を接続する第1の信号選択回路と、k個
の信号処理装置と、k個の信号処理装置とm個の出力装
置を接続する第2の信号選択回路と、第1、第2の信号
選択回路と信号処理装置の制御を行なう制御回路とから
なる撮像装置。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、n個の撮像素子、k個
の画像信号処理装置、m個の出力装置を有する信号系を
用いて、n>k,m>kの状態で、該撮像素子からの信
号或いは前置増幅回路からの信号を直接切り替え、画像
信号処理後、出力装置に割り振るものであり、撮像装置
に関する。
【0002】
【従来の技術】撮像素子を用いた複数のカメラを使用
し、既に信号処理された信号を信号入力切り替え装置に
よりを選択し、複数の出力装置の一つを信号切り替え装
置により選択し、画像を出力することは公知である。
【0003】従来例の一つに特開平4−154379号
公報に示すように、複数のカメラからの信号を受け、カ
メラ入力切り替え部で、入力を検知し、うち一つの信号
を選択し出力していた。
【0004】また、他の従来例である特開平4−782
39号公報に示すように、複数のカメラ出力からの信号
上に識別信号を載せることにより、切り替え回路で識別
信号を検出しカメラからの信号を切り替えていた。
【0005】
【発明が解決しようとする課題】上記従来例は、撮像素
子からの信号を直接選択するものではなく、信号処理を
終えたものを選択するものであり、例えば、監視カメラ
のように複数のカメラを使用するものでは、重複するハ
ードウェアがあり、その分コスト、容量及び消費電力が
かさむ欠点があった。
【0006】本発明では、複数の撮像素子を用いた信号
処理装置を用いて時分割処理、或いは複数の撮像素子か
らの信号選択を行なうことにより、複数の撮像素子から
の信号を撮像素子よりも少ない数の信号処理系で信号処
理を行ない、本来重複していたハードウェア数を減少さ
せコスト、容量及び消費電力を抑えた撮像装置を提供す
ることを目的とする。
【0007】
【課題を解決するための手段】上記目的を達成するため
に、n個の固体撮像素子からの信号を、第1の信号選択
回路でk個の画像信号処理装置に割り振る。画像信号処
理装置により信号処理後、第2の信号選択回路により、
k個の信号をm個の出力装置に割り振る。第1及び第2
の信号選択回路の信号選択は制御回路により行う。ま
た、第1の信号選択回路に接続された各々の撮像素子に
対応した画像信号処理装置の制御データも制御回路で記
憶し、n個の撮像素子のうち選択された撮像素子とm個
の出力装置のうち選択された出力装置との接続について
も制御回路で記憶する。
【0008】
【作用】n個の撮像素子入力に対し、それよりも数の少
ないk個の信号処理を行ない、制御回路からn個の撮像
素子各々に対する利得、信号処理設定値を、k個の信号
処理装置に割り振り、m個の出力に割り振ることによっ
て、n個の撮像素子に対しk個のハードウェアで済むた
め、ハードウェアを大幅に縮小することができ、それに
伴って、多入力、多出力の撮像装置の低消費電力化、小
容量化及び低コスト化を行うことができる。
【0009】k個の信号処理装置のあとに、第2の信号
選択回路によりm個の出力装置の数だけに割り振った
後、m個の記憶手段に画像データを次のデータ入力時ま
で記録し、出力装置に逐次信号を転送することにより、
出力装置切り換え時の画面のブラックアウトを防止する
ことができる。
【0010】また、立体カメラのように2眼式の撮像装
置を使用する場合、右目用と左目用の撮像素子からの信
号を1フィールド毎の時分割で処理することによって、
一つの信号処理系で1フィールド毎に交互に右目用と左
目用の画像信号になる立体視用の画像信号を得ることが
できる。この場合、右目用と左目用の撮像素子に該当し
た信号を各フィールド毎にブランキング期間中に発生さ
せることによって、第2の信号選択回路では外部から信
号選択信号を送らなくとも信号選択を行うことができ
る。
【0011】また、自動車に搭載する場合、バンパーの
角に固体撮像素子を搭載し、或いはバンパーの角からイ
メージファイバーを透過して撮像素子に伝える状態で、
2つ程度のモニターを使用すると、1フィールド毎に交
互にモニターへ出力することによって、一つの信号処理
系で行なうことができ、安価な車載カメラを提供でき
る。
【0012】
【実施例】本発明の第1の実施例を図1に示す。第1の
信号選択回路2で制御回路6からの制御信号によりn個
の撮像素子1から、信号処理装置3と同数のk個の撮像
素子1を選択し、第2の信号選択回路4で制御回路6か
らの制御信号により、m個の出力装置5からk個の出力
装置5を選択し、k個の画像信号処理装置3と接続す
る。制御回路6ではn個の撮像素子1各々に対応する利
得、設定値、例えば、前置増幅回路の利得、信号処理系
の各種設定値、アイリスデータ、オートフォーカスデー
タ、ホワイトバランスデータなどを記憶し、使用中の撮
像素子1の制御を行う。また、画像信号同期信号である
FVパルスによるブランキング期間中に、第1及び第2
の信号選択手段2,4の切り換えを行い、現在接続中の
撮像素子1に対応したアイリス値、オートフォーカス値
等の画像信号から検出されたデータを制御回路6に取り
込み制御回路6内で演算処理をし、そのデータを記憶
し、FVパルス等で1フィールド毎に撮像素子1からの
信号を切り換えることにより、画像信号処理装置3の個
数よりも多くの出力装置5がある場合にも出力すること
ができる。実施例1において、ディジタル信号処理装置
9を例にすると、n個の撮像素子1からの信号を第1の
信号選択手段2によりk個の相関2重サンプリング回路
7で前処理を行なう。前処理を行なった後、k個のAD
変換器8でAD変換を行なう。AD変換後、k個のディ
ジタル信号処理装置9で、ディジタル信号処理を行な
う。処理後、k個のDA変換器10でDA変換し、第2
の信号選択回路4でm個の出力装置5に割り振る。第1
及び第2の信号選択回路2,4は切り替え信号発生回路
12より外部インターフェース14から接続指定番号を
受け取り、切り替え信号を発生する。切り替えにおいて
は、画像同期信号、例えばFVパルス等のパルスを受け
ブランキング期間中に切り替えを行なう。この切り替え
を1フィールド毎に行なうとすると、出力装置5よりも
数の少ない信号処理装置3で出力装置5に表示を行なう
ことができ、信号処理系の数を減らすことで低消費電
力、小容量で、安価な多入力、多出力式の撮像装置5を
実現することができる。
【0013】本発明の第2の実施例を図2に示す。図1
と違うところは、信号を割り振った後にDA変換器10
の前に記憶手段15を備えたことである。撮像素子と同
じクロックパルスにより書き込み及び読み出しを行い、
記憶手段に新たな入力があるまで上記のクロックパルス
により読み出しを行い、信号切り替え時の出力装置5の
ブラックアウトを防止することができる。これは、1フ
ィールド毎に撮像素子1及び出力装置5の切り替えなど
の動作を行なった場合、画面にブラックアウトによるフ
リッカが発生することがあるが、このフリッカを抑える
効果を有する。他の構成は図1に示す第1の実施例とほ
ぼ同様である。
【0014】本発明の第3の実施例を図3に示す。第1
及び第2の実施例との相違点として外部インターフェー
ス14を持たず、FVパルスによって1フィールド毎に
順次に撮像素子1と出力装置5を切り替えるものであ
る。また、この場合、第1の信号選択回路2或いは画像
信号処理中に出力装置5に対応した識別信号をブランキ
ング中に発生させ、第2の信号選択回路4を識別信号に
従い動作させる。これは、例えば、2眼式撮像装置など
に用いることができ、画像信号ブランキング中に右目
用、左目用の識別信号を発生させ、その画像信号を1本
化し、従来から使用されている民生用のビデオテープに
記憶させ、再生時に、第2の信号選択回路4を経由する
ことで、2眼式の立体メガネに左右の画像を再生するこ
とを従来から使用している民生用ビデオテープレコーダ
ーで行なうことができる。また、再生時に左右の識別信
号を得られない場合には、両目に同じ画像を再生する。
よって、民生カメラとして重要な低価格化、低消費電力
化、小容量化を実現することができる。
【0015】本発明の第4の実施例を図4に示す。第
1、第2及び第3の実施例との相違点として、相関2重
サンプリング回路及び可変増幅回路を内蔵した前処理回
路7を第1の信号選択回路2の前方に位置したことであ
る。この前処理回路7を撮像素子の直後に配し、各々の
撮像素子にたいして増幅を行うことで、信号成分を増大
し、伝送中の信号対ノイズ比を大きくすることができ
る。
【0016】図5に第1の信号選択回路の1例を示す。
切り替え信号発生回路12から第1の信号選択回路に撮
像素子1と出力装置5との接続データを受ける。指定さ
れた撮像素子に対応したバッファがオンになり、FVパ
ルスに従って、ブランキング期間になったときに、デコ
ーダーを介して出力装置に対応した識別信号を転送す
る。
【0017】図6に第2の信号選択回路の1例を示す。
ブランキング期間中に動作する第2の信号選択回路中の
デマルチプレクサーを経由して画像信号線上に配したデ
コーダーにより、画像信号ブランキング期間中に発生し
ている出力装置に対応した識別信号に従って、切り替え
信号を発生し、第2の信号選択回路4内に存在する該当
バッファをオンにする。
【0018】図7に切り替え信号発生回路の1例を示
す。外部インターフェース14から撮像素子と出力装置
の接続データを発生し、エンコーダーを介してレジスタ
に外部インターフェースから送られたライト信号により
格納する。リングレジスタによりFVパルス毎に順次読
み出すためのレジスタを切り替えてレジスタのデータを
記憶装置に送る。記憶装置では、送られてきたデータを
翻訳し撮像素子と出力装置との接続データを発生する。
例えば、上位ビットと下位ビットで撮像素子と出力装置
に対応したデータとする。この接続データは第1の信号
選択手段に送られる。
【0019】図8に実施例1,2、及び3に示される制
御信号割り振り回路の1例を示す。マイコンから図1中
に示される画像信号処理装置中の例えば相関2重サンプ
リング回路7及びディジタル信号処理装置9のアドレス
を受け取り、デコーダを介在して、各々の回路及び装置
に制御データを転送する。また、ディジタル信号処理装
置9及び切り替え信号発生回路12から接続データの一
部である撮像素子データをバッファに送り、一時的に制
御信号割り振り回路に記憶されたデータをマイコン13
側のリクエストにより、アドレスをデコーダーで解し、
その結果に基づいてバッファ中のデータをマイコン13
に転送する。マイコン13に対する画像信号処理中のデ
ータの交換はフィールドごとのブランキング期間中に行
なうため、例えばFVパルスによりデータ交換が行なわ
れる。
【0020】図9に本発明の応用の第1の例を示す。こ
れは自動車の死角に相当する部分、例えば、バンパーの
四角に撮像素子1を配し、本発明により撮像素子1を切
り替えることにより、出力装置5であるモニターに出力
するものである。この場合、外部インターフェース13
から人間の意志により撮像素子1及びモニター5を切り
替えるか、或いは、マイコンにより自動車の車速、ウイ
ンカー、ギア位置、ハンドルの位置等のデータを検出、
演算し自動的に切り替えることも可能である。また、こ
の場合、第1及び第2の実施例に従うとすると撮像素子
1の個数は2〜6個、信号処理3の個数は1〜2個、出
力装置5の個数は1〜2個の状態になることが考えられ
る。この図7では、撮像素子1の数は4個、信号処理3
の個数は1〜2個、出力装置5の個数は2個であり、も
しも、信号処理装置3と出力装置5の個数が等しい場合
には時分割処理を行なわない。この様にハードウェアの
数を少なくすることができコストの低減化を行なうこと
ができる。
【0021】図10に本発明の応用の第2の例を示す。
これは民生用2眼式立体カメラに応用する例で、2個の
撮像素子1をフィールド毎に交互に信号処理装置3で処
理を行ない、信号を1本化した後、記録媒体に記録する
ものである。この際ブランキング中に左右画像の識別信
号を記録媒体に記録することで、再生時に自動的に2眼
式立体メガネに対し、左右の画像を割り振ることができ
る。これらの信号処理系は第3の実施例を使用すること
ができ、信号切り替えについては左右交互に行なう。こ
れにより、2眼式立体カメラの低消費電力化、小容量
化、低コスト化を実現することができる。
【0022】
【発明の効果】本発明を使用することにより、複数の固
体撮像素子を使用した場合に、1本ないしは撮像素子よ
りも少ない信号処理系で画像信号処理が行なえるため、
重複するハードウェアを削減することができ、低消費電
力化、小容量化、低コスト化を行うことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施例を示す図である。
【図2】本発明の第2の実施例を示す図である。
【図3】本発明の第3の実施例を示す図である。
【図4】本発明の第4の実施例を示す図である。
【図5】制御信号割り振り回路の1例を示す図である。
【図6】第1の信号選択回路の1例を示す図である。
【図7】第2の信号選択回路の1例を示す図である。
【図8】切り替え信号発生回路の1例を示す図である。
【図9】本発明応用の第1の例を示す図である。
【図10】本発明応用の第2の例を示す図である。
【符号の説明】
1…固体撮像素子、 2…第1の信号選択回路、 3…画像信号処理装置、 4…第2の信号選択手段、 5…出力装置、 6…制御回路、 7…相関2重サンプリング回路(CDS/AGC)、 8…AD変換器、 9…ディジタル信号処理装置(DSP)、 10…DA変換器、 11…制御信号割り振り回路、 12…切り替え信号発生回路、 13…マイコン、 14…外部インターフェース、 15…フィールドメモリー。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/18 F

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】撮像素子を用いる撮像装置において、 n個の撮像素子からの信号を接続データ信号に基づき選
    択する第1の信号選択回路と;該第1の信号選択回路に
    選択された該撮像素子からの未処理、或いは前処理され
    増幅された信号を画像処理するk個の画像信号処理装置
    と;k個の該画像信号処理装置からの信号を接続データ
    信号に基づきm個の出力装置に割り振る第2の信号選択
    回路と;該第1の信号選択回路、該第2の信号選択回路
    及び該画像信号処理装置に接続され、該撮像素子と該画
    像信号処理装置との接続データ及び該画像信号処理装置
    と該出力装置との接続データを記録し、該第1の信号選
    択回路と該第2の信号選択回路に接続データ信号を送る
    機能を有し、n個の該撮像素子に対する該画像信号処理
    装置内で発生する画像信号処理データ、或いはn個の該
    撮像素子の各々の直後に前処理回路を配した場合におけ
    るn個の前処理回路の利得値データと該画像信号処理装
    置内で発生する画像信号処理制御データを記録し、k個
    の該画像信号処理装置及び該撮像素子の直後に配した場
    合におけるn個の前処理回路の制御を行う制御回路と;
    を備えたことを特徴とする撮像装置。
  2. 【請求項2】請求項1に記載された撮像装置において、 該第1及び第2の信号選択回路による、該撮像素子及び
    該出力装置の切り換えを画像同期信号パルスにより行
    い、該パルスのブランキング期間中に切り替え以前の該
    撮像素子に対する該画像信号処理装置の画像信号処理デ
    ータを制御回路に読み込み、切り替え後に各制御データ
    を前処理回路及び画像信号処理装置に書き込むことを特
    徴とする撮像装置。
  3. 【請求項3】請求項1又は請求項2に記載された撮像装
    置において、 m個の該出力装置の直前に配し、1フィールド分の画像
    データを記録し、新たに画像データが入力されるまで記
    録された画像データを保持し、該撮像素子と同様のタイ
    ミングのクロックでデータを書き込み及び読み出しを行
    い、DA変換器を経由して該出力装置に出力する記憶装
    置を有することを特徴とする撮像装置。
  4. 【請求項4】請求項1、請求項2又は請求項3に記載さ
    れた撮像装置において、 該第1の信号選択手段中で、m個の該出力装置に対応し
    た識別信号を信号処理前の画像信号ブランキング中に発
    生させ、どの出力装置に信号を送るかを識別できるよう
    にし、該第2の信号選択手段により出力装置に割り振る
    ことを特徴とする撮像装置。
JP14456793A 1993-06-16 1993-06-16 撮像装置 Expired - Lifetime JP3321904B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14456793A JP3321904B2 (ja) 1993-06-16 1993-06-16 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14456793A JP3321904B2 (ja) 1993-06-16 1993-06-16 撮像装置

Publications (2)

Publication Number Publication Date
JPH077653A true JPH077653A (ja) 1995-01-10
JP3321904B2 JP3321904B2 (ja) 2002-09-09

Family

ID=15365230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14456793A Expired - Lifetime JP3321904B2 (ja) 1993-06-16 1993-06-16 撮像装置

Country Status (1)

Country Link
JP (1) JP3321904B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157124A (ja) * 1999-11-25 2001-06-08 Toyota Motor Corp 車両用画像処理装置
JP2004289681A (ja) * 2003-03-24 2004-10-14 Sharp Corp 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006191622A (ja) * 2004-12-30 2006-07-20 Magnachip Semiconductor Ltd Isp内蔵型イメージセンサ及びデュアルカメラシステム
US7773140B2 (en) 2005-10-05 2010-08-10 Hitachi, Ltd. Stereo image-pickup apparatus
US7847816B2 (en) 2004-06-25 2010-12-07 Hitachi, Ltd. Imaging apparatus
US8384825B2 (en) 2005-09-15 2013-02-26 Sharp Kabushiki Kaisha Video image transfer device and display system including the device
EP2683153B1 (en) * 2011-03-04 2019-10-16 Hitachi Automotive Systems, Ltd. Vehicle-mounted camera device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157124A (ja) * 1999-11-25 2001-06-08 Toyota Motor Corp 車両用画像処理装置
JP2004289681A (ja) * 2003-03-24 2004-10-14 Sharp Corp 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US7847816B2 (en) 2004-06-25 2010-12-07 Hitachi, Ltd. Imaging apparatus
JP2006191622A (ja) * 2004-12-30 2006-07-20 Magnachip Semiconductor Ltd Isp内蔵型イメージセンサ及びデュアルカメラシステム
US8154610B2 (en) 2004-12-30 2012-04-10 Intellectual Ventures Ii Llc Image sensor with built-in ISP and dual camera system
US8384825B2 (en) 2005-09-15 2013-02-26 Sharp Kabushiki Kaisha Video image transfer device and display system including the device
US7773140B2 (en) 2005-10-05 2010-08-10 Hitachi, Ltd. Stereo image-pickup apparatus
EP2683153B1 (en) * 2011-03-04 2019-10-16 Hitachi Automotive Systems, Ltd. Vehicle-mounted camera device

Also Published As

Publication number Publication date
JP3321904B2 (ja) 2002-09-09

Similar Documents

Publication Publication Date Title
EP0719036B1 (en) Electronic still picture camera
US5534921A (en) CCD digital camera system with selectable memories
US5825997A (en) Apparatus for producing a three dimensional image from a two dimensional image
JP3720812B2 (ja) テレビジョンカメラ
JP3348917B2 (ja) 画像信号処理装置
JP3321904B2 (ja) 撮像装置
US6750909B1 (en) Image buffer between burst memory and data processor with multiple access modes set by the data processor
US7832951B2 (en) Lens unit and digital camera
KR100579029B1 (ko) 디지탈 카메라
US5225908A (en) Video signal recording apparatus for electronic camera
EP1047261B1 (en) Image buffer with multiple access modes
JPH08140025A (ja) デジタルスチルカメラ
JP2000152051A (ja) 撮像装置
JPH11308560A (ja) 電子カメラ装置
JPH1175106A (ja) 静止画カメラ
JPH07104946B2 (ja) 被写体分離抽出装置
JP2976113B2 (ja) スチルビデオカメラとその再生装置
JPH09224194A (ja) 撮影装置
JP2005159976A (ja) 撮像装置
JPH09252423A (ja) 高感度テレビカメラ
JP2004289635A (ja) デジタルカメラ
JPH10164473A (ja) デジタルスチルカメラ
JP3331227B2 (ja) 撮像装置
JPH0271680A (ja) 撮像装置
JPH06276477A (ja) 電子スチルカメラ装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080628

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080628

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090628

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100628

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100628

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110628

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110628

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120628

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120628

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130628

Year of fee payment: 11

EXPY Cancellation because of completion of term