JP3082925B2 - 画像記録装置 - Google Patents

画像記録装置

Info

Publication number
JP3082925B2
JP3082925B2 JP6611190A JP6611190A JP3082925B2 JP 3082925 B2 JP3082925 B2 JP 3082925B2 JP 6611190 A JP6611190 A JP 6611190A JP 6611190 A JP6611190 A JP 6611190A JP 3082925 B2 JP3082925 B2 JP 3082925B2
Authority
JP
Japan
Prior art keywords
recording
image
data
medium
variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP6611190A
Other languages
English (en)
Other versions
JPH03267878A (ja
Inventor
琢 山上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=13306454&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP3082925(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority to JP6611190A priority Critical patent/JP3082925B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to DE69133320T priority patent/DE69133320T2/de
Priority to EP03076983A priority patent/EP1353494A3/en
Priority to DE69131542T priority patent/DE69131542T2/de
Priority to EP91302265A priority patent/EP0448311B1/en
Priority to EP99200168A priority patent/EP0917350B1/en
Publication of JPH03267878A publication Critical patent/JPH03267878A/ja
Priority to US08/465,715 priority patent/US5903677A/en
Publication of JP3082925B2 publication Critical patent/JP3082925B2/ja
Application granted granted Critical
Priority to US09/892,400 priority patent/US20010035981A1/en
Priority to US10/455,400 priority patent/US7130074B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、画像信号をデイジタルデータに変換し圧縮
符号化して記録する画像記録装置および方法に関する。
〔従来の技術〕
従来の画像記録装置、例えばスチルビデオカメラは、
フロツピーデイスクにアナログ記録する方式であった
り、半導体メモリカードに固定長符号化方式によって圧
縮したデイジタル画像データを記録するものであった。
固定長符号化とは一画面分の圧縮符号量がある固定され
た値になるように圧縮符号化する方式である。
〔発明が解決しようとしている課題〕
そのような従来の画像信号記録方式では、一画面の画
像データを記録するのに必要な記録媒体の容量は決まっ
ているから、記録媒体の総記録枚数を保証することがで
きた。
しかしながら、固定長符号化方式により画像データを
圧縮する装置において、様々な画像データに対してその
圧縮画像の画質を保証するためには限界があり、例えば
経験的には輝度、色情報合わせて8bit/pixel程度までし
か圧縮できない。一方、符号化方式を可変長にすると画
質を保証して効率よく圧縮することが可能である。可変
長符号化とは発生する符号の長さが画像に依存して変化
することを許す符号化方式であり、経験的に画質を保証
した上で輝度色情報含めて例えば2〜4bit/pixelの符号
化率が得られる。但し、このとき画像によって総符号量
が変わってしまうので、記録媒体の記録容量が小さいと
きには該記録媒体への安定した記録を保証することが出
来ない。
本発明はかかる点に鑑み、媒体に記録を行う前に予め
適切な対応をすることができるようにした画像記録装置
及び画像記録方法を提供することを目的とする。
<課題を解決するための手段> 本発明の画像記録装置は、対象画像を画像信号に変換
し、可変長符号化を行い前記対象画像の内容に応じて符
号量が異なる可変長符号データを発生する第1手段、 該可変長符号データを媒体に記録する記録手段、 該記録手段による記録に先立って該対象画像を変換し
て前記可変長符号データ量に応じた値を発生する第2手
段とを有することを特徴とする。
また、本発明の画像記録方法は、与えられた符号デー
タを媒体に記録する記録手段による記録動作に先立ち、
対象画像を画像信号に変換し、 前記対象画像の内容に応じて符号量が異なる可変長符
号化を前記画像信号に対して行い、可変長符号データを
発生し、 該可変長符号データ量に応じた値を発生し、前記記録
手段による記録のために前記対象画像を再び画像信号に
変換し、可変長符号化することを特徴とする。
〔実施例〕
第1図は本発明の一実施例の構成を示すブロツク図で
ある。なお本発明に直接関係しないカメラの他の部分、
例えば絞り、シヤツタ等は勿論設けられている。第1図
においてレンズ1により捕えられた被写体の光学像は後
方に位置する撮像デバイス2,例えばCharge−Coupled D
evice(CCD)によって映像電気信号に変換される。撮像
デバイス2は制御部7によって与えられる制御信号に応
答して被写体の光学像に対応する電化の蓄積、映像信号
の読み出しを行う。読み出された映像信号は、A/D変換
器3によってデイジタル信号に変換される。なお撮像デ
バイス2とA/D変換器3との間には、図示はしていない
が、ガンマ補正色信号の形成分離、ホワイトバランス処
理等の映像信号を調整する手段等が設けられる。
デイジタル信号に変換された映像信号は画像メモリ4
に蓄えられる。
圧縮符号化装置5は画像メモリ4から読み出される画
像データを圧縮符号化し記録装置6に出力する。尚、制
御部7は記録装置6を通じて例えばMS−DOSのコマンド
によって記録再生を制御する様に構成されている。圧縮
方式としては、例えば“公開特許公報昭63−124680号符
号化方式”に記載されているような可変長符号或いは、
例えば画像信号をDCT変換し、その後にエントロピー符
号化を行う様な可変長符号を発生する圧縮方式を実行す
る。
又、圧縮符号を記録装置6に出力せずに圧縮符号量を
計数する機能を持つ。かかる機能のため第1図に示す回
路では圧縮符号化されたデータを記録装置6に出力する
前に符号量を計数する計数回路16を有している。
記録装置6は例えば半導体メモリ或いはテープ状記録
媒体を有し制御部と情報のやりとりができ、任意のデイ
ジタルデータについて記録媒体上の任意の物理アドレス
への書き込み、読み出しができる。又、記録媒体の空容
量を計数する機能を持つ。
制御部7は装置2〜6までの機能を制御し全体の機能
を統合する。特に記録装置を通じて記録媒体における画
像データフアイルの管理を行なうことができる。
すなわち制御部7は、計算機システムにおいて実装さ
れているDOS(Disk Operating System)が行っている
ようにフアイル情報を記録媒体上の物理アドレスに結び
つける働きをする。従って制御部7は記録媒体上にフア
イル(=画像圧縮データ)がどのように記録されている
かを管理でき、従って空容量も管理できる。もし圧縮符
号を少量の記録単位で複数個に分割して格納する必要が
あるならば、制御部は記録単位ごとに媒体上の物理アド
レスとデータ長を指定して記録装置6に圧縮符号を記録
させる。制御部7は一つの画像フアイルが記録媒体上の
複数個の位置に配置するとき、どのように配置されたか
を示す情報も記録媒体上に記録させる。
MMIF(マンマシーンインターフエース)8は、レリー
ズ(SW1,SW2)その他の後述のスイツチを動作するため
の操作部材9及びFinder内表示、外部LCD表示、ブザー
等の表示装置10を含む。
実際に影響する際の撮影可能枚数の表示は以下の手順
で行われる。
かかる手順について第3図のフローチヤートを用いて
説明する。
まず、フローチヤートの最初においては制御部7は記
録装置6に対してDIR,CHK DSKというコマンドを出力し
空き容量を記録装置から出力させる(S1)。撮影にあた
りシヤツターボタンが半押し(SW1 ON)の状態になっ
たら、制御部はレンズ1を駆動しピント合わせを行い、
絞り、シヤツターなどを動作させ、撮像デバイスを露光
(S5)して画像情報をメモリ行取り込み(S7)圧縮符号
化(S9)までの作業を行わせる。そして圧縮符号計数回
路16により画像データの符号量を計数させる。一方で記
録装置によって空容量を計数させ両者の値から、これか
ら撮影しようとする画像に対する撮影可能枚数を計算す
る(S11)。例えば空容量を画像データの符号量に依り
除算することによって撮影可能枚数を計算する。そして
その計算によって得られた値をフアインダー内に設けら
れた表示装置10により使用者に知らせる(S13)。かか
る表示はSW1をオンしている間継続する(S15,S17)。も
ちろん実際に撮影、記録される画像は、さらにシヤツタ
ーボタンを深く押した時にはS17からS19,S21,S23にフロ
ーは分岐し、前述のS5,S7,S9と同様のステツプが実行さ
れ、あらためて取り込まれる。
連写モードを選択しない場合にはS25からフローはS3
へ分岐し、選択した場合、連写が進むにつれ記録媒体の
空容量は減り、一画面の画像データの符号量も変化する
ことが考えられるから、連写の1コマ目を記録してから
は、一画面の記録が終了するごとに空容量と次に記録す
る画像符号量の計数を行ない(S23)、減少してゆく撮
影可能枚数をフアインダー内に連続的に表示する(S2
9)。
即ち本実施例においてはSW2が押し続けられておりか
つ連続記録モードを選択している場合、画像を次々と露
光してメモリへ取り込み、符号化、記録を行う。その時
には、直前に記録した画像の符号量とその時の記録媒体
の空容量から残り記録可能枚数を計算して減少残り記録
可能枚数をフアインダー内に連続的に逐次表示する。
次に第3図におけるS21,S23のステツプにおける詳し
いフローチヤートについて第4図を用いて説明する。
第4図は第1図におけるS23、即ちメモリ4に画像デ
ータを記憶した後に行われる動作を示す。
第4図において、まずメモリ4に書き込まれた画像信
号を読み出して符号化回路5により圧縮符号化を行い、
計数回路16によって圧縮符号化されたデータの計数を行
い(S41)、該圧縮符号量と記録装置6内の記録媒体の
空容量との比較を行い(S43)、空容量が充分あれば再
びメモリ4から画像信号を読み出し圧縮符号化を行っ
て、記録装置6にデータを出力し、記録を行う様にゲー
ト18を制御する。
この場合制御部7は画像メモリ4に対して画像データ
の読み出し、圧縮符号化回路5に対して圧縮符号の出力
記録装置6に対して圧縮符号の記録及びゲート18へ、ゲ
ート開を指示する。記録装置6に対しては記録単位ごと
に媒体上の物理アドレスとデータ長を指定して圧縮符号
を記録させるようにする。記録装置6は制御部7から記
録の指示がない限りは圧縮符号化回路5に対してデータ
の出力を要求しないので圧縮符号化回路5、画像メモリ
4の動作は中断される。従って制御部7は、記録装置に
対して、フアイルフオーマツトに従いながら記録単位ご
とに媒体上の物理アドレスとデータ長を指定し、記録動
作を指示してゆくことによって圧縮符号化回路5、画像
メモリ4の動作をコントロールしながら記録を行うこと
ができる。
全ての圧縮符号が記録された時点で記録動作は完了す
る。
尚、第2図は上述した制御部7と記録装置6との間の
通信手順を示す図である。
第2図においてD−Regは記録装置6から制御部7へ
のデータの出力要求であり、D−Ackは圧縮符号化回路
5から記録装置6へ出力されているデータが有効である
ことを示す信号であり、制御部7から記録装置6へ出力
されている。Data D0〜D7は圧縮符号化回路5から記録
装置6へ出力される8ビツトパラレルのデータ出力であ
る。
第2図においては制御部7と記録装置6とが互いにD
−Req、D−Ackをやり取りしながらデータを1バイト毎
に出力する状態を示す。
第2図においてデータを受け取る側、即ち記録装置6
(以下 Receiver)は信号D−ReqをHighからLowにする
ことにより、データを出力する側、即ち符号化回路5
(以下Transmitter)にデータを出力することを要求す
る。TransmitterはD−ReqがLowになったことを検知す
るとデータバス(D0〜D7)上にデータを出力し、値が確
定した時点でD−AckをHighからLowにする。
ReceiverはD−AckがLowになった時点でデータバス上
の信号を引きとり、D−ReqをHighにもどす。Transmitt
erはD−ReqがHighになった時点でデータバス上への出
力をやめ、かつD−AckをHighにもどす。
以上のReq−AckのハンドシエイクによってTransmitte
r,Receiver双方の都合に合わせてデータの転送が行われ
る。従って圧縮符号化回路5は固定の転送レートで圧縮
符号を発生する必要はなく、画像の内容によって符号長
が変化することは何の問題も引き起さない。
又、S43においてS47にフローが分岐する場合には制御
部はマンマシンインタフエース8のうちのフアインダ内
表示警告装置10に対して、記録媒体の空容量が足りない
ために記録ができないでいることを表示させて、ユーザ
に対し、次の3つの処理のどれかを選択するように促
す。
即ち (1)記録動作を中止する (2)記録媒体を交換する (3)現在装着されている記録媒体中の画像フアイルの
うち1つを消去する。
このため制御部7はS49,S51,S53のステツプを実行す
る。
(1)がユーザによって選択された場合、S49から全て
の動作は中止される。
(2)がユーザによって選択された場合、つまり記録装
置6が媒体の交換を検知して制御部7にそれを報告した
場合、S43の処理へ戻る。
(3)がユーザによって選択された場合、制御部7は表
示装置10に何枚の画像が存在するかを表示し(S55)、
何番目の画像を消去するかをユーザに入力させるよう促
す。ユーザが操作スイツチを用いて消去すべき画像の番
号を入力する(S57)と、制御部7はその画像フアイル
を消去し(S59)、S43へ戻る。
尚、媒体が交換されたことを検知するためには、特開
昭61−182669号公報に示されているように、記録部がメ
カ的に交換の有無を検知するような方式でもよい。制御
部7は記録装置6を介して、かかる有無の情報について
アクセスできる。
以上説明した第4図のフローチヤートへ制御によれば
可変長の符号を発生する圧縮方式を用いてもユーザにと
って画像の記録が何らかの形で保証されるため使い勝手
の良く、かつ画質を保証できるシステムを提供できる。
次に第5図を用いて第3図のS11,S13において実行さ
れる撮影可能枚数の表示方法について説明する。
制御部7は、例えば前述した空容量検出のためのコマ
ンドを出力し、記録装置6により計数させた記録媒体の
空容量を計数させ(S61)、あらかじめ記憶していた可
変長符号化方式の圧縮率の代表値と空容量から記録媒体
にあと何枚の画像データが記録できるかを計算する(S6
3)。
符号化方式として例えば“公開特許公報昭63−124680
号符号化方式”の方法を採用すると、符号長は平均2bit
/ピクセル、悪くても4.5bit/ピクセル程度であるから、
S65において平均符号長2bit/ピクセルで計算した撮影可
能枚数を標準残り枚数とし、4.5bit/ピクセルで計算し
た撮影可能枚数を最低保証枚数として、両者を表示装置
8に表示する。かかる表示は一方だけを行ってもよりこ
とは勿論である。表示装置8は、例えばLiquid Crysta
l Display(LCD)やLight−Emitting Diode(LED)な
どがよく、カメラ上部やフアインダー内のどちらか、も
しくは両方に表示できるものとする。
以上説明した本実施例では、記録媒体の空容量を計数
する手段を持ち、可変長符号化における圧縮符号量の代
表値を記憶しておくことにより、計数した空容量と符号
量の代表値から記録媒体の撮影可能枚数を計算できる機
能を有し、計算によって得られた撮影可能枚数の情報を
表示する手段を持つことにより、記録媒体の撮影可能な
画面数の標準値と最低保証値のどちらか、あるいは両方
を表示することのできる可変長符号化デイジタル画像記
録装置が示される。
更に以上説明した本実施例に依れば、第3図のS1にお
いて記録媒体の空容量を検出した後に、第5図にその詳
細を示す。S11,S13のステツプにおいて再び記録媒体の
空容量を検出しているのでSW1をオンした時のみなら
ず、たとえ連続記録中であっても記録媒体の空容量を逐
次確認することが出来る。
又、本実施例に依れば可変長符号化圧縮方式を用いて
も、使用者に画像の記録量すなわち、記録媒体における
撮影可能な残り枚数を保証し知らせることができるの
で、使い勝手の良くかつ画質を保証できる。
以上説明した本実施例においては静止画像を媒体に記
録するいわゆるスチルビデオ装置を例に説明したが、本
発明はかかる装置に限らず、例えばフアクシミリ装置や
画像電子フアイル装置においても適用出来る。
又、本実施例における圧縮符号化方式の可変長符号化
方式としては他の種々の方式を採ってもよい。
例えばDCT符号化したデータに対してエントロピー符
号化する場合であってもよい。
又、本実施例において記録装置6としてはMS−DOSのO
Sシステムで駆動されるデータ記憶装置としたがこれに
限らず他の種類の媒体、例えば半導体やテープ状媒体で
あってもよい。
なお、記録媒体としてフロツピーデイスクを考えると
垂直磁化記録方式を用いれば2インチのフロツピーデイ
スクで5M Byteの容量を実現する事は十分可能である。
この場合、本実施例は標準55枚最低22枚のTVフイールド
画像をフロツピーデイスクに対して保証することができ
る。
又本実施例においては記録装置6による記録に先立っ
て対象画像としての被写体像を光電変換して、メモリ4
に蓄えられた画像信号を実際に、可変長符号化すること
によって符号化した後の符号データ量を算出したが、本
発明はこれに限らず実際に可変長符号化することなく符
号データ量を得る様にしてもよい。このために例えば簡
略化した符号化を行いデータ量を予想しても本発明の範
囲に含まれる。
<発明の効果> 本発明によれば記録手段の記録に先立って対象画像を
変換して画像の内容に応じて符号量が異なる可変長デー
タに応じた値を発生しているので例えば記録しようとし
ている画像の情報量が多く、かかる可変長データの符号
量が大きく媒体への記録が不可能な場合には事前に適切
な対応をすることができる。
【図面の簡単な説明】
第1図は本発明の一実施例の装置の構成を示すブロツク
図、 第2図は第1図に示す装置の動作を示すタイミングチヤ
ート、 第3図は第1図に示す装置の動作を示すフローチヤート 第4図、第5図は夫々第3図のフローチヤートの一部の
詳細を示すフローチヤート 1:レンズ 2:CCD 3:A/D変換器 4:画像メモリ 5:圧縮符号化回路 6:記録装置 7:制御部 8:表示装置 9:操作スイツチ
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 1/41 H04N 5/91 - 5/956 H04N 7/24 - 7/68

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】対象画像を画像信号に変換し、可変長符号
    化を行い前記対象画像の内容に応じて符号量が異なる可
    変長符号データを発生する第1手段、 該可変長符号データを媒体に記録する記録手段、 該記録手段による記録に先立って該対象画像を変換して
    前記可変長符号データ量に応じた値を発生する第2手段
    とを有することを特徴とする画像記録装置。
  2. 【請求項2】更に前記可変長符号データ量に基づいて前
    記記録手段を制御する手段とを有することを特徴とする
    請求項1記載の画像記録装置。
  3. 【請求項3】更に前記媒体の記録可能なデータ量を示す
    情報を発生する手段と、該記録可能なデータ量と前記可
    変長符号データ量に応じた値とから前記媒体に記録可能
    な画面数データを発生する第3手段を有することを特徴
    とする請求項1記載の画像記録装置。
  4. 【請求項4】与えられた符号データを媒体に記録する記
    録手段による記録動作に先立ち、対象画像を画像信号に
    変換し、 前記対象画像の内容に応じて符号量が異なる可変長符号
    化を前記画像信号に対して行い、可変長符号データを発
    生し、 該可変長符号データ量に応じた値を発生し、 前記記録手段による記録のために前記対象画像を再び画
    像信号に変換し、可変長符号化することを特徴とする画
    像記録方法。
JP6611190A 1990-03-16 1990-03-16 画像記録装置 Expired - Lifetime JP3082925B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP6611190A JP3082925B2 (ja) 1990-03-16 1990-03-16 画像記録装置
DE69133320T DE69133320T2 (de) 1990-03-16 1991-03-15 Bildkodierungs- und -aufzeichnungsgerät und Methode
EP03076983A EP1353494A3 (en) 1990-03-16 1991-03-15 Image encoding and recording apparatus
DE69131542T DE69131542T2 (de) 1990-03-16 1991-03-15 Bildkodierungsgerät und Verfahren
EP91302265A EP0448311B1 (en) 1990-03-16 1991-03-15 Image encoding apparatus and method
EP99200168A EP0917350B1 (en) 1990-03-16 1991-03-15 Image encoding and recording apparatus and method
US08/465,715 US5903677A (en) 1990-03-16 1995-06-06 Image encoding and recording apparatus
US09/892,400 US20010035981A1 (en) 1990-03-16 2001-06-26 Image encoding and recording apparatus
US10/455,400 US7130074B2 (en) 1990-03-16 2003-06-06 Image encoding and recording apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6611190A JP3082925B2 (ja) 1990-03-16 1990-03-16 画像記録装置

Publications (2)

Publication Number Publication Date
JPH03267878A JPH03267878A (ja) 1991-11-28
JP3082925B2 true JP3082925B2 (ja) 2000-09-04

Family

ID=13306454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6611190A Expired - Lifetime JP3082925B2 (ja) 1990-03-16 1990-03-16 画像記録装置

Country Status (1)

Country Link
JP (1) JP3082925B2 (ja)

Also Published As

Publication number Publication date
JPH03267878A (ja) 1991-11-28

Similar Documents

Publication Publication Date Title
US7292273B2 (en) Digital camera accommodating recording media from other digital cameras
JP3822380B2 (ja) 画像信号処理装置
JP3129599B2 (ja) 動画撮像システム
US7609301B2 (en) Motion image recording device with compression ratio control
US7671896B2 (en) Image sensing apparatus
JPH06121275A (ja) スチルカメラ
EP0917350B1 (en) Image encoding and recording apparatus and method
KR20000029141A (ko) 전자 카메라
KR101385168B1 (ko) 화상 데이터 기록장치
US20030113099A1 (en) Image recording apparatus
JP3082925B2 (ja) 画像記録装置
JP3278147B2 (ja) 画像記録装置
JP3683462B2 (ja) 動画表示装置
JP2003125344A (ja) 画像の記録再生方法、画像記録/再生装置並びにファイル管理方法及び装置
JPH10276402A (ja) 画像記録装置
JP3143429B2 (ja) データ記録媒体への書き込み可能データ数の計算方法,デジタルスチルカメラ及びその撮影可能フレーム数計算方法並びに記録媒体
JP2951995B2 (ja) 画像符号化装置
JP2000278641A (ja) 動画処理装置及び動画処理方法
JP4075319B2 (ja) デジタルカメラ、動画再生方法及び動画記録方法
US20030063199A1 (en) Image recording system, notably video amera, post-processing device for such a system and cartridge associated therewith
EP1301046A1 (en) Image recording system, notably video camera, post processing device for such a system and cartridge associated therewith
JPH03267863A (ja) 記録装置
JP4166148B2 (ja) 画像記録装置
KR100233545B1 (ko) 정지화상으로서 연속동작을 기록하는 방법 및장치
JP2003125385A (ja) 画像処理装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070630

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080630

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080630

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090630

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090630

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 10

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 10