JP3332514B2 - 画像揺れ補正装置 - Google Patents

画像揺れ補正装置

Info

Publication number
JP3332514B2
JP3332514B2 JP28454293A JP28454293A JP3332514B2 JP 3332514 B2 JP3332514 B2 JP 3332514B2 JP 28454293 A JP28454293 A JP 28454293A JP 28454293 A JP28454293 A JP 28454293A JP 3332514 B2 JP3332514 B2 JP 3332514B2
Authority
JP
Japan
Prior art keywords
image
fade
signal
motion vector
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28454293A
Other languages
English (en)
Other versions
JPH07115586A (ja
Inventor
正慶 関根
俊明 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP28454293A priority Critical patent/JP3332514B2/ja
Priority to US08/321,883 priority patent/US5614945A/en
Priority to DE69435031T priority patent/DE69435031T2/de
Priority to EP94116430A priority patent/EP0649256B1/en
Publication of JPH07115586A publication Critical patent/JPH07115586A/ja
Priority to US08/796,681 priority patent/US6049354A/en
Application granted granted Critical
Publication of JP3332514B2 publication Critical patent/JP3332514B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Picture Signal Circuits (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像揺れ補正装置に関
し、特に、ビデオ再生機、編集装置、通信の送受信機な
どにおいて、撮影時のカメラ揺れによる画像ぶれを補正
する画像揺れ補正装置に関する。
【0002】
【従来の技術】撮影時のカメラ揺れによる画像ぶれを補
正する機能を有するビデオ再生機の例として、図4に示
すような画像揺れ補正装置が特開昭63−166370
号公報に記載されている。
【0003】図4において、ビデオ再生機1は、映像信
号の再生を行い、その再生された映像信号S1を出力す
るためのものである。画像メモリ2は、入力された映像
信号S1を一時的に記憶するためのものである。動きベ
クトル検出回路3は、入力された映像信号S1から動き
ベクトルの検出を行い、動きベクトルS2を出力するた
めのものである。マイコン4は、画像メモリ2および画
像拡大回路5の制御を行うものであり、読み出しアドレ
スS3および画像拡大率のディジタルデータS4を出力
する。画像拡大回路5は、読み出した画像を通常の画面
サイズに拡大し、出力映像信号S5を出力するためのも
のである。
【0004】このように構成された画像揺れ補正装置に
おいて、ビデオ再生機1で再生された映像信号S1は、
画像メモリ2に一旦蓄積されるとともに、動きベクトル
検出回路3に供給される。この動きベクトル検出回路3
は、入力された映像信号S1から画像の動き速度の情報
である動きベクトルS2を検出してマイコン4に供給す
る。マイコン4は、この動きベクトルS2の情報を基
に、画像メモリ2の読み出しアドレスS3を決定し、原
画像を上下左右にシフトさせながら原画像より小さい画
像情報を画像メモリ2から読み出す。
【0005】画像メモリ2から読み出された画像情報
は、画像拡大回路5に供給され、この読み出された画像
が通常の画面サイズになるように、マイコン4から供給
される画像拡大率S4に従って修正される。この一連の
動作で、再生映像信号S1に画像ぶれがあってもそれが
補償され、揺れのない安定した映像信号S5が出力され
る。
【0006】動きベクトルS2を求める方法としては、
マッチング法が最も一般的である。マッチング法は、1
フィールド前の認識パターンと現フィールドの認識パタ
ーンをずらしながら相関係数を求め、その相関係数が最
大となるずらし量を動きベクトルとするものである。動
きベクトル検出回路3は、このようにして動きベクトル
S2の計算を行う。
【0007】また、画面内の被写体を変形したり、処理
不能な被写体を除去したり、防振するべき被写体を自動
的に判断したりする目的で、画面を複数のブロック状の
演算領域に分割し、領域ブロックごとに動きベクトル検
出をすることが行われている。この場合、マイコン4で
平均またはメディアン処理などの手法で、領域ブロック
ごとに求めた動きベクトルを合成し、画面全体の揺れ量
を算出する。この算出された値は、画像位置に対してフ
レームまたはフィールド間の差分値なので、積分処理ま
たはローパスフィルタ処理を行うことで最終的な画像補
正ベクトル、すなわち画像メモリ2の読み出しアドレス
S3を決定している。なお、画像拡大率S4は、通常撮
影状況ごとに一定な値を使用する。
【0008】
【発明が解決しようとする課題】しかしながら、上述し
た従来例によれば、実際に放送されているテレビ画像お
よび家庭用ビデオカメラで録画された画像の防振を行う
際に、以下に述べるような問題点があった。すなわち、
一般的なテレビ画像の編集装置やカメラには画像をフェ
ードする機能がある。これは撮影中または再生中のテレ
ビ映像信号を故意に弱め、全体的に特定な色になるよう
に処理し、シーンの変わり目を明示的かつ違和感なく見
せる効果を持つもので、古くから動画の編集技術として
頻繁に使われてきた機能である。ここで、特定な色とし
て、白、黒、灰色などの無色の色が多く使用される。
【0009】このように画像揺れ補正装置では、テレビ
画像から画像の揺れを検出しているため、画像のコント
ラストが低くなった場合、または画像が無地になった場
合において、入力映像にフェードがあるため、画像の揺
れを検出するための精度が低下したり、急に検出不能に
なることがあった。その結果、シーンの終わりでは、そ
れまで防振できていた映像の防振動作が不安定になった
り、防振動作が停止したりするという現象が生じ、かえ
って見苦しい映像になってしまうという問題があった。
【0010】本発明は、このような問題点にかんがみて
なされたもので、画像の防振動作時において、画像のフ
ェード処理が行われた際にも違和感のない安定した映像
を出力できるようにすることを目的とする。
【0011】
【課題を解決するための手段】本発明の画像揺れ補正装
置は、入力される映像信号から動きベクトルを検出する
動きベクトル検出手段と、前記動きベクトル検出手段に
よって検出された動きベクトルに基づいて、画面の防振
を行うための防振手段と、前記映像信号からフェード操
作を検出するためのフェード検出手段と、前記フェード
検出手段によって検出された検出信号に応じて、入力さ
れる映像信号が前記フェード操作によって弱まっていく
場合には、前記防振の動作を次第に弱める防振制御手段
とを有することを特徴としている。
【0012】
【0013】本発明の画像揺れ補正装置のその他の特徴
とするところは、前記防振制御手段は、フェード状態を
示す情報信号の変動値を求め、前記変動値に応じて防振
特性を変化させる速度を制御することを特徴としてい
る。
【0014】本発明の画像揺れ補正装置のその他の特徴
とするところは、前記フェード検出手段は、入力された
映像信号から、各画面の平均の明るさ、最明点、最暗
点、輝度信号の高周波成分、変調色信号の振幅を検出
し、この変化速度の相関関係からフェードを判断する。
【0015】
【作用】本発明の画像揺れ補正装置は上記技術手段より
成るので、フェード操作に応じて防振特性の制御を行え
るようになり、これにより、フェード操作時に動きベク
トルの検出精度が劣化して防振動作が不安定になった
り、動きベクトルの検出が不能となって防振動作が停止
したりするのをなくすことが可能となり、フェード処理
が行われた際にも違和感のない安定した映像を出力でき
るようになる。
【0016】
【実施例】以下、本発明の画像揺れ補正装置の一実施例
について図面を参照しながら説明する。図1は、本発明
の一実施例における画像揺れ補正装置の概略構成を示す
ブロック図である。図1において、ビデオ再生機1、画
像メモリ2、動きベクトル検出回路3、マイコン4、画
像拡大回路5は、図4に示した画像揺れ補正装置と同一
である。
【0017】本実施例は、図4に示した画像揺れ補正装
置にフェード検出回路6を新たに付加したものであり、
ビデオ再生機で再生された映像信号S1がフェード検出
回路6に入力され、フェード検出回路6からの出力信号
S6がマイコン4に出力される。この映像信号S1は、
図2に示すように輝度信号Y、ゲート信号Gate、垂
直同期信号VD、色信号Cからなっている。
【0018】次に、フェード検出回路6について図2を
参照しながら説明する。図2は、本発明の一実施例にお
けるフェード検出回路6の概略構成を示すブロック図で
ある。
【0019】図2において、平均値検出回路11は、画
像の平均的な明るさを求めるためのもので、輝度信号
Y、ゲート信号Gate、垂直同期信号VDが入力さ
れ、輝度信号Yの平均値S7をインターフェース回路1
6に出力する。この輝度信号Yの平均値S7の計算は、
走査画素が有効画素であることを示すゲート信号Gat
eおよび垂直同期信号VDに基づき、各フィールドの有
効画素についてのみ行われ、次のフィールドの開始まで
に終了される。また、各フィールド毎に計算結果がリセ
ットされる。
【0020】最大値検出回路12は、画像の最も明るい
点での輝度を求めるためのもので、輝度信号Y、ゲート
信号Gate、垂直同期信号VDが入力されており、輝
度信号Yの最大値S8をインターフェース回路16に出
力する。この輝度信号Yの最大値S8の計算も、輝度信
号Yの平均値S7の計算と同様に、走査画素が有効画素
であることを示すゲート信号Gateおよび垂直同期信
号VDに基づき、各フィールドの有効画素についてのみ
行われ、次のフィールドの開始までに終了される。ま
た、各フィールド毎に計算結果がリセットされる。
【0021】最小値検出回路13は、画像の最も暗い点
での輝度を求めるためのもので、輝度信号Y、ゲート信
号Gate、垂直同期信号VDが入力されており、輝度
信号Yの最小値S9をインターフェース回路16に出力
する。この輝度信号Yの最小値S9の計算は、走査画素
が有効画素であることを示すゲート信号Gateおよび
垂直同期信号VDに基づき、各フィールドの有効画素に
おいてのみ行われ、次のフィールドの開始までに終了さ
れる。また、各フィールド毎に計算結果がリセットされ
る。
【0022】ハイパスフィルタ14は、輝度信号Yのノ
イズを多く含んだエッジ成分を求めるためのもので、輝
度信号Y、ゲート信号Gate、垂直同期信号VDが入
力されており、輝度信号Yの高周波成分S10をインタ
ーフェース回路16に出力する。この輝度信号Yの高周
波成分S10の計算は、走査画素が有効画素であること
を示すゲート信号Gateおよび垂直同期信号VDに基
づき、各フィールドの有効画素においてのみ行われ、次
のフィールドの開始までに終了される。また、各フィー
ルド毎に計算結果がリセットされる。
【0023】振幅検出回路15は、色信号の平均的な振
幅を求めるためのもので、色信号C、ゲート信号Gat
e、垂直同期信号VDが入力されており、色信号Cの振
幅値S11をインターフェース回路16に出力する。こ
の色信号Cの振幅値S11の計算は、走査画素が有効画
素であることを示すゲート信号Gateおよび垂直同期
信号VDに基づき、各フィールドの有効画素においての
み行われ、次のフィールドの開始までに終了される。ま
た、各フィールド毎に計算結果がリセットされる。
【0024】インターフェース回路16は、平均値検出
回路11から出力される輝度信号Yの平均値S7、最大
値検出回路12から出力される輝度信号Yの最大値S
8、最小値検出回路13から出力される輝度信号Yの最
小値S9、ハイパスフィルタ14から出力される輝度信
号Yの高周波成分S10、振幅検出回路15から出力さ
れる色信号Cの振幅値S11を、それぞれフェード情報
信号S6としてマイコン4に供給する。
【0025】次に、マイコン4内での処理について説明
する。マイコン4では、フェード検出回路6から送られ
てきたフェード情報信号S6を用いて、現在フェード中
であるかどうかの判断を行う。ここで、入力画像にフェ
ードがあったときに、輝度信号Yおよび色信号Cがどの
ように変化し、その変化に基づいてフェードをどのよう
に検出するかの判断方法について説明する。
【0026】まず、一般的な単純色へのフェードは、輝
度信号Yおよび色信号Cの強度を0〜1の間で示すと、
以下の条件式で表される。 Yo=K・Yi+(1−K)Ya Co=K・Ci ここで、 Yiは輝度信号Yの入力信号 Yoは輝度信号Yの出力信号 Ciは色信号Cの入力信号 Coは色信号Cの出力信号 Kはフェード係数 Yaはフェード後の画面の明るさ を示している。
【0027】ここで、シーンの終わりにフェードによっ
て通常の映像から白色の映像に遷移する場合を例にと
る。この場合、フェード係数Kが1から0に向かってフ
ィールド毎に減少するに従って、出力信号のコントラス
トは徐々に低下し、最終的に輝度信号Yはフェード後の
画面の明るさYaに一致することになる。
【0028】図3は、フェード時の映像信号の変化の状
態を示す波形図であり、輝度信号Yの平均値S7、輝度
信号Yの最大値S8、輝度信号Yの最小値S9、輝度信
号Yの高周波成分S10、色信号Cの振幅値S11の変
化の状態が示されている。この図3は、画面中央部での
1ラインでの画像信号の状態を示すもので、図3(a)
は同期信号を含む輝度信号Y、図3(b)は変調された
色信号C、図3(c)は輝度信号Yの高周波成分、図3
(d)はフェード係数K、図3(e)は時刻tを示して
いる。
【0029】フェード開始時、すなわち時刻t=0での
信号状態が、図3(a)〜図3(c)に示すような信号
の値を持っているとする。そして、フェードが始まり、
フェード係数K=0.5となると、輝度信号Yの最大値
S8と最小値S9との差は小さくなり、平均値S7に近
づいてくる。これと同時に、色信号Cの振幅値S11と
輝度信号Yの高周波成分S10も小さくなる。
【0030】しかしながら、撮影状況の変化などでこれ
らの信号の値が変化することがあり、単一の信号の値で
はフェードの判断ができないことが多い。そこで、本実
施例の画像揺れ補正装置では、それぞれ信号の相関関係
をみることでフェードしている途中かどうかを正確に判
断している。
【0031】例えば、入力画像のコントラストが落ち
て、輝度信号Yの最大値S8と最小値S9との差が小さ
くなったにも関わらず、ノイズ成分を多く含む輝度信号
Yの高周波成分S10の振幅も同様な比率で小さくなっ
たという現象は、フェード以外の通常の撮影、すなわち
照明量変化や絞り・フォーカス変化などではまず起こら
ない。
【0032】そこで、マイコン4ではこれらの値の変化
速度を評価することで、フェードを判断する。すなわ
ち、(イ)(輝度信号Yの最大値S8−輝度信号Yの最
小値S9)の変動値、(ロ)輝度信号Yの平均値S7の
変動値、(ハ)色信号Cの振幅値S11の変動値、
(ニ)輝度信号Yの高周波成分S10の変動値をマイコ
ン4で演算し、これらの値がほぼ同じ値であり、かつ過
去数フィールドにわたって同じ値が続いていたならば、
フェードと判断する。この関係は、黒や灰色にフェード
する場合や、シーンの始めにおいても同様である。
【0033】次に、フェードを入力画像から判断した場
合の防振制御について説明する。シーンの終わりでフェ
ードによって入力画像のコントラストが低下した場合、
動きベクトル検出回路3の検出精度は低下するが、上述
のように画像に含まれるノイズも減少するので、直ちに
動きベクトルS2の検出が不能になることは少ない。な
お、この時点で急に防振制御を停止すると、まだ入力画
像の情景が見えている間に画像が急に揺れ出すことにな
ってしまう。
【0034】一方、フェードアウトする終了直前におい
て、すなわちフェード係数K=0.1程度になったとき
は、急激に動きベクトルS2の検出が全くできなくな
る。
【0035】そこで、本実施例の画像揺れ補正装置にお
いては、フェードが始まったことをフェード検出手段6
が検出したときに徐々に防振制御を弱め、フェードによ
って動きベクトルS2の検出が不能となる直前までに防
振制御を停止するようにしている。なお、この防振制御
を変化させる適切な速度は、上述の各検出信号の変動値
から動きベクトルS2の検出が不能となる時刻を予想す
ることで求められる。
【0036】防振制御を弱める方法としては、通常の方
法で求めた補正ベクトル、すなわち画像メモリ2の読み
出しアドレスS3に1以下の係数を乗じる方法がある。
また、動きベクトルS2から補正ベクトルを求める際の
積算演算において、1次以上のローパスフィルタ演算、
すなわち 〔現フィールド補正ベクトル〕=〔現フィールド動きベ
クトル〕+〔全フィールド補正ベクトル〕×Kc の式におけるKcを1より小さい値とする演算を行う方
法も有効である。
【0037】以上に述べた防振制御方法によって、フェ
ードがあった場合でも違和感のない、スムーズな映像を
出力することができる。
【0038】
【発明の効果】本発明は上述したように、フェード操作
が行われたことを入力映像信号から検出するフェード検
出手段を設け、上記フェード検出手段により検出された
信号に基づいて防振手段の防振特性を制御するようにし
たので、フェード処理が行われた際にも違和感のない安
定した映像を出力でき、防振動作が急に停止したり、画
面が突然揺れだしたりして見苦しい画像になってしまう
ということがなくなる。
【図面の簡単な説明】
【図1】本発明の一実施例による画像揺れ補正装置の概
略構成を示すブロック図である。
【図2】本発明の一実施例によるフェード検出回路の概
略構成を示すブロック図である。
【図3】フェード時の映像信号の変化の状態を示す波形
図である。
【図4】従来の画像揺れ補正装置の概略構成を示すブロ
ック図である。
【符号の説明】
1 ビデオ再生機 2 画像メモリ 3、11 動きベクトル検出回路 4 マイコン 5 画像拡大回路 6 フェード検出回路 S1 再生された映像信号 S2 動きベクトルのディジタルデータ S3 読み出しアドレスのディジタルデータ S4 画像拡大率のディジタルデータ S5 出力映像信号 S6 フェード情報信号 11 平均値検出回路 12 最大値検出回路 13 最小値検出回路 14 ハイパスフィルタ 15 振幅検出回路 16 インターフェース回路 S7 輝度信号の平均値 S8 輝度信号の最大値 S9 輝度信号の最小値 S10 輝度信号の高周波成分 S11 色信号の振幅値
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/262 H04N 5/232

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力される映像信号から動きベクトルを
    検出する動きベクトル検出手段と、 前記動きベクトル検出手段によって検出された動きベク
    トルに基づいて、画面の防振を行うための防振手段と、 前記映像信号からフェード操作を検出するためのフェー
    ド検出手段と、 前記フェード検出手段によって検出された検出信号に応
    じて、入力される映像信号が前記フェード操作によって
    弱まっていく場合には、前記防振の動作を次第に弱める
    防振制御手段とを有することを特徴とする画像揺れ補正
    装置。
  2. 【請求項2】 前記防振制御手段は、フェード状態を示
    す情報信号の変動値を求め、前記変動値に応じて防振特
    性を変化させる速度を制御することを特徴とする請求項
    1に記載の画像揺れ補正装置。
  3. 【請求項3】 前記フェード検出手段は、入力された映
    像信号から、各画面の平均の明るさ、最明点、最暗点、
    輝度信号の高周波成分、変調色信号の振幅を検出し、こ
    の変化速度の相関関係からフェードを判断することを特
    徴とする請求項1又は2に記載の画像揺れ補正装置。
JP28454293A 1993-10-19 1993-10-19 画像揺れ補正装置 Expired - Fee Related JP3332514B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP28454293A JP3332514B2 (ja) 1993-10-19 1993-10-19 画像揺れ補正装置
US08/321,883 US5614945A (en) 1993-10-19 1994-10-14 Image processing system modifying image shake correction based on superimposed images
DE69435031T DE69435031T2 (de) 1993-10-19 1994-10-18 Bewegungskompensation für ein reproduziertes Bildsignal
EP94116430A EP0649256B1 (en) 1993-10-19 1994-10-18 Motion compensation of a reproduced image signal
US08/796,681 US6049354A (en) 1993-10-19 1997-02-06 Image shake-correcting system with selective image-shake correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28454293A JP3332514B2 (ja) 1993-10-19 1993-10-19 画像揺れ補正装置

Publications (2)

Publication Number Publication Date
JPH07115586A JPH07115586A (ja) 1995-05-02
JP3332514B2 true JP3332514B2 (ja) 2002-10-07

Family

ID=17679810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28454293A Expired - Fee Related JP3332514B2 (ja) 1993-10-19 1993-10-19 画像揺れ補正装置

Country Status (1)

Country Link
JP (1) JP3332514B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4350741B2 (ja) 2006-12-05 2009-10-21 キヤノン株式会社 画像処理方法およびその装置

Also Published As

Publication number Publication date
JPH07115586A (ja) 1995-05-02

Similar Documents

Publication Publication Date Title
US6049354A (en) Image shake-correcting system with selective image-shake correction
US5668914A (en) Video signal reproduction processing method and apparatus for reproduction of a recorded video signal as either a sharp still image or a clear moving image
US20090027519A1 (en) Noise reduction device, noise reduction method and video camera
US20050157188A1 (en) Image capturing apparatus and method of performing noise process on moving picture
EP0467602B1 (en) Contrast corrector for video signal
US20060262198A1 (en) White balance controlling apparatus, method , program, and image pickup apparatus
JPH0477513B2 (ja)
JP3332514B2 (ja) 画像揺れ補正装置
JPH10322592A (ja) 電子カメラの制御方法及び装置
JP3421859B2 (ja) パノラマ画像作成装置の動きベクトル検出方法及び装置
US8405768B2 (en) Moving image processing apparatus and method thereof
JPH11266391A (ja) 撮像装置
JP3302472B2 (ja) 画像振れ補正装置および方法
JPH07115584A (ja) 画像揺れ補正装置
JP2002077780A (ja) 映像信号記録再生制御装置
JPH11146232A (ja) 画像再生装置
JP3336085B2 (ja) 撮像記録再生装置
JP2677224B2 (ja) 画像取り込み装置
JP2001024975A (ja) 撮像装置
JP2002152769A (ja) 色むら補正装置、その方法及びそのプログラムを記録した記録媒体
JP2000115710A (ja) デジタル映像再生装置及びデジタル映像再生方法
JP3205941B2 (ja) 自動絞り調整装置
JP3195255B2 (ja) 特定物体の画像抽出装置
JPH0646317A (ja) 映像信号処理回路
JP2003046918A (ja) 撮像装置、撮像方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080726

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080726

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090726

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090726

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100726

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100726

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110726

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120726

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120726

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130726

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees