JP2662849B2 - テレビジョン信号の伝送路による映像・音声信号間遅延測定方法 - Google Patents

テレビジョン信号の伝送路による映像・音声信号間遅延測定方法

Info

Publication number
JP2662849B2
JP2662849B2 JP5307463A JP30746393A JP2662849B2 JP 2662849 B2 JP2662849 B2 JP 2662849B2 JP 5307463 A JP5307463 A JP 5307463A JP 30746393 A JP30746393 A JP 30746393A JP 2662849 B2 JP2662849 B2 JP 2662849B2
Authority
JP
Japan
Prior art keywords
signal
video
circuit
scene change
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP5307463A
Other languages
English (en)
Other versions
JPH07143525A (ja
Inventor
学 安部
哲雄 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZENKOKU ASAHI HOSO KK
Original Assignee
ZENKOKU ASAHI HOSO KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZENKOKU ASAHI HOSO KK filed Critical ZENKOKU ASAHI HOSO KK
Priority to JP5307463A priority Critical patent/JP2662849B2/ja
Publication of JPH07143525A publication Critical patent/JPH07143525A/ja
Application granted granted Critical
Publication of JP2662849B2 publication Critical patent/JP2662849B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、映像信号と音声信号と
を異なる伝送路で送った場合に生じる両信号間の相対的
時間のずれを測定する方法、例えば、映像信号を衛星回
線を利用し、音声信号を地上の回線を介して放送局に送
る場合に生ずる相対的時間のずれを測定してその差を補
正するための測定方法に関する。
【0002】
【従来の技術】映像信号と音声信号との伝送路におい
て、映像信号は衛星回線を利用して送り、音声信号は地
上の回線を経由して送る場合がある。映像信号および音
声信号ともに衛星回線を利用する方式では、衛星回線が
不通になった場合、映像のみだけではなく音声も届かな
くなってしまうからである。
【0003】
【発明が解決しようとする課題】かかる伝送方式におい
て、1回の伝送で音声信号に対し映像信号は約250m
S遅延する。また、映像信号の伝送路に同期をとるため
のフレームシンクロナイザが入ると、映像信号はフレー
ムシンクロナイザ1台でおよそ1フィールド遅延する。
この対策として音声信号の伝送路にオーディオ・シンク
ロナイザという遅延装置を挿入して映像信号と音声信号
との間の時間のずれをなくしている。この遅延時間によ
るずれ調整は、目と耳で確認しながら行っている。
【0004】遅延時間をオンラインで測定する方法の一
つとして、テレビジョン信号の送信側で音声信号を整流
して音声信号の変化(音量)の情報を映像信号の垂直ブ
ランキング期間に重畳して伝送し、受け側では映像信号
から得られる音量の変化の情報と音声信号から得られる
音量の変化を比較して遅延時間を測定する方法が提案さ
れている。しかしながら、この方法では映像信号の垂直
ブランキング期間を使用しているので、伝送路で映像プ
ロセッサが入りブランキング整形された場合やテレビジ
ョンの方式変換器(例えばPAL方式をNTSC方式に
変換)に入ると、映像信号からの音量の変化の情報は得
られず測定できないという問題があった。本発明の目的
は、映像信号と音声信号とを異なる伝送路で送る場合、
伝送路中で映像信号の垂直ブランキング期間の信号が変
わっても映像信号と音声信号との伝送路による時間的ず
れをオンラインで測定できる遅延測定方法を提供するこ
とにある。
【0005】
【課題を解決するための手段】前記目的を達成するため
に本発明によるテレビジョン信号の伝送路による映像・
音声信号間遅延測定方法は、送信側装置において、映像
信号と音声信号との間の遅延時間差測定の目的のために
挿入される黒信号,白信号を含むマーカ信号を除く任意
の映像信号の映像シーンが変化する変わり目を送信側シ
ーンチェンジ検出部により検出し、その検出信号のタイ
ミングで低周波信号を計測信号として前記映像信号に対
応して送られる音声信号に重畳し、受信側装置におい
て、送信側装置からの映像信号について映像シーンが変
化する変わり目を受信側シーンチェンジ検出部により検
出するとともに、前記送信側装置からの音声信号に重畳
された前記低周波信号を抽出し、前記受信側シーンチェ
ンジ検出部による検出信号と前記抽出した低周波信号と
の時間差を得ることにより映像信号と音声信号との伝送
路の相違による遅延時間の相対的ずれを前記送信側装置
から送られてきた映像信号を損なうことなく測定するよ
うに構成してある。
【0006】
【作用】上記構成によれば、例えば衛星伝送路を利用し
た映像信号と地上伝送路を利用した音声信号において、
垂直ブランキング期間の信号が変わっても両信号間の遅
延量を測定することができる。
【0007】
【実施例】以下、図面を参照して本発明をさらに詳しく
説明する。図1は本発明による遅延時間測定法を説明す
るための送信側装置の実施例を示すブロック図である。
映像信号は衛星回線を、音声信号は地上回線をそれぞれ
送信されるものとする。シーンチェンジ検出部1は、ク
ランプ回路3,積分回路4,サンプル・ホールド回路
5,同期分離回路6,第1パルス発生回路7,微分回路
8および第1比較器9より構成されている。
【0008】映像信号は、クランプ回路3によってクラ
ンプされるとともに同期分離回路6で同期信号が分離さ
れる。第1パルス発生回路7では分離された同期信号か
らブランキング期間中に第1と第2のパルス信号が作ら
れる。クランプされた映像信号は積分回路4によって積
分される。積分回路4の積分電圧は、ブランキング期間
中にサンプル・ホールド回路5において第2のパルス信
号によってサンプルホールドされる。この後、第1のパ
ルス信号によって積分回路4がリセットさせられ放電さ
せられる。サンプル・ホールド回路5は、フィールド毎
にAPL(Averege Picture Leve
l)に対応した信号電圧が出力される。
【0009】微分回路8は、サンプルホールド出力を微
分し、フィールド間のAPLの変化の検出により画面の
切替えのタイミングを検出する。微分出力は第1の比較
器9に入力され、一定レベルの参照電圧と比較され、参
照電圧より大きく変化した場合にはシーンチェンジと判
定され、第1の比較器9よりパルスが出力される。計測
信号発生部2は、第2パルス発生回路10,低周波発振
器11およびゲート回路12より構成されている。第2
の比較器9が出力するパルスは第2のパルス発生回路1
0でパルス幅が調整され、ゲート回路12のゲート信号
となる。ゲート回路12はゲート信号が入力している
間、低周波発振器11からの低周波信号をゲート出力す
る。一方、音声信号は、計測用周波帯域の信号を阻止す
る帯域阻止フィルタ13を介して出力され、合成器14
において、帯域阻止フィルタ13を通った音声信号とゲ
ート回路12を通った低周波信号が合成される。
【0010】図2は、本発明による時間測定法を説明す
るための受信側装置の実施例を示すブロック図である。
シーンチェンジ検出部21は、クランプ回路23,積分
回路24,サンプル・ホールド回路25,同期分離回路
26,第1パルス発生回路27,微分回路28および第
1比較器29より構成され、これら回路は送信側シーン
チェンジ検出部1と同じ構成であり、送られてきた映像
信号よりシーンチェンジ検出を示すパルス信号を出力す
る。一方、音声信号の一部は、計測信号検出部30に入
力される。計測信号検出部30は帯域通過フィルタ3
1,第2比較器32および第2パルス発生回路33より
構成されている。帯域通過フィルタ31は音声信号の低
周波信号が重畳されている帯域のみを通過させる。第2
比較器32はノイズによる誤動作を防止するため一定レ
ベルの参照電圧と帯域通過フィルタ31の出力とを比較
し、帯域通過フィルタ31の出力が参照電圧より大きい
ときに低周波対応のパルスを出力する。
【0011】パルス発生回路33は、低周波対応のパル
スの先頭パルスより立ち上がる一定幅のパルスを出力す
る。遅延パルス幅発生回路34は、上述の第1比較器か
らのパルス信号と第2パルス発生回路33からのパルス
信号とを入力し、両パルスの時間間隔に対応する幅のパ
ルス信号を出力する。パルス幅計測部35は、遅延パル
ス幅発生回路34が出力するパルス信号を計数し、その
計数値を表示するとともに出力する。
【0012】図3は送信側装置の各回路出力を、図4は
受信側装置の各回路出力をそれぞれ示す波形図である。
図3の各波形を示す記号は、図1の各回路出力に付され
た記号に対応しており、図4の各波形を示す記号は、図
2の各回路出力に付された記号に対応している。図3に
おいて、映像信号のAの位置がシーンチェンジ部分であ
り、Aの位置の直前の映像信号のフィールド部分のAP
Lに対応する信号電圧(サンプル・ホールド出力b)と
Aの位置の直後の映像信号のフィールド部分のAPLに
対応する信号電圧の差分は出力c’となる。リセットパ
ルスP1とサンプル・ホールドパルスP2は、ブランキ
ング期間毎に出力され、積分回路4の出力aをサンプル
・ホールドした後、積分回路4をリセットする。
【0013】第1比較器9は、微分回路8の出力cの参
照電圧Ref1より変化が大きくなった位置でシーンチ
ェンジを示すパルス信号dを出力する。パルス信号dは
第2のパルス発生回路10によってパルス幅を拡げたパ
ルスeに変換される。これは低周波信号発振器出力fを
数サイクルに渡って送出するためである。計測信号出力
gとして4サイクル分の低周波信号が出力される。図4
において、微分回路28の出力k,第1比較器29の出
力lは、微分回路8の出力c,第1比較器9の出力dと
同じである。帯域通過フィルタ31を通過した出力h
は、4サイクルの低周波信号であり、検出を安定にする
ため第2の比較器32で参照電圧Ref2と比較され、
4個のパルス信号iに変換される。
【0014】第2のパルス発生回路33では4個のパス
ル信号iの先頭のパルスの立ち上がりで一定幅のパルス
mが作られる。このパルスmに対し第1比較器29の出
力lは、t1 mSだけ遅れている。したがって、衛星回
線を経由してきた映像信号は地上回線を経由してきた音
声信号に対しt1 mSだけ遅延している。遅延パルス幅
発生回路34はこのt1 mSを幅とするパルスnを出力
し、パルス幅計測部35で計数されることになる。この
実施例では、映像信号が遅れる場合の例について説明し
たが、音声信号が遅れる場合も同様に測定できる。かか
る場合には図4のパルスmと第1比較器出力lとの発生
時期が逆になり、第1比較器出力lが先に出力されるこ
とになる。
【0015】図5は、シーンチェンジ検出部の他の実施
例を示すブロック図であり、フィールド相関を利用した
シーンチェンジ検出部の回路図、図6は図5のシーンチ
ェンジ検出部の各回路部の出力を示す波形図である。図
6の各波形を示す記号は、図5の各回路出力に付された
記号に対応している。LPF51は映像信号aのサブキ
ャリアの影響を避けるため輝度信号のみを通過させるフ
ィルタである。フィールドメモリ52はLPF51の出
力信号bを1フィールド遅延させた輝度信号cを出力す
る。減算部53はシーンチェンジがなく輝度信号にフィ
ールド相関があるときは、ほとんど出力がない。しか
し、シーンチェンジにより画面がかわるとその瞬間フィ
ールド相関がなくなるため、減算部53はbとcの信号
の差に対応する信号dを出力する。
【0016】第1比較器54は現フィールドと直前のフ
ィールドの画面の対応する画素部分の相関を判別するた
めのもので、画像の動きなどによる誤差動作の防止も含
めてdの信号が参照電圧Ref1以上のレベルになった
とき、信号eを出力する。フィールド積分部55は画面
内のフィールド相関の割合を検出するため、第1比較器
54の出力信号eをフィールド毎に積分し、フィールド
毎の積分電圧信号fを出力する。第2比較器56は積分
電圧信号fが参照電圧Ref2以上のレベルになったと
き、フィールド相関無し(シーンチェンジ)と判別し信
号gを出力する。パルス発生回路57は信号gの立ち上
がりによりシーンチェンジ・パルスhを出力する。な
お、本実施例における送り側のシーンチェンジ検出部の
前段に、映像信号レベルを外部操作により1フィールド
期間低下させ、APLおよびフィールド相関を変化させ
る疑似的なシーンチェンジ発生部を付加すれば、映像信
号にシーンチェンジがない期間においても遅延時間の測
定が可能である。
【0017】図7は、シーンチェンジ検出部のさらに他
の実施例を説明するための図であり、フレーム相関を利
用したシーンチェンジ検出部の各回路部の出力を示す波
形図である。フレーム相関によるシーンチェンジ検出部
は、図5のフィールドメモリ52をフレームメモリに、
フィールド積分部55をフレーム積分部にそれぞれ置き
換えることにより構成することができる。LPF51の
出力信号bをフレームメモリにより1フレーム遅延させ
た輝度信号cを出力することによってフィールド相関に
よるシーンチェンジ検出部と同様に検出することができ
る。図7において、連続する2フィールド(1フレー
ム)分について第1の比較器により比較し、減算部出力
を2フィールド分積分しシーンチェンジパルスを出力す
るものである。したがって、減算部出力,第1比較器入
出力,フレーム積分値および第2比較器入力期間がフレ
ーム単位になり、サンプルホールドパルスおよびリセッ
トパルスも1フレーム周期で出力される。そして、第1
比較器および第2比較器に入力する参照電圧Ref1お
よびRef2のレベルはフレームに対応して変えている
他はフィールド相関の場合と同様である。
【0018】
【発明の効果】以上、説明したように本発明は、異なる
伝送路で伝送される映像信号と音声信号において、送信
側でシーンチェンジ部分を検出し、そのタイミングを示
す信号を低周波信号で音声信号に重畳し、受信側では同
じくシーンチェンジ部分を示す信号を検出するとともに
音声信号から重畳された低周波信号を抽出し、これら信
号の間の時間差を測定するものである。したがって、伝
送路に映像プロセッサが入って垂直ブランキング期間が
整形されたり、テレビジョン方式が変換されたりした場
合でも、それらには影響を受けずに映像信号と音声信号
との時間的ずれを計測することができる。
【図面の簡単な説明】
【図1】本発明による遅延測定法を説明するための送信
側装置の実施例を示すブロック図である。
【図2】本発明による遅延測定法を説明するための受信
側装置の実施例を示すブロック図である。
【図3】図1の送信側装置の各回路部の出力を示す波形
図である。
【図4】図2の受信側装置の各回路部の出力を示す波形
図である。
【図5】シーンチェンジ検出部の他の実施例を示すブロ
ック図である。
【図6】図5のシーンチェンジ検出部の各回路部の出力
を示す波形図である。
【図7】シーンチェンジ検出部のさらに他の実施例を説
明するための波形図である。
【符号の説明】
1…送信側シーンチェンジ検出部 2…送信側計測信号発生部 3…送信側クランプ回路 4…送信側積分回路 5…送信側サンプル・ホールド回路 6…送信側同期分離回路 7…送信側第1パルス発生回路 8…送信側微分回路 9…送信側第1比較器 10…送信側第2パルス発生回路 11…低周波発振器 12…ゲート回路 13…帯域阻止フィルタ 14…合成部 21…受信側シーンチェンジ検出部 22…遅延時間検出部 23…受信側クランプ回路 24…受信側積分回路 25…受信側サンプル・ホールド回路 26…受信側同期分離回路 27…受信側第1パルス発生回路 28…受信側微分回路 29…受信側第1比較器 30…受信側計測信号検出部 31…帯域通過フィルタ 32…第2比較器 33…受信側第2パルス発生回路 34…遅延パルス幅発生回路 35…パルス幅計測部 36…表示部 51…LPF 52…フィールドメモリ 53…減算部 54…第1比較器 55…フィールド積分部 56…第2比較器 57…パルス発生回路

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 送信側装置において、映像信号と音声信
    号との間の遅延時間差測定の目的のために挿入される黒
    信号,白信号を含むマーカ信号を除く任意の映像信号の
    映像シーンが変化する変わり目を送信側シーンチェンジ
    検出部により検出し、 その検出信号のタイミングで低周波信号を計測信号とし
    前記映像信号に対応して送られる音声信号に重畳し、 受信側装置において、送信側装置からの映像信号につい
    て映像シーンが変化する変わり目を受信側シーンチェン
    ジ検出部により検出するとともに、 前記送信側装置からの音声信号に重畳された前記低周波
    信号を抽出し、 前記受信側シーンチェンジ検出部による検出信号と前記
    抽出した低周波信号との時間差を得ることにより映像信
    号と音声信号との伝送路の相違による遅延時間の相対的
    ずれを前記送信側装置から送られてきた映像信号を損な
    うことなく測定するように構成したことを特徴とするテ
    レビジョン信号の伝送路による映像・音声信号間遅延測
    定方法。
  2. 【請求項2】 前記送信側および受信側シーンチェンジ
    検出部は、1フィールド毎に映像信号レベルを積分する
    積分回路と、 前記積分回路の積分値をサンプリングするサンプル・ホ
    ールド回路と、 前記サンプル・ホールド回路出力を微分する微分回路
    と、 前記微分回路出力が所定レベルを越えた場合、前記低周
    波信号を重畳するための信号等、シーンチェンジ時間検
    出用の信号を出力する比較器とから構成したことを特徴
    とする請求項1記載のテレビジョン信号の伝送路による
    映像・音声信号間遅延測定方法。
  3. 【請求項3】 前記送信側および受信側シーンチェンジ
    検出部は、各フィールド間またはフレーム間の映像信号
    レベルを比較し、所定のレベル差を得たとき検出信号を
    出力するフィールド相関検出部またはフレーム相関検出
    部である請求項1記載のテレビジョン信号の伝送路によ
    る映像・音声信号間遅延測定方法。
JP5307463A 1993-11-12 1993-11-12 テレビジョン信号の伝送路による映像・音声信号間遅延測定方法 Expired - Lifetime JP2662849B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5307463A JP2662849B2 (ja) 1993-11-12 1993-11-12 テレビジョン信号の伝送路による映像・音声信号間遅延測定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5307463A JP2662849B2 (ja) 1993-11-12 1993-11-12 テレビジョン信号の伝送路による映像・音声信号間遅延測定方法

Publications (2)

Publication Number Publication Date
JPH07143525A JPH07143525A (ja) 1995-06-02
JP2662849B2 true JP2662849B2 (ja) 1997-10-15

Family

ID=17969380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5307463A Expired - Lifetime JP2662849B2 (ja) 1993-11-12 1993-11-12 テレビジョン信号の伝送路による映像・音声信号間遅延測定方法

Country Status (1)

Country Link
JP (1) JP2662849B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100694060B1 (ko) * 2004-10-12 2007-03-12 삼성전자주식회사 오디오 비디오 동기화 장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4963967A (en) * 1989-03-10 1990-10-16 Tektronix, Inc. Timing audio and video signals with coincidental markers
JPH05236513A (ja) * 1992-02-21 1993-09-10 Shibasoku Co Ltd テレビジョン映像信号と音声信号の伝送遅延時間差の測定方法

Also Published As

Publication number Publication date
JPH07143525A (ja) 1995-06-02

Similar Documents

Publication Publication Date Title
JP3964041B2 (ja) 視聴チャンネル判定装置
KR20130034722A (ko) 전송 방식 및 화질 적응형 보안용 카메라 및 dvr 시스템
WO1990014732A1 (en) Data transmission in the active picture period
KR100529421B1 (ko) 비디오 신호 특성 변환 장치 및 그 방법
JP2662849B2 (ja) テレビジョン信号の伝送路による映像・音声信号間遅延測定方法
US7382413B2 (en) Apparatus and method of extracting sync signal from analog composite video signal
US7925106B2 (en) Apparatus and method for detecting motion in continuous images
US4682213A (en) Magnitude independent hanging dot detector
US6441871B1 (en) Method for correcting amplitude of synchronizing signal of composite video signal and device therefor
KR100362156B1 (ko) 디지털 티브이의 영상 모드 검출 장치 및 방법
US5844624A (en) Television receiver
KR100850507B1 (ko) 보안시스템의 자동 영상 보정 장치 및 방법
JP2850734B2 (ja) Catv同期圧縮スクランブル方式
JP2667709B2 (ja) ゴースト評価値表示装置
JPH05236513A (ja) テレビジョン映像信号と音声信号の伝送遅延時間差の測定方法
JP2947651B2 (ja) 自動映像等化装置
KR0153669B1 (ko) 동기 신호 판별 장치
JPS6199435A (ja) エンベロ−プデイレ−測定方式
KR970003108B1 (ko) 칼라 비디오신호의 협대역 전송장치 및 방법
KR0153668B1 (ko) 동기 신호 판별 장치
US20080107389A1 (en) Sync separator for separating sync signal to follow fluctuations in video signal
JPH0793721B2 (ja) 映像増幅装置
KR20040002056A (ko) 영상입력신호 병행처리장치를 구비한 모니터
JPH0270175A (ja) ラスタ走査信号及び映像サンプリング装置
JPH08237566A (ja) レターボックス画面検出装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080620

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090620

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090620

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100620

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100620

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130620

Year of fee payment: 16

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140620

Year of fee payment: 17

EXPY Cancellation because of completion of term