JP4031834B2 - ビデオ信号処理装置 - Google Patents

ビデオ信号処理装置 Download PDF

Info

Publication number
JP4031834B2
JP4031834B2 JP50901198A JP50901198A JP4031834B2 JP 4031834 B2 JP4031834 B2 JP 4031834B2 JP 50901198 A JP50901198 A JP 50901198A JP 50901198 A JP50901198 A JP 50901198A JP 4031834 B2 JP4031834 B2 JP 4031834B2
Authority
JP
Japan
Prior art keywords
video signal
signal
video
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP50901198A
Other languages
English (en)
Other versions
JP2001508604A5 (ja
JP2001508604A (ja
Inventor
フランシス ラムライク,マーク
トーマス キーン,ロナルド
アラン ヘイグ,ジヨン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technicolor USA Inc
Original Assignee
Thomson Consumer Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US08/687,284 external-priority patent/US6002447A/en
Application filed by Thomson Consumer Electronics Inc filed Critical Thomson Consumer Electronics Inc
Publication of JP2001508604A publication Critical patent/JP2001508604A/ja
Publication of JP2001508604A5 publication Critical patent/JP2001508604A5/ja
Application granted granted Critical
Publication of JP4031834B2 publication Critical patent/JP4031834B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)

Description

産業上の利用分野
本発明は、一般に、ビデオ信号処理装置に関し、特に、画像強調処理を使用するテレビジョン装置に関する。
発明の背景
画像強調(picture enhancement)プロセッサ(処理装置)を使用するテレビジョン受像機は知られている。幾つかの例を挙げれば、輝度信号とクロマ信号の雑音低減を行うプロセッサ、垂直および/または水平ピーキングを行うプロセッサおよび非線形処理を行うプロセッサ(例えば、いわゆる“ブラック・ストレッチ”またはホワイト・ストレッチ・プロセッサ)がある。
典型的には、画像強調処理は、表示される画像の主観的な外観を改善することにより実質的な利益が得られる。しかしながら、強調処理は或る条件下では望ましくない効果を生じることもある。そのような1つの事例は、1993年4月13日発行の“ピクチャーインピクチャー処理および非線形処理を有するテレビジョン受像機”という名称の、ロジャー エル ラインベリー(Roger L.Lineberry)氏に付与された米国特許第5,202,765号に記述されている。ラインベリー氏は、ピクチャーインピクチャー(PIP)テレビジョン受像機における主画像(大画像)信号の“ブラック・ストレッチ”処理では、小画像(副画像)の黒レベルが主画像の黒レベルで“変調”される(黒レベルに左右される)ことを知った。ラインベリー氏は、小画像の期間の間、ブラック・ストレッチ処理を不能にすることによりこの問題に対処している。
ピーキングのような画像強調処理は、或る条件下で、例えば、信号/雑音(S/N)比が低下しているとき、あるいは妨害(例えば、インパルス性雑音)が存在するとき、表示画像を劣化させる。例えば、1983年5月17日発行の“可変ピーキング制御回路”という名称の、フランク シー リウ(Frank C.Liu)氏に付与された米国特許第4,384,306号では、ピーキングのレベルを変えて、信号の有効画像部分(画面に表示される部分)に存在するインパルス性雑音の過度のピーキングを回避している。また、1983年3月15日発行の“雑音に応答する自動ピーキング制御装置”という名称の、トロイアーノ(Troiano)氏に付与された米国特許第4,376,952号には、受信された信号の水平帰線消去期間の間に雑音をサンプリングすることにより、ピーキングを雑音の関数として変化させることが記載されている。ピーキングのレベルを変える別の例は、1976年7月20日発行のミルボーン(Milbourn)氏に付与された“AGC信号に応答する輝度チャンネル内のビデオ・デピーキング(de−peaking)回路”という名称の米国特許第3,971,064号に記載された、AGC制御によるビデオ・デピーキング回路である。
発明の概要
上述した画像強調システムでは、画像強調処理を変更して、ビデオ画像の劣化を防止している。本発明は、画像強調処理を変更して画像情報以外の情報の劣化を防止することが望ましいと認識することに一部ある。特に、ビデオ信号のうち画像情報以外の情報を表す部分の間に強調処理を変えることが望ましいと認識されている。
本発明の更に別の特徴に従い、ビデオ信号の画像成分以外の成分の検出される以前に強調処理がビデオ信号に施されるタイプの装置(例えば、TV受像機、VCRなどに使用する)には問題のあることが知られている。非画像信号成分の例としては、同期成分、例えば、垂直同期信号、および補助的信号成分、例えば、2進情報を含んでいる信号成分がある。2進情報信号成分の具体的な例としては、クローズド・キャプション・データ、ビューア・コンテスト・アドバイザリ(視聴者に内容を知らせる“V−chip:ブイ−チップ”)データ、拡張データ・サービス(Extended Data Service:XDS)データ、スターサイト(Starsight:登録商標)プログラム・ガイド・データなどがあり、垂直帰線消去期間の間にテレビジョン信号中に含まれる。ここで認識されるように、同期成分あるいは補助的2進情報成分の検出以前にビデオ信号に施される強調処理は画質を改善する一方で、同期情報あるいは補助的2進情報のような信号成分の検出および処理を低下させる。
本発明の特徴に従い、ビデオ信号処理装置は、ビデオ入力信号の選択されたパラメータを強調するための画像強調処理装置と、ビデオ入力信号のうち画像情報以外の情報を表す特定の部分の期間の間に画像強調処理装置の動作を変えるための制御手段とから成る。本発明の原理の説明に役立つ例としてここで説明する画像強調処理装置の具体的な実施例において、2進情報を含む特定のライン期間を識別し且つそれらの特定のライン期間の間に画像強調処理装置を動作不能にするための手段が設けられている。
本発明についての上述した特徴および更に別の特徴は添付されている図面に示されている。
請求の範囲と実施例との対応関係を図面で使われている参照符号で示すと次の通りである。
1.複数のライン期間を有し、且つビデオ画像情報以外の情報を表す2進情報成分を前記複数のライン期間のうちの1つの期間中に含むビデオ信号(CV2)を処理するビデオ信号処理装置であって、
前記複数のライン期間のうちの前記1つの期間が起こる時を示す制御信号(46)を発生する手段(45)と、
前記ビデオ信号(CV2)を強調し、前記制御信号(46)に応答して、前記複数のライン期間のうちの前記1つの期間中、前記ビデオ信号(CV2)の強調を変更する、画像強調処理装置(12)と、
前記2進情報成分を復号化して、2進データを発生する手段(34)と、から成り、
前記画像強調処理装置(12)は、前記制御信号(46)に応答して、前記複数のライン期間のうちの前記1つの期間中、前記ビデオ信号の強調を減じて、前記2進データのビット誤り率を減じる、前記ビデオ信号処理装置。
2.前記画像強調処理装置(12)が、前記ビデオ信号のピーキングの雑音低減を実行すると共に、前記画像強調処理装置(12)が、前記制御信号(46)に応答して、前記複数のライン期間のうちの前記1つの期間中、前記ピーキングの雑音低減を減じる、請求項1記載のビデオ信号処理装置。
3.前記画像強調処理装置(12)が、前記ビデオ信号(CV2)の再帰型処理を実行して、前記ビデオ信号(CV2)を強調し、前記画像強調処理装置(12)が、前記制御信号(46)に応答して、前記複数のライン期間のうちの前記1つの期間中、前記再帰型処理を行えない状態にする、請求項1記載のビデオ信号処理装置。
4.前記画像強調処理装置(12)が、前記制御信号(46)に応答して、前記複数のライン期間のうちの1つの期間中、前記ビデオ信号(CV2)の強調を行えない状態にし、前記複数のライン期間のうちの、前記ビデオ信号(CV2)がビデオ画像データを含む別の期間中、前記ビデオ信号(CV2)の強調を行える状態にする、請求項1記載のビデオ信号処理装置。
5.前記複数のライン期間のうちの前記1つの期間が、前記ビデオ信号の垂直帰線消去期間中に起こる、請求項4記載のビデオ信号処理装置。
6.前記画像強調処理装置(12)が、前記制御信号(46)に応答し、前記複数のライン期間のうちの前記1つの期間内に前記2進情報成分が含まれているか否かに関係なく、前記複数のライン期間のうちの前記1つの期間中、前記ビデオ信号の強調を行えない状態にする、請求項1記載のビデオ信号処理装置。
7.ビデオ画像情報を表す画像成分を有し、且つ2進データを含む2進情報成分を有するビデオ入力信号(CV1)を供給するソース(8)と、
前記ビデオ入力信号(CV1)を処理し、該ビデオ入力信号(CV1)を強調して、強調されたビデオ信号(Y2)を供給する、画像強調処理装置(12)と、
強調されたビデオ信号(Y2)に応答し、前記画像成分を主画像として表示すると共に、前記2進データを復号化し、前記2進データから復号化された情報をキャプションとして前記主画像内に表示する、回路手段(36、37)と、
2進情報成分を有する入力ビデオ信号(CV1)の垂直帰線消去期間のラインの間、ビデオ入力信号(CV1)に与えられる画像強調処理を減らし、画像成分の表示ラインの間、前記ビデオ入力信号(CV1)に与えられる画像強調処理を減らさず、前記主画像の強調を減らさずに、強調処理から生じる前記キャプションにおける誤りを減らす制御ユニット(45)と、から成る、テレビジョン装置。
8.ビデオ画像情報を含む第1の部分と、ビデオ画像情報以外の情報を表す2進データを含む第2の部分とを有する入力ビデオ信号(CV1)を強調し、強調されたビデオ信号(Y2)を供給する画像強調処理装置(12)と、
前記画像強調処理装置(12)の出力に結合され、前記強調されたビデオ信号(Y2)に応答して同期信号(HS、VS)を発生する手段(32)と、
前記同期信号(HS、VS)に応答して、前記強調されたビデオ信号(Y2)から前記2進データを復号化するデコーダ(34)と、
前記同期信号(HS、VS)に応答して、前記2進データを含んでいる前記入力ビデオ信号(CV1)の前記第2の部分の間、前記画像強調処理装置(22)の動作を減少する制御手段(29)と、から成る、ビデオ信号処理装置。
9.前記2進データを含んでいる前記ビデオ入力信号の前記第2の部分の間、前記制御手段(29)が、前記画像強調処理装置(12)の動作を減少して、前記デコーダのビット誤り率を減じる、請求項8記載のビデオ信号処理装置。
10.前記画像強調処理装置(12)が、強調されたビデオ信号(Y2)を発生するために、入力ビデオ信号(CV1)の再帰型処理を行い、前記入力ビデオ信号のうち、前記2進データを含んでいる前記第2の部分の間、前記再帰型処理が、行われない状態とされる、請求項9記載のビデオ信号処理装置。
11.前記入力ビデオ信号の前記第2の部分が同期情報を表す同期成分を含む、請求項9記載のビデオ信号処理装置。
12.前記同期成分が垂直同期信号から成る、請求項11記載のビデオ信号処理装置。
13.前記制御手段(29)が、前記画像強調処理装置(12)の動作を変えて、前記入力ビデオ信号のうちビデオ画像情報を含む前記第1の部分の間、第1の強調レベルで強調される前記強調されたビデオ信号(Y2)を発生し、前記入力ビデオ信号のうち前記2進データを含む前記第2の部分の間、第2の強調レベルで強調されるビデオ信号を発生する、請求項9記載のビデオ信号処理装置。
14.前記第1の強調レベルが、前記第2の強調レベルと比較してレベルの低下した強調に相当する、請求項13記載のビデオ信号処理装置。
15.前記ビデオ信号処理装置が、ビデオ・レコーダ(300)を含み、該ビデオ・レコーダ(300)が前記ビデオ信号を記録し再生するための記録/再生手段(308)を含み、前記画像強調処理装置(340)が、前記ビデオ・レコーダ(300)の入力(301)と前記記録/再生手段(308)の入力との間に結合され、前記制御手段が、前記記録/再生手段の前記入力と前記画像強調処理装置(12)の制御入力との間に結合されるフィードバック経路内に含まれている、請求項8記載のビデオ信号処理装置。
16.ビデオ画像情報を含む第1の部分、ビデオ画像情報以外の情報を表す2進データを含む第2の部分、および同期情報を含む第3の部分を有する、入力ビデオ信号(CV1)を強調し、強調されたビデオ信号(Y2)を供給する画像強調処理装置(12)と、
前記画像強調処理装置(12)の出力に結合され、前記強調されたビデオ信号(Y2)に応答して同期信号(HS、VS)を発生する手段(32)と、
前記同期信号(HS、VS)に応答して、前記強調されたビデオ信号(Y2)から前記2進データを復号化するデコーダ(34)と、
前記同期信号(HS、VS)に応答して、前記入力ビデオ信号(CV1)の前記第2の部分の間、および前記入力ビデオ信号(CV1)の前記第3の部分の間、前記画像強調処理装置(12)の動作を減少する制御手段(29)と、から成る、ビデオ信号処理装置。
17.前記入力ビデオ信号(CV1)の前記第2および第3の部分が、該入力ビデオ信号(CV1)の垂直帰線消去期間内に含まれ、前記制御手段(29)が、前記同期信号(HS、VS)に応答し、前記垂直帰線消去期間中、前記画像強調処理装置(12)の動作を減少する、請求項16記載のビデオ信号処理装置。
18.前記垂直帰線消去期間中、前記制御手段(29)が、画像強調処理装置(12)の動作を行えない状態にする、請求項17記載のビデオ信号処理装置。
19.前記垂直帰線消去期間中、前記制御手段(29)が、前記画像強調処理装置(12)の動作を変更し、前記デコーダ(34)のビット誤り率を減じ、且つ前記同期信号(HS、VS)の不安定性を減じる、請求項17記載のビデオ信号処理装置。
【図面の簡単な説明】
第1図は、本発明を実施するテレビジョン受像機のブロック図である。
第2図は、第1図の受像機で使用するのに適する雑音低減装置のブロック図である。
第3図は、本発明を実施するビデオカセットレコーダ(VCR)のブロック図である。
発明の詳細な説明
第1図のテレビジョン受像機の詳細を検討する前に、本発明によって解決される問題を考慮することが役に立つ。本発明の特徴に従うテレビジョン受像機において或る信号処理上の相反(conflict)が起こることが知られている。ビデオ画像データの画像強調処理、例えば、ライン再帰型(line recursive)雑音低減、垂直ピーキングなどは、例えば、画像のデテールを改善することにより、画面に表示される画像を改善する。また、ピーキングおよび再帰型雑音低減のような強調は、同期検波に先立って施すと、水平同期信号の検波を改善することができ、それによって、雑音の多いビデオ信号の場合、水平ジッタが大いに減少される。しかしながら、ここで認識されるように、再帰型処理のような強調処理は、ビデオ信号中に含まれてはいるが画面に表示される画像の一部ではない情報、すなわち、非画像情報を劣化させることがある。例えば、NTSC方式のテレビジョン信号中の非画像情報は、垂直帰線消去期間の間に生じる信号成分から成り、垂直同期信号、および補助的な2進情報、例えば、クローズド・キャプション・データ,拡張データ・サービス(extended data service:XDS)データ,ビューア・コンテント・アドバイザリ(viewer content advisory:視聴者に内容を知らせる)情報(Vチップ)データなどが含まれる。垂直同期検波および補助的2進データ復号化前の強調処理は、不安定な垂直同期、および2進データについて許容されないビット・エラー・レートを生じることがある。
ここで説明した問題は、強調処理機能の入力において垂直同期信号を検波しビデオ信号から2進データを復号化すると共に、強調処理の出力において水平同期信号を検波しビデオ信号から表示画像を発生することにより、解決することができる。しかしながら、強調処理回路は、同期検波および2進データ復号化機能を含まない集積回路(IC)の中に含まれていることがある。1つのビデオ信号を水平同期検波に使用し、別のビデオ信号を垂直同期検波に使用すると、ICからの出力ピンが2個必要となる。ビデオ信号プロセッサのような複雑なICでは、利用できる入力/出力ピンの数が限られている。従って、同期検波と補助的データの復号化のためのビデオ信号を供給するために2個の出力ピンを必要とすることは非常に望ましくない。
本発明の原理に従い、ここで説明した問題は、画像情報以外の情報を含むビデオ信号の期間の間に強調処理を変更することにより、第1図のテレビジョン受像機において解決される。以下に詳細に説明するように、強調処理の調節では、非画像情報信号成分の発生の間、強調を弱める。例えば、強調処理は、非画像成分が発生する1つまたはそれ以上の特定のライン期間の間に周期的に弱めることができる。具体的な例として、強調処理は、クローズド・キャプションを含むNTSC方式の信号の第1フィールドの21番目のラインの間に弱めることができる。本発明の原理に従う別の方法は、各垂直帰線消去期間全体を通して強調処理を変更することである。そのようにすることにより、垂直同期信号成分も補助的2進データ成分も、強調処理によって劣化されない。
第1図に示し以下に説明する例示的実施例は本発明の原理を示し、2進クローズド・キャプション・データを送る垂直帰線消去期間内のライン期間中の強調処理を変更する(すなわち、ターン・オフする)。従って、ビデオ出力信号(すなわち、強調処理の出力における)を使用して、強調された画像を発生することができると共に、2進データに関連するビット・エラー・レートを増加させずに補助的2進データを復号化することができる。第1図に示す実施例で実証される本発明の原理を拡張して、強調処理の調節を、他の非画像情報期間、例えば、垂直同期期間、クローズド・キャプション・データ期間およびそれ以外のライン期間、あるいは全垂直帰線消去期間に亘って行うこともできる。従って、本発明では、強調処理装置の出力におけるビデオ信号を使用して、強調された画像を発生し、同期検波し、補助的2進データの復号化を行うことができる。
第1図で、テレビジョン受像機は、表示装置37に表示するための複合ビデオ入力信号CV1を供給するビデオ・ソース8を含んでいる。複合ビデオ信号CV1は、各フィールドの“有効”ライン(すなわち、画面に表示されるライン)の間に送られる画像成分、および垂直帰線消去期間中の選択されたラインの間に送られる2進情報成分(すなわち、本例におけるクローズド・キャプション・データ成分)を含んでいる。2進情報はキャプション・デコーダ(34)により復号化されて、表示装置37に表示される主画像38内の挿入領域すなわちライン・グループ(39)内にキャプション・ビデオとして表示される。
複合ビデオ信号CV1はアナログ/ディジタル(A/D)変換器10によってディジタル形式に変換される。A/D変換器10は、例えば、色副搬送周波数の4倍(4Fsc)のサンプリング・レートで動作する。このサンプリング・レートで、完全な1カラーサイクル(360度)は4クロック周期に相当し、1カラーサイクルの1/2(180度)は2クロック(2サンプル)周期に相当する。有利なことに、4Fscサンプリングを選択すると、あとで説明するように、複合ビデオ信号の再帰型雑音低減処理が簡略化される。
ディジタル形式に変換されたあと、ディジタル複合ビデオ信号(CV2)は、入力ビデオ信号についての選択されたパラメータを強調するための画像強調処理装置(PEP)12に供給される。例示的実施例では、画像強調処理装置12は、雑音を低減され且つピーク処理された(増強された)輝度出力信号Y2および雑音を低減されたクロミナンス出力信号Cを供給し、この両信号は表示処理装置36に供給される。表示処理装置36は従来のビデオ信号機能(例えば、色相と彩度の制御、輝度とコントラストの制御、RGBマトリックス処理など)を行い、適当な形体のビデオ出力信号(RGB形体が図示されている)を発生して、表示装置37に供給する。
雑音を低減され且つピーク処理された輝度信号Y2はキャプション・デコーダ34にも供給される。デコーダ34は、表示装置37に表示される主画像38の領域内(39)に表示するためのキャプション・ビデオ信号Y3を発生する。キャプション・ビデオ信号は、例えば、合衆国では垂直帰線消去期間中の選択されたラインの間に伝送されるクローズド・キャプション・データから成る。他の2進情報、例えば、合衆国では拡張データ・サービス(extended deta service:XDS)情報、はビデオ信号中に含まれる。もし望むならば、XDS情報のようなデータは、キャプション情報と共にあるいはキャプション情報の代りに表示するために、デコーダ34で復号化してもよい。
復号化後に、キャプション(またはXDS)信号Y3は表示処理装置36に供給される。表示処理装置36は、表示装置37で表示するために信号Y3を(例えば、時分割多重によって)信号Y2内に挿入する多重スイッチ(図示せず)を含んでいる。あるいは、キャプション(またはXDS)ビデオは、他の方法(例えば、読出し/書込みメモリの記憶)により画像情報内に挿入される。
表示処理装置36およびキャプション・デコーダ34のための垂直および水平同期信号(VS,HS)は同期信号検波器32(破線で輪郭を示す)から供給される。同期検波器32は集積回路内に形成されることが好ましく、集積回路内には、雑音を低減され且つピーク処理された輝度信号Y2が供給される同期信号入力ピン29、およびデコーダ34と表示処理装置36のために水平タイミング信号HSと垂直タイミング信号VSを発生する水平および垂直検波器(31,32)が設けられる。また、これらの信号は、画像強調処理装置12の動作を制御するために制御装置45(あとで説明する)によっても使用される。
画像強調処理装置(PEP)12は、多数の機能、すなわち、輝度/クロマ信号の分離、輝度(Y2)およびクロミナンス(CV2)成分の再帰型雑音低減および輝度成分Y2の垂直ピーキング処理を行う。
詳しく説明すると、画像強調処理装置12において複合ディジタル・ビデオ信号CV2は雑音低減装置14の入力1に供給される。雑音低減装置14の出力2は雑音の低減された複合ビデオ信号CV3を供給し、信号CV3はくし形フィルタ16(破線で輪郭を示す)に供給される。くし形フィルタ16は1ライン(1−H)遅延装置17を含み、遅延装置17の第1の出力18は、正確に1水平ライン(1−H)だけ遅延された複合ビデオ信号CV4を発生し、遅延装置17の第2の出力19は、1ライン−1/2カラーサイクルだけ遅延された複合ビデオ信号CV5を発生する。前述したように、4Fscのサンプリング・レートが選択されているので、複合ビデオ信号CV5は1ライン−2サンプル期間(1/2カラーサイクル)だけ遅延される。次に、信号CV5は、雑音低減装置14の入力4に戻されて“再帰型”(フィードバック)動作が行なわれ、それにより、複合ビデオ信号CV3のクロミナンス成分と輝度成分の両成分の雑音を低減させる。好ましい再帰型雑音低減装置の詳細は第2図に関連して以下に説明する。
くし形フィルタ16に戻り、遅延装置17から供給される1ライン遅延された複合ビデオ信号CV4は、遅延されずに雑音の低減された複合ビデオ入力信号CV3から、減算器20によって、差し引かれる。これは、クロミナンスくし形フィルタを形成し、減算器の出力において2つの成分:(i)複合ビデオ信号CV3のクロミナンス成分“C”;および(ii)複合ビデオ信号CV3の垂直デテール成分“VD”を発生する。
表示処理装置36は、垂直デテール情報のないクロミナンス成分およびクロミナンス情報のない輝度成分を、望ましくは増強された(ピーク処理された)垂直デテール情報と共に必要とする。分離されたクロミナンス成分を得るために、画像強調処理装置12は低域フィルタ22を含み、低域フィルタ22は、減算器により発生される合成されたクロミナンス/垂直デテール信号からクロミナンス信号C2を分離する。クロミナンス信号C2は、雑音低減装置14から発生される、雑音の低減された複合ビデオ信号CV3から得られているので、雑音低減処理を受けていることが分るであろう。
輝度信号Y1を得るために、帯域濾波され且つ雑音の低減されたクロミナンス信号Cは、減算器24によって、複合ビデオ信号CV3から差し引かれる。その結果生じる輝度信号Y1のピーキングを得るために、くし形フィルタ16内の減算器20の出力は、クロミナンス信号帯域の下限に及ぶ通過帯域を有する低減フィルタ26に供給される。これにより、垂直デテール信号VDは、合成された垂直デテール/クロミナンス信号(VD+C)から分離される。次に、信号VDは、垂直ピーキング信号VPを発生する垂直ピーキング装置28に供給される。スイッチ29′は垂直ピーキング信号VPを加算器30に結合させ、加算器30においてVPは、雑音を低減され且つ分離された輝度信号Y1と合成され、雑音を低減され且つピーク処理された輝度出力信号Y2を発生する。信号Y2とクロミナンス信号Cは、前述したように、キャプション・デコーダ34と表示処理装置36に供給されて、表示装置37上に画像38とキャプション39を表示する。
制御装置45は、画像強調処理装置(PEP)12によって行われる、雑音低減と垂直ピーキングのオン/オフ制御を行う。制御装置45は、同期検波器32により発生される垂直同期信号VSによって各フィールドの開始時にリセットされる(クリアされる)ライン・カウンタ40を含んでいる。ライン・カウンタ40はクロック制御され(歩進され)て、検波器31から供給される水平同期信号HSによって1フィールドの間ラインを数える。比較器44は、ライン・カウンタ40から供給されるライン番号を、ライン基準番号源42から供給されるライン基準番号と比較し、非画像情報(例えば、21番目のラインにおけるキャプション・データ)を含んでいるかも知れない垂直期間内のラインを識別する。
比較器44の出力46は、導線48を介してそれぞれ雑音低減装置14とスイッチ29′の、制御入力3と27にそれぞれ結合される。垂直帰線消去期間内の或る特定のラインが比較器44で識別されると、比較器は“オフ”制御信号を導線48に供給する。例示的実施例では、この“オフ”信号は、或る特定の期間(例えば、21番目のライン)に、その期間に非画像情報が含まれているかいないかに関係りなく、生じる。発生されると、“オフ”信号は、受像機の動作を変更するために、雑音低減装置14を動作不能とし、スイッチ29′を開き、それによって、輝度信号に施される雑音低減装置と垂直ピーキング装置をオフにする。これによって、立上り時間およびキャプション・データ振幅の歪みが最少限度に抑えられるので、キャプション・デコーダのビット・エラー・レートは比較的低下する。ピーキングおよび雑音低減を行わないことは視聴者には見られない。キャプション情報は垂直期間の間だけ伝送され、表示装置37の有効表示エリア内ではキャプション・データ・ラインを見ることができないからである。
ライン基準源42内に載せられているキャプション・データ・ライン以外のラインが受信されているとき、比較器44は“オン”信号を導線48に供給し、雑音低減装置14を動作可能にし、スイッチ29′を閉じる。これにより、ビデオ信号のうち画像情報を表す部分の間に垂直ピーキングと雑音低減が可能となり、表示装置37に表示される“有効な”すなわち画像を表すビデオ信号は視覚的に強調される。従って、第1図の受像機は、低雑音で、増強された表示画像を発生すると共に、低歪み(振幅および時間的)のキャプション・データを確保し、ビット・エラー・レートを改善するという、先に説明した相反する(conflicting)要件を解決する。
複合ビデオ雑音低減装置14は、第1図に示す入力3のようなオン/オフ制御入力を備えていれば、従来設計のものでよい。例示的複合ビデオ信号雑音低減装置が第2図に示されており、複合ビデオ信号CV5を完全な1カラーサイクル(サンプリング周波数を4Fscと仮定して360度すなわち4クロック・サイクル)だけ遅延させる1カラーサイクル遅延装置202を含んでいる。平均器204は、複合ビデオ信号CV5(1ライン−1/2カラーサイクルだけ遅延されている)を、複合ビデオ信号CV6(1ライン+1/2カラーサイクルだけ遅延されている)と共に、平均して、平均された複合ビデオ信号CV7を発生し、そのカラー成分は1ラインから次の1ラインまで時間的に整合がとられる。これは、平均された信号の色副搬送波の位相は連続するライン間で一定であり、1ラインごとに交互に180度変化しないことを意味する。これは、連続するラインを平均する再帰型濾波処理において、再帰的に蓄積されたラインのカラー成分が相殺されないようにするために必要である。
雑音低減信号NR1は、ライン遅延されたフィードバック信号CV7から複合ビデオ入力信号CV2を差し引くことにより発生される。もし現在のラインが雑音を含まず前のラインの平均に等しい(且つ動きが無い)ならば、減算によって出力は発生されない(NR1=0)。もし現在のラインが雑音を含むならば、減算によって、雑音を表す差を生じるであろう。この差を入力信号CV2に加えることにより、雑音は相殺され、結果として生じる複合ビデオ信号CV3は雑音が低減される。しかしながら、この加算は直接行うことができない。何故なら、減算器206は、動きあるいは垂直デテールの差を表す出力も発生するからである。このような“非雑音(non−noise)”成分が大きな差を生じるのを防止するために、雑音低減信号NR1はリミッタ208により制限されてから、加算器200内で複合ビデオ信号に供給される。適当な制限レベルは非常に小さく、例えば、IREビデオ信号単位で1〜2単位程度である。この制限レベルで、静止画像は相当な雑音低減を受ける一方、動画像は比較的小さな動きのアーティファクト(artifact)を呈する。雑音低減システムのオン/オフ制御を行うために、制限された雑音低減信号NR2は、制御入力3に供給されるオン/オフ制御信号によって制御されるスイッチ210を介して、加算器200に供給される。
第1図に示す本発明の実施例で本発明の原理はテレビジョン受像機に応用され、先行する画像強調処理によりキャプション・データ信号の歪みから生じるキャプション・エラーを低減させる(雑音低減とピーキングは何れも波形を変えたり歪ませたりする)。しかしながら、本発明は、非常に実用性があり、第1図に示すテレビジョン受像機以外の装置にも応用できる。例えば、第3図の実施例はビデオ・テープ作成のために役立つ本発明の原理のビデオ・カセット・レコーダ(VCR:Video Cassette Recorder)への応用を示している。
テレビ番組をビデオテープに録画すると、テレビジョン信号の非画像情報も記録され、これには同期信号およびクローズド・キャプション・データのような2進情報が含まれる。非画像情報は正確に記録されて、例えば、クローズド・キャプションのようなデータが、もし望ましいならば、再生中に復号化され画面に表示できれば有利である。しかしながら、VCRはビデオ信号処理経路に画像強調処理を含むこともある。具体的な例として、第3図のVCR300は、端子302を介して受信されるビデオ信号S1を強調するために画像強調処理装置340を含んでいる。画像強調処理装置340は、第1図に関して先に説明したタイプのものかあるいは非画像情報を劣化させる傾向のある別のタイプのものでもよい。第3図で、画像強調処理装置340は垂直信号経路内で記録/再生回路308の前に位置している。第3図に示すように強調処理装置を設けると、記録する前にビデオ信号を強調し、それによって、記録された信号を改善すると共に、ビデオテープの再生中に発生される画像を改善する。
しかしながら、付加的な手段がないと、画像強調処理装置340の影響により、画像強調処理装置340の出力における信号S2は劣化した非画像情報を含み、それが記録/再生回路308と信号S4とヘッド・ホイール306を介してビデオテープに記録される。その結果、再生中にテープから発生され、端子304を介して出力されるビデオ信号S3には劣化した非画像情報が含まれる。劣化した非画像情報を、その後、例えば、端子304に結合されるテレビジョン受像機で復号化すると、そのデータから発生される表示されたキャプション中に許容されないほど高いビット・エラー・レートおよびそれに対応して許容されないほど高いエラー・レートを発生する。
第3図に示すVCR300は、制御装置320で発生される制御信号S5に応答して画像強調処理装置340の動作を変更することにより、記録された信号中の非画像情報の劣化を防止する。制御装置320の動作および信号S5に応答する画像強調処理装置340の動作は、上述した第1図の制御装置45および画像強調処理装置12の動作と同様である。更に具体的に言うと、制御装置320は、同期検波器318で発生される水平同期信号と垂直同期信号(HSとVS)に応答して信号S5を発生し、非画像情報がビデオ信号中に生じる期間(例えば、クローズド・キャプション・データの場合、21番目のライン)を識別する。画像強調処理装置340は信号S5に応答して、その非画像期間の間に画像強調処理を変更する。第3図に示す実施例では、処理装置340は、制御装置320によって確立される非画像期間の間に画像強調処理を不能にする。従って、非画像情報の劣化は相当に減少されるかまたは排除される。
上述した実施例に加えて、種々の変更が可能である。例えば、制御信号に応答して第1図の処理装置12および第3図の処理装置340が発生する強調処理の動作の変更は変えられる。クローズド・キャプション・データに関連する上述した実施例では強調処理は不能にされる。しかしながら、別のタイプのデータあるいは別のタイプの強調処理の場合、画像強調処理装置を動作不能にせずに、処理のレベルを下げることが望ましいかもしれない。また、制御装置45(第1図)と320(第3図)は、それぞれの画像強調処理装置を制御するので、種々の各期間の間にあるいは種々のタイプの非画像情報の各々について異なるレベルの画像強調処理が行なわれる;例えば、垂直同期期間とクローズド・キャプション期間中は強調処理が行われず、別の期間の間には強調処理が低減され、ビデオ画像情報期間の間には完全な強調処理が行なわれる。また、制御装置は画像強調処理装置制御する制御信号を発生することができ、種々のタイプの非画像情報を含む期間全体を通して或る程度に強調が変更される。一例として、垂直帰線消去期間全体を通して強調処理を不能にすることができ、それによって、強調処理が、垂直同期信号および種々のタイプの補助2進情報に影響を及ぼさないようにする。これらのおよびその他の変更は特許請求の範囲内に含まれるものである。

Claims (19)

  1. 複数のライン期間を有し、且つビデオ画像情報以外の情報を表す2進情報成分を前記複数のライン期間のうちの1つの期間中に含むビデオ信号を処理するビデオ信号処理装置であって、
    前記複数のライン期間のうちの前記1つの期間が起こる時を示す制御信号を発生する手段と、
    前記ビデオ信号を強調し、前記制御信号に応答して、前記複数のライン期間のうちの前記1つの期間中、前記ビデオ信号の強調を変更する、画像強調処理装置と、
    前記2進情報成分を復号化して、2進データを発生する手段と、から成り、
    前記画像強調処理装置は、前記制御信号に応答して、前記複数のライン期間のうちの前記1つの期間中、前記ビデオ信号の強調を減じて、前記2進データのビット誤り率を減じる、前記ビデオ信号処理装置。
  2. 前記画像強調処理装置が、前記ビデオ信号のピーキングの雑音低減を実行すると共に、前記画像強調処理装置が、前記制御信号に応答して、前記複数のライン期間のうちの前記1つの期間中、前記ピーキングの雑音低減を減じる、請求項1記載のビデオ信号処理装置。
  3. 前記画像強調処理装置が、前記ビデオ信号の再帰型処理を実行して、前記ビデオ信号を強調し、前記画像強調処理装置が、前記制御信号に応答して、前記複数のライン期間のうちの前記1つの期間中、前記再帰型処理を行えない状態にする、請求項1記載のビデオ信号処理装置。
  4. 前記画像強調処理装置が、前記制御信号に応答して、前記複数のライン期間のうちの1つの期間中、前記ビデオ信号の強調を行えない状態にし、前記複数のライン期間のうちの、前記ビデオ信号がビデオ画像データを含む別の期間中、前記ビデオ信号の強調を行える状態にする、請求項1記載のビデオ信号処理装置。
  5. 前記複数のライン期間のうちの前記1つの期間が、前記ビデオ信号の垂直帰線消去期間中に起こる、請求項4記載のビデオ信号処理装置。
  6. 前記画像強調処理装置が、前記制御信号に応答し、前記複数のライン期間のうちの前記1つの期間内に前記2進情報成分が含まれているか否かに関係なく、前記複数のライン期間のうちの前記1つの期間中、前記ビデオ信号の強調を行えない状態にする、請求項1記載のビデオ信号処理装置。
  7. ビデオ画像情報を表す画像成分を有し、且つ2進データを含む2進情報成分を有するビデオ入力信号を供給するソースと、
    前記ビデオ入力信号を処理し、該ビデオ入力信号を強調して、強調されたビデオ信号を供給する、画像強調処理装置と、
    強調されたビデオ信号に応答し、前記画像成分を主画像として表示すると共に、前記2進データを復号化し、前記2進データから復号化された情報をキャプションとして前記主画像内に表示する、回路手段と、
    2進情報成分を有する入力ビデオ信号の垂直帰線消去期間のラインの間、ビデオ入力信号に与えられる画像強調処理を減らし、画像成分の表示ラインの間、前記ビデオ入力信号に与えられる画像強調処理を減らさず、前記主画像の強調を減らさずに、強調処理から生じる前記キャプションにおける誤りを減らす制御ユニットと、から成る、テレビジョン装置。
  8. ビデオ画像情報を含む第1の部分と、ビデオ画像情報以外の情報を表す2進データを含む第2の部分とを有する入力ビデオ信号を強調し、強調されたビデオ信号を供給する画像強調処理装置と、
    前記画像強調処理装置の出力に結合され、前記強調されたビデオ信号に応答して同期信号を発生する手段と、
    前記同期信号に応答して、前記強調されたビデオ信号から前記2進データを復号化するデコーダと、
    前記同期信号に応答して、前記2進データを含んでいる前記入力ビデオ信号の前記第2の部分の間、前記画像強調処理装置の動作を減少する制御手段と、から成る、ビデオ信号処理装置。
  9. 前記2進データを含んでいる前記ビデオ入力信号の前記第2の部分の間、前記制御手段が、前記画像強調処理装置の動作を減少して、前記デコーダのビット誤り率を減じる、請求項8記載のビデオ信号処理装置。
  10. 前記画像強調処理装置が、強調されたビデオ信号を発生するために、入力ビデオ信号の再帰型処理を行い、前記入力ビデオ信号のうち、前記2進データを含んでいる前記第2の部分の間、前記再帰型処理が、行われない状態とされる、請求項9記載のビデオ信号処理装置。
  11. 前記入力ビデオ信号の前記第2の部分が同期情報を表す同期成分を含む、請求項9記載のビデオ信号処理装置。
  12. 前記同期成分が垂直同期信号から成る、請求項11記載のビデオ信号処理装置。
  13. 前記制御手段が、前記画像強調処理装置の動作を変えて、前記入力ビデオ信号のうちビデオ画像情報を含む前記第1の部分の間、第1の強調レベルで強調される前記強調されたビデオ信号を発生し、前記入力ビデオ信号のうち前記2進データを含む前記第2の部分の間、第2の強調レベルで強調されるビデオ信号を発生する、請求項9記載のビデオ信号処理装置。
  14. 前記第1の強調レベルが、前記第2の強調レベルと比較してレベルの低下した強調に相当する、請求項13記載のビデオ信号処理装置。
  15. 前記ビデオ信号処理装置が、ビデオ・レコーダを含み、該ビデオ・レコーダが前記ビデオ信号を記録し再生するための記録/再生手段を含み、前記画像強調処理装置が、前記ビデオ・レコーダの入力と前記記録/再生手段の入力との間に結合され、前記制御手段が、前記記録/再生手段の前記入力と前記画像強調処理装置の制御入力との間に結合されるフィードバック経路内に含まれている、請求項8記載のビデオ信号処理装置。
  16. ビデオ画像情報を含む第1の部分、ビデオ画像情報以外の情報を表す2進データを含む第2の部分、および同期情報を含む第3の部分を有する、入力ビデオ信号を強調し、強調されたビデオ信号を供給する画像強調処理装置と、
    前記画像強調処理装置の出力に結合され、前記強調されたビデオ信号に応答して同期信号を発生する手段と、
    前記同期信号に応答して、前記強調されたビデオ信号から前記2進データを復号化するデコーダと、
    前記同期信号に応答して、前記入力ビデオ信号の前記第2の部分の間、および前記入力ビデオ信号の前記第3の部分の間、前記画像強調処理装置の動作を減少する制御手段と、から成る、ビデオ信号処理装置。
  17. 前記入力ビデオ信号の前記第2および第3の部分が、該入力ビデオ信号の垂直帰線消去期間内に含まれ、前記制御手段が、前記同期信号に応答し、前記垂直帰線消去期間中、前記画像強調処理装置の動作を減少する、請求項16記載のビデオ信号処理装置。
  18. 前記垂直帰線消去期間中、前記制御手段が、画像強調処理装置の動作を行えない状態にする、請求項17記載のビデオ信号処理装置。
  19. 前記垂直帰線消去期間中、前記制御手段が、前記画像強調処理装置の動作を変更し、前記デコーダのビット誤り率を減じ、且つ前記同期信号の不安定性を減じる、請求項17記載のビデオ信号処理装置。
JP50901198A 1996-07-25 1997-07-25 ビデオ信号処理装置 Expired - Fee Related JP4031834B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/687,284 1996-07-25
US08/687,284 US6002447A (en) 1996-03-07 1996-07-25 Video signal processing apparatus
PCT/US1997/013108 WO1998005170A1 (en) 1996-07-25 1997-07-25 Video signal processing apparatus

Publications (3)

Publication Number Publication Date
JP2001508604A JP2001508604A (ja) 2001-06-26
JP2001508604A5 JP2001508604A5 (ja) 2005-04-07
JP4031834B2 true JP4031834B2 (ja) 2008-01-09

Family

ID=24759829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP50901198A Expired - Fee Related JP4031834B2 (ja) 1996-07-25 1997-07-25 ビデオ信号処理装置

Country Status (6)

Country Link
EP (1) EP0913060B1 (ja)
JP (1) JP4031834B2 (ja)
CN (1) CN1145367C (ja)
DE (1) DE69709645T2 (ja)
HK (1) HK1020822A1 (ja)
WO (1) WO1998005170A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337899B1 (en) * 1998-03-31 2002-01-08 International Business Machines Corporation Speaker verification for authorizing updates to user subscription service received by internet service provider (ISP) using an intelligent peripheral (IP) in an advanced intelligent network (AIN)
EP0969657A1 (en) * 1998-06-29 2000-01-05 NuWave Technologies, Inc. Apparent image clarity improving apparatus and method
CN1217552C (zh) * 2000-03-17 2005-08-31 汤姆森特许公司 防止视频相关的增强造成的数据损坏的装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4386369A (en) * 1981-09-22 1983-05-31 Rca Corporation Compensated clamping circuit in a video signal peaking system
US5202765A (en) * 1991-05-06 1993-04-13 Thomson Consumer Electronics, Inc. Television receiver with picture in picture and non-linear processing
KR950000326B1 (ko) * 1991-12-27 1995-01-13 삼성전자 주식회사 윤곽보정장치

Also Published As

Publication number Publication date
CN1226362A (zh) 1999-08-18
WO1998005170A1 (en) 1998-02-05
EP0913060B1 (en) 2002-01-16
HK1020822A1 (en) 2000-05-19
CN1145367C (zh) 2004-04-07
DE69709645D1 (de) 2002-02-21
EP0913060A1 (en) 1999-05-06
JP2001508604A (ja) 2001-06-26
DE69709645T2 (de) 2002-11-14

Similar Documents

Publication Publication Date Title
US5585860A (en) Reproduction circuit for skin color in video signals
US7423693B2 (en) Video delay stabilization system and method
JP3144860B2 (ja) 映像信号処理装置
JPH0644830B2 (ja) ビデオ信号処理システム
JP2914999B2 (ja) テレビジヨン信号の雑音、カラークロストーク低減回路装置
US6002447A (en) Video signal processing apparatus
JP4031834B2 (ja) ビデオ信号処理装置
EP0487186B1 (en) Motion signal detecting circuit
JP2617622B2 (ja) 動き適応型色信号合成方法及び回路
US6018608A (en) Method of generating information used for the copy protecting signal and apparatus using the same
KR100484997B1 (ko) 비디오신호처리장치
JPH05207493A (ja) クロミナンス雑音低減装置
CA2048976C (en) Motion signal detecting circuit
MXPA99000935A (en) Video signal processing apparatus
JP2522820B2 (ja) テレビジョン映像信号の画質改善回路
JPH0345086A (ja) ビデオ信号処理回路
JP4530602B2 (ja) ビデオ関連エンハンスメントが原因で生じるデータ破損を防止するための方法および装置
JP2897277B2 (ja) 映像信号制御装置
JP2002010206A (ja) 映像信号出力装置及び映像信号出力方法
JPH0870472A (ja) テレビジョン信号処理装置
JPH0630354A (ja) 映像信号処理装置
JPH06276491A (ja) 映像信号処理回路
JPH07177438A (ja) テレビジョン受像機
JPH04111579A (ja) ノイズ低減装置
JPH05328308A (ja) 高品位テレビジョン受信機

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040715

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040715

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060829

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070329

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070521

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071022

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101026

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111026

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121026

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121026

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131026

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees