JP2949657B2 - ビデオ表示制御システム - Google Patents

ビデオ表示制御システム

Info

Publication number
JP2949657B2
JP2949657B2 JP6137753A JP13775394A JP2949657B2 JP 2949657 B2 JP2949657 B2 JP 2949657B2 JP 6137753 A JP6137753 A JP 6137753A JP 13775394 A JP13775394 A JP 13775394A JP 2949657 B2 JP2949657 B2 JP 2949657B2
Authority
JP
Japan
Prior art keywords
line
video
letterbox
signal
count
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP6137753A
Other languages
English (en)
Other versions
JPH0750779A (ja
Inventor
ウイリアム セガー テイモシー
アラン クラナウエツター グレグ
ハルク アーソズ ナタニエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TOMUSON KONSHUUMA EREKUTORONIKUSU Inc
Original Assignee
TOMUSON KONSHUUMA EREKUTORONIKUSU Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TOMUSON KONSHUUMA EREKUTORONIKUSU Inc filed Critical TOMUSON KONSHUUMA EREKUTORONIKUSU Inc
Publication of JPH0750779A publication Critical patent/JPH0750779A/ja
Application granted granted Critical
Publication of JP2949657B2 publication Critical patent/JP2949657B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/16Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by deflecting electron beam in cathode-ray tube, e.g. scanning corrections
    • H04N3/22Circuits for controlling dimensions, shape or centering of picture on screen
    • H04N3/223Controlling dimensions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/16Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by deflecting electron beam in cathode-ray tube, e.g. scanning corrections
    • H04N3/27Circuits special to multi-standard receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/007Systems with supplementary picture signal insertion during a portion of the active part of a television signal, e.g. during top and bottom lines in a HDTV letter-box system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0105Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level using a storage device with different write and read speed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/641Multi-purpose receivers, e.g. for auxiliary information
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00Television
    • Y10S348/913Letterbox, e.g. display 16:9 aspect ratio image on 4:3 screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Studio Circuits (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、例えば、ワイドスクリ
ーン・テレビジョンに役立つような、レターボックス形
式のビデオ源の自動検出器の分野に関する。
【0002】
【発明の背景】“レターボックス”(letterbo
x)形式では、ワイド形式の表示比、例えば16×9
(または16:9と表わす)の画像が、もっと狭い形式
の表示比例えば4×3(または4:3と表わす)の画面
の幅全体に表示される。ワイド形式の映画を歪みなく、
カットせずに放送するために放送局ではレターボックス
形式の変換し、従来の受像機の画面(例えば4×3)に
表示できるようにする。放送局では、上部と下部に空白
の、またはつや消しの縁を加え、画像と縁を合成し4×
3の複合画像信号として放送する。標準の16×9と4
×3の表示比、および標準のNTSC信号を想定する
と、各フィールドで主画像に充てられる水平ラインは1
81本だけであり、残りのラインは、つや消しの、灰色
の、または黒色の縁となる。役に立つ画像情報すなわち
主ビデオは一般に有効ビデオと呼ばれるのに対し、縁は
たとえある程度の輝度値および/または色度成分を有す
るフラット(flat)なフィールドであっても、一般
に無効ビデオと呼ばれる。本出願では、この区別と名称
に従う。縁は種々の形式の補助情報を表示するのに使用
される。第1の形式は一般に文字であり、暴風警報、ニ
ュース速報、字幕(subtitle)などである。第
2のタイプに含まれる補助情報は放送局や放送網のロゴ
(logo)で、しばしば図形(graphic)、ま
たは文字と図形の組み合わせである。両形式の補助情報
は一緒に、または別々に存在する。両形式の補助情報も
一般に有効ビデオと呼ばれている。レターボックス形式
の信号の正しい判別の妨げになる第3の形式の補助情報
は、クローズド・キャプション(closed cap
tioning)であり、これは通常垂直帰線消去期間
の間に伝送される。
【0003】このようなレターボックスの表示(4×3
形式)がワイドスクリーン・テレビジョン(例えば、1
6×9形式)で行われると、ビデオ信号はある比率で垂
直方向にズーム(拡大)され、有効ビデオの部分は増大
されて表示画面の幅をほぼ満たすと同時に、上部と下部
の縁を除去する。これは画面のアスペクト比の歪みを生
じることなく行うことができる。レターボックス形式の
信号源を自動的に検出し、ビデオ源の信号の有効部分を
垂直方向に拡大して、表示画面一杯に表示することは有
用な特徴である。
【0004】ワイドスクリーン・テレビジョンにおける
自動レターボックス検出器はPCT/US91/037
39(WO91/19390)に開示されている。そこ
に述べられているように、最上部と最下部の有効ビデオ
領域は、ビデオフィールド内の各ラインについて2つの
勾配(gradient)を計算することにより検出さ
れる。2つの勾配を計算するのに4つの値が必要とされ
る。すなわち、現在のラインの最大値と最小値、および
前のラインの最大値と最小値である。第1の勾配は正の
勾配と呼ばれ、現在のラインの最大値から前のラインの
最小値を引くことにより形成される。第2の勾配は負の
勾配と呼ばれ、前のラインの最大値から現在のラインの
最大値を引くことにより形成される。いずれの勾配も、
場面(scene)の内容に依り、正または負の値をと
るが、両勾配の負の値は無視してもよい。何故ならば、
負になる勾配は一度に1つだけであり、正の値を持つ勾
配の大きさは負の値を持つ勾配の大きさよりも常に大き
いかまたは等しいからである。これは、勾配の絶対値を
計算する必要性を排除することにより回路を簡単化す
る。もしいずれかの勾配が、プログラム可能(prog
rammable)な閾値を超える正の値をとるなら
ば、現在のラインまたは前のラインのいずれかにビデオ
が存在していると考えられる。
【0005】これらの値をマイクロプロセッサで使用す
ることにより、ビデオ源がレターボックス形式であるか
どうかを判定し、また有効ビデオの最初のライン番号と
最後のライン番号を判定することができる。この計算
は、画像を垂直方向に位置決めする手段が設けられてい
れば、画像の上部(または下部)についてのみ行うこと
ができる。有効ビデオの検出は、輝度の絶対値よりもむ
しろ勾配の関数であるので、縁がかなりの(しかし、変
化しない)輝度レベルを有するならば、この装置は予め
定められるにぶい色の不活発な縁を検出することができ
る。信号対雑音比を改善するために、輝度レベル検出器
が動作可能にされるのは各ラインの約70%についてだ
けである。
【0006】しかしながら、もし縁が補助的データ(暴
風警報、ニュース速報、字幕、放送局や放送網のロゴな
ど)を表示するために使用されるならば、自動レターボ
ックス検出器は、標準の非ズーム動作に戻る。これは、
暴風警報、ニュース速報および字幕に関しては望ましい
が、放送局や放送網のロゴに関してはかなりじゃまなも
のになる。その上、レターボックス形式のビデオ源の縁
の部分にロゴを絶えず伝送すると、まず第一にレターボ
ックス形式のビデオ源であることが自動的に検出できな
くなる。
【0007】また、レターボックス形式の信号検出妨害
は、ヘリカル走査形式の任意のビデオカセットレコーダ
(VCR)、例えば、VHSフォーマットを用いるビデ
オカセットレコーダにより引き起こされる。このヘリカ
ル走査形式のVCRは、垂直同期信号に先立って5〜8
ラインから任意の所にヘッド切換え過渡状態を挿入す
る。ヘッド切換え過渡状態は有効ビデオと間違えられ、
間違ったレターボックスの検出を引き起こす。VCRの
ヘッド切換え過渡状態に基づく間違った検出は回避しな
ければならない。
【0008】
【発明の概要】本発明は、レターボックス自動検出器が
放送局や放送網のロゴなどの存在、ヘッド切換え過渡状
態、および垂直帰線期間の間の妨害に間違って反応する
という問題を解決すると共に、暴風警報、ニュース速
報、字幕のような情報には自動的に反応できるようにす
るものである。
【0009】この問題を解決するビデオ表示制御システ
ムは以下のものから成る:ワイド形式の表示比を有する
ビデオ表示装置;レターボックス形式を有する入力ビデ
オ信号により表わされる画像中のビデオ情報をサンプリ
ングし、ビデオ表示装置を有効ビデオで満たす(レター
ボックス形式の画像はしばしば縁の部分に補助情報が配
置されている)目的で画像を拡大するために制御信号を
発生するレターボックス検出器;およびロゴまたはクロ
ーズド・キャプションのような補助情報が配置され、ま
たは伝送されることが予期される、あるいはヘッド切換
え過渡状態が起こることが予期される縁の領域の任意の
部分におけるビデオ情報をレターボックス検出器がサン
プリングするのを禁止する回路。例えば、ロゴの場合、
通常下部縁の付近または下部縁の右側に配置されるが、
水平サンプリング範囲は、各水平ラインの少なくとも右
側を除外する。ヘッド切換え過渡状態および垂直帰線消
去の場合、回路により垂直サンプリング範囲が定めら
れ、各フィールドの始めと終りにおいて何本かの水平ラ
インがこの範囲から除外される。
【0010】実際には、レターボックス形式の画像はし
ばしば、第1および/または第2の形式の補助情報が、
先に述べたように、縁の領域に配置されている。レター
ボックス検出器の動作は、第2の形式の情報(例えば、
ロゴ)は無視するが、第1の形式の情報は無視しないよ
うに制御される。これを行うために、水平サンプリング
範囲を限定し、ロゴが通常現れる範囲は除外されるが暴
風警報、ニュース速報および字幕が通常現れる範囲は少
なくとも幾分か含まれるようにする。このような範囲
は、各水平ラインの有効ビデオに関してはほぼ中央に位
置決められるが、狭いので、各水平ラインの端における
ロゴまたは他の任意の情報は除外される。垂直帰線消去
に関連する、第3の形式の情報は、例えば、垂直同期信
号の前の3本のラインから垂直同期信号の後の14本の
ラインまでに生じる。ヘッド切換え過渡状態は、例え
ば、垂直同期信号に先立つ5〜8ラインからの任意の所
で生じる。
【0011】本発明の有利な実施例では、ロゴがレター
ボックス信号の縁の部分に存在する大多数の場合、この
ようなロゴは画像の右下隅すなわち下部の縁の右側に在
ることが認識される。従って、輝度レベル検出器は、ロ
ゴが見い出される右側の部分以外の部分でのみ各ライン
を検査するように動作可能にされる。これは、各ライン
のおよそ70%をサンプリングすることにより実現さ
れ、例えば、各ラインのほぼ中央でサンプリングするこ
とにより実行することができる。各水平ラインには、水
平同期パルスから数えて1024個の画素があり、その
うち860個が有効であるとすると、ほぼ272番目の
画素から872番目の画素までサンプリングすると、各
ビデオラインのほぼ37.2マイクロセカンドに相当す
る。このため、上縁部でも下縁部でも、272番目の画
素の左側または872番目の画素の右側に配置されてい
るロゴの存在に反応することが回避される。同時に、す
べての水平ラインより少ない水平ラインが、ヘッド切換
え過渡状態および垂直帰線消去の間の妨害(inter
ference)を回避するためにサンプリングされ
る。それでもやはり、レターボックスビデオ源を確実に
識別するのに十分な情報がサンプリングされ、しかも、
すべてのラインおよび各水平ライン全体をサンプリング
して得られる結果よりも約1デシベルだけ性能が改善さ
れる。
【0012】図に示す実施例では、レターボックス検出
回路の動作は、或る垂直範囲の間および或る水平範囲の
間禁止される。第1の回路は、それぞれ所定の第1およ
び第2のピクセル計数値に応答し、且つ両方計数中のピ
クセル計数値に応答する第1および第2の比較器と、該
比較器の各々に応答するフリップフロップであって、計
数中のピクセル計数値が所定の第1のピクセル計数値に
なると、レターボックス検出イネーブル信号を開始さ
せ、計数中のピクセル計数値が所定の第2のピクセル計
数値になると、レターボックス検出イネーブル信号を終
了させるフリップフロップを含んでいる。第2の回路
は、それぞれ所定の第1および第2のライン計数値に応
答し、且つ両方が計数中のライン計数値に応答する第1
および第2の比較器と、該比較器の各々に応答するフリ
ップフロップであって、計数中のライン計数値が所定の
第1のライン計数値に達すると、レターボックス検出イ
ネーブル信号を開始させ、計数中のライン計数値が所定
の第2のライン計数値に達すると、レターボックス検出
イネーブル信号を終了させるフリップフロップを含んで
いる。本発明の原理に従う、自動レターボックス検出器
を図面に関連して説明する。
【0013】
【実施例】自動レターボックス(letterbox)
検出器は、図1に示すような、レターボックス型の従来
のビデオ信号12を検出するのに使用することができ
る。レターボックス形式の信号は、レターボックス信号
とも呼ばれ、有効ビデオを有する中央部14、上縁部1
6および下縁部18を備えている。縁の部分は典型的に
はフラット(flat)なビデオフィールドで、しばし
ば黒色である。有効ビデオの最初のライン20は、上縁
部16から有効ビデオ領域14への遷移を表わす。有効
ビデオの最後のライン22は有効ビデオ領域14から下
縁部18への遷移を表わす。ビデオ信号12が4×3の
表示比を有し、有効ビデオ領域が16×9の表示比を有
し、そしてワイドスクリーン・テレビジョンが表示比1
6×9のビデオ表示画面10を有するならば、有効ビデ
オ領域14を水平方向と垂直方向に4/3の比率で拡大
することにより、有効ビデオ領域14はワイド画面10
に正確にマップ(map)することができる。このよう
な状態では、フラットなフィールドの縁の部分16と1
8は視野から効果的に除去される。このような拡大を実
現する方法がいくつか知られている。実際には、有効ビ
デオ領域14の表示比は16×9とは異なる。このよう
な場合、マッピングは正確ではない。たとえ画像が両側
で切り取られてもワイド画面を画像で満たすのか、また
はワイド画面を垂直方向に満たし有効ビデオ領域の左右
両側の縁がワイド画面で見られるようにしておくのか
を、自動的にまたは手動制御により決めなければならな
い。
【0014】通常、レターボックス検出器は、上縁部1
6と下縁部18の一方または両方における有効ビデオの
欠如を検出する。このような回路は一般に、縁の部分に
現れる情報(暴風警報、ニュース速報、字幕、放送局ま
たは放送網のロゴなど)に惑わされる。図2は、暴風警
報の検出を示す。レターボックス形式のビデオ信号40
は、有効ビデオを有する中央部42、上縁部44および
下縁部46を備えている。暴風警報52は下縁部46で
伝送されている。有効ビデオの最初のライン48は、図
1の場合のように、上縁部44から有効ビデオ領域42
への遷移を表わしている。しかしながら、有効ビデオの
最後のライン50は有効ビデオ領域42から下縁部46
への遷移を表わしていない。ライン50は暴風警報の最
後のラインを表わしており、これは図2の左側の拡大さ
れた部分(a)には、もっとはっきりと示されている。
レターボックス検出器が判定する有効ビデオの範囲に
は、範囲42のみならず、縁46の大部分も含まれる。
これは、有効ビデオ領域が16×9より小さい有効表示
比を有するという効果を持つ。換言すれば、検出された
有効ビデオ領域は、高さの割には、領域42だけの場合
ほど広くはない。先に述べた例に従って、ワイド画面テ
レビジョン30の拡大された画像は側縁領域32と34
を有し、暴風警報52を含んでいる縁の部分46は、領
域38に暴風警報を有する下縁領域36として表示され
ている。
【0015】図3は、暴風警報のもう一つの画面を示
す。この場合、ビデオ信号40は、全く拡大せずに、ワ
イド画面テレビジョン60に表示され、レターボックス
信号の縁の部分および側縁部62と64も示されてい
る。
【0016】暴風警報その他の役立つ情報の場合、図2
および図3に示す例は適切である。しかしながら、縁の
部分で伝送される情報が、図1にラムダ(λ)として示
すような放送局または放送網のロゴ24だけであるなら
ば、図2および図3のようになることは望ましくなく、
ロゴ24に関係なく十分に拡大することが望ましい。レ
ターボックス信号の縁の部分に現れる、大部分の有用な
情報は縁の相当な部分を水平に横切るが、大抵のロゴは
ずっと小さく、ロゴ24で示すように、通常は下縁の右
端付近に位置している。ロゴが存在すると望ましくない
反応を示す自動レターボックス検出器は、このようなロ
ゴが通常無視される動作モードを備えることができる。
図4は、ロゴに反応を示さない自動レターボックス検出
回路を示す。
【0017】一般に、有効ビデオのラインを判定するた
めに、ビデオフィールドの各ラインについて2つの勾配
(gradient)が計算される。この2つの勾配を
計算するのに4つの値が必要とされる:(1)現在のラ
インの最大値と最小値、および前のラインの最大値と最
小値。第1の勾配は、正の勾配と呼ばれ、現在のライン
の最大値から前のラインの最大値を引くことにより形成
される。第2の勾配は負の勾配と呼ばれ、前のラインの
最大値から現在のラインの最小値を引くことにより形成
される。場面の内容に依り、勾配は正または負の値をと
るが、両勾配の負の値は無視される。何故ならば、一度
に負になる勾配は1つだけであり、正の値を有する勾配
の大きさは常に、負の値を有する勾配の大きさよりも大
きいかまたは等しいからである。これは、勾配の絶対値
を計算する必要性を無くすことにより回路を簡単な構成
にする。もしいずれかの勾配が、プログラム可能な閾値
を超える正の値をとるならば、現在のラインかまたは前
のラインのビデオが存在すると考えられる。これらの値
は、有効ビデオの最初と最後のラインを判定し、それに
よって信号の有効領域のアスペクト比を判定するため
に、マイクロプロセッサにより利用することができる。
この判定により、ビデオ源がレターボックス形式である
かどうかが決定され、表示される信号を必要に応じて変
換するために必要とされる偏向回路および解像回路の変
化の程度を更に計算することが可能となる。
【0018】ロゴの存在に反応しないレターボックス検
出器を実現する回路100を図4にブロック図で示す。
回路100は、輝度入力フィルタライン最大値(LIN
EMAX)検出器120、ライン最小値(LINE M
IN)検出器122および出力部124を含んでいる。
輝度入力フィルタは、有限インパルス応答(Finit
e Impulse Response:FIR)段1
12と114、および加算器116と118を含んでい
る。レターボックス検出回路100は、ディジタル化さ
れた輝度データY_INで動作する。雑音性能を改善
し、検出をより確実にするために、入力フィルタが利用
される。このフィルタは本質的に、2つの継続接続され
たFIR段であり、以下のような伝達関数を持ってい
る: H(z)=1/4×(1+Z−1)×(1+Z−3) 各段の出力は、直流利得1を維持するために、8ビット
に切り詰められる(2で割られる)。
【0019】LINE MAX検出器120は2個のレ
ジスタを含んでいる。第1のレジスタはライン期間内の
現在の点で最大の画素値(MAX PIX)を含んでい
る。第1のレジスタは、各ライン期間の始まりに、80
hの値に初期設定される。80hの値は、2の補数形式
における8ビットの数に対する最小値を表わす(最上位
のビットは符号である)。この回路は、有効ビデオライ
ンの約70%について高くなる信号(LTRBX_EN
と称す)により動作可能にされる。第2のレジスタは、
前のライン全体についての最大の画素値(MAX LI
NE)を含んでおり、1ライン期間に一度更新される。
入来する輝度データY_INは、MAXPIXレジスタ
に貯えられた現在の最大画素値と比較される。もし入来
データがレジスタの値を超えていれば、MAX PIX
レジスタは次のクロック・サイクルで更新される。ビデ
オラインの終りに、MAX PIXレジスタは、それが
動作可能にされたライン全体にわたる最大値を含む。次
のビデオラインの始まりに、MAX PIXレジスタの
値はMAX LINEレジスタの中に入れられ、MAX
PIXレジスタの中に80hが再び入れられる。
【0020】ライン最小値検出器122も同じように動
作するが、MIN LINEレジスタは前のラインの最
小画素値を含む。MIN PIX値は7Fhの値に初期
設定され、この値は2の補数形式における8ビットの数
について取り得る最大の画素値である。
【0021】出力部124は、MAX LINEレジス
タの値とMIN LINEレジスタの値を取り、これら
を1ライン毎に一度更新される8ビットのラッチに貯え
る。次に、2つの勾配、すなわち正の勾配と負の勾配が
計算される。2つの勾配のいずれかが正であり且つプロ
グラム可能な閾値よりも大きい、1フィールド内の最初
のラインで、イネーブル信号が発生され、第1ラインの
レジスタに現在のラインの計数値が入れられる。いずれ
かの勾配が正であり且つプログラム可能な閾値を超えて
いる各ライン毎に、別のイネーブル信号が発生され、最
終ラインのレジスタに現在のラインの計数値が入れられ
る。このようにして、最終ラインのレジスタには閾値が
超えられたフィールド内の最後のラインが入れられる。
毎フィールドの始まりに、回路は再び初期設定され、第
1ラインのレジスタと最終ラインのレジスタにおける値
は、それぞれのレターボックス端末レジスタの中に入れ
られる。LTRBX_BEG信号およびLTRBX_E
ND信号は、レターボックス信号の始まりと終わりをそ
れぞれ示すライン番号を表わし、信号処理技術、偏向回
路の操作またはこれらの組み合わせにより、画像を拡大
するための制御信号として使用することができる。
【0022】ライン最大値検出器120とライン最小値
検出器122を動作可能にする、LTRBT_EN信号
の発生は、各水平ラインにおいて、ビデオデータの或る
水平範囲にレターボックス処理回路の動作を制限する手
段101により、縁の部分におけるロゴに反応するのを
回避するように制御される。LTRBX_EN信号は比
較器102と104およびJ−Kフリップフロップ10
6により発生される。図5に示すように、各水平ライン
は、説明の目的で、1024個の画素を持つと見做され
る。水平同期パルスから数えて、最初の150個の画素
は水平帰線消去期間中に生じる。次の860個の画素は
有効画素であり、有効ビデオは151番目の画素から1
010番目の画素に及ぶ。1011番目から1024番
目までの画素はビデオ信号のフロントポーチを表わし、
有効ビデオとは見做されない。また、各画素または画素
の位置は10ビットの数により表わされるものとする。
比較器102は、ライン103でA入力を有し、これは
第1の画素を表わす。比較器104はライン105でA
入力を有し、これは第2の画素を表わす。ライン107
における、各比較器102および104のB入力は、計
数中の画素計数値を表わす信号H_COUNTであり、
例えば、1024fで動作する画素計数器(図示せ
ず)の出力を表わす。必要とされるハードウェアを簡単
にするために、H_COUNT信号は10ビットの数の
上位8ビットであり、これはこの10ビットの数を4で
割った数に等しい。それ故、比較器に入力される一定の
画素計数値は、所望される値の4分の1になる。したが
って、ライン103における数“68”は実際には、そ
の4倍の値を有する画素、すなわち“272”番目の画
素を表わす。同様にして、ライン105における数“2
18”もその4倍の値を持つ画素、すなわち“872”
番目の画素を表わす。その結果、各ラインのうちのサン
プリングされる部分または検査される部分はほぼ中央に
置かれ、各ラインのうち、水平帰線期間に相当する部分
は無視され、両側の150個の画素は検査されない。検
査される各水平ラインにおいて、有効ビデオの860個
の画素のうち約600個の画素がサンプリングされ、こ
れらの画素のうち約70%が有効なビデオ情報を持って
いる。
【0023】H_COUNTが“68”に達すると、ラ
イン109における出力はJ−Kフリップフロップ10
6をセットし、Q出力は高くなり、LTRBX_EN信
号を発生させ、検出器120と122が動作できるよう
にする。H_COUNTが“218”に達すると、ライ
ン111における出力はJ−Kフリップフロップ106
をリセットし、Q出力は低くなり、LTRBX_EN信
号を禁止し、検出器120と122の動作を阻止する。
そのため、レターボックスの検出は、水平同期信号から
約16.8マイクロセカンドの遅延後にのみ、各ビデオ
ラインについて可能にされる。各ビデオラインについて
のレターボックスの検出は、各ビデオラインの終了する
約9.4マイクロセカンド前に不能にされる。これによ
って、レターボックス信号を確実に検出するために十分
なビデオデータ処理が行われ、同時に、多分ロゴだけし
か含まないと思われる領域におけるすべてのビデオ情報
は無視される。それでもやはり、暴風警報、字幕その他
の役に立つ情報は、ワイド画面いっぱいに拡大される画
像を変更する目的のために、検出される。
【0024】VHS形式を使用するビデオ・カセット・
レコーダ(VCR)またはヘリカル走査型のVCRはヘ
ッド切換えの過渡状態を生じ、これは、垂直同期信号
(V−SYNC)よりも5〜8ライン前の所で、有効ビ
デオと間違えられ、レターボックスが誤って検出され
る。また、垂直帰線期間およびその中に含まれる補助情
報(クローズド・キャプション情報など)によって引き
起こされる妨害の程度を判定することは必要である。ク
ローズド・キャプション情報およびVCRヘッド切換え
の過渡状態に基づく誤った検出を回避するために、LI
NE MAXレジスタ120とLINE MINレジス
タ122の出力は、イネーブル信号によって出力部12
4の9ビットのラッチの中に入れられるのを阻止され
る。このイネーブル信号は、各フィールドにおいて、ヘ
ッド切換えの過渡状態および垂直帰線消去の領域を避け
る水平ラインの範囲(例えば、各フィールドの24番目
の水平ラインから250番目の水平ラインまでの間)で
のみ生じることが許容される。
【0025】図4において、出力部124内の9ビット
・ラッチに入力できるようにする為に、イネーブル信号
VERT ENを制御する回路128は、比較器130
と132、J−Kフリップフロップ134、および水平
ライン計数器(図示せず)により形される。ライン計
数器は、連続するフィールドが262ラインと263ラ
インにそれぞれ量子化されるようにクリアすることがで
きる。換言すれば、垂直同期信号V−SYNCの前縁の
直ぐあとの水平同期信号でライン0が始まる。イネーブ
ル信号VERT ENの開始値はライン計数値24にセ
ットし、終了値はライン計数値250にセットすること
ができる。このため、垂直帰線消去期間中の妨害が排除
される。垂直帰線消去期間は、V−SYNCの3ライン
前(ライン計数値250)からV−SYNCの14ライ
ン後(ライン計数値16)にまで及ぶ。このため、ヘッ
ド切換えの過渡状態からの妨害も排除される。ヘッド切
換えの過渡状態はV−SYNCの5〜8ライン(ライン
計数値254〜257)前に起こる。
【0026】前述の関係は図面に示されている。図6の
(a)、(b)、および(c)に示すのは、VERT_
EN信号、V−SYNC信号、および2つの連続するフ
ィールドのうち最初のフィールドの水平ライン計数値
で、フィールドは262水平ライン(“0”から“26
1”まで)に量子化されている。VERT_EN信号は
ライン250からライン24まで(全部で36ライン)
不能にされる。図7の(a)、(b)、および(c)に
示すのは、VERT_EN信号、V−SYNC信号、お
よび2つの連続するフィールドのうち第2のフィールド
の水平ライン計数値で、フィールドは263水平ライン
(“0”から“262”まで)に量子化されている。V
ERT_EN信号はやはりライン250からライン24
まで(第2フィールドは1ラインだけ長いので37ライ
ン)不能にされる。追加のライン“262”は垂直帰線
消去期間中に生じる。
【0027】再び図4に関して述べると、比較器130
はライン131でA入力を有し、これは最初の水平ライ
ン計数値(例えば“24”)を表わす。比較器132は
ライン133でA入力を有し、これは第2の水平ライン
計数値(例えば“250”)を表わす。ライン107に
おける、各比較器102と104のB入力は、計数中の
水平ライン計数値L_COUNTを表わし、これは水平
ライン計数器(図示せず)の出力を表わす。
【0028】L_COUNTが“24”に達すると、ラ
イン137における出力はJ−Kフリップフロップ13
4をセットし、Q出力は高くなり、VERT_EN信号
を発生し、出力回路124内のラッチに入力できるよう
にする。L_COUNTが“250”に達すると、ライ
ン139における出力はJ−Kフリップフロップ134
をリセットし、Q出力は低くなり、出力回路124内の
ラッチに入れられるのを阻止する。そのため、レターボ
ックスの検出が可能になるのは、ヘッド切換えの過渡状
態を持たないビデオラインについてのみかまたは垂直帰
線消去期間の間である。回路100のこの部分によっ
て、各フィールドにおける有効ビデオラインの大多数に
ついてレターボックス検出が可能になり、レターボック
ス信号を確実に検出するのに十分なビデオデータのライ
ンが与えられる。
【0029】ここで述べたレターボックス自動検出器
は、常に動作可能であり、またはレターボックス自動検
出が動作モードとして手動で選択されるときはいつでも
動作可能であり、または、一般にレターボックス自動検
出が選択されたとき、複数のレターボックス検出動作モ
ードのうちの1つとして利用できる。
【図面の簡単な説明】
【図1】放送網のロゴを含んでいる、レターボックス形
式の従来のビデオ信号が、ワイド・スクリーンテレビジ
ョンに表示するために、画面いっぱいに拡大できる様子
を示す。
【図2】暴風警報を含んでいるレターボックス形式の従
来のビデオ信号が、ワイドスクリーン・テレビジョンに
表示するために程度を減らして拡大できる様子を示す。
【図3】暴風警報を含んでいる、レターボックス形式の
従来のビデオ信号が拡大されずにワイドスクリーンテレ
ビジョンに表示できる様子を示す。
【図4】図1のいっぱいに拡大された画像表示を開始す
るための、レターボックス自動検出回路のブロック図で
ある。
【図5】レターボックス検出器の水平の動作範囲を説明
するのに役立つ図である。
【図6】連続するビデオフィールドのうちの最初のフィ
ールドにおけるレターボックス検出器の垂直方向の動作
範囲を説明するのに役立つ図である。
【図7】連続するビデオフィールドのうちの第2のフィ
ールドにおけるレターボックス検出器の垂直方向の動作
範囲を説明するのに役立つ図である。
【符号の説明】
10 ワイドスクリーン 12 従来のビデオ信号 14 中央部分(有効ビデオ領域) 16 上縁部分 18 下縁部分 20 最初のライン 22 最後のライン 24 放送局または放送網のロゴ 30 ワイドスクリーン・テレビジョン 32 側縁部分 34 側縁部分 36 下縁部分 52 暴風警報 100 レターボックス検出回路 102 比較器 104 比較器 112 有限インパルス応答段 114 有限インパルス応答段 116 加算器 118 加算器 120 ライン最大値検出器 122 ライン最小値検出器 124 出力段 130 比較器 132 比較器 134 フリップフロップ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 グレグ アラン クラナウエツター アメリカ合衆国 インデイアナ州 イン デイアナポリスベイウツド・ドライブ 11205 (72)発明者 ナタニエル ハルク アーソズ アメリカ合衆国 インデイアナ州 ブラ ウンズバーグイースト・ステート・ロー ド 136 6565 (58)調査した分野(Int.Cl.6,DB名) H04N 5/262 H04N 5/45

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 ワイド形式の表示比を有するビデオ表示
    手段と、 ビデオ信号により表わされる画像が、前記ビデオ表示手
    段の画面の上縁部と下縁部の間に前記画像の有効ビデオ
    が配置されるレターボックス形式であるかどうかを検出
    するレターボックス検出器であって、前記ビデオ信号が
    レターボックス形式であることを検出したとき、前記画
    面を前記有効ビデオで満たすように前記画像を拡大させ
    る制御信号を発生する前記レターボックス検出器と、 前記レターボックス検出器の動作を各フィールドの所定
    範囲に制限する制限回路とを具え、 前記制限回路が、 第1の計数値および第2の計数値を計算中のライン計数
    値と比較する比較手段と、 前記比較手段に応答し、前記計算中のライン計数値が前
    記第1の計数値と第2の計数値の間にある時にイネーブ
    ル信号を発生する手段とから成り、 前記ライン計数値が連続するフィールドにおいて整数の
    ライン数である、 ビデオ表示制御システム。
  2. 【請求項2】 前記レターボックス検出器の動作が各フ
    ィールドにおいて垂直帰線消去期間を除外した部分に制
    限されるように、前記第1の計数値および第2の計数値
    が選定されている、請求項1記載のビデオ表示制御シス
    テム。
JP6137753A 1993-05-19 1994-05-18 ビデオ表示制御システム Expired - Lifetime JP2949657B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US063480 1993-05-19
US08/063,480 US5345270A (en) 1990-06-01 1993-05-19 Managing letterbox signals with logos and closed captions

Publications (2)

Publication Number Publication Date
JPH0750779A JPH0750779A (ja) 1995-02-21
JP2949657B2 true JP2949657B2 (ja) 1999-09-20

Family

ID=22049491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6137753A Expired - Lifetime JP2949657B2 (ja) 1993-05-19 1994-05-18 ビデオ表示制御システム

Country Status (10)

Country Link
US (1) US5345270A (ja)
EP (1) EP0625852B1 (ja)
JP (1) JP2949657B2 (ja)
KR (1) KR100196553B1 (ja)
CN (1) CN1097393C (ja)
DE (1) DE69420182T2 (ja)
ES (1) ES2134876T3 (ja)
MY (1) MY110720A (ja)
SG (1) SG99829A1 (ja)
TW (1) TW285810B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6120437A (en) * 1988-07-22 2000-09-19 Inbae Yoon Methods for creating spaces at obstructed sites endoscopically and methods therefor
JP3589720B2 (ja) * 1994-12-07 2004-11-17 株式会社東芝 多画面テレビ受像機
US5701161A (en) * 1994-12-14 1997-12-23 Williams; Mark C. Method and apparatus for providing real time data on a viewing screen concurrently with any programing in process
JPH0993548A (ja) * 1995-09-27 1997-04-04 Toshiba Corp 文字情報表示機能付きテレビ受信機
EP0800311B1 (en) * 1996-04-01 2001-08-08 Matsushita Electric Industrial Co., Ltd. Circuit for automatic detection of letter box pictures in TV-receivers
US6340992B1 (en) * 1997-12-31 2002-01-22 Texas Instruments Incorporated Automatic detection of letterbox and subtitles in video
US6262772B1 (en) * 1998-11-23 2001-07-17 Philips Electronics North America Corporation Method and apparatus for preventing display screen burn-in
FR2793375A1 (fr) * 1999-05-06 2000-11-10 Thomson Multimedia Sa Procede de detection de bandes noires dans une image video
US6513003B1 (en) 2000-02-03 2003-01-28 Fair Disclosure Financial Network, Inc. System and method for integrated delivery of media and synchronized transcription
EP1286546A1 (en) * 2001-08-02 2003-02-26 Pace Micro Technology PLC Television system allowing teletext windows repositioning
US7245316B2 (en) * 2002-01-25 2007-07-17 Thomson Licensing Method and system for maintaining even tube burn-in
WO2003077542A1 (en) * 2002-03-11 2003-09-18 Koninklijke Philips Electronics N.V. Image display apparatus
EP1408684A1 (fr) * 2002-10-03 2004-04-14 STMicroelectronics S.A. Procédé et système d'affichage video avec recadrage automatique
GB2399471B (en) * 2003-03-12 2006-11-15 Snell & Wilcox Ltd Video display device
US20070118812A1 (en) * 2003-07-15 2007-05-24 Kaleidescope, Inc. Masking for presenting differing display formats for media streams
US8400569B2 (en) * 2004-11-30 2013-03-19 Broadcom Corporation Video system and method supporting display of different size pictures
KR100594806B1 (ko) 2004-12-28 2006-06-30 삼성전자주식회사 레터박스 경계를 검출하는 디스플레이장치 및 이를 이용한영상 디스플레이 방법
JP4871635B2 (ja) * 2006-04-28 2012-02-08 キヤノン株式会社 デジタル放送受信装置及びその制御方法
JP4997839B2 (ja) * 2006-06-16 2012-08-08 ソニー株式会社 映像特殊効果装置及びその制御方法
CN105513521B (zh) * 2016-01-25 2018-04-13 京东方科技集团股份有限公司 异形显示屏图像阵列的分区显示系统及方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646783B2 (ja) * 1984-10-15 1994-06-15 ソニー株式会社 マルチ走査形テレビジヨン受像機
US4670784A (en) * 1985-04-15 1987-06-02 Cbs, Inc. Methods for coping with non-uniform phosphor aging in dual mode television receivers
JPS6276986A (ja) * 1985-09-30 1987-04-09 Matsushita Electric Ind Co Ltd ワイドアスペクトテレビジヨン再生装置
US4760455A (en) * 1985-11-29 1988-07-26 Canon Kabushiki Kaisha Picture output device
US4761587A (en) * 1986-12-17 1988-08-02 Rca Licensing Corporation Multiple frequency horizontal oscillator for video apparatus
JPH0824355B2 (ja) * 1987-01-27 1996-03-06 松下電器産業株式会社 テレビジヨン受信装置
US4769705A (en) * 1987-06-30 1988-09-06 Rca Licensing Corporation Deflection synchronizing apparatus
US4766355A (en) * 1987-09-25 1988-08-23 Zenith Electronics Corporation Automatic vertical size control
DE3840054C1 (ja) * 1988-11-28 1989-09-07 Institut Fuer Rundfunktechnik Gmbh, 8000 Muenchen, De
JP2910043B2 (ja) * 1988-12-28 1999-06-23 松下電器産業株式会社 映像表示装置
JPH0810927B2 (ja) * 1989-06-07 1996-01-31 株式会社東芝 多重信号伝送及び受信装置及びその方法
US5216505A (en) * 1989-08-16 1993-06-01 Hitachi, Ltd. Scanning line interpolation circuit
ATE150927T1 (de) * 1989-08-23 1997-04-15 Thomson Consumer Electronics Konvergenzregelsystem für mehrfache vertikale formate
JPH03101575A (ja) * 1989-09-14 1991-04-26 Toshiba Corp テレビジョン受信機
EP0500704A1 (en) * 1989-11-06 1992-09-02 General Electric Company Signal processing apparatus for a widescreen television system
GB8929143D0 (en) * 1989-12-22 1990-02-28 Gen Electric Improved advanced compatible television(actv)system
CA2027336A1 (en) * 1989-12-22 1991-06-23 Michael Anthony Isnardi Video panning system for widescreen television
JPH03198593A (ja) * 1989-12-27 1991-08-29 Nippon Television Network Corp テレビジョン方式
GB2240002B (en) * 1990-01-12 1993-10-27 British Broadcasting Corp Transmission of DATV through letterbox PAL channel
JPH07121108B2 (ja) * 1990-03-24 1995-12-20 日本テレビ放送網株式会社 テレビジョン方式
US5097332A (en) * 1990-05-02 1992-03-17 Faroudja Y C Processing method for wide-aspect-ratio television signal for standards-compatible transmission and display
JPH0427288A (ja) * 1990-05-23 1992-01-30 Hitachi Ltd ワイドアスペクト比テレビジョン信号の伝送方法及び装置
GB9012326D0 (en) * 1990-06-01 1990-07-18 Thomson Consumer Electronics Wide screen television
EP0496363A3 (en) * 1991-01-21 1993-12-08 Nippon Television Network Multiplexed signal transmitting and receiving apparatus
JPH04330884A (ja) * 1991-01-21 1992-11-18 Nippon Television Network Corp 多重信号受信装置
JPH04321387A (ja) * 1991-01-22 1992-11-11 Toshiba Corp 字幕検出装置
JPH04347980A (ja) * 1991-01-24 1992-12-03 Toshiba Corp 字幕付加装置
JPH04240982A (ja) * 1991-01-25 1992-08-28 Hitachi Ltd テレビジョン信号送受信装置
JPH04322577A (ja) * 1991-04-22 1992-11-12 Toshiba Corp テレビジョン受像機
JPH04361490A (ja) * 1991-06-07 1992-12-15 Sharp Corp テレビジョン受像機
FR2684831B1 (fr) * 1991-12-09 1994-03-18 Nokia Consumer Electronics Franc Dispositif de modification d'images de television a visualiser sur un ecran d'un recepteur de television.
US5262864A (en) * 1992-07-10 1993-11-16 Thomson Consumer Electronics, Inc. Frame based vertical panning system

Also Published As

Publication number Publication date
CN1097393C (zh) 2002-12-25
EP0625852A3 (en) 1995-01-18
KR100196553B1 (ko) 1999-06-15
KR940027558A (ko) 1994-12-10
MY110720A (en) 1999-01-30
DE69420182T2 (de) 2000-01-20
ES2134876T3 (es) 1999-10-16
JPH0750779A (ja) 1995-02-21
CN1101777A (zh) 1995-04-19
EP0625852A2 (en) 1994-11-23
DE69420182D1 (de) 1999-09-30
US5345270A (en) 1994-09-06
TW285810B (ja) 1996-09-11
EP0625852B1 (en) 1999-08-25
SG99829A1 (en) 2003-11-27

Similar Documents

Publication Publication Date Title
JP2979497B2 (ja) ビデオ表示制御装置およびビデオ表示制御方法
JP2949657B2 (ja) ビデオ表示制御システム
US5546131A (en) Television receiver having an arrangement for vertically shifting subtitles
EP0913993A1 (en) Method and apparatus for automatic format detection in digital video picture
JP3429842B2 (ja) 映像信号の画像情報検出装置
US4677482A (en) Dual mode progressive scan system with automatic mode switching by image analysis
US5680176A (en) Apparatus for controlling caption display on a wide aspect ratio
JPH0662313A (ja) 映像拡大装置
KR100276575B1 (ko) 레터박스 디스플레이
EP1286546A1 (en) Television system allowing teletext windows repositioning
JP3177564B2 (ja) 画像の特徴検出装置、画像調整システム、字幕編集システムおよびテレビジョン受像機
EP0913994B1 (en) Method and apparatus for automatic format detection in digital video pictures
JP3232950B2 (ja) 映像種類識別装置及びそれを用いたアスペクト比自動識別装置及びテレビジョン受像機
JP3469307B2 (ja) レターボックス画面検出装置
JP3316271B2 (ja) テレビジョン受像機
JPH099170A (ja) 画面表示領域判別装置
JPH04347980A (ja) 字幕付加装置
JP2902837B2 (ja) 画像検出回路
JP3299838B2 (ja) ワイドアスペクトテレビジョン表示装置
JP3442145B2 (ja) テレビジョン映像信号の境界位置検出装置
JP3524193B2 (ja) ワイドアスペクトテレビジョン
JPH0758973A (ja) アスペクト比判別装置及び映像表示装置
JP3491958B2 (ja) テレビジョン受像機
KR100310182B1 (ko) 레터박스검출기
JP3469308B2 (ja) レターボックス画面検出装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070709

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080709

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080709

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090709

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090709

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100709

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110709

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110709

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120709

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120709

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 14

EXPY Cancellation because of completion of term