JP3676816B2 - オンスクリーン情報を供給する装置および方法 - Google Patents
オンスクリーン情報を供給する装置および方法 Download PDFInfo
- Publication number
- JP3676816B2 JP3676816B2 JP53576896A JP53576896A JP3676816B2 JP 3676816 B2 JP3676816 B2 JP 3676816B2 JP 53576896 A JP53576896 A JP 53576896A JP 53576896 A JP53576896 A JP 53576896A JP 3676816 B2 JP3676816 B2 JP 3676816B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- video
- compressed
- representing
- screen display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
- H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
- Television Systems (AREA)
- Facsimiles In General (AREA)
- Image Processing (AREA)
Description
発明の属する技術分野
本願発明は、ＭＰＥＧのようなディジタル圧縮標準に従って圧縮されたビデオ情報を処理するディジタル・テレビジョン・システム等のビデオ信号処理システムのための“オンスクリーン”表示手段に関する。
発明の背景
テレビジョン受像機、ビデオ・カセット・レコーダ（ＶＣＲ）およびビデオ・ディスク・プレーヤのような現代の消費者向け電子製品は、通常はビデオ情報を表示するために使用される表示装置のスクリーン上にテキスト（文字）（アルファニューメリック、英数字）グラフィックスおよび画像グラフィックスの形態で状態情報および指示（命令）を表示するための、いわゆる“オンスクリーン”表示（“ＯＳＤ：On Screen Display”）手段を一般的に具えている。初期のＯＳＤシステムでは、現在視聴中の番組（プログラム）のチャンネル番号または番組番号および現在時刻のような限られたデータ量の状態情報が表示できるだけだった。その後のＯＳＤシステムでは、テレビジョン受像機のコントラストおよび輝度（明るさ）の設定や、これからＶＣＲによって記録しようとする番組の各記録時間（時刻）およびチャンネル番号の設定のような設定調整を行う場合において、ユーザを案内（ガイド）するための指示情報の表示が行えるようになった。
典型的なＯＳＤシステムにおいては、ＯＳＤグラフィックス情報は“ビットマップ形(bit-mapped)”として知られている形式でメモリに記憶されている。“ビットマップ”は、表示されるグラフィックスの形状を規定する長方形状（矩形状）配列の複数画素（“ピクセル”）のアレイである。ビットマップ・メモリの各メモリ位置は、それぞれの対応するグラフィックス・ピクセル用のコードワード（符号語）を含んでいる。このコードワードは、そのグラフィックス・ピクセルの輝度（強度）レベルまたは色（カラー）を規定する。テキスト情報については、各コードワードは、特定の輝度レベル（例、白）または色を有するピクセルの存在（例、論理レベル“０”による）または不存在（例、論理レベル“０”による）を指定する単一ビットだけからなるものであってもよい。画像グラフィックスについては、各コードワードは複数の色の中の任意の１つを表すものであってもよい。例えば、４ビットのコードワードによって異なる１６（２４）種類の色を表すことができる。各ピクセルの色情報は“カラー・パレット（color palette）”と呼ばれるメモリに記憶されており、そのコードワードを用いてカラー・パレット・メモリをアドレスする。換言すれば、カラー・パレット・メモリは、グラフィックス・ピクセルの色用の“ルックアップ”テーブルとして用いられる。
或るごく最近のＯＳＤシステムでは、限定されたアニメーション（動画）形グラフィックスを含む非常に高度なグラフィックスを表示することができる。アニメーションは、動画の効果を生じるようにグラフィックス情報をシーケンス処理（順序処理、順次供給）することによって生成される。消費者向け製品におけるＯＳＤアニメーションを実現するための既知の技法では、通常はマイクロプロセッサの制御の下で、一連のビットマップ形（ビットマップされた）グラフィック画像をメモリに記憶して、記憶されているビットマップ形グラフィック画像の１つ１つをそのメモリから適正な順序で読出すことが行われる。アニメーション表示される表示領域のサイズ（寸法）次第では、一連のビットマップ形グラフィック画像を記憶するのに必要なメモリの記憶容量は相当な量になる。さらに、ビットマップ形グラフィック画像を読出して処理する場合に要求されるマイクロプロセッサの作業負荷も非常に高くなる。メモリ容量およびマイクロプロセッサの処理能力に対する要求が高いと、高品質のアニメーション機能は、特に一般消費者向け製品としては、非常に高価なものになってしまう。
文献“テレビジョン・グラフィックス・アニメーション・モジュール用の新しいアーキテクチャ（A New Architecture for a TV Graphics Animation Module）”、ＩＥＥＥトランザクション・オン・コンシューマ・エレクトロニクス（IEEE Transactions on Consumer Electornics）39(1993)，No.4.(Nov.)において、その著者は、アナログ・ビデオ信号およびグラフィックス・データを表すディジタル信号を受信することができるワークステーションを用いたテレビジョン・グラフィックス・アニメーション再生／エディット（編集）システムを説明している。その両方の信号にリアルタイム圧縮が適用されて、それがディスク・メモリに記憶される。次いで、そのディスク・メモリからデータが読出され、リアルタイムで伸長されて、モニタに表示される。
１９９４年５月１８日付け欧州特許公報第０ ５９７ ６１６号には、アニメーション・シーケンスとコンピュータ・グラフィックス情報とを混合してコンピュータ・ディスプレイ・スクリーンに表示するシステムが記載されている。そのアニメーション・シーケンスは、圧縮フォーマットで記憶される。次いで、圧縮されたアニメーション・シーケンスは、記憶装置から取出され、伸張され、コンピュータ・グラフィックス情報との同期がとられて、コンピュータ・モニタに送出される。
また、１９９５年６月２８日付け欧州特許公報第０ ６６０ ６０９号には、ＭＰＥＧ形符号化方法を用いて、背景画像を有するＩフレームと種々のＰフレームとを符号化し、その各Ｐフレームはドロップ・ダウン・リスと（drop-down list）またはボタンのようなメニューまたはその他のユーザ・ウィンドウ形制御手段を作成するのに必要な背景画像のＩフレームに対するその変化分を符号化するシステムが記載されている。これらのフレームは、ケーブル・ヘッド・エンド（ケーブル中央局）のようなセンタ位置から受信機位置に送信されて、センタ位置と対話するためのグラフィック・インタフェースに提供される。
さらに、１９９４年６月１５日刊行の欧州特許公報第０ ６０１ ６４７号には、ビデオ・データが内部フォーマットで記憶されるシステムが記載されている。入力符号化器があって、それが種々のフォーマットのビデオ信号を受け取り、そのビデオ信号をそのフォーマットから内部フォーマットに変換する。また、出力復号器があって、それが内部フォーマットのビデオ・データを取出して、それを対応するそれぞれの出力フォーマットに変換する。また、マルチプレクサがあって、それが出力復号器の１つを表示装置に結合させる。
発明の概要
本発明は、例えばＭＰＥＧ標準に従う圧縮形式でビデオおよびオーディオ情報を表すディジタル・パケット・ストリームの形式でテレビジョン情報を処理するタイプのディジタル・ビデオ信号処理システムに余分なコストや複雑さをほとんど付加することなく、アニメーションのような高度なＯＳＤグラフィックスを生成する装置を付加することができるであろうという認識に一部基づいている。本発明によれば、グラフィックスをビットマップ形式で記憶する代わりに、ビデオ情報に用いられる例えばＭＰＥＧ等のビデオ圧縮標準と同じビデオ圧縮標準による圧縮形式でグラフィックスが記憶される。本発明は、特に、アニメーション・グラフィックスを生成するのに有用である。圧縮されたアニメーションを記憶するのに必要なメモリ容量は、同じアニメーションをビットマップ形式で記憶するのに必要なメモリ容量よりもかなり少ない。また、圧縮されたアニメーションを処理するためのマイクロプロセッサの作業負荷は、同じアニメーションをビットマップ形式で処理するのに必要な作業負荷よりかなり少ない。
さらに具体的には、本発明は、主に圧縮形式のビデオおよびオーディオ情報を表すパケット・ストリームの形式でビデオ情報を処理するタイプ（型）のディジタル・ビデオ信号処理システムに用いられるＯＳＤ構成（回路、装置）に適用し得るものである。このディジタル・ビデオ信号処理システムは、そのパケットに含まれているヘッダ情報に従ってパケットのペイロード・データをディジタル信号処理部のそれぞれの対応する復号および伸張（復元）ユニットに分配するデマルプレクサ（しばしばトランスポート・ユニットといわれる）を含んでいる。本発明の特徴の１つによれば、ＯＳＤ構成は、ビデオ情報に用いられるのと同じ圧縮形式のＯＳＤグラフィックス情報を表すＯＳＤグラフィックス・データを記憶するためのメモリと、ＯＳＤグラフィックスを表示しようとするときにそのＯＳＤグラフィックス・データをトランスポート・ユニットに選択的に経路指定するための制御器と、を具えている。そのＯＳＤグラフィックス・データは、トランスポート・ユニットによって、ビデオデータの場合と同じ形態でグラフィックス・データを復号および伸張（復元）するビデオ復号および伸張ユニットに経路指定され、その結果、そのグラフィックスを表すディジタル信号が生成されて、最終的にＯＳＤグラフィックスが表示される。このＯＳＤグラフィックス・データはアニメーションに相当するものであってもよいという利点がある。
本発明の別の特徴によれば、ＯＳＤ構成は、さらにテキスト・グラフィックスまたは画像グラフィックスのような“静止(static)”ＯＳＤグラフィックスをビットマップ形式で表すデータを記憶する手段を含んでいる。ビットマップ形の静止グラフィックス・データは、ディジタル信号処理部に供給されて、そこでビデオ復号および伸張ユニットにおいて静止グラフィックスを表すディジタル・ビデオ信号に都合よく変換される。静止グラフィックスを表すディジタル・ビデオ信号は、圧縮形のアニメーション・グラフィックス・データから導出されたアニメーション・グラフィックスを表すディジタル信号と多重化され、その結果、静止グラフィックスとアニュメーション・グラフィックスとを合成したものが得られる。
発明の構成
請求の範囲
圧縮され且つディジタル符号化されているテレビジョンのビデオ情報とオーディオ情報を表し、それぞれが特定のタイプの情報を表すペイロード・データとこのペイロード・データによって表される情報の特定のタイプを識別するヘッダとを含むパケットのストリームを受信し、処理するテレビジョン・システムであって、
テレビジョン・ビデオ情報を表すペイロード・データを伸張して、伸張されたビデオ情報を表すディジタル信号を生成するビデオ伸張手段（１５０９−５）と、
テレビジョン・オーディオ情報を表すペイロード・データを伸張して、伸張されたオーディオ情報を表すディジタル信号を生成するオーディオ伸張手段（１５１１）と、
上記パケットに含まれているそれぞれの上記ヘッダに従って、上記パケットのストリームの中の上記パケットのペイロード・データを上記ビデオ伸張手段（１５０９−５）とオーディオ伸張手段（１５１１）に転送する転送手段（１５０７）と、
受信したテレビジョン・ビデオ情報と同様の方法で圧縮されているオンスクリーン表示グラフィックス情報を表すデータを記憶する記憶手段（１５２５−５）と、
上記記憶手段（１５２５−５）から取り出された圧縮されているオンスクリーン表示グラフィックス情報を表す前記データを上記転送手段（１５０７）に選択的に結合し、その後、上記圧縮されているオンスクリーン表示グラフィックス情報を表す前記データが上記転送手段により上記ビデオ伸張手段（１５０９−５）に供給されるようにする結合手段
とを具え、
上記ビデオ伸張手段において、上記圧縮されているオンスクリーン表示グラフィックス情報を表すデータが伸張されて、上記圧縮されているオンスクリーン表示グラフィックス・データから得られるオンスクリーン表示グラフィックス情報を表すディジタル信号が生成されることを特徴とするテレビジョン・システム。
【図面の簡単な説明】
図１は、本発明に従って構成されたＯＳＤ構成を具えていて、圧縮されディジタル符号化されたビデオ信号を処理するディジタル衛星テレビジョン・システムのブロック図である。
図２は、図１に示されたディジタル衛星テレビジョン・システムにおけるビデオ復号および伸張ユニットのブロック図である。
図３は、図２に示されたビデオ復号および伸張ユニットにおいて用いられるフォーマット変換器のブロック図である。
図面の詳細な説明
以下、本発明を、テレビジョン情報がＭＰＥＧプロトコルまたはＭＰＥＧ標準として知られている規格に従って圧縮され符号化される衛星テレビジョン・システムを参照して説明する。ＭＰＥＧとは、動画専門家グループ(Motion Pictures Expert Group)によって勧告された動画およびそれに関連するオーディオ情報を符号化するための国際標準である。具体的には、アナログのビデオおよびオーディオ信号が、送信に先立ってそれぞれのディジタル信号に変換される。伝送帯域幅を圧縮するために、そのディジタルのビデオ信号およびオーディオ信号が圧縮されて冗長な情報が除去される。このようにして得られたディジタル信号はオーディオ・パケットおよびビデオ・パケットのストリームの形にフォーマット化される。各パケットは、ビデオ・データまたはオーディオ・データのいずれかを含んだ“ペイロード”部分と、そのパケットのペイロード部分によって表される情報のタイプを識別するパケット“ヘッダ”コード（符号）とを含んでいる。制御データおよびその他のデータに対応するパケットもパケット・ストリームに付加される。伝送経路上で生じ得るノイズに起因する誤りを訂正するために、前方誤り訂正（ＦＥＣ:Foward Error Correction）データがパケットに付加される。周知のビタビ(Viterbi)型およびリード−ソロモン(Reed-Solomon)型の前方誤り訂正符号化法は、共に有利に用いることができる。次に、ディジタル伝送技術の分野で周知のＱＰＳＫ（Quaternary Phase Shift Keying、１／４位相シフトキーイングまたは４相位相偏移変調）変調法によって、この圧縮、フォーマット化および誤り訂正の各処理によって得られたディジタル・データでキャリア（搬送波）を変調する。
図１に示されるディジタル衛星テレビジョン・システムにおいて、送信機（ＸＭＴＲ）１は、それに送信アンテナ３が付設されており、圧縮されディジタル符号化されたテレビジョン信号を対地静止軌道上にある衛星５に送信する。衛星５は送信機１により送信されたテレビジョン信号を受信して、地球局に向けて再送信する。衛星５によって再送信されたテレビジョン信号はアンテナ構体または“屋外ユニット(outdoor unit)”７により受信される。アンテナ構体７は、ディッシュ型アンテナ９および周波数変換器１１を含んでいる。アンテナ９は、受信したテレビジョン信号を周波数変換器１１に送る。その周波数変換器１１は、受信した各テレビジョン信号の各周波数をそれぞれの低い周波数に変換する。
周波数変換器１１によって生成されたＲＦ（無線周波数）テレビジョン信号は同軸ケーブル１３を介して衛星受信機または衛星テレビジョン信号受信機１５に結合される。衛星受信機１５は、屋内に設置されるので“屋内ユニット(indoorunit)”と呼ばれることもある。衛星受信機１５は、後で詳細に説明するように、受信したテレビジョン信号に同調し、そのテレビジョン信号を復調し復号し伸張し、さらにその他の処理を施して、通常のテレビジョン受像機１７により処理するのに適したフォーマット（例、ＮＴＳＣ、ＰＡＬまたはＳＥＣＡＭ）のアナログのビデオ信号および“左”“右”ステレオ・オーディオ信号を生成し、これらの信号はそのテレビジョン受像機１７に結合される。テレビジョン受像機１７は、そのビデオ信号に応答して表示スクリーン１９上に画像を形成し、またその“左”“右”の各オーディオ信号に応答してスピーカ２１ａおよび２１ｂによって“左”“右”の各可聴音（応答）を発生させる。
さらに具体的には、衛星受信機１５は同調器１５０１を含んでいる。その同調器１５０１は、アンテナ構体７から受け取った複数のＲＦ信号の中からユーザが希望する番組に対応するＲＦ信号を選択し、その選択したＲＦ信号の周波数を低い中間周波数に変換して中間周波数（ＩＦ）信号を生成する。そのＩＦ信号はＱＰＳＫ復調器１５０３によって復調され、復調ディジタル信号が生成される。前方誤り訂正（ＦＥＣ）ユニット１５０５は、復調されたディジタル信号中に含まれているデータに対して、送信前に挿入された前方誤り訂正（ＦＥＣ）データに基づいて誤り訂正処理を施す。例えば、ＦＥＣユニット１５０５は、ビタビおよびリード−ソロモン型誤り訂正アルゴリズムに従って動作する。同調器１５０１、ＱＰＳＫ復調器１５０３およびＦＥＣユニット１５０５は、米国、メリーランド州、ジャーマンタウン(Germantown)のヒューズ・ネットワーク・システムズ(Hughes Network Systems)、またはカルフォルニア州、サンディエゴ(San Diego)のコムストリーム社(Comstream Corp.)から市販されている単一の構体に含まれている。
トランスポート・ユニット１５０７は、パケットに含まれているヘッダ情報に基づいて、ＦＥＣユニット１５０５によって誤り訂正されたディジタル信号のビデオ・パケットのペイロード・データをビデオ復号および伸張ユニット１５０９に、またそのオーディオ・パケットのペイロード・データをオーディオ復号および伸張ユニット１５１１に、それぞれデータバスを介して転送経路（ルート：route）指定するデマルチプレクサ(demultiplexer)または分離器である。ビデオ復号および伸張ユニット１５０９は、ランダムアクセスメモリ（ＲＡＭ）１５１３、例えばダイナミックＲＡＭ（ＤＲＡＭ）の形態のＲＡＭと協働してビデオデータを復号し伸張して、それぞれ輝度（Ｙ）成分および色差（ＵおよびＶ）成分を表す各ディジタル・ワードのシーケンスを生成する。そのビデオ成分を表す各ディジタル・ワードのシーケンスはテレビジョン符号化器１５１５に供給（結合）される。このテレビジョン符号化器１５１５は、通常のテレビジョン規格のライン（水平線）およびフィールド・ラスタ走査フォーマットに従って、その各成分を表すディジタル・ワードを、輝度（Ｙ）情報を表すディジタル・ワードのシーケンスおよびクロミナンス（Ｃ）情報を表すディジタル・ワードのシーケンスに変換する。テレビジョン信号符号化器１５１５は、ライン（Ｈ）レート（周波数）信号およびフィールド（Ｖ）レート(rate)信号、および画素（ピクセル）クロック信号（ＰＣ）を発生する。これらの信号は、ビデオ復号器１５０９に結合されて、成分を表すディジタル・ワードの生成を同期させる。輝度を表すディジタル・ワードおよびクロミナンスを表すディジタル・ワードは、ディジタル−アナログ変換器（ＤＡＣ）１５１７のそれぞれ対応する部分によってアナログの輝度信号およびクロミナンス信号に変換される。
オーディオ復号および伸張ユニット１５１１は、オーディオ・ペイロード・データを復号し伸張する。その結果得られたディジタル・オーディオ信号はＤＡＣ１５１９によってベースバンドのアナログ・オーディオ“左”“右”信号に変換される。（図１には、図を簡明にするために１つのオーディオ・チャンネルだけが示されている。）
ベースバンドのアナログ・ビデオ信号およびアナログ・オーディオ信号は、それぞれのベースバンド接続手段（線）を介してテレビジョン受像機１７に結合される。また、ベースバンドのアナログ・ビデオ信号およびアナログ・オーディオ信号は変調器１５２１にも結合される。この変調器１５２１は、通常のテレビジョン規格に従ってＲＦキャリアをアナログ信号で変調して、その変調信号をベースバンド入力のないテレビジョン受像機のアンテナ入力に結合させる。
マイクロプロセッサ１５２３は、“リード・オンリ（読出し専用）”メモリ（ＲＯＭ）１５２５に記憶された制御プログラムに応じて衛星受信機１５の種々の部分を制御する。この制御プログラムは、ＲＯＭ１５２５の“制御プログラム”部１５２５−１に記憶されている。マイクロプロセッサ１５２３は、周波数選択制御データを同調器１５０１に供給して、同調器１５０１の動作を制御する。また、マイクロプロセッサ１５２３は、トランスポート・ユニット１５０７と対話的に(interactively)動作して、ペイロード・データの経路指定を制御する。さらに、マイクロプロセッサ１５２３は、制御バスを介してビデオ復号および伸張ユニット１５０９およびオーディオ復号および伸張ユニット１５１１に制御データを供給する。
また、マイクロプロセッサ１５２３は、ＲＯＭ１５２５と協働して、グラフィックス画像がテレビジョン受像機１７のスクリーン１９上に表示されるように動作する。グラフィック画像は、衛星受信機１５を使用するときに状態情報、操作指示および一般的にガイド情報（案内）をユーザに提供する。２つのタイプのグラフィックス画像、即ちアルファニューメリック・キャラクタを含んだまたはテキストおよび画像グラフィックスを含んだ静止グラフィックス画像と、アニメーション（動的）・グラフィックス画像とが表示される。この２つのタイプのグラフィック画像のデータはＲＯＭ１５２５に記憶される。静止グラフィック画像は“ビットマップ”形式で記憶される。しかし、アニメーション・グラフィックス画像は、メモリの空間（スペース）を節約するために、送信機１から受信した“ライブ（live：生）”画像またはビデオ画像を表すペイロード・データと同じ圧縮形式、例えばＭＰＥＧ等の圧縮形式で記憶される。ビットマップ形グラフィックス用のデータはＲＯＭ１５２５の“ビットマップ形グラフィックス”部１５２５−３に記憶され、ＭＰＥＧ形グラフィックス用のデータはＲＯＭ１５２５の“ＭＰＥＧ形グラフィックス”部１５２５−５に記憶される。
ビットマップ形ＯＳＤグラフィックス画像の各々には“ビットマップ”および“ヘッダ”が存在する。ビットマップは、それぞれのビットマップ形ＯＳＤグラフィックス画像の形状をピクセル単位で規定する。さらに具体的には、ビットマップは、スクリーン１９の垂直方向に対応する“Ｙ”座標と、スクリーン１９の水平方向に対応する“Ｘ”座標とを有する長方形状のアレイまたは格子(grid)である。各格子位置は１つのピクセルに対応しており、各ピクセルの色はそれぞれの格子位置“における”ディジタル・ワードで表される。“ヘッダ”はそれぞれのビットマップの各ピクセルの色を規定する(define)“カラー・パレット”を含んでいる。ビットマップの各格子位置におけるディジタル・ワードを用いてカラー・パレットをアドレスし、それによって“ルックアップ”テーブル方式でそれぞれのピクセルに対する色を取出す（導出する）。表示しようとするグラフィックス画像の性質(nature)次第では、同じ１つのカラー・パレットを複数のビットマップに対して関連付けて用いることができる。カラー・パレットについては後で詳しく説明する。また、ヘッダは、対応するＯＳＤグラフィックス画像の位置をそれぞれのビットマップの最初（第１）のピクセルの垂直および水平の位置によって規定するデータを含んでいる。
上述したように、グラフィック画像の各ピクセル毎に、そのピクセルの色を表す１つのディジタル・ワードが存在する。色を表すディジタル・ワードに含まれているビットの数に応じて、各ピクセルが取り得る相異なる色の数が決まる。例えば、この実施形態においては、色を表すワードは２ビットを含んでいる。従って、グラフィックスの各ピクセルは、２ビットの色ワードの相異なる４つの２進状態（００、０１、１０および１１）に対応する４色の中の任意の１つの色を有する。カラー・パレットにおいて、ピクセルの色情報は成分の形式で構成されており、その成分形式において各色ワードに対応して、次の表に示すようなその各成分を表すディジタル・ワードの固有のグループが存在する。
色 成分のグループ
００ ＹＡ，ＵＡ，ＶＡ
０１ ＹＢ，ＵＢ，ＶＢ
１０ ＹＣ，ＵＣ，ＶＣ
１１ ＹＤ，ＵＤ，ＶＤ
各成分は、ビデオ画像情報の伝送に用いられる成分、即ち輝度成分（Ｙ）および１対の色差成分（ＵおよびＶ）と同じ成分になるように選択される。ビデオ画像とグラフィックス画像の成分を同じに選択すると、一方の組の成分から他方の組の成分に変換する必要がなくなるので、ＯＳＤ構成が簡単になる。グラフィックスのピクセルの実際の個々の色（上記の表において添字Ａ、Ｂ、ＣまたはＤによって表される色）は、それぞれのグループにおける成分を表すディジタル・ワードによって表される値に応じて決まる。
ビットマップ形グラフィックス・データは、制御データとして制御バスを介してビデオ復号および伸張ユニット１５０９に転送され、図２に関して後で説明するような方法で画像データに変換される。しかし、ＭＰＥＧ形グラフィックスは、トランスポート・ユニット１５０７およびデータバスを介してビデオ復号および伸張ユニット１５０９に転送され、図２に関して後で説明する受信ビデオ・データ・パケットの場合と同様の方法で画像データに変換される。ＭＰＥＧ形グラフィックス画像情報は、受信したビデオ画像ペイロード情報と同じ圧縮形式でＲＯＭのＭＰＥＧ形グラフィックス部１５２５−５に記憶され、画像情報として識別するためのパケット・ヘッダを付加することなく記憶される。
図２には、ビデオ復号および伸張ユニット１５０９の各部分の詳細が示されている。ビデオ復号および伸張ユニット１５０９はＦＩＦＯ（ファースト・イン、ファースト・アウト）バッファ・メモリ１５０９−１を含んでいる。そのＦＩＦＯバッファ・メモリ１５０９−１は、要求に応じた(on demand)ビデオ・データをトランスポート・ユニット１５０７から比較的小さなセグメントの形で受け入れて、メモリ制御器１５０９−３を介して復号および伸張用に確保したビデオＲＡＭ１５１３の復号および伸張部１５１３−１にそのパケットを比較的大きなセグメントの形で供給する。ビデオＲＡＭ１５１３は、メモリ制御器１５０９−３の制御によりアドレスされる。ＲＡＭ１５１３の復号および伸張部１５１３−１は、受信したビデオ・データを記憶するレート（rate：速度）バッファ部１５１３−１−１と、復号および伸張処理中にビデオ情報フレームを記憶するフレーム記憶部１５１３−１−３とを含んでいる。ビデオ画像表示ユニット１５０９−５は、記憶されたビデオ・データを復号し伸張してビデオ画像成分を表すディジタル・ワード（Ｙ、Ｕ、Ｖ）を生成する。そのディジタル・ワード（Ｙ、Ｕ、Ｖ）はテレビジョン信号符号化器（ユニット）１５１５に供給される。このために、ビデオ表示ユニット１５０９−５は、必要に応じてメモリ制御器１５０９−３を介してビデオＲＡＭ１５１３の復号および伸張部１５１３−１に対してデータを要求する。その成分を表すディジタル・ワードは、テレビジョン信号符号化器１５１５が発生したフィールド（Ｖ）レート信号、ライン（Ｈ）レート信号およびピクセル（ＰＣ）レート信号に同期して供給される。マイクロプロセッサ・インタフェース・ユニット１５０９−７は、マイクロプロセッサ１５２３から供給された制御データを受け入れて、その制御データを内部制御バスを介してビデオ復号および伸張ユニット１５０９内の種々の部分に供給する。
ビデオ復号および伸張ユニット１５０９の出力に生成されるビデオ画像成分を表すディジタル・ワードのシーケンスは、複数の成分からなるグループで構成される。この実施形態においては、ビデオ画像を表す各グループは２つのピクセルに対応する。その各グループは、第１のピクセルに対応する第１の輝度を表すディジタル・ワード、第２のピクセルに対応する第２の輝度を表すディジタル・ワード、および第１と第２のピクセルの各々（両方）に対応する色差を表す１対のディジタル・ワードを含んでいる。このフォーマットはディジタル・ビデオ信号処理分野において、“４：２：２”フォーマット（コンポーネント方式）といわれている。この色差信号のサブサンプリング（副サンプリング）は、伝送帯域幅を圧縮するために送信に先立って行われる画像データ圧縮処理に関連した処理である。さらに具体的には、送信画像データはいわゆる“４：２：０”フォーマットで構成されている。この４：２：０フォーマットにおいては、４つのピクセルの各々に対応する各輝度を表す４つのワード、および４つのピクセルの各々（全部）に対応する色差を表す１対のワードが存在する。４：２：０フォーマットの画像を表すグループは、ビデオ表示ユニット１５０９−５内の補間処理により４：２：２フォーマットの画像を表すグループに変換される。各ピクセルの成分の完全な組（４：４：４）が、テレビジョン信号符号化器１５１５内の補間処理によって生成される。
ビデオ復号および伸張ユニット１５０９中に含まれているビットマップ形ＯＳＤグラフィックス部は、ビットマップ形ＯＳＤ制御部１５０９−９と、ＲＯＭ１５２５のビットマップ形グラフィックス部１５２５−３（図１）に記憶されているビットマップ形グラフィックス・データからグラフィックス画像データを生成するビットマップ形ＯＳＤグラフィックス画像データ変換器とを含んでいる。ビットマップ形ＯＳＤグラフィックスを表示しようとするときには、マイクロプロセッサ１５２３の制御の下で、制御バス、マイクロプロセッサ・インタフェース・ユニット１５０９−７およびメモリ制御器１５０９−３を介して、ＲＯＭ１５２５のビットマップ形グラフィックス部１５２５−３に記憶されているビットマップ形グラフィックス・データをＲＡＭ１５１３のＯＳＤ部１５１３−３に転送して記憶する。ビットマップ形ＯＳＤ制御ユニット１５０９−９は、メモリ制御器１５０９−３を介してＲＡＭ１５１３のビットマップ形ＯＳＤ部１５１３−３からビットマップ・データを読出させ、対応するヘッダに含まれている色パレット・データに基づいて、各ピクセル毎の色を表すワードを対応する各成分を表すグループに変換する。グラフィック画像成分を表すディジタル・ワードも、ビットマップ形ＯＳＤ制御ユニット１５０９−９によって、テレビジョン信号符号化器１５１５によって生成されるフィールド（Ｖ）レート信号、ライン（Ｈ）レート信号およびピクセル（ＰＣ）レート信号に同期して生成される。
前述のように、ビデオ画像表示ユニット１５０９−５によって生成されたビデオ画像成分を表すグループは、サブサンプリング形式のビデオ画像情報を表している。そのサブサンプリング形式では、各２ピクセル毎に、各ピクセルの輝度を表す２つのワードと色差を表す１対のワードとが、いわゆる４：２：２フォーマットで構成されている。一方、ビットマップ形ＯＳＤ制御ユニット１５０９−９によって生成されたビットマップ形ＯＳＤグラフィック画像成分を表すグループは、非サブサンプリング形式または完全４：４：４形式のグラフィックス画像情報を表している。この４：４：４形式では、各１ピクセル毎に、その輝度を表す１つのワードとその色差を表す１対のワードとが存在する（または、各２ピクセル毎に、各ピクセルの輝度を表す２つのワードと各ピクセルの色差を表す２対のワードとが存在する）。この４：４：４形式は、グラフィックスの各ピクセルについて１つの固有の輝度成分および２つの固有の色差成分を生成するので、所定ビット数で規定することが可能な多くの色が表現でき、したがってグラフィックスにとって望ましいものである。しかしながら、４：４：４フォーマットのグラフィック画像シーケンスは４：２：２フォーマットのビデオ画像シーケンスとの両立性(compatible)がなく、従って、ビデオ画像にグラフィックス画像を挿入しようとして、４：４：４フォーマットのグラフィック画像シーケンスをそのままの形で、４：２：２フォーマットのビデオ画像シーケンスに多重化することは不可能である。この問題を解決するために、ビデオ復号および伸張ユニット１５０９は、グラフィック画像成分用の４：４：４フォーマットのシーケンスをビデオ画像成分用の４：２：２フォーマットのシーケンスに変換するビットマップ形ＯＳＤグラフィックス画像データ変換器１５０９−１１を含んでいる。図２に示されているように、変換器１５０９−１１は、グラフィックスの各２ピクセル毎に、第１のピクセルの１対の色差成分を選択し、第２のピクセルの１対の色差成分を削除する。図３に示されているように、ビットマップ形変換器１５０９−１１は、２つのグループ分のグラフィック画像成分を表す複数のワードを記憶するラッチ１５０９−１１−１と、ラッチ１５０９−１１−１に記憶されたその成分を表すワードの中から適正な成分を表すワードを順に出力レート（周波数）で選択するマルチプレクサ（ＭＵＸ）１５０９−１１−３とを具えている。元の複数の４：４：４フォーマット・グラフィック画像グループの中の２つのグループを用いて複数の４：２：２フォーマット・グラフィック画像グループを構成する新しい１つ１つのグループが順に生成されるので、各ライン毎のグラフィック画像を表す成分の４：４：４フォーマットのグループの数は偶数であることが望ましい。
出力マルチプレクサ（ＭＵＸ）１５０９−１３は、ビットマップ形ＯＳＤ制御ユニット１５０９−９によって生成された多重化制御信号に応答して、ビデオ画像表示ユニット１５０９−５によって供給されるビデオ画像成分を表すワードのグループ、またはビットマップ形ＯＳＤグラフィックス画像データ変換器１５０９−１１から供給されるグラフィック画像成分を表すワードのグループ、のいずれか一方のグループを選択する。即ち、ビデオ画像専用動作モードでは、出力マルチプレクサ１５０９−１３はビデオ画像グループだけを選択する。また、グラフィック画像専用動作モードでは、出力マルチプレクサ１５０９−１３はグラフィック画像グループだけを選択する。ビデオ画像中にグラフィック画像が挿入される“スーパーインポーズ(superimpose)”または“オーバーレイ(overlay)”の動作モードでは、出力マルチプレクサ１５０９−１３はビデオ画像グループまたはグラフィック画像グループのいずれか一方をピクセル単位で選択する。次いで、出力マルチプレクサ１５０９−１３によって生成された、成分を表すワードの４：２：２フォーマットの出力シーケンスは、テレビジョン信号符号化器１５１５に供給される。
アニメーションのようなＭＰＥＧ形グラフィックスを表示しようとするときには、マイクロプロセッサ１５２３の制御の下で、トランスポート・ユニット１５０７およびデータバス（図１）、ＦＩＦＯ１５０９−１、マイクロプロセッサ・インタフェース・ユニット１５０９−７およびメモリ制御器１５０９−３を介して、ＲＯＭ１５２５のＭＰＥＧ形グラフィックス部１５２５−５に記憶されているＭＰＥＧ形グラフィックス・データがＲＡＭ１５１３のレート・バッファ部１５１３−１−１に転送される。ＭＰＥＧ形グラフィックス・データは、データ量に応じたセグメントの形で転送される。その後、ＭＰＥＧ形ビデオ・データの場合と同様の方法で、ＭＰＥＧ形グラフィックス・データをビデオ表示ユニット１５０９−５によって復号し伸張して、４：２：２フォーマットのグラフィックス画像を表す成分グループを生成し、その結果、最終的にＭＰＥＧ形グラフィックスの表示が得られる。より高い柔軟性を与えるために、ビットマップ形グラフィックスとビデオ画像とを合成する場合と同様の方法で、出力マルチプレクサ１５０９−１３の“スーパーインポーズ”動作モードによってビットマップ形グラフィックスとＭＰＥＧ形グラフィックスとを合成するようにしてもよい。
ビデオ復号および伸張ユニット１５０９は１つの集積回路（ＩＣ）に組込まれていることが望ましい。上述のＯＳＤ手段を除いて同様のビデオ復号および伸張用ＩＣが市販されている。例えば、部品番号ＳＴ３２４０で識別されるＭＰＥＧ形復号および伸張用ＩＣはフランスのＳＧＳトムソン社(SGS Thomson)から市販されている。
以上説明したように、圧縮されたビデオ情報を受入れて復号し伸張するディジタル・ビデオ信号処理システムにおいて用いられるＯＳＤ装置およびＯＳＤ方法は、ビデオ情報の場合と同様の方法で圧縮されて記憶されているグラフィックス情報を取り出（検索）して、それをディジタル・ビデオ信号処理システムにおける復号および伸張部に供給する各手段および各ステップを具えている。また、このグラフィックス情報は、圧縮されたビデオ情報の場合と同様の方法で復号され伸張される。先に説明したように、この構成によって、ビットマップ形ＯＳＤ技術と比較して余分なメモリ空間や制御器の余分な仕事負荷を必要としないアニメーションを含んだ非常に高度なグラフィックスを生成することができる。また、より詳細な静止グラフィックスおよびより動きのあるアニメーションが実現可能であることに加えて、開示された装置および方法を用いることによって色解像度をより高くすることができる。
以上、本発明を特定の実施形態について説明したが、本発明は種々の変形が可能であることは明らかである。本発明は、衛星テレビジョン・システムに関して説明したが、例えば、圧縮形式でビデオ情報を受入れて処理する他のタイプのディジタル・ビデオ処理システムにおいて用いることもできる。この点に関して、本発明は、送信側位置から圧縮ビデオ情報を受信するディジタル・ビデオ処理システムにおける場合と同様に、再生（プレイバック）装置から圧縮ビデオ情報を受け取るディジタル・ビデオ処理システムにおいて用いることもできる。さらに、本発明は、ビデオ情報を処理するためにコンピュータで用いられるいわゆる“ビデオ・カード：video card”において用いることもできる。さらに、本発明は、ＯＳＤグラフィックス・データがシステム内のメモリに記憶されている場合の実施形態に基づいて説明したが、グラフィックス・データは外部ソース（データ源）から受け取った（“ダウンロード：downloaded”した）ものであってもよい。さらに、本発明は、ＭＰＥＧ標準に従って圧縮され符号化されたビデオ情報を受け取るシステムに基づいて説明したが、他の標準に従って圧縮され符号化されたビデオ情報を受け取って処理するシステムに適用することも可能である。また、機能部、信号経路指定、およびメモリ空間の区分（パーティション化）を伴うようなシステム・アーキテクチャの変形例も考えられる。さらに、本発明は、ハードウェア構成に関して説明したが、ソフトウェアによって復号および伸張のような種々の機能を実行するソフトウェア構成にも等しく適用することができる。これらの変形例およびその他の変形例は、請求の範囲に規定された発明の範囲内のものであると考えられる。
本願発明は、ＭＰＥＧのようなディジタル圧縮標準に従って圧縮されたビデオ情報を処理するディジタル・テレビジョン・システム等のビデオ信号処理システムのための“オンスクリーン”表示手段に関する。
発明の背景
テレビジョン受像機、ビデオ・カセット・レコーダ（ＶＣＲ）およびビデオ・ディスク・プレーヤのような現代の消費者向け電子製品は、通常はビデオ情報を表示するために使用される表示装置のスクリーン上にテキスト（文字）（アルファニューメリック、英数字）グラフィックスおよび画像グラフィックスの形態で状態情報および指示（命令）を表示するための、いわゆる“オンスクリーン”表示（“ＯＳＤ：On Screen Display”）手段を一般的に具えている。初期のＯＳＤシステムでは、現在視聴中の番組（プログラム）のチャンネル番号または番組番号および現在時刻のような限られたデータ量の状態情報が表示できるだけだった。その後のＯＳＤシステムでは、テレビジョン受像機のコントラストおよび輝度（明るさ）の設定や、これからＶＣＲによって記録しようとする番組の各記録時間（時刻）およびチャンネル番号の設定のような設定調整を行う場合において、ユーザを案内（ガイド）するための指示情報の表示が行えるようになった。
典型的なＯＳＤシステムにおいては、ＯＳＤグラフィックス情報は“ビットマップ形(bit-mapped)”として知られている形式でメモリに記憶されている。“ビットマップ”は、表示されるグラフィックスの形状を規定する長方形状（矩形状）配列の複数画素（“ピクセル”）のアレイである。ビットマップ・メモリの各メモリ位置は、それぞれの対応するグラフィックス・ピクセル用のコードワード（符号語）を含んでいる。このコードワードは、そのグラフィックス・ピクセルの輝度（強度）レベルまたは色（カラー）を規定する。テキスト情報については、各コードワードは、特定の輝度レベル（例、白）または色を有するピクセルの存在（例、論理レベル“０”による）または不存在（例、論理レベル“０”による）を指定する単一ビットだけからなるものであってもよい。画像グラフィックスについては、各コードワードは複数の色の中の任意の１つを表すものであってもよい。例えば、４ビットのコードワードによって異なる１６（２４）種類の色を表すことができる。各ピクセルの色情報は“カラー・パレット（color palette）”と呼ばれるメモリに記憶されており、そのコードワードを用いてカラー・パレット・メモリをアドレスする。換言すれば、カラー・パレット・メモリは、グラフィックス・ピクセルの色用の“ルックアップ”テーブルとして用いられる。
或るごく最近のＯＳＤシステムでは、限定されたアニメーション（動画）形グラフィックスを含む非常に高度なグラフィックスを表示することができる。アニメーションは、動画の効果を生じるようにグラフィックス情報をシーケンス処理（順序処理、順次供給）することによって生成される。消費者向け製品におけるＯＳＤアニメーションを実現するための既知の技法では、通常はマイクロプロセッサの制御の下で、一連のビットマップ形（ビットマップされた）グラフィック画像をメモリに記憶して、記憶されているビットマップ形グラフィック画像の１つ１つをそのメモリから適正な順序で読出すことが行われる。アニメーション表示される表示領域のサイズ（寸法）次第では、一連のビットマップ形グラフィック画像を記憶するのに必要なメモリの記憶容量は相当な量になる。さらに、ビットマップ形グラフィック画像を読出して処理する場合に要求されるマイクロプロセッサの作業負荷も非常に高くなる。メモリ容量およびマイクロプロセッサの処理能力に対する要求が高いと、高品質のアニメーション機能は、特に一般消費者向け製品としては、非常に高価なものになってしまう。
文献“テレビジョン・グラフィックス・アニメーション・モジュール用の新しいアーキテクチャ（A New Architecture for a TV Graphics Animation Module）”、ＩＥＥＥトランザクション・オン・コンシューマ・エレクトロニクス（IEEE Transactions on Consumer Electornics）39(1993)，No.4.(Nov.)において、その著者は、アナログ・ビデオ信号およびグラフィックス・データを表すディジタル信号を受信することができるワークステーションを用いたテレビジョン・グラフィックス・アニメーション再生／エディット（編集）システムを説明している。その両方の信号にリアルタイム圧縮が適用されて、それがディスク・メモリに記憶される。次いで、そのディスク・メモリからデータが読出され、リアルタイムで伸長されて、モニタに表示される。
１９９４年５月１８日付け欧州特許公報第０ ５９７ ６１６号には、アニメーション・シーケンスとコンピュータ・グラフィックス情報とを混合してコンピュータ・ディスプレイ・スクリーンに表示するシステムが記載されている。そのアニメーション・シーケンスは、圧縮フォーマットで記憶される。次いで、圧縮されたアニメーション・シーケンスは、記憶装置から取出され、伸張され、コンピュータ・グラフィックス情報との同期がとられて、コンピュータ・モニタに送出される。
また、１９９５年６月２８日付け欧州特許公報第０ ６６０ ６０９号には、ＭＰＥＧ形符号化方法を用いて、背景画像を有するＩフレームと種々のＰフレームとを符号化し、その各Ｐフレームはドロップ・ダウン・リスと（drop-down list）またはボタンのようなメニューまたはその他のユーザ・ウィンドウ形制御手段を作成するのに必要な背景画像のＩフレームに対するその変化分を符号化するシステムが記載されている。これらのフレームは、ケーブル・ヘッド・エンド（ケーブル中央局）のようなセンタ位置から受信機位置に送信されて、センタ位置と対話するためのグラフィック・インタフェースに提供される。
さらに、１９９４年６月１５日刊行の欧州特許公報第０ ６０１ ６４７号には、ビデオ・データが内部フォーマットで記憶されるシステムが記載されている。入力符号化器があって、それが種々のフォーマットのビデオ信号を受け取り、そのビデオ信号をそのフォーマットから内部フォーマットに変換する。また、出力復号器があって、それが内部フォーマットのビデオ・データを取出して、それを対応するそれぞれの出力フォーマットに変換する。また、マルチプレクサがあって、それが出力復号器の１つを表示装置に結合させる。
発明の概要
本発明は、例えばＭＰＥＧ標準に従う圧縮形式でビデオおよびオーディオ情報を表すディジタル・パケット・ストリームの形式でテレビジョン情報を処理するタイプのディジタル・ビデオ信号処理システムに余分なコストや複雑さをほとんど付加することなく、アニメーションのような高度なＯＳＤグラフィックスを生成する装置を付加することができるであろうという認識に一部基づいている。本発明によれば、グラフィックスをビットマップ形式で記憶する代わりに、ビデオ情報に用いられる例えばＭＰＥＧ等のビデオ圧縮標準と同じビデオ圧縮標準による圧縮形式でグラフィックスが記憶される。本発明は、特に、アニメーション・グラフィックスを生成するのに有用である。圧縮されたアニメーションを記憶するのに必要なメモリ容量は、同じアニメーションをビットマップ形式で記憶するのに必要なメモリ容量よりもかなり少ない。また、圧縮されたアニメーションを処理するためのマイクロプロセッサの作業負荷は、同じアニメーションをビットマップ形式で処理するのに必要な作業負荷よりかなり少ない。
さらに具体的には、本発明は、主に圧縮形式のビデオおよびオーディオ情報を表すパケット・ストリームの形式でビデオ情報を処理するタイプ（型）のディジタル・ビデオ信号処理システムに用いられるＯＳＤ構成（回路、装置）に適用し得るものである。このディジタル・ビデオ信号処理システムは、そのパケットに含まれているヘッダ情報に従ってパケットのペイロード・データをディジタル信号処理部のそれぞれの対応する復号および伸張（復元）ユニットに分配するデマルプレクサ（しばしばトランスポート・ユニットといわれる）を含んでいる。本発明の特徴の１つによれば、ＯＳＤ構成は、ビデオ情報に用いられるのと同じ圧縮形式のＯＳＤグラフィックス情報を表すＯＳＤグラフィックス・データを記憶するためのメモリと、ＯＳＤグラフィックスを表示しようとするときにそのＯＳＤグラフィックス・データをトランスポート・ユニットに選択的に経路指定するための制御器と、を具えている。そのＯＳＤグラフィックス・データは、トランスポート・ユニットによって、ビデオデータの場合と同じ形態でグラフィックス・データを復号および伸張（復元）するビデオ復号および伸張ユニットに経路指定され、その結果、そのグラフィックスを表すディジタル信号が生成されて、最終的にＯＳＤグラフィックスが表示される。このＯＳＤグラフィックス・データはアニメーションに相当するものであってもよいという利点がある。
本発明の別の特徴によれば、ＯＳＤ構成は、さらにテキスト・グラフィックスまたは画像グラフィックスのような“静止(static)”ＯＳＤグラフィックスをビットマップ形式で表すデータを記憶する手段を含んでいる。ビットマップ形の静止グラフィックス・データは、ディジタル信号処理部に供給されて、そこでビデオ復号および伸張ユニットにおいて静止グラフィックスを表すディジタル・ビデオ信号に都合よく変換される。静止グラフィックスを表すディジタル・ビデオ信号は、圧縮形のアニメーション・グラフィックス・データから導出されたアニメーション・グラフィックスを表すディジタル信号と多重化され、その結果、静止グラフィックスとアニュメーション・グラフィックスとを合成したものが得られる。
発明の構成
請求の範囲
圧縮され且つディジタル符号化されているテレビジョンのビデオ情報とオーディオ情報を表し、それぞれが特定のタイプの情報を表すペイロード・データとこのペイロード・データによって表される情報の特定のタイプを識別するヘッダとを含むパケットのストリームを受信し、処理するテレビジョン・システムであって、
テレビジョン・ビデオ情報を表すペイロード・データを伸張して、伸張されたビデオ情報を表すディジタル信号を生成するビデオ伸張手段（１５０９−５）と、
テレビジョン・オーディオ情報を表すペイロード・データを伸張して、伸張されたオーディオ情報を表すディジタル信号を生成するオーディオ伸張手段（１５１１）と、
上記パケットに含まれているそれぞれの上記ヘッダに従って、上記パケットのストリームの中の上記パケットのペイロード・データを上記ビデオ伸張手段（１５０９−５）とオーディオ伸張手段（１５１１）に転送する転送手段（１５０７）と、
受信したテレビジョン・ビデオ情報と同様の方法で圧縮されているオンスクリーン表示グラフィックス情報を表すデータを記憶する記憶手段（１５２５−５）と、
上記記憶手段（１５２５−５）から取り出された圧縮されているオンスクリーン表示グラフィックス情報を表す前記データを上記転送手段（１５０７）に選択的に結合し、その後、上記圧縮されているオンスクリーン表示グラフィックス情報を表す前記データが上記転送手段により上記ビデオ伸張手段（１５０９−５）に供給されるようにする結合手段
とを具え、
上記ビデオ伸張手段において、上記圧縮されているオンスクリーン表示グラフィックス情報を表すデータが伸張されて、上記圧縮されているオンスクリーン表示グラフィックス・データから得られるオンスクリーン表示グラフィックス情報を表すディジタル信号が生成されることを特徴とするテレビジョン・システム。
【図面の簡単な説明】
図１は、本発明に従って構成されたＯＳＤ構成を具えていて、圧縮されディジタル符号化されたビデオ信号を処理するディジタル衛星テレビジョン・システムのブロック図である。
図２は、図１に示されたディジタル衛星テレビジョン・システムにおけるビデオ復号および伸張ユニットのブロック図である。
図３は、図２に示されたビデオ復号および伸張ユニットにおいて用いられるフォーマット変換器のブロック図である。
図面の詳細な説明
以下、本発明を、テレビジョン情報がＭＰＥＧプロトコルまたはＭＰＥＧ標準として知られている規格に従って圧縮され符号化される衛星テレビジョン・システムを参照して説明する。ＭＰＥＧとは、動画専門家グループ(Motion Pictures Expert Group)によって勧告された動画およびそれに関連するオーディオ情報を符号化するための国際標準である。具体的には、アナログのビデオおよびオーディオ信号が、送信に先立ってそれぞれのディジタル信号に変換される。伝送帯域幅を圧縮するために、そのディジタルのビデオ信号およびオーディオ信号が圧縮されて冗長な情報が除去される。このようにして得られたディジタル信号はオーディオ・パケットおよびビデオ・パケットのストリームの形にフォーマット化される。各パケットは、ビデオ・データまたはオーディオ・データのいずれかを含んだ“ペイロード”部分と、そのパケットのペイロード部分によって表される情報のタイプを識別するパケット“ヘッダ”コード（符号）とを含んでいる。制御データおよびその他のデータに対応するパケットもパケット・ストリームに付加される。伝送経路上で生じ得るノイズに起因する誤りを訂正するために、前方誤り訂正（ＦＥＣ:Foward Error Correction）データがパケットに付加される。周知のビタビ(Viterbi)型およびリード−ソロモン(Reed-Solomon)型の前方誤り訂正符号化法は、共に有利に用いることができる。次に、ディジタル伝送技術の分野で周知のＱＰＳＫ（Quaternary Phase Shift Keying、１／４位相シフトキーイングまたは４相位相偏移変調）変調法によって、この圧縮、フォーマット化および誤り訂正の各処理によって得られたディジタル・データでキャリア（搬送波）を変調する。
図１に示されるディジタル衛星テレビジョン・システムにおいて、送信機（ＸＭＴＲ）１は、それに送信アンテナ３が付設されており、圧縮されディジタル符号化されたテレビジョン信号を対地静止軌道上にある衛星５に送信する。衛星５は送信機１により送信されたテレビジョン信号を受信して、地球局に向けて再送信する。衛星５によって再送信されたテレビジョン信号はアンテナ構体または“屋外ユニット(outdoor unit)”７により受信される。アンテナ構体７は、ディッシュ型アンテナ９および周波数変換器１１を含んでいる。アンテナ９は、受信したテレビジョン信号を周波数変換器１１に送る。その周波数変換器１１は、受信した各テレビジョン信号の各周波数をそれぞれの低い周波数に変換する。
周波数変換器１１によって生成されたＲＦ（無線周波数）テレビジョン信号は同軸ケーブル１３を介して衛星受信機または衛星テレビジョン信号受信機１５に結合される。衛星受信機１５は、屋内に設置されるので“屋内ユニット(indoorunit)”と呼ばれることもある。衛星受信機１５は、後で詳細に説明するように、受信したテレビジョン信号に同調し、そのテレビジョン信号を復調し復号し伸張し、さらにその他の処理を施して、通常のテレビジョン受像機１７により処理するのに適したフォーマット（例、ＮＴＳＣ、ＰＡＬまたはＳＥＣＡＭ）のアナログのビデオ信号および“左”“右”ステレオ・オーディオ信号を生成し、これらの信号はそのテレビジョン受像機１７に結合される。テレビジョン受像機１７は、そのビデオ信号に応答して表示スクリーン１９上に画像を形成し、またその“左”“右”の各オーディオ信号に応答してスピーカ２１ａおよび２１ｂによって“左”“右”の各可聴音（応答）を発生させる。
さらに具体的には、衛星受信機１５は同調器１５０１を含んでいる。その同調器１５０１は、アンテナ構体７から受け取った複数のＲＦ信号の中からユーザが希望する番組に対応するＲＦ信号を選択し、その選択したＲＦ信号の周波数を低い中間周波数に変換して中間周波数（ＩＦ）信号を生成する。そのＩＦ信号はＱＰＳＫ復調器１５０３によって復調され、復調ディジタル信号が生成される。前方誤り訂正（ＦＥＣ）ユニット１５０５は、復調されたディジタル信号中に含まれているデータに対して、送信前に挿入された前方誤り訂正（ＦＥＣ）データに基づいて誤り訂正処理を施す。例えば、ＦＥＣユニット１５０５は、ビタビおよびリード−ソロモン型誤り訂正アルゴリズムに従って動作する。同調器１５０１、ＱＰＳＫ復調器１５０３およびＦＥＣユニット１５０５は、米国、メリーランド州、ジャーマンタウン(Germantown)のヒューズ・ネットワーク・システムズ(Hughes Network Systems)、またはカルフォルニア州、サンディエゴ(San Diego)のコムストリーム社(Comstream Corp.)から市販されている単一の構体に含まれている。
トランスポート・ユニット１５０７は、パケットに含まれているヘッダ情報に基づいて、ＦＥＣユニット１５０５によって誤り訂正されたディジタル信号のビデオ・パケットのペイロード・データをビデオ復号および伸張ユニット１５０９に、またそのオーディオ・パケットのペイロード・データをオーディオ復号および伸張ユニット１５１１に、それぞれデータバスを介して転送経路（ルート：route）指定するデマルチプレクサ(demultiplexer)または分離器である。ビデオ復号および伸張ユニット１５０９は、ランダムアクセスメモリ（ＲＡＭ）１５１３、例えばダイナミックＲＡＭ（ＤＲＡＭ）の形態のＲＡＭと協働してビデオデータを復号し伸張して、それぞれ輝度（Ｙ）成分および色差（ＵおよびＶ）成分を表す各ディジタル・ワードのシーケンスを生成する。そのビデオ成分を表す各ディジタル・ワードのシーケンスはテレビジョン符号化器１５１５に供給（結合）される。このテレビジョン符号化器１５１５は、通常のテレビジョン規格のライン（水平線）およびフィールド・ラスタ走査フォーマットに従って、その各成分を表すディジタル・ワードを、輝度（Ｙ）情報を表すディジタル・ワードのシーケンスおよびクロミナンス（Ｃ）情報を表すディジタル・ワードのシーケンスに変換する。テレビジョン信号符号化器１５１５は、ライン（Ｈ）レート（周波数）信号およびフィールド（Ｖ）レート(rate)信号、および画素（ピクセル）クロック信号（ＰＣ）を発生する。これらの信号は、ビデオ復号器１５０９に結合されて、成分を表すディジタル・ワードの生成を同期させる。輝度を表すディジタル・ワードおよびクロミナンスを表すディジタル・ワードは、ディジタル−アナログ変換器（ＤＡＣ）１５１７のそれぞれ対応する部分によってアナログの輝度信号およびクロミナンス信号に変換される。
オーディオ復号および伸張ユニット１５１１は、オーディオ・ペイロード・データを復号し伸張する。その結果得られたディジタル・オーディオ信号はＤＡＣ１５１９によってベースバンドのアナログ・オーディオ“左”“右”信号に変換される。（図１には、図を簡明にするために１つのオーディオ・チャンネルだけが示されている。）
ベースバンドのアナログ・ビデオ信号およびアナログ・オーディオ信号は、それぞれのベースバンド接続手段（線）を介してテレビジョン受像機１７に結合される。また、ベースバンドのアナログ・ビデオ信号およびアナログ・オーディオ信号は変調器１５２１にも結合される。この変調器１５２１は、通常のテレビジョン規格に従ってＲＦキャリアをアナログ信号で変調して、その変調信号をベースバンド入力のないテレビジョン受像機のアンテナ入力に結合させる。
マイクロプロセッサ１５２３は、“リード・オンリ（読出し専用）”メモリ（ＲＯＭ）１５２５に記憶された制御プログラムに応じて衛星受信機１５の種々の部分を制御する。この制御プログラムは、ＲＯＭ１５２５の“制御プログラム”部１５２５−１に記憶されている。マイクロプロセッサ１５２３は、周波数選択制御データを同調器１５０１に供給して、同調器１５０１の動作を制御する。また、マイクロプロセッサ１５２３は、トランスポート・ユニット１５０７と対話的に(interactively)動作して、ペイロード・データの経路指定を制御する。さらに、マイクロプロセッサ１５２３は、制御バスを介してビデオ復号および伸張ユニット１５０９およびオーディオ復号および伸張ユニット１５１１に制御データを供給する。
また、マイクロプロセッサ１５２３は、ＲＯＭ１５２５と協働して、グラフィックス画像がテレビジョン受像機１７のスクリーン１９上に表示されるように動作する。グラフィック画像は、衛星受信機１５を使用するときに状態情報、操作指示および一般的にガイド情報（案内）をユーザに提供する。２つのタイプのグラフィックス画像、即ちアルファニューメリック・キャラクタを含んだまたはテキストおよび画像グラフィックスを含んだ静止グラフィックス画像と、アニメーション（動的）・グラフィックス画像とが表示される。この２つのタイプのグラフィック画像のデータはＲＯＭ１５２５に記憶される。静止グラフィック画像は“ビットマップ”形式で記憶される。しかし、アニメーション・グラフィックス画像は、メモリの空間（スペース）を節約するために、送信機１から受信した“ライブ（live：生）”画像またはビデオ画像を表すペイロード・データと同じ圧縮形式、例えばＭＰＥＧ等の圧縮形式で記憶される。ビットマップ形グラフィックス用のデータはＲＯＭ１５２５の“ビットマップ形グラフィックス”部１５２５−３に記憶され、ＭＰＥＧ形グラフィックス用のデータはＲＯＭ１５２５の“ＭＰＥＧ形グラフィックス”部１５２５−５に記憶される。
ビットマップ形ＯＳＤグラフィックス画像の各々には“ビットマップ”および“ヘッダ”が存在する。ビットマップは、それぞれのビットマップ形ＯＳＤグラフィックス画像の形状をピクセル単位で規定する。さらに具体的には、ビットマップは、スクリーン１９の垂直方向に対応する“Ｙ”座標と、スクリーン１９の水平方向に対応する“Ｘ”座標とを有する長方形状のアレイまたは格子(grid)である。各格子位置は１つのピクセルに対応しており、各ピクセルの色はそれぞれの格子位置“における”ディジタル・ワードで表される。“ヘッダ”はそれぞれのビットマップの各ピクセルの色を規定する(define)“カラー・パレット”を含んでいる。ビットマップの各格子位置におけるディジタル・ワードを用いてカラー・パレットをアドレスし、それによって“ルックアップ”テーブル方式でそれぞれのピクセルに対する色を取出す（導出する）。表示しようとするグラフィックス画像の性質(nature)次第では、同じ１つのカラー・パレットを複数のビットマップに対して関連付けて用いることができる。カラー・パレットについては後で詳しく説明する。また、ヘッダは、対応するＯＳＤグラフィックス画像の位置をそれぞれのビットマップの最初（第１）のピクセルの垂直および水平の位置によって規定するデータを含んでいる。
上述したように、グラフィック画像の各ピクセル毎に、そのピクセルの色を表す１つのディジタル・ワードが存在する。色を表すディジタル・ワードに含まれているビットの数に応じて、各ピクセルが取り得る相異なる色の数が決まる。例えば、この実施形態においては、色を表すワードは２ビットを含んでいる。従って、グラフィックスの各ピクセルは、２ビットの色ワードの相異なる４つの２進状態（００、０１、１０および１１）に対応する４色の中の任意の１つの色を有する。カラー・パレットにおいて、ピクセルの色情報は成分の形式で構成されており、その成分形式において各色ワードに対応して、次の表に示すようなその各成分を表すディジタル・ワードの固有のグループが存在する。
色 成分のグループ
００ ＹＡ，ＵＡ，ＶＡ
０１ ＹＢ，ＵＢ，ＶＢ
１０ ＹＣ，ＵＣ，ＶＣ
１１ ＹＤ，ＵＤ，ＶＤ
各成分は、ビデオ画像情報の伝送に用いられる成分、即ち輝度成分（Ｙ）および１対の色差成分（ＵおよびＶ）と同じ成分になるように選択される。ビデオ画像とグラフィックス画像の成分を同じに選択すると、一方の組の成分から他方の組の成分に変換する必要がなくなるので、ＯＳＤ構成が簡単になる。グラフィックスのピクセルの実際の個々の色（上記の表において添字Ａ、Ｂ、ＣまたはＤによって表される色）は、それぞれのグループにおける成分を表すディジタル・ワードによって表される値に応じて決まる。
ビットマップ形グラフィックス・データは、制御データとして制御バスを介してビデオ復号および伸張ユニット１５０９に転送され、図２に関して後で説明するような方法で画像データに変換される。しかし、ＭＰＥＧ形グラフィックスは、トランスポート・ユニット１５０７およびデータバスを介してビデオ復号および伸張ユニット１５０９に転送され、図２に関して後で説明する受信ビデオ・データ・パケットの場合と同様の方法で画像データに変換される。ＭＰＥＧ形グラフィックス画像情報は、受信したビデオ画像ペイロード情報と同じ圧縮形式でＲＯＭのＭＰＥＧ形グラフィックス部１５２５−５に記憶され、画像情報として識別するためのパケット・ヘッダを付加することなく記憶される。
図２には、ビデオ復号および伸張ユニット１５０９の各部分の詳細が示されている。ビデオ復号および伸張ユニット１５０９はＦＩＦＯ（ファースト・イン、ファースト・アウト）バッファ・メモリ１５０９−１を含んでいる。そのＦＩＦＯバッファ・メモリ１５０９−１は、要求に応じた(on demand)ビデオ・データをトランスポート・ユニット１５０７から比較的小さなセグメントの形で受け入れて、メモリ制御器１５０９−３を介して復号および伸張用に確保したビデオＲＡＭ１５１３の復号および伸張部１５１３−１にそのパケットを比較的大きなセグメントの形で供給する。ビデオＲＡＭ１５１３は、メモリ制御器１５０９−３の制御によりアドレスされる。ＲＡＭ１５１３の復号および伸張部１５１３−１は、受信したビデオ・データを記憶するレート（rate：速度）バッファ部１５１３−１−１と、復号および伸張処理中にビデオ情報フレームを記憶するフレーム記憶部１５１３−１−３とを含んでいる。ビデオ画像表示ユニット１５０９−５は、記憶されたビデオ・データを復号し伸張してビデオ画像成分を表すディジタル・ワード（Ｙ、Ｕ、Ｖ）を生成する。そのディジタル・ワード（Ｙ、Ｕ、Ｖ）はテレビジョン信号符号化器（ユニット）１５１５に供給される。このために、ビデオ表示ユニット１５０９−５は、必要に応じてメモリ制御器１５０９−３を介してビデオＲＡＭ１５１３の復号および伸張部１５１３−１に対してデータを要求する。その成分を表すディジタル・ワードは、テレビジョン信号符号化器１５１５が発生したフィールド（Ｖ）レート信号、ライン（Ｈ）レート信号およびピクセル（ＰＣ）レート信号に同期して供給される。マイクロプロセッサ・インタフェース・ユニット１５０９−７は、マイクロプロセッサ１５２３から供給された制御データを受け入れて、その制御データを内部制御バスを介してビデオ復号および伸張ユニット１５０９内の種々の部分に供給する。
ビデオ復号および伸張ユニット１５０９の出力に生成されるビデオ画像成分を表すディジタル・ワードのシーケンスは、複数の成分からなるグループで構成される。この実施形態においては、ビデオ画像を表す各グループは２つのピクセルに対応する。その各グループは、第１のピクセルに対応する第１の輝度を表すディジタル・ワード、第２のピクセルに対応する第２の輝度を表すディジタル・ワード、および第１と第２のピクセルの各々（両方）に対応する色差を表す１対のディジタル・ワードを含んでいる。このフォーマットはディジタル・ビデオ信号処理分野において、“４：２：２”フォーマット（コンポーネント方式）といわれている。この色差信号のサブサンプリング（副サンプリング）は、伝送帯域幅を圧縮するために送信に先立って行われる画像データ圧縮処理に関連した処理である。さらに具体的には、送信画像データはいわゆる“４：２：０”フォーマットで構成されている。この４：２：０フォーマットにおいては、４つのピクセルの各々に対応する各輝度を表す４つのワード、および４つのピクセルの各々（全部）に対応する色差を表す１対のワードが存在する。４：２：０フォーマットの画像を表すグループは、ビデオ表示ユニット１５０９−５内の補間処理により４：２：２フォーマットの画像を表すグループに変換される。各ピクセルの成分の完全な組（４：４：４）が、テレビジョン信号符号化器１５１５内の補間処理によって生成される。
ビデオ復号および伸張ユニット１５０９中に含まれているビットマップ形ＯＳＤグラフィックス部は、ビットマップ形ＯＳＤ制御部１５０９−９と、ＲＯＭ１５２５のビットマップ形グラフィックス部１５２５−３（図１）に記憶されているビットマップ形グラフィックス・データからグラフィックス画像データを生成するビットマップ形ＯＳＤグラフィックス画像データ変換器とを含んでいる。ビットマップ形ＯＳＤグラフィックスを表示しようとするときには、マイクロプロセッサ１５２３の制御の下で、制御バス、マイクロプロセッサ・インタフェース・ユニット１５０９−７およびメモリ制御器１５０９−３を介して、ＲＯＭ１５２５のビットマップ形グラフィックス部１５２５−３に記憶されているビットマップ形グラフィックス・データをＲＡＭ１５１３のＯＳＤ部１５１３−３に転送して記憶する。ビットマップ形ＯＳＤ制御ユニット１５０９−９は、メモリ制御器１５０９−３を介してＲＡＭ１５１３のビットマップ形ＯＳＤ部１５１３−３からビットマップ・データを読出させ、対応するヘッダに含まれている色パレット・データに基づいて、各ピクセル毎の色を表すワードを対応する各成分を表すグループに変換する。グラフィック画像成分を表すディジタル・ワードも、ビットマップ形ＯＳＤ制御ユニット１５０９−９によって、テレビジョン信号符号化器１５１５によって生成されるフィールド（Ｖ）レート信号、ライン（Ｈ）レート信号およびピクセル（ＰＣ）レート信号に同期して生成される。
前述のように、ビデオ画像表示ユニット１５０９−５によって生成されたビデオ画像成分を表すグループは、サブサンプリング形式のビデオ画像情報を表している。そのサブサンプリング形式では、各２ピクセル毎に、各ピクセルの輝度を表す２つのワードと色差を表す１対のワードとが、いわゆる４：２：２フォーマットで構成されている。一方、ビットマップ形ＯＳＤ制御ユニット１５０９−９によって生成されたビットマップ形ＯＳＤグラフィック画像成分を表すグループは、非サブサンプリング形式または完全４：４：４形式のグラフィックス画像情報を表している。この４：４：４形式では、各１ピクセル毎に、その輝度を表す１つのワードとその色差を表す１対のワードとが存在する（または、各２ピクセル毎に、各ピクセルの輝度を表す２つのワードと各ピクセルの色差を表す２対のワードとが存在する）。この４：４：４形式は、グラフィックスの各ピクセルについて１つの固有の輝度成分および２つの固有の色差成分を生成するので、所定ビット数で規定することが可能な多くの色が表現でき、したがってグラフィックスにとって望ましいものである。しかしながら、４：４：４フォーマットのグラフィック画像シーケンスは４：２：２フォーマットのビデオ画像シーケンスとの両立性(compatible)がなく、従って、ビデオ画像にグラフィックス画像を挿入しようとして、４：４：４フォーマットのグラフィック画像シーケンスをそのままの形で、４：２：２フォーマットのビデオ画像シーケンスに多重化することは不可能である。この問題を解決するために、ビデオ復号および伸張ユニット１５０９は、グラフィック画像成分用の４：４：４フォーマットのシーケンスをビデオ画像成分用の４：２：２フォーマットのシーケンスに変換するビットマップ形ＯＳＤグラフィックス画像データ変換器１５０９−１１を含んでいる。図２に示されているように、変換器１５０９−１１は、グラフィックスの各２ピクセル毎に、第１のピクセルの１対の色差成分を選択し、第２のピクセルの１対の色差成分を削除する。図３に示されているように、ビットマップ形変換器１５０９−１１は、２つのグループ分のグラフィック画像成分を表す複数のワードを記憶するラッチ１５０９−１１−１と、ラッチ１５０９−１１−１に記憶されたその成分を表すワードの中から適正な成分を表すワードを順に出力レート（周波数）で選択するマルチプレクサ（ＭＵＸ）１５０９−１１−３とを具えている。元の複数の４：４：４フォーマット・グラフィック画像グループの中の２つのグループを用いて複数の４：２：２フォーマット・グラフィック画像グループを構成する新しい１つ１つのグループが順に生成されるので、各ライン毎のグラフィック画像を表す成分の４：４：４フォーマットのグループの数は偶数であることが望ましい。
出力マルチプレクサ（ＭＵＸ）１５０９−１３は、ビットマップ形ＯＳＤ制御ユニット１５０９−９によって生成された多重化制御信号に応答して、ビデオ画像表示ユニット１５０９−５によって供給されるビデオ画像成分を表すワードのグループ、またはビットマップ形ＯＳＤグラフィックス画像データ変換器１５０９−１１から供給されるグラフィック画像成分を表すワードのグループ、のいずれか一方のグループを選択する。即ち、ビデオ画像専用動作モードでは、出力マルチプレクサ１５０９−１３はビデオ画像グループだけを選択する。また、グラフィック画像専用動作モードでは、出力マルチプレクサ１５０９−１３はグラフィック画像グループだけを選択する。ビデオ画像中にグラフィック画像が挿入される“スーパーインポーズ(superimpose)”または“オーバーレイ(overlay)”の動作モードでは、出力マルチプレクサ１５０９−１３はビデオ画像グループまたはグラフィック画像グループのいずれか一方をピクセル単位で選択する。次いで、出力マルチプレクサ１５０９−１３によって生成された、成分を表すワードの４：２：２フォーマットの出力シーケンスは、テレビジョン信号符号化器１５１５に供給される。
アニメーションのようなＭＰＥＧ形グラフィックスを表示しようとするときには、マイクロプロセッサ１５２３の制御の下で、トランスポート・ユニット１５０７およびデータバス（図１）、ＦＩＦＯ１５０９−１、マイクロプロセッサ・インタフェース・ユニット１５０９−７およびメモリ制御器１５０９−３を介して、ＲＯＭ１５２５のＭＰＥＧ形グラフィックス部１５２５−５に記憶されているＭＰＥＧ形グラフィックス・データがＲＡＭ１５１３のレート・バッファ部１５１３−１−１に転送される。ＭＰＥＧ形グラフィックス・データは、データ量に応じたセグメントの形で転送される。その後、ＭＰＥＧ形ビデオ・データの場合と同様の方法で、ＭＰＥＧ形グラフィックス・データをビデオ表示ユニット１５０９−５によって復号し伸張して、４：２：２フォーマットのグラフィックス画像を表す成分グループを生成し、その結果、最終的にＭＰＥＧ形グラフィックスの表示が得られる。より高い柔軟性を与えるために、ビットマップ形グラフィックスとビデオ画像とを合成する場合と同様の方法で、出力マルチプレクサ１５０９−１３の“スーパーインポーズ”動作モードによってビットマップ形グラフィックスとＭＰＥＧ形グラフィックスとを合成するようにしてもよい。
ビデオ復号および伸張ユニット１５０９は１つの集積回路（ＩＣ）に組込まれていることが望ましい。上述のＯＳＤ手段を除いて同様のビデオ復号および伸張用ＩＣが市販されている。例えば、部品番号ＳＴ３２４０で識別されるＭＰＥＧ形復号および伸張用ＩＣはフランスのＳＧＳトムソン社(SGS Thomson)から市販されている。
以上説明したように、圧縮されたビデオ情報を受入れて復号し伸張するディジタル・ビデオ信号処理システムにおいて用いられるＯＳＤ装置およびＯＳＤ方法は、ビデオ情報の場合と同様の方法で圧縮されて記憶されているグラフィックス情報を取り出（検索）して、それをディジタル・ビデオ信号処理システムにおける復号および伸張部に供給する各手段および各ステップを具えている。また、このグラフィックス情報は、圧縮されたビデオ情報の場合と同様の方法で復号され伸張される。先に説明したように、この構成によって、ビットマップ形ＯＳＤ技術と比較して余分なメモリ空間や制御器の余分な仕事負荷を必要としないアニメーションを含んだ非常に高度なグラフィックスを生成することができる。また、より詳細な静止グラフィックスおよびより動きのあるアニメーションが実現可能であることに加えて、開示された装置および方法を用いることによって色解像度をより高くすることができる。
以上、本発明を特定の実施形態について説明したが、本発明は種々の変形が可能であることは明らかである。本発明は、衛星テレビジョン・システムに関して説明したが、例えば、圧縮形式でビデオ情報を受入れて処理する他のタイプのディジタル・ビデオ処理システムにおいて用いることもできる。この点に関して、本発明は、送信側位置から圧縮ビデオ情報を受信するディジタル・ビデオ処理システムにおける場合と同様に、再生（プレイバック）装置から圧縮ビデオ情報を受け取るディジタル・ビデオ処理システムにおいて用いることもできる。さらに、本発明は、ビデオ情報を処理するためにコンピュータで用いられるいわゆる“ビデオ・カード：video card”において用いることもできる。さらに、本発明は、ＯＳＤグラフィックス・データがシステム内のメモリに記憶されている場合の実施形態に基づいて説明したが、グラフィックス・データは外部ソース（データ源）から受け取った（“ダウンロード：downloaded”した）ものであってもよい。さらに、本発明は、ＭＰＥＧ標準に従って圧縮され符号化されたビデオ情報を受け取るシステムに基づいて説明したが、他の標準に従って圧縮され符号化されたビデオ情報を受け取って処理するシステムに適用することも可能である。また、機能部、信号経路指定、およびメモリ空間の区分（パーティション化）を伴うようなシステム・アーキテクチャの変形例も考えられる。さらに、本発明は、ハードウェア構成に関して説明したが、ソフトウェアによって復号および伸張のような種々の機能を実行するソフトウェア構成にも等しく適用することができる。これらの変形例およびその他の変形例は、請求の範囲に規定された発明の範囲内のものであると考えられる。
Claims (2)
- 圧縮され且つディジタル符号化されているテレビジョンのビデオ情報とオーディオ情報を表し、それぞれが特定のタイプの情報を表すペイロード・データとこのペイロード・データによって表される情報の特定のタイプを識別するヘッダとを含むパケットのストリームを受信し、処理するテレビジョン・システムであって、
テレビジョン・ビデオ情報を表すペイロード・データを伸張して、伸張されたビデオ情報を表すディジタル信号を生成するビデオ伸張手段と、
テレビジョン・オーディオ情報を表すペイロード・データを伸張して、伸張されたオーディオ情報を表すディジタル信号を生成するオーディオ伸張手段と、
上記パケットに含まれているそれぞれの上記ヘッダに従って、上記パケットのストリームの中の上記パケットのペイロード・データを上記ビデオ伸張手段とオーディオ伸張手段に転送する転送手段と、
オンスクリーン表示グラフィックス情報を表すデータを記憶する記憶手段であって、受信したテレビジョンのビデオ情報と同じ圧縮方法で圧縮されているデータを記憶する記憶手段と、
上記記憶手段から取り出された圧縮されているオンスクリーン表示グラフィックス情報を表す前記データを上記転送手段に選択的に結合し、その後、上記圧縮されているオンスクリーン表示グラフィックス情報を表す前記データが上記転送手段により上記ビデオ伸張手段に供給されるようにする結合手段
とを具え、
上記ビデオ伸張手段において、上記圧縮されているオンスクリーン表示グラフィックス情報を表すデータが伸張されて、上記圧縮されているオンスクリーン表示グラフィックス・データから得られるオンスクリーン表示グラフィックス情報を表すディジタル信号が生成されることを特徴とするテレビジョン・システム。 - 圧縮され且つディジタル符号化されているテレビジョンのビデオ情報とオーディオ情報を表し、それぞれが特定のタイプの情報を表すペイロード・データと該特定のタイプの情報を識別するヘッダとを含むパケットのストリームを受信し、処理するテレビジョン・システムであって、
圧縮され且つディジタル符号化されているテレビジョンのビデオ情報を表す受信したペイロード・データを復号し、伸張して、伸張されたビデオ墳報を表すディジタル信号を生成するビデオ伸張手段と、
圧縮され且つディジタル符号化されているテレビジョンのオーディオ情報を表す受信したペイロード・データを伸張して、伸張されたオーディオ情報を表すディジタル信号を生成するオーディオ伸張手段と、
上記パケット内にあるそれぞれのヘッダに従って、上記パケット・ストリームのペイロード・データを上記伸張手段に転送する転送手段と
を具えるテレビジョン・システムにおいてオンスクリーン表示情報を供給する方法であって、
ディジタル符号化されているオンスクリーン表示グラフィックス情報を表すデータであって、上記ビデオ情報と同じ圧縮方法で圧縮されているデータ、をメモリから取り出すステップと、
圧縮されているオンスクリーン表示グラフィックス情報を表す上記取り出されたデータを上記転送手段に選択的に結合させるステップとから成り、その後、
圧縮されている上記オンスクリーン表示グラフィックス情報を表す上記データが、上記転送手段により上記ビデオ伸張手段に転送され、そこで伸張され、上記テレビジョン・ビデオ情報と同じ圧縮方法で圧縮され符号化されている上記オンスクリーン表示グラフィック情報を表す上記データから得られるオンスクリーン表示グラフィックス情報を表すディジタル信号を形成することを特徴とする方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GBGB9510507.8A GB9510507D0 (en) | 1995-05-24 | 1995-05-24 | User interface animation using mpeg video compression techniques |
| GB9510507.8 | 1995-05-24 | ||
| PCT/US1996/007128 WO1996038008A1 (en) | 1995-05-24 | 1996-05-17 | Animated 'on-screen' display provisions for an mpeg video signal processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11505985A JPH11505985A (ja) | 1999-05-25 |
| JP3676816B2 true JP3676816B2 (ja) | 2005-07-27 |
Family
ID=10774961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP53576896A Expired - Fee Related JP3676816B2 (ja) | 1995-05-24 | 1996-05-17 | オンスクリーン情報を供給する装置および方法 |
Country Status (14)
| Country | Link |
|---|---|
| EP (1) | EP0829170B1 (ja) |
| JP (1) | JP3676816B2 (ja) |
| KR (1) | KR100375800B1 (ja) |
| CN (1) | CN1143554C (ja) |
| AU (1) | AU699288B2 (ja) |
| BR (1) | BR9609122A (ja) |
| DE (1) | DE69603726T2 (ja) |
| ES (1) | ES2134616T3 (ja) |
| GB (1) | GB9510507D0 (ja) |
| HK (1) | HK1015593A1 (ja) |
| IN (1) | IN189216B (ja) |
| MX (1) | MX9709061A (ja) |
| MY (1) | MY128430A (ja) |
| WO (1) | WO1996038008A1 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997002700A2 (en) * | 1995-07-03 | 1997-01-23 | Philips Electronics N.V. | Transmission of graphic images |
| WO1998056171A1 (en) * | 1997-06-03 | 1998-12-10 | Koninklijke Philips Electronics N.V. | Television picture signal processing |
| US6031577A (en) * | 1997-07-10 | 2000-02-29 | Thomson Consumer Electronics, Inc. | System for forming and processing program specific information containing text data for terrestrial, cable or satellite broadcast |
| US6111612A (en) * | 1997-07-10 | 2000-08-29 | Thomson Consumer Electronics | System for forming and processing text data for use in program specific information for broadcast |
| US6606746B1 (en) * | 1997-10-16 | 2003-08-12 | Opentv, Inc. | Interactive television system and method for displaying a graphical user interface using insert pictures |
| DE19918046B4 (de) * | 1998-04-23 | 2007-02-15 | Lg Electronics Inc. | Speicherstruktur für Bild-in-Bild-Anzeige bei einer digitalen Videoanzeigeeinheit sowie Verfahren hierfür |
| FR2778300A1 (fr) * | 1998-04-29 | 1999-11-05 | Thomson Multimedia Sa | Procede de lecture de donnees informatiques permettant de composer des images de synthese et dispositif mettant en oeuvre le procede |
| US7336712B1 (en) * | 1998-09-02 | 2008-02-26 | Koninklijke Philips Electronics N.V. | Video signal transmission |
| US7665111B1 (en) | 1999-10-20 | 2010-02-16 | Tivo Inc. | Data storage management and scheduling system |
| US20020118954A1 (en) | 2001-12-07 | 2002-08-29 | Barton James M. | Data storage management and scheduling system |
| US8689265B2 (en) | 1999-03-30 | 2014-04-01 | Tivo Inc. | Multimedia mobile personalization system |
| US6757906B1 (en) | 1999-03-30 | 2004-06-29 | Tivo, Inc. | Television viewer interface system |
| US6847778B1 (en) | 1999-03-30 | 2005-01-25 | Tivo, Inc. | Multimedia visual progress indication system |
| US7543325B2 (en) | 1999-03-30 | 2009-06-02 | Tivo Inc. | System for remotely controlling client recording and storage behavior |
| EP1953758B1 (en) | 1999-03-30 | 2014-04-30 | TiVo, Inc. | Multimedia program bookmarking system |
| US6850691B1 (en) | 1999-03-30 | 2005-02-01 | Tivo, Inc. | Automatic playback overshoot correction system |
| AU4186000A (en) * | 1999-03-30 | 2000-11-14 | Tivo, Inc. | Television viewer interface system |
| US20030182567A1 (en) | 1999-10-20 | 2003-09-25 | Tivo Inc. | Client-side multimedia content targeting system |
| JP3696014B2 (ja) * | 1999-12-02 | 2005-09-14 | 三洋電機株式会社 | デジタルテレビ放送受信機 |
| DE10001369A1 (de) * | 2000-01-14 | 2001-07-19 | Infineon Technologies Ag | Verfahren und Schaltungsanordnung zur Grafikdarstellung, insbesondere in einem digitalen Fernsehgerät |
| EP1345425B1 (en) * | 2002-03-14 | 2005-05-11 | Sony Service Centre (Europe) N.V. | Method and digital television unit for operating broadcast applications |
| GB0229245D0 (en) * | 2002-12-13 | 2003-01-22 | Koninkl Philips Electronics Nv | Television display unit |
| CN100423581C (zh) * | 2002-12-30 | 2008-10-01 | Nxp股份有限公司 | 动态图形的编码/解码方法及其设备 |
| KR100597406B1 (ko) | 2004-06-29 | 2006-07-06 | 삼성전자주식회사 | Ｏｓｄ 화면 상에서 애니메이션이 진행되는 동안 실시간키입력이 가능한 셋탑박스 및 ｏｓｄ 데이터 출력 방법 |
| GB2440385B (en) * | 2006-07-12 | 2011-08-17 | British Broadcasting Corp | A system for and method of controlling advanced user interfaces for navigation |
| CN101166244B (zh) * | 2006-10-16 | 2010-06-09 | 凌阳科技股份有限公司 | 屏幕显示装置及其显示方法 |
| CN103686348B (zh) * | 2013-11-27 | 2016-08-24 | 青岛海信电器股份有限公司 | 图像的解码方法和装置 |
| US9749636B2 (en) | 2014-10-24 | 2017-08-29 | Intel Corporation | Dynamic on screen display using a compressed video stream |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0568356B1 (en) * | 1992-04-29 | 1999-04-14 | Canon Kabushiki Kaisha | Video processor system |
| US5404437A (en) * | 1992-11-10 | 1995-04-04 | Sigma Designs, Inc. | Mixing of computer graphics and animation sequences |
| EP0601647B1 (en) * | 1992-12-11 | 1997-04-09 | Koninklijke Philips Electronics N.V. | System for combining multiple-format multiple-source video signals |
| US5422674A (en) * | 1993-12-22 | 1995-06-06 | Digital Equipment Corporation | Remote display of an image by transmitting compressed video frames representing background and overlay portions thereof |
| US5489947A (en) * | 1994-06-17 | 1996-02-06 | Thomson Consumer Electronics, Inc. | On screen display arrangement for a digital video signal processing system |
-
1995
- 1995-05-24 GB GBGB9510507.8A patent/GB9510507D0/en active Pending
-
1996
- 1996-05-17 AU AU57965/96A patent/AU699288B2/en not_active Ceased
- 1996-05-17 JP JP53576896A patent/JP3676816B2/ja not_active Expired - Fee Related
- 1996-05-17 ES ES96914680T patent/ES2134616T3/es not_active Expired - Lifetime
- 1996-05-17 WO PCT/US1996/007128 patent/WO1996038008A1/en active IP Right Grant
- 1996-05-17 MX MX9709061A patent/MX9709061A/es not_active IP Right Cessation
- 1996-05-17 DE DE69603726T patent/DE69603726T2/de not_active Expired - Lifetime
- 1996-05-17 CN CNB96195776XA patent/CN1143554C/zh not_active Expired - Fee Related
- 1996-05-17 EP EP96914680A patent/EP0829170B1/en not_active Expired - Lifetime
- 1996-05-17 KR KR1019970708394A patent/KR100375800B1/ko not_active IP Right Cessation
- 1996-05-17 BR BR9609122A patent/BR9609122A/pt not_active IP Right Cessation
- 1996-05-20 IN IN941CA1996 patent/IN189216B/en unknown
- 1996-05-24 MY MYPI96001963A patent/MY128430A/en unknown
-
1999
- 1999-02-05 HK HK99100500A patent/HK1015593A1/xx not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| EP0829170A1 (en) | 1998-03-18 |
| CN1191655A (zh) | 1998-08-26 |
| ES2134616T3 (es) | 1999-10-01 |
| WO1996038008A1 (en) | 1996-11-28 |
| GB9510507D0 (en) | 1995-07-19 |
| KR19990021919A (ko) | 1999-03-25 |
| DE69603726T2 (de) | 1999-12-02 |
| MY128430A (en) | 2007-01-31 |
| CN1143554C (zh) | 2004-03-24 |
| JPH11505985A (ja) | 1999-05-25 |
| EP0829170B1 (en) | 1999-08-11 |
| MX9709061A (es) | 1998-03-31 |
| DE69603726D1 (de) | 1999-09-16 |
| AU5796596A (en) | 1996-12-11 |
| AU699288B2 (en) | 1998-11-26 |
| BR9609122A (pt) | 1999-02-23 |
| IN189216B (ja) | 2003-01-04 |
| KR100375800B1 (ko) | 2003-05-09 |
| HK1015593A1 (en) | 1999-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3676816B2 (ja) | オンスクリーン情報を供給する装置および方法 | |
| US5969770A (en) | Animated "on-screen" display provisions for an MPEG video signal processing system | |
| JP4375746B2 (ja) | ディジタル・ビデオ信号処理装置 | |
| CA2192784C (en) | On screen display arrangement for a digital video signal processing system | |
| US5940072A (en) | Graphics decompression using system ROM indexing in TV set top box | |
| US8091106B1 (en) | Method and apparatus for using DVD subpicture information in a television receiver | |
| EP1154642B1 (en) | A method for using a single osd pixmap across mulitple video raster sizes by chaining osd headers | |
| EP1154643B1 (en) | A method and system for using a single osd pixmap across multiple video raster sizes by using multiple headers | |
| MXPA96006554A (en) | Screen deployment arrangement for a vi digital signal processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040413 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040824 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20041124 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041124 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050117 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050502 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |