JP5203042B2 - グラフィックデータ処理装置 - Google Patents

グラフィックデータ処理装置 Download PDF

Info

Publication number
JP5203042B2
JP5203042B2 JP2008133962A JP2008133962A JP5203042B2 JP 5203042 B2 JP5203042 B2 JP 5203042B2 JP 2008133962 A JP2008133962 A JP 2008133962A JP 2008133962 A JP2008133962 A JP 2008133962A JP 5203042 B2 JP5203042 B2 JP 5203042B2
Authority
JP
Japan
Prior art keywords
buffer
graphic
data
screen
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008133962A
Other languages
English (en)
Other versions
JP2008278511A (ja
Inventor
ジョン,ギル−ス
ムン,ソン−ジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020030053073A external-priority patent/KR100739676B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2008278511A publication Critical patent/JP2008278511A/ja
Application granted granted Critical
Publication of JP5203042B2 publication Critical patent/JP5203042B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42653Internal components of the client ; Characteristics thereof for processing graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Digital Computer Display Output (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、グラフィックデータの処理に係り、さらに具体的には、プレゼンテーション情報が含まれたグラフィックデータを含む情報記録媒体、グラフィックデータの処理装置及び方法に関する。
動画及び音声などの情報を、放送を通じて伝送するか、または記録媒体に保存するために多様なデータ圧縮フォーマットが使用されるが、そのうちMPEG−2トランスポートストリーム(TS)は、動画及び音声などの情報を多重化してパケット単位で保存している。再生画面には、動画だけでなくグラフィックデータもディスプレイされるので、情報記録媒体に保存されたMPEG−2 TSは、グラフィックデータも含んでいる。このようなグラフィックデータとして、サブタイトルまたはナビゲーショングラフィックデータなどがある。
一方、MPEG−2 TSに含まれているグラフィックデータは、グラフィックデータの処理装置内でデコーディング過程を経てディスプレイ画面に出力されるが、グラフィックデータの処理装置内に存在する多様なバッファの間にデータが伝達される時間情報と、画面構成が完了したグラフィックデータがディスプレイ装置に出力される時間情報とが、グラフィックデータと共に保存されている。このような時間情報を良好に設定して初めて効率的なグラフィック処理が可能である。また、グラフィックデータの処理装置内でバッファをどのように構成するかによって、グラフィックデータの処理装置の効率が変わるが、従来のグラフィックデータ構造は、グラフィック画面を構成するグラフィックオブジェクトの再使用ができないので、グラフィックデータの処理装置の効率が低下するという問題点がある。
本発明が達成しようとする技術的課題は、グラフィックデータに含まれているプレゼンテーション情報を新たに定義して、グラフィック処理効率を向上させたグラフィックデータを含む情報記録媒体、グラフィックデータの処理装置及び処理方法を提供することである。
前記課題を達成するために、本発明による情報記録媒体は、グラフィックデータと、前記グラフィックデータの画面構成を記述する画面構成情報と、前記グラフィックデータを前記画面構成情報を参照して構成したグラフィック画面データが、ディスプレイ画面に出力される時間を知らせるプレゼンテーション情報とを含む。
前記課題を達成するために、本発明による情報記録媒体は、グラフィックデータの画面を構成するグラフィックオブジェクトと、前記グラフィックオブジェクトがデコードされて出力される時間、または前記グラフィックオブジェクトをデコードするデコーダに入力される時間を知らせるプレゼンテーション情報とを含む。
前記課題を達成するために、本発明による情報記録媒体は、ディスプレイセットを含むグラフィックデータ構造を記録した情報記録媒体において、前記ディスプレイセットは、グラフィック画面の構成に関する情報及び第1 PTS値を含むページ構成セグメントと、前記グラフィック画面を構成するグラフィックオブジェクト、グラフィックオブジェクトのサイズに関する情報、及び第2 PTS値を含むオブジェクトディスプレイセグメントと、前記ディスプレイセットの終了を意味する終了セグメントとを含み、前記第1 PTS値は、前記ページ構成セグメント及び前記オブジェクトディスプレイセグメントから形成されたグラフィック画面がディスプレイ装置に出力される時間を知らせることを特徴とする。
前記課題を達成するために、本発明による情報記録媒体は、ディスプレイセットを含むグラフィックデータ構造を有するグラフィックデータを含み、コンピュータによって使用されるための情報記録媒体において、前記ディスプレイセットは、グラフィック画面の構成に関する情報及び第1 PTS値を含むページ構成セグメントと、前記グラフィック画面を構成するグラフィックオブジェクト、グラフィックオブジェクトのサイズに関する情報、及び第2 PTS値を含むオブジェクトディスプレイセグメントと、前記ディスプレイセットの終了を意味する終了セグメントとを含み、前記第2 PTS値は、前記グラフィックオブジェクトがデコードされて出力される時間を知らせることを特徴とする。
前記課題を達成するために、本発明によるグラフィックデータの処理装置は、デコードされたグラフィックオブジェクトデータを前記グラフィックオブジェクトの識別子別に区分して保存する第1バッファと、前記第1バッファに保存されたグラフィックオブジェクトデータのうち、画面構成に使用されるグラフィックオブジェクトを入力されて、画面構成情報を参照して構成されたグラフィック画面情報を保存する第2バッファとを備える。
前記課題を達成するために、本発明によるグラフィックデータの処理装置は、符号化されたグラフィックデータを入力されて保存し、前記グラフィックデータに含まれたプレゼンテーション情報によって、前記符号化されたグラフィックデータを出力するコーディングデータバッファと、前記符号化されたグラフィックデータをデコードするデコーダと、前記デコードされたグラフィックデータのうち、画面構成情報を保存する画面構成用のバッファと、前記デコードされたグラフィックデータのオブジェクトを、前記グラフィックオブジェクト識別子別に区分して保存する第1バッファと、前記第1バッファに保存されたグラフィックオブジェクトのうち、画面構成に使用されるグラフィックオブジェクトを入力されて、前記画面構成情報によって構成されたグラフィック画面情報を保存する第2バッファと、前記画面構成用のバッファに保存された画面構成情報を受信して、前記第1バッファから第2バッファにグラフィックオブジェクトの伝達を制御するイメージ制御部とを備える。
前記課題を達成するために、本発明によるグラフィックデータの処理方法は、グラフィックデータを受信するステップと、前記グラフィックデータの画面構成を記述する画面構成情報を受信するステップと、前記グラフィックデータを、前記画面構成情報を参照して構成したグラフィック画面データが、ディスプレイ画面に出力される時間を知らせるプレゼンテーション情報によって、前記グラフィック画面データをディスプレイ画面に出力するステップとを含む。
前記課題を達成するために、本発明によるグラフィックデータの処理方法は、グラフィックデータの画面を構成するグラフィックオブジェクトを受信するステップと、前記グラフィックオブジェクトがデコードされて出力される時間、または前記グラフィックオブジェクトをデコードするデコーダに入力される時間を知らせるプレゼンテーション情報によって、前記デコードされたグラフィックオブジェクトを出力するステップとを含む。
以下、添付された図面を参照して、本発明に係る望ましい一実施形態を詳細に説明する。
動画と共にディスプレイされるグラフィック画面のデータには、サブタイトル用のグラフィックデータとナビゲーション用のグラフィックデータとがある。サブタイトル用のグラフィックデータは、字幕のような画面デスクリプションデータであり、ナビゲーション用のグラフィックデータは、動画のナビゲーションに使用されるボタンのようなメニューについてのグラフィックデータである。
本発明の高画質の動画再生用のシステムにおいて、グラフィック処理装置は、サブタイトル用のデータストリームと、ナビゲーション用のグラフィックデータストリームとをそれぞれ別個の処理装置で処理するが、それぞれのグラフィック処理装置は、互いに同じ形態を有する。このようなグラフィックデータを処理するグラフィック処理装置は、MPEG−2 TSで符号化されているサブタイトル用のグラフィックデータストリーム及びナビゲーション用のグラフィック用のデータストリームを処理する。
図1は、本発明の第1実施形態によってグラフィックMPEG−2 TSの構造を示す図である。図1に示すように、グラフィック用のMPEG−2 TSは、TSパケットヘッダ110とデータパケット120とから構成されており、データパケット120は、サブタイトル及びナビゲーショングラフィック用のデータを表す。そして、データパケット120は、一つのグラフィック画面に表示されるグラフィックデータのグループであるディスプレイセット120a,120nからなっているということが分かる。
ディスプレイセット120a,120b,・・・120nは、一つのディスプレイ画面に出力されるグラフィックデータの集合を意味する。図1に示すように、ディスプレイセット120a,120b,・・・120nは、最小2個のセグメントを含むということが分かる。一つのディスプレイセットは、ページ構成セグメント(PCS)121と終了ENDセグメント123とを必ず含み、オブジェクトディスプレイセグメント(ODS)122a,122nは含んでいないか、または必要に応じて複数個を含み得る。以下では、それぞれのセグメントについて詳細に説明する。
ページ構成セグメントPCS 121は、一つの画面に表示されるオブジェクトディスプレイセグメントODS 122aないし122nの構成情報を含む。すなわち、オブジェクトが画面上にディスプレイされる位置及びディスプレイ装置に出力される時間情報を有している。この時間情報をPTSという。ページ構成セグメントPCS 121は、このようにPTSを含んでいるが、PTSは、図2を参照して後述するグラフィックデータの処理装置で、一つのグラフィック画面を構成するのに必要な全てのオブジェクトディスプレイセグメントODS 122aないし122nから構成されたグラフィック画面データが第2バッファ234からディスプレイ装置に出力される時点を表す。
オブジェクトディスプレイセグメントODS 122aないし122nは、サブタイトル及びナビゲーショングラフィック用のオブジェクトデータを含み、当該オブジェクトのサイズ情報(広さ、高さ)や当該オブジェクトに適用される色テーブルなどを含んでも良い。前記オブジェクトのサイズ情報または色テーブル情報は、本発明で詳細に説明していないが、別途のセグメントを作ってディスプレイセット120a,120b,・・・120nに含めても良い。オブジェクトディスプレイセグメントODS 122aないし122nも、オブジェクトディスプレイセグメントODSのプレゼンテーション時間情報であるPTSが含まれているので、このPTSは、図2を参照して後述するグラフィック処理装置の第1バッファ233にオブジェクトディスプレイセグメントODS 122aないし122nが保存される時点を表す。
終了セグメント(End of display set segment:END)は、一つのディスプレイセット120a,120b,・・・120nの終了であることを知らせる。
整理すれば、プレゼンテーション情報には2つのものがある。すなわち、グラフィックデータ及びグラフィックデータの画面構成を記述する画面構成情報が存在するとき、前記グラフィックデータを、前記画面構成情報を参照して構成したグラフィック画面データがディスプレイ画面に出力される時間を知らせるプレゼンテーション情報がある。そして、このプレゼンテーション情報は、前記画面構成情報を含むページ構成セグメントPCS 121に記録されている。
そして、他の一つは、グラフィックデータの画面を構成するグラフィックオブジェクトが存在するとき、そのグラフィックオブジェクトがデコーダでデコードされて出力される時間を知らせるプレゼンテーション情報がある。もし、デコーダでデコードされる時間を0とすれば、このプレゼンテーション情報は、グラフィックオブジェクトをデコードするデコーダに入力される時間を知らせる情報とも言える。
図2は、本発明の第2実施形態によってグラフィックデータを処理するグラフィックデータの処理装置の構成図である。
グラフィックデータの処理装置230は、コーディングデータバッファ231、デコーダ232、第1バッファ233、第2バッファ234、画面構成用のバッファ235及びイメージ制御部236を備える。
情報記録媒体にTSの形態で保存されているサブタイトル及びナビゲーショングラフィック用のストリームは、図2には示されていないが、リードバッファとソースデパケッタイザを経て、この過程でTSに付加されていた到着タイムスタンプ(Arrival Time Stamp:ATS)が除去されて、MPEG−2 TSパケットの形態でPIDフィルタ210に入力される。PIDフィルタ210に入力されるMPEG−2 TSパケットの第1バイトの入力タイミングは、前記MPEG−2 TSパケットの第1ヘッダに含まれたATSにより決定され、以後のMPEG−2 TSパケットは、TS_recording_rateによってPIDフィルタ210に入力される。
PIDフィルタ210は、入力されたMPEG−2 TSパケットのトランスポートパケット識別子(Transport Packet Identifier:PID)を参照して、所望のPID値を有するトランスポートパケットであるか否かを判断し、所望のPID値を有するMPEG−2
TSパケットをトランスポートバッファ220に伝達する。理論的には、PIDフィルタ210の内部ではバッファリング及び遅延がないため、PIDフィルタ210に入力されたTSパケットは、PIDフィルタ210に入力された直後に出力される。
トランスポートバッファ220は、PIDフィルタ210によって特定のPID値を有するMPEG−2 TSパケットを受信する。すなわち、MPEG−2 TSパケットがグラフィックデータの処理装置230に入力される前に一時保存されるキューの機能を行う。トランスポートバッファ220に入力されたMPEG−2 TSパケットは、TSパケットのヘッダとPESパケットのヘッダとが除去される。一方、図1に示すように、サブタイトル及びナビゲーショングラフィック用のTSパケットのヘッダ110にはPTS情報が含まれているが、このPTSは、前記TSパケットのヘッダが除去された後、図1のようなディスプレイセットから形成されたデータパケット120がコーディングデータバッファ231に入力される時点を表す。
コーディングデータバッファ231は、グラフィックデータの処理装置で処理されるサブタイトル及びナビゲーショングラフィック用のデータストリームを、符号化された状態で入力されてバッファリングする。コーディングデータバッファ231に入力されたサブタイトル及びナビゲーショングラフィック用のオブジェクトデータは、ODS 122aないし122nに含まれたPTS情報によってコーディングデータバッファ231から出力される。
前述したように、ODS 122aないし122nのPTSは、第1バッファ233にODS 122aないし122nの保存が完了する時点とも言える。それは、理想的には、デコーダ232でのグラフィックデータのデコーディング時間は0であるため、コーディングデータバッファ231からODS 122aないし122nが出力される時点は、第1バッファ233にODSが保存される時点と同じであるためである。すなわち、ODS 122aないし122nのPTSは、コーディングデータバッファ231で当該ODSが出力される時点を表すだけでなく、当該ODSがデコードされた後、第1バッファ233に保存される時点を全て表す。しかし、実際には、デコーダ232がODSをデコードするには時間がかかるので、二つのODS間の時間間隔は、以前のオブジェクトがデコードされる時間を考慮して、PTS値に一定の間隔を有するように設定することが望ましい。
デコーダ232は、入力されたサブタイトル及びナビゲーショングラフィック用のデータをデコードする。グラフィックデータをデコードしてPCS及びOSDが出力されるが、デコードされたPCS 121は、ページ構成用のバッファ235に出力され、デコードされたODS 122aないし122nは、第1バッファ233に出力される。理論上、デコーダ232で、入力されたデータのデコーディングにかかる時間は“0”である。したがって、これをInstant decodingと称す。
画面構成用のバッファ235は、デコーダ232でデコードされて出力されたPCS 121を保存する。
第1バッファ233は、デコーダ232でデコードされたODS 122aないし122nを、そのOSDのオブジェクト識別子object_id別に区分して保存する。このようにデコードされたオブジェクトデータを第1バッファ233に保存することによって、第1バッファ233が完全にリセットされるまで、一つのオブジェクトを数回再使用できる。
第2バッファ234は、サブタイトル及びナビゲーショングラフィック用のデータをディスプレイ装置に示すために必要な、グラフィックデータオブジェクトから構成された画面が出力される直前のデータを保存するバッファである。第2バッファ234に保存されたデータは、当該ページの画面構成情報を有しているPCSのPTSによってディスプレイ装置に出力される。
イメージ制御部236は、一つのページに表示されるべきオブジェクトを、オブジェクト識別子object_idを参照して第1バッファ233から第2バッファ234に伝達するように制御する。すなわち、イメージ制御部236は、画面構成用のバッファ235から出力されたPCSデータの画面構成情報を利用して、当該画面の構成に必要なグラフィックデータオブジェクトを選択して、第1バッファ233から第2バッファ234に伝送するように第1バッファ233を制御し、ページ構成情報は、第2バッファ234に伝達してディスプレイする画面を構成する。一方、ユーザから入力を受けて、異なるPIDを有するサブタイトル及びナビゲーショングラフィック用のデータを選択して画面を構成するために、前述した各構成部を制御する。
図3は、グラフィックデータの本発明の第3実施形態を示す図である。以下では、図3のように、ディスプレイセットから形成されたグラフィックデータが、グラフィックデータの処理装置で処理されて画面にディスプレイされる過程を詳細に説明する。
すなわち、図3に示すように、サブタイトル及びナビゲーショングラフィック用のデータは、総4個のディスプレイセット305ないし320,325ないし330,335ないし345,350ないし360を含んでおり、このように複数のディスプレイセットから形成されたTSストリームが、前述したデコーダ232を経つつ、ODSに含まれたグラフィックデータオブジェクトは、第1バッファ233に保存され、PCSに含まれた画面構成情報は、画面構成用のバッファ235に保存されて、それぞれのPTS情報により第2バッファ234に伝達されてディスプレイされる過程を説明すれば、次の通りである。図3では、説明の便宜上、各ディスプレイセットのヘッダは図示していない。
図4Aは、page_idが1である第1ディスプレイセット305ないし320がそれぞれのバッファに保存されている状態を示す図である。
object_id=1であるODS 310のグラフィックデータ及びobject_id=2であるODS 315のグラフィックデータが、それぞれのODS 310,315に含まれたPTS時点で第1バッファ233に保存される。この時点で、画面構成用のバッファ235には、何らのデータも保存されていない。一般的に、第1バッファ233に保存された全てのオブジェクトデータがこれ以上使用されなくなって、新たなディスプレイセットが入力されて、新たなオブジェクトデータを処理すべき場合をモード転換と称すが、このモード転換時に入力される第1のPCSには、何らのデータが含まれていないか、または意味のないデータであるダミーPCSであるので、グラフィックデータの処理装置230は、図4Aのように、第1ディスプレイセット305ないし320では、次の“モード転換”以前まで必要なオブジェクトのみをデコードして第1バッファ233に保存する。したがって、第2バッファ234にはデータのない状態となる。
図4Bは、page_idが2である第2ディスプレイセット325ないし330がそれぞれのバッファに保存されている状態を示す図である。
図3に示すように、page_id=2である第2ディスプレイセット325ないし330は、PCS 324及びENDセグメント330のみで構成されており、第1バッファ233に保存されたpage_id=1である第1ディスプレイセット305ないし320のオブジェクトを実際の画面に表示するための画面構成情報を含む。したがって、page_id=2であるPCSは、何なるグラフィックオブジェクトが画面上のどの位置に表示されねばならないという情報を含む。イメージ制御器236は、page_id=2であるPCS 325の画面構成情報を利用して、第1バッファ233を制御してobject_id=1であるODS 310と、object_id=2であるODS 315とに該当するグラフィックオブジェクトを第2バッファ234に伝達して、PCS 325に含まれた画面構成情報を利用して画面を構成し、当該PCS 325に含まれたPTS時点には、図4のように、第2バッファ234に画面構成を完了してディスプレイ装置に出力する。
図4Cは、page_idが3である第3ディスプレイセット335ないし345がそれぞれのバッファに保存されている状態を示す図である。
図3に示すように、page_id=3である第3ディスプレイセット335ないし345は、PCS 335、object_id=2であるODS 340及びENDセグメント345で構成されている。page_id=3であるディスプレイセットに含まれたODS 340は、page_id=1である第1ディスプレイセット305ないし320のODS 310,315のうち何れか一つ315と同じオブジェクト_idを有する。このように、同じオブジェクト_idを有するODS 340は、以前のグラフィックデータオブジェクト325を覆うので、結果的にアップデートの機能を行う。すなわち、PCSの画面構成情報は変わっていないが、アップデートされたオブジェクトがディスプレイ画面に反映されて、当該PCSのPTS時点に、第2バッファ234に保存された画面構成が完了した画面がディスプレイ装置に出力される。
図4Dは、page_idが4である第4ディスプレイセット350ないし360がそれぞれのバッファに保存されている状態を示す図である。
図3に示すように、page_id=4であるディスプレイセット350ないし360は、新たな画面構成情報を有するPCS 350、object_id=3であるODS 355及びENDセグメント360で構成されている。グラフィックデータの処理装置230は、各セグメントに該当するデータを第1バッファ233、第2バッファ234、画面構成用のバッファ235に保存していて、page_id=4であるPCS 350のPTS時点に、第2バッファに保存された画面構成が完了した画面をディスプレイ装置に出力する。
図5の(A)ないし(D)は、各バッファにデータが入出力される過程を経時的に示す図である。図5の(A)ないし(D)に示すように、第1のディスプレイセットは、当該パケットのMPEG−2 TSヘッダに含まれたPTS時点510にコーディングデータバッファ231に全て保存され、各ODSのPTS時点550,560にコーディングデータバッファ231から出力されて、デコーダ232でデコードされて第1バッファ233に保存される。前述したように、一つのオブジェクトがコーディングデータバッファ231から出力される時点と、デコーダ232でデコードされて第1バッファ233に保存される時点とが同じである。しかし、実際にデコーディングには時間がかかるので、object_id=2であるODS 315のPTS 560は、object_id=1であるODS 310のPTS 550より一定程度さらに大きな値に設定される。
したがって、object_id=1であるODS 310のPTS 550に合わせて、コーディングデータバッファ231でobject_id=1であるODS 310のグラフィックオブジェクト(object1)が出力されて、デコーディング過程を経て第1バッファ233に保存される。そして、object_id=2であるODS 315のPTS 560に合わせて、object_id=2であるODS 315のグラフィックオブジェクト(object2)がコーディングデータバッファ231から出力されて、デコーディング過程を経て第1バッファ233に保存される。
第2のディスプレイセットも、当該パケットのヘッダに含まれたPTS時点520にコーディングデータバッファ231に全て保存され、そのうちPCSは、デコーダ232でデコードされて画面構成用のバッファ235に保存される。イメージ制御部236は、画面構成情報に基づいて、当該画面の形成に必要なオブジェクトを第1バッファ233から第2バッファ234に伝送するように第1バッファ233を制御する。このとき、第1バッファ233に保存されたオブジェクトが第2バッファ234に伝送されて画面を構成し始める時点は、第1バッファに最後に保存されたODSのPTS時点である。
しかし、第1のディスプレイセット305ないし320のPCS 305は、画面構成情報を含んでいないダミーPCSであるので、最後に保存されたobject_id=2であるODS 315は、そのODSのPTS時点に第2バッファ234に伝送されず、画面構成作業にも使用されない。そして、第2のディスプレイセット325ないし330のPCSがデコードされ、画面構成用のバッファ235に保存されて、イメージ制御器236がデコードされたPCS情報を使用する瞬間に、画面の構成に必要なobject_id=1及び2であるグラフィックオブジェクト(object1,object2)は、第1バッファ233から第2バッファ234に伝送されつつ、画面構成作業が始まる。そして、page_id=2であるPCS 325のPTS時点590に全ての画面構成作業が完了してディスプレイ画面に出力される。
第3のディスプレイセット335ないし345も、当該パケットのヘッダに含まれたPTS時点530にコーディングデータバッファ231に全て保存され、第3のディスプレイセット335ないし345のODS 340のPTS時点570に、コーディングデータバッファ231から出力されて、デコーディング過程の直後に第1バッファ233に保存される。このとき、第3のディスプレイセット335ないし345に含まれたODSは、既に第1バッファ233に保存されているオブジェクトIDと同じオブジェクトIDを使用するので、既に保存されたオブジェクト(object2)の位置にオーバーライティングして、結果的には、オブジェクトがアップデートされた結果が得られる。
一方、page_id=3であるPCS 335は、object_id=1及び2であるオブジェクトを有するODS 310,340使用して画面を構成するので、第1バッファ233に最後に保存されたobject_id=2であるオブジェクトは、そのODSのPTS時点に第1バッファ233に保存されると同時に、第2バッファ234に伝送されて画面構成に使用される。そして、page_id=3であるPCS 335のPTS時点591に、画面構成が完了したページをディスプレイ装置に出力する。このとき、第2バッファ234は、page_id=3であるPTS時点以前までは、page_id=2であるPCS 325の画面構成情報により形成されたディスプレイ画面出力を維持する。
また、第4のディスプレイセット350ないし360も、当該パケットのヘッダに含まれたPTS時点540にコーディングデータバッファ231に全て保存され、第4のディスプレイセット350ないし360のODS 355のPTS時点580に、コーディングデータバッファ231から出力されて、デコーディング過程の直後に第1バッファ233に保存される。そして、page_id=4であるPCS 350のPTS時点592に画面構成が完了したページをディスプレイ装置に出力する。このとき、第2バッファ234は、page_id=4のPTS時点以前までは、page_id=3であるPCSの画面構成情報により形成されたディスプレイ画面出力を維持する。したがって、第2バッファは、図6に示すように、準備バッファ610及びディスプレイバッファ620を備える。
図6は、第2バッファ234の詳細ブロック図である。図6に示すように、第2バッファ234は、準備バッファ610及びディスプレイバッファ620を備える。準備バッファ610は、第1バッファ233から入力されたオブジェクトを、画面構成情報を参照して所定の画面位置に配置する作業に使用するメモリである。ディスプレイバッファ620は、このように準備された画面をディスプレイする時に使用されるメモリである。そして、PCS 305,325,335,350のPTS時点に、準備バッファ610及びディスプレイバッファ620の機能を互いに変えて、構成が完了した画面をディスプレイ装置630に最終出力する。
図4B及び図4Cを参照してさらに詳細に説明すれば、ディスプレイバッファ620には、page_id=2に該当するPCS 325情報を参照して、画面構成が完了した図4Bの第2バッファ234の内容が保存されてディスプレイ装置630に出力されており、準備バッファ610は、page_id=3に該当するPCS 325情報を参照して、画面構成が進行中である状態にある。その後、page_id=3に該当するPCSのPTS時点に準備バッファ610及びディスプレイバッファ620の機能を互いに変えることにより、ディスプレイ装置630には、図4Cでの第2バッファの内容が出力され、準備バッファ610には、前記のような方法で第4ディスプレイセット350ないし360のデータが画面構成に使用されるために入力される。
図7は、画面構成が完了したグラフィックディスプレイデータをディスプレイ装置に出力する過程を示すフローチャートである。
グラフィックデータを受信する(S710)。そして、前記グラフィックデータの画面構成を記述する画面構成情報を受信する(S720)。前記グラフィックデータを、前記画面構成情報を参照して構成したグラフィック画面データが、ディスプレイ画面に出力される時間を知らせるプレゼンテーション情報によって、前記グラフィック画面データをディスプレイ画面に出力する(S730)。ここで、プレゼンテーション情報は、前記画面構成情報を含むページ構成セグメントに記録されている。また、グラフィックデータが複数個存在する場合には、そのグラフィックデータのうち最後に入力されるグラフィックデータのプレゼンテーション情報を参照して、グラフィックディスプレイの画面構成を始める。
図8Aは、デコードされたグラフィックオブジェクトを出力する過程を示すフローチャートである。
グラフィックデータの画面を構成するグラフィックオブジェクトを受信する(S810)。そして、グラフィックオブジェクトがデコードされて出力される時間を知らせるプレゼンテーション情報によって、前記デコードされたグラフィックオブジェクトを出力する(S820a)。
図8Bは、グラフィックオブジェクトをデコーダに入力する過程を示すフローチャートである。
グラフィックデータの画面を構成するグラフィックオブジェクトを受信する(S810)。そして、グラフィックオブジェクトをデコードするデコーダに入力される時間を知らせるプレゼンテーション情報によって、前記グラフィックオブジェクトをデコーダに入力する(S820b)。
図8Aと図8Bは、理想的な場合に、デコーダ232で行われるデコーディング時間が0であるという仮定下に、デコーダ232に入力される時間とデコーダ232から出力される時間とが同じであるということを表す。このとき、プレゼンテーション情報は、グラフィックオブジェクトを含むオブジェクトデータセグメントに記録されている。そして、グラフィックオブジェクトが複数個存在する場合には、前記グラフィックオブジェクトのプレゼンテーション情報は、互いに所定の時間間隔を有する。
また、本発明は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現できる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存される全ての種類の記録装置を備える。コンピュータで読み取り可能な記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがあり、また、キャリアウェーブ(例えば、インターネットを通じた伝送)の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式にコンピュータで読み取り可能なコードが保存され、かつ実行され得る。
以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現できることを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にある全ての差異点は、本発明に含まれたものと解釈されねばならない。
本発明のグラフィックデータ構成及びプレゼンテーション情報を使用すれば、グラフィックデータの処理時にグラフィックオブジェクトを再使用できて、グラフィックデータの処理時間を短縮させ、メモリを節約できる。
本発明の第1実施形態によってグラフィックMPEG−2 TSの構造を示す図である。 本発明の第2実施形態によってグラフィックデータを処理するグラフィックデータの処理装置の構成図である。 グラフィックデータの本発明の第3実施形態を示す図である。 page_idが1である第1ディスプレイセットがそれぞれのバッファに保存されている状態を示す図である。 page_idが2である第2ディスプレイセットがそれぞれのバッファに保存されている状態を示す図である。 page_idが3である第3ディスプレイセットがそれぞれのバッファに保存されている状態を示す図である。 page_idが4である第4ディスプレイセットがそれぞれのバッファに保存されている状態を示す図である。 各バッファにデータが入出力される過程を経時的に示す図である。 第2バッファの詳細ブロック図である。 画面構成が完了したグラフィックディスプレイデータをディスプレイ装置に出力する過程を示すフローチャートである。 デコードされたグラフィックオブジェクトを出力する過程を示すフローチャートである。 グラフィックオブジェクトをデコーダに入力する過程を示すフローチャートである。

Claims (3)

  1. グラフィックデータを処理する装置であって、
    オブジェクト識別子によって識別されるグラフィックオブジェクトを定義したグラフィックオブジェクトデータを記憶する第1バッファと、
    前記第1バッファに記憶されている少なくとも一つのグラフィックオブジェクトを用いてグラフィックイメージを構成するための構成情報を記憶する画面構成用バッファと、
    前記グラフィックイメージが表示装置に出力される直前のデータを記憶する第2バッファと、
    前記構成情報及び前記オブジェクト識別子を参照して、前記グラフィックイメージを構成する少なくとも一つのグラフィックオブジェクトが前記第1バッファから前記第2バッファに伝達されるようにすることによって前記グラフィックイメージを構成するイメージ制御部を含み、
    前記構成情報は、前記少なくとも一つのグラフィックオブジェクトが前記表示装置にどのように表示されるか記述するための情報であって、前記少なくとも一つのグラフィックオブジェクトが前記表示装置に出力される位置を示す情報を含み、
    新たなグラフィックオブジェクトデータが受信されれば、前記受信された新たなグラフィックオブジェクトデータにより定義されるグラフィックオブジェクト識別子を用いて、前記第1バッファに保存されたグラフィックオブジェクトデータをアップデートする
    ことを特徴とする装置。
  2. 前記第1バッファがリセットされるまで、前記第1バッファは前記グラフィックオブジェクトデータを記憶することを特徴とする請求項1に記載の装置。
  3. 前記第1バッファは、デコーダでデコードされたオブジェクトディスプレイセグメントをオブジェクト識別子別に区分して保存することにより、前記少なくとも一つのグラフィックオブジェクトを再使用できることを特徴とする請求項1に記載の装置。
JP2008133962A 2003-07-31 2008-05-22 グラフィックデータ処理装置 Active JP5203042B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020030053073A KR100739676B1 (ko) 2003-07-31 2003-07-31 그래픽 데이터를 포함하는 정보저장매체, 그 처리장치 및처리방법
KR10-2003-0053073 2003-07-31
US51111003P 2003-10-15 2003-10-15
US60/511,110 2003-10-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006521779A Division JP5049591B2 (ja) 2003-07-31 2004-07-15 グラフィックデータを含む情報記録媒体

Publications (2)

Publication Number Publication Date
JP2008278511A JP2008278511A (ja) 2008-11-13
JP5203042B2 true JP5203042B2 (ja) 2013-06-05

Family

ID=36117805

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2006521779A Active JP5049591B2 (ja) 2003-07-31 2004-07-15 グラフィックデータを含む情報記録媒体
JP2008133963A Active JP5203043B2 (ja) 2003-07-31 2008-05-22 グラフィックデータ処理方法
JP2008133962A Active JP5203042B2 (ja) 2003-07-31 2008-05-22 グラフィックデータ処理装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2006521779A Active JP5049591B2 (ja) 2003-07-31 2004-07-15 グラフィックデータを含む情報記録媒体
JP2008133963A Active JP5203043B2 (ja) 2003-07-31 2008-05-22 グラフィックデータ処理方法

Country Status (11)

Country Link
EP (1) EP1649382B1 (ja)
JP (3) JP5049591B2 (ja)
BR (1) BRPI0407516A (ja)
CA (3) CA2515187C (ja)
HK (3) HK1087209A1 (ja)
MX (1) MXPA05010586A (ja)
MY (2) MY141299A (ja)
RU (1) RU2304303C2 (ja)
SG (1) SG142317A1 (ja)
TW (1) TWI251176B (ja)
WO (1) WO2005013144A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7461714B2 (ja) 2019-02-25 2024-04-04 株式会社東海理化電機製作所 シフト装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11949761B2 (en) * 2021-07-29 2024-04-02 Oracle International Corporation Techniques for distributed interface component generation
CN115348328A (zh) * 2022-08-11 2022-11-15 环胜电子(深圳)有限公司 手写数据处理方法与手写数据处理系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163560A (ja) * 1994-12-02 1996-06-21 Sony Corp 画像情報生成方法及び画像情報処理方法、並びに記録媒体
JPH10285047A (ja) * 1997-02-07 1998-10-23 Matsushita Electric Ind Co Ltd バッファ制御方法、およびバッファ制御を行う復号化装置
KR100530919B1 (ko) * 1997-03-17 2006-02-28 마츠시타 덴끼 산교 가부시키가이샤 동화상 데이터의 처리 및 송수신 방법 및 장치
KR100305730B1 (ko) * 1998-06-22 2001-11-30 구자홍 재기록가능기록매체의메뉴데이터및화면의구성방법
JP2002044590A (ja) * 2000-07-21 2002-02-08 Alpine Electronics Inc Dvdビデオ再生装置
CA2422780A1 (en) * 2000-08-17 2002-02-21 Innotive Corporation System and method for displaying large images with reduced capacity buffer, file format conversion, user interface with zooming and panning, and broadcast of different images
EP1641259B1 (en) * 2003-06-30 2009-09-02 Panasonic Corporation Recording medium, reproduction device, recording method, program, and reproduction method
CN1849821B (zh) * 2003-07-11 2012-06-20 松下电器产业株式会社 记录方法、再现装置和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7461714B2 (ja) 2019-02-25 2024-04-04 株式会社東海理化電機製作所 シフト装置

Also Published As

Publication number Publication date
MXPA05010586A (es) 2005-11-23
JP2008228343A (ja) 2008-09-25
EP1649382A4 (en) 2012-07-25
MY141299A (en) 2010-04-16
HK1112136A1 (en) 2008-08-22
HK1087209A1 (en) 2006-10-06
EP1649382B1 (en) 2016-11-30
SG142317A1 (en) 2008-05-28
MY143313A (en) 2011-04-15
RU2304303C2 (ru) 2007-08-10
RU2005127342A (ru) 2006-02-10
JP2008278511A (ja) 2008-11-13
TWI251176B (en) 2006-03-11
WO2005013144A1 (en) 2005-02-10
CA2515187C (en) 2017-03-14
TW200519768A (en) 2005-06-16
CA2515187A1 (en) 2005-02-10
HK1130929A1 (zh) 2010-01-08
EP1649382A1 (en) 2006-04-26
BRPI0407516A (pt) 2006-02-14
JP5049591B2 (ja) 2012-10-17
JP5203043B2 (ja) 2013-06-05
CA2629241A1 (en) 2005-02-10
JP2007502036A (ja) 2007-02-01
CA2628773A1 (en) 2005-02-10

Similar Documents

Publication Publication Date Title
USRE44287E1 (en) Information storage medium storing graphic data and apparatus and method of processing the graphic data
JP5203042B2 (ja) グラフィックデータ処理装置
EP1950959A2 (en) Information storage medium storing graphic data and apparatus and method of processing the graphic data

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111005

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121026

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5203042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250