JP2950376B2 - ピクチャーデコーディング同期化回路及びその方法 - Google Patents
ピクチャーデコーディング同期化回路及びその方法Info
- Publication number
- JP2950376B2 JP2950376B2 JP21601198A JP21601198A JP2950376B2 JP 2950376 B2 JP2950376 B2 JP 2950376B2 JP 21601198 A JP21601198 A JP 21601198A JP 21601198 A JP21601198 A JP 21601198A JP 2950376 B2 JP2950376 B2 JP 2950376B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- dts
- value
- pts
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】本発明はビデオデコーダに係
り、特に可変長復号器（以下"VLD" という）のためのビ
ットバッファの状態がアンダーフローやオーバーフロー
にならないようにピクチャー単位でデコーディング同期
を制御するピクチャーデコーディング同期化回路及びそ
の方法に関する。
り、特に可変長復号器（以下"VLD" という）のためのビ
ットバッファの状態がアンダーフローやオーバーフロー
にならないようにピクチャー単位でデコーディング同期
を制御するピクチャーデコーディング同期化回路及びそ
の方法に関する。
【０００２】
【従来の技術】MPEG(moving picture experts group)-2
ビデオのピクチャータイプはＩピクチャー、Ｂピクチャ
ー及びＰピクチャーの三種類があり、MPEG-2ビデオはフ
レームピクチャーまたはフィールドピクチャー単位でコ
ーディングされる。Ｉピクチャーは他のピクチャーと関
係なくデコーディングされうり、Ｐピクチャーは以前の
ＩまたはＰピクチャーからデコーディングされうり、Ｂ
ピクチャーは以前のＩまたはＰピクチャーと以後のＩま
たはＰピクチャーからデコーディングされうる。入力ピ
クチャーがＩ、Ｂ及びＰピクチャーの全てが含まれてい
る場合にはデコーディング順序とディスプレー（出力）
順序が相異なるため、デコーディングタイミングと出力
タイミングをまともに制御してからこそ元来の画像に復
元できる。
ビデオのピクチャータイプはＩピクチャー、Ｂピクチャ
ー及びＰピクチャーの三種類があり、MPEG-2ビデオはフ
レームピクチャーまたはフィールドピクチャー単位でコ
ーディングされる。Ｉピクチャーは他のピクチャーと関
係なくデコーディングされうり、Ｐピクチャーは以前の
ＩまたはＰピクチャーからデコーディングされうり、Ｂ
ピクチャーは以前のＩまたはＰピクチャーと以後のＩま
たはＰピクチャーからデコーディングされうる。入力ピ
クチャーがＩ、Ｂ及びＰピクチャーの全てが含まれてい
る場合にはデコーディング順序とディスプレー（出力）
順序が相異なるため、デコーディングタイミングと出力
タイミングをまともに制御してからこそ元来の画像に復
元できる。
【０００３】ここで、図１は既存のピクチャーデコーデ
ィング同期化方法を説明するためのビデオデコーダのブ
ロック図である。図１において、PES(Packetized Eleme
ntary Stream）デコーダ10は入力されるPES ストリーム
を分析してビデオ基本ストリームはビットバッファ20に
出力し、プレゼンテーションタイムスタンプ（以下"PT
S" という）とデコーディングタイムスタンプ（以下"DT
S" という）はVLD30 に出力する。VLD30 はビットバッ
ファ20からピクチャー（ここではフレーム）単位で出力
されるビデオ基本ストリームを入力して分析されたPTS
とDTS によってそのピクチャーをどの時点からデコーデ
ィングし始めるかを決定するが、PTS とDTS の二つとも
ある場合はDTS を、PTS だけある場合にはPTS をそのピ
クチャーのデコーディング時点と決定する。
ィング同期化方法を説明するためのビデオデコーダのブ
ロック図である。図１において、PES(Packetized Eleme
ntary Stream）デコーダ10は入力されるPES ストリーム
を分析してビデオ基本ストリームはビットバッファ20に
出力し、プレゼンテーションタイムスタンプ（以下"PT
S" という）とデコーディングタイムスタンプ（以下"DT
S" という）はVLD30 に出力する。VLD30 はビットバッ
ファ20からピクチャー（ここではフレーム）単位で出力
されるビデオ基本ストリームを入力して分析されたPTS
とDTS によってそのピクチャーをどの時点からデコーデ
ィングし始めるかを決定するが、PTS とDTS の二つとも
ある場合はDTS を、PTS だけある場合にはPTS をそのピ
クチャーのデコーディング時点と決定する。
【０００４】単純にPES デコーダ10から出力されるPTS
とDTS 値だけを利用してVLD30 でピクチャー単位のデコ
ーディング時点を決定する場合、伝送されたビットスト
リームに対して伝送チャンネル上のエラーのような願わ
ない状況によりPES ストリームが損傷され、その損傷さ
れた部分がPTS やDTS ならばこれを利用してVLD30 でピ
クチャー単位で同期を合せると、デコーディング順序と
出力順序が元のデコーディング順序と出力順序と一致し
なくなる。
とDTS 値だけを利用してVLD30 でピクチャー単位のデコ
ーディング時点を決定する場合、伝送されたビットスト
リームに対して伝送チャンネル上のエラーのような願わ
ない状況によりPES ストリームが損傷され、その損傷さ
れた部分がPTS やDTS ならばこれを利用してVLD30 でピ
クチャー単位で同期を合せると、デコーディング順序と
出力順序が元のデコーディング順序と出力順序と一致し
なくなる。
【０００５】即ち、エラーにより誤ったPTS とDTS 値が
元のPTS とDTS 値との偏差がどれだけ外れたかによって
VLD30 では所定数のピクチャーをデコーディングしない
で捨てるかまたは所定時間待つかが決定される。これに
よってデコーディングされた出力を画面にディスプレー
するとかなり不自然に表示される問題点があった。
元のPTS とDTS 値との偏差がどれだけ外れたかによって
VLD30 では所定数のピクチャーをデコーディングしない
で捨てるかまたは所定時間待つかが決定される。これに
よってデコーディングされた出力を画面にディスプレー
するとかなり不自然に表示される問題点があった。
【０００６】
【発明が解決しようとする課題】前記問題点を解決する
ために、本発明の目的はビデオデコーダにおいて伝送さ
れたPTS とDTS にエラーがない場合のみこれを使用して
デコーディングし、そうでない場合にはこれを使用しな
いことによってビットバッファ状態がオーバーフロー及
びアンダーフローされないピクチャーデコーディング同
期化回路を提供することにある。
ために、本発明の目的はビデオデコーダにおいて伝送さ
れたPTS とDTS にエラーがない場合のみこれを使用して
デコーディングし、そうでない場合にはこれを使用しな
いことによってビットバッファ状態がオーバーフロー及
びアンダーフローされないピクチャーデコーディング同
期化回路を提供することにある。
【０００７】本発明の他の目的は伝送されたPTS とDTS
にエラーがない場合のみこれを使用してデコーディング
し、そうでない場合にはこれを使用しないピクチャーデ
コーディング同期化方法を提供することにある。
にエラーがない場合のみこれを使用してデコーディング
し、そうでない場合にはこれを使用しないピクチャーデ
コーディング同期化方法を提供することにある。
【０００８】
【課題を解決するための手段】前記目的を達成するため
に、本発明によるピクチャーデコーディング同期化回路
は入力ビットストリームに共に伝送されたPTS とDTS が
エラーにより歪曲されたかどうかを検出して検出信号を
出力する検出器、検出信号によって前記伝送されたPTS
とDTS にエラーが検出されなければ前記伝送されたPTS
とDTS を利用してDTS 値を決定し、そうでなければ以前
ピクチャーのDTS 値に所定のオフセット値を加算した値
を利用してDTS 値を決定する決定器及び入力ビットスト
リームをピクチャー単位で前記決定されたDTS 値に同期
化してデコーディングするデコーダを含むことを特徴と
する。
に、本発明によるピクチャーデコーディング同期化回路
は入力ビットストリームに共に伝送されたPTS とDTS が
エラーにより歪曲されたかどうかを検出して検出信号を
出力する検出器、検出信号によって前記伝送されたPTS
とDTS にエラーが検出されなければ前記伝送されたPTS
とDTS を利用してDTS 値を決定し、そうでなければ以前
ピクチャーのDTS 値に所定のオフセット値を加算した値
を利用してDTS 値を決定する決定器及び入力ビットスト
リームをピクチャー単位で前記決定されたDTS 値に同期
化してデコーディングするデコーダを含むことを特徴と
する。
【０００９】前記他の目的を達成するために、本発明に
よるピクチャーデコーディング同期化方法は入力ビット
ストリームに共に伝送されたPTS とDTS がエラーにより
歪曲されたかどうかを判断する段階、伝送されたPTS と
DTS にエラーが検出されなければ前記伝送されたPTS と
DTS を利用してDTS 値を決定し、そうでなければ以前ピ
クチャーのDTS 値に所定のオフセット値を加算した値を
利用してDTS 値を決定する段階及び入力ビットストリー
ムをピクチャー単位で決定されたDTS 値に同期化してデ
コーディングするデコーダを含むことを特徴とする。
よるピクチャーデコーディング同期化方法は入力ビット
ストリームに共に伝送されたPTS とDTS がエラーにより
歪曲されたかどうかを判断する段階、伝送されたPTS と
DTS にエラーが検出されなければ前記伝送されたPTS と
DTS を利用してDTS 値を決定し、そうでなければ以前ピ
クチャーのDTS 値に所定のオフセット値を加算した値を
利用してDTS 値を決定する段階及び入力ビットストリー
ムをピクチャー単位で決定されたDTS 値に同期化してデ
コーディングするデコーダを含むことを特徴とする。
【００１０】
【発明の実施の形態】以下、添付した図面を参照して本
発明によるピクチャーデコーディング同期化回路及びそ
の方法の望ましい実施例を説明する。本発明によるピク
チャーデコーディング同期化回路の一実施例によるブロ
ック図である図２において、PES ストリームがPES デコ
ーダ100 に入力されると、このPES デコーダ100 はPES
ストリームを分析してビデオ基本ストリームに当たるPE
S パケットだけを選択し、選択されたPES パケットのヘ
ッダを除去して基本ストリームを出力する。この基本ス
トリームはビットバッファ110 に書込まれ、後述するホ
ールド信号とスキップ信号により読出される。
発明によるピクチャーデコーディング同期化回路及びそ
の方法の望ましい実施例を説明する。本発明によるピク
チャーデコーディング同期化回路の一実施例によるブロ
ック図である図２において、PES ストリームがPES デコ
ーダ100 に入力されると、このPES デコーダ100 はPES
ストリームを分析してビデオ基本ストリームに当たるPE
S パケットだけを選択し、選択されたPES パケットのヘ
ッダを除去して基本ストリームを出力する。この基本ス
トリームはビットバッファ110 に書込まれ、後述するホ
ールド信号とスキップ信号により読出される。
【００１１】VLD120はMPEG-2構文(syntax)により定義さ
れた信号を出力するが、その種類は伝送されるピクチャ
ーがフレーム単位かフィールド単位かを示すピクチャー
構造信号pic ＿struct、GOP が検出されたことを知らせ
るGOP ヘッダ検出信号gop ＿hd＿det 、GOP 内に存在す
るピクチャーのディスプレー順序を示す時間基準情報te
mp＿ref 、VLD120に入力されるピクチャーがＩピクチャ
ー、ＰピクチャーまたはＢピクチャーかどうかを示すピ
クチャータイプ信号pic ＿type、ピクチャーヘッダの検
出を知らせるピクチャーヘッダ検出信号pic ＿hd＿det
である。
れた信号を出力するが、その種類は伝送されるピクチャ
ーがフレーム単位かフィールド単位かを示すピクチャー
構造信号pic ＿struct、GOP が検出されたことを知らせ
るGOP ヘッダ検出信号gop ＿hd＿det 、GOP 内に存在す
るピクチャーのディスプレー順序を示す時間基準情報te
mp＿ref 、VLD120に入力されるピクチャーがＩピクチャ
ー、ＰピクチャーまたはＢピクチャーかどうかを示すピ
クチャータイプ信号pic ＿type、ピクチャーヘッダの検
出を知らせるピクチャーヘッダ検出信号pic ＿hd＿det
である。
【００１２】ピクチャーカウンター130 はVLD120より出
力されるピクチャー構造信号pic ＿struct、GOP ヘッダ
検出信号gop ＿hd＿det 、ピクチャーヘッダ検出信号pi
c ＿hd＿det を入力されてピクチャー単位でカウントす
る。即ち、ピクチャーヘッダ検出信号pic ＿hd＿detect
に同期してアップカウンティングするが、ピクチャー構
造信号pic ＿structが"3" ならば（フレームピクチャー
を示す）毎ピクチャーヘッダ検出信号pic ＿hd＿detect
が検出されるごとにカウントの値を増やし、"3" でなけ
れば（フィールドピクチャーを示す)2個のピクチャーヘ
ッダ検出信号pic ＿hd＿detectが検出されるごとにカウ
ントの値は増える。また、ピクチャーカウンター130 は
GOP ヘッダ検出信号gop ＿hd＿detectが入力される時、
ピクチャーヘッダ検出信号pic ＿hd＿detectに同期して
カウント値を"0" でリセットさせる。即ち、ピクチャー
カウンター130 はGOP 単位でリセットされ、GOP 内のピ
クチャー数をカウントする。
力されるピクチャー構造信号pic ＿struct、GOP ヘッダ
検出信号gop ＿hd＿det 、ピクチャーヘッダ検出信号pi
c ＿hd＿det を入力されてピクチャー単位でカウントす
る。即ち、ピクチャーヘッダ検出信号pic ＿hd＿detect
に同期してアップカウンティングするが、ピクチャー構
造信号pic ＿structが"3" ならば（フレームピクチャー
を示す）毎ピクチャーヘッダ検出信号pic ＿hd＿detect
が検出されるごとにカウントの値を増やし、"3" でなけ
れば（フィールドピクチャーを示す)2個のピクチャーヘ
ッダ検出信号pic ＿hd＿detectが検出されるごとにカウ
ントの値は増える。また、ピクチャーカウンター130 は
GOP ヘッダ検出信号gop ＿hd＿detectが入力される時、
ピクチャーヘッダ検出信号pic ＿hd＿detectに同期して
カウント値を"0" でリセットさせる。即ち、ピクチャー
カウンター130 はGOP 単位でリセットされ、GOP 内のピ
クチャー数をカウントする。
【００１３】DTS 発生器150 はPES デコーダ100 から分
析されたDTS とPTS 、マスク発生器140 から発生された
DTS マスク信号dts ＿maskを利用してVLD120でデコーデ
ィングのために用いられる復号されたDTS 値decoded ＿
dts を発生させてVLD120から出力されるピクチャーヘッ
ダ検出信号pic ＿hd＿detectによりラッチしている。マ
スク発生器140 はVLD120から出力されるピクチャータイ
プ信号pic ＿typeと時間基準情報temp＿ref 、ピクチャ
ーカウンター130 でカウントされたピクチャーカウント
値pic ＿count とDTS 発生器150 から発生された復号さ
れたDTS 値decoded ＿dts を利用してDTS マスク信号dt
s ＿maskを発生させるが、このDTS マスク信号dts ＿ma
skは伝送されたPTS とDTS にエラーが発生されたことを
示し、伝送されたPTS とDTS にエラーが発生されたピク
チャーから伝送されたPTS とDTS にエラーが発生されな
いGOP の最初のピクチャー(Iピクチャー）が検出される
までアクティブした信号である。これに対しては図４で
より詳細に説明する。
析されたDTS とPTS 、マスク発生器140 から発生された
DTS マスク信号dts ＿maskを利用してVLD120でデコーデ
ィングのために用いられる復号されたDTS 値decoded ＿
dts を発生させてVLD120から出力されるピクチャーヘッ
ダ検出信号pic ＿hd＿detectによりラッチしている。マ
スク発生器140 はVLD120から出力されるピクチャータイ
プ信号pic ＿typeと時間基準情報temp＿ref 、ピクチャ
ーカウンター130 でカウントされたピクチャーカウント
値pic ＿count とDTS 発生器150 から発生された復号さ
れたDTS 値decoded ＿dts を利用してDTS マスク信号dt
s ＿maskを発生させるが、このDTS マスク信号dts ＿ma
skは伝送されたPTS とDTS にエラーが発生されたことを
示し、伝送されたPTS とDTS にエラーが発生されたピク
チャーから伝送されたPTS とDTS にエラーが発生されな
いGOP の最初のピクチャー(Iピクチャー）が検出される
までアクティブした信号である。これに対しては図４で
より詳細に説明する。
【００１４】DTS 発生器150 で現在ピクチャーの復号さ
れたDTS 値decoded ＿dts がピクチャーヘッダ検出信号
pic ＿hd＿detectによりラッチされているので、マスク
発生器140 でDTS マスク信号dts ＿maskをセットまたは
リセットさせるかに対する決定はピクチャーヘッダ検出
信号pic ＿hd＿detectが検出された後一つまたは二つの
クロックの遅延された後なされる。
れたDTS 値decoded ＿dts がピクチャーヘッダ検出信号
pic ＿hd＿detectによりラッチされているので、マスク
発生器140 でDTS マスク信号dts ＿maskをセットまたは
リセットさせるかに対する決定はピクチャーヘッダ検出
信号pic ＿hd＿detectが検出された後一つまたは二つの
クロックの遅延された後なされる。
【００１５】このように発生した復号されたDTS 値deco
ded ＿dts を減算器170 に印加する。ラッチ部160 は伝
送パケットストリームのヘッダに載せられているPCR に
同期されて秒当たり90KHz のレートで増加するSTC をラ
ッチする。減算器170 はラッチ部160 にラッチされたST
C 値(STC）から復号されたDTS 値decoded ＿dts を減算
して減算した結果に対する絶対値と所定のしきい値とを
比較して比較結果をホールド判断器180 及びスキップ判
断器190 に出力する。ここで、しきい値は所定の定数
（ここでは900)であって、ホールドまたはスキップ許容
範囲を示す限界値である。
ded ＿dts を減算器170 に印加する。ラッチ部160 は伝
送パケットストリームのヘッダに載せられているPCR に
同期されて秒当たり90KHz のレートで増加するSTC をラ
ッチする。減算器170 はラッチ部160 にラッチされたST
C 値(STC）から復号されたDTS 値decoded ＿dts を減算
して減算した結果に対する絶対値と所定のしきい値とを
比較して比較結果をホールド判断器180 及びスキップ判
断器190 に出力する。ここで、しきい値は所定の定数
（ここでは900)であって、ホールドまたはスキップ許容
範囲を示す限界値である。
【００１６】ホールド判断器180 はこの比較結果を基に
してデコーディングを進行しないで待機しろというホー
ルド信号を発生してVLD120に出力し、スキップ判断器19
0 はこの比較結果を基にして現在ピクチャーをデコーデ
ィングしないで捨てろというスキップ信号を発生してVL
D120に出力する。このホールド判断器180 とスキップ判
断器190 で現在ピクチャーに対してホールドするかまた
はスキップするかを決定すべき時点は、ピクチャーヘッ
ダ検出信号(pic＿hd＿detect）が検出された後複数個の
クロックが遅延された時点になり、この決定時点でホー
ルド信号またはスキップ信号が発生する。
してデコーディングを進行しないで待機しろというホー
ルド信号を発生してVLD120に出力し、スキップ判断器19
0 はこの比較結果を基にして現在ピクチャーをデコーデ
ィングしないで捨てろというスキップ信号を発生してVL
D120に出力する。このホールド判断器180 とスキップ判
断器190 で現在ピクチャーに対してホールドするかまた
はスキップするかを決定すべき時点は、ピクチャーヘッ
ダ検出信号(pic＿hd＿detect）が検出された後複数個の
クロックが遅延された時点になり、この決定時点でホー
ルド信号またはスキップ信号が発生する。
【００１７】これからPES デコーダ100 で分析されたPT
S とDTS がエラーにより歪曲されたかどうかを判断する
方法と、この判断結果によって決定されるピクチャー単
位のDTS を利用してVLD120でビットバッファ110 にオー
バーフローやアンダーフローを発生させずにピクチャー
単位で決定されたDTS 値に同期化してデコーディングす
る方法に対して図３及び図４を参照して説明する。本発
明ではエラーにより歪曲されたPTS とDTS が発見される
とこれを使用しなくなる。
S とDTS がエラーにより歪曲されたかどうかを判断する
方法と、この判断結果によって決定されるピクチャー単
位のDTS を利用してVLD120でビットバッファ110 にオー
バーフローやアンダーフローを発生させずにピクチャー
単位で決定されたDTS 値に同期化してデコーディングす
る方法に対して図３及び図４を参照して説明する。本発
明ではエラーにより歪曲されたPTS とDTS が発見される
とこれを使用しなくなる。
【００１８】まず、PES のヘッダに載せられて伝送され
るPTS とDTS は次のような意味の関係を有する。DTS は
PES ヘッダから検出され、PES デコーダ100 の出力のビ
デオ基本ストリーム上でそのDTS に当るピクチャーをい
つデコーディングするべきかを示す。PTS もPES ヘッダ
から検出され、そのPTS に当るピクチャーをいつ画面に
ディスプレーするかを示す。PTS が必要なのはディスプ
レー順序とデコーディング順序がピクチャーの種類によ
って違うからである。
るPTS とDTS は次のような意味の関係を有する。DTS は
PES ヘッダから検出され、PES デコーダ100 の出力のビ
デオ基本ストリーム上でそのDTS に当るピクチャーをい
つデコーディングするべきかを示す。PTS もPES ヘッダ
から検出され、そのPTS に当るピクチャーをいつ画面に
ディスプレーするかを示す。PTS が必要なのはディスプ
レー順序とデコーディング順序がピクチャーの種類によ
って違うからである。
【００１９】DTS とPTS 関係は次のような規則により決
定される。ＩとＰピクチャーのDTSとPTS の関係はＢピ
クチャーの個数によって可変的な差を有し、Ｂピクチャ
ーはDTS とPTS が同一である。DTS はピクチャーごとに
一定のオフセットを有して増加する。オフセット値はデ
コーディングされる基本ビットストリームのフレームレ
ートと関係がある。例えば、フレームレートが30の場
合、そのオフセットは90000/30で3000になる。ここで、
90000 はビデオエンコーダ（図示せず）側で用いられる
90KHz 単位クロックを示す。DTS が決定されるとPTS は
数式（１）のように決定される。
定される。ＩとＰピクチャーのDTSとPTS の関係はＢピ
クチャーの個数によって可変的な差を有し、Ｂピクチャ
ーはDTS とPTS が同一である。DTS はピクチャーごとに
一定のオフセットを有して増加する。オフセット値はデ
コーディングされる基本ビットストリームのフレームレ
ートと関係がある。例えば、フレームレートが30の場
合、そのオフセットは90000/30で3000になる。ここで、
90000 はビデオエンコーダ（図示せず）側で用いられる
90KHz 単位クロックを示す。DTS が決定されるとPTS は
数式（１）のように決定される。
【００２０】 PTS ＝Ｎ＋（時間基準情報＋1)×オフセット …（１） ここで、オフセットは3000であり、ＮはGOP 内の最初の
ピクチャーのDTS 値を示す。時間基準情報(temporal ＿
reference)はそのGOP 内に存在するピクチャーのディス
プレー順序を示す。例えば、図３の(a) に示したように
任意のGOP 内のピクチャーの数が９つであり、Ｂピクチ
ャーが基準ピクチャー（ＩまたはＰピクチャー）との間
に２つずつ存在するとすれば、時間基準情報は２→０→
１→５→３→４→８→６→７になる。ここで、図３の
(a) はビットバッファ110 に入力ピクチャー順序による
データの満たされた程度を示しており、Ｉ２でＩはＩピ
クチャーを示し、２は時間基準情報を示す。
ピクチャーのDTS 値を示す。時間基準情報(temporal ＿
reference)はそのGOP 内に存在するピクチャーのディス
プレー順序を示す。例えば、図３の(a) に示したように
任意のGOP 内のピクチャーの数が９つであり、Ｂピクチ
ャーが基準ピクチャー（ＩまたはＰピクチャー）との間
に２つずつ存在するとすれば、時間基準情報は２→０→
１→５→３→４→８→６→７になる。ここで、図３の
(a) はビットバッファ110 に入力ピクチャー順序による
データの満たされた程度を示しており、Ｉ２でＩはＩピ
クチャーを示し、２は時間基準情報を示す。
【００２１】図３の(b) と(c) は各々任意のピクチャー
に対するビデオエンコーダで決定されたDTS とPTS を示
している。例えばGOP の最初のピクチャーのＩピクチャ
ー（Ｉ２図示）のDTS をＮと仮定すると、P5ピクチャー
のDTS はN+3 ×Ｍになり、PTS はN+６×Ｍになる。図３
の(d) 乃至(h) は伝送されたビットストリーム上にエラ
ーが全くなく、即ち伝送されたPTS とDTS にもエラーが
ない正常の場合に理想的にVLD120がDTS に同期してデコ
ーディングする動作状態を示している。
に対するビデオエンコーダで決定されたDTS とPTS を示
している。例えばGOP の最初のピクチャーのＩピクチャ
ー（Ｉ２図示）のDTS をＮと仮定すると、P5ピクチャー
のDTS はN+3 ×Ｍになり、PTS はN+６×Ｍになる。図３
の(d) 乃至(h) は伝送されたビットストリーム上にエラ
ーが全くなく、即ち伝送されたPTS とDTS にもエラーが
ない正常の場合に理想的にVLD120がDTS に同期してデコ
ーディングする動作状態を示している。
【００２２】ビデオエンコーダでPTS とDTS を伝送する
時、任意のピクチャーにおいてこの値が異なる場合にの
み二つとも伝送し、同じ場合にはPTS だけを伝送する。
従って、Ｂピクチャーに対してはDTS を伝送しない。ま
た、PTS なくDTS 単独で伝送されることはない。そし
て、PTS とDTS はピクチャーごとに伝送されることはな
い。MPEG-2規定によればビデオエンコーダで0.7sec以内
に最小限で一度以上伝送すればよい。
時、任意のピクチャーにおいてこの値が異なる場合にの
み二つとも伝送し、同じ場合にはPTS だけを伝送する。
従って、Ｂピクチャーに対してはDTS を伝送しない。ま
た、PTS なくDTS 単独で伝送されることはない。そし
て、PTS とDTS はピクチャーごとに伝送されることはな
い。MPEG-2規定によればビデオエンコーダで0.7sec以内
に最小限で一度以上伝送すればよい。
【００２３】図３の(d) に示したピクチャーヘッダ検出
信号（pic hd det)はVLD120でピクチャーヘッダのデ
コーディングを完了した時発生する。PES デコーダ100
で分析されたPTS とDTS は図３の(e) と(f) に示したこ
とと同じであり、このPTS とDTS はDTS 発生器150 でピ
クチャーヘッダ検出信号(pic hd det)によりラッチさ
れる。
信号（pic hd det)はVLD120でピクチャーヘッダのデ
コーディングを完了した時発生する。PES デコーダ100
で分析されたPTS とDTS は図３の(e) と(f) に示したこ
とと同じであり、このPTS とDTS はDTS 発生器150 でピ
クチャーヘッダ検出信号(pic hd det)によりラッチさ
れる。
【００２４】PTS とDTS にエラーがない正常状態での基
本的なピクチャーデコーディング方法は次の通りであ
る。DTS 発生器150 は任意のピクチャーに対してPTS と
DTS の二つとも伝送されればDTS をそのピクチャーのDT
S に決定し、PTS だけ伝送されればそのPTS をDTS に決
定して復号されたDTS 値decoded dts を発生する。そ
してPTS とDTS のないピクチャーに対しては以前ピクチ
ャーのDTS にオフセットを加算した値を現在ピクチャー
のDTS に決定して復号されたDTS 値decoded dts を出
力する。その結果、最終決定されたDTS は図３の(c) に
示したビデオエンコーダで決定されたDTS と同じにな
る。
本的なピクチャーデコーディング方法は次の通りであ
る。DTS 発生器150 は任意のピクチャーに対してPTS と
DTS の二つとも伝送されればDTS をそのピクチャーのDT
S に決定し、PTS だけ伝送されればそのPTS をDTS に決
定して復号されたDTS 値decoded dts を発生する。そ
してPTS とDTS のないピクチャーに対しては以前ピクチ
ャーのDTS にオフセットを加算した値を現在ピクチャー
のDTS に決定して復号されたDTS 値decoded dts を出
力する。その結果、最終決定されたDTS は図３の(c) に
示したビデオエンコーダで決定されたDTS と同じにな
る。
【００２５】また、ピクチャーヘッダ検出信号pic he
det により伝送ストリーム(TS)のヘッダに含まれてい
るPCR に同期されて秒当たり90KHz のレートで増加する
STCをラッチ部160 でラッチし、ラッチされたSTC 値と
デコーディングされたDTS 値を減算器170 で減算してそ
の値が負の値ならばVLD120のデコーディングをホールド
し、正の値ならば現在ピクチャーをデコーディングしな
いで捨てうる条件になる。
det により伝送ストリーム(TS)のヘッダに含まれてい
るPCR に同期されて秒当たり90KHz のレートで増加する
STCをラッチ部160 でラッチし、ラッチされたSTC 値と
デコーディングされたDTS 値を減算器170 で減算してそ
の値が負の値ならばVLD120のデコーディングをホールド
し、正の値ならば現在ピクチャーをデコーディングしな
いで捨てうる条件になる。
【００２６】減算器170 はSTC 値からデコーディングし
たDTS 値を減算した結果の範囲が所定のしきい値（ここ
では900)より大きい値かどうかを判断する。このために
減算した値の絶対値を取り、しきい値とその絶対値を減
算して減算した値が負かそれとも正かを判断する。判断
した結果が正ならば絶対値がしきい値より小さな場合で
あるためホールドやスキップを発生させず、負ならばホ
ールドやスキップを発生させうる。このようにしきい値
と絶対値を減算した後、ピクチャーヘッダ検出信号pic
hd det を所定クロック遅延させた時点（図３の(g))
で現在ピクチャーのスキップのためのスキップ信号また
は現在のピクチャーのホールドのためのホールド信号を
発生させるかどうかを決定する。
たDTS 値を減算した結果の範囲が所定のしきい値（ここ
では900)より大きい値かどうかを判断する。このために
減算した値の絶対値を取り、しきい値とその絶対値を減
算して減算した値が負かそれとも正かを判断する。判断
した結果が正ならば絶対値がしきい値より小さな場合で
あるためホールドやスキップを発生させず、負ならばホ
ールドやスキップを発生させうる。このようにしきい値
と絶対値を減算した後、ピクチャーヘッダ検出信号pic
hd det を所定クロック遅延させた時点（図３の(g))
で現在ピクチャーのスキップのためのスキップ信号また
は現在のピクチャーのホールドのためのホールド信号を
発生させるかどうかを決定する。
【００２７】ホールド判断器180 で、減算器170 の出力
に基づいて図３の(d) に示したピクチャーヘッダ検出信
号pic hd det より所定個数のクロックが遅延された
時点（図３の(g))で図３の(h) に示したようなロジッ
ク" ロー”のホールド信号が発生するとVLD120では入力
ピクチャーのデコーディングをホールドし、同じくスキ
ップ発生器190 で、減算器170 の出力に基づいてピクチ
ャーヘッダ検出信号pic hd det より所定個数のクロッ
クが遅延された時点でスキップ信号が発生するとVLD120
ではスキップ信号が発生する間入力される現在ピクチャ
ーをデコーディングしないで捨てる。図３では例とし
て、ピクチャーごとにホールドが発生した場合を示す。
に基づいて図３の(d) に示したピクチャーヘッダ検出信
号pic hd det より所定個数のクロックが遅延された
時点（図３の(g))で図３の(h) に示したようなロジッ
ク" ロー”のホールド信号が発生するとVLD120では入力
ピクチャーのデコーディングをホールドし、同じくスキ
ップ発生器190 で、減算器170 の出力に基づいてピクチ
ャーヘッダ検出信号pic hd det より所定個数のクロッ
クが遅延された時点でスキップ信号が発生するとVLD120
ではスキップ信号が発生する間入力される現在ピクチャ
ーをデコーディングしないで捨てる。図３では例とし
て、ピクチャーごとにホールドが発生した場合を示す。
【００２８】結論的に、VLD120は一つのピクチャーをデ
コーディングした結果がオフセット期間以内に完了すれ
ばその時のSTC からデコーディングしたDTS 値を減算し
た値が負であり、その減算した値の絶対値がしきい値の
範囲外にあればホールド信号を発生させて一つのピクチ
ャーのデコーディング期間を1/ピクチャーレートで調節
し、反対に一つのピクチャーをデコーディングした結果
がオフセット期間以内にデコーディングを完了できなけ
ればSTC でデコーディングしたDTS 値を減算した値が正
になり、その減算した値の絶対値がしきい値の範囲外に
あれば、スキップ信号を発生させてそのピクチャーをデ
コーディングしないで捨てるようにして、次のフレーム
のデコーディングに備える。
コーディングした結果がオフセット期間以内に完了すれ
ばその時のSTC からデコーディングしたDTS 値を減算し
た値が負であり、その減算した値の絶対値がしきい値の
範囲外にあればホールド信号を発生させて一つのピクチ
ャーのデコーディング期間を1/ピクチャーレートで調節
し、反対に一つのピクチャーをデコーディングした結果
がオフセット期間以内にデコーディングを完了できなけ
ればSTC でデコーディングしたDTS 値を減算した値が正
になり、その減算した値の絶対値がしきい値の範囲外に
あれば、スキップ信号を発生させてそのピクチャーをデ
コーディングしないで捨てるようにして、次のフレーム
のデコーディングに備える。
【００２９】今までは正常状態でPTS とDTS を用いたVL
D でのピクチャー単位のデコーディング同期化方法に対
して説明したが、これからは本発明の要旨のエラーを考
えたPTS とDTS を用いたピクチャーデコーディング同期
化方法に対して説明する。ここで、エラーは伝送された
PTS とDTS がエラーによりPES デコーダ100 から検出で
きなかった場合と、伝送されたPTS とDTS がPES デコー
ダ100 では検出されたが、エラーによりエンコーダで元
に意図した値と相違にデコーディングされた場合の２種
類に分けうる。
D でのピクチャー単位のデコーディング同期化方法に対
して説明したが、これからは本発明の要旨のエラーを考
えたPTS とDTS を用いたピクチャーデコーディング同期
化方法に対して説明する。ここで、エラーは伝送された
PTS とDTS がエラーによりPES デコーダ100 から検出で
きなかった場合と、伝送されたPTS とDTS がPES デコー
ダ100 では検出されたが、エラーによりエンコーダで元
に意図した値と相違にデコーディングされた場合の２種
類に分けうる。
【００３０】前者の場合には検出できなかったPTS とDT
S に当る基本ストリームのピクチャーがエラーにより損
傷されなければ、VLD120はそのピクチャーにはタイムス
タンプがないと判断し、直前ピクチャーのDTS にオフセ
ット値を加算した値をそのピクチャーのDTS として使用
してデコーディングすれば問題はない。そうではなくそ
のピクチャーがエラーによりVLD120でそのピクチャー自
体を捨てたならば、以後ピクチャーで発見されるPTS と
DTS によりそのPTS とDTS に当るピクチャーからホール
ドが発生するため、VLD120で検出できなかったピクチャ
ーに当る数だけのピクチャーのみデコーディングされな
い。
S に当る基本ストリームのピクチャーがエラーにより損
傷されなければ、VLD120はそのピクチャーにはタイムス
タンプがないと判断し、直前ピクチャーのDTS にオフセ
ット値を加算した値をそのピクチャーのDTS として使用
してデコーディングすれば問題はない。そうではなくそ
のピクチャーがエラーによりVLD120でそのピクチャー自
体を捨てたならば、以後ピクチャーで発見されるPTS と
DTS によりそのPTS とDTS に当るピクチャーからホール
ドが発生するため、VLD120で検出できなかったピクチャ
ーに当る数だけのピクチャーのみデコーディングされな
い。
【００３１】しかし、後者の場合には、伝送されたPTS
とDTS が元の値より非常に大きい場合なら問題が深刻に
なる。PTS とDTS は33ビットの値を有することになるの
で、MSB に近い１ビットでも"0" から"1" と誤検出され
ると減算器170 によってSTCからデコーディングされたD
TS 値を減算した値が非常に大きい差を有するので長時
間デコーディングがホールドされうる。伝送されたPTS
とDTS が元の値より小さな場合ならば、STC でデコーデ
ィングされたDTS 値を減算した値が非常に大きくなって
も、つながるPTS とDTS が発見される時までのピクチャ
ーをスキップするためあまり影響を及ぼさない。
とDTS が元の値より非常に大きい場合なら問題が深刻に
なる。PTS とDTS は33ビットの値を有することになるの
で、MSB に近い１ビットでも"0" から"1" と誤検出され
ると減算器170 によってSTCからデコーディングされたD
TS 値を減算した値が非常に大きい差を有するので長時
間デコーディングがホールドされうる。伝送されたPTS
とDTS が元の値より小さな場合ならば、STC でデコーデ
ィングされたDTS 値を減算した値が非常に大きくなって
も、つながるPTS とDTS が発見される時までのピクチャ
ーをスキップするためあまり影響を及ぼさない。
【００３２】本発明では後者の場合の中で伝送されたPT
S とDTS が元の値より非常に大きい場合に備えて図２に
示したように時間基準情報temp ref を利用し、ピクチ
ャーカウンター130 、マスク発生器140 及びDTS 発生器
150 を使用する。このピクチャーカウンター130 はVLD1
20から出力されるピクチャーヘッダ検出信号pic hd de
t に同期するようにカウンティング動作をし、GOP 内の
最初のピクチャーで"0" にリセットされ、そうでない場
合には"1" ずつ増加する。
S とDTS が元の値より非常に大きい場合に備えて図２に
示したように時間基準情報temp ref を利用し、ピクチ
ャーカウンター130 、マスク発生器140 及びDTS 発生器
150 を使用する。このピクチャーカウンター130 はVLD1
20から出力されるピクチャーヘッダ検出信号pic hd de
t に同期するようにカウンティング動作をし、GOP 内の
最初のピクチャーで"0" にリセットされ、そうでない場
合には"1" ずつ増加する。
【００３３】一つのGOP 内でPTS 、DTS 、時間基準情
報、そしてピクチャーカウンターの出力はエラーのない
正常的な場合次の数式（２）と数式（３）のような関係
を有する。 PTS ＝伝送DTS ＋（時間基準情報−ピクチャーカウント値＋１） ×オフセット …（２） 伝送DTS ＝以前DTS ＋オフセット …（３） 本発明ではこのような関係を利用してVLD120に入力され
るピクチャーがＩピクチャーまたはＰピクチャーならば
数式（２）の条件が満たさず、Ｂピクチャーならば数式
（３）の条件が満たさないので即ち、現在の入力ピクチ
ャーが数式（２）または数式（３）の条件が満たさなけ
れば現在の入力ピクチャーからGOP の最後のピクチャー
まで伝送されたPTS とDTS を使用しない。また、つなが
る次のGOP の最初のピクチャーがＩピクチャーでありな
がらPTS とDTS の全てが存在し上記の条件が満たさない
場合にも、そのGOP に対してずっと伝送されたPTS とDT
Sを使用しない。即ち、この条件を満たすGOP の最初の
ピクチャーが発見されるまでの全てのピクチャーに対し
ては伝送されたPTS とDTS を無視する。
報、そしてピクチャーカウンターの出力はエラーのない
正常的な場合次の数式（２）と数式（３）のような関係
を有する。 PTS ＝伝送DTS ＋（時間基準情報−ピクチャーカウント値＋１） ×オフセット …（２） 伝送DTS ＝以前DTS ＋オフセット …（３） 本発明ではこのような関係を利用してVLD120に入力され
るピクチャーがＩピクチャーまたはＰピクチャーならば
数式（２）の条件が満たさず、Ｂピクチャーならば数式
（３）の条件が満たさないので即ち、現在の入力ピクチ
ャーが数式（２）または数式（３）の条件が満たさなけ
れば現在の入力ピクチャーからGOP の最後のピクチャー
まで伝送されたPTS とDTS を使用しない。また、つなが
る次のGOP の最初のピクチャーがＩピクチャーでありな
がらPTS とDTS の全てが存在し上記の条件が満たさない
場合にも、そのGOP に対してずっと伝送されたPTS とDT
Sを使用しない。即ち、この条件を満たすGOP の最初の
ピクチャーが発見されるまでの全てのピクチャーに対し
ては伝送されたPTS とDTS を無視する。
【００３４】MPEG規定上、GOP の最初のピクチャーはＩ
ピクチャーであり、Ｉピクチャーではタイムスタンプが
存在すれはPTS 、DTS の全てが存在すべきである。図４
ではこのような関係を例を挙げて説明したが、説明の便
宜上、任意の数字を適用して説明する。そして、伝送さ
れたPTS とDTS がエラーによりPES デコーダ100 で検出
できず、そのPTS とDTS に当るピクチャーのビットもエ
ラーによりVLD120で無視されてしまう場合である。
ピクチャーであり、Ｉピクチャーではタイムスタンプが
存在すれはPTS 、DTS の全てが存在すべきである。図４
ではこのような関係を例を挙げて説明したが、説明の便
宜上、任意の数字を適用して説明する。そして、伝送さ
れたPTS とDTS がエラーによりPES デコーダ100 で検出
できず、そのPTS とDTS に当るピクチャーのビットもエ
ラーによりVLD120で無視されてしまう場合である。
【００３５】即ち、図４の(a) に示したように、P5に当
るピクチャーのPTS とDTS が伝送されず、ビットが損傷
されてVLD120で廃棄され、つながるB3ピクチャーのPTS
が検出され、そのピクチャーに当るピクチャーヘッダが
検出されて図４の(b) に示したようなピクチャーヘッダ
検出信号(pic hd det)が発生される。この時の伝送PT
S は図４の(c) に示したように45000 であり、Ｂピクチ
ャーであるのでＤＴＳ発生器150 ではPTS をDTS 値と解
釈する。図４の(d) は伝送DTSを示している。図４の(e)
はピクチャーカウンター130 でVLD120から出力される
ピクチャー構造信号pic structとピクチャーヘッダ検
出信号(pic hd det)によりピクチャーカウントした値
である。
るピクチャーのPTS とDTS が伝送されず、ビットが損傷
されてVLD120で廃棄され、つながるB3ピクチャーのPTS
が検出され、そのピクチャーに当るピクチャーヘッダが
検出されて図４の(b) に示したようなピクチャーヘッダ
検出信号(pic hd det)が発生される。この時の伝送PT
S は図４の(c) に示したように45000 であり、Ｂピクチ
ャーであるのでＤＴＳ発生器150 ではPTS をDTS 値と解
釈する。図４の(d) は伝送DTSを示している。図４の(e)
はピクチャーカウンター130 でVLD120から出力される
ピクチャー構造信号pic structとピクチャーヘッダ検
出信号(pic hd det)によりピクチャーカウントした値
である。
【００３６】このB3ピクチャーに対するDTS 発生器150
でデコーディングされたDTS 値は数式（３）の条件を満
たさないため、この時マスク発生器140 は図４の(f) に
示したようなDTS マスク信号dts maskをロジック”ロ
ー”のアクティブ信号として発生する。このDTS マスク
信号dts maskは前述したようにつながるGOP の最初の
Ｉピクチャーが上記の数式（２）及び数式（３）に示し
た条件を全て満たすまでロジック”ロー”状態に維持さ
れる。このDTS マスク信号dts maskがロジック”ロ
ー”である間には伝送されたPTS やDTS を適用せず、ピ
クチャーヘッダ検出信号が発見されるごとに以前ピクチ
ャーのDTS にオフセットを加算した値をデコーディング
されたDTS 値として使用する。従って、DTS 発生器150
は図４の(g) に示したようなデコーディングされたDTS
値decoded ＿dts を出力する。
でデコーディングされたDTS 値は数式（３）の条件を満
たさないため、この時マスク発生器140 は図４の(f) に
示したようなDTS マスク信号dts maskをロジック”ロ
ー”のアクティブ信号として発生する。このDTS マスク
信号dts maskは前述したようにつながるGOP の最初の
Ｉピクチャーが上記の数式（２）及び数式（３）に示し
た条件を全て満たすまでロジック”ロー”状態に維持さ
れる。このDTS マスク信号dts maskがロジック”ロ
ー”である間には伝送されたPTS やDTS を適用せず、ピ
クチャーヘッダ検出信号が発見されるごとに以前ピクチ
ャーのDTS にオフセットを加算した値をデコーディング
されたDTS 値として使用する。従って、DTS 発生器150
は図４の(g) に示したようなデコーディングされたDTS
値decoded ＿dts を出力する。
【００３７】つながるGOP で最初のＩピクチャーのPTS
とDTS が数式（２）及び数式（３）の条件を満たすと、
つながるGOP の最初のＩピクチャーでDTS マスク信号dt
s ＿maskはロジック”ハイ”になり、この最初のＩピク
チャーの伝送DTS をそのＩピクチャーのDTS としてデコ
ーディングする。VLD120はDTS マスク信号dts ＿maskが
ロジック”ロー”である間STC 値からデコーディングさ
れたDTS 値を減算した値としきい値によってピクチャー
単位でデコーディングしたりホールドやスキップしたり
しながら、図４の(f) に示したDTS マスク信号dts ＿ma
skがロジック”ハイ”になるとSTC 値からデコーディン
グされたDTS 値の減算した値の絶対値（図４の(i) では
3900）だけＩピクチャーがホールドされる。これはSTC
値からデコーディングされたDTS 値を減算した値の差
が、エラーによりVLD120で無視されたピクチャー数（図
４では１つ(P5)）×オフセット以上（図４の(i）では−
3900）大きくなるからである。
とDTS が数式（２）及び数式（３）の条件を満たすと、
つながるGOP の最初のＩピクチャーでDTS マスク信号dt
s ＿maskはロジック”ハイ”になり、この最初のＩピク
チャーの伝送DTS をそのＩピクチャーのDTS としてデコ
ーディングする。VLD120はDTS マスク信号dts ＿maskが
ロジック”ロー”である間STC 値からデコーディングさ
れたDTS 値を減算した値としきい値によってピクチャー
単位でデコーディングしたりホールドやスキップしたり
しながら、図４の(f) に示したDTS マスク信号dts ＿ma
skがロジック”ハイ”になるとSTC 値からデコーディン
グされたDTS 値の減算した値の絶対値（図４の(i) では
3900）だけＩピクチャーがホールドされる。これはSTC
値からデコーディングされたDTS 値を減算した値の差
が、エラーによりVLD120で無視されたピクチャー数（図
４では１つ(P5)）×オフセット以上（図４の(i）では−
3900）大きくなるからである。
【００３８】図４の(h) はピクチャーヘッダ検出信号pi
c ＿hd＿det によりラッチ部160 でラッチされたSTC 値
であり、図４の(I) はラッチ部160 にラッチされたSTC
値からDTS 発生器150 でデコーディングされたDTS を減
算した値である。図４の(j)はしきい値（ここでは900)
である。一つのGOP 内の全てのピクチャーに対するVLD
デコーディングがオフセット値の3000以内に完了したの
で、図４の(i) に示したようにSTC 値からデコーディン
グされたDTS 値を減算した値は全て負の値を有する。こ
の絶対値を求め、この絶対値が図４の(k) に示した決定
時点に判断してしきい値の範囲を外れるとスキップやホ
ールドが発生し、そうでない場合にはデコーディングし
続ける。図４の(l) はホールド判断器180 からロジッ
ク”ロー”のホールド信号が発生する間、VLD120は動作
を一時停止する。
c ＿hd＿det によりラッチ部160 でラッチされたSTC 値
であり、図４の(I) はラッチ部160 にラッチされたSTC
値からDTS 発生器150 でデコーディングされたDTS を減
算した値である。図４の(j)はしきい値（ここでは900)
である。一つのGOP 内の全てのピクチャーに対するVLD
デコーディングがオフセット値の3000以内に完了したの
で、図４の(i) に示したようにSTC 値からデコーディン
グされたDTS 値を減算した値は全て負の値を有する。こ
の絶対値を求め、この絶対値が図４の(k) に示した決定
時点に判断してしきい値の範囲を外れるとスキップやホ
ールドが発生し、そうでない場合にはデコーディングし
続ける。図４の(l) はホールド判断器180 からロジッ
ク”ロー”のホールド信号が発生する間、VLD120は動作
を一時停止する。
【００３９】
【発明の効果】本発明は伝送されたDTS とPTS がエラー
が発生してもデコーディングされた映像データが画面に
ディスプレーされる時、画面が切れないでより自然な画
面を得る効果がある。
が発生してもデコーディングされた映像データが画面に
ディスプレーされる時、画面が切れないでより自然な画
面を得る効果がある。
【図１】従来のピクチャーデコーディング同期化回路を
説明するためのビデオデコーダのブロック図である。
説明するためのビデオデコーダのブロック図である。
【図２】本発明によるピクチャーデコーディング同期化
回路の一実施例によるブロック図である。
回路の一実施例によるブロック図である。
【図３】PTS とDTS が正常の場合の図２に示したピクチ
ャーデコーディング同期化回路の動作状態図である。
ャーデコーディング同期化回路の動作状態図である。
【図４】PTS とDTS にエラーが発生した場合の図２に示
したピクチャーデコーディング同期化回路の動作状態図
である。
したピクチャーデコーディング同期化回路の動作状態図
である。
100 PES デコーダ 110 ビットバッファ 120 VLD 130 ピクチャーカウンター 140 マスク発生器 150 DTS 発生器 160 ラッチ 170 減算器 180 ホールド判断器 190 スキップ判断器
Claims (21)
- 【請求項１】 入力ビットストリームに含まれて伝送さ
れたプレゼンテーションタイムスタンプ(PTS）とデコー
ディングタイムスタンプ(DTS）がエラーにより歪曲され
たかどうかを検出して検出信号を出力する検出器と、 前記検出信号によって前記伝送されたPTS とDTS にエラ
ーが検出されなければ前記伝送されたPTS とDTS を利用
してDTS 値を決定し、そうでなければ以前ピクチャーの
DTS 値に所定のオフセット値を加算した値を利用してDT
S 値を決定する決定器と、 前記入力ビットストリームをピクチャー単位で前記決定
されたDTS 値に同期化してデコーディングするデコーダ
とを含むことを特徴とするピクチャーデコーディング同
期化回路。 - 【請求項２】 前記検出器は、 GOP 単位でピクチャー数をアップカウンティングしてピ
クチャーカウント値を出力するピクチャーカウンター
と、 入力ピクチャーがＩ、ＢまたはＰピクチャーかどうかを
示すピクチャータイプ信号とGOP 内のピクチャーのディ
スプレー順序を示す時間基準情報、前記ピクチャーカウ
ント値を利用して前記伝送されたDTS とPTS にエラー発
生を検出して検出信号を発生する発生器とを含むことを
特徴とする請求項１に記載のピクチャーデコーディング
同期化回路。 - 【請求項３】 前記検出器は入力されるＩピクチャーと
ＰピクチャーのPTSが下記の条件を満たすかどうかを検
出して満たさなければ検出信号を発生することを特徴と
する請求項２に記載のピクチャーデコーディング同期化
回路。 PTS ＝伝送DTS ＋（時間基準情報−ピクチャーカウント
値+1）×オフセット - 【請求項４】 前記検出器は入力されるＢピクチャーの
DTS が下記の条件を満たすかどうかを検出して満たさな
ければ検出信号を発生することを特徴とする請求項２に
記載のピクチャーデコーディング同期化回路。 伝送DTS ＝以前DTS ＋オフセット - 【請求項５】 前記検出器は現在ピクチャーのPTS とDT
S にエラーが検出されると、現在ピクチャーから前記伝
送されたPTS とDTS にエラーが検出されないGOP の最初
のピクチャーまでアクティブ状態の検出信号を発生する
ことを特徴とする請求項１に記載のピクチャーデコーデ
ィング同期化回路。 - 【請求項６】 伝送されるビットストリームからビデオ
基本ストリーム、PTS 、DTS 及びSTC を抽出する抽出器
と、 前記ビデオ基本ストリームを一時貯蔵するバッファと、 前記バッファがオーバーフローとアンダーフローになら
ないようにするために前記バッファに貯蔵されたビデオ
基本ストリームのデコーディングを制御し、前記ビデオ
基本ストリームのヘッダを分析して時間基準情報、ピク
チャー構造信号、GOP ヘッダ検出信号及びピクチャータ
イプ信号を出力する可変長復号器と、 前記DTS とPTS にエラーが発生したかどうかを判断して
前記PTS とDTS にエラーが発生すると以前ピクチャーの
DTS と所定のオフセット値を加算した値の決定されたDT
S 値を用いて前記デコーディングを制御する制御信号を
発生するデコーディング制御器とを含むことを特徴とす
るピクチャーデコーディング同期化回路。 - 【請求項７】 前記デコーディング制御器は、 前記ピクチャー構造信号と前記ピクチャーヘッダ検出信
号によってピクチャー数をアップカウンティングしてピ
クチャーカウント値を出力するが、前記GOP ヘッダ検出
信号によってリセットされるピクチャーカウンターと、 前記ピクチャータイプ信号、時間基準情報及びピクチャ
ーカウント値を利用して前記DTS とPTS にエラーの発生
を判断してマスク信号を発生する第１発生器と、 前記マスク信号が発生されれば以前ピクチャーのDTS に
所定のオフセット値を加算したデコーディングされたDT
S 値を発生し、そうでなければ伝送されたPTSとDTS に
基づきデコーディングされたDTS 値を発生する第２発生
器と、 前記STC 値から前記デコーディングされたDTS 値を減算
して減算した結果に対する絶対値と所定のしきい値を比
較して比較結果を出力する減算器と、 前記比較結果によってデコーディングを進行しないで待
機しろというホールド信号を発生して前記可変長復号器
に出力するホールド判断器と、 前記比較結果によって現在ピクチャーを復号化しないで
捨てろというスキップ信号を発生して前記可変長復号器
に出力するスキップ判断器とを含むことを特徴とする請
求項６に記載のピクチャーデコーディング同期化回路。 - 【請求項８】 前記第１発生器は入力されるＩピクチャ
ーとＰピクチャーのPTS が下記の条件を満たさなければ
マスク信号を発生することを特徴とする請求項７に記載
のピクチャーデコーディング同期化回路。 PTS ＝伝送DTS ＋（時間基準情報−ピクチャーカウント
値＋1)×オフセット - 【請求項９】 前記第１発生器は入力されるＢピクチャ
ーのDTS が下記の条件を満たさなければマスク信号を発
生することを特徴とする請求項７に記載のピクチャーデ
コーディング同期化回路。 伝送DTS ＝以前DTS ＋オフセット - 【請求項１０】 前記第１発生器は現在ピクチャーのPT
S とDTS にエラーが発生されると現在ピクチャーから伝
送されたPTS とDTS にエラーが発生しないGOP の最初の
ピクチャー前までアクティブ状態のマスク信号を発生す
ることを特徴とする請求項７に記載のピクチャーデコー
ディング同期化回路。 - 【請求項１１】 前記ホールド判断器と前記スキップ判
断器で前記ホールド信号とスキップ信号を発生するかど
うかに対する決定時点は、前記ピクチャーヘッダ検出信
号より所定数のシステムクロックが遅延された後である
ことを特徴とする請求項７に記載のピクチャーデコーデ
ィング同期化回路。 - 【請求項１２】 (a)入力ビットストリームに含まれて伝
送されたPTS とDTSがエラーにより歪曲されたかどうか
を判断する段階と、 (b) 前記伝送されたPTS とDTS にエラーが発生されなけ
れば前記伝送されたPTS とDTS を利用してDTS 値を決定
し、そうでなければ以前ピクチャーのDTS に所定のオフ
セット値を加算した値を利用してDTS 値を決定する段階
と、 (c) 前記入力ビットストリームをピクチャー単位で前記
決定されたDTS 値に同期化してデコーディングする段階
とを含むことを特徴とするピクチャーデコーディング同
期化方法。 - 【請求項１３】 前記(a) 段階は、 (a1)GOP 単位でピクチャー数をアップカウンティングし
てピクチャーカウント値を出力する段階と、 (a2)入力ピクチャーがＩ、ＢまたはＰピクチャーかどう
かを示すピクチャータイプ信号とGOP 内のピクチャーの
ディスプレー順序を示す時間基準情報、前記ピクチャー
カウント値を利用して前記伝送されたDTS とPTS にエラ
ー発生を検出して検出信号を発生する段階とを含むこと
を特徴とする請求項１２に記載のピクチャーデコーディ
ング同期化方法。 - 【請求項１４】 前記(a2)段階では入力されるＩピクチ
ャーとＰピクチャーのPTS が下記の条件を満たすかどう
かを検出して満たさなければ検出信号を発生することを
特徴とする請求項１３に記載のピクチャーデコーディン
グ同期化方法。 PTS=伝送DTS ＋（時間基準情報−ピクチャーカウント値
＋1)×オフセット - 【請求項１５】 前記(a2)段階では入力されるＢピクチ
ャーのDTS が下記の条件を満たすかどうかを検出して満
たさなければ検出信号を発生することを特徴とする請求
項１３に記載のピクチャーデコーディング同期化方法。 伝送DTS ＝以前DTS ＋オフセット - 【請求項１６】 前記(a) 段階では現在ピクチャーのPT
S とDTS にエラーが発生すると、現在ピクチャーから前
記伝送されたPTS とDTS にエラーが発生しないGOP の最
初のピクチャーまでアクティブ状態の検出信号を発生す
ることを特徴とする請求項１２に記載のピクチャーデコ
ーディング同期化方法。 - 【請求項１７】 (a)伝送されるビットストリームからビ
デオ基本ストリーム、PTS 、DTS 及びSTC を抽出する段
階と、 (b) 前記ビデオ基本ストリームのデコーディングを制御
し、前記ビデオ基本ストリームのヘッダを分析して基準
時間情報、ピクチャー構造信号、GOP ヘッダ検出信号及
びピクチャータイプ信号とを検出する段階と、 前記DTS とPTS にエラーが発生したかどうかを判断して
前記PTS とDTS にエラーが発生すると以前ピクチャーの
DTS と所定のオフセット値をDTS と決定して、決定され
たDTS 値を用いて前記デコーディングを制御する制御信
号を発生する段階とを含むことを特徴とするピクチャー
デコーディング同期化方法。 - 【請求項１８】 前記(c) 段階は、 (c1)前記ピクチャー構造信号とピクチャーヘッダ検出信
号及びGOP ヘッダ検出信号によってGOP 内のピクチャー
数をアップカウンティングしてピクチャーカウント値を
出力する段階と、 (c2)前記ピクチャータイプ信号、時間基準情報及びピク
チャーカウント値を利用して前記DTS とPTS にエラーの
発生を判断してマスク信号を発生する段階と、 (c3)前記マスク信号が発生されれば以前ピクチャーのDT
S 値に所定のオフセット値を加算したデコーディングさ
れたDTS 値を発生し、そうでなければ伝送されたPTS と
DTS に基づきデコーディングされたDTS 値を発生する段
階と、 (c4)前記STC 値から前記デコーディングされたDTS 値を
減算して減算した結果に対する絶対値と所定のしきい値
とを比較して比較結果を出力する段階と、 (c5)前記比較結果によってデコーディングを進行しない
で待機しろというホールド信号を発生する段階と、 (c6)前記比較結果によって現在ピクチャーを復号化しな
いで捨てろというスキップ信号を発生する段階とを含む
ことを特徴とする請求項１７に記載のピクチャーデコー
ディング同期化方法。 - 【請求項１９】 前記(c2)段階で入力されるＩピクチャ
ーとＰピクチャーのPTS が下記の条件を満たさなければ
マスク信号を発生することを特徴とする請求項１８に記
載のピクチャーデコーディング同期化方法。 PTS ＝伝送DTS ＋（時間基準情報−ピクチャーカウント
値＋1)×オフセット - 【請求項２０】 前記(c2)段階で入力されるＢピクチャ
ーのDTS が下記の条件を満たさなければマスク信号を発
生することを特徴とする請求項１８に記載のピクチャー
デコーディング同期化方法。 伝送DTS ＝以前DTS ＋オフセット - 【請求項２１】 前記(c2)段階では現在ピクチャーのPT
S とDTS にエラーが発生されると現在ピクチャーから伝
送されたPTS とDTS にエラーが発生しないGOP の最初の
ピクチャー前までアクティブ状態のマスク信号を発生す
ることを特徴とする請求項１７に記載のピクチャーデコ
ーディング同期化方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR37984/1997 | 1997-08-08 | ||
| KR1019970037984A KR100247978B1 (ko) | 1997-08-08 | 1997-08-08 | 픽쳐 디코딩 동기화 회로 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11122608A JPH11122608A (ja) | 1999-04-30 |
| JP2950376B2 true JP2950376B2 (ja) | 1999-09-20 |
Family
ID=19517140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21601198A Expired - Fee Related JP2950376B2 (ja) | 1997-08-08 | 1998-07-30 | ピクチャーデコーディング同期化回路及びその方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6674801B1 (ja) |
| EP (1) | EP0896479A3 (ja) |
| JP (1) | JP2950376B2 (ja) |
| KR (1) | KR100247978B1 (ja) |
| CN (1) | CN1135851C (ja) |
| CA (1) | CA2244472C (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1069777A4 (en) * | 1999-02-05 | 2009-03-04 | Sony Corp | CODING SYSTEM, CODING METHOD, DECODING SYSTEM, DECODING METHOD, MULTIPLEXING DEVICE, METHOD OF MULTIPLEXING, DISPLAY SYSTEM, AND YSTEM METHOD |
| FR2797549B1 (fr) * | 1999-08-13 | 2001-09-21 | Thomson Multimedia Sa | Procede et dispositif de synchronisation d'un decodeur mpeg |
| JP2001204032A (ja) | 2000-01-20 | 2001-07-27 | Nec Corp | Ｍｐｅｇ復号装置 |
| JP3569205B2 (ja) * | 2000-06-09 | 2004-09-22 | シャープ株式会社 | 記録再生装置 |
| EP1176833A3 (en) * | 2000-07-25 | 2012-06-27 | Panasonic Corporation | Image decoding method, image decoding apparatus, and data storage medium |
| JP4612171B2 (ja) * | 2000-10-27 | 2011-01-12 | 株式会社東芝 | 動画像復号再生モジュールと再生時刻管理プログラムとマルチメディア情報受信装置 |
| KR100507881B1 (ko) * | 2000-12-22 | 2005-08-18 | 매그나칩 반도체 유한회사 | 디지털 방송 수신 시스템의 비트스트림 디코딩 장치 |
| KR100378795B1 (ko) * | 2001-04-02 | 2003-04-03 | 엘지전자 주식회사 | 동영상에서 ｂ픽쳐의 신축적인 다이렉트 모드 코딩 방법 |
| JP3565182B2 (ja) * | 2001-05-11 | 2004-09-15 | 日本電気株式会社 | 可変長符号の入力が中断されることを防止する方式及びその方法 |
| US7729421B2 (en) | 2002-02-20 | 2010-06-01 | International Business Machines Corporation | Low latency video decoder with high-quality, variable scaling and minimal frame buffer memory |
| US9948977B2 (en) * | 2003-01-09 | 2018-04-17 | Avago Technologies General Ip (Singapore) Pte. Ltd. | System, method, and apparatus for determining presentation time for picture without presentation time stamp |
| JP4586429B2 (ja) * | 2004-06-11 | 2010-11-24 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに、プログラムおよびプログラム記録媒体 |
| CN1295920C (zh) * | 2004-07-29 | 2007-01-17 | 联合信源数字音视频技术（北京）有限公司 | 视频解码和显示的同步控制装置及同步方法 |
| JP4536497B2 (ja) * | 2004-12-02 | 2010-09-01 | ソニー株式会社 | データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、並びにデータ記録媒体 |
| FR2883692A1 (fr) * | 2005-03-25 | 2006-09-29 | Thomson Licensing Sa | Procede d'envoi de commande a un serveur de flux de donnees numeriques et appareil implementant le procede |
| BRPI0613522B1 (pt) * | 2005-07-25 | 2019-09-17 | Interdigital Madison Patent Holdings | Método e aparelho para a detecção e ocultamento de quadros de vídeo de referência e de não-referência |
| KR101114749B1 (ko) | 2005-11-11 | 2012-03-05 | 삼성전자주식회사 | 수신된 트랜스포트 스트림에 포함된 영상 데이터를 화면끊김 현상이 없도록 처리하는 방법과 그에 따른 디지털멀티미디어 방송 수신 장치 |
| JP2007158461A (ja) * | 2005-11-30 | 2007-06-21 | Toshiba Corp | 情報再生装置及び情報再生方法 |
| WO2007072252A2 (en) * | 2005-12-23 | 2007-06-28 | Koninklijke Philips Electronics N.V. | Creation of 'trick-play' streams for plaintext, partially, or fully encrypted video streams |
| JP4650894B2 (ja) * | 2006-04-03 | 2011-03-16 | 三菱電機株式会社 | 画像復号装置 |
| US20100158130A1 (en) | 2008-12-22 | 2010-06-24 | Mediatek Inc. | Video decoding method |
| CN102547299A (zh) * | 2010-12-30 | 2012-07-04 | 福建星网视易信息系统有限公司 | 基于mpeg-2视频流的音视频同步控制方法 |
| CN106358077B (zh) * | 2016-09-29 | 2019-05-10 | 北京奇艺世纪科技有限公司 | 一种视频直播方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5396497A (en) * | 1993-02-26 | 1995-03-07 | Sony Corporation | Synchronization of audio/video information |
| US5559999A (en) * | 1994-09-09 | 1996-09-24 | Lsi Logic Corporation | MPEG decoding system including tag list for associating presentation time stamps with encoded data units |
| US5815634A (en) * | 1994-09-30 | 1998-09-29 | Cirrus Logic, Inc. | Stream synchronization method and apparatus for MPEG playback system |
| US5771075A (en) * | 1994-12-08 | 1998-06-23 | Lg Electronics Inc. | Audio/video synchronizer |
| US5588029A (en) * | 1995-01-20 | 1996-12-24 | Lsi Logic Corporation | MPEG audio synchronization system using subframe skip and repeat |
| KR0137701B1 (ko) * | 1994-12-13 | 1998-05-15 | 양승택 | 엠피이지-2(mpeg-2) 시스템의 피이에스(pes) 패킷화 장치 |
| JPH09205618A (ja) * | 1996-01-29 | 1997-08-05 | Mitsubishi Electric Corp | 動画像音声伸張再生装置および動画像音声同期制御器 |
-
1997
- 1997-08-08 KR KR1019970037984A patent/KR100247978B1/ko not_active Expired - Fee Related
-
1998
- 1998-07-30 JP JP21601198A patent/JP2950376B2/ja not_active Expired - Fee Related
- 1998-07-30 CN CNB981167314A patent/CN1135851C/zh not_active Expired - Fee Related
- 1998-08-03 EP EP19980306168 patent/EP0896479A3/en not_active Ceased
- 1998-08-04 CA CA 2244472 patent/CA2244472C/en not_active Expired - Fee Related
- 1998-08-10 US US09/131,890 patent/US6674801B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP0896479A2 (en) | 1999-02-10 |
| KR19990015710A (ko) | 1999-03-05 |
| US6674801B1 (en) | 2004-01-06 |
| CA2244472C (en) | 2002-12-03 |
| CA2244472A1 (en) | 2000-02-04 |
| JPH11122608A (ja) | 1999-04-30 |
| KR100247978B1 (ko) | 2000-03-15 |
| CN1135851C (zh) | 2004-01-21 |
| CN1208311A (zh) | 1999-02-17 |
| EP0896479A3 (en) | 2004-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2950376B2 (ja) | ピクチャーデコーディング同期化回路及びその方法 | |
| US6034731A (en) | MPEG frame processing method and apparatus | |
| US8837660B2 (en) | Handling video transition errors in video on demand streams | |
| US9716896B2 (en) | Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method | |
| US20160156920A1 (en) | Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method | |
| JPH11252552A (ja) | ビデオ信号の圧縮符号化方法及び圧縮符号化装置、並びに、圧縮符号化データの多重化方法及び多重化装置 | |
| CN106470291A (zh) | 从音频/视频解码器中的时间同步中的中断中恢复 | |
| US20030128765A1 (en) | Receiving apparatus | |
| TWI493976B (zh) | 視頻信號處理方法和系統 | |
| US20100166080A1 (en) | Video display apparatus | |
| US8144791B2 (en) | Apparatus, method, and medium for video synchronization | |
| JP4295861B2 (ja) | トランスコーダ装置 | |
| US6950443B1 (en) | Encoding apparatus, encoding method, and recording medium storing encoding processing program | |
| JPH1093841A (ja) | 映像同期信号補正装置 | |
| JPH11355230A (ja) | 符号化装置 | |
| KR100306479B1 (ko) | 에스티비의엠펙디코더제어방법 | |
| JP2002152678A (ja) | Ｍｐｅｇストリーム再生方法 | |
| JPH1132302A (ja) | 音声同期再生装置 | |
| JPH10207500A (ja) | 信号受信装置 | |
| JP2005318255A (ja) | デジタル映像信号処理装置及びデジタル映像信号処理方法並びにコンピュータプログラム | |
| JP2003284069A (ja) | 多重データ復号方法及び多重データ復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070709 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100709 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110709 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110709 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120709 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120709 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |