JP4175038B2 - Ｍｐｅｇ２デコーダ - Google Patents
Ｍｐｅｇ２デコーダ Download PDFInfo
- Publication number
- JP4175038B2 JP4175038B2 JP2002179417A JP2002179417A JP4175038B2 JP 4175038 B2 JP4175038 B2 JP 4175038B2 JP 2002179417 A JP2002179417 A JP 2002179417A JP 2002179417 A JP2002179417 A JP 2002179417A JP 4175038 B2 JP4175038 B2 JP 4175038B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- pts
- phase shift
- image
- decoded data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は符号化データを復号し、該データに含まれるPTS（Presentation Time Stamp）情報に基づいてこの復号データを出力する装置に関する。
【０００２】
【従来の技術】
国際符号化標準MPEG２に代表される画像、音声の圧縮技術はその高画質性と高い圧縮効率から放送分野への採用が普及しつつある。以下MPEG2の復号の概要を説明する。
MPEG2では画像と音声が別々に符号化される。このため、復号時に両者の同期をとるためにパック単位で付与されるPES（Packetized Elementary Stream）、パケット単位で付与されるPTSという出力指定時刻情報とデコーダ内部で基準時間として持つSTC（System Time Clock）との位相関係を使用する。
（時刻基準参照値PCR（Program Clock Reference）も必要であるが本特許では使用しないので記述しない。）
【０００３】
図６はMPEG2による符号化データ（ビットストリーム）のデータ構造例を示す図である。
符号化データの1単位であるパックは、パックに関する情報を格納するパックヘッダ１０１、画像の符号化データを格納する画像PES（Packetized Elementary Stream）パケット１０２、音声の符号化データを格納する音声PESパケット１０３からなる。ＰＥＳパケットは画像符号化データ（エレメンタリーストリーム）及び音声符号化データ（エレメンタリーストリーム）を可変長でパケット化したものである。画像ＰＥＳパケット１０２及び音声ＰＥＳパケット１０３はそれぞれＰＥＳヘッダ１０４，１０５を持ち、これらの中にPTS１０６，１０７が格納される。１つのＰＥＳパケットは、同じPID（Packet IDentification：13ビットのストリーム識別情報で当該パケットの個別ストリームの属性を表す）番号を持つ複数のTS（Transport Stream）パケット１０８からなる。TSパケットは188バイトの固定長パケットで、4バイトのTSヘッダ１０９とペイロード１１０からなる。
【０００４】
PTSは、MPEGシステム復号器内部のSTCがPTSに一致した場合に、当該PESパケットを表示または出力（以下単に出力と称す）するため情報である。PTSの精度は90kHzのクロックで計測した値を33ビットで表す。PTSは符号化器が符号化の際に復号器のために付与する。例えば、STCがT0であり、復号器がPESパケットを受け取った瞬間からｔ１秒後に復号した画像データを出力し、復号器がPESパケットを受け取った瞬間からｔ２秒後に復号した音声データを出力させたい場合、画像PTSを「T0+t1」,音声PTSを「T0+t2」とする。実際には符号化器、復号器の内部の符号化、及び復号処理時間を考慮した前記ｔ１、前記ｔ２を符号化器が付与する。
【０００５】
図７にPTSを用いた画像・音声の同期システムの基本概念図を示す。
デコーダのシステムデコーダ分離部２００では入力ストリームから音声・画像の各符号化ストリームを分離すると同時に、それぞれのPTSを分離する。その後それぞれのストリーム復号時、音声復号部２０１、画像復号部２０２において異なる復号遅延が発生する。
PTS比較部２０４では、それぞれのPTSの差分を算出し、画像・音声どちらの位相に出力を合わせるか判断する。上記判断結果に応じて片方の出力を遅延させて両者を同期させる。この遅延は遅延メモリ２０３，２０５において別々に発生した遅延の差分を含めて制御される。
【０００６】
音声データ出力・画像データ出力の速度は互いに異なる一定の速度でデータ出力される。
【０００７】
【発明が解決しようとする課題】
以上のようにMPEG2復号器において復号した画像・音声データを符号化器が意図したタイミングで出力させるためには、符号化器が付与するPTSと復号器側で再生されるSTCに誤差が無いことが必要である。また放送分野ではMPEG2システムを使用する場合、音声と画像の同期は数ｍｓの精度で合っていることが要求される。
しかしながら符号化器の状態や符号化器と復号器との間の伝送路の状態によって映像・音声ストリームに付加されたPTSと復号器内部STCの位相に揺らぎが発生する場合は、そのPTSを用いた出力制御を行うと画像データまたは音声データの出力タイミングが正しいタイミングとならず、画像データ・音声データ位相がずれるために要求精度を満足しない場合が発生する。
【０００８】
その場合MPEG2規格構成では符号化器にしたがって動くことを前提としているため各ストリーム単位にPTSが付加され、各復号器はそのPTSにしたがって動作することで画像と音声の位相を一致させることができる。この場合、画像と音声のデータ出力位相を監視してフィードバックするような機構を持っていない。そのため、画像・音声のデータ出力位相がどれだけ揺らいだか検出することができずお互い独立して復号・再生することとなる。
【０００９】
この発明は上記のような問題点を解消するためになされたもので、PESパケットに格納されるPTSと内部STCに揺らぎが発生する場合でも、画像・音声データの出力位相ずれを検出し、符号化器が意図したタイミングで画像データ、音声データを同期出力することを実現するMPEG2デコーダを提供することを目的とする。
【００１０】
【課題を解決するための手段】
この発明に係るＭＰＥＧ２デコーダは、出力指定時刻情報(以降ＰＴＳ情報という)を含み、ＭＰＥＧ２方式で符号化されたデータ（以下、符号化データという）を復号し、前記ＰＴＳ情報に基づいて復号データを出力するＭＰＥＧ２デコーダにおいて、前記ＰＴＳ情報を設定する手段と、前記ＰＴＳ情報に対応する前記符号化データを復号し、この復号データを保管する手段と、前記ＰＴＳ情報の次のＰＴＳ情報を設定する手段と、前記次のＰＴＳ情報に対応する次の符号化データを復号し、次の復号データとして保管する手段と、保管された前記復号データの読出毎に前記ＰＴＳ情報に読出速度単位時間を加算すると共に、前記次の復号データの保管時に付与された書込開始アドレスと前記次の復号データの読出し時の読出アドレスが一致したときに、前記読出速度単位時間が加算された前記ＰＴＳ情報を、前記次のＰＴＳ情報を予測するＰＴＳ予測値として設定する手段と、前記ＰＴＳ予測値と設定された前記次のＰＴＳ情報を比較して、位相ずれ時間を検出する手段と、前記復号データとしての画像データに対し検出された前記位相ずれ時間と前記復号データとしての音声データに対し検出された前記位相ずれ時間とを比較して、前記復号された画像データの出力タイミングと前記復号された音声データの出力タイミングの位相ずれを検出する手段を備えたものである。
【００１１】
また、この発明に係るMPEG2デコーダは、復号したデータの出力タイミングを調整する手段を設け、常に前記位相ずれの値に基づき復号したデータの出力タイミングを調整するものである。
【００１２】
また、この発明に係るMPEG2デコーダは、復号したデータの出力タイミングを調整する調整手段と、閾値を保存する手段を設け、前記調整手段は、位相ずれの値が前記閾値を超える場合のみ復号したデータの出力タイミングを調整するようにしたものである。
【００１３】
また、この発明に係るMPEG2デコーダは、閾値を外部から入力する手段を設けたものである。
【００１４】
また、この発明に係るMPEG2デコーダは、復号したデータの出力タイミングを調整する手段と、位相ずれ検出の監視周期を保存する手段を設け、
前記監視周期で前記位相ずれの値に基づき復号したデータの出力タイミングを調整するようにしたものである。
【００１５】
また、この発明に係るMPEG2デコーダは、監視周期を外部から入力する手段を設けたものである。
【００１６】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１におけるMPEG２デコーダの概略構成図である。
図１において、
３００は入力ストリームより符号化ストリーム・PTS・その他必要な情報を分離するシステムデコーダ分離部である。
３０１は符号化音声データを復号する音声復号部である。
３０２は符号化画像データを復号する画像復号部である。
３０３は音声復号データ出力を遅延させる音声遅延メモリである。
３０４は画像・音声PTSの位相差を比較するPTS比較部である。
３０５は画像復号データ出力を遅延させる画像遅延メモリである。
３０６は与えられた音声PTSより次フレームのPTSを予測する音声PTS予測部である。
３０７は与えられた画像PTSより次フレームのPTSを予測する画像PTS予測部である。
３０８は音声PTS予測値と音声PTSを比較する音声位相ずれ検出部である。
３０９は画像PTS予測値と画像PTSを比較する画像位相ずれ検出部である。
３１０は画像と音声の位相ずれ量を比較する画像・音声位相ずれ検出部である。
３１１は音声出力を行なうためにリングバッファ構成されたアドレス音声出力制御メモリである。
３１２は画像出力を行なうためにリングバッファ構成されたアドレス画像出力制御メモリである。
３１３は音声復号データを書込むためのデータ書込部である。
３１４は画像復号データを書込むためのデータ書込部である。
３１５は音声出力制御メモリに書込まれた音声復号データを実データ出力速度で読み出すためのデータ読出部である。
３１６は画像出力制御メモリに書込まれた画像復号データを実データ出力速度で読み出すためのデータ読出部である。
【００１７】
図１のMPEG２デコーダにおいて、システムデコーダ分離部３００では入力ストリームから音声・画像の各符号化ストリームを分離すると同時に、それぞれのPTSを分離する。その後それぞれのストリーム復号時、音声復号部３０１、画像復号部３０２において異なる復号遅延が発生する。
PTS比較部３０４では、それぞれのPTS差分を算出し、画像・音声どちらの位相に出力位相を合わせるか判断する。上記判断結果に応じて出力を遅延させて両者を同期させる。
この遅延は遅延メモリ３０３，３０５において別々に発生した遅延の差分を含めて制御される。
【００１８】
このとき前述したように入力された復号データはある一定速度で出力されることよりデータ1bitの出力にかかる時間は画像・音声それぞれ固定となる。
【００１９】
図２はこの実施の形態におけるPTS予測の概略図である。図３はこの実施の形態におけるPTS予測動作のフローチャートである。カウントタイミング信号・予測PTS取得タイミング信号は別ユニットにて処理される。下記に動作概要を説明する。
【００２０】
まず、PTS予測開始しているかチェックを行ない（ステップS1）、PTS予測開始していない場合、次にPTSを受信したかチェックする。（ステップS2）受信できている場合はシステムデコーダ分離部４００より分離したPTSｎはPTS予測部４０８に設定される。（ステップS3）
【００２１】
次に、符号化データを取得完了しているかチェックを行ない（ステップS4）、受信できている場合はシステムデコーダ分離部４００より分離した符号化データｎは復号部４０１に転送される（ステップS5）。
その後復号完了しているかチェックを行ない（ステップS6）、復号完了しているなら復号データｎを出力制御メモリにデータ書込部４０３が転送する（ステップS7）。転送完了後データ読出部４０５に読出指示を行なう（ステップS8）。
その後読出し指示を受けたデータ読出部４０５によってリングバッファである出力制御メモリ４０４に書込まれた復号データはアドレスを指定され各復号データ再生時の速度で読出される。
また設定されたPTSｎは復号データ読出のたび（ステップS2１）に読出速度単位時間ずつPTS加算部にて加算される。（ステップS20）
【００２２】
また、ステップｓ1においてPTS予測開始している場合、次PES上のPTSn＋１の情報が受信できたかチェックを行ない（ステップS9）、取得したPTSn+1を位相ずれ検出部４０９に設定する。（ステップS10）
同様に符号化データｎ+1を取得完了しているかチェックを行ない（ステップS11）、符号化データを受信できている場合はシステムデコーダ分離部４００より分離した符号化データｎ+1を復号部４０１に転送する（ステップS12）。その後、復号完了しているかチェックを行ない（ステップS13）、復号完了しているなら復号データｎ+1を出力制御メモリ４０４に転送する（ステップS14）。
【００２３】
出力制御メモリ４０４に書込まれた復号データn+1の書込開始アドレスを指定アドレス読出開始検出部４０６に設定する（ステップS15）。指定アドレス読出開始検出部４０６は読出アドレスが復号データn+1の書込開始アドレスと一致したか監視する。読出アドレスが一致したときに指定アドレス読出開始検出部４０６からPTS予測部４０８に対して予測PTS取得タイミング信号を通知する。予測PTS取得タイミング信号を通知されたPTS予測部４０８はPTS加算部で算出されたPTS予測値を取得して位相ずれ検出部４０９に通知する。（ステップS16）
【００２４】
PTS予測値を通知された位相ずれ検出部４０９は設定されたＰＴＳn+1とPTS予測値を比較して位相ずれ時間を検出し、現在の出力データ位相ずれ時間を検出する（ステップS1７）。また、その次の予測動作のためにPTSn+1をPTS予測部４０８に設定する。（ステップS18）
【００２５】
上記方法で図１の音声PTS予測部３０６は音声復号データ出力を行ないながら次の音声PTS予測を開始する。音声位相ずれ検出部３０８は音声PTS予測部より渡された音声PTS予測値とシステムデコーダ分離部３００より渡された音声PTSを比較し音声復号開始からの位相ずれ時間を検出する。同様にして画像PTS予測部３０７は画像位相ずれ検出部３０９にて予測した画像PTS予測値とシステムデコーダ分離部３００より渡された画像PTSを比較し音声復号開始からの位相ずれ時間を検出する。双方の位相ずれ時間情報は音声・画像位相ずれ検出部３１０に通知され、音声・画像双方の位相ずれ時間を比較することによって画像・音声出力が現在どれだけずれているか検出することが可能となる。
【００２６】
実施の形態２．
この実施の形態２では実施の形態１の音声・画像位相ずれ検出部３１０から映像・音声遅延メモリ３０３・３０５に位相ずれ補正値を通知する機能と、画像・音声位相ずれ検出部３１０にて検出された位相差より画像・音声に対する補正値を計算する機能を追加することによって音声・画像遅延を自動調整して音声・画像データの位相が一致するよう動作するMPEG2デコーダ装置について説明を行なう。なおシステム構成については実施の形態１と同一であるため省略する。
【００２７】
MPEG2デコーダのデータ経路は実施の形態１と同一であるため省略する。
【００２８】
画像・音声データの位相ずれ検出までの動作は実施の形態１と同一であるため省略する。
【００２９】
画像・音声位相ずれ検出部３１０にて画像・音声データの位相ずれを検出すると共に、検出された画像・音声データの位相ずれより画像・音声の補正値を算出する。算出した補正値はそれぞれ画像・音声遅延メモリ３０３・３０５に補正値として設定されることによって常に画像・音声の位相ずれが無くなるよう動作することによって画像・音声データの位相差発生を防止することができる。
【００３０】
実施の形態３．
この実施の形態３では実施の形態１の画像・音声位相ずれ検出部３１０から画像・音声遅延メモリ３０３・３０５に位相ずれ補正値を通知する機能と、画像・音声の位相ずれ時間の許容値範囲をユーザが外部から入力する機能と、この許容範囲を保存する機能と、画像・音声位相ずれ検出部３１０にて算出された補正値にしたがって遅延量を調整する機能を拡張することによってユーザの許容範囲内で音声・画像データの位相が一致するよう動作するMPEG2デコーダ装置について説明を行なう。
図４は、この発明の実施の形態３におけるMPEG２デコーダの概略構成図である。図４において、図１と同符号は同一または相当部分を示す。３１７は画像・音声の位相ずれ時間の許容範囲を外部から入力する入力部、３１８は許容範囲保存部である。
【００３１】
MPEG2デコーダのデータ経路は実施の形態１と同一であるため説明を省略する。
【００３２】
画像・音声データの位相ずれ検出までの動作は実施の形態１と同一であるため説明を省略する。
【００３３】
位相ずれの許容範囲は予めユーザによって入力部３１７から入力され、許容範囲保存部３１８に保存しておく。画像・音声位相ずれ検出部３１０にて検出された画像・音声データの位相ずれが上記許容範囲を超えていないかチェックする。位相ずれが上記許容範囲を超えていれば、画像・音声の補正値を算出する。算出した補正値をそれぞれ画像・音声遅延メモリ３０３・３０５に設定することによって上記許容範囲に応じて画像・音声位相を制御することが可能になり上記許容範囲を超える画像・音声データの位相差発生を防止することができる。
【００３４】
また、ユーザが外部から入力できるので、システムの状況に応じて許容値を変えることができ、柔軟な対応が可能である。
【００３５】
なお、上記の例では、許容値を入力部３１７より入力するようにしているが、これに限る必要はなく、例えば、サーバなどの他システムからダウンロードするようにしてもよい。
【００３６】
実施の形態４．
この実施の形態４では実施の形態１の画像・音声位相ずれ検出部３１０から画像・音声遅延メモリ３０３・３０５に位相ずれ補正値を通知する機能と、ユーザが外部より画像・音声の位相ずれ検出の監視周期を入力する機能と、当該監視周期を保存する機能と、画像・音声位相ずれ検出部３１０にて算出された補正値にしたがって遅延量を調整する機能を拡張することによって、ある一定監視周期で音声・画像データの位相が一致するよう動作するMPEG2デコーダ装置について説明を行なう。
図５は、この発明の実施の形態４におけるMPEG２デコーダの概略構成図である。図５において、図１と同符号は同一または相当部分を示す。３１７は画像・音声の位相ずれ時間の許容範囲を外部から入力する入力部、３１９は監視周期保存部である。なお、ここでは、画像・音声位相ずれ検出部３１０は、タイマーを保有していることを前提とする。
【００３７】
MPEG2デコーダのデータ経路は実施の形態１と同一であるため説明を省略する。
【００３８】
画像・音声データの位相ずれ検出までの動作は実施の形態１と同一であるため説明を省略する。
【００３９】
位相ずれ検出の監視周期は予めユーザによって入力部３１７から入力され、監視周期保存部３１９に保存しておく。また、画像・音声位相ずれ検出部３１０に設けられたタイマー（図示せず）は、画像・音声位相ずれ検出部３１０が起動されたときに初期設定され、直後にカウントアップを開始する。そして、タイマーの値が監視周期と一致したときに発生する信号によって初期設定され、直後にカウントアップを再開する。
【００４０】
画像・音声位相ずれ検出部３１０は、監視周期保存部３１９に保存されている監視周期時間経過したかチェックを行ない、監視周期時間経過していれば画像・音声位相ずれ検出部３１０にて検出された画像・音声データの位相ずれより、画像・音声の補正値を算出する。それぞれ画像・音声遅延メモリ３０３・３０５に補正値を設定することによってユーザ監視周期の要求に応じて画像・音声位相差発生を防止することができる。
【００４１】
また、ユーザが外部から入力できるので、システムの状況に応じて監視周期を変えることができ、柔軟な対応が可能である。
【００４２】
なお、上記の例では、監視周期を入力部３１７より入力するようにしているが、これに限る必要はなく、例えば、サーバなどの他システムからダウンロードするようにしてもよい。
【図面の簡単な説明】
【図１】 本発明におけるＭＰＥＧ２デコーダの構成を示すブロック図である。
【図２】 PTS予測方法・補正方法を説明するブロック図である。
【図３】 PTS予測方法を説明するフローチャートである。
【図４】 この発明の実施の形態３におけるMPEG２デコーダの概略構成図である。
【図５】 この発明の実施の形態４におけるMPEG２デコーダの概略構成図である。
【図６】 ＭＰＥＧ２におけるビットストリームの相互関係図である。
【図７】 従来のＭＰＥＧ２デコーダの構成を示すブロック図である。
【符号の説明】
１０１ パックヘッダ
１０２ 画像ＰＥＳパケット
１０３ 音声ＰＥＳパケット
１０４ 画像ＰＥＳヘッダ
１０５ 音声ＰＥＳヘッダ
１０６ 画像ＰＴＳ
１０７ 音声ＰＴＳ
１０８ ＴＳパケット
１０９ ＴＳヘッダ、１１０ ＴＳペイロード
２００ システムデコーダ分離部
２０１ 音声復号部
２０２ 画像復号部
２０３ 音声遅延メモリ
２０４ PTS比較部
２０５ 画像遅延メモリ
３００ システムデコーダ分離部
３０１ 音声復号部
３０２ 画像復号部
３０３ 音声遅延メモリ
３０４ PTS比較部
３０５ 画像遅延メモリ
３０６ 音声PTS予測部
３０７ 画像PTS予測部
３０８ 音声位相ずれ検出部
３０９ 画像位相ずれ検出部
３１０ 画像・音声位相ずれ検出部
３１１ 音声出力制御メモリ
３１２ 画像出力制御メモリ
３１３ データ書込部(音声)
３１４ データ書込部(画像)
３１５ データ読出部(音声)
３１６ データ読出部(画像)
３１７ 入力部
３１８ 許容値保存部
３１９ 監視周期保存部
４００ システムデコーダ分離部
４０１ 復号部
４０２ 遅延メモリ
４０３ データ書込部
４０４ 出力制御メモリ
４０５ データ読出部
４０６ 指定復号データ読出し開始検出部
４０７ PTS加算部
４０８ PTS予測部
４０９ 位相ずれ検出部
【発明の属する技術分野】
この発明は符号化データを復号し、該データに含まれるPTS（Presentation Time Stamp）情報に基づいてこの復号データを出力する装置に関する。
【０００２】
【従来の技術】
国際符号化標準MPEG２に代表される画像、音声の圧縮技術はその高画質性と高い圧縮効率から放送分野への採用が普及しつつある。以下MPEG2の復号の概要を説明する。
MPEG2では画像と音声が別々に符号化される。このため、復号時に両者の同期をとるためにパック単位で付与されるPES（Packetized Elementary Stream）、パケット単位で付与されるPTSという出力指定時刻情報とデコーダ内部で基準時間として持つSTC（System Time Clock）との位相関係を使用する。
（時刻基準参照値PCR（Program Clock Reference）も必要であるが本特許では使用しないので記述しない。）
【０００３】
図６はMPEG2による符号化データ（ビットストリーム）のデータ構造例を示す図である。
符号化データの1単位であるパックは、パックに関する情報を格納するパックヘッダ１０１、画像の符号化データを格納する画像PES（Packetized Elementary Stream）パケット１０２、音声の符号化データを格納する音声PESパケット１０３からなる。ＰＥＳパケットは画像符号化データ（エレメンタリーストリーム）及び音声符号化データ（エレメンタリーストリーム）を可変長でパケット化したものである。画像ＰＥＳパケット１０２及び音声ＰＥＳパケット１０３はそれぞれＰＥＳヘッダ１０４，１０５を持ち、これらの中にPTS１０６，１０７が格納される。１つのＰＥＳパケットは、同じPID（Packet IDentification：13ビットのストリーム識別情報で当該パケットの個別ストリームの属性を表す）番号を持つ複数のTS（Transport Stream）パケット１０８からなる。TSパケットは188バイトの固定長パケットで、4バイトのTSヘッダ１０９とペイロード１１０からなる。
【０００４】
PTSは、MPEGシステム復号器内部のSTCがPTSに一致した場合に、当該PESパケットを表示または出力（以下単に出力と称す）するため情報である。PTSの精度は90kHzのクロックで計測した値を33ビットで表す。PTSは符号化器が符号化の際に復号器のために付与する。例えば、STCがT0であり、復号器がPESパケットを受け取った瞬間からｔ１秒後に復号した画像データを出力し、復号器がPESパケットを受け取った瞬間からｔ２秒後に復号した音声データを出力させたい場合、画像PTSを「T0+t1」,音声PTSを「T0+t2」とする。実際には符号化器、復号器の内部の符号化、及び復号処理時間を考慮した前記ｔ１、前記ｔ２を符号化器が付与する。
【０００５】
図７にPTSを用いた画像・音声の同期システムの基本概念図を示す。
デコーダのシステムデコーダ分離部２００では入力ストリームから音声・画像の各符号化ストリームを分離すると同時に、それぞれのPTSを分離する。その後それぞれのストリーム復号時、音声復号部２０１、画像復号部２０２において異なる復号遅延が発生する。
PTS比較部２０４では、それぞれのPTSの差分を算出し、画像・音声どちらの位相に出力を合わせるか判断する。上記判断結果に応じて片方の出力を遅延させて両者を同期させる。この遅延は遅延メモリ２０３，２０５において別々に発生した遅延の差分を含めて制御される。
【０００６】
音声データ出力・画像データ出力の速度は互いに異なる一定の速度でデータ出力される。
【０００７】
【発明が解決しようとする課題】
以上のようにMPEG2復号器において復号した画像・音声データを符号化器が意図したタイミングで出力させるためには、符号化器が付与するPTSと復号器側で再生されるSTCに誤差が無いことが必要である。また放送分野ではMPEG2システムを使用する場合、音声と画像の同期は数ｍｓの精度で合っていることが要求される。
しかしながら符号化器の状態や符号化器と復号器との間の伝送路の状態によって映像・音声ストリームに付加されたPTSと復号器内部STCの位相に揺らぎが発生する場合は、そのPTSを用いた出力制御を行うと画像データまたは音声データの出力タイミングが正しいタイミングとならず、画像データ・音声データ位相がずれるために要求精度を満足しない場合が発生する。
【０００８】
その場合MPEG2規格構成では符号化器にしたがって動くことを前提としているため各ストリーム単位にPTSが付加され、各復号器はそのPTSにしたがって動作することで画像と音声の位相を一致させることができる。この場合、画像と音声のデータ出力位相を監視してフィードバックするような機構を持っていない。そのため、画像・音声のデータ出力位相がどれだけ揺らいだか検出することができずお互い独立して復号・再生することとなる。
【０００９】
この発明は上記のような問題点を解消するためになされたもので、PESパケットに格納されるPTSと内部STCに揺らぎが発生する場合でも、画像・音声データの出力位相ずれを検出し、符号化器が意図したタイミングで画像データ、音声データを同期出力することを実現するMPEG2デコーダを提供することを目的とする。
【００１０】
【課題を解決するための手段】
この発明に係るＭＰＥＧ２デコーダは、出力指定時刻情報(以降ＰＴＳ情報という)を含み、ＭＰＥＧ２方式で符号化されたデータ（以下、符号化データという）を復号し、前記ＰＴＳ情報に基づいて復号データを出力するＭＰＥＧ２デコーダにおいて、前記ＰＴＳ情報を設定する手段と、前記ＰＴＳ情報に対応する前記符号化データを復号し、この復号データを保管する手段と、前記ＰＴＳ情報の次のＰＴＳ情報を設定する手段と、前記次のＰＴＳ情報に対応する次の符号化データを復号し、次の復号データとして保管する手段と、保管された前記復号データの読出毎に前記ＰＴＳ情報に読出速度単位時間を加算すると共に、前記次の復号データの保管時に付与された書込開始アドレスと前記次の復号データの読出し時の読出アドレスが一致したときに、前記読出速度単位時間が加算された前記ＰＴＳ情報を、前記次のＰＴＳ情報を予測するＰＴＳ予測値として設定する手段と、前記ＰＴＳ予測値と設定された前記次のＰＴＳ情報を比較して、位相ずれ時間を検出する手段と、前記復号データとしての画像データに対し検出された前記位相ずれ時間と前記復号データとしての音声データに対し検出された前記位相ずれ時間とを比較して、前記復号された画像データの出力タイミングと前記復号された音声データの出力タイミングの位相ずれを検出する手段を備えたものである。
【００１１】
また、この発明に係るMPEG2デコーダは、復号したデータの出力タイミングを調整する手段を設け、常に前記位相ずれの値に基づき復号したデータの出力タイミングを調整するものである。
【００１２】
また、この発明に係るMPEG2デコーダは、復号したデータの出力タイミングを調整する調整手段と、閾値を保存する手段を設け、前記調整手段は、位相ずれの値が前記閾値を超える場合のみ復号したデータの出力タイミングを調整するようにしたものである。
【００１３】
また、この発明に係るMPEG2デコーダは、閾値を外部から入力する手段を設けたものである。
【００１４】
また、この発明に係るMPEG2デコーダは、復号したデータの出力タイミングを調整する手段と、位相ずれ検出の監視周期を保存する手段を設け、
前記監視周期で前記位相ずれの値に基づき復号したデータの出力タイミングを調整するようにしたものである。
【００１５】
また、この発明に係るMPEG2デコーダは、監視周期を外部から入力する手段を設けたものである。
【００１６】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１におけるMPEG２デコーダの概略構成図である。
図１において、
３００は入力ストリームより符号化ストリーム・PTS・その他必要な情報を分離するシステムデコーダ分離部である。
３０１は符号化音声データを復号する音声復号部である。
３０２は符号化画像データを復号する画像復号部である。
３０３は音声復号データ出力を遅延させる音声遅延メモリである。
３０４は画像・音声PTSの位相差を比較するPTS比較部である。
３０５は画像復号データ出力を遅延させる画像遅延メモリである。
３０６は与えられた音声PTSより次フレームのPTSを予測する音声PTS予測部である。
３０７は与えられた画像PTSより次フレームのPTSを予測する画像PTS予測部である。
３０８は音声PTS予測値と音声PTSを比較する音声位相ずれ検出部である。
３０９は画像PTS予測値と画像PTSを比較する画像位相ずれ検出部である。
３１０は画像と音声の位相ずれ量を比較する画像・音声位相ずれ検出部である。
３１１は音声出力を行なうためにリングバッファ構成されたアドレス音声出力制御メモリである。
３１２は画像出力を行なうためにリングバッファ構成されたアドレス画像出力制御メモリである。
３１３は音声復号データを書込むためのデータ書込部である。
３１４は画像復号データを書込むためのデータ書込部である。
３１５は音声出力制御メモリに書込まれた音声復号データを実データ出力速度で読み出すためのデータ読出部である。
３１６は画像出力制御メモリに書込まれた画像復号データを実データ出力速度で読み出すためのデータ読出部である。
【００１７】
図１のMPEG２デコーダにおいて、システムデコーダ分離部３００では入力ストリームから音声・画像の各符号化ストリームを分離すると同時に、それぞれのPTSを分離する。その後それぞれのストリーム復号時、音声復号部３０１、画像復号部３０２において異なる復号遅延が発生する。
PTS比較部３０４では、それぞれのPTS差分を算出し、画像・音声どちらの位相に出力位相を合わせるか判断する。上記判断結果に応じて出力を遅延させて両者を同期させる。
この遅延は遅延メモリ３０３，３０５において別々に発生した遅延の差分を含めて制御される。
【００１８】
このとき前述したように入力された復号データはある一定速度で出力されることよりデータ1bitの出力にかかる時間は画像・音声それぞれ固定となる。
【００１９】
図２はこの実施の形態におけるPTS予測の概略図である。図３はこの実施の形態におけるPTS予測動作のフローチャートである。カウントタイミング信号・予測PTS取得タイミング信号は別ユニットにて処理される。下記に動作概要を説明する。
【００２０】
まず、PTS予測開始しているかチェックを行ない（ステップS1）、PTS予測開始していない場合、次にPTSを受信したかチェックする。（ステップS2）受信できている場合はシステムデコーダ分離部４００より分離したPTSｎはPTS予測部４０８に設定される。（ステップS3）
【００２１】
次に、符号化データを取得完了しているかチェックを行ない（ステップS4）、受信できている場合はシステムデコーダ分離部４００より分離した符号化データｎは復号部４０１に転送される（ステップS5）。
その後復号完了しているかチェックを行ない（ステップS6）、復号完了しているなら復号データｎを出力制御メモリにデータ書込部４０３が転送する（ステップS7）。転送完了後データ読出部４０５に読出指示を行なう（ステップS8）。
その後読出し指示を受けたデータ読出部４０５によってリングバッファである出力制御メモリ４０４に書込まれた復号データはアドレスを指定され各復号データ再生時の速度で読出される。
また設定されたPTSｎは復号データ読出のたび（ステップS2１）に読出速度単位時間ずつPTS加算部にて加算される。（ステップS20）
【００２２】
また、ステップｓ1においてPTS予測開始している場合、次PES上のPTSn＋１の情報が受信できたかチェックを行ない（ステップS9）、取得したPTSn+1を位相ずれ検出部４０９に設定する。（ステップS10）
同様に符号化データｎ+1を取得完了しているかチェックを行ない（ステップS11）、符号化データを受信できている場合はシステムデコーダ分離部４００より分離した符号化データｎ+1を復号部４０１に転送する（ステップS12）。その後、復号完了しているかチェックを行ない（ステップS13）、復号完了しているなら復号データｎ+1を出力制御メモリ４０４に転送する（ステップS14）。
【００２３】
出力制御メモリ４０４に書込まれた復号データn+1の書込開始アドレスを指定アドレス読出開始検出部４０６に設定する（ステップS15）。指定アドレス読出開始検出部４０６は読出アドレスが復号データn+1の書込開始アドレスと一致したか監視する。読出アドレスが一致したときに指定アドレス読出開始検出部４０６からPTS予測部４０８に対して予測PTS取得タイミング信号を通知する。予測PTS取得タイミング信号を通知されたPTS予測部４０８はPTS加算部で算出されたPTS予測値を取得して位相ずれ検出部４０９に通知する。（ステップS16）
【００２４】
PTS予測値を通知された位相ずれ検出部４０９は設定されたＰＴＳn+1とPTS予測値を比較して位相ずれ時間を検出し、現在の出力データ位相ずれ時間を検出する（ステップS1７）。また、その次の予測動作のためにPTSn+1をPTS予測部４０８に設定する。（ステップS18）
【００２５】
上記方法で図１の音声PTS予測部３０６は音声復号データ出力を行ないながら次の音声PTS予測を開始する。音声位相ずれ検出部３０８は音声PTS予測部より渡された音声PTS予測値とシステムデコーダ分離部３００より渡された音声PTSを比較し音声復号開始からの位相ずれ時間を検出する。同様にして画像PTS予測部３０７は画像位相ずれ検出部３０９にて予測した画像PTS予測値とシステムデコーダ分離部３００より渡された画像PTSを比較し音声復号開始からの位相ずれ時間を検出する。双方の位相ずれ時間情報は音声・画像位相ずれ検出部３１０に通知され、音声・画像双方の位相ずれ時間を比較することによって画像・音声出力が現在どれだけずれているか検出することが可能となる。
【００２６】
実施の形態２．
この実施の形態２では実施の形態１の音声・画像位相ずれ検出部３１０から映像・音声遅延メモリ３０３・３０５に位相ずれ補正値を通知する機能と、画像・音声位相ずれ検出部３１０にて検出された位相差より画像・音声に対する補正値を計算する機能を追加することによって音声・画像遅延を自動調整して音声・画像データの位相が一致するよう動作するMPEG2デコーダ装置について説明を行なう。なおシステム構成については実施の形態１と同一であるため省略する。
【００２７】
MPEG2デコーダのデータ経路は実施の形態１と同一であるため省略する。
【００２８】
画像・音声データの位相ずれ検出までの動作は実施の形態１と同一であるため省略する。
【００２９】
画像・音声位相ずれ検出部３１０にて画像・音声データの位相ずれを検出すると共に、検出された画像・音声データの位相ずれより画像・音声の補正値を算出する。算出した補正値はそれぞれ画像・音声遅延メモリ３０３・３０５に補正値として設定されることによって常に画像・音声の位相ずれが無くなるよう動作することによって画像・音声データの位相差発生を防止することができる。
【００３０】
実施の形態３．
この実施の形態３では実施の形態１の画像・音声位相ずれ検出部３１０から画像・音声遅延メモリ３０３・３０５に位相ずれ補正値を通知する機能と、画像・音声の位相ずれ時間の許容値範囲をユーザが外部から入力する機能と、この許容範囲を保存する機能と、画像・音声位相ずれ検出部３１０にて算出された補正値にしたがって遅延量を調整する機能を拡張することによってユーザの許容範囲内で音声・画像データの位相が一致するよう動作するMPEG2デコーダ装置について説明を行なう。
図４は、この発明の実施の形態３におけるMPEG２デコーダの概略構成図である。図４において、図１と同符号は同一または相当部分を示す。３１７は画像・音声の位相ずれ時間の許容範囲を外部から入力する入力部、３１８は許容範囲保存部である。
【００３１】
MPEG2デコーダのデータ経路は実施の形態１と同一であるため説明を省略する。
【００３２】
画像・音声データの位相ずれ検出までの動作は実施の形態１と同一であるため説明を省略する。
【００３３】
位相ずれの許容範囲は予めユーザによって入力部３１７から入力され、許容範囲保存部３１８に保存しておく。画像・音声位相ずれ検出部３１０にて検出された画像・音声データの位相ずれが上記許容範囲を超えていないかチェックする。位相ずれが上記許容範囲を超えていれば、画像・音声の補正値を算出する。算出した補正値をそれぞれ画像・音声遅延メモリ３０３・３０５に設定することによって上記許容範囲に応じて画像・音声位相を制御することが可能になり上記許容範囲を超える画像・音声データの位相差発生を防止することができる。
【００３４】
また、ユーザが外部から入力できるので、システムの状況に応じて許容値を変えることができ、柔軟な対応が可能である。
【００３５】
なお、上記の例では、許容値を入力部３１７より入力するようにしているが、これに限る必要はなく、例えば、サーバなどの他システムからダウンロードするようにしてもよい。
【００３６】
実施の形態４．
この実施の形態４では実施の形態１の画像・音声位相ずれ検出部３１０から画像・音声遅延メモリ３０３・３０５に位相ずれ補正値を通知する機能と、ユーザが外部より画像・音声の位相ずれ検出の監視周期を入力する機能と、当該監視周期を保存する機能と、画像・音声位相ずれ検出部３１０にて算出された補正値にしたがって遅延量を調整する機能を拡張することによって、ある一定監視周期で音声・画像データの位相が一致するよう動作するMPEG2デコーダ装置について説明を行なう。
図５は、この発明の実施の形態４におけるMPEG２デコーダの概略構成図である。図５において、図１と同符号は同一または相当部分を示す。３１７は画像・音声の位相ずれ時間の許容範囲を外部から入力する入力部、３１９は監視周期保存部である。なお、ここでは、画像・音声位相ずれ検出部３１０は、タイマーを保有していることを前提とする。
【００３７】
MPEG2デコーダのデータ経路は実施の形態１と同一であるため説明を省略する。
【００３８】
画像・音声データの位相ずれ検出までの動作は実施の形態１と同一であるため説明を省略する。
【００３９】
位相ずれ検出の監視周期は予めユーザによって入力部３１７から入力され、監視周期保存部３１９に保存しておく。また、画像・音声位相ずれ検出部３１０に設けられたタイマー（図示せず）は、画像・音声位相ずれ検出部３１０が起動されたときに初期設定され、直後にカウントアップを開始する。そして、タイマーの値が監視周期と一致したときに発生する信号によって初期設定され、直後にカウントアップを再開する。
【００４０】
画像・音声位相ずれ検出部３１０は、監視周期保存部３１９に保存されている監視周期時間経過したかチェックを行ない、監視周期時間経過していれば画像・音声位相ずれ検出部３１０にて検出された画像・音声データの位相ずれより、画像・音声の補正値を算出する。それぞれ画像・音声遅延メモリ３０３・３０５に補正値を設定することによってユーザ監視周期の要求に応じて画像・音声位相差発生を防止することができる。
【００４１】
また、ユーザが外部から入力できるので、システムの状況に応じて監視周期を変えることができ、柔軟な対応が可能である。
【００４２】
なお、上記の例では、監視周期を入力部３１７より入力するようにしているが、これに限る必要はなく、例えば、サーバなどの他システムからダウンロードするようにしてもよい。
【図面の簡単な説明】
【図１】 本発明におけるＭＰＥＧ２デコーダの構成を示すブロック図である。
【図２】 PTS予測方法・補正方法を説明するブロック図である。
【図３】 PTS予測方法を説明するフローチャートである。
【図４】 この発明の実施の形態３におけるMPEG２デコーダの概略構成図である。
【図５】 この発明の実施の形態４におけるMPEG２デコーダの概略構成図である。
【図６】 ＭＰＥＧ２におけるビットストリームの相互関係図である。
【図７】 従来のＭＰＥＧ２デコーダの構成を示すブロック図である。
【符号の説明】
１０１ パックヘッダ
１０２ 画像ＰＥＳパケット
１０３ 音声ＰＥＳパケット
１０４ 画像ＰＥＳヘッダ
１０５ 音声ＰＥＳヘッダ
１０６ 画像ＰＴＳ
１０７ 音声ＰＴＳ
１０８ ＴＳパケット
１０９ ＴＳヘッダ、１１０ ＴＳペイロード
２００ システムデコーダ分離部
２０１ 音声復号部
２０２ 画像復号部
２０３ 音声遅延メモリ
２０４ PTS比較部
２０５ 画像遅延メモリ
３００ システムデコーダ分離部
３０１ 音声復号部
３０２ 画像復号部
３０３ 音声遅延メモリ
３０４ PTS比較部
３０５ 画像遅延メモリ
３０６ 音声PTS予測部
３０７ 画像PTS予測部
３０８ 音声位相ずれ検出部
３０９ 画像位相ずれ検出部
３１０ 画像・音声位相ずれ検出部
３１１ 音声出力制御メモリ
３１２ 画像出力制御メモリ
３１３ データ書込部(音声)
３１４ データ書込部(画像)
３１５ データ読出部(音声)
３１６ データ読出部(画像)
３１７ 入力部
３１８ 許容値保存部
３１９ 監視周期保存部
４００ システムデコーダ分離部
４０１ 復号部
４０２ 遅延メモリ
４０３ データ書込部
４０４ 出力制御メモリ
４０５ データ読出部
４０６ 指定復号データ読出し開始検出部
４０７ PTS加算部
４０８ PTS予測部
４０９ 位相ずれ検出部
Claims (6)
- 出力指定時刻情報(以降ＰＴＳ情報という)を含み、ＭＰＥＧ２方式で符号化されたデータ（以下、符号化データという）を復号し、前記ＰＴＳ情報に基づいて復号データを出力するＭＰＥＧ２デコーダにおいて、
前記ＰＴＳ情報を設定する手段と、
前記ＰＴＳ情報に対応する前記符号化データを復号し、この復号データを保管する手段と、
前記ＰＴＳ情報の次のＰＴＳ情報を設定する手段と、
前記次のＰＴＳ情報に対応する次の符号化データを復号し、次の復号データとして保管する手段と、
保管された前記復号データの読出毎に前記ＰＴＳ情報に読出速度単位時間を加算すると共に、前記次の復号データの保管時に付与される書込開始アドレスと前記次の復号データの読出し時の読出アドレスが一致したときに、前記読出速度単位時間が加算された前記ＰＴＳ情報を、前記次のＰＴＳ情報を予測するＰＴＳ予測値として設定する手段と、
前記ＰＴＳ予測値と設定された前記次のＰＴＳ情報を比較して、位相ずれ時間を検出する手段と、
前記復号データとしての画像データに対し検出された前記位相ずれ時間と前記復号データとしての音声データに対し検出された前記位相ずれ時間とを比較して、前記復号された画像データの出力タイミングと前記復号された音声データの出力タイミングの位相ずれを検出する手段を備えたことを特徴とするＭＰＥＧ２デコーダ。 - 復号したデータの出力タイミングを調整する手段を設け、常に前記位相ずれの値に基づき復号したデータの出力タイミングを調整することを特徴とする請求項１に記載のＭＰＥＧ２デコーダ。
- 復号したデータの出力タイミングを調整する調整手段と、閾値を保存する手段を設け、前記調整手段は、位相ずれの値が前記閾値を超える場合のみ復号したデータの出力タイミングを調整することを特徴とする請求項１に記載のＭＰＥＧ２デコーダ。
- 閾値を外部から入力する手段を設けたことを特徴とする請求項３に記載のＭＰＥＧ２デコーダ。
- 復号したデータの出力タイミングを調整する手段と、位相ずれ検出の監視周期を保存する手段を設け、
前記監視周期で前記位相ずれの値に基づき復号したデータの出力タイミングを調整することを特徴とする請求項１に記載のＭＰＥＧ２デコーダ。 - 監視周期を外部から入力する手段を設けたことを特徴とする請求項５に記載のＭＰＥＧ２デコーダ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002179417A JP4175038B2 (ja) | 2002-06-20 | 2002-06-20 | Ｍｐｅｇ２デコーダ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002179417A JP4175038B2 (ja) | 2002-06-20 | 2002-06-20 | Ｍｐｅｇ２デコーダ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004023686A JP2004023686A (ja) | 2004-01-22 |
| JP4175038B2 true JP4175038B2 (ja) | 2008-11-05 |
Family
ID=31176817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002179417A Expired - Fee Related JP4175038B2 (ja) | 2002-06-20 | 2002-06-20 | Ｍｐｅｇ２デコーダ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4175038B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AR049674A1 (es) | 2003-08-08 | 2006-08-30 | Seiko Epson Corp | Recipiente contenedor de liquido a suministrar a un aparato de consumo de dicho liquido |
| US7400653B2 (en) * | 2004-06-18 | 2008-07-15 | Dolby Laboratories Licensing Corporation | Maintaining synchronization of streaming audio and video using internet protocol |
| JP2006254298A (ja) * | 2005-03-14 | 2006-09-21 | Matsushita Electric Ind Co Ltd | 動画再生装置及び動画再生方法 |
| JP6324301B2 (ja) * | 2014-11-19 | 2018-05-16 | 株式会社ジャパンディスプレイ | 表示装置及び表示装置の駆動方法並びに指示装置 |
-
2002
- 2002-06-20 JP JP2002179417A patent/JP4175038B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004023686A (ja) | 2004-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9066061B2 (en) | Video information reproduction method and system, and video information content | |
| JP3197766B2 (ja) | Ｍｐｅｇオーディオデコーダ、ｍｐｅｇビデオデコーダおよびｍｐｅｇシステムデコーダ | |
| US5537148A (en) | Video and audio data demultiplexer having controlled synchronizing signal | |
| US6493362B1 (en) | Data recording method and data recording system | |
| EP0618728A2 (en) | Synchronization of audio/video information | |
| JPH06333341A (ja) | 多重化データ分離装置および方法 | |
| JPH07111043A (ja) | データ再生装置 | |
| US7706400B2 (en) | Transport stream processing device and transport stream processing method | |
| JP3558983B2 (ja) | デジタル放送の記録再生装置 | |
| JP4175038B2 (ja) | Ｍｐｅｇ２デコーダ | |
| US20080184316A1 (en) | Stream recording apparatus | |
| JPH08214296A (ja) | デコーダおよびｍｐｅｇシステムデコーダ | |
| JP2872104B2 (ja) | タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法 | |
| JP2007259313A (ja) | ストリーム再生方法及び再生装置 | |
| JP3920125B2 (ja) | 復号装置及び復号方法 | |
| JP4690965B2 (ja) | データ記録再生装置 | |
| US20090210588A1 (en) | Output Circuit, Control Program Product, and Control Method | |
| JP2001111610A (ja) | 情報データ伝送システムの受信装置 | |
| JP4327561B2 (ja) | デジタル放送受信装置及びその制御方法 | |
| JP2002281498A (ja) | 受信再生装置 | |
| JP2001339688A (ja) | トランスポートストリーム再生装置 | |
| JP3852725B2 (ja) | データ処理装置及びデータ処理方法並びに再生装置及び再生方法 | |
| JP2000049726A (ja) | 多重化装置及び方法 | |
| JP2003037574A (ja) | ストリーム送信装置および受信装置、ならびに送受信方法 | |
| JP2001156760A (ja) | 通信装置、通信方法、および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040707 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070802 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071004 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080729 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080811 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |