JPH09181695A - 画像音声の同期再生方法及び装置 - Google Patents
画像音声の同期再生方法及び装置Info
- Publication number
- JPH09181695A JPH09181695A JP33709695A JP33709695A JPH09181695A JP H09181695 A JPH09181695 A JP H09181695A JP 33709695 A JP33709695 A JP 33709695A JP 33709695 A JP33709695 A JP 33709695A JP H09181695 A JPH09181695 A JP H09181695A
- Authority
- JP
- Japan
- Prior art keywords
- data
- decoding
- data storage
- unit
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Time-Division Multiplex Systems (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Abstract
(57)【要約】
【課題】 繁雑な演算処理または大規模な制御回路を必
要とする同期コードを用いる同期制御を行うことなく、
画像と音声とを同期させて再生することができる画像音
声の同期再生方式を提供する。 【解決手段】 多重化データ分離部１１で分離された符
号化データは、符号化データ蓄積部１２に蓄積される。
符号化データ蓄積量監視部１３は、符号化データ蓄積部
のデータ蓄積量を監視し、入力された設定量と比較す
る。そして、データ蓄積量が設定量を越えた場合或いは
０になった場合に、符号化データ蓄積量制御部１４に通
知する。通知を受けた符号化データ蓄積量制御部１４
は、復号部１５に対してデータの読み飛ばし或いは復号
処理の繰り返しを指示して符号化データ蓄積部の蓄積量
を所定範囲内に保つ。
要とする同期コードを用いる同期制御を行うことなく、
画像と音声とを同期させて再生することができる画像音
声の同期再生方式を提供する。 【解決手段】 多重化データ分離部１１で分離された符
号化データは、符号化データ蓄積部１２に蓄積される。
符号化データ蓄積量監視部１３は、符号化データ蓄積部
のデータ蓄積量を監視し、入力された設定量と比較す
る。そして、データ蓄積量が設定量を越えた場合或いは
０になった場合に、符号化データ蓄積量制御部１４に通
知する。通知を受けた符号化データ蓄積量制御部１４
は、復号部１５に対してデータの読み飛ばし或いは復号
処理の繰り返しを指示して符号化データ蓄積部の蓄積量
を所定範囲内に保つ。
Description
【０００１】
【発明の属する技術分野】本発明は、画像音声の同期再
生方法及び装置に関し、特に圧縮符号化された画像デー
タと音声データとをリアルタイムで同期させて再生する
画像音声の同期再生方法及び装置に関する。
生方法及び装置に関し、特に圧縮符号化された画像デー
タと音声データとをリアルタイムで同期させて再生する
画像音声の同期再生方法及び装置に関する。
【０００２】
【従来の技術】従来の画像音声の同期再生方式では、画
像と音声をそれぞれ符号化して記録する際、または送信
する際に、それぞれの符号化データの中に同期コードを
挿入しておき、復号再生を行うとき、これらの同期コー
ドを参照して、画像データと音声データとの同期再生を
行っている。
像と音声をそれぞれ符号化して記録する際、または送信
する際に、それぞれの符号化データの中に同期コードを
挿入しておき、復号再生を行うとき、これらの同期コー
ドを参照して、画像データと音声データとの同期再生を
行っている。
【０００３】例えば、特開昭６３−２０５８４９号公報
には、画像データを記録する光ディスクと、音声データ
を記録する磁気テープとに、それぞれデータを記録する
と共に同期コードを記録しておき、再生時に両者のコー
ドを比較することにより、画像及び音声を同期的に再生
する、視覚及び聴覚情報再生装置が開示されている。
には、画像データを記録する光ディスクと、音声データ
を記録する磁気テープとに、それぞれデータを記録する
と共に同期コードを記録しておき、再生時に両者のコー
ドを比較することにより、画像及び音声を同期的に再生
する、視覚及び聴覚情報再生装置が開示されている。
【０００４】また、動画符号化方式の国際標準委員会
（ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１）に
よって議論され標準化されている圧縮符号化方式では、
画像データ及び音声データを圧縮符号化する際に、それ
ぞれ符号化データの区切りにタイムコードを挿入し、復
号再生時に復号装置がもつ基準クロックと比較すること
により同期再生を行うようにしている。
（ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１）に
よって議論され標準化されている圧縮符号化方式では、
画像データ及び音声データを圧縮符号化する際に、それ
ぞれ符号化データの区切りにタイムコードを挿入し、復
号再生時に復号装置がもつ基準クロックと比較すること
により同期再生を行うようにしている。
【０００５】
【発明が解決しようとする課題】従来の画像音声の同期
再生方式は、符号化データに予め挿入されている同期コ
ードを再生時に参照することによって、画像と音声との
同期再生を行っている。ここで、同期コードは、符号デ
ータ中に細かく挿入されており、同期制御を行う同期制
御部をソフトウェアで構成する場合には、処理が繁雑と
なり、演算処理装置における演算負荷が大きいという問
題点がある。
再生方式は、符号化データに予め挿入されている同期コ
ードを再生時に参照することによって、画像と音声との
同期再生を行っている。ここで、同期コードは、符号デ
ータ中に細かく挿入されており、同期制御を行う同期制
御部をソフトウェアで構成する場合には、処理が繁雑と
なり、演算処理装置における演算負荷が大きいという問
題点がある。
【０００６】また、上記問題を解決しようと、同期コー
ドを参照して同期制御する専用の制御回路を設ける場合
には、回路が複雑でかつ規模が大ききなるという問題点
がある。
ドを参照して同期制御する専用の制御回路を設ける場合
には、回路が複雑でかつ規模が大ききなるという問題点
がある。
【０００７】本発明は、繁雑な演算処理または大規模な
制御回路を必要とする同期コードを用いる同期制御を行
うことなく、画像と音声とを同期させて再生することが
できる画像音声の同期再生方式を提供することを目的と
する。
制御回路を必要とする同期コードを用いる同期制御を行
うことなく、画像と音声とを同期させて再生することが
できる画像音声の同期再生方式を提供することを目的と
する。
【０００８】
【課題を解決するための手段】本発明によれば、ディジ
タル符号化された画像データ及び音声データが多重化さ
れた符号化データから、前記画像データと前記音声デー
タとを分離抽出し、該画像データと該音声データとを同
期させて復号再生する画像音声の同期再生方法におい
て、前記画像データ及び前記音声データのうち少なくと
も前記音声データに関して、データを蓄積手段に蓄積す
るとともに、該蓄積手段から前記データを順次読み出し
て復号を行いつつ、前記蓄積手段の蓄積量を監視して該
蓄積量が所定の範囲内に納まるように復号すべきデータ
の読み飛ばし及び復号処理の繰り返しを行うようにした
ことを特徴とする画像音声の同期再生方法が得られる。
タル符号化された画像データ及び音声データが多重化さ
れた符号化データから、前記画像データと前記音声デー
タとを分離抽出し、該画像データと該音声データとを同
期させて復号再生する画像音声の同期再生方法におい
て、前記画像データ及び前記音声データのうち少なくと
も前記音声データに関して、データを蓄積手段に蓄積す
るとともに、該蓄積手段から前記データを順次読み出し
て復号を行いつつ、前記蓄積手段の蓄積量を監視して該
蓄積量が所定の範囲内に納まるように復号すべきデータ
の読み飛ばし及び復号処理の繰り返しを行うようにした
ことを特徴とする画像音声の同期再生方法が得られる。
【０００９】ここで、前記データの読み飛ばし及び復号
処理の繰り返しは、前記蓄積手段への書き込み及び読み
出しの際の１単位分のデータを１単位として行うことが
できる。また、前記所定の範囲は、符号化側で前記符号
化データに含ませた設定値によって決定することができ
る。
処理の繰り返しは、前記蓄積手段への書き込み及び読み
出しの際の１単位分のデータを１単位として行うことが
できる。また、前記所定の範囲は、符号化側で前記符号
化データに含ませた設定値によって決定することができ
る。
【００１０】また、本発明によれば、ディジタル符号化
された画像データ及び音声データが多重化された符号化
データから、前記画像データと前記音声データとを分離
抽出し、該画像データと該音声データとを同期させて復
号再生する画像音声の同期再生装置において、前記画像
データと前記音声データとをそれぞれ蓄積する蓄積手段
と、該蓄積手段から前記画像データと前記音声データを
それぞれ読み出して復号処理を行う復号手段と、前記蓄
積手段のデータ蓄積量をそれぞれ監視する監視手段と、
該監視手段からの監視結果に基づいて前記復号手段をそ
れぞれ制御して前記蓄積手段に蓄積されるデータの蓄積
量が所定範囲内に納まるようにする蓄積量制御手段とを
有することを特徴とする画像音声の同期再生装置が得ら
れる。
された画像データ及び音声データが多重化された符号化
データから、前記画像データと前記音声データとを分離
抽出し、該画像データと該音声データとを同期させて復
号再生する画像音声の同期再生装置において、前記画像
データと前記音声データとをそれぞれ蓄積する蓄積手段
と、該蓄積手段から前記画像データと前記音声データを
それぞれ読み出して復号処理を行う復号手段と、前記蓄
積手段のデータ蓄積量をそれぞれ監視する監視手段と、
該監視手段からの監視結果に基づいて前記復号手段をそ
れぞれ制御して前記蓄積手段に蓄積されるデータの蓄積
量が所定範囲内に納まるようにする蓄積量制御手段とを
有することを特徴とする画像音声の同期再生装置が得ら
れる。
【００１１】具体的には、蓄積量制御手段は、前記蓄積
手段のデータ蓄積量が前記所定の範囲を越えたときにデ
ータの読み飛ばしを行い、前記データ蓄積量が前記所定
範囲を下回った場合に読み込んだデータの復号処理を繰
り返すように、前記復号手段を制御する。
手段のデータ蓄積量が前記所定の範囲を越えたときにデ
ータの読み飛ばしを行い、前記データ蓄積量が前記所定
範囲を下回った場合に読み込んだデータの復号処理を繰
り返すように、前記復号手段を制御する。
【００１２】また、前記監視手段は、前記蓄積手段の書
き込み側ポインタと読み出し側ポインタとがそれぞれ示
す書き込みアドレスと読み出しアドレスとの差を求める
減算手段と、前記所定範囲を示す設定値を記憶する記憶
手段と、前記減算手段の減算結果と前記記憶手段の記憶
内容とを比較し、前記蓄積量制御手段に割り込みを発生
する比較手段とを有している。
き込み側ポインタと読み出し側ポインタとがそれぞれ示
す書き込みアドレスと読み出しアドレスとの差を求める
減算手段と、前記所定範囲を示す設定値を記憶する記憶
手段と、前記減算手段の減算結果と前記記憶手段の記憶
内容とを比較し、前記蓄積量制御手段に割り込みを発生
する比較手段とを有している。
【００１３】ここで、前記データの読み飛ばし及び復号
処理の繰り返しは、前記蓄積手段への書き込み及び読み
出しの際の１単位分のデータに対して行うようにするこ
とができる。
処理の繰り返しは、前記蓄積手段への書き込み及び読み
出しの際の１単位分のデータに対して行うようにするこ
とができる。
【００１４】また、前記監視手段及び前記蓄積量制御手
段のうち、前記画像データに対応する前記監視手段及び
前記蓄積量制御手段に代えて、前記符号データから復号
クロック情報を検出して復号クロックを生成し、前記復
号手段のうちの前記画像データに対応する復号手段に前
記復号クロックを供給するクロックリカバリ手段を設け
ることもできる。
段のうち、前記画像データに対応する前記監視手段及び
前記蓄積量制御手段に代えて、前記符号データから復号
クロック情報を検出して復号クロックを生成し、前記復
号手段のうちの前記画像データに対応する復号手段に前
記復号クロックを供給するクロックリカバリ手段を設け
ることもできる。
【００１５】
【作用】符号化データ蓄積部には、多重化データ分離部
から一定の入力レートで符号化データが入力され蓄積さ
れる。一旦、蓄積された符号化データは、復号部に読み
出され、復号処理される。復号処理において先行や遅延
が無ければ、符号化データ蓄積部における出力レートは
入力レートに等しくなり、データ蓄積量は変化しない。
したがって、データ蓄積量が一定になるように復号部を
制御すれば、同期コードを参照すること無く、同期再生
を実行できる。
から一定の入力レートで符号化データが入力され蓄積さ
れる。一旦、蓄積された符号化データは、復号部に読み
出され、復号処理される。復号処理において先行や遅延
が無ければ、符号化データ蓄積部における出力レートは
入力レートに等しくなり、データ蓄積量は変化しない。
したがって、データ蓄積量が一定になるように復号部を
制御すれば、同期コードを参照すること無く、同期再生
を実行できる。
【００１６】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図１に本発明の画像音声の
同期再生方式の第１の実施の形態を示す。図１に示す画
像音声の同期再生方式は、多重データ分離部１１、符号
化データ蓄積部１２、符号化データ蓄積量監視部１３、
符号化データ蓄積量制御部１４、及び復号部１５を有し
ている。なお、図１には、符号化データ蓄積部１２、符
号化データ蓄積量監視部１３、符号化データ蓄積量制御
部１４、及び復号部１５が、１個づつしか示されていな
いが、実際には、画像と音声に対応するように、２個づ
つ設けられている。
施の形態について説明する。図１に本発明の画像音声の
同期再生方式の第１の実施の形態を示す。図１に示す画
像音声の同期再生方式は、多重データ分離部１１、符号
化データ蓄積部１２、符号化データ蓄積量監視部１３、
符号化データ蓄積量制御部１４、及び復号部１５を有し
ている。なお、図１には、符号化データ蓄積部１２、符
号化データ蓄積量監視部１３、符号化データ蓄積量制御
部１４、及び復号部１５が、１個づつしか示されていな
いが、実際には、画像と音声に対応するように、２個づ
つ設けられている。
【００１７】画像信号及び音声信号を符号化し、得られ
た符号化データを多重した多重化データは、入力端子Ｉ
Ｎを介し、一定のレートで多重化データ分離部１１に入
力される。多重化データ分離部１１は、入力された多重
化データを画像符号化データ及び音声符号化データに分
離する。分離された画像符号化データ及び音声符号化デ
ータは、それぞれ符号化データ蓄積部１２に蓄積され
る。蓄積された符号化データは、復号部５によって読み
出され、復号処理され、出力端子ＯＵＴへ出力される。
た符号化データを多重した多重化データは、入力端子Ｉ
Ｎを介し、一定のレートで多重化データ分離部１１に入
力される。多重化データ分離部１１は、入力された多重
化データを画像符号化データ及び音声符号化データに分
離する。分離された画像符号化データ及び音声符号化デ
ータは、それぞれ符号化データ蓄積部１２に蓄積され
る。蓄積された符号化データは、復号部５によって読み
出され、復号処理され、出力端子ＯＵＴへ出力される。
【００１８】ここで、画像と音声との同期が時間経過と
共に徐々にずれていく現象について考える。画像と音声
との間で同期がずれるのは、一方の復号処理が他方の復
号処理に比べて先行したり遅延したりするために発生す
る。この現象は、画像及び音声のそれぞれについて、符
号化データ蓄積部１２に対する符号化データの入力レー
トと出力レートとの間に差が生じるために発生すると考
えることも事実上問題ない。つまり、画像及び音声のそ
れぞれについて、符号化データ蓄積部１２に対する符号
化データの入力レートと、出力レートとが完全に等しけ
れば同期外れが発生するようなことはない。
共に徐々にずれていく現象について考える。画像と音声
との間で同期がずれるのは、一方の復号処理が他方の復
号処理に比べて先行したり遅延したりするために発生す
る。この現象は、画像及び音声のそれぞれについて、符
号化データ蓄積部１２に対する符号化データの入力レー
トと出力レートとの間に差が生じるために発生すると考
えることも事実上問題ない。つまり、画像及び音声のそ
れぞれについて、符号化データ蓄積部１２に対する符号
化データの入力レートと、出力レートとが完全に等しけ
れば同期外れが発生するようなことはない。
【００１９】そこで、符号化データ蓄積部１２のデータ
の蓄積量に着目する。符号化データ蓄積部１２に対する
符号化データの入力レートと、出力レートとが等しけれ
ばそん符号化データ蓄積量は変化しない。また、入力レ
ートよりも出力レートが大きければ蓄積量は減少し、入
力レートよりも出力レートが小さければ蓄積量は増加す
る。したがって、符号化データ蓄積部１２に対する入力
レートが一定であれば、符号化データ蓄積部１２のデー
タ蓄積量の変化を検出することにより、出力レートの変
化、即ち、復号部１５の処理の先行／遅延を知ることが
できる。
の蓄積量に着目する。符号化データ蓄積部１２に対する
符号化データの入力レートと、出力レートとが等しけれ
ばそん符号化データ蓄積量は変化しない。また、入力レ
ートよりも出力レートが大きければ蓄積量は減少し、入
力レートよりも出力レートが小さければ蓄積量は増加す
る。したがって、符号化データ蓄積部１２に対する入力
レートが一定であれば、符号化データ蓄積部１２のデー
タ蓄積量の変化を検出することにより、出力レートの変
化、即ち、復号部１５の処理の先行／遅延を知ることが
できる。
【００２０】この画像音声の同期再生方式では、符号化
側において、符号化データ蓄積部１２に入力される画像
及び音声の符号化データの入力レートが各々一定となる
ように多重化しておく。このとき、多重化信号には、復
号部１５における処理の先行及び遅延の許容値を示す信
号、すなわち、符号化データ蓄積部１２の蓄積量許容値
を表わす信号も含ませておく。
側において、符号化データ蓄積部１２に入力される画像
及び音声の符号化データの入力レートが各々一定となる
ように多重化しておく。このとき、多重化信号には、復
号部１５における処理の先行及び遅延の許容値を示す信
号、すなわち、符号化データ蓄積部１２の蓄積量許容値
を表わす信号も含ませておく。
【００２１】符号化データ蓄積量監視部１３には、多重
化データ分離部１１において分離された蓄積量許容値を
表わす信号が入力される。そして、符号化データ蓄積量
監視部１３は、符号化データ蓄積部１２に蓄積された符
号化データの蓄積量を監視し、この蓄積量が蓄積量許容
値を越えた場合、あるいは０となった場合に、符号化デ
ータ蓄積量制御部１４にそのことを通知する。
化データ分離部１１において分離された蓄積量許容値を
表わす信号が入力される。そして、符号化データ蓄積量
監視部１３は、符号化データ蓄積部１２に蓄積された符
号化データの蓄積量を監視し、この蓄積量が蓄積量許容
値を越えた場合、あるいは０となった場合に、符号化デ
ータ蓄積量制御部１４にそのことを通知する。
【００２２】以下、符号化データ蓄積量監視部１３の動
作を詳述する。まず、符号化データ蓄積部１２が、図２
に示すメモリ容量（点ａ＝０）を有しており、多重化デ
ータ分離部１１からの信号により蓄積量許容値が点ｂで
あると定められたとする。そして、符号化データ蓄積部
１２の符号化データ蓄積量がａ点とｂ点との中間に達し
たときに復号化処理が開始されたとする。このとき、符
号化データ蓄積部１２に対する符号化データの入力レー
トと出力レートとが完全に等しい、即ち、復号処理に先
行や遅延が無ければ、符号化データ蓄積部１２の符号化
データ蓄積量は変化しない。実際には、入力レートと出
力レートとが完全に一致することはほとんどなく、符号
化データ蓄積部１２の符号化データ蓄積量（点ｃで示
す）は点ａと点ｂとの間で遷移する。
作を詳述する。まず、符号化データ蓄積部１２が、図２
に示すメモリ容量（点ａ＝０）を有しており、多重化デ
ータ分離部１１からの信号により蓄積量許容値が点ｂで
あると定められたとする。そして、符号化データ蓄積部
１２の符号化データ蓄積量がａ点とｂ点との中間に達し
たときに復号化処理が開始されたとする。このとき、符
号化データ蓄積部１２に対する符号化データの入力レー
トと出力レートとが完全に等しい、即ち、復号処理に先
行や遅延が無ければ、符号化データ蓄積部１２の符号化
データ蓄積量は変化しない。実際には、入力レートと出
力レートとが完全に一致することはほとんどなく、符号
化データ蓄積部１２の符号化データ蓄積量（点ｃで示
す）は点ａと点ｂとの間で遷移する。
【００２３】ところが、符号化データ蓄積部１２に対す
る符号化データの入力レートに比べ出力レートが遅い場
合、すなわち、復号部１５での復号処理が遅い場合は、
符号化データ蓄積部１２の符号化データ蓄積量が徐々に
増加し、やがて点ｂ越えてしまう。逆に、符号化データ
蓄積部１２に対する符号化データの入力レートに比べ出
力レートが速い場合、すなわち、復号部１５での復号処
理が速い場合には、符号化データ蓄積部１２の符号化デ
ータ蓄積量が徐々に減少し、やがて点ａに達する（符号
化データ蓄積量が０（空）になる）。
る符号化データの入力レートに比べ出力レートが遅い場
合、すなわち、復号部１５での復号処理が遅い場合は、
符号化データ蓄積部１２の符号化データ蓄積量が徐々に
増加し、やがて点ｂ越えてしまう。逆に、符号化データ
蓄積部１２に対する符号化データの入力レートに比べ出
力レートが速い場合、すなわち、復号部１５での復号処
理が速い場合には、符号化データ蓄積部１２の符号化デ
ータ蓄積量が徐々に減少し、やがて点ａに達する（符号
化データ蓄積量が０（空）になる）。
【００２４】符号化データ蓄積量監視部１３は、図３に
示すように、点ｃで表わされる符号化データ蓄積量が徐
々に増加して、点ｂ越えたときに、そのことを符号化デ
ータ蓄積量制御部１４に通知する。通知を受けた符号化
データ蓄積量制御部１４は、１アクセス単位（ＡＵ）分
の符号化データを飛ばして次の符号化データを読み込む
よう復号部１５を制御する。この制御により、符号化デ
ータ蓄積部１２の符号化データ蓄積量（点ｃ）は、図４
に示すように蓄積量許容範囲（点ａと点ｂとの間）に戻
る。
示すように、点ｃで表わされる符号化データ蓄積量が徐
々に増加して、点ｂ越えたときに、そのことを符号化デ
ータ蓄積量制御部１４に通知する。通知を受けた符号化
データ蓄積量制御部１４は、１アクセス単位（ＡＵ）分
の符号化データを飛ばして次の符号化データを読み込む
よう復号部１５を制御する。この制御により、符号化デ
ータ蓄積部１２の符号化データ蓄積量（点ｃ）は、図４
に示すように蓄積量許容範囲（点ａと点ｂとの間）に戻
る。
【００２５】また、符号化データ蓄積量監視部１３は、
図５に示すように、点ｃで表わされる符号化データ蓄積
量が徐々に減少して、点ａに達したときに、そのことを
符号化データ蓄積量制御部１４に通知する。通知を受け
た符号化データ蓄積量制御部１４は、図６に示すよう
に、先に読み込んだ１アクセス単位（ＡＵ）分の符号化
データを再び読み込むよう復号部１５を制御する。
図５に示すように、点ｃで表わされる符号化データ蓄積
量が徐々に減少して、点ａに達したときに、そのことを
符号化データ蓄積量制御部１４に通知する。通知を受け
た符号化データ蓄積量制御部１４は、図６に示すよう
に、先に読み込んだ１アクセス単位（ＡＵ）分の符号化
データを再び読み込むよう復号部１５を制御する。
【００２６】上述したように、本実施の形態の画像音声
の同期再生方式では、入力される符号化信号の入力レー
トを基準として、復号処理の速度を検出し、先行してい
るばあには同じ符号化データを再度復号処理し、遅延し
ている場合には復号処理を行わずに符号化データを破棄
するようにしたことで、実質的に一定の速度で復号処理
を行うことができるので、同期コードを利用すること無
く画像と音声との同期を取ることができる。
の同期再生方式では、入力される符号化信号の入力レー
トを基準として、復号処理の速度を検出し、先行してい
るばあには同じ符号化データを再度復号処理し、遅延し
ている場合には復号処理を行わずに符号化データを破棄
するようにしたことで、実質的に一定の速度で復号処理
を行うことができるので、同期コードを利用すること無
く画像と音声との同期を取ることができる。
【００２７】次に図７を参照して本発明の第２の実施の
形態について説明する。図７の画像音声の同期再生方式
は、多重化データ分離部７１、音声符号化データ蓄積部
７２、音声符号化データ蓄積量参照回路７３、演算処理
部（ＣＰＵ）７４、音声復号部７５、画像符号化データ
蓄積部７６、クロックリカバリ部７７、及び画像復号部
７８を有している。
形態について説明する。図７の画像音声の同期再生方式
は、多重化データ分離部７１、音声符号化データ蓄積部
７２、音声符号化データ蓄積量参照回路７３、演算処理
部（ＣＰＵ）７４、音声復号部７５、画像符号化データ
蓄積部７６、クロックリカバリ部７７、及び画像復号部
７８を有している。
【００２８】画像の符号化データと音声の符号化データ
とが多重化された多重化データは、入力端子ＩＮを介し
て、一定のレートで多重化データ分離部７１に入力され
る。多重化データ分離部７１では、入力された多重化デ
ータを画像符号化データと音声符号化データとに分離す
る。分離された符号化データはそれぞれ音声符号化デー
タ蓄積部７２と画像符号化データ蓄積部７６とに入力さ
れ蓄積される。音声符号化データ蓄積部７２に蓄積され
た音声符号化データは、音声復号部７５に読み出され、
復号処理されて音声復号化データ出力端子ＡＯＵＴへ出
力される。また、画像符号化データ蓄積部７６に蓄積さ
れた画像符号化データは、画像復号部７８に読み出さ
れ、復号処理されて画像符号化データ出力端子ＶＯＵＴ
へ出力される。
とが多重化された多重化データは、入力端子ＩＮを介し
て、一定のレートで多重化データ分離部７１に入力され
る。多重化データ分離部７１では、入力された多重化デ
ータを画像符号化データと音声符号化データとに分離す
る。分離された符号化データはそれぞれ音声符号化デー
タ蓄積部７２と画像符号化データ蓄積部７６とに入力さ
れ蓄積される。音声符号化データ蓄積部７２に蓄積され
た音声符号化データは、音声復号部７５に読み出され、
復号処理されて音声復号化データ出力端子ＡＯＵＴへ出
力される。また、画像符号化データ蓄積部７６に蓄積さ
れた画像符号化データは、画像復号部７８に読み出さ
れ、復号処理されて画像符号化データ出力端子ＶＯＵＴ
へ出力される。
【００２９】本実施の形態においても、第１の実施の形
態と同様に、音声符号化データ蓄積部７２の音声符号化
データ蓄積量が所定の範囲内に収まるように、音声復号
部７５を制御する。この制御については後述する。これ
に対して、画像符号化データについては、このような制
御は行わない。これは、この画像音声の同期再生方式
が、入力される多重化データとして、動画像符号化方式
の国際標準委員会（ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２
９／ＷＧ１１）にて標準化されている圧縮符号化方式に
よる多重化データを想定しているからである。つまり、
このような多重化データには、符号化側において音声符
号化データと画像符号化データとを多重する際に、画像
復号クロックの補正データが挿入されるので、この補正
データを用いて、符号化側と同一のクロック（画像復号
クロック）を生成することができるからである。図７の
画像音声の同期再生方式では、クロックリカバリ部７７
が、多重化データから分離された画像復号クロックの補
正データに基づいて画像復号クロックを生成する。この
画像復号クロックは、符号化側のクロックと完全に一致
している。画像復号部７８は、この画像復号クロックに
同期して画像符号化データの復号処理を行う。これによ
り、画像符号化データ蓄積部７６の入力レートと出力レ
ートとは一致する。
態と同様に、音声符号化データ蓄積部７２の音声符号化
データ蓄積量が所定の範囲内に収まるように、音声復号
部７５を制御する。この制御については後述する。これ
に対して、画像符号化データについては、このような制
御は行わない。これは、この画像音声の同期再生方式
が、入力される多重化データとして、動画像符号化方式
の国際標準委員会（ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２
９／ＷＧ１１）にて標準化されている圧縮符号化方式に
よる多重化データを想定しているからである。つまり、
このような多重化データには、符号化側において音声符
号化データと画像符号化データとを多重する際に、画像
復号クロックの補正データが挿入されるので、この補正
データを用いて、符号化側と同一のクロック（画像復号
クロック）を生成することができるからである。図７の
画像音声の同期再生方式では、クロックリカバリ部７７
が、多重化データから分離された画像復号クロックの補
正データに基づいて画像復号クロックを生成する。この
画像復号クロックは、符号化側のクロックと完全に一致
している。画像復号部７８は、この画像復号クロックに
同期して画像符号化データの復号処理を行う。これによ
り、画像符号化データ蓄積部７６の入力レートと出力レ
ートとは一致する。
【００３０】次に、音声符号化データの復号処理につい
て説明する。音声符号化データ蓄積量監視部７３は、図
８に示すように、減算器８１、蓄積量許容値格納部８
２、及び比較部８３を有している。そして、減算器８１
により音声符号化データ蓄積部７２のライントポインタ
（Write Pointer ）とリードポインタ（Read Pointer）
とが示すライトアドレスとリードアドレスとの差を求め
る。この差は、音声符号化データ蓄積部７２のデータの
蓄積量を表わしている。また、蓄積量許容値格納部８２
には、多重化データから分離された蓄積量許容値が格納
されている。比較部８３は、減算器８１からの減算結果
と、蓄積量許容値格納部８２に格納された蓄積量許容値
と比較し、音声符号化データ蓄積部７２のデータ蓄積量
が蓄積量許容範囲内に有るか否か判定する。そして、音
声符号化データ蓄積部７２のデータ蓄積量が、蓄積量許
容範囲内にない場合にＣＰＵ７４に対して割り込みを発
生する。即ち、比較部８３は、音声符号化データ蓄積部
７２のデータ蓄積量が、蓄積量許容値を越えた場合及び
データ蓄積量が０になった場合に、割り込みを発生す
る。
て説明する。音声符号化データ蓄積量監視部７３は、図
８に示すように、減算器８１、蓄積量許容値格納部８
２、及び比較部８３を有している。そして、減算器８１
により音声符号化データ蓄積部７２のライントポインタ
（Write Pointer ）とリードポインタ（Read Pointer）
とが示すライトアドレスとリードアドレスとの差を求め
る。この差は、音声符号化データ蓄積部７２のデータの
蓄積量を表わしている。また、蓄積量許容値格納部８２
には、多重化データから分離された蓄積量許容値が格納
されている。比較部８３は、減算器８１からの減算結果
と、蓄積量許容値格納部８２に格納された蓄積量許容値
と比較し、音声符号化データ蓄積部７２のデータ蓄積量
が蓄積量許容範囲内に有るか否か判定する。そして、音
声符号化データ蓄積部７２のデータ蓄積量が、蓄積量許
容範囲内にない場合にＣＰＵ７４に対して割り込みを発
生する。即ち、比較部８３は、音声符号化データ蓄積部
７２のデータ蓄積量が、蓄積量許容値を越えた場合及び
データ蓄積量が０になった場合に、割り込みを発生す
る。
【００３１】ＣＰＵ７４は、割り込みを受けとると、音
声復号部７５に対して、音声符号化データの１ＡＵ分の
読み飛ばし、または、繰り返し読み込みを指示し、音声
符号化データ蓄積部７２のデータ蓄積量が、蓄積量許容
範囲内に収まるように制御する。
声復号部７５に対して、音声符号化データの１ＡＵ分の
読み飛ばし、または、繰り返し読み込みを指示し、音声
符号化データ蓄積部７２のデータ蓄積量が、蓄積量許容
範囲内に収まるように制御する。
【００３２】なお、前述した委員会によって標準化され
た音声の圧縮符号化方式では、１ＡＵは、レイヤIIにお
いて、サンプリングにより得られる１１５２サンプル分
と規定されている。例えば、サンプリングレートが４８
ｋＨｚの場合で約２４ms分、４４．１ｋＨｚの場合で約
２６ms分、３２ｋＨｚの場合で約３６ms分である。
た音声の圧縮符号化方式では、１ＡＵは、レイヤIIにお
いて、サンプリングにより得られる１１５２サンプル分
と規定されている。例えば、サンプリングレートが４８
ｋＨｚの場合で約２４ms分、４４．１ｋＨｚの場合で約
２６ms分、３２ｋＨｚの場合で約３６ms分である。
【００３３】本実施の形態による画像音声の同期再生方
式では、上述したように、画像符号化データ蓄積部にお
いて画像符号化データの入力レートと出力レートとの間
に差が生じるようなことはない。従って、画像と音声と
のずれは、音声側の先行／遅延のみによって生じる。
式では、上述したように、画像符号化データ蓄積部にお
いて画像符号化データの入力レートと出力レートとの間
に差が生じるようなことはない。従って、画像と音声と
のずれは、音声側の先行／遅延のみによって生じる。
【００３４】画像に対して音声の遅延が最大となるの
は、音声符号化データ蓄積部７２のデータ蓄積量が蓄積
量許容値に等しくなった場合（図２における点ｃが点ｂ
に一致したとき）である。また、画像に対して音声の先
行が最大となるのは、音声符号化データ蓄積部７３のデ
ータ蓄積量が０になった場合（図２における点ｃが点ａ
に一致したとき）である。
は、音声符号化データ蓄積部７２のデータ蓄積量が蓄積
量許容値に等しくなった場合（図２における点ｃが点ｂ
に一致したとき）である。また、画像に対して音声の先
行が最大となるのは、音声符号化データ蓄積部７３のデ
ータ蓄積量が０になった場合（図２における点ｃが点ａ
に一致したとき）である。
【００３５】例えば、符号側において設定された音声符
号化データ蓄積部７２の蓄積量許容値が４ｋbyteであっ
て、音声符号化データ蓄積部７２の入力レートと出力レ
ートとが等しいときの音声符号化データ蓄積部７２の蓄
積量を２ｋbyteであるとすると、圧縮レートが１９２ｋ
bps 、２５６ｋbps 、３８２ｋbps である場合の、先行
／遅延時間Ｌ192 、Ｌ256 、Ｌ382 は、それぞれ、Ｌ
192 ＝（２×１０２４×８）／（１９２×１０００）＝
８５［ms］，Ｌ256 ＝（２×１０２４×８）／（２５６
×１０００）＝６４［ms］，及びＬ382 ＝（２×１０２
４×８）／（３８２×１０００）＝４３［ms］、とな
り、画像フレームの２〜３フレーム程度以内に納まる。
即ち、視聴者に対して画像と音声との間にずれが生じて
いることを認識させることのない範囲内とすることがで
きる。
号化データ蓄積部７２の蓄積量許容値が４ｋbyteであっ
て、音声符号化データ蓄積部７２の入力レートと出力レ
ートとが等しいときの音声符号化データ蓄積部７２の蓄
積量を２ｋbyteであるとすると、圧縮レートが１９２ｋ
bps 、２５６ｋbps 、３８２ｋbps である場合の、先行
／遅延時間Ｌ192 、Ｌ256 、Ｌ382 は、それぞれ、Ｌ
192 ＝（２×１０２４×８）／（１９２×１０００）＝
８５［ms］，Ｌ256 ＝（２×１０２４×８）／（２５６
×１０００）＝６４［ms］，及びＬ382 ＝（２×１０２
４×８）／（３８２×１０００）＝４３［ms］、とな
り、画像フレームの２〜３フレーム程度以内に納まる。
即ち、視聴者に対して画像と音声との間にずれが生じて
いることを認識させることのない範囲内とすることがで
きる。
【００３６】
【発明の効果】本発明によれば、符号化データ蓄積部の
データ蓄積量を監視し、そのデータ蓄積量が所定の範囲
内となるように復号部においてデータの読み飛ばしや復
号処理の繰り返しを行うようにしたことで、同期コード
を参照して同期制御を行うためのソフトウェアによる繁
雑な処理や、大規模な同期制御回路を要することなく、
同期ずれが最大で２〜３フレーム内に抑えられた、同期
再生を行うことができる。
データ蓄積量を監視し、そのデータ蓄積量が所定の範囲
内となるように復号部においてデータの読み飛ばしや復
号処理の繰り返しを行うようにしたことで、同期コード
を参照して同期制御を行うためのソフトウェアによる繁
雑な処理や、大規模な同期制御回路を要することなく、
同期ずれが最大で２〜３フレーム内に抑えられた、同期
再生を行うことができる。
【００３７】また、データ蓄積量を所定の範囲内とする
ために、符号化データ蓄積量監視部からの割り込み処理
を利用するようにしたことで、演算処理部における同期
制御処理を簡略化できる。
ために、符号化データ蓄積量監視部からの割り込み処理
を利用するようにしたことで、演算処理部における同期
制御処理を簡略化できる。
【００３８】さらに、符号化データ蓄積量監視部は、符
号化データ蓄積部のライトポインタとリードポインタと
が指し示すアドレスから符号化データの蓄積量を求める
ようにしたことで、減算器等の単純な回路で構成でき
る。
号化データ蓄積部のライトポインタとリードポインタと
が指し示すアドレスから符号化データの蓄積量を求める
ようにしたことで、減算器等の単純な回路で構成でき
る。
【図１】本発明の画像音声の同期再生装置の第１の実施
の形態を示すブロック図である。
の形態を示すブロック図である。
【図２】図１の符号化データ蓄積部の記憶容量とデータ
蓄積量との関係を説明するための図である。
蓄積量との関係を説明するための図である。
【図３】復号部において遅延が生じた場合の符号化デー
タ蓄積部の記憶容量とデータ蓄積量との関係を示す図で
ある。
タ蓄積部の記憶容量とデータ蓄積量との関係を示す図で
ある。
【図４】図３の状態における符号化データ蓄積量制御部
及び復号部の動作を説明するための図である。
及び復号部の動作を説明するための図である。
【図５】復号部において先行が生じた場合の符号化デー
タ蓄積部の記憶容量とデータ蓄積量との関係を示す図で
ある。
タ蓄積部の記憶容量とデータ蓄積量との関係を示す図で
ある。
【図６】図５の状態における符号化データ蓄積量制御部
及び復号部の動作を説明するための図である。
及び復号部の動作を説明するための図である。
【図７】本発明の画像音声の同期再生装置の第２の実施
の形態を示すブロック図である。
の形態を示すブロック図である。
【図８】図７の音声符号化データ蓄積量監視部の構成を
示すブロック図である。
示すブロック図である。
１１ 多重化データ分離部 １２ 符号化データ蓄積部 １３ 符号化データ蓄積量監視部 １４ 符号化データ蓄積量制御部 １５ 復号部 ７１ 多重化データ分離部 ７２ 音声符号化データ蓄積部 ７３ 音声符号化データ蓄積量参照回路 ７４ 演算処理部（ＣＰＵ） ７５ 音声復号部 ７６ 画像符号化データ蓄積部 ７７ クロックリカバリ部 ７８ 画像復号部
Claims (8)
- 【請求項１】 ディジタル符号化された画像データ及び
音声データが多重化された符号化データから、前記画像
データと前記音声データとを分離抽出し、該画像データ
と該音声データとを同期させて復号再生する画像音声の
同期再生方法において、前記画像データ及び前記音声デ
ータのうち少なくとも前記音声データに関して、データ
を蓄積手段に蓄積するとともに、該蓄積手段から前記デ
ータを順次読み出して復号を行いつつ、前記蓄積手段の
蓄積量を監視して該蓄積量が所定の範囲内に納まるよう
に復号すべきデータの読み飛ばし及び復号処理の繰り返
しを行うようにしたことを特徴とする画像音声の同期再
生方法。 - 【請求項２】 前記データの読み飛ばし及び復号処理の
繰り返しが、前記蓄積手段への書き込み及び読み出しの
際の１単位分のデータを単位として行われることを特徴
とする請求項１の画像音声の同期再生方法。 - 【請求項３】 前記所定の範囲は、符号化側で前記符号
化データに含ませた設定値によって決定するようにした
ことを特徴とする請求項１または２の画像音声の同期再
生方法。 - 【請求項４】 ディジタル符号化された画像データ及び
音声データが多重化された符号化データから、前記画像
データと前記音声データとを分離抽出し、該画像データ
と該音声データとを同期させて復号再生する画像音声の
同期再生装置において、前記画像データと前記音声デー
タとをそれぞれ蓄積する蓄積手段と、該蓄積手段から前
記画像データと前記音声データをそれぞれ読み出して復
号処理を行う復号手段と、前記蓄積手段のデータ蓄積量
をそれぞれ監視する監視手段と、該監視手段からの監視
結果に基づいて前記復号手段をそれぞれ制御して前記蓄
積手段に蓄積されるデータの蓄積量が所定範囲内に納ま
るようにする蓄積量制御手段とを有することを特徴とす
る画像音声の同期再生装置。 - 【請求項５】 蓄積量制御手段が、前記蓄積手段のデー
タ蓄積量が前記所定の範囲を越えたときにデータの読み
飛ばしを行い、前記データ蓄積量が前記所定範囲を下回
った場合に読み込んだデータの復号処理を繰り返すよう
に、前記復号手段を制御するようにしたことを特徴とす
る請求項４の画像音声の同期再生装置。 - 【請求項６】 前記データの読み飛ばし及び復号処理の
繰り返しが、前記蓄積手段への書き込み及び読み出しの
際の１単位分のデータを単位として行われることを特徴
とする請求項５の画像音声の同期再生装置。 - 【請求項７】 前記監視手段が、前記蓄積手段の書き込
み側ポインタと読み出し側ポインタとがそれぞれ示す書
き込みアドレスと読み出しアドレスとの差を求める減算
手段と、前記所定範囲を示す設定値を記憶する記憶手段
と、前記減算手段の減算結果と前記記憶手段の記憶内容
とを比較し、前記蓄積量制御手段に割り込みを発生する
比較手段とを有することを特徴とする請求項４、５、ま
たは６の画像音声の同期再生装置。 - 【請求項８】 前記監視手段及び前記蓄積量制御手段の
うち、前記画像データに対応する前記監視手段及び前記
蓄積量制御手段に代えて、前記符号データから復号クロ
ック情報を検出して復号クロックを生成し、前記復号手
段のうちの前記画像データに対応する復号手段に前記復
号クロックを供給するクロックリカバリ手段を設けたこ
とを特徴とする請求項４、５、６、又は７の画像音声の
同期再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33709695A JP2998786B2 (ja) | 1995-12-25 | 1995-12-25 | 画像音声の同期再生方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33709695A JP2998786B2 (ja) | 1995-12-25 | 1995-12-25 | 画像音声の同期再生方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09181695A true JPH09181695A (ja) | 1997-07-11 |
| JP2998786B2 JP2998786B2 (ja) | 2000-01-11 |
Family
ID=18305403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33709695A Expired - Fee Related JP2998786B2 (ja) | 1995-12-25 | 1995-12-25 | 画像音声の同期再生方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2998786B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7505912B2 (en) | 2002-09-30 | 2009-03-17 | Sanyo Electric Co., Ltd. | Network telephone set and audio decoding device |
-
1995
- 1995-12-25 JP JP33709695A patent/JP2998786B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7505912B2 (en) | 2002-09-30 | 2009-03-17 | Sanyo Electric Co., Ltd. | Network telephone set and audio decoding device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2998786B2 (ja) | 2000-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3106987B2 (ja) | オーディオ・ビデオ同期再生装置 | |
| KR100290331B1 (ko) | 오디오-비디오 신호의 동기 재생 장치 | |
| US6504994B2 (en) | Data reproduction apparatus and data storage medium | |
| JP3248380B2 (ja) | データ復号化装置およびデータ復号化方法 | |
| JP3491365B2 (ja) | 符号化データ復号方法および復号装置 | |
| EP1030306B1 (en) | Data coding/decoding method and apparatus and coded data recording medium | |
| JP3215087B2 (ja) | オーディオとビデオの同期方法及びデジタルビデオプロセッサ | |
| EP0626770B1 (en) | Data demultiplexer | |
| JP3104681B2 (ja) | オーディオ・ビデオ同期再生方法および装置 | |
| US6240137B1 (en) | Encoding apparatus and method, decoding apparatus and method, and editing method | |
| JPH10262208A (ja) | 同期ずれ制御装置及び方法 | |
| KR100992393B1 (ko) | 대화형 광디스크 장치에서의 콘텐츠 정보 재생방법 | |
| JPH08251543A (ja) | 画像及び音声情報の再生システム | |
| JPH10174059A (ja) | ディジタル信号復号方法及び装置、並びにディジタル信号再生装置 | |
| KR100428921B1 (ko) | 가변비트레이트데이터의기록장치및기록방법과,재생장치및재생방법 | |
| JPH0863890A (ja) | 多重化データの復号装置 | |
| JPH0863884A (ja) | ディジタル情報符号化・復号装置 | |
| US6157770A (en) | Moving picture data reproduction controlling system and method for reproducing moving picture data having block elements and minimum elements each with headers | |
| JPH09181695A (ja) | 画像音声の同期再生方法及び装置 | |
| JPH0898160A (ja) | データ多重化装置 | |
| JPH10164512A (ja) | データ処理同期装置 | |
| JPH09182024A (ja) | 映像データ伸長装置およびデータ伸長方法 | |
| JPH11127435A (ja) | 圧縮符号化された映像／音声信号の復号化装置 | |
| JP3582530B2 (ja) | 記録装置および方法、再生装置および方法 | |
| KR100211561B1 (ko) | 멀티미디어 시스템의 비디오 배속 재생 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19991006 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071105 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081105 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081105 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091105 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091105 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101105 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 12 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |