JPH09128894A - Synchronization device of video and voice processing device - Google Patents

Synchronization device of video and voice processing device

Info

Publication number
JPH09128894A
JPH09128894A JP7283302A JP28330295A JPH09128894A JP H09128894 A JPH09128894 A JP H09128894A JP 7283302 A JP7283302 A JP 7283302A JP 28330295 A JP28330295 A JP 28330295A JP H09128894 A JPH09128894 A JP H09128894A
Authority
JP
Japan
Prior art keywords
pts
video
audio
output
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7283302A
Other languages
Japanese (ja)
Other versions
JP3923553B2 (en
Inventor
Setsuo Terasaki
攝雄 寺崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP28330295A priority Critical patent/JP3923553B2/en
Publication of JPH09128894A publication Critical patent/JPH09128894A/en
Application granted granted Critical
Publication of JP3923553B2 publication Critical patent/JP3923553B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

PROBLEM TO BE SOLVED: To correctly synchronize the output timing of an audio signal with a video signal as much as possible with a simple circuit constitution in the case of respectively decoding and outputting a video code string and an audio code string. SOLUTION: A time stamp part processing part 28 fetches the first PTS (a presentation time stamp) to be included in the voice code string to compare the content of PTS with the count value of a time stamp counter. Then, when they coincide, the part outputs a timing control signal to a buffer part 31 so as to permit the output of an audio circuit and thereafter maintains permissions of audio outputs.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】この発明は、データ圧縮され
た映像符号列と音声符号列とが時分割で送られてくる再
生符号列を入力とする場合、前記映像符号列のデコード
出力と音声符号列のデコード出力との同期をとるように
なされた映像音声処理装置の同期装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a decoding output of a video code string and an audio code when a reproduction code string in which a data-compressed video code string and an audio code string are sent in time division The present invention relates to a synchronizing device of a video / audio processing device adapted to be synchronized with a decoded output of a column.

【0002】[0002]

【従来の技術】光学式ディスクの情報記録方式として、
データ圧縮された映像符号列と音声符号列とを時分割で
記録する方式がある。この種の光学式ディスクを再生す
る場合、ビデオデコーダとオーディオデコーダにおいて
映像符号列、音声符号列をそれぞれデコードして出力す
る場合、双方の同期を取る必要がある。
2. Description of the Related Art As an information recording system for optical discs,
There is a method of recording a data-compressed video code string and audio code string in a time division manner. When reproducing an optical disc of this type, it is necessary to synchronize both when decoding and outputting a video code string and an audio code string in a video decoder and an audio decoder.

【0003】従来の方法としては、例えば映像符号列の
同期信号にカウンタを同期させて計数を行わせ、音声符
号の各フレームに付しているフレーム番号と、前記カウ
ンタの計数値との比較を行い、その比較結果に応じて、
デコードしたオーディオ信号の出力タイミングを図って
いた。
As a conventional method, for example, a counter is synchronized with a synchronizing signal of a video code string to perform counting, and the frame number attached to each frame of the audio code is compared with the count value of the counter. Performed, and depending on the comparison result,
The output timing of the decoded audio signal was planned.

【0004】[0004]

【発明が解決しようとする課題】上記のように映像符号
列と音声符号列を入力として双方の同期をとる場合、次
のような前提条件を考慮する必要がある。同期関係を頻
繁に検出して、同期を維持する動作を行うために回路構
成が複雑になっている。また、光学式ディスクや伝送経
路から取り込んだ復調データに対しては、信号処理部に
おいてまず誤り訂正等の処理が行われる。この誤り訂正
が不可能な場合は、信号処理部からエラーフラッグが出
力され、このエラーフラッグに対応するデータは、デコ
ード処理に使用しないように処理されるのが普通であ
る。
When the video code string and the audio code string are input as described above and the two are synchronized, it is necessary to consider the following preconditions. The circuit configuration is complicated because the synchronization relationship is frequently detected and the operation for maintaining the synchronization is performed. Further, the demodulated data taken in from the optical disc or the transmission path is first subjected to processing such as error correction in the signal processing section. When this error correction is impossible, an error flag is output from the signal processing unit, and the data corresponding to this error flag is usually processed so as not to be used in the decoding process.

【0005】しかしながら、映像符号列と音声符号列を
入力とし、双方の同期関係を維持する従来の回路は、入
力データに誤りが多く発生したときの対策がなされてお
らず誤ったタイミングでオーディオ信号を出力すること
があった。また、映像と音声の同期関係が大きく誤った
ままで、次の同期が得られるまで長い時間続くことがあ
った。
However, the conventional circuit that receives the video code string and the audio code string as input and maintains the synchronization relationship between them does not take measures when many errors occur in the input data, and the audio signal is output at the wrong timing. Was sometimes output. In addition, the synchronization relationship between video and audio remains largely erroneous and may continue for a long time until the next synchronization is obtained.

【0006】そこでこの発明では、映像符号列と音声符
号列とをそれぞれデコードして出力する場合、簡単な回
路構成でオーディオ信号の出力タイミングをできるだけ
正確にビデオ信号に同期させることができるようにした
映像音声処理装置の同期装置を提供することを目的とす
る。
Therefore, in the present invention, when the video code string and the audio code string are respectively decoded and output, the output timing of the audio signal can be synchronized with the video signal as accurately as possible with a simple circuit configuration. An object is to provide a synchronizing device for a video / audio processing device.

【0007】[0007]

【課題を解決するための手段】この発明は、同期情報が
到来する毎に同期処理を行うとかえって回路が複雑にな
る等の不具合が生じるので、最初、あるいは特定の期間
のみに同期処理を行うようにしている。
According to the present invention, since the synchronization processing is performed every time the synchronization information arrives, a circuit becomes complicated and other problems occur. Therefore, the synchronization processing is performed only at the beginning or in a specific period. I am trying.

【0008】具体的には、データ圧縮された映像符号列
の特定のパケット、及びデータ圧縮された音声符号列の
各パケットにはそれぞれ映像と音声との同期をとるため
の時間情報としてプレゼンテーションタイムスタンプ
(以下PTSと記す)が記述されており、前記映像符号
列と前記音声符号列とが時分割となつて送られてくる再
生符号列が供給される装置であって、前記映像符号列を
取込みデコードするビデオデコーダと、前記音声符号列
を取込みデコードするオーディオデコーダと、前記再生
符号列の所定の再生タイミングに同期して基準クロック
をカウントするタイムスタンプカウンタ手段と、前記音
声符号列に含まれる前記PTSを取込み、このPTSの
内容と前記タイムスタンプカウンタ手段のカウント値と
の関係を判断する手段であつて、前記PTSと前記カウ
ント値とが最初に所定の関係になれば、前記オーディオ
デコーダの出力タイミング制御信号を出力し、以降はオ
ーディオ出力許可を維持するPTS制御手段とを有する
ものである。このように構成することにより、同期関係
を維持するための回路の負担が軽減され簡素な構成とす
ることができる。
Specifically, a specific packet of the data compressed video code string and each packet of the data compressed audio code string are each provided with a presentation time stamp as time information for synchronizing video and audio. (Hereinafter referred to as PTS) is described, which is a device to which a reproduction code sequence is sent in which the video code sequence and the audio code sequence are transmitted in a time division manner. A video decoder for decoding, an audio decoder for taking in and decoding the audio code string, a time stamp counter means for counting a reference clock in synchronization with a predetermined reproduction timing of the reproduction code string, and the audio decoder included in the audio code string. A procedure for taking in the PTS and determining the relationship between the contents of the PTS and the count value of the time stamp counter means. If the PTS and the count value first have a predetermined relationship, the PTS control unit outputs the output timing control signal of the audio decoder and thereafter maintains the audio output permission. . With this configuration, the load on the circuit for maintaining the synchronization relationship is reduced and the configuration can be simplified.

【0009】[0009]

【発明の実施の形態】以下、この発明の実施の形態を図
面を参照して説明する。図1は、この発明に関わる光学
式ディスクの再生装置を示している。光学式ディスク1
1は、サーボシステム(図示せず)で制御されるモータ
12により回転制御される。光学式ピックアップ装置2
1でピックアップされた光学信号は電気信号に変換さ
れ、信号処理部22に導入される。信号処理部22に
は、復調部23、エラー訂正処理部(ECC処理部)2
4が含まれる。信号処理部22から出力される信号とし
ては復調データとエラーフラッグがある。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows an optical disc reproducing apparatus according to the present invention. Optical disc 1
1 is rotationally controlled by a motor 12 controlled by a servo system (not shown). Optical pickup device 2
The optical signal picked up by 1 is converted into an electric signal and introduced into the signal processing unit 22. The signal processing unit 22 includes a demodulation unit 23 and an error correction processing unit (ECC processing unit) 2
4 is included. The signals output from the signal processing unit 22 include demodulated data and error flags.

【0010】信号処理部22から出力された復調データ
には、例えば映像符号、音声符号、その他の符号があ
る。そこでデマルチプレクサ25は、映像符号をビデオ
デコーダ26に振り分け、また音声符号をオーディオデ
コーダ27に振り分けて供給する。
The demodulated data output from the signal processing unit 22 includes, for example, video code, audio code, and other codes. Therefore, the demultiplexer 25 distributes the video code to the video decoder 26 and distributes the audio code to the audio decoder 27 and supplies the audio code.

【0011】また後述するプレゼンテーションタイムス
タンプ(PTS)は、タイムスタンプ処理部28に供給
される。ビデオデコーダ26でデコードされたビデオ信
号は、バッファ部29に入力され、タイムスタンプ処理
部28からの出力タイミング信号により出力時点が制御
され、出力端子30に導出されている。オーディオデコ
ーダ27でデコードされたオーディオ信号も、バッファ
部31に入力され、タイムスタンプ処理部28からの出
力タイミング信号により出力時点が制御され、出力端子
32に導出されている。
A presentation time stamp (PTS), which will be described later, is supplied to the time stamp processing unit 28. The video signal decoded by the video decoder 26 is input to the buffer unit 29, the output time point is controlled by the output timing signal from the time stamp processing unit 28, and is output to the output terminal 30. The audio signal decoded by the audio decoder 27 is also input to the buffer unit 31, the output timing is controlled by the output timing signal from the time stamp processing unit 28, and is output to the output terminal 32.

【0012】33は、システムコントローラであり、装
置全体の動作を制御するもので、操作入力インターフェ
ース34も接続されている。リモコン操作器から再生ス
タート信号が送られると、操作入力インターフェース3
4を通じて再生指令信号がシステムコントローラ33に
入力される。これに応じて、モータ12の制御及び信号
処理部22の動作が開始される。システムコントローラ
33は、再生がスタートされるとディスクから読み取っ
た制御情報に基づいてタイムスタンプ部28を制御して
クロックカウントを行わせることで、絶対時間の設定を
行うことができる。
Reference numeral 33 denotes a system controller, which controls the operation of the entire apparatus, to which an operation input interface 34 is also connected. When a playback start signal is sent from the remote controller, the operation input interface 3
A reproduction command signal is input to the system controller 33 through 4. In response to this, the control of the motor 12 and the operation of the signal processing unit 22 are started. When the reproduction is started, the system controller 33 controls the time stamp unit 28 based on the control information read from the disc to perform the clock count, and thus the absolute time can be set.

【0013】ところで光学式ディスク11に記録される
ビデオ信号やオーディオ信号は符号化され映像符号、音
声符号となりパック化されて変調されて記録されてい
る。従って、光学式ディスク11から再生し、復調した
信号である各映像符号、音声符号は、パック化されてお
り、1パックが例えば1パケットである。そして1パッ
クの先頭には、パックヘッダが配置されている。さらに
パケットの先頭にパケットヘッダが配置されている(図
2参照)。
By the way, the video signal and the audio signal recorded on the optical disk 11 are coded into a video code and an audio code, packed, modulated and recorded. Therefore, each video code and audio code, which are signals reproduced from the optical disc 11 and demodulated, are packed, and one pack is, for example, one packet. A pack header is arranged at the head of one pack. Furthermore, a packet header is placed at the beginning of the packet (see FIG. 2).

【0014】そして、映像符号の特定のパケット内に
は、プレゼンテーションタイムスタンプ(PTS)が記
述されている。また各音声符号のパケットには、それぞ
れにプレゼンテーションタイムスタンプ(PTS)が記
述されている。このPTSは、ビデオ信号とオーディオ
信号の出力の同期を取るためのものである。
A presentation time stamp (PTS) is described in a specific packet of the video code. A presentation time stamp (PTS) is described in each voice code packet. This PTS is for synchronizing the output of the video signal and the audio signal.

【0015】例えば、光学式ディスクの再生をスタート
した時点から、特定のパックの制御情報でリセットさ
れ、基準クロックをカウントするタイムスタンプカウン
タ部が音声系統と映像系統のそれぞれに用意されてい
る。そして、音声系統においては、タイムスタンプカウ
ンタ部のカウンタの値と、音声符号のパケットに含まれ
ているPTSとが一致したときに、オーディオバッファ
部31の出力を許可するようにしている。
For example, a time stamp counter section that is reset by control information of a specific pack from the time when reproduction of an optical disc is started and counts a reference clock is provided for each of the audio system and the video system. Then, in the audio system, the output of the audio buffer unit 31 is permitted when the value of the counter of the time stamp counter unit and the PTS included in the packet of the audio code match.

【0016】また映像系統においても、特定のパックの
制御情報で所定値に設定され、基準クロックをカウント
するタイムスタンプカウンタ部が用意されている。そし
てこのカウンタの値と、映像符号の特定のパケットに含
まれているPTSとが一致したときに、ビデオバッファ
部29の出力を許可するようにしている。
Also in the video system, there is provided a time stamp counter section which is set to a predetermined value by the control information of a specific pack and counts the reference clock. Then, when the value of this counter and the PTS included in the specific packet of the video code match, the output of the video buffer unit 29 is permitted.

【0017】なお、映像系統及び音声系統のタイムスタ
ンプカウンタ部における絶対時間情報は、システムコン
トローラ33により初期設定される。ただし、早送り
や、スロー再生などの特殊再生を行った場合には、その
修正機能が働き、絶対時間情報の修正が行われる。
The absolute time information in the time stamp counter section of the video system and the audio system is initialized by the system controller 33. However, when special playback such as fast forward or slow playback is performed, the correction function is activated and the absolute time information is corrected.

【0018】図3には、音声系統のタイムスタンプカウ
ンタ部41と、PTS取込み回路42と、比較器43を
示している。タイムスタンプカウンタ部41は、映像符
号の特定のタイミング、例えば垂直同期に対応するタイ
ミングで所定値に設定され、基準クロックを計数するも
のである。このタイムスタンプカウンタ部41は、ビデ
オデコーダ26からの基準クロックをカウントしてもよ
いし、また、基準クロックに位相同期するPLL回路を
独自に有し、ここで発生するクロックをカウントするよ
うにしてもよい。
FIG. 3 shows a time stamp counter unit 41 of the audio system, a PTS acquisition circuit 42, and a comparator 43. The time stamp counter unit 41 is set to a predetermined value at a specific timing of the video code, for example, a timing corresponding to vertical synchronization, and counts the reference clock. The time stamp counter unit 41 may count the reference clock from the video decoder 26, or has its own PLL circuit that is phase-synchronized with the reference clock and counts the clock generated here. Good.

【0019】ここでPTS取込み回路42は、まず、光
学式ディスク11の再生がスタートしたときに、最初に
到来するPTSのみを取込むように設定されている。こ
の設定は、例えば再生スタート時点から一定期間、取込
み許可を与える論理回路により実現できる。
Here, the PTS fetch circuit 42 is set so as to fetch only the PTS that arrives first when the reproduction of the optical disc 11 is started. This setting can be realized by, for example, a logic circuit that gives a capture permission for a certain period from the start of reproduction.

【0020】このときのPTSとタイムカウンタ部41
の出力とが一致すると、比較器43から一致パルスが得
られる。この一致パルスは、出力タイミング制御信号と
して図1のバッファ部31に与えられ、デコード出力の
許可を与えるようになっている。そしてその後は、バッ
ファ部31は、連続して出力許可状態となる。
At this time, the PTS and time counter unit 41
When the output and the output of 1 match, the matching pulse is obtained from the comparator 43. This coincidence pulse is given to the buffer unit 31 of FIG. 1 as an output timing control signal to give permission for decoding output. After that, the buffer unit 31 continuously enters the output permission state.

【0021】このようなシステムの場合、映像符号列と
音声符号列を入力とし、双方の同期関係を得るために、
最初の期間だけ同期検出と出力タイミングの設定処理を
行い、その後は、オーディオ信号を連続して出力するよ
うにしている。このために、符号列を復調した際にデー
タに誤りが多く発生したとしても、ビデオ信号とオーデ
ィオ信号の出力はそのまま連続される。パケット毎の同
期検出処理を行うことがない。この結果、データ誤りが
発生しても、そのときのオーディオ信号の出力に乱れが
あるのみであり、誤りがない期間になれば、ビデオ信号
とオーディオ信号とは同期していることになる。もし、
パケット毎に同期検出処理を行うようにすると、データ
誤りが発生したときに、1度目のオーディオ信号の乱れ
が生じるとともに、同期関係がずれてしまうことがあ
り、再度同期がとれると、2度目のオーディオ信号の乱
れが生じることになる。しかし、この発明のシステムで
あると、データ誤りが発生したときに、1度目のオーデ
ィオ信号の乱れが生じるだけである。通常、このような
乱れは、エラーフラッグ情報により、ミューティング処
理が施されるようになっている。
In the case of such a system, a video code string and an audio code string are input, and in order to obtain a synchronization relationship between them,
The synchronization detection and the output timing setting process are performed only in the first period, and thereafter, the audio signal is continuously output. Therefore, even if many errors occur in the data when the code string is demodulated, the output of the video signal and the audio signal is continued as it is. The synchronization detection process for each packet is not performed. As a result, even if a data error occurs, only the output of the audio signal is disturbed at that time, and if there is no error, the video signal and the audio signal are in synchronization. if,
When the synchronization detection process is performed for each packet, when the data error occurs, the first disturbance of the audio signal may occur and the synchronization relationship may shift, and when the synchronization is made again, the second synchronization may occur. Disturbance of the audio signal will occur. However, in the system of the present invention, when the data error occurs, the first disturbance of the audio signal occurs. Usually, such a disturbance is subjected to a muting process by the error flag information.

【0022】図4は、タイムスタンプ処理部28の他の
実施の形態である。上記の図3の実施の形態は、最初の
PTSが何等エラーを発生していないものとして設計を
行った。しかし、最初のPTSにデータ誤りが発生して
いることもあり得る。そこでこの発明の第2の実施の形
態では、次のような対策が施されている。
FIG. 4 shows another embodiment of the time stamp processing unit 28. The above embodiment of FIG. 3 was designed assuming that the first PTS did not generate any error. However, there may be a data error in the first PTS. Therefore, in the second embodiment of the present invention, the following measures are taken.

【0023】即ち、PTS取込み回路42の入力側に
は、スイッチ44が設けられており、PTSの取込みを
制限することができるようになっている。他の部分は、
図3の構成と同じであるから、同一符号を付している。
このスイッチ44は、次のように利用される。まず、光
学式ディスク11の再生がスタートしたときに、PTS
取込み回路42に対して、最初に到来するPTSのみを
取込ませるのであるが、信号処理部22からエラーフラ
ッグが出力されているときには、スイッチ44がオフ制
御され、エラーとなっているPTSが取込まれないよう
になっている。スイッチ44は、再生がスタートしたと
きはオン状態にあるが、エラーフラッグが与えられると
オフ状態となる。そしてエラーフラッグが消去して、P
TS取込み回路42にPTSが取込まれると、今度は、
PTS取込み回路42からの応答信号によりオフ状態と
なるように論理構成されている。
That is, a switch 44 is provided on the input side of the PTS fetch circuit 42 so that the PTS fetch can be restricted. The other part is
Since the configuration is the same as that of FIG. 3, the same reference numerals are given.
The switch 44 is used as follows. First, when playback of the optical disc 11 starts, PTS
Only the PTS that arrives first is made to be taken in by the take-in circuit 42. However, when the error flag is output from the signal processing unit 22, the switch 44 is turned off and the PTS in error is taken. It is designed not to be crowded. The switch 44 is in the ON state when the reproduction is started, but is in the OFF state when the error flag is given. Then the error flag is erased and P
When PTS is captured by the TS capture circuit 42,
It is logically configured to be turned off by a response signal from the PTS acquisition circuit 42.

【0024】上記の実施の形態であると、最初のPTS
にデータ誤りが発生したとしても、このPTSを使用せ
ず、誤りの無いクリーンなPTSを使用するので、シス
テムの信頼性を向上できる。
In the above embodiment, the first PTS
Even if a data error occurs, the PTS is not used and a clean PTS having no error is used, so that the reliability of the system can be improved.

【0025】図5は、さらにタイムスタンプ処理部28
の他の実施の形態である。この実施の形態は、システム
がパケット同期している状態で、かつエラーフラッグが
無い状態のときにPTSを取込むように構成されてい
る。このために、スイッチ44に対して直列にさらにス
イッチ45が設けられており、両方のスイッチ44、4
5がオン状態のときにPTSがPTS取込み回路42に
入力するようになっている。
FIG. 5 further shows a time stamp processing unit 28.
It is another embodiment of. This embodiment is configured to capture the PTS when the system is packet synchronized and there are no error flags. To this end, a further switch 45 is provided in series with the switch 44, and both switches 44, 4
The PTS is input to the PTS acquisition circuit 42 when the signal 5 is on.

【0026】上記の実施の形態においては、エラーフラ
ッグにより制御されるスイッチ44は省略しても構わな
い。この実施の形態によると次の処理を行うことができ
る。即ちオーディオデコーダ27の出力の許可を維持し
ている状態で、再生符号列のフレーム同期を検出する信
号処理部から、非同期判定信号が出力されたときは、再
度PTSの取込みを行い、出力タイミングを正確なもの
とすることができる。
In the above embodiment, the switch 44 controlled by the error flag may be omitted. According to this embodiment, the following processing can be performed. That is, in the state where the output permission of the audio decoder 27 is maintained, when the asynchronous determination signal is output from the signal processing unit that detects the frame synchronization of the reproduction code string, the PTS is fetched again and the output timing is changed. Can be accurate.

【0027】図6は、同期/非同期判定信号出力回路の
構成を示している。この同期/非同期判定信号出力回路
は例えば信号処理22に含まれる。パケットデータが同
期信号検出回路46に入力される。同期信号検出回路4
6は、パケットデータの中の同期信号を検出し、その検
出信号をウインド回路47に与える。すると、ウインド
回路47からは、検出信号に同期して一定期間のパルス
幅を持つウインドパルスが出力され、このウインドパル
スは、同期検出回路48に入力される。同期検出回路4
8は、ウインドパルス内に同期信号が存在し、かつ、こ
の関係が繰り返し複数回連続するような場合は、同期判
定信号を出力し、このような関係がなくなった場合には
非同期判定信号を出力する。
FIG. 6 shows the configuration of the synchronous / asynchronous determination signal output circuit. This synchronous / asynchronous determination signal output circuit is included in the signal processing 22, for example. The packet data is input to the sync signal detection circuit 46. Sync signal detection circuit 4
6 detects a synchronization signal in the packet data and gives the detection signal to the window circuit 47. Then, the window circuit 47 outputs a window pulse having a pulse width of a fixed period in synchronization with the detection signal, and the window pulse is input to the synchronization detection circuit 48. Sync detection circuit 4
Reference numeral 8 outputs a synchronization determination signal when a synchronization signal is present in the window pulse and this relationship continues repeatedly a plurality of times, and outputs an asynchronous determination signal when such a relationship disappears. To do.

【0028】図7は、さらにまたタイムスタンプ処理部
28の他の実施の形態である。この実施の形態が、図3
の構成と異なる部分は、比較器43の出力ラインにスイ
ッチ51が設けられており、このスイッチ51はPTS
オン/オフ制御信号により制御され、バッファ部31へ
与えられる出力タイミング制御信号が規定されるように
なっている。
FIG. 7 shows another embodiment of the time stamp processing unit 28. This embodiment is shown in FIG.
The difference from the configuration of FIG. 2 is that a switch 51 is provided on the output line of the comparator 43, and the switch 51 is a PTS.
The output timing control signal which is controlled by the on / off control signal and is supplied to the buffer unit 31 is defined.

【0029】PTSオン/オフ制御信号としては、先に
説明したエラーフラッグあるいは非同期検出信号などが
用いられる。図8は、またタイムスタンプ処理部28の
他の実施の形態である。
As the PTS on / off control signal, the above-described error flag or asynchronous detection signal is used. FIG. 8 is another embodiment of the time stamp processing unit 28.

【0030】上記した実施の形態は、タイムスタンプカ
ウンタ41のカウント内容と、音声符号パケットに含ま
れるプレゼンテーションタイムスタンプの内容が一致し
たときに一致信号を出力する方式であったが、ある許容
範囲内にあれば、バッファ部31へ出力タイミング制御
信号を出力してもよい。これは、画像と音声とが厳密に
一致せず多少のずれがあっても視聴者にとってはそれ程
違和感がないからである。
In the above-described embodiment, the coincidence signal is output when the count content of the time stamp counter 41 and the content of the presentation time stamp included in the voice code packet match, but within a certain allowable range. If so, the output timing control signal may be output to the buffer unit 31. This is because the image and the sound do not exactly match with each other, and even if there is a slight deviation, the viewer does not feel that strange.

【0031】図8において、PTS取込み回路42の出
力は、引算回路51の一方に入力される。この引算回路
51の他方の入力には、タイムスタンプカウンタ41か
らのカウント値が供給されている。引算回路51から
は、PTSとカウント値の差データ(A−B)が得ら
れ、この差データは、差データ処理部52に入力され
る。差データ処理部52では、差が所定の許容範囲内で
あれば、バッファ部31へ出力タイミング制御信号を出
力するようにしている。また差が許容範囲の外であれ
ば、例えばクロック制御部や、サーボ制御部、または警
告表示部等にその情報が与えらえるようになっている。
In FIG. 8, the output of the PTS acquisition circuit 42 is input to one of the subtraction circuits 51. The count value from the time stamp counter 41 is supplied to the other input of the subtraction circuit 51. Difference data (AB) between the PTS and the count value is obtained from the subtraction circuit 51, and this difference data is input to the difference data processing unit 52. The difference data processing unit 52 outputs the output timing control signal to the buffer unit 31 if the difference is within a predetermined allowable range. If the difference is outside the allowable range, the information can be given to, for example, the clock control unit, the servo control unit, or the warning display unit.

【0032】また、許容範囲の外であれば、次のPTS
を取込むようにPTS取込み回路42が制御され、差が
所定の範囲内であれば、PTS取込み回路42へのPT
S取込みが制限されるようになっている。
If it is out of the allowable range, the next PTS
The PTS acquisition circuit 42 is controlled so as to acquire, and if the difference is within a predetermined range, the PT to the PTS acquisition circuit 42 is acquired.
S uptake is restricted.

【0033】図9は、さらにまたタイムスタンプ処理部
28の他の実施の形態である。この実施の形態では、P
TSの値Aとカウンタ部41の出力カウント値Bとを比
較する比較器52は、A=Bと、A<Bの判定出力を得
るように構成されている。これらの判定出力は、いずれ
もオア回路53に入力され、このオア回路53の出力が
バッファ部31へ出力タイミング制御信号として与えら
れる。したがって、PTSの値Aが小さい場合、つまり
オーディオのデコードが映像に対して遅れるような場合
には、オーディオ信号を出力するようになっている。さ
らにA<Bの判定出力は、例えばサーボマイコンや、シ
ステム制御部に供給され、現在のA<Bという状態を知
らせるようになっている。A<Bの情報は、例えばデコ
ードしたオーディオデータの読み出しクロック周波数を
制御するために用いることができる。
FIG. 9 shows another embodiment of the time stamp processing unit 28. In this embodiment, P
The comparator 52 that compares the value A of the TS with the output count value B of the counter unit 41 is configured to obtain the determination outputs of A = B and A <B. All of these judgment outputs are input to the OR circuit 53, and the output of the OR circuit 53 is given to the buffer unit 31 as an output timing control signal. Therefore, when the PTS value A is small, that is, when the audio decoding is delayed with respect to the video, the audio signal is output. Further, the determination output of A <B is supplied to, for example, a servo microcomputer or a system control unit to notify the current state of A <B. The information of A <B can be used, for example, to control the read clock frequency of the decoded audio data.

【0034】なお上記の説明では、入力情報は光学式デ
ィスクから再生されたものとして説明しているが、入力
情報の信号源はこれに限るものではなく、通信回線や伝
送路を介して送られてきた情報でもよい。
In the above description, the input information is described as being reproduced from the optical disc, but the signal source of the input information is not limited to this, and it is sent via a communication line or a transmission line. You can use the information you received.

【0035】図10はさらにこの発明の他の実施の形態
である。上述した実施の形態では、スイッチング44や
45が直接、エラーフラッグや非同期検出信号により制
御されるものとして説明した。しかし、PTS取込み回
路42の入力側の1つのスイッチング44をシステムコ
ントローラ33からのスイッチ制御信号に基づいて制御
するようにしてもよい。
FIG. 10 shows another embodiment of the present invention. In the above-described embodiment, the switching 44 and 45 are directly controlled by the error flag and the asynchronous detection signal. However, one switching 44 on the input side of the PTS acquisition circuit 42 may be controlled based on the switch control signal from the system controller 33.

【0036】システムコントローラ33は、エラーフラ
ッグ、非同期判定信号が入力されているときはスイッチ
44をオフするようにしている。そして、エラーフラッ
グがなく、かつ非同期判定信号がない(同期判定信号が
入力されている)状態になるとスイッチ44を一定期間
(PTSを捕らえることができる期間)オンし、その後
は、一致信号(A=B)、もしくは所定の範囲内の差信
号が得られた後は、スイッチ44をオフ制御するように
している。
The system controller 33 turns off the switch 44 when an error flag or an asynchronous determination signal is input. Then, when there is no error flag and there is no asynchronous determination signal (the synchronization determination signal is input), the switch 44 is turned on for a certain period (a period in which PTS can be captured), and thereafter, the match signal (A = B) or a difference signal within a predetermined range is obtained, the switch 44 is turned off.

【0037】図12は、上記のシステムコントローラ3
3に格納されているフローチャートの例である。再生が
スタートすると、データの取込みが行われ、エラーフラ
ッグがないこと、非同期判定信号がないことの判断が行
われる(ステップA1〜A3)。エラーフラッグ、非同
期判定信号がなければ、A=Bがすでに得られているか
どうかの判定が行われる(ステップA4)。これは最初
のPTSかどうかの判定に相当する。A=Bが得られて
いなければ、ステップA5でスイッチ44をオンし、A
=Bが得られるまでオンする(ステップA5、A6)。
A=Bが得られたらスイッチ44をオフし、ステップA
2に戻る。これにより、PTSを用いた同期処理はオフ
された状態でデータの再生が行われるが、非同期判定信
号が発生したときは、非同期判定信号がなくなった時点
から再度同期処理が行われることになる。
FIG. 12 shows the system controller 3 described above.
3 is an example of a flowchart stored in FIG. When the reproduction is started, data is taken in and it is judged that there is no error flag and that there is no asynchronous judgment signal (steps A1 to A3). If there is no error flag or asynchronous determination signal, it is determined whether A = B has already been obtained (step A4). This corresponds to the determination as to whether it is the first PTS. If A = B is not obtained, the switch 44 is turned on in step A5, and A
= B is obtained (steps A5 and A6).
When A = B is obtained, switch 44 is turned off, and step A
Return to 2. As a result, the data is reproduced with the synchronous processing using the PTS turned off, but when the asynchronous determination signal is generated, the synchronous processing is performed again from the time when the asynchronous determination signal disappears.

【0038】図11は、上記のシステムコントローラ3
3に格納されているフローチャートのさらに別の例であ
る。図10のフローチャートと異なる部分は、ステップ
A4からステップA2に戻る経路に、設定時間が経過し
たかどうかを判定するステップA8が設けられているこ
とである。このステップA8を設けることにより、ある
時間が経過する毎に、PTSを用いた同期処理をやり直
すことができる。即ち、ステップA8で設定時間が経過
していると、設定時間をリセットして(ステップA
9)、ステップA5に以降し、再度のPTSの取り直し
を行うことになる。設定時間としては、リモコン及びマ
イコンを通して視聴者が任意の時間を選択して入力する
ことができる。このようにすると、設定時間毎に同期の
取り直しが行われる。
FIG. 11 shows the system controller 3 described above.
6 is still another example of the flowchart stored in FIG. The difference from the flowchart of FIG. 10 is that step A8 for determining whether or not a set time has elapsed is provided on the route returning from step A4 to step A2. By providing this step A8, it is possible to redo the synchronization process using the PTS every time a certain time has elapsed. That is, if the set time has elapsed in step A8, the set time is reset (step A
9) After step A5, the PTS is retaken again. As the set time, the viewer can select and input an arbitrary time through the remote controller and the microcomputer. In this way, synchronization is re-acquired every set time.

【0039】勿論、上記のシステムでは、動画と音楽等
の記録された光学式ディスクが再生される場合があるの
で常にスイッチ44がオンするようにして常時同期処理
が行われるようにすることも可能である。
Of course, in the above system, the optical disc on which the moving image and the music are recorded may be reproduced. Therefore, it is possible to always turn on the switch 44 so that the synchronous processing is always performed. Is.

【0040】[0040]

【発明の効果】上記したようにこの発明によれば、映像
符号列と音声符号列とをそれぞれデコードして出力する
場合、簡単な回路構成でオーディオ信号の出力タイミン
グをできるだけ正確にビデオ信号に同期させることがで
きる。
As described above, according to the present invention, when a video code string and an audio code string are respectively decoded and output, the output timing of the audio signal is synchronized with the video signal as accurately as possible with a simple circuit configuration. Can be made.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明が適用された光学式ディスク再生装置
の構成を示す図。
FIG. 1 is a diagram showing a configuration of an optical disc reproducing apparatus to which the present invention is applied.

【図2】光学式ディスクから再生した再生符号列の説明
図。
FIG. 2 is an explanatory diagram of a reproduction code string reproduced from an optical disc.

【図3】図1のタイムスタンプ処理部の構成例を示す
図。
FIG. 3 is a diagram showing a configuration example of a time stamp processing unit in FIG.

【図4】図1のタイムスタンプ処理部の他の構成例を示
す図。
FIG. 4 is a diagram showing another configuration example of the time stamp processing unit in FIG.

【図5】図1のタイムスタンプ処理部のまた他の構成例
を示す図。
FIG. 5 is a diagram showing another configuration example of the time stamp processing unit of FIG. 1.

【図6】同期/非同期判定信号出力回路の構成例を示す
図。
FIG. 6 is a diagram showing a configuration example of a synchronous / asynchronous determination signal output circuit.

【図7】図1のタイムスタンプ処理部のまた他の構成例
を示す図。
FIG. 7 is a diagram showing another configuration example of the time stamp processing unit of FIG. 1.

【図8】図1のタイムスタンプ処理部のさらに他の構成
例を示す図。
FIG. 8 is a diagram showing still another configuration example of the time stamp processing unit of FIG. 1.

【図9】図1のタイムスタンプ処理部のまた他の構成例
を示す図。
FIG. 9 is a diagram showing another configuration example of the time stamp processing unit of FIG. 1.

【図10】図1のタイムスタンプ処理部の他の構成例を
示す図。
10 is a diagram showing another configuration example of the time stamp processing unit in FIG.

【図11】図10に示したシステムコントローラの動作
例を示すフローチャート。
11 is a flowchart showing an operation example of the system controller shown in FIG.

【図12】図10に示したシステムコントローラの他の
動作例を示すフローチャート。
12 is a flowchart showing another operation example of the system controller shown in FIG.

【符号の説明】[Explanation of symbols]

11…光学式ディスク、12…モータ、21…光学式ピ
ックアップ装置、22…信号処理部、25…デマルチプ
レクサ、26…ビデオデコーダ、27…オーディオデコ
ーダ、28…タイムスタンプ処理部、29、31…バッ
ファ部、41…タイムスタンプカウンタ部、42…PT
S取込み回路、43…比較器、44、45…スイッチ、
51…スイッチ、52…比較器、53…オア回路。
11 ... Optical disc, 12 ... Motor, 21 ... Optical pickup device, 22 ... Signal processing unit, 25 ... Demultiplexer, 26 ... Video decoder, 27 ... Audio decoder, 28 ... Time stamp processing unit, 29, 31 ... Buffer Part, 41 ... Time stamp counter part, 42 ... PT
S capture circuit, 43 ... Comparator, 44, 45 ... Switch,
51 ... Switch, 52 ... Comparator, 53 ... OR circuit.

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】データ圧縮された映像符号列の特定のパケ
ット、及びデータ圧縮された音声符号列の各パケットに
はそれぞれ映像と音声との同期をとるための時間情報と
してプレゼンテーションタイムスタンプ(以下PTSと
記す)が記述されており、前記映像符号列と前記音声符
号列とが時分割となつて送られてくる再生符号列が供給
される装置であって、 前記映像符号列を取込みデコードするビデオデコーダ部
と、 前記音声符号列を取込みデコードするオーディオデコー
ダ部と、 前記再生符号列の所定の再生タイミングに同期して基準
クロックをカウントするタイムスタンプカウンタ手段
と、 前記音声符号列に含まれる前記PTSを取込み、このP
TSの内容と前記タイムスタンプカウンタ手段のカウン
ト値との関係を判断する手段であつて、前記PTSと前
記カウント値とが最初に所定の関係になれば、前記オー
ディオデコーダ部の出力タイミング制御信号を出力し、
以降はオーディオ出力許可を維持するPTS制御手段と
を有したことを特徴とする映像音声処理装置の同期装
置。
1. A presentation time stamp (hereinafter referred to as PTS) as time information for synchronizing a video and audio in a specific packet of a data compressed video code string and each packet of a data compressed audio code string. Is described, and is a device to which a reproduction code sequence is sent in which the video code sequence and the audio code sequence are transmitted in a time division manner, and a video which captures and decodes the video code sequence. A decoder section, an audio decoder section for taking in and decoding the voice code sequence, a time stamp counter means for counting a reference clock in synchronization with a predetermined reproduction timing of the reproduction code sequence, and the PTS included in the voice code sequence. Take in this P
A means for determining the relationship between the contents of TS and the count value of the time stamp counter means, and when the PTS and the count value have a predetermined relationship first, an output timing control signal of the audio decoder section is output. Output,
A synchronizing device for a video / audio processing device, comprising: PTS control means for maintaining audio output permission thereafter.
【請求項2】前記PTS制御手段は、 前記再生符号列のエラー訂正を行う信号処理部からエラ
ーフラッグが存在するときは、前記PTSの取込みを禁
止し、エラーフラッグがないときに前記PTSの取込み
を行うようにしたことを特徴とする請求項1記載の映像
音声処理装置の同期装置。
2. The PTS control means prohibits the PTS acquisition when an error flag is present from a signal processing unit which performs error correction of the reproduction code sequence, and prohibits the PTS acquisition when there is no error flag. The synchronizing device of the video / audio processing device according to claim 1, wherein
【請求項3】前記PTS制御手段は、 前記再生符号列のフレーム同期を検出する信号処理部か
ら、非同期判定信号が出力されているときは、前記PT
Sの取込みを禁止し、同期判定信号が存在するときに前
記PTSの取込みを行うようにしたことを特徴とする請
求項1記載の映像音声処理装置の同期装置。
3. The PTS control means, when an asynchronous determination signal is output from a signal processing unit which detects frame synchronization of the reproduction code sequence, the PT control means.
2. The synchronizing apparatus for a video / audio processing apparatus according to claim 1, wherein the STS is prohibited from being taken in, and the PTS is taken in when a synchronization determination signal is present.
【請求項4】前記PTS制御手段は、 前記再生符号列のエラー訂正及びフレーム同期を検出す
るを信号処理部からのエラーフラッグ、非同期判定信号
のいずれか一方が存在するときは、前記PTSの取込み
を禁止し、前記エラーフラッグ及び非同期判定信号の双
方がないときに前記PTSの取込みを行うようにしたこ
とを特徴とする請求項1記載の映像音声処理装置の同期
装置。
4. The PTS control means fetches the PTS when any one of an error flag and an asynchronous determination signal from a signal processing unit for detecting error correction and frame synchronization of the reproduction code string is present. 2. The synchronizing apparatus of the video / audio processing apparatus according to claim 1, wherein the PTS is fetched when both the error flag and the asynchronous determination signal are absent.
【請求項5】前記PTS制御手段は、 前記オーディオデコーダ部の出力の許可を維持している
状態で、前記再生符号列のフレーム同期を検出する信号
処理部から、非同期判定信号が出力されたときは、再度
前記PTSの取込みをやり直す手段をさらに有したこと
を特徴とする請求項1記載の映像音声処理装置の同期装
置。
5. The PTS control means outputs an asynchronous determination signal from a signal processing unit that detects frame synchronization of the reproduction code string in a state where output permission of the audio decoder unit is maintained. 2. The synchronizing device for a video / audio processing apparatus according to claim 1, further comprising means for re-taking in the PTS again.
【請求項6】前記PTS制御手段は、 前記PTSと前記カウント値との前記所定の関係を判断
するのに、双方の内容が一致するか否かを判定し、一致
したときに前記出力タイミング制御信号を出力すること
を特徴とする請求項1記載の映像音声処理装置の同期装
置。
6. The PTS control means determines whether or not the contents of the PTS and the count value match in order to determine the predetermined relationship between the PTS and the count value, and when they match, the output timing control. The synchronizing device of the video / audio processing device according to claim 1, wherein the synchronizing device outputs a signal.
【請求項7】前記PTS制御手段は、 前記PTSと前記カウント値との前記所定の関係を判断
するのに、双方の差が所定の範囲内か否かを判定し、所
定の範囲内のときに前記出力タイミング制御信号を出力
することを特徴とする請求項1記載の映像音声処理装置
の同期装置。
7. The PTS control means determines whether the difference between the PTS and the count value is within a predetermined range to determine the predetermined relationship between the PTS and the count value. 2. The synchronizing device for a video / audio processing apparatus according to claim 1, wherein the output timing control signal is output to.
【請求項8】前記PTS制御手段は、 前記PTSと前記カウント値とのいずれが大きいかを示
す情報を出力し、システム制御部に与えるようにしてい
ることを特徴とする請求項7記載の映像音声処理装置の
同期装置。
8. The video according to claim 7, wherein the PTS control means outputs information indicating which of the PTS and the count value is larger and outputs the information to the system control section. Synchronizer for audio processing equipment.
【請求項9】前記PTS制御手段は、 前記音声符号列に含まれる前記PTSを取込むPTS取
込み回路と、 前記PTS取込み回路に取込まれたPTSと前記タイム
スタンプカウンタ手段のカウント値とを比較し、一致す
るか否かの判定出力を得る比較器と、 前記比較器の出力部に設けられ、前記再生符号列を処理
する信号処理部からのエラーフラッグ及び又は非同期判
定信号が与えられたときにオフして前記判定出力が前記
オーディオデコーダの出力制御部に供給されるのを禁止
するスイッチとを具備したことを特徴とする請求項1記
載の映像音声処理装置の同期装置。
9. The PTS control means compares a PTS loading circuit for loading the PTS included in the voice code string with a PTS loaded in the PTS loading circuit and a count value of the time stamp counter means. And a comparator that obtains a judgment output of whether or not they match, when an error flag and / or an asynchronous judgment signal is given from the signal processing unit that is provided in the output unit of the comparator and that processes the reproduction code string. 2. The synchronizing device for a video / audio processing apparatus according to claim 1, further comprising a switch that is turned off to prohibit the determination output from being supplied to the output control unit of the audio decoder.
JP28330295A 1995-10-31 1995-10-31 Synchronizer for video / audio processor Expired - Fee Related JP3923553B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28330295A JP3923553B2 (en) 1995-10-31 1995-10-31 Synchronizer for video / audio processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28330295A JP3923553B2 (en) 1995-10-31 1995-10-31 Synchronizer for video / audio processor

Publications (2)

Publication Number Publication Date
JPH09128894A true JPH09128894A (en) 1997-05-16
JP3923553B2 JP3923553B2 (en) 2007-06-06

Family

ID=17663702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28330295A Expired - Fee Related JP3923553B2 (en) 1995-10-31 1995-10-31 Synchronizer for video / audio processor

Country Status (1)

Country Link
JP (1) JP3923553B2 (en)

Also Published As

Publication number Publication date
JP3923553B2 (en) 2007-06-06

Similar Documents

Publication Publication Date Title
WO1995016990A1 (en) Data reproducing device and data recording medium
JPS62169589A (en) Circuit arrangement of video tape recorder
KR19990072628A (en) Audio playback apparatus
JPS6016027B2 (en) time code reader
JPH0690439A (en) Data decoder
JPH06343065A (en) Decoding system, demultiplex method and signal processing method
JPH09128894A (en) Synchronization device of video and voice processing device
KR100332783B1 (en) Mpeg bit stream display timing point operation apparatus and method for recording medium
KR940012363A (en) Digital signal reproducing apparatus, integrated circuit and digital signal reproducing method
US20020018641A1 (en) Disk reproducing apparatus
JP3205465B2 (en) Magnetic recording / reproducing device
JP3060742B2 (en) Encoded signal decoding device
JP4277377B2 (en) Video switching device
JP3165120B2 (en) Video playback device, storage medium, and video playback method
JP3171178B2 (en) MPEG video decoding device
KR100202879B1 (en) Method and apparatus for controlling output in vcr
KR100217180B1 (en) Method for cell stopping for reproducing time in reproducing apparatus of digital video
KR100480413B1 (en) An auxiliary digital data extractor in a television
JP4336594B2 (en) Playback device
JP2959320B2 (en) ID code detection method and ID code detection device
JP3727245B2 (en) Video identification signal processing apparatus and method
JPH09128895A (en) Voice processing device of video and voice reproducing device
JPH11296986A (en) Digital signal recording and reproducer
JPH06284160A (en) Method and device for detecting synchronizing block
JPH09320177A (en) Frame-synchronizing signal processing circuit

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060912

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100302

Year of fee payment: 3

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100302

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110302

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120302

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130302

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130302

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140302

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees