JP3259839B2 - Image signal reproducing apparatus and image signal reproducing method - Google Patents

Image signal reproducing apparatus and image signal reproducing method

Info

Publication number
JP3259839B2
JP3259839B2 JP21802699A JP21802699A JP3259839B2 JP 3259839 B2 JP3259839 B2 JP 3259839B2 JP 21802699 A JP21802699 A JP 21802699A JP 21802699 A JP21802699 A JP 21802699A JP 3259839 B2 JP3259839 B2 JP 3259839B2
Authority
JP
Japan
Prior art keywords
unit
sub
picture
data
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP21802699A
Other languages
Japanese (ja)
Other versions
JP2000106669A (en
Inventor
良二 山口
真 明嵐
勝 岩佐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP21802699A priority Critical patent/JP3259839B2/en
Publication of JP2000106669A publication Critical patent/JP2000106669A/en
Application granted granted Critical
Publication of JP3259839B2 publication Critical patent/JP3259839B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】MPEG等の符号化技術によ
り音声、映像、副映像および付加情報がディジタル符号
化され、パック、パケット単位で多重化されたビットス
トリームの再生を行う画像信号再生装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image signal reproducing apparatus for reproducing a bit stream in which audio, video, sub-video and additional information are digitally encoded by an encoding technique such as MPEG and multiplexed in packs and packets.

【0002】[0002]

【従来の技術】近年、DVDに見られるように画像信
号、音声信号及び字幕情報等の付加情報信号をディジタ
ル符号化、多重化したメディアが急速に普及しつつあ
る。
2. Description of the Related Art In recent years, media, such as DVDs, in which additional information signals such as image signals, audio signals, and subtitle information are digitally encoded and multiplexed, have been rapidly spreading.

【0003】前記のような多重化されたディジタル信号
の再生装置においては特殊再生(例えば、データの連続
入力を伴わない前方スキップまたは後方スキップ)によ
る非連続で非定常的なビットストリームの入力や、符号
化時のエラー混入、ディスク損傷や伝送路でのノイズに
よるエラー混入が発生し、再生装置のスムーズで正常な
動作を行うことが困難であることが課題として挙げられ
る。
In such a multiplexed digital signal reproducing apparatus, non-continuous and non-stationary bit stream input by special reproduction (for example, forward skip or backward skip without continuous data input), One of the problems is that errors occur during encoding, errors occur due to disk damage or noise on the transmission path, and it is difficult to perform a smooth and normal operation of the reproducing apparatus.

【0004】また、一方では音声、映像、副映像の再生
において同期処理を行なう必要があるが、符号化時にア
ンダーフロー気味に符号化されたビットストリームの場
合、副映像データの再生単位のスキップの際に再生デー
タが完結していない可能性が存在し、正常な再生を行な
うことが困難な場合も課題としてあった。
[0004] On the other hand, it is necessary to perform synchronization processing in the reproduction of audio, video, and sub-pictures. However, in the case of a bit stream coded with a slight underflow during encoding, skipping of the reproduction unit of sub-picture data is performed. In this case, there is a possibility that the reproduction data is not completed, and it is also a problem that normal reproduction is difficult.

【0005】ディジタルメディアでは映像信号について
はMPEG規格で規定された符号化が一般に使用されて
いる。音声についてはMPEG以外の符号化方式も採用
されている。また、DVDでの字幕符号化については独
自のビットマップデータの圧縮手法が採用されている。
音声、映像の符号化データの多重化にはMPEGのシス
テム規格で定義された多重化方式で多重化が行われる。
[0005] In digital media, encoding specified by the MPEG standard is generally used for video signals. For audio, an encoding method other than MPEG is also used. For subtitle encoding on DVDs, a unique bitmap data compression method is employed.
Multiplexing of coded audio and video data is performed by a multiplexing method defined by the MPEG system standard.

【0006】図2Aおよび図2Bは、パケット102に
よって多重化された符号列を示す。図2Aは、多重化の
基本単位であるパック101の構造を示す。パケット1
02の先頭にはパケット先頭を示す同期信号(以下「パ
ケットスタートコード前置コード」と言う)103と音
声,画像のパケットの区別をするパケット識別子104
(MPRG規格におけるstream_id)、パケッ
ト長情報105、画像、音声の同期再生情報106を含
むパケットヘッダ107Bが付加される。図2Aは、パ
ック101が1個のパケット102を含む例を示す。パ
ック101は、複数のパケット102を含み得る。
FIG. 2A and FIG. 2B show a code string multiplexed by the packet 102. FIG. 2A shows the structure of a pack 101 which is a basic unit of multiplexing. Packet 1
At the beginning of 02, a synchronization signal (hereinafter referred to as "packet start code prefix code") 103 indicating the beginning of the packet and a packet identifier 104 for distinguishing between audio and video packets
(Stream_id in the MPRG standard), a packet header 107B including packet length information 105, and image and audio synchronous reproduction information 106 are added. FIG. 2A shows an example in which the pack 101 includes one packet 102. The pack 101 may include a plurality of packets 102.

【0007】図2Bは、パック101単位で多重化され
た音声パックAP、映像パックVP、副映像パックS
P、ナビゲーション情報符号化データパックNPを含む
多重符号列108および副映像符号化データの構成の例
を示す。音声信号、映像信号、副映像信号およびナビゲ
ーション情報はそれぞれ符号化装置によりディジタル符
号化され、多重化装置によりパック101単位で多重化
される。
FIG. 2B shows an audio pack AP, a video pack VP, and a sub-video pack S multiplexed in packs 101.
P, an example of the configuration of the multiplexed code sequence 108 including the navigation information coded data pack NP and the sub-picture coded data are shown. The audio signal, the video signal, the sub-video signal, and the navigation information are each digitally encoded by the encoding device, and are multiplexed by the multiplexing device in packs 101.

【0008】図2Bに示す副映像符号化データの構成
は、多重符号列108から副映像パックSPの副映像符
号化データのみを抽出し、副映像パックSPに含まれる
副映像符号化データのそれぞれを連結した状態の副映像
符号化データ109を示したものである。副映像符号化
データ109の再生単位110Pおよび110Qは図2
Bに示されるようにユニットヘッダ110Aと符号化ビ
ットマップデータ110Bと、ビットマップデータ11
0Bに対応する表示制御情報110Cとで構成されてい
る。
[0008] The configuration of the sub-picture encoded data shown in FIG. 2B is such that only the sub-picture encoded data of the sub-picture pack SP is extracted from the multiplexed code sequence 108, and each of the sub-picture encoded data contained in the sub-picture pack SP is extracted. Are connected to each other to show the sub-picture encoded data 109 in a state where. The reproduction units 110P and 110Q of the sub-picture encoded data 109 are shown in FIG.
B, the unit header 110A, the encoded bitmap data 110B, and the bitmap data 11
0B corresponding to display control information 110C.

【0009】従来の副映像符号化データ109の再生は
再生単位110の先頭のユニットヘッダ110Aの解析
を行ない、ユニットヘッダ110に記載された情報を用
いて符号化ビットマップデータ110Bの復号を行な
い、この復号された符号化ビットマップデータ110B
に対する表示制御情報110Cを用いて出力タイミング
設定や、色変化等の表示制御を行ない、復号された符号
化ビットマップデータ110Bと映像再生信号とをブレ
ンドして出力する。副映像符号化データ109の次の再
生単位110への復号動作の遷移はユニットヘッダ11
0Aに記載の再生単位長を用いて、次の再生単位110
Qの先頭に再生位置を移動し再生を順次行なっていく。
In the conventional reproduction of the encoded sub-picture data 109, the head header 110A of the reproduction unit 110 is analyzed, and the encoded bitmap data 110B is decoded by using the information described in the unit header 110. This decoded coded bitmap data 110B
The display control information 110C is used to set output timing and display control such as color change, and the decoded coded bitmap data 110B and the video reproduction signal are blended and output. The transition of the decoding operation of the sub-picture encoded data 109 to the next reproduction unit 110 is performed by the unit header 11.
Using the playback unit length described in 0A, the next playback unit 110
The playback position is moved to the beginning of Q and playback is performed sequentially.

【0010】エラー等が存在しない正常な副映像符号化
データ109の再生単位110Pの先頭はユニットヘッ
ダ110Aに含まれる再生単位長を使うことによっての
み、検出可能であり、再生単位長を用いて副映像符号化
データ109の再生を行なう。副映像符号化データ10
9の場合、同期パターンは副映像符号化データ109そ
のものの中には記録されていない。副映像符号化データ
109の再生単位110Pの先頭はユニットヘッダ11
0Aと呼ばれるヘッダで始まっている。前記ユニットヘ
ッダ110Aは映像、音声データに対して行うような同
期パターンを用いた符号化データの照合によっては検出
不可能である。
[0010] The head of the reproduction unit 110P of the normal sub-picture coded data 109 having no error or the like can be detected only by using the reproduction unit length included in the unit header 110A. The video coded data 109 is reproduced. Sub-picture encoded data 10
In the case of No. 9, the synchronization pattern is not recorded in the sub-picture encoded data 109 itself. The head of the reproduction unit 110P of the sub-picture encoded data 109 is the unit header 11
It starts with a header called 0A. The unit header 110A cannot be detected by collation of encoded data using a synchronization pattern as performed for video and audio data.

【0011】[0011]

【発明が解決しようとする課題】ユニットヘッダ110
Aに記載の再生単位長がなんらかのエラーによって誤っ
ていた場合であっても、誤った再生単位長を含む再生単
位110Pの途中もしくは、最後までの再生は可能であ
る。しかし再生単位長が誤っていると、次の再生単位1
10Qの先頭に正しく再生位置を移動させることができ
ないので、次の再生単位110Qに含まれるユニットヘ
ッダ110Aの検出が不可能である。このため、次の再
生単位110Qの復号動作が不可能となる。この結果、
副映像符号化データ109をデコードする副映像デコー
ダはハングアップしてしまう。このように、ユニットヘ
ッダ110Aにエラー等が存在すると、副映像符号化デ
ータ109をスムーズに再生することが困難であり、そ
の解決が従来の再生装置の課題としてあった。
SUMMARY OF THE INVENTION Unit header 110
Even if the reproduction unit length described in A is erroneous due to some error, it is possible to reproduce the reproduction unit 110P including the erroneous reproduction unit length in the middle or to the end. However, if the playback unit length is incorrect, the next playback unit 1
Since the reproduction position cannot be moved to the beginning of 10Q correctly, the unit header 110A included in the next reproduction unit 110Q cannot be detected. Therefore, the decoding operation of the next reproduction unit 110Q becomes impossible. As a result,
The sub-picture decoder that decodes the sub-picture encoded data 109 hangs up. As described above, if an error or the like exists in the unit header 110A, it is difficult to smoothly reproduce the sub-picture encoded data 109, and the solution has been a problem of the conventional reproducing apparatus.

【0012】図3Aおよび図3Bは、特殊再生時のデー
タ転送を示す。図3Bは、図3Aから副映像パックを抽
出したものを示す。図3Aで、副映像符号化データ10
9の再生単位110Pは副映像パックSPU1_1,S
PU1_2,SPU1_3,再生単位110Qは副映像
パックSPU2_1,SPU2_2,SPU2_3で構
成されている。図3Aおよび図3Bに示すように、特殊
再生時において連続する多重符号列108Aのうち、期
間DT1に含まれるパックと期間DT2に含まれるパッ
クとが間欠的に再生された場合には、副映像の再生単位
110Pは完結されることなく副映像パックSPU1_
1,SPU1_2と次の副映像の再生単位110Qに含
まれる副映像パックSPU2_1とが連結されて図3B
に示すように復号データ111として処理される。
FIGS. 3A and 3B show data transfer during trick play. FIG. 3B shows a sub-picture pack extracted from FIG. 3A. In FIG. 3A, the sub-picture encoded data 10
9 playback units 110P are sub-picture packs SPU1_1, SPU1
PU1_2, SPU1_3, and the reproduction unit 110Q are composed of sub-picture packs SPU2_1, SPU2_2, and SPU2_3. As shown in FIG. 3A and FIG. 3B, when the pack included in the period DT1 and the pack included in the period DT2 are intermittently reproduced in the continuous multiplexed code sequence 108A during the special reproduction, Of the sub-picture pack SPU1_ without being completed
1, SPU1_2 and the sub-picture pack SPU2_1 included in the reproduction unit 110Q of the next sub-picture are connected and
Are processed as decoded data 111 as shown in FIG.

【0013】副映像符号化データ109の再生の際、非
完結の副映像の再生単位110Pのデータの再生を行う
際に再生単位110Pの先頭のユニットヘッダ110A
に記載されている再生単位長をもとに再生を行う。
When the sub-picture encoded data 109 is reproduced, when the data of the reproduction unit 110P of the incomplete sub-picture is reproduced, the head unit 110A of the head of the reproduction unit 110P is reproduced.
Playback is performed based on the playback unit length described in.

【0014】図4は、間欠再生時の副映像符号化データ
109の再生を示す。再生単位110Pを再生するに当
たって復号動作としてはユニットヘッダ110A記載の
再生単位長を抽出し、再生単位110Pの再生を行い、
次の再生単位110Qの再生を行うのに再生単位110
Pから再生単位長113分の距離だけ離れた所から再生
動作を行う。
FIG. 4 shows the reproduction of the sub-picture coded data 109 during the intermittent reproduction. In reproducing the reproduction unit 110P, as a decoding operation, the reproduction unit length described in the unit header 110A is extracted, and the reproduction unit 110P is reproduced.
The reproduction unit 110Q is used to reproduce the next reproduction unit 110Q.
The reproduction operation is performed from a place away from P by a reproduction unit length of 113 minutes.

【0015】図4に示されるように、再生単位長113
と実際に副映像ビットバッファ13に格納された再生単
位113Aのデータ長は異なり、実際に副映像ビットバ
ッファ13に格納された再生単位113Aのデータ長の
方が小さいため、再生単位110Pのデータを越えて再
生単位110Qのデータ部まで復号を行おうとする。し
かし実際の再生単位110Pのデータではないため、正
常な再生動作は不可能となる。再生単位110Pのデー
タと見なして再生した再生単位110Qのデータ内容に
よっては異常な再生制御を行い、再生データとして不適
切な再生信号を出力し、もしくは、再生動作自体が停止
してしまうおそれもあり得る。
[0015] As shown in FIG.
Since the data length of the playback unit 113A actually stored in the sub-picture bit buffer 13 is different from that of the playback unit 113A, the data length of the playback unit 113A actually stored in the sub-picture bit buffer 13 is smaller. The decoding is attempted to be performed up to the data portion of the reproduction unit 110Q. However, since the data is not the data of the actual reproduction unit 110P, a normal reproduction operation becomes impossible. Depending on the data content of the reproduction unit 110Q reproduced as data of the reproduction unit 110P, abnormal reproduction control may be performed, an inappropriate reproduction signal may be output as reproduction data, or the reproduction operation itself may be stopped. obtain.

【0016】また、データ内容によって再生単位110
Pとしてのデータ復号が完了出来た場合、副映像復号部
は次の再生単位110Qの再生を開始するが、再生単位
110Pの誤った再生単位長113を使用して再生する
ため、副映像復号部は再生単位110Qの先頭からでは
なく、途中からの再生を行う。このため、再生単位11
0Qの副映像データの再生も正常でない動作となり、こ
こでも副映像復号部の動作が異常となり、不適切な再生
信号の出力を行う場合や、再生動作自体の停止が最悪発
生するおそれがある。再生動作自体が停止した場合、再
生装置にリセットをかけて復号動作の再開を行なう。
Also, depending on the data content, the reproduction unit 110
When data decoding as P is completed, the sub-picture decoding unit starts reproduction of the next reproduction unit 110Q. However, since reproduction is performed using the incorrect reproduction unit length 113 of the reproduction unit 110P, the sub-video decoding unit Performs playback from the middle of the playback unit 110Q, not from the beginning. Therefore, the playback unit 11
The reproduction of the 0Q sub-picture data is also an abnormal operation, and here also the operation of the sub-picture decoding unit becomes abnormal, and there is a possibility that the output of an inappropriate reproduction signal or the stop of the reproduction operation itself may occur at the worst. When the reproducing operation itself is stopped, the reproducing device is reset to restart the decoding operation.

【0017】通常ハングアップ検出するまでにある一定
時間を要し、また、入力された再生途中の副映像データ
も失われるためスムーズな再生が困難となる。
Normally, a certain period of time is required until a hang-up is detected, and the input sub-picture data during reproduction is also lost, so that smooth reproduction becomes difficult.

【0018】なお、このような副映像データの異常によ
る副映像復号部の動作異常は、特殊再生の間欠的なデー
タ入力だけでなく、符号化時のエラーや、伝送路でのエ
ラー混入によってユニット長と再生データの実体の長さ
とが不整合を起こすような場合にも発生し得る問題であ
る。
It is to be noted that such an abnormal operation of the sub-picture decoding unit due to an abnormality in the sub-picture data is caused not only by intermittent data input of special reproduction, but also by an error at the time of encoding and an error mixed in the transmission line. This is also a problem that can occur when the length and the actual length of the reproduced data are inconsistent.

【0019】以上に示すように、特殊再生、符号化時の
エラー、ディスク損傷によるエラー、伝送路でのエラー
により、副映像符号化データ109にエラーが存在する
場合には、副映像復号部が副映像データの再生継続が困
難であるという課題があった。
As described above, if there is an error in the sub-picture coded data 109 due to an error during trick play, encoding, an error due to disc damage, or an error in the transmission path, the sub-picture decoding unit There is a problem that it is difficult to continue the reproduction of the sub-picture data.

【0020】従って本発明の目的は、間欠データが入力
される特殊再生時および符号化時のエラー、ディスク損
傷によるエラー、伝送路でのエラーが存在する場合の少
なくともいずれか一つのエラーが存在する場合において
も、再生動作が不可能となりハングアップすることを回
避する事が出来る画像信号再生装置と再生方法を提供す
ることにある。
Accordingly, an object of the present invention is to provide at least one of errors during special reproduction and encoding when intermittent data is input, errors due to disk damage, and errors in transmission paths. Even in such a case, it is an object of the present invention to provide an image signal reproducing apparatus and a reproducing method capable of preventing a reproduction operation from being disabled and causing a hang-up.

【0021】本発明の他の目的は、間欠データが入力さ
れる特殊再生時および符号化時のエラー、ディスク損傷
によるエラー、伝送路でのエラーが存在する場合の少な
くともいずれか一つのエラーが存在する場合において
も、再生可能なところまで副映像データを復号可能な画
像信号再生装置と再生方法を提供することにある。
Another object of the present invention is to provide an error at the time of special reproduction and encoding when intermittent data is input, an error due to disk damage, and an error in a transmission path. Even in such a case, an object of the present invention is to provide an image signal reproducing apparatus and a reproducing method capable of decoding sub-video data to a point where reproduction is possible.

【0022】[0022]

【課題を解決するための手段】本発明に係る画像信号再
生装置は、音声、映像、副映像、付加情報等がディジタ
ル符号化され、パケット単位で多重化された多重符号化
ストリームを再生する画像信号再生装置であって、前記
多重符号化ストリームは、複数のパックを含み、前記複
数のパックのそれぞれは、少なくとも1つのパケットを
含み、前記パケットは、パケットヘッダとパケット符号
化データを含み、前記パケット符号化データは、パケッ
ト音声符号化データとパケット映像符号化データとパケ
ット副映像符号化データとパケットナビゲーション符号
化データとのいずれかを含み、前記パケット副映像符号
化データは、副映像符号化データを形成し、前記副映像
符号化データは、第1再生単位と第2再生単位とを含
み、前記第1再生単位は、第1ユニットヘッダと第1符
号化ビットマップデータと第1表示制御情報とを含み、
前記第2再生単位は、第2ユニットヘッダと第2符号化
ビットマップデータと第2表示制御情報とを含み、前記
第1再生単位に後続副映像ポインタを付加する入力処理
部と、前記後続副映像ポインタに基づいて前記副映像符
号化データを復号する副映像復号部とを備え、そのこと
により上記目的が達成される。
According to the present invention, there is provided an image signal reproducing apparatus which reproduces a multiplexed coded stream in which audio, video, sub-video, additional information and the like are digitally coded and multiplexed in packet units. The signal reproduction device, wherein the multiplexed coded stream includes a plurality of packs, each of the plurality of packs includes at least one packet, the packet includes a packet header and packet coded data, The packet coded data includes any of packet audio coded data, packet video coded data, packet sub-video coded data, and packet navigation coded data, and the packet sub-video coded data is a sub-video coded data. Data, wherein the sub-picture coded data includes a first playback unit and a second playback unit, and the first playback unit Includes first unit header and the first encoded bit-map data and a first display control information,
The second playback unit includes a second unit header, second encoded bitmap data, and second display control information, and an input processing unit that adds a subsequent sub-picture pointer to the first playback unit; A sub-picture decoding unit for decoding the sub-picture encoded data based on a picture pointer, whereby the object is achieved.

【0023】前記入力処理部は、前記第1再生単位の先
頭に前記後続副映像ポインタを付加してもよい。
[0023] The input processing unit may add the subsequent sub-picture pointer to the beginning of the first playback unit.

【0024】前記入力処理部は、前記第1ユニットヘッ
ダの直後に前記後続副映像ポインタを付加してもよい。
[0024] The input processing unit may add the subsequent sub-picture pointer immediately after the first unit header.

【0025】前記入力処理部は、前記第1再生単位の先
頭を検出するストリーム分離部と、前記第1再生単位に
ダミーデータを付加するストリーム転送制御部とを含ん
でもよい。
[0025] The input processing unit may include a stream separation unit that detects a head of the first playback unit, and a stream transfer control unit that adds dummy data to the first playback unit.

【0026】前記ストリーム転送制御部は、前記第1再
生単位にダミーデータを付加するダミーデータ挿入部
と、前記ダミーデータ挿入部が付加された前記第1再生
単位を転送するデータ転送部と、前記データ転送部が転
送した前記第1再生単位のデータ数をカウントする入力
再生単位長計測部とを含み、前記データ転送部は、前記
入力再生単位長計測部によりカウントされた前記データ
数に基づいて前記後続副映像ポインタを前記ダミーデー
タに上書きしてもよい。
The stream transfer control unit includes: a dummy data insertion unit that adds dummy data to the first reproduction unit; a data transfer unit that transfers the first reproduction unit to which the dummy data insertion unit is added; An input playback unit length measuring unit that counts the number of data of the first playback unit transferred by the data transfer unit, wherein the data transfer unit is configured to perform a process based on the number of data counted by the input playback unit length measurement unit. The subsequent sub-picture pointer may overwrite the dummy data.

【0027】前記画像信号再生装置は、前記入力処理部
により前記後続副映像ポインタが付加された前記第1再
生単位が格納された副映像バッファをさらに備え、前記
副映像復号部は、前記副映像バッファに格納された前記
副映像符号化データを復号してもよい。
[0027] The image signal reproducing apparatus further includes a sub-picture buffer in which the first reproduction unit to which the subsequent sub-picture pointer is added by the input processing section is stored. The encoded sub-picture data stored in the buffer may be decoded.

【0028】本発明に係る画像信号再生方法は、音声、
映像、副映像、付加情報等がディジタル符号化され、パ
ケット単位で多重符号化されたビットストリーム再生に
おける画像信号再生方法であって、前記多重符号化スト
リームは、複数のパックを含み、前記複数のパックのそ
れぞれは、少なくとも1つのパケットを含み、前記パケ
ットは、パケットヘッダとパケット符号化データを含
み、前記パケット符号化データは、パケット音声符号化
データとパケット映像符号化データとパケット副映像符
号化データとパケットナビゲーション符号化データとの
いずれかを含み、前記パケット副映像符号化データは、
副映像符号化データを形成し、前記副映像符号化データ
は、第1再生単位と第2再生単位とを含み、前記第1再
生単位は、第1ユニットヘッダと第1符号化ビットマッ
プデータと第1表示制御情報とを含み、前記第2再生単
位は、第2ユニットヘッダと第2符号化ビットマップデ
ータと第2表示制御情報とを含み、前記第1再生単位に
後続副映像ポインタを付加する第1ステップと、前記後
続副映像ポインタを使用して前記副映像符号化データを
復号する第2ステップとを包含し、そのことにより上記
目的が達成される。
The image signal reproducing method according to the present invention comprises the steps of:
Video, sub-video, additional information and the like are digitally encoded, an image signal reproduction method in the reproduction of a bit stream multiplex-encoded in packet units, wherein the multiplex encoded stream includes a plurality of packs, Each of the packs includes at least one packet, wherein the packet includes a packet header and packet encoded data, wherein the packet encoded data includes packet audio encoded data, packet video encoded data, and packet sub video encoded. Data and any of packet navigation encoded data, the packet sub-picture encoded data,
Forming encoded sub-picture data, wherein the encoded sub-picture data includes a first playback unit and a second playback unit, wherein the first playback unit includes a first unit header, first encoded bitmap data, The second display unit includes first display control information, the second reproduction unit includes a second unit header, second encoded bitmap data, and second display control information, and a subsequent sub-picture pointer is added to the first reproduction unit. And the second step of decoding the encoded sub-picture data using the subsequent sub-picture pointer, thereby achieving the above object.

【0029】前記第1ステップは、前記第1再生単位の
先頭に前記後続副映像ポインタを付加するステップを包
含してもよい。
[0029] The first step may include a step of adding the subsequent sub-picture pointer to the head of the first playback unit.

【0030】前記第1ステップは、前記第1ユニットヘ
ッダの直後に前記後続副映像ポインタを付加するステッ
プを包含する、請求項7記載の画像信号再生方法。
8. The image signal reproducing method according to claim 7, wherein said first step includes a step of adding said subsequent sub-picture pointer immediately after said first unit header.

【0031】前記第1ステップは、間欠データ入力によ
る特殊再生において、前記第1再生単位に後続副映像ポ
インタを付加するステップを包含してもよい。
[0031] The first step may include a step of adding a subsequent sub-picture pointer to the first reproduction unit in special reproduction by intermittent data input.

【0032】前記第1ユニットヘッダは、前記パケット
副映像符号化データが符号化される時に付与された再生
単位長を表すユニットヘッダ長を含み、前記第2ステッ
プは、前記後続副映像ポインタを前記ユニットヘッダ長
に優先して使用するステップを包含してもよい。
[0032] The first unit header includes a unit header length indicating a playback unit length given when the packet sub-picture encoded data is encoded, and the second step includes setting the subsequent sub-picture pointer to the subsequent sub-picture pointer. The method may include a step of using the unit header length in preference to the unit header length.

【0033】前記第2ステップは、前記後続副映像ポイ
ンタと前記ユニットヘッダ長とが一致しない場合には、
入力データエラーと判断し、前記第1再生単位の次の前
記第2再生単位を復号する際に、前記後続副映像ポイン
タを用いて前記第2再生単位の先頭を検出し、前記第2
再生単位を復号してもよい。
In the second step, when the subsequent sub-picture pointer does not match the unit header length,
When it is determined that an input data error has occurred, when decoding the second reproduction unit next to the first reproduction unit, the head of the second reproduction unit is detected using the subsequent sub-picture pointer, and the second
The playback unit may be decoded.

【0034】前記第2ステップは、前記後続副映像ポイ
ンタに基づいて前記第2再生単位をスキップしてもよ
い。
[0034] In the second step, the second reproduction unit may be skipped based on the subsequent sub-picture pointer.

【0035】前記第2ステップは、前記第1表示制御情
報に有効第1表示制御情報が含まれる場合には、前記有
効第1表示制御情報に基づいて前記第1再生単位を復号
してもよい。
[0035] In the second step, when the first display control information includes valid first display control information, the first reproduction unit may be decoded based on the valid first display control information. .

【0036】本発明のある局面に従えば、エラー等で破
壊された副映像の再生単位長ではなく、入力された副映
像符号化データの実質的な再生単位長を副映像復号部が
得られるため、副映像符号化データの再生単位の先頭を
示すユニットヘッダの位置を常に正確に知ることが可能
となる。
According to an aspect of the present invention, the sub-picture decoding unit can obtain not the playback unit length of the sub-picture destroyed due to an error or the like but the substantial playback unit length of the input sub-picture encoded data. Therefore, it is possible to always accurately know the position of the unit header indicating the head of the playback unit of the sub-picture encoded data.

【0037】本発明の他の局面に従えば、特殊再生時ま
たはエラー発生時等の非定常状態であっても副映像符号
化データの再生の信頼性の向上を図ることができる。
According to another aspect of the present invention, it is possible to improve the reproduction reliability of the encoded sub-picture data even in an unsteady state such as at the time of special reproduction or occurrence of an error.

【0038】[0038]

【発明の実施の形態】(実施の形態1)図1は本実施の
形態に係る画像信号再生装置100の構成図である。図
3は特殊再生時において間欠的に入力されるビットスト
リーム(以下「多重符号化ストリーム」という)の説明
図である。図3は、本実施の形態で再生されるビットス
トリームを示す。
(Embodiment 1) FIG. 1 is a configuration diagram of an image signal reproducing apparatus 100 according to the present embodiment. FIG. 3 is an explanatory diagram of a bit stream that is intermittently input during trick play (hereinafter, referred to as a “multiplexed coded stream”). FIG. 3 shows a bit stream reproduced in the present embodiment.

【0039】図1に示す画像信号再生装置100は、音
声、映像、副映像、付加情報等がディジタル符号化さ
れ、パケット単位で多重化された多重符号化ビットスト
リーム108Aの再生を行う。
The image signal reproducing apparatus 100 shown in FIG. 1 reproduces a multiplexed coded bit stream 108A in which audio, video, sub-video, additional information and the like are digitally coded and multiplexed in packet units.

【0040】入力処理部1は、副映像符号化データ10
9を構成する再生単位110P、110Qの先頭部に再
生制御情報(後続再生単位ポインタ)を付加する。なお
先頭識別部(ユニットヘッダ110A)の直後に再生制
御情報を付加するように構成してもよい。
The input processing unit 1 has the sub-picture encoded data 10
The playback control information (subsequent playback unit pointer) is added to the beginning of the playback units 110P and 110Q that make up No. 9. Note that the reproduction control information may be added immediately after the head identification unit (unit header 110A).

【0041】まず、入力処理部1の内部の入力バッファ
25、入力選択スイッチ2、ストリーム分離部3、スト
リーム転送制御部7、入力処理制御部12について入出
力信号に着目してその機能を説明する。その後それぞれ
の内部構成について説明を行う。
First, the functions of the input buffer 25, the input selection switch 2, the stream separation unit 3, the stream transfer control unit 7, and the input processing control unit 12 inside the input processing unit 1 will be described focusing on the input / output signals. . Thereafter, the respective internal configurations will be described.

【0042】画像信号再生装置100に入力された多重
符号化ストリーム108Aは一旦入力バッファ25に格
納される。入力バッファ25は入力された多重符号化ス
トリーム108Aを一旦貯えるバッファで、入力される
多重符号化ストリーム108Aのデータ速度を平滑化
し、後段のストリーム分離部3、ストリーム転送制御部
7へのデータ供給を行う。なお、入力バッファ25より
後段に設けられるストリーム分離部3、ストリーム転送
制御部7は供給される多重符号化ストリーム108Aデ
ータレートに比較して十分高速な処理能力を持つ。
The multiplexed coded stream 108 A input to the image signal reproducing apparatus 100 is temporarily stored in the input buffer 25. The input buffer 25 temporarily stores the input multiplexed coded stream 108A, smoothes the data rate of the input multiplexed coded stream 108A, and supplies data to the stream separation unit 3 and the stream transfer control unit 7 at the subsequent stage. Do. Note that the stream separation unit 3 and the stream transfer control unit 7 provided downstream of the input buffer 25 have a processing capability sufficiently higher than the data rate of the supplied multiplexed stream 108A.

【0043】入力選択スイッチ2は後段のストリーム分
離部3、ストリーム転送制御部7へのいずれかへ入力バ
ッファ25からの多重符号化ストリーム108Aの振り
分けを行うスイッチである。多重符号化ストリーム10
8Aの各パック101に含まれるパックヘッダ107A
の解析時とパケットヘッダ107Bの解析時には端子S
W0は端子SW1に接続される。一方、各パケット10
2に含まれる符号化データ107Cをストリーム転送制
御部7が、符号化データの内容に応じてそれぞれ副映像
バッファ13、ビデオバッファ14、オーディオバッフ
ァ15に格納する際には、端子SW0は端子SW2に接
続される。端子SW1,SW2の切り替えは入力処理制
御部12から発行される信号SIG1にもとづいて実行
される。
The input selection switch 2 is a switch for distributing the multiplexed coded stream 108A from the input buffer 25 to one of the stream separation unit 3 and the stream transfer control unit 7 at the subsequent stage. Multiple encoded stream 10
Pack header 107A included in each pack 101 of 8A
When analyzing the packet header 107B and the packet header 107B, the terminal S
W0 is connected to terminal SW1. On the other hand, each packet 10
When the stream transfer control unit 7 stores the encoded data 107C included in the sub-picture buffer 13, the video buffer 14, and the audio buffer 15 according to the content of the encoded data, the terminal SW0 is connected to the terminal SW2. Connected. Switching between the terminals SW1 and SW2 is performed based on a signal SIG1 issued from the input processing control unit 12.

【0044】ストリーム分離部3は、多重符号化ストリ
ーム108Aの分離を制御するブロックで入力バッファ
25から端子SW1を介して供給される多重符号化スト
リーム108Aを解析する。パケットスタートコード検
出部4は、多重符号化ストリーム108Aからパック1
01の先頭を検出する。ヘッダ解析部5は、パックヘッ
ダ107A、パケットヘッダ107Bを解析し、符号化
データ107Cの再生に必要な制御情報を抽出する。
The stream separation unit 3 analyzes the multiplexed coded stream 108A supplied from the input buffer 25 via the terminal SW1 in a block for controlling the separation of the multiplexed coded stream 108A. The packet start code detection unit 4 converts the multiplexed encoded stream 108A into the pack 1
01 is detected. The header analysis unit 5 analyzes the pack header 107A and the packet header 107B, and extracts control information necessary for reproducing the encoded data 107C.

【0045】パケットヘッダ107Bの解析が完了する
と、ヘッダ解析部5はヘッダ解析完了信号SIG2を入
力処理制御部12に送る。この時再生単位先頭検出部6
は、入力処理制御部12へ現在解析が完了したパケット
102がビデオ、オーディオ、副映像のいずれの符号化
データ107Cを含むかを示すデータ属性信号SIG3
Aを送付する。また、ストリーム転送制御部7は、デー
タ転送時に必要なパケット102内の有効符号化データ
長を表す信号SIG2を入力処理制御部12に送信す
る。
When the analysis of the packet header 107B is completed, the header analysis unit 5 sends a header analysis completion signal SIG2 to the input processing control unit 12. At this time, the reproduction unit head detection unit 6
Is a data attribute signal SIG3 indicating to the input processing control unit 12 whether the packet 102 that has been currently analyzed includes encoded data 107C of video, audio, or sub-picture.
Send A. Further, the stream transfer control unit 7 transmits to the input processing control unit 12 a signal SIG2 indicating the effective encoded data length in the packet 102 required for data transfer.

【0046】ストリーム転送制御部7は、入力処理制御
部12からの信号SIG6によって起動される。ストリ
ーム分離部3によるヘッダ解析が完了した後に、信号S
IG1により入力選択スイッチ12が端子SW2に切り
替えられ、多重符号化ストリーム108Aがストリーム
転送制御部7に入力される。端子SW2を介して入力さ
れた多重符号化ストリーム108Aは、入力処理制御部
12から起動時に信号SIG6により設定されたデータ
属性信号および有効符号化データ長に基づいて、後段の
副映像バッファ13、ビデオバッファ14、オーディオ
バッファ15へメモリバス22を介して振り分けられ
る。入力処理制御部12は、転送すべき有効符号化デー
タ長を信号SIG6により通知する。
The stream transfer control section 7 is activated by a signal SIG6 from the input processing control section 12. After the header analysis by the stream separation unit 3 is completed, the signal S
The input selection switch 12 is switched to the terminal SW2 by the IG1, and the multiplexed coded stream 108A is input to the stream transfer control unit 7. The multiplexed coded stream 108A input via the terminal SW2 is output from the input processing control unit 12 based on the data attribute signal and the effective coded data length set by the signal SIG6 at the time of start-up. The data is distributed to the buffer 14 and the audio buffer 15 via the memory bus 22. The input processing control unit 12 notifies the effective encoded data length to be transferred by a signal SIG6.

【0047】入力処理制御部12は、入力選択スイッチ
2、ストリーム分離部3、ストリーム転送制御部7の制
御を行う入力処理部1の中央制御ブロックである。入力
処理制御部12は、外部ホスト24とホストバス23と
を介して信号SIG9により通信する。
The input processing control unit 12 is a central control block of the input processing unit 1 that controls the input selection switch 2, the stream separation unit 3, and the stream transfer control unit 7. The input processing control unit 12 communicates with the external host 24 and the host bus 23 using the signal SIG9.

【0048】以上が入力処理部1を構成する大きな機能
ブロックである入力バッファ25、入力選択スイッチ
2、ストリーム分離部3、ストリーム転送制御部7、入
力処理制御部12の構成の概要である。
The above is an outline of the configuration of the input buffer 25, the input selection switch 2, the stream separation unit 3, the stream transfer control unit 7, and the input processing control unit 12, which are the large functional blocks constituting the input processing unit 1.

【0049】次に上記機能ブロックの中のストリーム分
離部3、ストリーム転送制御部7の内部構成の説明を行
う。
Next, the internal configuration of the stream separation unit 3 and the stream transfer control unit 7 in the above functional blocks will be described.

【0050】まず、ストリーム分離部3の内部構成の説
明を行う。ストリーム分離部3はパケットスタートコー
ド検出部4、ヘッダ解析部5、再生単位先頭検出部6と
で構成される。入力処理制御部12によりパケットスタ
ートコード検出部4は起動され、端子SW1より入力さ
れた多重符号化ストリーム108Aをパック101ごと
にパケットスタートコード検出部4が読み出す。読み出
すデータ長は通常は1バイト単位であるが、1バイトで
なく別のデータ長でも構わない。
First, the internal configuration of the stream separation unit 3 will be described. The stream separation unit 3 includes a packet start code detection unit 4, a header analysis unit 5, and a playback unit head detection unit 6. The packet start code detection unit 4 is started by the input processing control unit 12, and the packet start code detection unit 4 reads the multiplexed coded stream 108A input from the terminal SW1 for each pack 101. The data length to be read is usually in units of 1 byte, but may be another data length instead of 1 byte.

【0051】パケットスタートコード検出部4は、パッ
クヘッダ107Aおよびパケットスタートコード前置コ
ード103を検出すると、ヘッダ解析部5を信号SIG
7により起動する。信号SIG7には検出したパケット
の種類を識別するパケット属性信号が含まれる。
When detecting the pack header 107A and the packet start code prefix code 103, the packet start code detection section 4 outputs the signal SIG to the header analysis section 5.
7 is activated. The signal SIG7 includes a packet attribute signal for identifying the type of the detected packet.

【0052】パケットスタートコード検出部4は、端子
SW1からの多重符号化ストリーム108Aをヘッダ解
析部5に供給する。信号SIG7により起動されたヘッ
ダ解析部5はパック101およびパケット102の解析
を行う。ヘッダ解析部5は、多重符号化ストリーム10
8Aの再生に必要なパケットヘッダ107B中の再生時
間情報106等の抽出を行う。再生時間情報を抽出する
と、ヘッダ解析部5は再生時間情報有効信号を信号SI
G8Aにより再生単位先頭検出部6へ送る。
The packet start code detecting section 4 supplies the multiplexed coded stream 108A from the terminal SW1 to the header analyzing section 5. The header analysis unit 5 activated by the signal SIG7 analyzes the pack 101 and the packet 102. The header analysis unit 5 includes a multiplexed coded stream 10
The reproduction time information 106 and the like in the packet header 107B necessary for reproduction of 8A are extracted. When the playback time information is extracted, the header analysis unit 5 outputs a playback time information valid signal to the signal SI.
The data is sent to the reproduction unit head detection unit 6 by G8A.

【0053】DVD準拠のストリームの場合には、オー
ディオ符号化データと副映像符号化データとを分離する
ため、ヘッダ解析部5は符号化データ107Cの先頭の
識別子までを解析する。ヘッダ解析が完了するとヘッダ
解析部5は信号SIG2によりヘッダの解析完了とヘッ
ダ解析が完了したパケット102に含まれる符号化デー
タ107Cの種類を示すデータ属性信号を入力処理制御
部12へ送る。
In the case of a stream conforming to the DVD, the header analysis unit 5 analyzes up to the first identifier of the encoded data 107C in order to separate the encoded audio data and the encoded sub-video data. When the header analysis is completed, the header analysis unit 5 sends a data attribute signal indicating the completion of the header analysis and the type of the encoded data 107C included in the packet 102 whose header analysis is completed to the input processing control unit 12 by the signal SIG2.

【0054】処理するパケット102がヘッダ解析部5
での解析により副映像パケットであると判断できた際
に、ヘッダ解析部5は副映像パケット解析信号を信号S
IG8Bにより再生単位先頭検出部6へ送る。再生単位
先頭検出部6は、再生時間情報有効信号と副映像パケッ
ト解析信号とに基づいて副映像の再生単位の先頭が副映
像パケットに含まれることを検出し、信号SIG3Bに
より入力処理制御部12に副映像の再生単位先頭検出信
号を送る。
The packet 102 to be processed is the header analysis unit 5
When the header analysis unit 5 determines that the packet is a sub-video packet by the analysis of
It is sent to the reproduction unit head detection unit 6 by the IG 8B. The playback unit head detector 6 detects that the head of the playback unit of the sub-picture is included in the sub-picture packet based on the playback time information valid signal and the sub-picture packet analysis signal, and based on the signal SIG3B, the input processing controller 12. To the sub-picture reproduction unit start detection signal.

【0055】DVD規格準拠の副映像パケットの場合に
は、再生時間情報106(PTS、Presentat
ion Time Stamp)が存在する副映像パケ
ット102には副映像パケットの再生単位の先頭のデー
タが符号化データ107Cの先頭部に含まれるため、再
生単位先頭検出部6は再生時間情報有効信号と副映像パ
ケット解析信号とからなる信号SIG8により、副映像
符号化データを含むパケット102の先頭を検出するこ
とができる。以上がストリーム分離部3の内部構成の詳
細である。
In the case of a sub-picture packet conforming to the DVD standard, the reproduction time information 106 (PTS, Presentat
In the sub-video packet 102 having the “ion Time Stamp”, the head data of the reproduction unit of the sub-video packet is included in the head of the encoded data 107C. The signal SIG8 including the video packet analysis signal makes it possible to detect the head of the packet 102 including the sub video encoded data. The details of the internal configuration of the stream separation unit 3 have been described above.

【0056】次にストリーム転送制御部7の内部構成の
説明を行う。ストリーム転送制御部7はヘッダ解析部5
によるパケットヘッダ107Bの解析が終了した後、パ
ケット102内に含まれる副映像符号化データ107C
の抽出を行う。本発明の場合、副映像符号化データ10
7Cの抽出のみでなく、副映像符号化データ107Cの
加工処理も行う。
Next, the internal configuration of the stream transfer control section 7 will be described. The stream transfer control unit 7 includes a header analysis unit 5
After the analysis of the packet header 107B is completed, the sub-picture encoded data 107C included in the packet 102
Is extracted. In the case of the present invention, the sub-picture encoded data 10
Not only extraction of 7C but also processing of encoded sub-picture data 107C is performed.

【0057】入力処理制御部12により発行されたデー
タ属性信号と有効符号化データ長とを含む信号SIG6
によって起動されたデータ転送部10は、副映像データ
の再生単位110Pの先頭か否かで転送選択スイッチ9
のスイッチ切り替えを信号SIG5で制御する。副映像
の再生単位110Pの先頭でない場合には、データ転送
部10は信号SIG5により転送選択スイッチ9を端子
SW4側に設定し、入力バッファ25からの副映像符号
化データを端子SW2を介して読み出し、メモリバス2
2を介してデータ属性信号と有効符号化データ長とに基
づいて副映像バッファ13、ビデオバッファ14、オー
ディオバッファ15への副映像符号化データ107Cを
転送する。
The signal SIG6 including the data attribute signal issued by the input processing control unit 12 and the effective encoded data length
The data transfer unit 10 started by the data transfer unit 10 determines whether or not it is the head of the reproduction unit 110P of the sub-video data.
Is controlled by the signal SIG5. If it is not the head of the sub-picture reproduction unit 110P, the data transfer unit 10 sets the transfer selection switch 9 to the terminal SW4 by the signal SIG5, and reads the sub-picture encoded data from the input buffer 25 via the terminal SW2. , Memory bus 2
2, the sub-picture encoded data 107C is transferred to the sub-picture buffer 13, video buffer 14, and audio buffer 15 based on the data attribute signal and the effective encoded data length.

【0058】入力処理制御部12からの信号SIG6に
より副映像の再生単位110Pの先頭を表す信号SIG
6を受け取ると、データ転送部10は副映像の再生単位
110Pの先頭部にダミーデータを挿入するために信号
SIG5により転送選択スイッチ9を端子SW3側に設
定する。信号SIG5はダミーデータ挿入部8にも入力
され、ダミーデータ挿入部8は所定長のダミーデータの
出力を開始する。
A signal SIG representing the head of the sub-picture reproduction unit 110P is obtained by a signal SIG6 from the input processing control unit 12.
6, the data transfer unit 10 sets the transfer selection switch 9 to the terminal SW3 by the signal SIG5 in order to insert dummy data at the head of the sub-picture reproduction unit 110P. The signal SIG5 is also input to the dummy data insertion unit 8, and the dummy data insertion unit 8 starts outputting dummy data of a predetermined length.

【0059】端子SW3を介してダミーデータはデータ
転送部10に入力され、メモリバス22を介して副映像
バッファ13へ転送される。ダミーデータの転送をデー
タ転送部10が完了すると、信号SIG5により転送選
択スイッチ9を端子SW4側に切り替え、副映像パケッ
ト102の終端までを副映像バッファ13へ転送する。
The dummy data is input to the data transfer section 10 via the terminal SW3, and is transferred to the sub-picture buffer 13 via the memory bus 22. When the transfer of the dummy data is completed by the data transfer unit 10, the transfer selection switch 9 is switched to the terminal SW4 by the signal SIG5, and the data up to the end of the sub-picture packet 102 is transferred to the sub-picture buffer 13.

【0060】データ転送部10は、副映像のパケット1
02の符号化データ107Cを1バイト転送する毎にデ
ータ転送長を信号SIG13により副映像ユニットポイ
ンタ計算部11(入力再生単位長計測部)に通知する。
再生単位110Qの先頭を含む次の副映像データを転送
するように入力処理制御部12により起動された場合
に、データ転送部10は信号SIG13により副映像の
再生単位110Pの転送が完結したことを副映像ユニッ
トポインタ計算部11に通知する。また転送選択スイッ
チ9を端子SW3に切り替える。副映像ユニットポイン
タ計算部11は、副映像再生単位110Pの先頭部より
パケット102単位で計算してきた転送長の総和を後続
副映像ポインタ長として信号SIG10によりダミーデ
ータ挿入部8に送付する.ダミーデータ挿入部8は、与
えられた後続副映像ポインタ長を出力し、端子SW3を
介してデータ転送部10に送り、データ転送部10は、
後続副映像ポインタ長を副映像バッファ13のダミーデ
ータ領域に上書きする。ダミーデータの上書きが完了す
ると、ダミーデータ挿入部8は、再度新しく検出した副
映像データの再生単位110Qの先頭部のダミーデータ
挿入処理を開始する。以上がストリーム転送制御部7の
内部構成である。
The data transfer unit 10 transmits the sub-picture packet 1
Each time one byte of the 02 coded data 107C is transferred, the data transfer length is notified to the sub-picture unit pointer calculation unit 11 (input reproduction unit length measurement unit) by the signal SIG13.
When activated by the input processing control unit 12 to transfer the next sub-video data including the head of the reproduction unit 110Q, the data transfer unit 10 determines that the transfer of the sub-video reproduction unit 110P is completed by the signal SIG13. The sub video unit pointer calculation unit 11 is notified. Further, the transfer selection switch 9 is switched to the terminal SW3. The sub-picture unit pointer calculation unit 11 sends the sum of the transfer lengths calculated for each packet 102 from the head of the sub-picture reproduction unit 110P to the dummy data insertion unit 8 by the signal SIG10 as the subsequent sub-picture pointer length. The dummy data insertion unit 8 outputs the given subsequent sub-picture pointer length and sends it to the data transfer unit 10 via the terminal SW3.
The length of the subsequent sub-picture pointer is overwritten on the dummy data area of the sub-picture buffer 13. When the overwriting of the dummy data is completed, the dummy data insertion unit 8 starts the dummy data insertion processing of the head portion of the reproduction unit 110Q of the newly detected sub-video data again. The above is the internal configuration of the stream transfer control unit 7.

【0061】本実施の形態の画像信号再生装置100
は、上記入力処理以外にも入力処理部1により分離され
た符号化データ107Cの再生を行う復号部17、副映
像バッファ13、ビデオバッファ14、オーディオバッ
ファ15、ワークメモリ16、ホストバス23および外
部ホスト24が含まれる。副映像バッファ13、ビデオ
バッファ14およびオーディオバッファ15は入力処理
部1でパケットヘッダ107Bを除去し、分離された副
映像、ビデオ、オーディオの符号化データ107Cが格
納される。
The image signal reproducing apparatus 100 according to the present embodiment
Is a decoding unit 17 for reproducing the encoded data 107C separated by the input processing unit 1 in addition to the above-described input processing, a sub-picture buffer 13, a video buffer 14, an audio buffer 15, a work memory 16, a host bus 23 and an external Host 24 is included. The sub-picture buffer 13, the video buffer 14, and the audio buffer 15 remove the packet header 107B in the input processing unit 1 and store separated sub-picture, video, and audio encoded data 107C.

【0062】各バッファに格納された符号化データ10
7Cは復号部17に含まれる副映像復号部18、ビデオ
復号部19、オーディオ復号部20により読み出され復
号される。復号の際に各復号部はワークメモリ16を使
用し復号動作を行う.復号された副映像とビデオの信号
はブレンダー21で合成され映像信号出力として装置外
部へ出力される。オーディオ復号部20の再生結果も音
声出力信号として画像信号再生装置100の外部へ出力
される。
The encoded data 10 stored in each buffer
7C is read and decoded by the sub-picture decoding unit 18, the video decoding unit 19, and the audio decoding unit 20 included in the decoding unit 17. At the time of decoding, each decoding unit performs a decoding operation using the work memory 16. The decoded sub-video and video signals are combined by the blender 21 and output to the outside of the apparatus as a video signal output. The reproduction result of the audio decoding unit 20 is also output to the outside of the image signal reproducing device 100 as an audio output signal.

【0063】また外部ホスト24は入力処理部1および
復号部17への初期設定や再生途中での設定変更をホス
トバス23を介して信号SIG9、信号SIG11、信
号SIG12および信号SIG14により行う。
The external host 24 performs initial settings to the input processing unit 1 and the decoding unit 17 and changes of settings during reproduction by using the signals SIG9, SIG11, SIG12, and SIG14 via the host bus 23.

【0064】以上が本実施の形態の画像信号再生装置1
00を構成する機能ブロックの説明である。
The above is the description of the image signal reproducing apparatus 1 of the present embodiment.
It is a description of the functional blocks constituting 00.

【0065】以下では各機能ブロックを統合した動作の
詳細を入力処理部1と副映像復号部18について説明す
る。
Hereinafter, the details of the operation in which the respective functional blocks are integrated will be described for the input processing unit 1 and the sub-picture decoding unit 18.

【0066】(入力処理の動作)図5は本実施の形態に
係る入力処理部1の動作フローである。この動作フロー
をもとに以下で説明を行う。図7は本実施の形態に係る
間欠再生時の副映像データの再生時の後続再生単位ポイ
ンタ付加の動作説明図である。
(Operation of Input Processing) FIG. 5 is an operation flow of the input processing unit 1 according to the present embodiment. The following is a description based on this operation flow. FIG. 7 is an explanatory diagram of an operation of adding a subsequent playback unit pointer during playback of sub-picture data during intermittent playback according to the present embodiment.

【0067】多重符号化ストリーム108Aの入力開始
時は入力選択スイッチ2は端子SW1に接続されてい
る。
At the start of input of the multiplexed coded stream 108A, the input selection switch 2 is connected to the terminal SW1.

【0068】入力された多重符号化ストリーム108A
は画像信号再生装置100の入力処理部1に入力され
る。ストリーム分離部3のパケットスタートコード検出
部4は、入力された多重符号化ストリーム108Aのパ
ケット102が音声、映像、副映像、付加情報のうちの
いずれの符号化データを含むパケットであるかを判定す
る。
Input multiplexed coded stream 108A
Is input to the input processing unit 1 of the image signal reproducing apparatus 100. The packet start code detection unit 4 of the stream separation unit 3 determines whether the input packet 102 of the multiplexed coded stream 108A is a packet including any of coded data of audio, video, sub-video, and additional information. I do.

【0069】ステップST1では、図7に示す副映像パ
ケットSPU1_1を検出すると、入力処理部1は副映
像パケットSPU1_1の処理を開始する。パケットス
タートコード検出部4は、副映像パケットSPU1_1
を検出すると再生単位先頭検出部6に通知を行なう。そ
の後、ヘッダ解析部5が起動され、前記符号化データの
パケットヘッダ107Bを解析し、再生に必要な再生時
間情報等の抽出を行う。ヘッダ解析部5は、再生時間情
報を検出すると再生単位先頭検出部6へ通知を行なう。
In step ST1, upon detecting the sub-picture packet SPU1_1 shown in FIG. 7, the input processing unit 1 starts processing the sub-picture packet SPU1_1. The packet start code detection unit 4 outputs the sub-picture packet SPU1_1
Is detected, the playback unit head detection unit 6 is notified. Thereafter, the header analysis unit 5 is activated, analyzes the packet header 107B of the encoded data, and extracts reproduction time information and the like necessary for reproduction. When detecting the playback time information, the header analysis unit 5 notifies the playback unit head detection unit 6.

【0070】ステップST2では、再生単位先頭検出部
6はパケットスタートコード検出部4からの副映像パケ
ットの通知とヘッダ解析部5からの再生時間情報が含ま
れることを知らせる通知とに基づいて、該副映像パケッ
トSPU1_1が再生単位110Pの先頭データを含む
ことを判定する。副映像パケットSPU1_1の再生単
位110Pの先頭はDVD準拠の場合、パケットヘッダ
107Bに表示時間情報が付加されるため、この副映像
パケットのパケットヘッダの中の表示時間情報(PT
S)により副映像パケットSPU1_1の再生単位11
0Pの先頭を検出する。
In step ST 2, the reproduction unit head detection section 6 performs the sub-picture packet notification from the packet start code detection section 4 and the notification from the header analysis section 5 notifying that the reproduction time information is included. It is determined that the sub-picture packet SPU1_1 includes the head data of the reproduction unit 110P. When the head of the reproduction unit 110P of the sub-picture packet SPU1_1 is DVD-compliant, display time information is added to the packet header 107B, so that the display time information (PT
S), the reproduction unit 11 of the sub-picture packet SPU1_1
The head of 0P is detected.

【0071】ステップST3では、再生単位110Pの
先頭部のデータが含まれる副映像パケットSPU1_1
の場合、転送選択スイッチ9が端子SW3に接続され、
ストリーム転送制御部7のダミーデータ挿入部8によっ
てダミーデータが領域を確保するために挿入される。デ
ータ転送部10は、ダミーデータ挿入部8によって挿入
されたダミーデータを副映像バッファ13へ転送する。
データ転送部10は、副映像バッファ13内でのダミー
データの先頭アドレスを記憶する。この時点での副映像
バッファ13内の状態B1を図7に示す。ダミーデータ
の転送が完了すると入力選択スイッチ2は端子SW2に
接続される。なお、ダミーデータ挿入部8が映像符号化
データの再生単位の先頭に挿入するダミーデータには、
後続副映像ポインタ値と混同しないパターンのデータを
選ぶ。
At step ST3, the sub-picture packet SPU1_1 containing the data at the head of the reproduction unit 110P
, The transfer selection switch 9 is connected to the terminal SW3,
Dummy data is inserted by the dummy data insertion unit 8 of the stream transfer control unit 7 to secure an area. The data transfer unit 10 transfers the dummy data inserted by the dummy data insertion unit 8 to the sub video buffer 13.
The data transfer unit 10 stores the head address of the dummy data in the sub-picture buffer 13. FIG. 7 shows the state B1 in the sub-picture buffer 13 at this time. When the transfer of the dummy data is completed, the input selection switch 2 is connected to the terminal SW2. The dummy data inserted by the dummy data insertion unit 8 at the beginning of the playback unit of the video encoded data includes:
Data of a pattern that is not confused with the subsequent sub-picture pointer value is selected.

【0072】ステップST4では、ダミーデータの転送
完了後、副映像ユニットポインタ計算部11は後続副映
像ポインタの値を初期化する。
In step ST4, after the completion of the transfer of the dummy data, the sub-picture unit pointer calculation section 11 initializes the value of the subsequent sub-picture pointer.

【0073】ステップST5では、後続副映像ポインタ
の値の初期化が完了すると、ストリーム転送制御部7の
データ転送部10は副映像バッファ13に副映像データ
の転送を開始する。
In step ST5, when the initialization of the value of the subsequent sub-picture pointer is completed, the data transfer section 10 of the stream transfer control section 7 starts to transfer the sub-picture data to the sub-picture buffer 13.

【0074】ステップST6では、データ転送部10は
副映像データを1バイト単位で転送する毎に転送データ
長を副映像ユニットポインタ計算部11に通知する。副
映像ユニットポインタ計算部11は、転送データ長の加
算を実行する。上記転送データ長の副映像ユニットポイ
ンタ計算部11での加算はパケットSPU1_1のデー
タ転送が完了するまで実行される。ステップST7で副
映像パケットSPU1_1のデータ転送が完了すると入
力選択スイッチ2は端子SW1に接続される。
In step ST6, the data transfer section 10 notifies the sub-picture unit pointer calculation section 11 of the transfer data length every time the sub-picture data is transferred in 1-byte units. The sub-picture unit pointer calculator 11 adds the transfer data length. The addition of the transfer data length in the sub-picture unit pointer calculation unit 11 is executed until the data transfer of the packet SPU1_1 is completed. When the data transfer of the sub-picture packet SPU1_1 is completed in step ST7, the input selection switch 2 is connected to the terminal SW1.

【0075】この時点での副映像バッファ内の状態B1
を図7に示す。副映像パケットSPU1_1のデータ転
送が完了し、次の副映像パケットSPU1_2が入力処
理部1に入力されるとパケットスタートコード検出部4
で副映像パケットの検出が行なわれ、再生単位先頭検出
部6に通知される。その後、ヘッダ解析部5でヘッダ解
析が行なわれ、再生時間情報の有無が判定される。
The state B1 in the sub-picture buffer at this time
Is shown in FIG. When the data transfer of the sub-picture packet SPU1_1 is completed and the next sub-picture packet SPU1_2 is input to the input processing unit 1, the packet start code detection unit 4
, The sub-picture packet is detected, and the sub-picture packet is notified to the reproduction unit head detection unit 6. Thereafter, header analysis is performed by the header analysis unit 5 to determine the presence or absence of reproduction time information.

【0076】副映像パケットSPU1_2の場合、再生
単位110Pの先頭データが含まれていないため、再生
時間情報は含まれない。ヘッダ解析部5は再生時間情報
が含まれていないことを再生単位先頭検出部6に通知す
る。副映像パケット検出と再生時間情報が存在しないと
いう通知により再生単位先頭検出部6は副映像パケット
SPU1_2が再生単位110Pの先頭でないことを判
定する(ステップST2)。
In the case of the sub-picture packet SPU1_2, since the head data of the reproduction unit 110P is not included, the reproduction time information is not included. The header analysis unit 5 notifies the reproduction unit head detection unit 6 that the reproduction time information is not included. By detecting the sub-video packet and notifying that the reproduction time information does not exist, the reproduction unit head detection unit 6 determines that the sub-video packet SPU1_2 is not the head of the reproduction unit 110P (step ST2).

【0077】ヘッダ解析が完了すると入力選択スイッチ
1は端子SW2に接続される。副映像パケットSPU1
_2のデータの転送に際しては副映像ユニットポインタ
計算部11の後続副映像ポインタ値は初期化されず、デ
ータ転送部10のデータ転送完了毎に転送データ長が後
続副映像ポインタ値に加算されていく(ステップST
5,ST6,ST7)。副映像パケットSPU1_2の
データ転送が完了すると入力選択スイッチ1は端子SW
1に接続される。
When the header analysis is completed, the input selection switch 1 is connected to the terminal SW2. Sub-picture packet SPU1
In the transfer of the data _2, the subsequent sub-picture pointer value of the sub-picture unit pointer calculation unit 11 is not initialized, and the transfer data length is added to the subsequent sub-picture pointer value every time the data transfer of the data transfer unit 10 is completed. (Step ST
5, ST6, ST7). When the data transfer of the sub-picture packet SPU1_2 is completed, the input selection switch 1
Connected to 1.

【0078】この時点での副映像バッファ13内の状態
B3を図7に示す。間欠転送(特殊再生)のため、副映
像パケットSPU1_2のデータ転送が完了した後、副
映像パケットSPU1_3が入力されないため、次の副
映像パケットSPU2_1が入力処理部1に入力される
とパケットスタートコード検出部4で副映像パケットの
検出が行なわれ、再生先頭検出部6に通知される。
FIG. 7 shows the state B3 in the sub-picture buffer 13 at this time. Because of the intermittent transfer (special playback), after the data transfer of the sub-picture packet SPU1_2 is completed, the sub-picture packet SPU1_3 is not input. The sub-picture packet is detected by the section 4 and is notified to the reproduction head detection section 6.

【0079】その後、ヘッダ解析部5でヘッダ解析が行
なわれ、再生時間情報の有無が判定される。副映像パケ
ットSPU2_1の場合、再生単位先頭データが含まれ
ているため、再生時間情報は存在する。ヘッダ解析部5
は再生時間情報が含まれていることを再生単位先頭検出
部6に通知する。再生単位先頭検出部6は前記副映像パ
ケット通知と再生時間情報が含まれることを知らせる通
知とに基づいて、副映像パケットが再生単位110Qの
先頭データを含むことを判定する。この時、副映像ユニ
ットポインタ計算部11の管理する後続副映像ポインタ
値には入力された副映像の再生単位110Qのデータ長
が反映されていることになる。
Thereafter, the header analysis section 5 performs header analysis to determine whether or not there is reproduction time information. In the case of the sub-picture packet SPU2_1, the playback time information exists because the playback unit head data is included. Header analysis unit 5
Notifies the playback unit head detector 6 that playback time information is included. The playback unit head detector 6 determines that the sub-picture packet includes the head data of the playback unit 110Q based on the sub-video packet notification and the notification that the playback time information is included. At this time, the data length of the input sub-picture playback unit 110Q is reflected in the subsequent sub-picture pointer value managed by the sub-picture unit pointer calculation unit 11.

【0080】この場合、2回目の副映像再生単位の先頭
検出であるため(ステップST2,ST8)、副映像ユ
ニットポインタ計算部11の管理する後続副映像ポイン
タ値を副映像バッファ13内の副映像パケットSPU1
_1の先頭部につけたダミーデータ部への上書きをダミ
ーデータ転送時に記憶していたダミーデータの副映像バ
ッファ13内でのアドレスを使ってデータ転送部10が
行なう(ST9)。この時点での副映像バッファ13内
の状態B4を図7に示す。
In this case, since the start of the second sub-picture reproduction unit is detected (steps ST2 and ST8), the subsequent sub-picture pointer value managed by the sub-picture unit pointer calculation unit 11 is set to the sub-picture buffer in the sub-picture buffer 13. Packet SPU1
The data transfer unit 10 overwrites the dummy data portion added to the head of _1 using the address in the sub-picture buffer 13 of the dummy data stored during the dummy data transfer (ST9). FIG. 7 shows the state B4 in the sub-picture buffer 13 at this time.

【0081】以上のような一連の入力処理部1の制御に
より、入力された副映像データの実質的な副映像の再生
単位長が後続副映像ポインタとして再生単位の先頭に付
加される。
Under the above-described control of the input processing unit 1, the substantial sub-picture playback unit length of the input sub-picture data is added to the beginning of the playback unit as a subsequent sub-picture pointer.

【0082】(副映像復号部の動作)副映像復号部18
は、副映像ビットバッファ13には再生単位110Pの
先頭から副映像符号化データ109が格納されていると
想定し、ユニットヘッダ110Aの解析を行い、ユニッ
トヘッダ長、符号化ビットマップデータの終端と再生表
示制御情報の先頭情報を取得する。副映像復号部18は
再生時間情報を元に再生開始タイミングが到達したのを
確認して符号化ビットマップデータ110Bを復号し、
復号したビットマップデータの表示位置、表示効果等を
調整し、副映像データの再生を行う。
(Operation of Sub-picture Decoding Unit) Sub-picture decoding unit 18
Assumes that the sub-picture bit buffer 13 stores the sub-picture encoded data 109 from the beginning of the reproduction unit 110P, analyzes the unit header 110A, and determines the unit header length, the end of the encoded bit map data, Obtain the head information of the reproduction display control information. The sub-picture decoding unit 18 confirms that the reproduction start timing has arrived based on the reproduction time information, and decodes the encoded bitmap data 110B.
The display position, display effect, and the like of the decoded bitmap data are adjusted, and the sub-video data is reproduced.

【0083】次に上記入力処理部1で付加した後続副映
像ポインタ値を用いての副映像復号部18の復号動作を
以下で示す。本実施の形態では、副映像の再生の際に符
号化時に付与されたユニットヘッダ記載の再生単位長を
使用せず、入力された副映像データを解析した結果の実
質的な再生単位を示す後続副映像ポインタを使用し復号
動作を行なう。このことより、副映像の再生単位の先頭
に含まれるユニットヘッダ記載の再生単位長が誤ってい
た場合であっても、副映像の再生時の誤った表示制御情
報の復号に基づく画像表示の異常や、ハングアップによ
る副映像の復号の停止を防止することができる。
Next, the decoding operation of the sub-picture decoding unit 18 using the subsequent sub-picture pointer value added by the input processing unit 1 will be described below. In the present embodiment, when the sub-picture is reproduced, the reproduction unit length described in the unit header given at the time of encoding is not used, and the subsequent sub-picture indicating the substantial reproduction unit as a result of analyzing the input sub-picture data is used. The decoding operation is performed using the sub-picture pointer. Thus, even if the playback unit length described in the unit header included at the beginning of the playback unit of the sub-picture is incorrect, abnormal display of the image based on decoding of incorrect display control information at the time of playback of the sub-picture is abnormal. Also, it is possible to prevent the suspension of the decoding of the sub-picture due to the hang-up.

【0084】図6は副映像復号部18の動作フローであ
る。ステップST201では、副映像復号部18は副映
像ビットバッファ13に格納された副映像データの読み
出しを行ない、副映像データの先頭部に位置する後続副
映像ポインタを取得する。
FIG. 6 is an operation flow of the sub-picture decoding unit 18. In step ST201, the sub-picture decoding unit 18 reads the sub-picture data stored in the sub-picture bit buffer 13, and acquires a subsequent sub-picture pointer located at the head of the sub-picture data.

【0085】ステップST201、ST202では後続
副映像ポインタの取得後、次に位置するユニットヘッダ
の解析をスタートする。
In steps ST201 and ST202, after acquiring the subsequent sub-picture pointer, the analysis of the next unit header is started.

【0086】ステップST203では、ユニットヘッダ
の解析により、ユニットヘッダ長、表示制御情報先頭ア
ドレスの取得を行なう。この時、ステップST204で
は後続副映像ポインタとユニットヘッダ長との比較を行
ない、その大小により副映像の再生制御を切替える。後
続副映像ポインタとユニットヘッダ長とが一致している
場合は、ユニットヘッダ長に対応する副映像データが全
て副映像バッファ13に格納されており、通常の副映像
の復号動作を行なう。一方、後続副映像ポインタとユニ
ットヘッダ長とが一致しない場合、ユニットヘッダ長に
対応する副映像データが副映像バッファ13に格納され
ていないことを示し、入力データエラーと判断する。
In step ST203, the unit header length and the display control information start address are obtained by analyzing the unit header. At this time, in step ST204, the subsequent sub-picture pointer is compared with the unit header length, and the reproduction control of the sub-picture is switched according to the magnitude. If the subsequent sub-picture pointer matches the unit header length, all the sub-picture data corresponding to the unit header length is stored in the sub-picture buffer 13, and a normal sub-picture decoding operation is performed. On the other hand, if the subsequent sub-picture pointer does not match the unit header length, it indicates that the sub-picture data corresponding to the unit header length is not stored in the sub-picture buffer 13, and determines that there is an input data error.

【0087】(i)通常の副映像データの復号動作 まず、通常の副映像データの復号動作について示す。(I) Normal Sub-Video Data Decoding Operation First, normal sub-video data decoding operation will be described.

【0088】ステップST205では副映像バッファ1
3内の符号化ビットマップデータ110Bの先頭アドレ
スと表示制御情報110Cの先頭アドレスとをユニット
ヘッダ解析で得たパラメータを元に計算し、読み出しの
準備を行なう。
In step ST205, the sub-picture buffer 1
The head address of the coded bitmap data 110B in 3 and the head address of the display control information 110C are calculated based on the parameters obtained by the unit header analysis, and preparation for reading is performed.

【0089】ステップST206では表示制御情報11
0Cの読み出しを行ない、表示制御情報110Cの解析
を行なう。ステップST207では再生単位に付加され
た表示時間情報(PTS)と表示制御情報110Cに含
まれる時間情報(DCSQ)に基づいて表示開始すべき
か否かを判定する。
In step ST206, the display control information 11
0C is read, and the display control information 110C is analyzed. In step ST207, it is determined whether to start display based on the display time information (PTS) added to the playback unit and the time information (DCSQ) included in the display control information 110C.

【0090】表示開始の場合、解析した表示制御情報1
10Cに基づいて表示制御の設定を行ない(ステップS
T208)、符号化ビットマップデータ110Bの復号
を開始する(ステップST209)。
When the display is started, the analyzed display control information 1
The display control is set based on 10C (step S
T208), decoding of the encoded bitmap data 110B is started (step ST209).

【0091】ステップST210では、複数の表示制御
シークエンスが含まれる場合、表示制御情報110Cを
使って再生単位110Pの再生が全て終了したか否かを
判定し、該再生単位110Pの再生完了を判断する。
In step ST210, when a plurality of display control sequences are included, it is determined whether or not the reproduction of the reproduction unit 110P has been completed by using the display control information 110C, and the reproduction of the reproduction unit 110P has been completed. .

【0092】ステップST211では、再生単位110
Pの復号が完了するとエラーフラグが1か否かを判断す
る。この場合、エラーフラグは立っていないので、副映
像バッファ13の読みだしポインタをユニットヘッダで
規定される次の再生単位110Qの先頭のアドレスに設
定し、次の再生単位110Qの再生動作に遷移する(ス
テップST213)。
In step ST211, the reproduction unit 110
When the decoding of P is completed, it is determined whether the error flag is 1 or not. In this case, since the error flag is not set, the read pointer of the sub-picture buffer 13 is set to the head address of the next reproduction unit 110Q specified by the unit header, and the operation transits to the reproduction operation of the next reproduction unit 110Q. (Step ST213).

【0093】(ii)エラー時の副映像データの復号動
作 次に後続副映像ポインタとユニットヘッダ長が一致しな
い場合の動作フローについて説明する。この場合、ステ
ップST214ではまずエラーフラグを1に立てる。
(Ii) Decoding Operation of Sub-picture Data at the Time of Error Next, an operation flow when the subsequent sub-picture pointer and the unit header length do not match will be described. In this case, in step ST214, the error flag is set to 1 first.

【0094】次にステップST215では、表示制御情
報110Cの先頭ポインタと後続副映像ポインタの値と
を比較し、後続副映像ポインタの方が小さい場合、表示
制御情報110Cは全く副映像バッファ13内の該再生
単位110Pには含まれないため、エラーフラグが1で
あるかを判断(ステップST211)して、副映像バッ
ファ13の読みだしアドレスを後続副映像ポインタで示
すアドレスにして、次の副映像の再生単位110Qの再
生動作に遷移する(ステップST212)。
Next, in step ST215, the value of the head pointer of the display control information 110C and the value of the subsequent sub-picture pointer are compared, and if the subsequent sub-picture pointer is smaller, the display control information 110C is completely stored in the sub-picture buffer 13. Since it is not included in the reproduction unit 110P, it is determined whether the error flag is 1 (step ST211), the read address of the sub-picture buffer 13 is set to the address indicated by the subsequent sub-picture pointer, and the next sub-picture is set. (Step ST212).

【0095】一方で、後続副映像ポインタの方が大きい
場合、ステップST216では表示制御情報110Cの
解析を行ない、有効な表示制御情報が含まれるか否かを
判定し、含まれる場合には有効な表示制御情報に基づい
て再生単位110Pの再生を行なう(ステップST20
6)。有効な表示制御情報が含まれない場合にはエラー
フラグが1であるかを判断(ステップST211)し
て、後続副映像ポインタが指し示す次の再生単位110
Qの再生に遷移し、エラーフラグがクリアされる(ステ
ップ212)。
On the other hand, if the subsequent sub-picture pointer is larger, the display control information 110C is analyzed in step ST216 to determine whether or not valid display control information is included. The reproduction of the reproduction unit 110P is performed based on the display control information (step ST20).
6). If no valid display control information is included, it is determined whether the error flag is 1 (step ST211), and the next reproduction unit 110 indicated by the subsequent sub-picture pointer is determined.
Transition is made to reproduction of Q, and the error flag is cleared (step 212).

【0096】以上に示すような副映像復号部18の復号
方法により、間欠入力された副映像の復号動作が停止す
ることなく、かつ入力された符号化データの復号可能な
部分を可能な限り再生することが可能となる。
By the decoding method of the sub-picture decoding section 18 described above, the decoding operation of the intermittently inputted sub-picture is not stopped, and the decodable portion of the input coded data is reproduced as much as possible. It is possible to do.

【0097】なお、本実施の形態では特殊再生時の間欠
入力データの場合の例を示したが、本発明はこれに限定
されない。上記以外にも伝送路でのエラーによるデータ
欠落もしくはデータ化けによるユニット長のエラー、副
映像ビットストリーム作成時のエラー混入が発生した場
合にも本実施の形態の画像信号再生装置を適用すること
ができる。
Although the present embodiment has shown an example of intermittent input data during special reproduction, the present invention is not limited to this. In addition to the above, the image signal reproducing apparatus according to the present embodiment can be applied to a case where data is lost due to an error in a transmission path or a unit length error due to garbled data, or an error occurs when a sub-picture bit stream is created. it can.

【0098】また、本実施の形態ではDVDで規定され
る副映像に適用したが、これ以外にも、再生単位長を使
ってしかエラーから復帰出来ないような符号化データに
対しても適応可能である。
In the present embodiment, the present invention is applied to a sub-picture specified by a DVD. However, the present invention is also applicable to coded data which can be recovered from an error only by using a playback unit length. It is.

【0099】また本実施の形態に係る画像信号再生装置
においてはAV同期による再生単位のスキップや副映像
の高速再生を行う際の再生単位のスキップ動作を後続副
映像ポインタを用いてエラーストリームや間欠データ入
力時にも確実に実現することが可能である。後続副映像
ポインタを用いずにユニットヘッダーの再生単位長を用
いてスキップする場合、エラー及び間欠データ入力で副
映像の再生単位が完結しない状態で入力された際に次の
再生単位の先頭部にスキップすることはできない。
In the image signal reproducing apparatus according to the present embodiment, the skip operation of the reproduction unit by the AV synchronization or the skip operation of the reproduction unit at the time of performing the high-speed reproduction of the sub-picture is performed by using the subsequent sub-picture pointer to the error stream or the intermittent. This can be reliably realized even at the time of data input. When skipping using the playback unit length of the unit header without using the subsequent sub-picture pointer, if the playback unit of the sub-picture is input in an incomplete state due to error or intermittent data input, it will be added to the beginning of the next playback unit. You cannot skip it.

【0100】再生単位長を見てスキップを行なった場
合、次の副映像データが副映像バッファ13に格納され
ていない場合、時間的に古い副映像データの一部を副映
像再生単位の先頭として解析してしまい、誤動作の原因
となっていた。
When skipping is performed based on the playback unit length, and when the next sub-picture data is not stored in the sub-picture buffer 13, a part of the temporally older sub-picture data is set as the head of the sub-picture playback unit. It was analyzed, causing malfunction.

【0101】図8は副映像復号部18における副映像再
生単位のスキップ制御のフローである。再生単位のスキ
ップ処理がスタートすると、次の副映像再生単位110
Qの先頭に上書きされる後続副映像ポインタを読み出す
(ステップST302)。
FIG. 8 is a flowchart of the skip control of the sub-picture reproduction unit in the sub-picture decoding unit 18. When the skip processing of the playback unit is started, the next sub-picture playback unit 110 is started.
A subsequent sub-picture pointer to be overwritten at the head of Q is read (step ST302).

【0102】読み出した後続副映像ポインタの値が、上
書きされる前のダミーデータの値であった場合には、次
の再生単位110Qの副映像バッファ13内への到着が
完了していないため、スキップ動作を行なわない。ダミ
ーデータが後続副映像ポインタで上書きされるまで待
つ。ダミーデータ値ではなく、後続副映像ポインタ値が
入っていると副映像復号部18が判断した場合には、ス
キップを行なう。この場合、副映像バッファ13の読み
出しの際に後続副映像ポインタで示されるアドレスに読
み出しポインタを移動させ(ステップST303)、次
の再生単位110Qの復号処理を行なう(ステップST
304)。
If the read value of the subsequent sub-picture pointer is the value of the dummy data before overwriting, the arrival of the next reproduction unit 110Q in the sub-picture buffer 13 has not been completed. No skip operation is performed. Wait until the dummy data is overwritten by the subsequent sub-picture pointer. When the sub-picture decoding unit 18 determines that the subsequent sub-picture pointer value is included instead of the dummy data value, the skip is performed. In this case, when reading the sub-picture buffer 13, the read pointer is moved to the address indicated by the subsequent sub-picture pointer (step ST303), and decoding processing of the next reproduction unit 110Q is performed (step ST303).
304).

【0103】このように、実際に後続する副映像データ
の存在を確認して再生を行なうことが可能となるため、
副映像データがアンダーフロー気味に推移しているよう
な多重符号化データの再生時に、確実なスキップ動作が
可能となる。
As described above, since it is possible to confirm the existence of the succeeding sub-picture data and to perform the reproduction,
When reproducing multiplexed coded data in which the sub-video data tends to be underflow, a reliable skip operation can be performed.

【0104】[0104]

【発明の効果】以上のように本発明によれば、エラー等
で破壊された副映像の再生単位長ではなく、入力された
副映像データの実質的な再生単位長を副映像復号部が得
られるため、副映像の再生単位の先頭を示すユニットヘ
ッダを常に正確に知ることが可能となり、エラーによる
復号不能状態に副映像復号部が陥ってしまうことがなく
なる。
As described above, according to the present invention, the sub-picture decoder obtains not the playback unit length of the sub-picture destroyed due to an error or the like but the substantial playback unit length of the input sub-picture data. Therefore, it is possible to always accurately know the unit header indicating the head of the playback unit of the sub-picture, and it is possible to prevent the sub-picture decoding unit from falling into an undecodable state due to an error.

【0105】また本発明によれば、副映像再生単位の再
生可能なデータ部を適切に判断可能となるため、エラー
ビットストリームの再生で、エラーデータの復号による
不適切な副映像の表示を抑止することが可能となる。
Further, according to the present invention, the reproducible data portion of the sub-picture reproduction unit can be appropriately determined, so that in the reproduction of the error bit stream, the display of the inappropriate sub-picture due to the decoding of the error data is suppressed. It is possible to do.

【0106】さらに本発明によれば、副映像データのス
キップを行なう場合に、後続副映像ポインタを持ちいる
ため、確実なスキップ動作が可能となる。
Further, according to the present invention, when skipping sub-picture data, the subsequent sub-picture pointer is provided, so that a reliable skip operation can be performed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態1に係る画像信号再生装置
の構成図。
FIG. 1 is a configuration diagram of an image signal reproducing device according to a first embodiment of the present invention.

【図2A】多重符号化信号および副映像データの説明
図。
FIG. 2A is an explanatory diagram of a multiplexed coded signal and sub-picture data.

【図2B】多重符号化信号および副映像データの説明
図。
FIG. 2B is an explanatory diagram of a multiplexed coded signal and sub-picture data.

【図3A】特殊再生時のデータ転送の説明図。FIG. 3A is an explanatory diagram of data transfer during special reproduction.

【図3B】特殊再生時のデータ転送の説明図。FIG. 3B is an explanatory diagram of data transfer during special reproduction.

【図4】間欠再生時の副映像データの再生の説明図。FIG. 4 is an explanatory diagram of reproduction of sub-picture data at the time of intermittent reproduction.

【図5】本発明の実施の形態1に係る入力処理部の動作
の説明図。
FIG. 5 is an explanatory diagram of an operation of the input processing unit according to the first embodiment of the present invention.

【図6】同実施の形態に係る副映像復号部の動作の説明
図。
FIG. 6 is an explanatory diagram of the operation of the sub-picture decoding unit according to the embodiment.

【図7】同実施の形態に係る間欠再生時の後続再生単位
ポインタ付加の動作説明図。
FIG. 7 is an explanatory diagram of an operation of adding a subsequent playback unit pointer during intermittent playback according to the embodiment;

【図8】本発明の実施の形態1に係る副映像復号部の動
作の説明図。
FIG. 8 is an explanatory diagram of the operation of the sub-picture decoding unit according to Embodiment 1 of the present invention.

【符号の説明】[Explanation of symbols]

1 入力処理部 2 入力スイッチ 3 ストリーム分離部 4 パケットスタートコード検出部 5 ヘッダ解析部 6 再生単位先頭検出部 7 ストリーム転送制御部 8 ダミーデータ挿入部 9 転送選択スイッチ 10 データ転送部 11 副映像ユニットポインタ計算部 12 入力処理制御部 13 副映像ビットバッファ 14 ビデオビットバッファ 15 オーディオビットバッファ 16 ワークメモリ 17 復号部 18 副映像復号部 19 ビデオ復号部 20 オーディオ復号部 21 ブレンダー 22 メモリバス 23 ホストバス 24 外部ホスト 25 入力バッファ Reference Signs List 1 input processing unit 2 input switch 3 stream separation unit 4 packet start code detection unit 5 header analysis unit 6 playback unit head detection unit 7 stream transfer control unit 8 dummy data insertion unit 9 transfer selection switch 10 data transfer unit 11 sub-picture unit pointer Calculation unit 12 Input processing control unit 13 Sub video bit buffer 14 Video bit buffer 15 Audio bit buffer 16 Work memory 17 Decoding unit 18 Sub video decoding unit 19 Video decoding unit 20 Audio decoding unit 21 Blender 22 Memory bus 23 Host bus 24 External host 25 input buffer

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平10−51739(JP,A) 特開 平11−8833(JP,A) 特開 平9−91878(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/76 - 5/956 H04N 7/24 - 7/68 ────────────────────────────────────────────────── ─── Continuation of the front page (56) References JP-A-10-51739 (JP, A) JP-A-11-8833 (JP, A) JP-A-9-91878 (JP, A) (58) Field (Int.Cl. 7 , DB name) H04N 5/76-5/956 H04N 7/ 24-7/68

Claims (14)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 音声、映像、副映像、付加情報等がディ
ジタル符号化され、パケット単位で多重化された多重符
号化ストリームを再生する画像信号再生装置であって、 前記多重符号化ストリームは、複数のパックを含み、 前記複数のパックのそれぞれは、少なくとも1つのパケ
ットを含み、 前記パケットは、パケットヘッダとパケット符号化デー
タを含み、 前記パケット符号化データは、パケット音声符号化デー
タとパケット映像符号化データとパケット副映像符号化
データとパケットナビゲーション符号化データとのいず
れかを含み、 前記パケット副映像符号化データは、副映像符号化デー
タを形成し、 前記副映像符号化データは、第1再生単位と第2再生単
位とを含み、 前記第1再生単位は、第1ユニットヘッダと第1符号化
ビットマップデータと第1表示制御情報とを含み、 前記第2再生単位は、第2ユニットヘッダと第2符号化
ビットマップデータと第2表示制御情報とを含み、 前記第1再生単位に後続副映像ポインタを付加する入力
処理部と、 前記後続副映像ポインタに基づいて前記副映像符号化デ
ータを復号する副映像復号部とを備えた画像信号再生装
置。
1. An image signal reproducing apparatus for reproducing a multiplexed coded stream in which audio, video, sub-video, additional information and the like are digitally coded and multiplexed in packet units, wherein the multiplexed coded stream comprises: A plurality of packs, each of the plurality of packs includes at least one packet, the packet includes a packet header and packet encoded data, and the packet encoded data includes packet audio encoded data and packet video Encoded data, packet sub-picture encoded data, and packet navigation encoded data, wherein the packet sub-picture encoded data forms sub-picture encoded data, and the sub-picture encoded data is a One playback unit and a second playback unit, wherein the first playback unit is a first unit header and a first encoded bit. The second reproduction unit includes a second unit header, second encoded bitmap data, and second display control information, and the first reproduction unit includes a subsequent sub-picture pointer. An image signal reproducing apparatus comprising: an input processing unit that adds a sub-picture; and a sub-picture decoding unit that decodes the sub-picture encoded data based on the subsequent sub-picture pointer.
【請求項2】 前記入力処理部は、前記第1再生単位の
先頭に前記後続副映像ポインタを付加する、請求項1記
載の画像信号再生装置。
2. The image signal reproducing device according to claim 1, wherein the input processing unit adds the subsequent sub-picture pointer to a head of the first reproduction unit.
【請求項3】 前記入力処理部は、前記第1ユニットヘ
ッダの直後に前記後続副映像ポインタを付加する、請求
項1記載の画像信号再生装置。
3. The image signal reproducing device according to claim 1, wherein the input processing unit adds the subsequent sub-picture pointer immediately after the first unit header.
【請求項4】 前記入力処理部は、 前記第1再生単位の先頭を検出するストリーム分離部
と、 前記第1再生単位にダミーデータを付加するストリーム
転送制御部とを含む、請求項1記載の画像信号再生装
置。
4. The input processing unit according to claim 1, wherein the input processing unit includes: a stream separation unit that detects a head of the first reproduction unit; and a stream transfer control unit that adds dummy data to the first reproduction unit. Image signal reproducing device.
【請求項5】 前記ストリーム転送制御部は、 前記第1再生単位にダミーデータを付加するダミーデー
タ挿入部と、 前記ダミーデータ挿入部が付加された前記第1再生単位
を転送するデータ転送部と、 前記データ転送部が転送した前記第1再生単位のデータ
数をカウントする入力再生単位長計測部とを含み、 前記データ転送部は、前記入力再生単位長計測部により
カウントされた前記データ数に基づいて前記後続副映像
ポインタを前記ダミーデータに上書きする、請求項4記
載の画像信号再生装置。
5. A stream transfer control unit, comprising: a dummy data insertion unit that adds dummy data to the first reproduction unit; and a data transfer unit that transfers the first reproduction unit to which the dummy data insertion unit is added. An input playback unit length measurement unit that counts the number of data of the first playback unit transferred by the data transfer unit, wherein the data transfer unit counts the number of data counted by the input playback unit length measurement unit. 5. The image signal reproducing device according to claim 4, wherein said subsequent sub-video pointer is overwritten on said dummy data based on said dummy data.
【請求項6】 前記画像信号再生装置は、前記入力処理
部により前記後続副映像ポインタが付加された前記第1
再生単位が格納された副映像バッファをさらに備え、 前記副映像復号部は、前記副映像バッファに格納された
前記副映像符号化データを復号する、請求項1記載の画
像信号再生装置。
6. The image signal reproducing apparatus according to claim 1, wherein the input processing unit adds the subsequent sub-picture pointer to the first sub-picture pointer.
The image signal reproducing device according to claim 1, further comprising a sub-picture buffer in which a reproduction unit is stored, wherein the sub-picture decoding unit decodes the sub-picture coded data stored in the sub-picture buffer.
【請求項7】 音声、映像、副映像、付加情報等がディ
ジタル符号化され、パケット単位で多重符号化されたビ
ットストリーム再生における画像信号再生方法であっ
て、 前記多重符号化ストリームは、複数のパックを含み、 前記複数のパックのそれぞれは、少なくとも1つのパケ
ットを含み、 前記パケットは、パケットヘッダとパケット符号化デー
タを含み、 前記パケット符号化データは、パケット音声符号化デー
タとパケット映像符号化データとパケット副映像符号化
データとパケットナビゲーション符号化データとのいず
れかを含み、 前記パケット副映像符号化データは、副映像符号化デー
タを形成し、 前記副映像符号化データは、第1再生単位と第2再生単
位とを含み、 前記第1再生単位は、第1ユニットヘッダと第1符号化
ビットマップデータと第1表示制御情報とを含み、 前記第2再生単位は、第2ユニットヘッダと第2符号化
ビットマップデータと第2表示制御情報とを含み、 前記第1再生単位に後続副映像ポインタを付加する第1
ステップと、 前記後続副映像ポインタを使用して前記副映像符号化デ
ータを復号する第2ステップとを包含する画像信号再生
方法。
7. An image signal reproducing method for reproducing a bit stream in which audio, video, sub-video, additional information, and the like are digitally encoded and multiplex-encoded in packet units. A plurality of packs, each of the plurality of packs includes at least one packet, the packet includes a packet header and packet encoded data, and the packet encoded data includes a packet audio encoded data and a packet video encoded. Data, packet sub-picture encoded data, and packet navigation encoded data, wherein the packet sub-picture encoded data forms sub-picture encoded data, and the sub-picture encoded data comprises a first reproduction Unit and a second playback unit, wherein the first playback unit includes a first unit header and a first encoded bit. The second reproduction unit includes a second unit header, second encoded bitmap data, and second display control information, and the first reproduction unit includes a subsequent sub-picture. The first to add a pointer
And a second step of decoding the coded sub-picture data using the subsequent sub-picture pointer.
【請求項8】 前記第1ステップは、前記第1再生単位
の先頭に前記後続副映像ポインタを付加するステップを
包含する、請求項7記載の画像信号再生方法。
8. The image signal reproducing method according to claim 7, wherein said first step includes a step of adding said subsequent sub-picture pointer to a head of said first reproduction unit.
【請求項9】 前記第1ステップは、前記第1ユニット
ヘッダの直後に前記後続副映像ポインタを付加するステ
ップを包含する、請求項7記載の画像信号再生方法。
9. The image signal reproducing method according to claim 7, wherein said first step includes a step of adding said subsequent sub-picture pointer immediately after said first unit header.
【請求項10】 前記第1ステップは、間欠データ入力
による特殊再生において、前記第1再生単位に後続副映
像ポインタを付加するステップを包含する、請求項7記
載の画像信号再生方法。
10. The image signal reproducing method according to claim 7, wherein said first step includes a step of adding a subsequent sub-picture pointer to said first reproduction unit in special reproduction by intermittent data input.
【請求項11】 前記第1ユニットヘッダは、前記パケ
ット副映像符号化データが符号化される時に付与された
再生単位長を表すユニットヘッダ長を含み、 前記第2ステップは、前記後続副映像ポインタを前記ユ
ニットヘッダ長に優先して使用するステップを包含す
る、請求項7記載の画像信号再生方法。
11. The first unit header includes a unit header length indicating a playback unit length given when the packet sub-picture coded data is encoded, and the second step includes the following sub-picture pointer. 8. The method according to claim 7, further comprising the step of using a priority of the unit header length.
【請求項12】 前記第2ステップは、前記後続副映像
ポインタと前記ユニットヘッダ長とが一致しない場合に
は、入力データエラーと判断し、前記第1再生単位の次
の前記第2再生単位を復号する際に、前記後続副映像ポ
インタを用いて前記第2再生単位の先頭を検出し、前記
第2再生単位を復号する、請求項11記載の画像信号再
生方法。
12. The second step, when the subsequent sub-picture pointer does not match the unit header length, determines that an input data error has occurred, and sets the second playback unit next to the first playback unit. 12. The image signal reproducing method according to claim 11, wherein at the time of decoding, the head of the second reproduction unit is detected using the subsequent sub-picture pointer, and the second reproduction unit is decoded.
【請求項13】 前記第2ステップは、前記後続副映像
ポインタに基づいて前記第2再生単位をスキップする、
請求項7記載の画像信号再生方法。
13. The second step of skipping the second playback unit based on the subsequent sub-picture pointer,
The image signal reproducing method according to claim 7.
【請求項14】 前記第2ステップは、前記第1表示制
御情報に有効第1表示制御情報が含まれる場合には、前
記有効第1表示制御情報に基づいて前記第1再生単位を
復号する、請求項7記載の画像信号再生方法。
14. The method according to claim 1, wherein the second step includes decoding the first reproduction unit based on the valid first display control information, when the first display control information includes valid first display control information. The image signal reproducing method according to claim 7.
JP21802699A 1998-07-30 1999-07-30 Image signal reproducing apparatus and image signal reproducing method Expired - Lifetime JP3259839B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21802699A JP3259839B2 (en) 1998-07-30 1999-07-30 Image signal reproducing apparatus and image signal reproducing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP21521498 1998-07-30
JP10-215214 1998-07-30
JP21802699A JP3259839B2 (en) 1998-07-30 1999-07-30 Image signal reproducing apparatus and image signal reproducing method

Publications (2)

Publication Number Publication Date
JP2000106669A JP2000106669A (en) 2000-04-11
JP3259839B2 true JP3259839B2 (en) 2002-02-25

Family

ID=26520743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21802699A Expired - Lifetime JP3259839B2 (en) 1998-07-30 1999-07-30 Image signal reproducing apparatus and image signal reproducing method

Country Status (1)

Country Link
JP (1) JP3259839B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003231510A1 (en) * 2002-04-25 2003-11-10 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
JP4444762B2 (en) 2004-08-25 2010-03-31 パナソニック株式会社 Demultiplexer

Also Published As

Publication number Publication date
JP2000106669A (en) 2000-04-11

Similar Documents

Publication Publication Date Title
EP0626770B1 (en) Data demultiplexer
JP3330797B2 (en) Moving image data storage method and moving image data decoding method
US6262775B1 (en) Caption data processing circuit and method therefor
US7508874B2 (en) Error concealment for MPEG decoding with personal video recording functionality
JP2007074608A (en) Reproducing apparatus and reproducing method
US6647202B1 (en) Video signal reproducing apparatus capable of reproducing bitstreams and video signal reproducing method
JP2001103444A (en) Packet encryption device and program recording medium
KR20010051423A (en) Information processing device, it's method and recording media
JP3259839B2 (en) Image signal reproducing apparatus and image signal reproducing method
JP4049424B2 (en) Method for generating control command sequence, device for processing control command sequence, and storage medium for storing control command
JP3650018B2 (en) RECORDING DEVICE, REPRODUCTION DEVICE, AND METHOD THEREOF
JP3768008B2 (en) Image signal reproduction device
US20050117888A1 (en) Video and audio reproduction apparatus
JP2004032607A (en) Digital video reproducing apparatus
JP3564145B2 (en) Coded signal reproduction device
JP3520595B2 (en) Encoded image and audio data receiving device
JP2001078146A (en) Video decoding method and system
JP2002290910A (en) Multimedia information recording and reproducing device
JP3916615B2 (en) Multiple encoded signal reproduction apparatus
KR100584179B1 (en) Method and apparatus for transmitting digital data stream through the interface protocol
JP4435733B2 (en) Data processing device
JP3121054B2 (en) Information recording / reproducing device
JP3026559B2 (en) Apparatus and method for adding and deleting video identification signal
JP3862933B2 (en) Recording device
US20040091248A1 (en) Method and apparatus for recording video signal

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20011128

R150 Certificate of patent or registration of utility model

Ref document number: 3259839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071214

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081214

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081214

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091214

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091214

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 12

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term