JP3528635B2 - Digital disk playback device - Google Patents

Digital disk playback device

Info

Publication number
JP3528635B2
JP3528635B2 JP32601598A JP32601598A JP3528635B2 JP 3528635 B2 JP3528635 B2 JP 3528635B2 JP 32601598 A JP32601598 A JP 32601598A JP 32601598 A JP32601598 A JP 32601598A JP 3528635 B2 JP3528635 B2 JP 3528635B2
Authority
JP
Japan
Prior art keywords
image
display
images
digest
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32601598A
Other languages
Japanese (ja)
Other versions
JP2000138899A (en
Inventor
卓 梅園
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP32601598A priority Critical patent/JP3528635B2/en
Publication of JP2000138899A publication Critical patent/JP2000138899A/en
Application granted granted Critical
Publication of JP3528635B2 publication Critical patent/JP3528635B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、デジタル動画信号
などが記録されたデジタルディスクを再生するデジタル
ディスク再生装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a digital disc reproducing apparatus for reproducing a digital disc recorded with a digital moving image signal or the like.

【0002】[0002]

【従来の技術】デジタル動画信号などが記録されるデジ
タルディスクには通常、メニュー画面が記録される。こ
の情報は動画などの内容を簡潔に示す文字情報により構
成されているので、再生された画像をユーザが見て所望
の動画などを頭出しすることができる。ところで、この
メニュー画面には、圧縮して記録されている実際の動画
などをそのまま再生して表示することができない場合が
あるので、図12に示すように実際の動画などをマルチ
アングル機能で再生してその表示数に応じて縮小したダ
イジェスト画面を表示することができればユーザにとっ
て動画の内容をより簡単に確認することができ、便利で
ある。なお、マルチアングル機能とは、同一時間内に進
行する映像を複数の異なる画像として並列的に記録する
ことを言う。
2. Description of the Related Art Generally, a menu screen is recorded on a digital disc on which a digital moving image signal is recorded. Since this information is composed of character information that briefly indicates the contents of a moving image or the like, it is possible for the user to look at the reproduced image and find the desired moving image or the like. By the way, on this menu screen, it may not be possible to reproduce and display the actual compressed video that has been recorded. Therefore, as shown in FIG. Then, if the digest screen reduced according to the number of displayed images can be displayed, it is convenient for the user to easily confirm the content of the moving image. Note that the multi-angle function refers to recording video images proceeding in the same time in parallel as a plurality of different images.

【0003】なお、ダイジェスト画面を表示する従来例
としては、例えば特開平7−236109号公報、特開
平7−236110号公報に示されるように、デジタル
スチルカメラに適用されたものが知られている。図13
は前者の方法を示し、レリースボタンがオンになると
(ステップS101)、通常撮影か連写撮影かを判断す
る(ステップS102)。そして、通常撮影の場合には
1コマ制御を行い(ステップS103)、バッファメモ
リに記録する(ステップS104、S105)。また、
連写撮影の場合には連写コマ数n’を決定してn’コマ
制御を行い(ステップS106、S107)、バッファ
メモリに記録する(ステップS104、S105)。
As a conventional example of displaying a digest screen, there is known one applied to a digital still camera as disclosed in, for example, Japanese Patent Laid-Open Nos. 7-236109 and 7-236110. . FIG.
Indicates the former method, and when the release button is turned on (step S101), it is determined whether normal shooting or continuous shooting is performed (step S102). Then, in the case of normal shooting, one frame control is performed (step S103), and recording is performed in the buffer memory (steps S104 and S105). Also,
In the case of continuous shooting, the number of continuous shooting frames n'is determined and n'frame control is performed (steps S106 and S107) and recorded in the buffer memory (steps S104 and S105).

【0004】[0004]

【発明が解決しようとする課題】しかしながら、図12
に示すように実際の動画などを順次再生してその表示数
に応じて縮小したダイジェスト画面を表示すると、図1
2(d)、(e)に示すように画面に表示される複数の
画像が次々に書き換えられることになるので、ユーザに
とって複数の画像の前後関係が不明瞭になり、却って動
画の内容の確認が困難になり、不便となるという問題点
がある。また、複数の画像を再生して1つのダイジェス
ト画面に表示する場合、通常の再生では時間がかかり、
待ち時間が長くなるという問題点がある。さらに、これ
らの機能を実現するためのハードウエアとして、メモリ
などの回路構成を簡単にして動画を高速で処理してダイ
ジェスト画面を作成することができるものが望まれる。
However, as shown in FIG.
As shown in Fig. 1, when the actual movie etc. is played back in sequence and the digest screen reduced according to the number of displayed images is displayed,
As shown in FIGS. 2 (d) and 2 (e), since the plurality of images displayed on the screen are rewritten one after another, the context of the plurality of images becomes unclear for the user, and the content of the moving image is checked on the contrary. It becomes difficult and inconvenient. Also, when playing back multiple images and displaying them on one digest screen, normal playback takes time,
There is a problem that the waiting time becomes long. Further, as hardware for realizing these functions, there is desired hardware that can simplify a circuit configuration such as a memory and process a moving image at high speed to create a digest screen.

【0005】また、特開平7−236109号公報、特
開平7−236110号公報はデジタルスチルカメラに
適用して複数の静止画を1画面上でダイジェスト表示す
るので、デジタルディスクのように動画像高能率符号化
方式(MPEG方式)におけるフレーム内符号化画像で
あるIピクチャと、フレーム間符号化画像であるPピク
チャと、双方向予測符号化画像であるBピクチャが記録
された媒体には適用することができない。すなわち、P
ピクチャとBピクチャはそのフレームだけでは画像を再
生することができない。
Also, Japanese Patent Laid-Open Nos. 7-236109 and 7-236110 are applied to a digital still camera to display a plurality of still images on a single screen in a digest display, so that a moving image height like a digital disc is displayed. The present invention is applied to a medium in which an I picture which is an intra-frame coded image in an efficient coding system (MPEG system), a P picture which is an inter-frame coded image, and a B picture which is a bidirectional predictive coded image are recorded. I can't. That is, P
Picture and B picture cannot reproduce the image only by the frame.

【0006】本発明は上記従来の問題点に鑑み、デジタ
ルディスクに記録された動画、特にマルチアングル機能
で記録された同時進行の複数画像を見やすいダイジェス
ト画面で表示することができるデジタルディスク再生装
置を提供することを目的とする。
In view of the above-mentioned conventional problems, the present invention provides a digital disc reproducing apparatus capable of displaying a moving image recorded on a digital disc, in particular, a plurality of images simultaneously recorded by a multi-angle function on an easy-to-see digest screen. The purpose is to provide.

【0007】[0007]

【課題を解決するための手段】本発明によれば上記目的
を達成するために、同一時間内に進行する映像を複数の
異なる画像として並列的に記録したデジタルディスクを
再生して前記同一時間内に進行する複数の異なる画像
を、それぞれ同一時間内に進行する複数の縮小画像とし
てダイジェスト画面上に表示し、かつ前記ダイジェスト
画面上に表示される前記各縮小画像の表示位置は前記ダ
イジェスト画面上の所定位置にそれぞれ規定されている
デジタルディスク再生装置であって、前記デジタルディ
スクから読み出された圧縮信号の書き込みと、フレーム
当たりの符号量を調整しつつ前記圧縮信号の読み出しと
を制御するレート調整用バッファと、前記レート調整用
バッファから読み出された前記圧縮信号中、MPEG方
式におけるフレーム内符号化画像としてのIピクチャの
信号及びフレーム間符号化画像としてのPピクチャの信
号を復号し、かつ前記複数の異なる画像を前記複数の縮
小画像として前記ダイジェスト画面上に表示する場合に
は前記複数の異なる画像を順次再生して表示した後に、
前記順次再生した前記複数の異なる画像のうちから指定
した画像を表示するときには前記指定した画像を表示す
る表示領域を除く他の表示領域に該当する前記画像を消
去する処理を行う復号手段と、前記復号手段の出力信号
に応答して、再生された所定数のIピクチャ及びPピク
チャから構成される前記縮小画像を前記ダイジェスト画
面上で表示するための表示用バッファと、前記デジタル
ディスクに記録されたIピクチャ及びPピクチャから構
成される前記複数の異なる画像を順次再生してその表示
数に応じて画像サイズを縮小して前記表示用バッファに
配列して書き込み、全ての前記複数の異なる画像に対応
した前記縮小画像を表示し、前記複数の異なる画像を前
記複数の縮小画像として前記ダイジェスト画面上に表示
する場合に前記複数の異なる画像を順次再生して表示し
た後に、前記順次再生した前記複数の異なる画像のうち
から指定した画像を表示するときには前記指定した画像
を表示する表示領域を除く他の表示領域に該当する前記
画像を消去する制御を行なう制御手段とを、有するデジ
タルディスク再生装置が提供される。
According to the present invention , in order to achieve the above-mentioned object, a digital disk in which images advancing within the same time are recorded in parallel as a plurality of different images is reproduced to reproduce the same time. A plurality of different images progressing on the digest screen as a plurality of reduced images each progressing in the same time, and the display position of each reduced image displayed on the digest screen is on the digest screen. A digital disc reproducing apparatus defined at a predetermined position, the rate adjustment for controlling writing of a compressed signal read from the digital disc and reading of the compressed signal while adjusting a code amount per frame. Buffer and a frame in the MPEG system in the compressed signal read from the rate adjustment buffer Decoding the signal of P-picture as a signal and inter-frame coded image of the I picture as an encoded image, and said plurality of condensation of the plurality of different images
When displaying as a small image on the digest screen
After playing and displaying the different images in sequence,
Designated from among the plurality of different images that are played in sequence
Display the specified image when displaying the specified image.
The display area other than the display area
And a display for displaying the reduced image composed of a predetermined number of reproduced I pictures and P pictures in response to the output signal of the decoding means on the digest screen. The plurality of different images composed of a buffer and I pictures and P pictures recorded on the digital disc are sequentially reproduced, the image size is reduced according to the number of displays, and the images are arranged and written in the display buffer. , Displaying the reduced image corresponding to all of the plurality of different images, and
Displayed on the digest screen as multiple reduced images
In this case, the plurality of different images are sequentially reproduced and displayed.
Of the plurality of different images that are sequentially reproduced after
When displaying the image specified from
Corresponding to other display areas except the display area that displays
There is provided a digital disc reproducing apparatus having a control unit for performing control for erasing an image .

【0008】また、本発明の好ましい実施の態様によれ
ば、前記制御手段は、Iピクチャ及びPピクチャからな
る画像を消去するために色データをオーバライトするこ
とを特徴とする。
Further, according to a preferred embodiment of the present invention, the control means is characterized by overwriting color data in order to erase an image composed of an I picture and a P picture.

【0009】[0009]

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。本発明は、DVD(デジタルビデ
オディスク)に代表されるMPEG2などの所定の画像
圧縮技術を用いて画像信号が圧縮記録されているデジタ
ルディスクから画像を再生するものであり、かつマルチ
アングル機能にて同時進行の複数画像が同様に圧縮記録
されている部分を有するものから再生するものである。
したがって、本発明の実施の形態はMPEG2を用いて
いるDVDを例にとって説明する。図1は本発明に係る
デジタルディスク再生装置の一実施形態を示すブロック
図、図2は図1のMPEGデコーダを詳しく示すブロッ
ク図(a)と、信号処理手順を示すブロック図(b)で
ある、図3は画像信号がNTSCの場合のマルチアング
ル機能で記録された複数画像のダイジェスト画面を示す
説明図、図4は画像信号がNTSCの場合のフレームバ
ッファメモリの構成及びフレームバッファメモリ上のI
ピクチャ及びピクチャの転送処理を示す説明図、図5は
画像信号がPALの場合のマルチアングル機能で記録さ
れた複数画像のダイジェスト画面を示す説明図、図6は
画像信号がPALの場合のフレームバッファメモリの構
成及びフレームバッファメモリ上のIピクチャ及びPピ
クチャの転送処理を示す説明図、図7はダイジェスト画
面の塗りつぶし処理を説明するためのフローチャート、
図8はIピクチャ及びPピクチャのデコード処理を説明
するためのフローチャート、図9はダイジェスト画面の
表示処理を説明するためのフローチャート、図10はダ
イジェスト画面の一例を示す説明図、図11はアングル
が9個ある場合にデコーダに入力されるビデオデータの
一例を示す図である。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings. The present invention reproduces an image from a digital disc on which an image signal is compressed and recorded by using a predetermined image compression technique such as MPEG2 typified by a DVD (digital video disc) and has a multi-angle function. A plurality of simultaneously progressing images are reproduced from the one having a portion in which they are similarly compressed and recorded.
Therefore, the embodiment of the present invention will be described by taking a DVD using MPEG2 as an example. FIG. 1 is a block diagram showing an embodiment of a digital disc reproducing apparatus according to the present invention, and FIG. 2 is a block diagram (a) showing in detail the MPEG decoder of FIG. 1 and a block diagram (b) showing a signal processing procedure. FIG. 3 is an explanatory view showing a digest screen of a plurality of images recorded by the multi-angle function when the image signal is NTSC, and FIG. 4 is a configuration of the frame buffer memory and I on the frame buffer memory when the image signal is NTSC.
FIG. 5 is an explanatory diagram showing pictures and a transfer process of pictures, FIG. 5 is an explanatory diagram showing a digest screen of a plurality of images recorded by the multi-angle function when the image signal is PAL, and FIG. 6 is a frame buffer when the image signal is PAL. FIG. 7 is an explanatory diagram showing a memory configuration and I picture and P picture transfer processing on a frame buffer memory; FIG. 7 is a flowchart for explaining digest screen filling processing;
FIG. 8 is a flowchart for explaining the decoding process of the I picture and P picture, FIG. 9 is a flowchart for explaining the display process of the digest screen, FIG. 10 is an explanatory diagram showing an example of the digest screen, and FIG. It is a figure which shows an example of the video data input into a decoder when there are nine pieces.

【0010】図1に示すデジタルディスク再生装置はD
VD再生装置であるが、音楽専用のCDやビデオCD、
その他のタイプのディスクも再生可能な兼用機である。
デジタルディスク又は音楽専用のCDのディスクDに記
録された情報はピックアップ1により読み取られ、その
信号はRF増幅器2により増幅された後、DVD/CD
デコーダ/サーボ制御回路3に印加される。DVD/C
Dデコーダ/サーボ制御回路3はSP(スピンドル)サ
ーボ回路11に対してディスクモータの回転制御やピッ
クアップ1のフォーカス制御などを行わせたり、RF増
幅器2からのEFM信号を復調したり、サブコードデー
タを読み込む。なお、レート調整用バッファ36は、単
位時間当たりにデコードに使われる符号量の変動を吸収
するものである。
The digital disc reproducing apparatus shown in FIG.
Although it is a VD player, it is a music-only CD or video CD,
It is a dual-purpose machine that can play other types of discs.
The information recorded on the disc D, which is a digital disc or a CD dedicated to music, is read by the pickup 1, the signal is amplified by the RF amplifier 2, and then the DVD / CD.
It is applied to the decoder / servo control circuit 3. DVD / C
The D decoder / servo control circuit 3 causes the SP (spindle) servo circuit 11 to perform the rotation control of the disk motor, the focus control of the pickup 1, etc., demodulates the EFM signal from the RF amplifier 2, and outputs the subcode data. Read. The rate adjusting buffer 36 absorbs fluctuations in the code amount used for decoding per unit time.

【0011】第2CPU4はディスクDのTOC(Tabl
e Of Contents)領域から読み出されたデータを所定の
テーブルフォーマットでいったん記憶するためのメモリ
を有するとともに、サブコードデータを取り込んで入力
指示部5からの入力情報に応じてDVD/CDデコーダ
/サーボ制御回路3に対して制御を行わせる。入力指示
部5は例えばPLAYボタン、STOPボタン、FFボ
タン、RFボタン、DIGEST(ダイジェスト)ボタ
ン、JUMP(ジャンプ)ボタンなどを有し、表示部2
0は操作モードや装置の異常などを表示する。オーディ
オ信号処理回路15は再生されたデジタルオーディオ信
号をアナログ信号に変換したり、ディエンファシス処理
を行う。以上の回路は、音楽専用のCDを再生するため
の回路である。
The second CPU 4 is a TOC (Tabl
The DVD / CD decoder / servo has a memory for temporarily storing the data read from the e Of Contents area in a predetermined table format and fetches the sub-code data according to the input information from the input instruction section 5. The control circuit 3 is controlled. The input instruction section 5 has, for example, a PLAY button, a STOP button, an FF button, an RF button, a DIGEST (digest) button, a JUMP (jump) button, and the like, and the display section 2
0 indicates an operation mode, device abnormality, or the like. The audio signal processing circuit 15 converts the reproduced digital audio signal into an analog signal and performs de-emphasis processing. The above circuit is a circuit for reproducing a CD dedicated to music.

【0012】1点鎖線内に示す回路系は、上記音楽専用
のCDの信号系に対して追加して設けられたデジタルデ
ィスク用の信号系であり、第1CPU6、ROM7、D
RAM8、MPEGデコーダ9、ビデオ信号処理回路
(SSG)10、NTSC/PALエンコーダ23、水
晶振動子21、24、25を有する。第1CPU6は第
2CPU4やMPEGデコーダ9を制御することにより
装置全体の制御を行い、特に入力指示部5のDIGES
Tボタンが押下されるとMPEGデコーダ9に対して後
述するようなダイジェストコマンドを出力する。
The circuit system shown in the alternate long and short dash line is a signal system for a digital disc, which is provided in addition to the signal system for the music-only CD, and includes the first CPU 6, ROM 7, and D.
It has a RAM 8, an MPEG decoder 9, a video signal processing circuit (SSG) 10, an NTSC / PAL encoder 23, and crystal oscillators 21, 24 and 25. The first CPU 6 controls the entire device by controlling the second CPU 4 and the MPEG decoder 9, and in particular, the DIGES of the input instruction section 5 is controlled.
When the T button is pressed, a digest command as described below is output to the MPEG decoder 9.

【0013】MPEGデコーダ9は、装置全体を制御す
るためのプログラムがあらかじめ格納されたROM7
と、DVD/CDデコーダ/サーボ制御回路3から8ビ
ットのデータバスb1を介して入力されるデジタルディ
スク用の圧縮信号を記憶するためのDRAM8を備え、
圧縮信号を通常の1画面を表示するために必要な画像デ
ータに復元したり、音声信号を伸長する。MPEGデコ
ーダ9はまた、後述するようにダイジェスト画面を表示
する場合にデジタルディスクに記録されているIピクチ
ャ及びPピクチャから構成されるマルチアングル機能で
記録された画像を順次再生して所定数を表示した後に、
次のIピクチャ及びPピクチャから構成される画像を表
示する際に他の領域のIピクチャ及びPピクチャから構
成される画像を消去するための処理を行う。
The MPEG decoder 9 is a ROM 7 in which a program for controlling the entire apparatus is stored in advance.
And a DRAM 8 for storing a compressed signal for a digital disk input from the DVD / CD decoder / servo control circuit 3 via the 8-bit data bus b1,
The compressed signal is restored to the image data necessary for displaying one normal screen, and the audio signal is expanded. The MPEG decoder 9 also sequentially reproduces images recorded by a multi-angle function composed of I pictures and P pictures recorded on a digital disc when displaying a digest screen as described later, and displays a predetermined number. After doing
When displaying an image composed of the next I picture and P picture, processing for deleting the image composed of the I picture and P picture in another area is performed.

【0014】MPEGデコーダ9と第1CPU6との間
は、モード情報を伝送したり、MPEGデコーダ9内の
プログラムの処理状況であるステイタスを得たりするた
めの8ビットのデータバスb2と、データのアドレス情
報の授受やMPEGデコーダ9を制御するコントロール
信号を伝送するための7ビットのデータバスb3と、M
PEGデコーダ9に入力されるデータ列の入力情報を得
るための1ビットのデータバスb4と、オーディオ・ス
テイタス用の3ビットのデータバスb5を介して接続さ
れている。
Between the MPEG decoder 9 and the first CPU 6, an 8-bit data bus b2 for transmitting mode information and for obtaining a status which is a processing status of a program in the MPEG decoder 9, and a data address. A 7-bit data bus b3 for transmitting and receiving information and a control signal for controlling the MPEG decoder 9, and M
It is connected via a 1-bit data bus b4 for obtaining input information of a data string input to the PEG decoder 9 and a 3-bit data bus b5 for audio status.

【0015】ビデオ信号処理回路10はMPEGデコー
ダ9により復調されたデジタルオーディオ信号をアナロ
グ信号に変換したり、RGB信号や輝度信号及び色差信
号をコンポジット信号に変換してNTSC/PALエン
コーダ23に出力し、NTSC/PALエンコーダ23
はこのコンポジット信号をNTSC方式やPAL方式の
信号に変換して外部ディスプレイに出力する。水晶振動
子21はMPEGデコーダ9が動作するためのマスタク
ロックを発生し、水晶振動子24はビデオ信号処理回路
10の処理に好適な13.5MHz又は27MHzのク
ロックを発生し、水晶振動子25はNTSC/PALエ
ンコーダ23に対して色副搬送波である3.57945
MHz(NTSC)又は4.43361875MHz
(PAL)を発生する。
The video signal processing circuit 10 converts the digital audio signal demodulated by the MPEG decoder 9 into an analog signal, converts the RGB signal, the luminance signal and the color difference signal into a composite signal and outputs the composite signal to the NTSC / PAL encoder 23. , NTSC / PAL encoder 23
Converts this composite signal into a signal of NTSC system or PAL system and outputs it to an external display. The crystal oscillator 21 generates a master clock for operating the MPEG decoder 9, the crystal oscillator 24 generates a clock of 13.5 MHz or 27 MHz suitable for the processing of the video signal processing circuit 10, and the crystal oscillator 25 3.57945 which is a color subcarrier for the NTSC / PAL encoder 23
MHz (NTSC) or 4.43361875MHz
(PAL) is generated.

【0016】次に、図2を参照してMPEGデコーダ9
について詳しく説明する。図2の(a)に示すようにM
PEGデコーダ9は概略的にはRISCプロセッサ31
と、ハフマン可変長符号復号器(VLD)32と、3つ
のインターフェース33〜35と、FIFO37を有
し、RISCプロセッサ31はVLD32やインターフ
ェース33〜35の制御を行うだけでなく、MPEG2
シンタックスの解読、2次元IDCT、逆量子化、動き
ベクトルの計算などを行う。なお、ホストバスインター
フェース33とバスBLとの間で、アドレスコントロー
ル信号は直接送受されるが、データはFIFO37を介
して行われる。
Next, referring to FIG. 2, the MPEG decoder 9
Will be described in detail. As shown in FIG. 2A, M
The PEG decoder 9 is generally a RISC processor 31.
And a Huffman variable length code decoder (VLD) 32, three interfaces 33 to 35, and a FIFO 37. The RISC processor 31 not only controls the VLD 32 and the interfaces 33 to 35, but also MPEG2.
It performs syntax decoding, two-dimensional IDCT, inverse quantization, motion vector calculation, and the like. The address control signal is directly transmitted and received between the host bus interface 33 and the bus BL, but the data is transmitted via the FIFO 37.

【0017】すなわち、図2の(b)に示されるよう
に、MPEG2のビットストリームがレート調整用バッ
ファ36(図1参照)に入力され、その書き込みと読み
出しが制御される。レート調整用バッファ36から読み
出されたビットストリームはMPEG2のシンタックス
に従って解読され、VLD(図2(a)ハフマン可変長
符号復号器32)により復号され、その後IQ(逆量子
化)され、さらに周波数空間から実空間に戻す変換であ
るIDCT(逆離散コサイン変換)が行われ、画像が復
元される。なお、他のフレームを用いて符号化されてい
る画像に対しては、ビットストリームから解読され再構
成された動きベクトルを用いて、参照画像のアドレスが
計算され、レファレンスメモリから読み出された参照画
像がIDCTの結果に加算されることにより動き補償が
行われる。
That is, as shown in FIG. 2B, an MPEG2 bit stream is input to the rate adjustment buffer 36 (see FIG. 1), and its writing and reading are controlled. The bit stream read from the rate adjustment buffer 36 is decoded according to the syntax of MPEG2, decoded by the VLD (Huffman variable length code decoder 32 in FIG. 2A), then IQ (dequantized), and further. An image is reconstructed by performing IDCT (Inverse Discrete Cosine Transform), which is a conversion from the frequency space to the real space. For images encoded using other frames, the reference image address is calculated using the motion vector decoded and reconstructed from the bitstream, and the reference image read from the reference memory is read. Motion compensation is performed by adding the image to the IDCT result.

【0018】インターフェース33〜35として、ホス
トバスインターフェース33は圧縮されたデータストリ
ームの入力と内部レジスタへの設定を行い、ビデオディ
スプレイプロセッサ34はデコードした画像を出力し、
DRAMコントローラ35は図1に示すDRAM8を制
御する。DRAM8は最大4Mバイトであり、レートバ
ッファ、参照画像用メモリ、ディスプレイ用メモリ(図
4、図5に示すバッファ)及びRISC用命令メモリと
して用いられる。DRAM8とのインターフェースは3
2ビットである。ここで、MPEG1はMPEG2に比
べて処理量が1/6以下、メモリバンド幅が1/4以下
である。そこでMPEG1とMPEG2を処理するよう
にするためにMPEG2の処理量に対応するようにデコ
ーディングプロセスを製造する。MPEG2の実際の画
素レートはSIF(ソース入力フォーマット)画像を仮
定すると11MHz程度であり、デコーディングプロセ
スの殆どを32ビット、80MHzで動作するRISC
を用いた逐次処理で行うことができる。MPEG1やC
Dの逐次処理も動作周波数(80MHz)は変えずに行
われる。
As the interfaces 33 to 35, the host bus interface 33 inputs the compressed data stream and sets the internal registers, and the video display processor 34 outputs the decoded image.
The DRAM controller 35 controls the DRAM 8 shown in FIG. The DRAM 8 has a maximum size of 4 Mbytes and is used as a rate buffer, a reference image memory, a display memory (buffers shown in FIGS. 4 and 5) and a RISC instruction memory. Interface with DRAM8 is 3
It is 2 bits. Here, the processing amount of MPEG1 is 1/6 or less and the memory bandwidth is 1/4 or less as compared with MPEG2. Therefore, in order to process MPEG1 and MPEG2, a decoding process is manufactured so as to correspond to the processing amount of MPEG2. The actual pixel rate of MPEG2 is about 11 MHz assuming a SIF (source input format) image, and most of the decoding process is a 32-bit, RISC operating at 80 MHz.
Can be performed by sequential processing. MPEG1 and C
The sequential processing of D is also performed without changing the operating frequency (80 MHz).

【0019】このような構成において、ダイジェスト画
面を表示する場合には、例えば図3に示すように横3×
縦3=9個の縮小画像が1画面上に表示される。この場
合、ビデオ信号がNTSCの場合、1画面、すなわちラ
スタは横720画素×縦480ラインで構成され、主走
査方向に3つの画像はそれぞれ第45〜第224画素、
第270〜第449画素、第495〜第674画素に表
示される。また、副走査方向に3つの画像は、それぞれ
第30〜第149ライン、第180〜第299ライン、
第330〜第449ラインに表示される。なお、ビデオ
信号がPALの場合は、図5に示すように、画面の横方
向(主走査方向)の画素数と横方向の画像の配置はNT
SCの場合と同じだが、画面の縦方向(副走査方向)の
ライン数は、576本であり、副走査方向に3つの画像
は、それぞれ第36〜第179ライン、第216〜第3
59ライン、第396〜第539ラインに表示される。
When a digest screen is displayed in such a configuration, for example, as shown in FIG.
Vertically 3 = 9 reduced images are displayed on one screen. In this case, when the video signal is NTSC, one screen, that is, the raster is composed of horizontal 720 pixels × vertical 480 lines, and three images in the main scanning direction are 45th to 224th pixels, respectively.
It is displayed in the 270th to 449th pixels and the 495th to 674th pixels. The three images in the sub-scanning direction are the 30th to 149th lines, the 180th to 299th lines, and
It is displayed on the 330th to 449th lines. When the video signal is PAL, as shown in FIG. 5, the number of pixels in the horizontal direction (main scanning direction) of the screen and the image arrangement in the horizontal direction are NT.
As in the case of SC, the number of lines in the vertical direction (sub-scanning direction) of the screen is 576, and the three images in the sub-scanning direction are the 36th to 179th lines and the 216th to 3rd lines, respectively.
The 59th line and the 396th to 539th lines are displayed.

【0020】DRAM8に設けられるダイジェスト用フ
レームバッファは、図4に示すような大きさのIピクチ
ャ・バッファとPピクチャ・バッファとダイジェスト・
ピクチャ・バッファにより構成され、Iピクチャ・バッ
ファとPピクチャ・バッファとダイジェスト・ピクチャ
・バッファはいずれもルミナンス(輝度信号)データエ
リアとクロミナンス(色信号)データエリアにより構成
されている。そして、IピクチャをIピクチャ・バッフ
ァ上でデコードし終え、PピクチャをPピクチャ・バッ
ファ上でデコードし終えると、それらのデータが縦横共
に1/4に間引いて1/16に縮小され、ダイジェスト
・ピクチャ・バッファに転送される。
The digest frame buffer provided in the DRAM 8 is an I picture buffer, a P picture buffer, and a digest
Each of the I picture buffer, P picture buffer, and digest picture buffer is composed of a luminance (luminance signal) data area and a chrominance (color signal) data area. When the I picture has been decoded on the I picture buffer and the P picture has been decoded on the P picture buffer, the data is vertically and horizontally thinned to 1/4 to be reduced to 1/16. Transferred to picture buffer.

【0021】図7〜図11を参照してダイジェスト画面
の表示処理を説明する。いま、再生するDVDには図1
1に示すように複数の画像がマルチアングル機能により
記録されているとき、これらを縮小してダイジェスト表
示するものとする。各アングルの画像はMPEG2圧縮
によりI、P、Bの各ピクチャにより構成されている。
まず、第1CPU6はMPEGデコーダ9に対して次の
ようなダイジェストコマンド(A,B)を出力する。
「A」は画像番号「1」〜「9」を示し、これはアング
ル番号に相当する。「B」は画像番号「A」以外の画像
を消す(B=1)か又は消さない(B=0)かを示し、
通常では次のような9種類のコマンドを出力する。
The display processing of the digest screen will be described with reference to FIGS. The DVD to be played now is shown in Figure 1.
As shown in 1, when a plurality of images are recorded by the multi-angle function, these are reduced and displayed in digest form. The image of each angle is composed of I, P, and B pictures by MPEG2 compression.
First, the first CPU 6 outputs the following digest command (A, B) to the MPEG decoder 9.
“A” indicates image numbers “1” to “9”, which correspond to angle numbers. “B” indicates whether images other than the image number “A” are erased (B = 1) or not erased (B = 0),
Normally, the following nine types of commands are output.

【0022】[0022]

【表1】 [Table 1]

【0023】図7に示す処理をスタートして上記ダイジ
ェストコマンドを受け付けると(ステップS1)、現在
ダイジェストモードか否かを判断する(ステップS
2)。そして、YESの場合にはダイジェストコマンド
が縮小画像消去コマンドか否かを判断し(ステップS
3)、YESの場合にはステップS6に進み、他方、N
Oの場合にはステップS7に進む。
Upon starting the processing shown in FIG. 7 and accepting the digest command (step S1), it is determined whether or not the current digest mode is set (step S).
2). Then, in the case of YES, it is determined whether or not the digest command is a reduced image deletion command (step S
3), in the case of YES the process proceeds to step S6, while on the other hand N
If it is O, the process proceeds to step S7.

【0024】また、ステップS2においてダイジェスト
モードでない場合にはダイジェストモードを設定し(ス
テップS4)、次いで図4又は図6に示すようなディス
プレイバッファを設定する(ステップS5)。次いでダ
イジェスト画面の背景色を塗りつぶし(ステップS
6)、次いで図4又は図6に示すようなディスプレイバ
ッファ上に縮小画像「1」〜「9」用のエリアを設定し
(ステップS7)、次いで図8に示す「プレイ」処理に
進む。なお、ステップS6における背景色を塗りつぶす
処理では、背景毎に別の色を設定することができ、ま
た、「背景色塗りつぶし」の代わりに「オーバライト」
でもよい。
If the digest mode is not set in step S2, the digest mode is set (step S4), and then the display buffer as shown in FIG. 4 or 6 is set (step S5). Next, fill the background color of the digest screen (step S
6) Next, areas for reduced images “1” to “9” are set on the display buffer as shown in FIG. 4 or 6 (step S7), and then the “play” process shown in FIG. 8 is performed. In the process of filling the background color in step S6, a different color can be set for each background, and "overwrite" can be used instead of "background color fill".
But it's okay.

【0025】図8においてスタートコードを検出すると
(ステップS11)、同じアングルのピクチャか否かを
判断し(ステップS12)、YESの場合、そのスター
トコードがIピクチャか否かを判断し(ステップS1
3)、YESの場合にはステップS14以下に進み、他
方、NOの場合にはステップS17へ行く。ステップS
14では図4又は図6に示すIピクチャ・バッファ上で
Iピクチャをデコードし、次いで1フレーム分のIピク
チャのデコードが完成すると(ステップS15)、その
データを1/16に縮小して図4又は図6に示すダイジ
ェスト・ピクチャ・バッファ(ダイジェスト用表示(デ
ィスプレイ)バッファともいう)に転送する(ステップ
S16)。ステップS16を終了すると、ステップS1
1へ戻る。
When the start code is detected in FIG. 8 (step S11), it is judged whether or not the pictures have the same angle (step S12). If YES, it is judged whether or not the start code is an I picture (step S1).
3) If YES, the process proceeds to step S14 and below, while if NO, the process proceeds to step S17. Step S
14 decodes the I picture on the I picture buffer shown in FIG. 4 or 6, and when decoding of one frame of I picture is completed (step S15), the data is reduced to 1/16 and Alternatively, it is transferred to the digest picture buffer (also referred to as a digest display (display) buffer) shown in FIG. 6 (step S16). When step S16 ends, step S1
Return to 1.

【0026】一方、ステップS17では、プレイ後、最
後にデコードされるピクチャか否かを判断する。YES
の場合はステップS11に戻る。NOの場合は、ステッ
プS18へ進む。ステップS18ではスタートコードが
Pピクチャか否かを判断し、YESの場合にはステップ
S19以下に進み、他方、NOの場合にはステップS1
1へ戻る。ステップS19では図4又は図6に示すPピ
クチャ・バッファ上でPピクチャをデコードし、次いで
1フレーム分のPピクチャのデコードが完成すると(ス
テップS20)、そのデータを1/16に縮小して図4
又は図6に示すダイジェスト・ピクチャ・バッファ(ダ
イジェスト用表示(ディスプレイ)バッファともいう)
に転送する(ステップS21)。ステップS21を終了
すると、ステップS11へ戻る。
On the other hand, in step S17, it is determined whether or not this is the last picture to be decoded after playing. Yes
In case of, it returns to step S11. If NO, the process proceeds to step S18. In step S18, it is determined whether or not the start code is a P picture. If YES, the process proceeds to step S19 and thereafter, while if NO, step S1.
Return to 1. At step S19, the P picture is decoded on the P picture buffer shown in FIG. 4 or 6, and when the decoding of the P picture for one frame is completed (step S20), the data is reduced to 1/16 and Four
Alternatively, the digest picture buffer shown in FIG. 6 (also referred to as a digest display (display) buffer)
(Step S21). When step S21 ends, the process returns to step S11.

【0027】そして、図9に示すように、図7、図8に
示す処理を1ユニットとして処理し(ステップS2
2)、次いで全てのアングルを表示したか否かを判断す
る(ステップS23)。NOであれば、ステップS24
でコマンドをインクリメントしてステップS22に戻
る。全てのアングルが表示された場合は、このダイジェ
スト画面表示処理を終了する。ダイジェストコマンドが
(9,0)の場合、この処理により、図10(a)〜
(c)に示すように、縮小画像「1」〜「9」が順次表
示され、次いで9個の画像「1」〜「9」の表示が終了
すると次の画像「1」を表示する場合に他の画像「2」
〜「9」が消去される。また、アングル表示が指定され
ていない場合には例えば図10(d)に示すように、ダ
イジェストコマンド(2,1)の場合に縮小画像「2」
のみを表示して他のエリアには背景色の塗りつぶし処理
を行い、この画像で停止する。
Then, as shown in FIG. 9, the processes shown in FIGS. 7 and 8 are processed as one unit (step S2).
2) Then, it is determined whether or not all angles have been displayed (step S23). If NO, step S24
The command is incremented by and the process returns to step S22. When all the angles have been displayed, this digest screen display processing ends. When the digest command is (9,0), this processing results in FIG.
As shown in (c), when the reduced images “1” to “9” are sequentially displayed and then the display of the nine images “1” to “9” ends, the next image “1” is displayed. Other image "2"
~ "9" is deleted. If the angle display is not designated, for example, as shown in FIG. 10D, the reduced image “2” is displayed in the case of the digest command (2, 1).
Only the image is displayed and the background color is applied to the other areas, and the process stops at this image.

【0028】[0028]

【発明の効果】以上説明したように本発明によれば、デ
ジタルディスクに記録されたIピクチャ及びPピクチャ
から構成される画像を順次再生して画像サイズを縮小
し、所定数を表示した後に次のIピクチャ及びPピクチ
ャにより構成される画像を表示する際に他の領域のIピ
クチャ及びPピクチャにより構成される画像を消去する
ので、マルチアングル機能で記録された複数画像を見や
すいダイジェスト画面にて表示することができる。
As described above, according to the present invention, an image composed of an I picture and a P picture recorded on a digital disc is sequentially reproduced to reduce the image size, and after displaying a predetermined number, the next image is displayed. When an image composed of I-pictures and P-pictures is displayed, the image composed of I-pictures and P-pictures in other areas is erased, so that it is easy to see multiple images recorded by the multi-angle function on the digest screen. Can be displayed.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明に係るデジタルディスク再生装置の一実
施形態を示すブロック図である。
FIG. 1 is a block diagram showing an embodiment of a digital disc reproducing apparatus according to the present invention.

【図2】図1のMPEGデコーダを詳しく示すブロック
図(a)と、信号処理手順を示すブロック図(b)であ
る。
2 is a block diagram (a) showing in detail the MPEG decoder of FIG. 1 and a block diagram (b) showing a signal processing procedure.

【図3】NTSCの場合のダイジェスト画面を示す説明
図である。
FIG. 3 is an explanatory diagram showing a digest screen in the case of NTSC.

【図4】NTSCの場合のフレームバッファメモリの構
成を示す説明図である。
FIG. 4 is an explanatory diagram showing a configuration of a frame buffer memory in the case of NTSC.

【図5】PALの場合のダイジェスト画面を示す説明図
である。
FIG. 5 is an explanatory diagram showing a digest screen in the case of PAL.

【図6】PALの場合のフレームバッファメモリの構成
を示す説明図である。
FIG. 6 is an explanatory diagram showing a configuration of a frame buffer memory in the case of PAL.

【図7】ダイジェスト画面の塗りつぶし処理を説明する
ためのフローチャートである。
FIG. 7 is a flowchart illustrating a filling process of a digest screen.

【図8】Iピクチャ及びPピクチャのデコード処理を説
明するためのフローチャートである。
[Fig. 8] Fig. 8 is a flowchart for explaining a decoding process of an I picture and a P picture.

【図9】ダイジェスト画面の表示処理を説明するための
フローチャートである。
FIG. 9 is a flowchart illustrating a digest screen display process.

【図10】ダイジェスト画面の一例を示す説明図であ
る。
FIG. 10 is an explanatory diagram showing an example of a digest screen.

【図11】デジタルディスクに記録されているマルチア
ングルの複数画像データのIピクチャ及びPピクチャを
デコードして再生する様子を示す説明図である。
FIG. 11 is an explanatory diagram showing a state of decoding and reproducing an I picture and a P picture of multi-angle multiple image data recorded on a digital disc.

【図12】従来のダイジェスト画面の一例を示す説明図
である。
FIG. 12 is an explanatory diagram showing an example of a conventional digest screen.

【図13】従来のデジタルスチルカメラにおけるダイジ
ェスト画面の表示処理を説明するためのフローチャート
である。
FIG. 13 is a flowchart for explaining a digest screen display process in a conventional digital still camera.

【符号の説明】[Explanation of symbols]

3 DVD/CDデコーダ/サーボ制御回路 5 入力指示部 6 第1CPU 8 DRAM(一部が表示用バッファを構成する) 9 MPEGデコーダ(DVD/CDデコーダ/サーボ
制御回路3と第1CPU6と共に復号手段及び制御手段
を構成している) 36 レート調整用バッファ D デジタルディスク
3 DVD / CD decoder / servo control circuit 5 Input instructing section 6 First CPU 8 DRAM (part of which constitutes display buffer) 9 MPEG decoder (DVD / CD decoder / servo control circuit 3 and first CPU 6 together with decoding means and control 36) Buffer D digital disc for rate adjustment

Claims (2)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】同一時間内に進行する映像を複数の異なる
画像として並列的に記録したデジタルディスクを再生し
て前記同一時間内に進行する複数の異なる画像を、それ
ぞれ同一時間内に進行する複数の縮小画像としてダイジ
ェスト画面上に表示し、かつ前記ダイジェスト画面上に
表示される前記各縮小画像の表示位置は前記ダイジェス
ト画面上の所定位置にそれぞれ規定されているデジタル
ディスク再生装置であって、 前記デジタルディスクから読み出された圧縮信号の書き
込みと、フレーム当たりの符号量を調整しつつ前記圧縮
信号の読み出しとを制御するレート調整用バッファと、 前記レート調整用バッファから読み出された前記圧縮信
号中、MPEG方式におけるフレーム内符号化画像とし
てのIピクチャの信号及びフレーム間符号化画像として
のPピクチャの信号を復号し、かつ前記複数の異なる画
像を前記複数の縮小画像として前記ダイジェスト画面上
に表示する場合には前記複数の異なる画像を順次再生し
て表示した後に、前記順次再生した前記複数の異なる画
像のうちから指定した画像を表示するときには前記指定
した画像を表示する表示領域を除く他の表示領域に該当
する前記画像を消去する処理を行う復号手段と、 前記復号手段の出力信号に応答して、再生された所定数
のIピクチャ及びPピクチャから構成される前記縮小画
像を前記ダイジェスト画面上で表示するための表示用バ
ッファと、 前記デジタルディスクに記録されたIピクチャ及びPピ
クチャから構成される前記複数の異なる画像を順次再生
してその表示数に応じて画像サイズを縮小して前記表示
用バッファに配列して書き込み、全ての前記複数の異な
る画像に対応した前記縮小画像を表示し、前記複数の異
なる画像を前記複数の縮小画像として前記ダイジェスト
画面上に表示する場合に前記複数の異なる画像を順次再
生して表示した後に、前記順次再生した前記複数の異な
る画像のうちから指定した画像を表示するときには前記
指定した画像を表示する表示領域を除く他の表示領域に
該当する前記画像を消去する制御を行なう制御手段と
を、 有するデジタルディスク再生装置。
1. A plurality of different images, each of which progresses within the same time, are reproduced by reproducing a digital disc in which videos progressing within the same time are recorded in parallel as a plurality of different images. Of the reduced image displayed on the digest screen as a reduced image, and the display position of each reduced image displayed on the digest screen is a digital disc reproducing apparatus defined at a predetermined position on the digest screen, A rate adjustment buffer that controls writing of the compressed signal read from the digital disk and reading of the compressed signal while adjusting the code amount per frame; and the compressed signal read from the rate adjustment buffer. Medium, I-picture signal as an intra-frame coded image and inter-frame code in the MPEG system Decoding the signal of P-pictures in the image, and the plurality of different image
Image as the plurality of reduced images on the digest screen
If you want to display in the
After being displayed, the plurality of different images that are sequentially reproduced are displayed.
When displaying the image specified from among the images,
Applies to other display areas except the display area that displays the image
Decoding means for erasing the image, and, in response to the output signal of the decoding means, displaying the reduced image composed of a predetermined number of reproduced I pictures and P pictures on the digest screen. And a display buffer for reproducing the plurality of different images composed of I-pictures and P-pictures recorded on the digital disc, and reducing the image size in accordance with the number of displays to display in the display buffer. Arranging and writing, displaying the reduced image corresponding to all of the plurality of different images,
The digest as the plurality of reduced images
When displaying on the screen, the different images are
After the live display, the plurality of different
When displaying a specified image from among
In the other display area except the display area that displays the specified image
A digital disc reproducing apparatus, comprising: a control unit that performs control to erase the corresponding image .
【請求項2】 前記制御手段は、Iピクチャ及びPピク
チャから構成される画像を消去するために色データをオ
ーバライトすることを特徴とする請求項1記載のデジタ
ルディスク再生装置。
2. The digital disc reproducing apparatus according to claim 1, wherein the control means overwrites color data in order to erase an image composed of an I picture and a P picture.
JP32601598A 1998-10-30 1998-10-30 Digital disk playback device Expired - Fee Related JP3528635B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32601598A JP3528635B2 (en) 1998-10-30 1998-10-30 Digital disk playback device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32601598A JP3528635B2 (en) 1998-10-30 1998-10-30 Digital disk playback device

Publications (2)

Publication Number Publication Date
JP2000138899A JP2000138899A (en) 2000-05-16
JP3528635B2 true JP3528635B2 (en) 2004-05-17

Family

ID=18183151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32601598A Expired - Fee Related JP3528635B2 (en) 1998-10-30 1998-10-30 Digital disk playback device

Country Status (1)

Country Link
JP (1) JP3528635B2 (en)

Also Published As

Publication number Publication date
JP2000138899A (en) 2000-05-16

Similar Documents

Publication Publication Date Title
US7342967B2 (en) System and method for enhancing performance of personal video recording (PVR) functions on hits digital video streams
US7519266B1 (en) Eliminating picture format artifacts in MPEG trick modes
JPH08214264A (en) Method and device for decoding encoded data
JPH10511526A (en) Memory controller for decoding and displaying compressed video data
US7164844B1 (en) Method and apparatus for facilitating reverse playback
US6259740B1 (en) Moving picture experts group video decoding apparatus and method for supporting replay
JPH09200695A (en) Method and device for decoding video data for high-speed reproduction
JP2000217109A (en) Dynamic image reproducing device and reproducing method
JPH1079918A (en) Device for decoding and reproducing picture information and method therefor
JP2006279262A (en) Coded video conversion apparatus, conversion method and program therefor
US20040234236A1 (en) Data recording and reproduction apparatus displaying channels
JP3528635B2 (en) Digital disk playback device
JP4289055B2 (en) Transcoder and recording / reproducing apparatus using the same
JPH11252507A (en) Video signal reproducing device, its method, video signal recording and reproducing device and its method
JP3104416B2 (en) Information recording / reproducing device
JP3436818B2 (en) Computer system and video playback method
JPH10304312A (en) Digital disk reproducing device
JP2002218396A (en) Information playback apparatus, information playback method, recording medium and program
JP2000236490A (en) Mpeg decoder for caption display and decoding method
JP3792780B2 (en) Image processing device
JP3775525B2 (en) Decoding device and decoding method
JPH09214883A (en) Video cd reproducing device
JP3104415B2 (en) Information recording / reproducing device
JP2932939B2 (en) Video signal switching device
JPH08130715A (en) Picture reproducing device

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20031125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090305

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090305

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100305

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110305

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120305

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees