JP4494292B2 - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP4494292B2
JP4494292B2 JP2005167396A JP2005167396A JP4494292B2 JP 4494292 B2 JP4494292 B2 JP 4494292B2 JP 2005167396 A JP2005167396 A JP 2005167396A JP 2005167396 A JP2005167396 A JP 2005167396A JP 4494292 B2 JP4494292 B2 JP 4494292B2
Authority
JP
Japan
Prior art keywords
moving image
display
image
data
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005167396A
Other languages
Japanese (ja)
Other versions
JP2006345107A (en
Inventor
詔八 鵜川
一夫 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sankyo Co Ltd
Original Assignee
Sankyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sankyo Co Ltd filed Critical Sankyo Co Ltd
Priority to JP2005167396A priority Critical patent/JP4494292B2/en
Publication of JP2006345107A publication Critical patent/JP2006345107A/en
Application granted granted Critical
Publication of JP4494292B2 publication Critical patent/JP4494292B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Display Devices Of Pinball Game Machines (AREA)

Description

本発明は、所定の圧縮方式でデータ圧縮された複数の圧縮画像データを含む圧縮動画データにもとづく動画像を画像表示手段に再生表示するための画像処理を行う画像処理装置に関する。   The present invention relates to an image processing apparatus for performing image processing for reproducing and displaying a moving image based on compressed moving image data including a plurality of compressed image data data compressed by a predetermined compression method on an image display means.

従来から、ＭＰＥＧと呼ばれる符号化技術などによる符号化方式でデータ圧縮された圧縮動画データを記憶し、圧縮動画データを伸長した動画データを用いて動画再生を行う画像処理装置が用いられている（例えば、特許文献１参照）。   2. Description of the Related Art Conventionally, an image processing apparatus that stores compressed moving image data compressed by an encoding method such as an encoding technique called MPEG and reproduces moving image using moving image data obtained by expanding the compressed moving image data has been used ( For example, see Patent Document 1).

一般に、Ｉピクチャ（キーピクチャ、フレーム内符号化ピクチャ）とＰピクチャ（前方向予測符号化ピクチャ）のみからなる圧縮動画データ（ＩＰ圧縮動画データ）については、動画再生を行う際に各ピクチャを伸長する順番と表示する順番とが一致していることから、例えばＰピクチャを伸長するときに参照される前方向のＩピクチャの伸長データがそのままピクチャバッファに保持される。   In general, for compressed moving image data (IP compressed moving image data) consisting only of an I picture (key picture, intra-frame encoded picture) and P picture (forward prediction encoded picture), each picture is expanded when the moving image is reproduced. Since the order of display and the order of display match, for example, the decompressed data of the forward I picture referred to when decompressing the P picture is held in the picture buffer as it is.

また、Ｂピクチャ（双方向予測符号化ピクチャ）を含む圧縮動画データ（ＩＰＢ圧縮動画データ）については、動画再生を行う際に各ピクチャを伸長する順番と表示する順番とが一致しないことがあるため、例えばＢピクチャを伸長するときに参照される前方向のピクチャの伸長データがそのままピクチャバッファに保持されるとともに、そのＢピクチャを伸長するときに参照される後方向のピクチャの伸長データが事前にピクチャバッファに保持される。   In addition, for compressed moving image data (IPB compressed moving image data) including B pictures (bidirectional predictive coded pictures), the order in which the pictures are expanded and the order in which the pictures are displayed may not match when performing moving image reproduction. For example, the decompressed data of the forward picture referred to when decompressing the B picture is held in the picture buffer as it is, and the decompressed data of the backward picture referenced when decompressing the B picture is stored in advance. Stored in the picture buffer.

特開２００５−７２６５５号公報JP 2005-72655 A

上述したように、従来の画像処理装置では、ＩＰ圧縮動画データにもとづいて動画再生を行う際には各ピクチャを表示する１フレーム期間前にそのピクチャの伸長処理を行う必要があり、ＩＰＢ圧縮動画データにもとづいて動画再生を行う際には各ピクチャを表示する２フレーム期間前にそのピクチャの伸長処理を行う必要があった。このため、ＩＰ圧縮動画データとＩＰＢ圧縮動画データとが混在する場合、ピクチャの伸長処理を開始するタイミングが動画データの種類によって異なることとなり、動画再生制御における伸長処理の実行タイミングの管理が煩雑であるという問題があった。   As described above, in the conventional image processing apparatus, when reproducing a moving image based on IP compressed moving image data, it is necessary to perform decompression processing of the picture one frame period before displaying each picture. When reproducing a moving image based on data, it is necessary to perform decompression processing of the picture two frame periods before displaying each picture. For this reason, when IP compressed moving image data and IPB compressed moving image data coexist, the timing for starting the picture expansion processing differs depending on the type of moving image data, and management of the execution timing of the expansion processing in moving image reproduction control is complicated. There was a problem that there was.

また、従来の画像処理装置では、ＩＰ圧縮動画データにもとづいて動画再生を行う際には最後にピクチャの伸長処理を行ったフレーム期間の１フレーム期間後に最後のピクチャの表示が行われることになるが、ＩＰＢ圧縮動画データにもとづいて動画再生を行う際には最後にピクチャの伸長処理を行ったフレーム期間の２フレーム期間後に最後のピクチャの表示が行われることになる。このため、ＩＰ圧縮動画データとＩＰＢ圧縮動画データとが混在する場合、ピクチャの動画再生制御を終了するタイミングが動画データの種類によって異なることとなり、動画再生を連続して行う場合に、先の動画再生の後に続けて動画再生される圧縮動画データの動画再生制御における伸長処理の実行タイミングの管理が煩雑であるという問題があった。   Further, in the conventional image processing apparatus, when playing back a moving picture based on IP compressed moving picture data, the last picture is displayed one frame period after the frame period in which the picture is decompressed last. However, when the moving image is reproduced based on the IPB compressed moving image data, the last picture is displayed after two frame periods of the frame period in which the picture expansion process was performed last. For this reason, when IP compressed moving image data and IPB compressed moving image data are mixed, the timing for ending the moving image reproduction control of a picture differs depending on the type of moving image data. There has been a problem that the management of the execution timing of the decompression process in the moving image reproduction control of the compressed moving image data that is reproduced after the reproduction is complicated.

そこで、本発明は、ＩＰ圧縮動画データとＩＰＢ圧縮動画データとを混在して演出に使用する画像処理装置において、動画再生制御における伸長処理の実行タイミングの管理を容易にすることができる画像処理装置を提供することを目的とする。   Therefore, the present invention provides an image processing apparatus that can easily manage the execution timing of decompression processing in moving image reproduction control in an image processing device that uses both IP compressed moving image data and IPB compressed moving image data for presentation. The purpose is to provide.

本発明による画像処理装置は、所定の圧縮方式でデータ圧縮された複数の圧縮画像データを含む圧縮動画データ（例えば、ＩＰムービーデータ、ＩＰＢムービーデータ）にもとづく動画像を画像表示手段に再生表示するための画像処理を行う画像処理装置であって、双方向予測符号化により圧縮された双方向圧縮画像データ（例えば、Ｂピクチャ）を含む第１圧縮動画データ（例えばＩＰＢムービーデータ）と、双方向圧縮画像データを含まない第２圧縮動画データ（例えばＩＰムービーデータ）とを含む複数の圧縮動画データを記憶する圧縮動画データ記憶手段（例えばＣＧＲＯＭ１０５）と、あらかじめ定められているフレーム期間毎に、圧縮動画データにもとづく動画像を再生表示させるための制御情報（描画指示）を設定する制御情報設定手段（例えばＣＰＵ１０１におけるステップＳ１２〜Ｓ２１を実行する部分）と、該制御情報設定手段によって設定された制御情報にもとづいて、圧縮動画データを順次伸長して当該圧縮動画データにもとづく動画像を再生する動画像再生手段（例えばＧＣＬ１０４におけるステップＳ３１〜Ｓ４１，Ｓ５１，Ｓ５２を繰り返し実行する部分）と、を備え、該動画像再生手段は、制御情報設定手段により設定された制御情報に含まれる伸長指示に応じて、圧縮動画データに含まれている圧縮画像データを、あらかじめ定められている伸長順番で伸長する伸長処理を行う伸長処理手段（例えばＧＣＬ１０４におけるステップＳ３７を実行する部分）と、制御情報設定手段により設定された制御情報に含まれる表示指示に応じて、伸長処理手段により伸長された画像データにもとづく画像を、あらかじめ定められた表示順番に従ってフレーム期間毎に画像表示手段に順次表示することで、圧縮動画データにもとづく動画像を再生表示する再生表示処理を行う再生表示処理手段（例えばＧＣＬ１０４におけるステップＳ５２を実行する部分）と、を含み、制御情報設定手段が、動画像の再生表示を開始させる際に設定する最初の制御情報にて動画像の再生表示に用いる圧縮動画データを指定するとともに（例えばステップＳ１６）、該圧縮動画データを指定した最初の制御情報を設定したフレーム期間から伸長指示を開始し（例えばステップＳ１９）、伸長指示を開始した制御情報を設定したフレーム期間の次のフレーム期間から表示指示を開始し（例えばステップＳ１７，Ｓ１８）、最初の制御情報にて指定した圧縮動画データが第１圧縮動画データ（例えばＩＰＢムービーデータ）であったときは、双方向圧縮画像データの伸長を指示するための伸長指示が最初になされるフレーム期間以前のフレーム期間（例えば、図１０（Ａ）に示すムービーデータであればＦ３のフレーム期間以前）に設定する制御情報にて、複数回（例えば２回）の伸長指示を行い（例えばステップＳ１９）、動画像再生手段により第１圧縮動画データにもとづく動画像の再生が行われたあと続けて圧縮動画データにもとづく動画像が再生されるとき（例えば図１５参照）には、先の再生に用いられる第１圧縮動画データにもとづく動画像における表示順番が最後となる最終表示予定画像（例えばダミーピクチャ）が表示されるべきフレーム期間（例えば図１５（Ａ）におけるＩＰＢムービーデータのＦ１３）の前のフレーム期間（例えば図１５（Ａ）におけるＩＰＢムービーデータのＦ１２、ＩＰムービーデータのＦ１）にて、後の再生に用いられる圧縮動画データ（例えば、ＩＰＢムービーデータ、ＩＰムービーデータ）にもとづく動画像における表示順番が最初となる最先表示画像（例えば図１５（Ａ）におけるＩＰムービーデータのピクチャＩ１）の伸長指示を含む制御情報の設定を行い、最終表示予定画像が表示されるべきフレーム期間（例えば図１５（Ａ）におけるＩＰＢムービーデータのＦ１３、ＩＰムービーデータのＦ２）にて、当該最終表示予定画像の表示指示を含む制御情報の設定を行うことなく、後の再生に用いられる圧縮動画データにもとづく動画像における最先表示画像の表示指示（例えば図１５（Ａ）におけるＩＰムービーデータのピクチャＩ１の表示指示）を含む制御情報の設定を行い（例えばステップＳ１８）、動画像再生手段が、制御情報設定手段によって設定された制御情報にもとづいて、先の再生に用いられる第１圧縮動画データにもとづく動画像における表示順番が最終表示予定画像の１つ前となる画像（例えば図１５（Ａ）におけるＩＰＢムービーデータのピクチャＢ５）を当該第１圧縮動画データにもとづく動画像の最終画像として表示し（例えばステップＳ５２）、該最終画像を表示したフレーム期間（例えば図１５（Ａ）におけるＩＰＢムービーデータのＦ１２、ＩＰムービーデータのＦ１）の次のフレーム期間である最終表示予定画像が表示されるべきフレーム期間（例えば図１５（Ａ）におけるＩＰムービーデータのＦ２）にて最先表示画像を表示し（例えばステップＳ５２）、伸長処理手段が、動画像再生手段により第１圧縮動画データにもとづく動画像の再生が行われたあと続けて圧縮動画データにもとづく動画像が再生されるときには（例えば図１５（Ａ）参照）、先の再生に用いられる第１圧縮動画データにもとづく動画像における最終表示予定画像（例えば、図１５（Ａ）におけるピクチャＰ５）を示す画像データを、当該第１圧縮動画データにもとづく動画像における他の画像（例えば、図１５（Ａ）におけるピクチャＢ４，ピクチャＢ５）を示す圧縮画像データの伸長処理に使用することを特徴とする。   An image processing apparatus according to the present invention reproduces and displays a moving image based on compressed moving image data (for example, IP movie data and IPB movie data) including a plurality of compressed image data compressed by a predetermined compression method on an image display means. An image processing apparatus that performs image processing for the first compression moving image data (for example, IPB movie data) including bidirectional compressed image data (for example, B picture) compressed by bidirectional predictive encoding, and bidirectional Compressed moving image data storage means (for example, CGROM 105) for storing a plurality of compressed moving image data including second compressed moving image data (for example, IP movie data) that does not include compressed image data, and compression for each predetermined frame period Control information for setting control information (rendering instructions) for reproducing and displaying moving images based on video data Based on the setting means (for example, the part that executes steps S12 to S21 in the CPU 101) and the control information set by the control information setting means, the compressed moving image data is sequentially expanded to reproduce the moving image based on the compressed moving image data. Moving image reproduction means (for example, a portion of GCL 104 that repeatedly executes steps S31 to S41, S51, and S52), the moving image reproduction means includes an expansion instruction included in the control information set by the control information setting means In accordance with the decompression processing means for decompressing the compressed image data included in the compressed moving image data in a predetermined decompression order (for example, the part executing step S37 in the GCL 104), and control information setting In accordance with display instructions included in the control information set by the means, decompression processing Playback that performs playback display processing for playing back and displaying a moving image based on compressed video data by sequentially displaying an image based on the image data expanded by the stage on the image display means for each frame period in accordance with a predetermined display order Display processing means (for example, the part that executes step S52 in the GCL 104), and the control information setting means uses the first control information that is set when starting the reproduction display of the moving image for the reproduction display of the moving image. The compressed moving image data is designated (for example, step S16), the decompression instruction is started from the frame period in which the first control information designating the compressed moving image data is set (for example, step S19), and the control information for which the decompression instruction is started is set. The display instruction is started from the frame period next to the frame period (for example, steps S17 and S18). When the compressed moving image data designated by the first control information is the first compressed moving image data (for example, IPB movie data), a frame in which a decompression instruction for instructing decompression of the bidirectional compressed image data is first performed. The control information set in the frame period before the period (for example, before the frame period of F3 in the case of the movie data shown in FIG. 10A) gives a decompression instruction a plurality of times (for example, twice) (for example, step S19). ) When the moving image based on the compressed moving image data is reproduced after the moving image based on the first compressed moving image data is reproduced by the moving image reproducing means (for example, see FIG. 15), the previous reproduction is performed. A frame period in which a final display scheduled image (for example, a dummy picture) in which the display order in the moving image based on the first compressed moving image data used is last is displayed. For example, in the frame period before F13 of IPB movie data in FIG. 15A (for example, F12 of IPB movie data and F1 of IP movie data in FIG. 15A), the compressed moving image data used for subsequent playback is used. Setting of control information including an instruction to decompress the earliest display image (eg, picture I1 of IP movie data in FIG. 15A) whose display order in the moving image based on (for example, IPB movie data, IP movie data) is the first. In the frame period in which the final display scheduled image is to be displayed (for example, F13 of IPB movie data and F2 of IP movie data in FIG. 15A), the control information including the display instruction of the final display scheduled image is displayed. In a moving image based on compressed video data used for later playback without setting Setting of control information including a display instruction for the previous display image (for example, an instruction to display the picture I1 of the IP movie data in FIG. 15A) is performed (for example, step S18), and the moving image reproduction unit sets by the control information setting unit. Based on the control information thus obtained, the display order of the moving image based on the first compressed moving image data used for the previous reproduction is one image before the final scheduled display image (for example, the IPB movie data in FIG. 15A). The picture B5) is displayed as the final image of the moving image based on the first compressed moving image data (for example, step S52), and the frame period (for example, F12 of the IPB movie data in FIG. The frame period in which the final display scheduled image that is the next frame period of data F1) is to be displayed (for example, For example, the earliest display image is displayed in F2 of the IP movie data in FIG. 15A (for example, step S52), and the decompression processing unit reproduces the moving image based on the first compressed moving image data by the moving image reproducing unit. When a moving image based on compressed moving image data is reproduced after being performed (see, for example, FIG. 15A), a final scheduled display image (for example, a moving image based on the first compressed moving image data used for the previous reproduction) , Compressed image data indicating other images in the moving image based on the first compressed moving image data (for example, picture B4 and picture B5 in FIG. 15A). It is used for the decompression process.

伸長処理手段が、伸長処理にて、圧縮画像データを伸長した画像データを複数のフレームバッファのいずれかに記憶させるフレームバッファ記憶処理を行い（例えばステップＳ３７）、制御情報設定手段により設定された制御情報にて指定された動画像の再生表示に用いる圧縮動画データが第１圧縮動画データであるか第２圧縮動画データであるかに応じて伸長処理で用いるフレームバッファの数を決定するフレームバッファ数決定手段（例えばＧＣＬ１０４におけるステップＳ３４を実行する部分）を備え、フレームバッファ数決定手段は、第１圧縮動画データであったときは、第２圧縮動画データであったときよりも多い数に決定する（例えば、ステップＳ３４にてＩＰムービーデータのときは３個に決定し、ＩＰＢムービーデータのときは４個に決定する）ことが望ましい。   The decompression processing means performs a frame buffer storage process in which image data obtained by decompressing the compressed image data in the decompression process is stored in any of a plurality of frame buffers (for example, step S37), and the control set by the control information setting means The number of frame buffers for determining the number of frame buffers used in the decompression process according to whether the compressed moving image data used for reproducing and displaying the moving image designated by the information is the first compressed moving image data or the second compressed moving image data A determination unit (for example, a part for executing step S34 in the GCL 104) is provided, and the frame buffer number determination unit determines that the number of the first compressed moving image data is larger than that of the second compressed moving image data. (For example, in the case of IP movie data in step S34, the number of IP movie data is determined as three. Is determined to four) it is desirable.

伸長処理手段が、伸長処理にて、圧縮画像データを伸長した画像データを複数のフレームバッファのいずれかに記憶させるフレームバッファ記憶処理を行い（例えばステップＳ３７）、制御情報設定手段により設定された制御情報にて指定された動画像の再生表示に用いる圧縮動画データにもとづく当該動画像における画像サイズを判別し、判別結果に応じたサイズの記憶領域をフレームバッファとして設定するフレームバッファ設定手段（例えばＧＣＬ１０４におけるステップＳ３３を実行する部分）を備えていてもよい。   The decompression processing means performs a frame buffer storage process in which image data obtained by decompressing the compressed image data in the decompression process is stored in any of a plurality of frame buffers (for example, step S37), and the control set by the control information setting means Frame buffer setting means (for example, GCL104) that determines an image size in the moving image based on the compressed moving image data used for reproducing and displaying the moving image specified by the information, and sets a storage area having a size corresponding to the determination result as a frame buffer. The portion for executing step S33 in FIG.

制御情報設定手段が、所定のフレーム期間において設定した制御情報にて伸長指示を行ったあと、伸長処理手段が該伸長指示に応じて実行している伸長処理が終了する前に該フレーム期間が終了したときは、次のフレーム期間に設定する制御情報おいて所定のフレーム期間と同一の画像データにもとづく画像を表示させる表示指示を行う（例えばステップＳ１８）ようにしてもよい。   After the control information setting means gives the decompression instruction with the control information set in the predetermined frame period, the frame period ends before the decompression processing executed by the decompression processing means in response to the decompression instruction is finished. In this case, a display instruction for displaying an image based on the same image data as the predetermined frame period in the control information set in the next frame period may be issued (for example, step S18).

最終表示予定画像（例えば、図１５（Ａ）におけるダミーピクチャＰ５。また、例えば、図１５（Ｂ）におけるダミーピクチャＰ６。）は、表示順番が当該最終表示予定画像の１つ前となる画像（例えば、図１５（Ａ）におけるピクチャＢ５。また、例えば、図１５（Ｂ）におけるダミーピクチャＰ５。）と同一の画像であることが望ましい。   The final display scheduled image (for example, the dummy picture P5 in FIG. 15A. Further, for example, the dummy picture P6 in FIG. 15B) is an image (in which the display order is one before the final display scheduled image). For example, the picture B5 in FIG. 15A and the dummy picture P5 in FIG.

圧縮動画データは、該圧縮動画データにもとづく動画における表示物の移動速度が速い部分に、表示物の移動速度が遅い部分と比較してフレーム内符号化により圧縮されたフレーム内圧縮画像データ（例えばＩピクチャデータ）を多く用いたデータ構造とされた部分を含むように構成されていてもよい。   The compressed moving image data is a portion of the moving image based on the compressed moving image data where the moving speed of the display object is fast compared to a portion where the moving speed of the display object is low, and is compressed by intra-frame coding (for example, It may be configured to include a portion having a data structure using a large amount of (I picture data).

伸長処理手段は、伸長処理にて、圧縮画像データを伸長した画像データを複数のフレームバッファのいずれかに記憶させるフレームバッファ記憶処理を行い（例えばステップＳ３７）、スプライト画像を表示するためのスプライト画像データを記憶するスプライト画像データ記憶手段（例えばＣＧＲＯＭ１０５）と、制御情報設定手段により設定された制御情報に含まれる画像合成指示に応じて、再生表示処理手段によって圧縮動画データにもとづく動画像の再生表示処理が実行される際に、スプライト画像データ記憶手段からスプライト画像データを読み出してスプライト画像を生成し、圧縮動画データにもとづく動画像における各画像上にスプライト画像を順次合成する合成画像生成手段（例えばＧＣＬ１０４におけるステップＳ３９，Ｓ４１を実行する部分）と、を備え、制御情報設定手段が、１フレーム期間毎に画像合成指示を含む制御情報を設定し、２フレーム期間毎に伸長指示を含む制御情報を設定する（例えば図１４に示す表示制御データに応じて描画指示を行う）ように構成されていてもよい。   The decompression processing means performs a frame buffer storage process for storing the image data obtained by decompressing the compressed image data in any of a plurality of frame buffers in the decompression process (for example, step S37), and a sprite image for displaying a sprite image A sprite image data storage unit (eg, CGROM 105) for storing data, and a reproduction display of a moving image based on the compressed moving image data by a reproduction display processing unit according to an image composition instruction included in the control information set by the control information setting unit When the processing is executed, the sprite image data is read from the sprite image data storage means to generate a sprite image, and a composite image generation means (for example, a sprite image is sequentially synthesized on each image in the moving image based on the compressed moving image data (for example, Step S39 in the GCL104, The control information setting means sets control information including an image compositing instruction for each frame period, and sets control information including a decompression instruction for every two frame periods (for example, FIG. 14 may be configured to perform a drawing instruction according to the display control data shown in FIG.

請求項１記載の発明によれば、制御情報設定手段が、動画像の再生表示を開始させる際に設定する最初の制御情報にて動画像の再生表示に用いる圧縮動画データを指定するとともに、該圧縮動画データを指定した最初の制御情報を設定したフレーム期間から伸長指示を開始し、伸長指示を開始した制御情報を設定したフレーム期間の次のフレーム期間から表示指示を開始し、最初の制御情報にて指定した圧縮動画データが第１圧縮動画データであったときは、双方向圧縮画像データの伸長を指示するための伸長指示が最初になされるフレーム期間以前のフレーム期間に設定する制御情報にて、複数回の伸長指示を行い、動画像再生手段により第１圧縮動画データにもとづく動画像の再生が行われたあと続けて圧縮動画データにもとづく動画像が再生されるときには、先の再生に用いられる第１圧縮動画データにもとづく動画像における表示順番が最後となる最終表示予定画像が表示されるべきフレーム期間の前のフレーム期間にて、後の再生に用いられる圧縮動画データにもとづく動画像における表示順番が最初となる最先表示画像の伸長指示を含む制御情報の設定を行い、最終表示予定画像が表示されるべきフレーム期間にて、当該最終表示予定画像の表示指示を含む制御情報の設定を行うことなく、後の再生に用いられる圧縮動画データにもとづく動画像における最先表示画像の表示指示を含む制御情報の設定を行い、動画像再生手段が、制御情報設定手段によって設定された制御情報にもとづいて、先の再生に用いられる第１圧縮動画データにもとづく動画像における表示順番が最終表示予定画像の１つ前となる画像を当該第１圧縮動画データにもとづく動画像の最終画像として表示し、該最終画像を表示したフレーム期間の次のフレーム期間である最終表示予定画像が表示されるべきフレーム期間にて最先表示画像を表示し、伸長処理手段が、動画像再生手段により第１圧縮動画データにもとづく動画像の再生が行われたあと続けて圧縮動画データにもとづく動画像が再生されるときには、先の再生に用いられる第１圧縮動画データにもとづく動画像における最終表示予定画像を示す画像データを、当該第１圧縮動画データにもとづく動画像における他の画像を示す圧縮画像データの伸長処理に使用する構成とされているので、動画再生制御における伸長処理の実行タイミングの管理を容易にすることができる。また、第１圧縮動画データにおける全ての画像データを動画再生制御のために使用される必要な画像データとすることができ、第１圧縮動画データのデータ容量に無駄が生じないようにすることができるとともに、伸長処理手段に不必要な伸長処理を実行させ無用な処理のために負荷が増大されることを防止することができる。   According to the first aspect of the invention, the control information setting means designates the compressed moving image data used for the reproduction display of the moving image by the first control information set when starting the reproduction display of the moving image, The decompression instruction is started from the frame period in which the first control information specifying the compressed moving image data is set, and the display instruction is started from the frame period subsequent to the frame period in which the control information in which the decompression instruction is started is set. When the compressed moving image data designated in step 1 is the first compressed moving image data, the control information set in the frame period before the first frame period in which the decompression instruction for instructing the decompression of the bi-directional compressed image data is first performed. Thus, after a plurality of times of decompression instructions are given and the moving image is reproduced based on the first compressed moving image data by the moving image reproducing means, the moving image based on the compressed moving image data When it is played back, it is played back later in the frame period before the frame period in which the final display scheduled image with the last display order in the moving image based on the first compressed moving image data used in the previous playback is to be displayed. Set the control information including an instruction to decompress the earliest display image whose display order is the first in the moving image based on the compressed video data used, and the final display schedule in the frame period in which the final display schedule image should be displayed Without setting the control information including the image display instruction, the control information including the display instruction of the earliest display image in the moving image based on the compressed moving image data used for the subsequent reproduction is set. Based on the control information set by the control information setting means, the display order in the moving image based on the first compressed moving image data used for the previous reproduction Is displayed as the final image of the moving image based on the first compressed moving image data, and the final display scheduled image that is the frame period next to the frame period in which the final image is displayed is displayed. The first display image is displayed in the frame period to be displayed, and the moving image based on the compressed moving image data is displayed after the expansion processing unit reproduces the moving image based on the first compressed moving image data by the moving image reproducing unit. When the image is reproduced, the image data indicating the final display scheduled image in the moving image based on the first compressed moving image data used for the previous reproduction is compressed as the other image in the moving image based on the first compressed moving image data. Since it is configured to be used for image data decompression processing, management of the decompression processing execution timing in the moving image reproduction control can be facilitated. Also, all the image data in the first compressed moving image data can be used as necessary image data used for moving image reproduction control, so that the data capacity of the first compressed moving image data is not wasted. In addition, it is possible to prevent the load from increasing due to unnecessary processing by causing the decompression processing means to execute unnecessary decompression processing.

請求項２記載の発明では、伸長処理手段が、伸長処理にて、圧縮画像データを伸長した画像データを複数のフレームバッファのいずれかに記憶させるフレームバッファ記憶処理を行い、制御情報設定手段により設定された制御情報にて指定された動画像の再生表示に用いる圧縮動画データが第１圧縮動画データであるか第２圧縮動画データであるかに応じて伸長処理で用いるフレームバッファの数を決定するフレームバッファ数決定手段を備え、フレームバッファ数決定手段は、第１圧縮動画データであったときは、第２圧縮動画データであったときよりも多い数に決定するように構成されているので、動画像の再生表示に用いる圧縮動画データが双方向圧縮画像データを含むか否かに応じて動画再生制御に用いる記憶領域の容量を適切に決定することができる。   In the invention according to claim 2, the decompression processing means performs frame buffer storage processing for storing the image data obtained by decompressing the compressed image data in any of the plurality of frame buffers in the decompression processing, and is set by the control information setting means The number of frame buffers used in the decompression process is determined according to whether the compressed moving image data used for reproducing and displaying the moving image specified by the control information is the first compressed moving image data or the second compressed moving image data. Since the frame buffer number determining means is configured to determine a larger number when it is the first compressed moving image data than when it was the second compressed moving image data, The capacity of the storage area used for moving image playback control is appropriately determined according to whether or not the compressed moving image data used for moving image playback display includes bidirectional compressed image data. It can be.

請求項３記載の発明では、伸長処理手段が、伸長処理にて、圧縮画像データを伸長した画像データを複数のフレームバッファのいずれかに記憶させるフレームバッファ記憶処理を行い、制御情報設定手段により設定された制御情報にて指定された動画像の再生表示に用いる圧縮動画データにもとづく当該動画像における画像サイズを判別し、判別結果に応じたサイズの記憶領域をフレームバッファとして設定するフレームバッファ設定手段を備えているので、動画像の再生表示に用いる圧縮動画データにもとづく当該動画像の画像サイズに応じて動画再生制御に用いる記憶領域の容量を適切に決定することができる。   In the invention according to claim 3, the decompression processing means performs a frame buffer storage process for storing the image data obtained by decompressing the compressed image data in any of the plurality of frame buffers in the decompression process, and is set by the control information setting means Frame buffer setting means for determining the image size of the moving image based on the compressed moving image data used for reproducing and displaying the moving image specified by the control information, and setting a storage area of the size according to the determination result as a frame buffer Therefore, the capacity of the storage area used for moving image reproduction control can be appropriately determined according to the image size of the moving image based on the compressed moving image data used for moving image reproduction display.

請求項４記載の発明によれば、制御情報設定手段が、所定のフレーム期間において設定した制御情報にて伸長指示を行ったあと、伸長処理手段が該伸長指示に応じて実行している伸長処理が終了する前に該フレーム期間が終了したときは、次のフレーム期間に設定する制御情報おいて所定のフレーム期間と同一の画像データにもとづく画像を表示させる表示指示を行うように構成されているので、画面のちらつきを防止することができる。   According to the fourth aspect of the present invention, after the control information setting means gives an extension instruction with the control information set in a predetermined frame period, the extension processing means executes in accordance with the extension instruction. When the frame period ends before ending, the display information for displaying an image based on the same image data as the predetermined frame period is provided in the control information set for the next frame period. Therefore, flickering of the screen can be prevented.

請求項５記載の発明によれば、最終表示予定画像が、表示順番が当該最終表示予定画像の１つ前となる画像と同一の画像であるので、たとえ最終表示予定画像が誤って表示されたとしても見た目上の違和感が生じないようにすることができる。   According to the fifth aspect of the present invention, since the final display scheduled image is the same image as the image whose display order is one before the final display planned image, even if the final display planned image is displayed in error. As a result, it is possible to prevent an uncomfortable appearance.

請求項６記載の発明では、圧縮動画データが、該圧縮動画データにもとづく動画における表示物の移動速度が速い部分に、表示物の移動速度が遅い部分と比較してフレーム内符号化により圧縮されたフレーム内圧縮画像データを多く用いたデータ構造とされた部分を含むので、画質を維持しつつ、圧縮動画データのデータ量を極力低減させることができる。   In the invention according to claim 6, the compressed moving image data is compressed by intra-frame coding in a moving image based on the compressed moving image data in a portion where the moving speed of the display object is fast compared to a portion where the moving speed of the display object is slow. Therefore, the data structure of the compressed moving image data can be reduced as much as possible while maintaining the image quality.

請求項７記載の発明では、制御情報設定手段が、１フレーム期間毎に画像合成指示を含む制御情報を設定し、２フレーム期間毎に伸長指示を含む制御情報を設定するように構成されているので、精密な表示を実現しつつ、画像合成に関わる制御負担が重くなることを防止できる。   According to the seventh aspect of the present invention, the control information setting means is configured to set control information including an image composition instruction every frame period and set control information including a decompression instruction every two frame periods. Therefore, it is possible to prevent the control burden related to image composition from becoming heavy while realizing precise display.

以下、本発明の一実施形態を、図面を参照して説明する。
図１は、本発明の一実施形態における画像処理装置１００の回路構成例を示すブロック図である。図１には、動画像などの画像を表示する画像表示部を備える画像表示装置１２０も示されている。なお、画像表示装置１２０は、画像処理装置１００に内蔵されていてもよい。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a circuit configuration example of an image processing apparatus 100 according to an embodiment of the present invention. FIG. 1 also shows an image display device 120 including an image display unit that displays an image such as a moving image. Note that the image display device 120 may be built in the image processing device 100.

画像処理装置１００には、ＣＰＵ１０１とともに、画像処理制御用のプログラムや動画像による演出パターン等を記憶するＲＯＭ１０２と、ワークメモリとして使用されるＲＡＭ１０３とが搭載されている。なお、ＲＯＭ１０２およびＲＡＭ１０３は、ＣＰＵ１０１に内蔵されていてもよい。   In addition to the CPU 101, the image processing apparatus 100 includes a ROM 102 that stores an image processing control program, an effect pattern by moving images, and the like, and a RAM 103 that is used as a work memory. Note that the ROM 102 and the RAM 103 may be built in the CPU 101.

画像表示装置１２０の表示制御を実行する際に、ＣＰＵ１０１は、画像処理制御用のプログラムに応じた描画指示（動画再生させるための制御情報）をＧＣＬ（グラフィカル コントローラ ＬＳＩ）１０４に与える。ＧＣＬ１０４は、描画指示に従って、ＣＧＲＯＭ１０５等から必要なデータを読み出す。なお、ＣＧＲＯＭ１０５には、後述するムービーデータや、動画像に重畳されて表示されるキャラクタの画像データなどの動画像の表示のために用いられる各種のデータが格納されている。ＣＧＲＯＭ１０５は、キャラクタの画像データ等の格納に用いられるため、キャラクタＲＯＭと呼ばれることもある。ＣＧＲＯＭ１０５に格納されているキャラクタとは、例えば、画像表示装置１２０に表示される人物、動物、または、文字、図形もしくは記号等からなる画像である。なお、キャラクタには、実写による動画像（映像）や静止画像も含まれる。   When executing display control of the image display device 120, the CPU 101 gives a drawing instruction (control information for reproducing a moving image) according to a program for image processing control to a GCL (graphical controller LSI) 104. The GCL 104 reads necessary data from the CGROM 105 or the like according to the drawing instruction. The CGROM 105 stores various data used for displaying moving images such as movie data to be described later and character image data superimposed on the moving images. The CGROM 105 is sometimes called a character ROM because it is used to store character image data and the like. The character stored in the CGROM 105 is, for example, a person, an animal, or an image made up of characters, figures, symbols, etc. displayed on the image display device 120. Note that the character includes a moving image (video) and a still image obtained by actual shooting.

ＧＣＬ１０４は、ＣＰＵ１０１からの描画指示に従って、画像表示装置１２０に画像を表示させるための画像データを生成し、生成した画像データが示す画像を表示させるための画像表示信号として、ビデオ信号（Ｒ（赤），Ｇ（緑），Ｂ（青）信号および同期信号）を画像表示装置１２０に出力する。   The GCL 104 generates image data for displaying an image on the image display device 120 in accordance with a drawing instruction from the CPU 101, and a video signal (R (red (red)) as an image display signal for displaying the image indicated by the generated image data. ), G (green), B (blue) signal and synchronization signal) are output to the image display device 120.

画像表示装置１２０は、例えば、多数の画素（ピクセル）を用いたドットマトリクス方式による画面表示を行う。この実施の形態では、Ｒ，Ｇ，Ｂ信号がそれぞれ８ビットで表される。したがって、画像表示装置１２０は、ＧＣＬ１０４からの画像表示信号に従って、Ｒ，Ｇ，Ｂそれぞれが２５６階調であり、約１６７０万色の多色表示を行うことができる。なお、Ｒ，Ｇ，Ｂ信号のビット数は８ビット以外のビット数であってもよく、また、Ｒ，Ｇ，Ｂ信号の各ビット数が互いに異なる数であってもよい。   For example, the image display device 120 performs screen display by a dot matrix method using a large number of pixels. In this embodiment, the R, G, and B signals are each represented by 8 bits. Therefore, according to the image display signal from the GCL 104, the image display device 120 can perform multi-color display of about 16.7 million colors with each of R, G, and B having 256 gradations. Note that the number of bits of the R, G, and B signals may be other than 8 bits, and the number of bits of the R, G, and B signals may be different from each other.

画像処理装置１００には、ＣＧＲＯＭ１０５の他に、ＳＤＲＡＭ（シンクロナスＤＲＡＭ）１０６等の各種の記憶媒体が備えられている。なお、ＳＤＲＡＭ１０６にはフレームバッファの領域が確保される。また、ＳＤＲＡＭ１０６には、キャラクタのソースデータ、表示色の特定や変更等のために用いられるパレットデータ等の表示画像に関するデータが格納される。ソースデータは画像データであり、元画像のデータという意味でソースデータと表現される。さらに、ＳＤＲＡＭ１０６には、ＶＲＡＭ（ビデオＲＡＭ）として使用される領域も確保される。   In addition to the CGROM 105, the image processing apparatus 100 includes various storage media such as an SDRAM (synchronous DRAM) 106. Note that a frame buffer area is secured in the SDRAM 106. The SDRAM 106 stores data relating to a display image such as character source data and palette data used for specifying or changing display colors. The source data is image data, and is expressed as source data in the sense of original image data. Further, an area used as a VRAM (video RAM) is also secured in the SDRAM 106.

ＧＣＬ１０４は、所定のパレットデータを一時的に保存するためなどに用いられるパレットバッファ１０７や、所定のＣＧデータを一時的に保存するためなどに用いられるＣＧデータバッファ１０８等の各種の記憶媒体の他、描画制御部１０９と、画像表示装置１２０にビデオ信号を出力するための表示信号制御部１１０と、圧縮動画データの伸長処理を行う動画伸長部１１１とを含む。   The GCL 104 includes various storage media such as a palette buffer 107 used for temporarily storing predetermined palette data and a CG data buffer 108 used for temporarily storing predetermined CG data. , A rendering control unit 109, a display signal control unit 110 for outputting a video signal to the image display device 120, and a moving image decompression unit 111 that decompresses compressed moving image data.

表示信号制御部１１０は、ビデオ信号をＤＡＣ（Ｄ−Ａ変換回路）１１２に出力する。ＤＡＣ１１２は、表示信号制御部１１０からのビデオ信号をアナログ信号として画像表示装置１２０としてのＬＣＤ（液晶表示装置）に出力する。   The display signal control unit 110 outputs the video signal to a DAC (DA conversion circuit) 112. The DAC 112 outputs the video signal from the display signal control unit 110 as an analog signal to an LCD (liquid crystal display device) as the image display device 120.

描画制御部１０９は、例えば、アトリビュート解析部、ＶＲＡＭアドレス生成部、クリッピング部および半透明輝度変調部を含む。アトリビュート解析部は、キャラクタを描画する際に使用されるパラメータの解析を行う。パラメータには、画像の描画順序、色数、拡大縮小率、パレット番号、座標等を指定するための情報が設定されている。   The drawing control unit 109 includes, for example, an attribute analysis unit, a VRAM address generation unit, a clipping unit, and a translucent luminance modulation unit. The attribute analysis unit analyzes parameters used when drawing the character. Information for designating an image drawing order, the number of colors, an enlargement / reduction ratio, a palette number, coordinates, and the like are set in the parameters.

図１に示すように、ＧＣＬ１０４の内部には、ＣＧバスとＶＲＡＭバスとが設けられている。ＣＧＲＯＭ１０５とＣＧバスとの間には、ＣＧバスインタフェース（ＣＧバスＩ／Ｆ）１１３が設置されている。ＣＧバスにはＣＰＵＩ／Ｆ１１４も接続され、ＣＰＵ１０１は、ＣＰＵＩ／Ｆ１１４を介して、ＣＧバスに接続されている各部にアクセスすることができる。   As shown in FIG. 1, a CG bus and a VRAM bus are provided in the GCL 104. A CG bus interface (CG bus I / F) 113 is installed between the CGROM 105 and the CG bus. A CPU I / F 114 is also connected to the CG bus, and the CPU 101 can access each unit connected to the CG bus via the CPU I / F 114.

具体的には、ＣＰＵ１０１は、ＣＧバスに接続されている描画制御レジスタ１１５にアクセスする。描画制御レジスタ１１５には、描画制御部１０９に対するＣＰＵ１０１からの描画指示等のデータが格納される。従って、ＣＰＵ１０１は、ＧＣＬ１０４に対する描画指示を描画制御レジスタ１１５に書き込み、ＧＣＬ１０４は、ＣＰＵ１０１からの描画指示を描画制御レジスタ１１５を介して受け取る。また、ＳＤＲＡＭ１０６とＶＲＡＭバスとの間にはＶＲＡＭＩ／Ｆ１１６が設置されている。なお、動画伸長部１１１は、ＶＲＡＭバスを介してＳＤＲＡＭ１０６に設けられているＶＲＡＭにアクセスできるとともに、ＣＧバスを介して描画制御レジスタ１１５にアクセスすることができる。   Specifically, the CPU 101 accesses the drawing control register 115 connected to the CG bus. The drawing control register 115 stores data such as a drawing instruction from the CPU 101 to the drawing control unit 109. Therefore, the CPU 101 writes a drawing instruction for the GCL 104 in the drawing control register 115, and the GCL 104 receives the drawing instruction from the CPU 101 via the drawing control register 115. A VRAM I / F 116 is installed between the SDRAM 106 and the VRAM bus. Note that the moving image decompression unit 111 can access the VRAM provided in the SDRAM 106 via the VRAM bus, and can access the drawing control register 115 via the CG bus.

ＧＣＬ１０４は、ＣＰＵ１０１からの描画指示に応じて、ＣＧＲＯＭ１０５からムービーデータやキャラクタのソースデータを読み出して、ＶＲＡＭに展開（描画）する。さらに、ＧＣＬ１０４は、ＶＲＡＭに展開された画像データをフレームバッファに格納する。表示信号制御部１１０は、フレームバッファに格納されている画像データを、ビデオ信号としてＤＡＣ１１２を介して画像表示装置１２０に出力する。なお、「ＶＲＡＭに展開」とは、ＶＲＡＭに書き込むこと、すなわちＶＲＡＭに記憶させることを意味する。   In response to a drawing instruction from the CPU 101, the GCL 104 reads movie data and character source data from the CGROM 105, and develops (draws) them in the VRAM. Further, the GCL 104 stores the image data expanded in the VRAM in the frame buffer. The display signal control unit 110 outputs the image data stored in the frame buffer to the image display device 120 via the DAC 112 as a video signal. Note that “develop in VRAM” means writing to VRAM, that is, storing in VRAM.

図２は、ＣＧＲＯＭ１０５に記憶されているムービーデータ（ムービー画像を再生するための動画像データ）の例を示す説明図である。図２に示すように、この例では、複数種類のムービーデータがあらかじめＣＧＲＯＭ１０５に格納されている。   FIG. 2 is an explanatory diagram showing an example of movie data (moving image data for reproducing a movie image) stored in the CGROM 105. As shown in FIG. 2, in this example, a plurality of types of movie data are stored in the CGROM 105 in advance.

ＣＧＲＯＭ１０５に格納されているムービーデータには、図２（Ａ）に示す複数種類のＩＰＢムービーデータと、図２（Ｂ）に示す複数種類のＩＰムービーデータとが含まれている。すなわち、複数種類のＩＰＢムービーデータと、複数種類のＩＰムービーデータとがあらかじめ作成されてＣＧＲＯＭ１０５に格納されている。   The movie data stored in the CGROM 105 includes a plurality of types of IPB movie data shown in FIG. 2A and a plurality of types of IP movie data shown in FIG. That is, a plurality of types of IPB movie data and a plurality of types of IP movie data are created in advance and stored in the CGROM 105.

「ＩＰＢムービーデータ」は、Ｉピクチャ（キーピクチャ、フレーム内符号化ピクチャ）と、Ｐピクチャ（前方向予測符号化ピクチャ）と、Ｂピクチャ（双方向予測符号化ピクチャ）とを含む圧縮動画データ（ＩＰＢ圧縮動画データ）である。また、「ＩＰムービーデータ」は、Ｉピクチャと、Ｐピクチャとを含む圧縮動画データである。すなわち、ＩＰムービーデータは、Ｂピクチャを含まない圧縮動画データ（ＩＰ圧縮動画データ）である。   “IPB movie data” is compressed video data (including a I picture (key picture, intra-frame encoded picture), a P picture (forward prediction encoded picture), and a B picture (bidirectional predictive encoded picture)). IPB compressed moving image data). “IP movie data” is compressed moving image data including an I picture and a P picture. That is, the IP movie data is compressed moving image data (IP compressed moving image data) that does not include a B picture.

「Ｉピクチャ」は、フレーム内符号化ピクチャと呼ばれるピクチャであって、順次表示される画像における前後の画像を用いることなく、単体で伸長されるピクチャを意味する。「Ｐピクチャ」は、前方向予測符号化ピクチャと呼ばれるピクチャであって、順次表示される画像のうち、自身よりも前に表示される何れかの画像（例えば、ＩピクチャまたはＰピクチャのうち表示順番が前の最も近いピクチャ）を用いて伸長されるピクチャを意味する。「Ｂピクチャ」は、双方向予測符号化ピクチャと呼ばれるピクチャであって、順次表示される画像のうち前に表示される何れかの画像（例えば、ＩピクチャまたはＰピクチャのうち表示順番が前の最も近いピクチャ）と後に表示されるいずれかの画像（例えば、ＩピクチャまたはＰピクチャのうち表示順番が後の最も近いピクチャ）とを用いて伸長されるピクチャを意味する。   An “I picture” is a picture called an intra-frame coded picture, and means a picture that is expanded by itself without using images before and after sequentially displayed images. A “P picture” is a picture called a forward predictive coded picture, and is one of images that are displayed in front of itself among images that are sequentially displayed (for example, a display of an I picture or a P picture). This means a picture that is decompressed using the closest picture in order. A “B picture” is a picture called a bi-predictive coding picture, and is one of the images displayed before the sequentially displayed image (for example, the display order of the previous one of the I picture or P picture is the previous one). It means a picture that is decompressed using the closest picture) and any of the images displayed later (for example, the closest picture in the display order of the I picture or P picture later).

なお、「Ｉピクチャ」、「Ｐピクチャ」、および「Ｂピクチャ」は、特に言及しない限り、圧縮されている状態の圧縮画像データと伸長された状態の画像データの何れか一方あるいは双方を意味するものとする。また、「ピクチャ」というときには、画像データを意味するときと、画像データにもとづく画像を意味するときと、その双方を意味するときとがある。   Note that “I picture”, “P picture”, and “B picture” mean one or both of compressed image data in a compressed state and image data in a decompressed state unless otherwise specified. Shall. The term “picture” may mean image data, an image based on image data, or both.

図２に示す各ムービーデータは、例えばＭＰＥＧ２と呼ばれる符号化技術によりデータ圧縮された状態でＣＧＲＯＭ１０５に格納されている。各ムービーデータは、それぞれ、ＣＰＵ１０１からの描画指示にもとづいて、ＧＣＬ１０４の制御によって、動画像を構成する各画像の圧縮画像データが順次伸長されるとともに、動画像を構成する各画像の画像データがビデオ信号として画像表示装置１２０に対して順次出力されることで、画像表示装置１２０に一連の動画像を再生表示するために用いられる。   Each movie data shown in FIG. 2 is stored in the CGROM 105 in a compressed state by an encoding technique called MPEG2, for example. In each movie data, the compressed image data of each image constituting the moving image is sequentially expanded under the control of the GCL 104 based on the drawing instruction from the CPU 101, and the image data of each image constituting the moving image is By being sequentially output to the image display device 120 as a video signal, it is used for reproducing and displaying a series of moving images on the image display device 120.

図２（Ａ）に示すＩＰＢムービーデータのうちムービーデータＡ１は、動画１用のムービーデータであり、動画１の動画像を再生するためのムービーデータである。同様に、ムービーデータＡ２〜Ａ７は、それぞれ、動画２〜動画７用のムービーデータであり、動画２〜動画７の動画像を再生するためのムービーデータである。また、ムービーデータＡ８は、動画８および動画９の前半部分の動画像を再生するためのムービーデータである。そして、ムービーデータＡ９は動画８の後半部分の動画像を再生するためのムービーデータであり、ムービーデータＡ１０は動画９の後半部分の動画像を再生するためのムービーデータである。すなわち、動画８は、ムービーデータＡ８とムービーデータＡ９とが連続して表示されることによって再生され、動画９は、ムービーデータＡ８とムービーデータＡ１０とが連続して表示されることによって再生される。   Movie data A1 in the IPB movie data shown in FIG. 2A is movie data for movie 1 and is movie data for reproducing a moving image of movie 1. Similarly, movie data A2 to A7 are movie data for moving images 2 to 7, respectively, and are movie data for reproducing moving images of moving images 2 to 7. The movie data A8 is movie data for reproducing moving images of the first half of the moving image 8 and the moving image 9. The movie data A9 is movie data for reproducing the moving image of the latter half of the moving image 8, and the movie data A10 is movie data for reproducing the moving image of the latter half of the moving image 9. That is, the moving image 8 is reproduced by continuously displaying the movie data A8 and the movie data A9, and the moving image 9 is reproduced by displaying the movie data A8 and the movie data A10 continuously. .

なお、動画１〜９は、それぞれ異なる表示態様の動画像である。ただし、動画８と動画９は、前半部分が同一の表示態様であり、後半部分が異なる表示態様の動画像とされている。また、動画１〜９は、それぞれ、一連の動画像の再生表示によってその動画像による報知内容が完結するものであるとする。具体的には、動画１〜９は、それぞれ、一連の動画像によって所定の演出を行うための演出動画や、一連の動画像によって宣伝や広告を行うための宣伝動画や広告動画などとして用いられる動画である。   The moving images 1 to 9 are moving images having different display modes. However, the moving image 8 and the moving image 9 are moving images having the same display mode in the first half and different display modes in the second half. In addition, it is assumed that each of the moving images 1 to 9 completes the content of notification by the moving image by reproducing and displaying a series of moving images. Specifically, each of the videos 1 to 9 is used as a production video for performing a predetermined production using a series of moving images, a promotion video or an advertising video for performing a promotion or advertisement using a series of moving images, and the like. It is a video.

また、図２（Ｂ）に示すＩＰムービーデータのうちムービーデータＢ１は、背景１用のムービーデータであり、背景１の動画像を再生するためのムービーデータである。同様に、ムービーデータＢ２〜Ｂ５は、それぞれ、背景２〜背景５用のムービーデータであり、背景２〜背景５の動画像を再生するためのムービーデータである。   2B. Movie data B1 in the IP movie data shown in FIG. 2B is movie data for background 1, and is movie data for reproducing a moving image of background 1. Similarly, movie data B2 to B5 are movie data for background 2 to background 5, respectively, and are movie data for reproducing moving images of background 2 to background 5.

背景１〜５は、それぞれ異なる表示態様であり、背景画像として用いられる動画像である。なお、上述した動画８，９のように、背景用のムービーデータに、前半部分が同一の表示態様であり、後半部分が異なる表示態様の動画像とされているムービーデータが含まれていてもよい。   Backgrounds 1 to 5 are different display modes, and are moving images used as background images. Note that, as with the moving images 8 and 9 described above, the movie data for background includes movie data in which the first half is the same display mode and the second half is a moving image having a different display mode. Good.

また、背景１〜５は、それぞれ、一連の動画像の再生表示によってその動画像による報知内容が完結しないものであるとする。すなわち、背景１〜５は、それぞれ、例えば、例えば風景や景色などを一定期間ただ漫然と表示することで一連の動画像により背景を表示するための背景動画などとして用いられる動画である。なお、背景１〜５のうちのいずれか１つを繰り返し連続的に再生表示することで背景を継続的に表示するようにしてもよいし、背景１〜５のうちの２以上を繰り返し連続的に再生表示することで背景を継続的に表示するようにしてもよい。また、一連の動画像の再生表示によってその動画像による報知内容が完結しないものであれば、背景動画以外の動画であってもよい。このように、繰り返し連続的に再生表示されるムービーデータがＩＰムービーデータによって生成されＣＧＲＯＭ１０５に格納されることとし、繰り返し連続的に再生表示されるムービーデータとしてはＩＰムービーデータのみが用いられるようにしているので、動画再生制御の制御負担を極力軽減させることができる。   In addition, it is assumed that the backgrounds 1 to 5 are not completed with the notification content of the moving image by the reproduction display of the series of moving images. That is, each of the backgrounds 1 to 5 is, for example, a moving image used as a background moving image for displaying a background with a series of moving images by simply displaying a landscape or a landscape for a certain period of time. The background may be continuously displayed by repeatedly reproducing and displaying any one of the backgrounds 1 to 5, or two or more of the backgrounds 1 to 5 may be continuously displayed. The background may be displayed continuously by playing back and displaying. In addition, a moving image other than the background moving image may be used as long as the notification content by the moving image is not completed by a series of moving image reproduction display. In this way, movie data that is repeatedly and continuously reproduced and displayed is generated by IP movie data and stored in the CGROM 105, and only IP movie data is used as movie data that is repeatedly and continuously reproduced and displayed. Therefore, the control burden of moving image playback control can be reduced as much as possible.

なお、本例ではＩＰムービーデータが背景動画のために用いられているが、複数のＩＰムービーデータによるそれぞれの動画のうち一部または全部が、一連の動画像によって所定の演出を行うための演出動画や、一連の動画像によって宣伝や広告を行うための宣伝動画や広告動画などの、一連の動画像の再生表示によってその動画像による報知内容が完結するものとされていてもよい。   In this example, the IP movie data is used for the background moving image, but some or all of the moving images based on the plurality of IP movie data are used for performing a predetermined effect with a series of moving images. The notification content of the moving image may be completed by reproducing and displaying a series of moving images such as a moving image or a moving image for advertising or advertising using a series of moving images.

図２（Ａ）に示す各ムービーデータは、スプライト画像が合成されることなく単独で再生表示される場合と、スプライト画像が合成されて再生表示される場合がある。また、図２（Ｂ）に示す背景用のムービーデータは、図２（Ａ）に示したムービーデータやスプライト画像が合成されて再生表示される。   Each movie data shown in FIG. 2A may be reproduced and displayed independently without combining sprite images, or may be reproduced and displayed after combining sprite images. Also, the background movie data shown in FIG. 2B is reproduced and displayed by combining the movie data and sprite image shown in FIG.

この例では、ＧＣＬ１０４は、ＣＰＵ１０１からの描画指示にもとづいて、図２に示した複数種類のムービーデータの中からムービー画像演出に使用する所定のムービーデータを選択する。そして、ＧＣＬ１０４は、ＣＰＵ１０１からの描画指示にもとづいて、選択したムービーデータにもとづく動画像を再生表示するための処理を行う。   In this example, the GCL 104 selects predetermined movie data to be used for movie image presentation from among a plurality of types of movie data shown in FIG. 2 based on a drawing instruction from the CPU 101. Then, the GCL 104 performs processing for reproducing and displaying a moving image based on the selected movie data based on a drawing instruction from the CPU 101.

なお、上述した各ムービーデータは、例えば、各ムービーデータにもとづく動画における表示物の移動速度が遅い部分と比較して、表示物の移動速度が速い部分にＩピクチャを多く用いたデータ構造とされている。このようなデータ構造とされているため、画質を維持しつつ、圧縮動画データのデータ量を極力低減させることができる。   Each movie data described above has, for example, a data structure in which a large number of I pictures are used in a portion where the moving speed of the display object is high compared to a portion where the moving speed of the display object is slow in a moving image based on each movie data. ing. Because of such a data structure, the data amount of the compressed moving image data can be reduced as much as possible while maintaining the image quality.

次に、ＲＯＭ１０２に格納される表示制御データについて説明する。
表示制御データは、ＧＣＬ１０４に描画制御を実行させ画像表示信号を出力させるための描画指示の内容を決定するために用いられるものである。ＧＣＬ１０４は、描画指示に従って、画像表示装置１２０に動画像を表示させるために、描画制御を実行して画像表示信号を出力する。表示制御データは、再生動画ごとに、すなわち本例では動画１〜９（図２参照）それぞれについて別個に、あらかじめ生成されＲＯＭ１０２に格納されているものとする。 Next, display control data stored in the ROM 102 will be described.
The display control data is used to determine the content of a drawing instruction for causing the GCL 104 to execute drawing control and output an image display signal. The GCL 104 executes drawing control and outputs an image display signal in order to display a moving image on the image display device 120 in accordance with the drawing instruction. It is assumed that the display control data is generated in advance and stored in the ROM 102 for each reproduced moving image, that is, in this example, for each of the moving images 1 to 9 (see FIG. 2).

図３は、表示制御データの内容の例を示す説明図である。図３には、動画１についての表示制御データ（動画１用表示制御データ）の内容の一部が例示されている。   FIG. 3 is an explanatory diagram showing an example of the contents of the display control data. FIG. 3 illustrates a part of the content of the display control data (moving picture 1 display control data) for the moving picture 1.

表示制御データは、画像表示装置１２０にてムービー画像を再生するための情報を含む。表示制御データは、どのムービーデータのどのピクチャ（ムービーデータにもとづくムービー画像を構成する１フレーム分の画像）をどのタイミングで伸長・展開するかという情報、各ピクチャをどのタイミングで表示するかという情報、どのピクチャとどのスプライト画像とをどのように合成してどのタイミングで表示するかという情報を含む。そして、このような情報が、１フレーム期間分毎に分割されて設定されたデータがプロセスデータである。表示制御データは、図３に示すように、複数のプロセスデータが使用順に並べられた構造とされている。   The display control data includes information for reproducing a movie image on the image display device 120. The display control data includes information about which picture of which movie data (one frame image constituting the movie image based on the movie data) is to be decompressed / expanded, and information about which timing to display each picture. , Information on how to synthesize which picture and which sprite image are displayed at which timing. Data in which such information is divided and set for each frame period is process data. As shown in FIG. 3, the display control data has a structure in which a plurality of process data are arranged in the order of use.

具体的には、ＲＯＭ１０２に記憶されている表示制御データには、使用するムービーデータを示す情報、ピクチャの伸長指示を行うことを示す情報、ピクチャの表示指示を行うことを示す情報、使用するムービーデータにもとづく動画像の画像サイズを示す情報、展開モードを示す情報、ムービーデータのフレーム上にスプライト画像を合成するか否かを示す情報、画像表示装置１２０上に表示するスプライト画像やムービー画像の表示領域の大きさや位置を特定する情報、スプライト画像やムービー画像の拡大・縮小率、スプライト画像やムービー画像の透過率、などの情報を含む。   Specifically, the display control data stored in the ROM 102 includes information indicating movie data to be used, information indicating that a picture is to be decompressed, information indicating that a picture is to be displayed, and a movie to be used Information indicating the image size of the moving image based on the data, information indicating the development mode, information indicating whether or not to synthesize the sprite image on the frame of the movie data, and information on the sprite image or movie image displayed on the image display device 120 The information includes information for specifying the size and position of the display area, the enlargement / reduction ratio of the sprite image or movie image, the transmittance of the sprite image or movie image, and the like.

なお、「表示領域の大きさを特定する情報」とは、画像表示装置１２０の表示画面のうち、スプライト画像やムービー画像をそれぞれ表示する領域のサイズを示す情報を意味する。なお、スプライト画像やムービー画像をそれぞれ表示する領域のサイズは、一連のムービー画像の再生中に変化（拡大、縮小、変形）することがあってもよい。   The “information specifying the size of the display area” means information indicating the size of the area for displaying the sprite image and the movie image on the display screen of the image display device 120. Note that the size of the area for displaying the sprite image and the movie image may change (enlarge, reduce, and deform) during the reproduction of a series of movie images.

図３に示すように、動画１用表示制御データにおいて最初に選択されるプロセスデータ（プロセスデータ１）には、表示制御内容として、使用するムービーデータがムービーデータＡ１であること、使用するムービーデータＡ１はＩＰＢムービーデータであり展開モード４を使用すること、１つのピクチャの伸長指示を行うこと、さらにもう１つのピクチャの伸長指示を行うこと、そして１つのピクチャの表示指示を行うことが含まれている。なお、プロセスデータ１における表示指示は、前回使用していた表示制御データにもとづく伸長指示により伸長されているが表示に用いられていない画像データがあればその画像データを用いて表示を行うことを指示するために用いられる。よって、プロセスデータ１における表示指示は、ムービーデータにもとづく動画像の再生が連続して行われる場合における後に再生されるムービーデータにもとづく動画像の再生のための描画指示のときにのみ有効とされ、連続して再生されないときや、連続して再生される場合における最初に再生されるムービーデータにもとづく動画像の再生のための描画指示のときには無効となる。   As shown in FIG. 3, in the process data (process data 1) selected first in the moving image 1 display control data, as the display control content, the movie data to be used is the movie data A1, and the movie data to be used. A1 is IPB movie data, which includes using expansion mode 4, instructing to decompress one picture, instructing to decompress another picture, and instructing to display one picture. ing. The display instruction in the process data 1 is to display using the image data if there is image data that has been expanded by the expansion instruction based on the previously used display control data but is not used for display. Used to indicate. Therefore, the display instruction in the process data 1 is valid only when the drawing instruction for reproducing the moving image based on the movie data to be reproduced later when the moving image based on the movie data is continuously reproduced. When the image is not continuously reproduced or when a drawing instruction for reproducing a moving image based on the movie data reproduced first when the image is continuously reproduced is invalid.

また、プロセスデータ２には、表示制御内容として、１つのピクチャを展開すること、１つのピクチャを表示することが含まれている。プロセスデータ３には、表示制御内容として、スプライト画像Ａ，Ｂ，Ｃの表示を開始すること、各スプライト画像Ａ，Ｂ，Ｃの表示位置・表示サイズなどの表示態様、１つのピクチャを展開すること、１つのピクチャを表示することが含まれている。同様にして、プロセスデータ４以降についても、動画１を再生するための表示制御内容がそれぞれ設定される。本例では、動画１用表示制御データにもとづいてＣＰＵ１０１が描画指示を行い、この描画指示に応じてＧＣＬ１０６が描画制御を行うことで画像表示信号を出力することで、画像表示装置１２０に動画１が再生表示される。   Further, the process data 2 includes expanding one picture and displaying one picture as display control contents. In the process data 3, as a display control content, display of sprite images A, B, and C is started, display modes such as display positions and display sizes of the sprite images A, B, and C, and one picture are expanded. That includes displaying one picture. Similarly, the display control content for reproducing the moving image 1 is set for each of the process data 4 and later. In this example, the CPU 101 issues a drawing instruction based on the moving image 1 display control data, and the GCL 106 performs drawing control in response to the drawing instruction to output an image display signal, whereby the moving image 1 is displayed on the image display device 120. Is displayed.

図４は、本例で用いられるフレームバッファの例を示す説明図である。図４（Ａ）では、展開モード３のときに用いられる３つのフレームバッファ０〜２が示されている。図４（Ｂ）では、展開モード４のときに用いられる４つのフレームバッファ０〜３が示されている。各フレームバッファは、ＳＤＲＡＭ１０６におけるＶＲＡＭ領域内に設けられている。本例では、動画像の再生に使用するムービーデータがＩＰＢムービーであるときは展開モード４が選択され、動画像の再生に使用するムービーデータがＩＰムービーであるときは展開モード３が選択される。   FIG. 4 is an explanatory diagram showing an example of a frame buffer used in this example. In FIG. 4A, three frame buffers 0 to 2 used in the expansion mode 3 are shown. In FIG. 4B, four frame buffers 0 to 3 used in the expansion mode 4 are shown. Each frame buffer is provided in a VRAM area in the SDRAM 106. In this example, the expansion mode 4 is selected when the movie data used for moving image playback is an IPB movie, and the expansion mode 3 is selected when the movie data used for playback of a moving image is an IP movie. .

次に、本例の画像処理装置１００の動作について説明する。
図５は、ＣＰＵ１０１によって実行されるＶブランク割込処理の例を示すフローチャートである。Ｖブランク割込処理は、この例では、ＧＣＬ１０４からのＶブランク割込に応じて実行される。Ｖブランク割込は、画像表示装置１２０に供給される垂直同期信号の周期と同周期でＧＣＬ１０４が発生する割込である。例えば、画像表示装置１２０の画面変更周波数（フレーム周波数）が３０Ｈｚである場合にはＶブランク割込の発生周期は３３．３ｍｓであり、フレーム周波数が６０Ｈｚである場合にはＶブランク割込の発生周期は１６．７ｍｓである。このＶブランク割込の発生間隔がフレーム期間となる。例えばＶブランク割込の発生周期が３３．３ｍｓであるときは、フレーム期間も３３．３ｍｓとなる。 Next, the operation of the image processing apparatus 100 of this example will be described.
FIG. 5 is a flowchart illustrating an example of the V blank interrupt process executed by the CPU 101. In this example, the V blank interrupt process is executed in response to the V blank interrupt from the GCL 104. The V blank interrupt is an interrupt generated by the GCL 104 in the same cycle as the cycle of the vertical synchronization signal supplied to the image display device 120. For example, when the screen change frequency (frame frequency) of the image display device 120 is 30 Hz, the generation period of the V blank interrupt is 33.3 ms, and when the frame frequency is 60 Hz, the occurrence of the V blank interrupt is generated. The period is 16.7 ms. The occurrence interval of the V blank interrupt is a frame period. For example, when the generation period of the V blank interrupt is 33.3 ms, the frame period is also 33.3 ms.

Ｖブランク割込処理において、まず、ＣＰＵ１０１は、再生を開始するか否か判定する（ステップＳ１２）。新たな動画像の再生を開始しない場合には、現在動画再生中であるか否か判定する（ステップＳ１３）。なお、動画再生中であるか否かは、例えばＲＡＭ１０３に格納されている動画再生中フラグの状態によって判定される。   In the V blank interruption process, first, the CPU 101 determines whether or not to start reproduction (step S12). If reproduction of a new moving image is not started, it is determined whether or not a moving image is currently being reproduced (step S13). Whether or not a moving image is being reproduced is determined, for example, based on the state of a moving image reproducing flag stored in the RAM 103.

ステップＳ１２では、あらかじめ定められている動画再生開始条件が成立したときに、動画再生を開始すると判定される。動画再生開始条件は、例えば、画像処理装置１００のユーザからの再生指示操作（例えば装置１００に備えられている入力装置による再生指示操作など）があったとき、あらかじめ定められている動画再生時刻が到来したとき、事前に決定された動画再生タイミングが到来したとき、あるいは、前回の動画再生が終了したときなどに成立するものとすればよい。   In step S12, it is determined to start moving image reproduction when a predetermined moving image reproduction start condition is satisfied. The moving image reproduction start condition is, for example, when a reproduction instruction operation (for example, a reproduction instruction operation by an input device provided in the apparatus 100) from the user of the image processing apparatus 100 is determined, It may be established when it arrives, when a predetermined video playback timing arrives, or when the previous video playback ends.

本例では、ステップＳ１２，Ｓ１３に示したように、動画再生中であるか否かに関わらず、動画再生を新たに開始するか否かを判定する。すなわち、動画再生中であっても、新たな動画像の再生を開始することが可能な構成となっている。言い換えると、表示制御データにもとづく描画指示が完了していなくても、表示制御データを切り替えて（同じ表示制御データに切り替える場合も含む）、切り替えた表示制御データにもとづく描画指示を開始することが可能な構成となっている。   In this example, as shown in steps S12 and S13, it is determined whether or not to newly start moving image reproduction regardless of whether or not the moving image is being reproduced. That is, even when a moving image is being played back, a new moving image can be started to be played back. In other words, even if the drawing instruction based on the display control data is not completed, the display control data is switched (including the case of switching to the same display control data), and the drawing instruction based on the switched display control data can be started. It has a possible configuration.

動画再生を開始すると判定した場合には、ＣＰＵ１０１は、動画再生中フラグをセットしたあと、あらかじめ定められている動画選択条件に従って、再生する動画の種類を選択する（ステップＳ１４）。本例では、図２に示す動画１〜９の中から、再生する１つの動画を選択する。動画選択条件は、例えば、画像処理装置１００のユーザからの再生指示操作の指示内容に従うこと、あらかじめ定められた再生順序に従うこと、乱数抽選によりランダムに決定することなどとするようにすればよい。   If it is determined to start moving image playback, the CPU 101 sets the moving image playback flag, and then selects the type of moving image to be played in accordance with a predetermined moving image selection condition (step S14). In this example, one moving image to be reproduced is selected from the moving images 1 to 9 shown in FIG. The moving image selection condition may be, for example, following the instruction content of the reproduction instruction operation from the user of the image processing apparatus 100, following a predetermined reproduction order, or randomly determined by random lottery.

再生する動画を選択すると、ＣＰＵ１０１は、選択した動画に対応する表示制御データをＲＯＭ１０２からＲＡＭ１０３に読み出す（ステップＳ１５）。次いで、ＣＰＵ１０１は、読み出した表示制御データにおけるプロセスデータ１を参照し、再生する動画などの指定を行うとともに、伸長指示の有無およびその回数、表示指示の有無を確認する（ステップＳ１６）。具体的には、ＣＰＵ１０１は、描画指示（動画再生させるための制御情報）の一部として再生する動画（例えば動画Ａ１）を示すデータと、その動画がＩＰＢムービーデータであるかＩＰムービーデータであるかを示すデータと、その動画の動画サイズを示すデータと、その動画の展開モードを示すデータとを描画制御レジスタ１１５に書き込むとともに、伸長指示を行うか否か、伸長指示を行う場合にはその伸長指示の回数、表示指示を行うか否かを確認する。そして、ステップＳ１８に移行する。   When a moving image to be reproduced is selected, the CPU 101 reads display control data corresponding to the selected moving image from the ROM 102 to the RAM 103 (step S15). Next, the CPU 101 refers to the process data 1 in the read display control data, designates a moving image to be reproduced, etc., and confirms the presence / absence of the decompression instruction, the number of times, and the presence / absence of the display instruction (step S16). Specifically, the CPU 101 indicates data indicating a moving image (for example, moving image A1) to be reproduced as part of a drawing instruction (control information for reproducing a moving image), and whether the moving image is IPB movie data or IP movie data. Data indicating the video size, data indicating the video size of the video, and data indicating the expansion mode of the video are written to the drawing control register 115 and whether or not an expansion instruction is given. Confirm the number of decompression instructions and whether to give a display instruction. Then, the process proceeds to step S18.

ステップＳ１３にて動画再生中であると判定した場合には、ＣＰＵ１０１は、現在用いられているプロセスデータの次のプロセスデータを参照し、再生中の動画の再生態様の変更（例えば画像サイズの変更）の指定を行うとともに、伸長指示の有無およびその回数、表示指示の有無などを確認する（ステップＳ１７）。なお、参照したプロセスデータが動画再生の終了を示すデータを含むものであった場合には、動画再生中フラグをリセットする。そして、ステップＳ１８に移行する。   When it is determined in step S13 that the moving image is being reproduced, the CPU 101 refers to the process data next to the currently used process data, and changes the reproduction mode of the moving image being reproduced (for example, changes in the image size). ), And the presence / absence of the decompression instruction, the number of times, the presence / absence of the display instruction, etc. are confirmed (step S17). If the referenced process data includes data indicating the end of moving image reproduction, the moving image reproduction flag is reset. Then, the process proceeds to step S18.

次いで、ＣＰＵ１０１は、参照したプロセスデータ（ステップＳ１６またはステップＳ１７にて参照したプロセスデータ）に表示指示を行うことが含まれていれば、プロセスデータの設定内容に応じて表示指示を行う（ステップＳ１８）。具体的には、ＣＰＵ１０１は、描画指示（動画再生させるための制御情報）の一部として、表示指示を描画制御レジスタ１１５に書き込む。なお、ステップＳ１８では、前回のフレーム期間で行った伸長指示にもとづく伸長処理が完了したことを示す伸長完了信号をＧＣＬ１０４から受信していなければ、プロセスデータの設定内容にもとづいて、前回のフレーム期間で行った伸長指示と同じ内容の表示指示を行う。すなわち、ＣＰＵ１０１は、所定のフレーム期間にて伸長指示を行ったあと、その伸長指示に応じてＧＣＬ１０４が実行している伸長処理が終了する前にそのフレーム期間が終了したときは、次のフレーム期間にて前回のフレーム期間のときと同一の表示指示を行い、同一の画像データにもとづく画像を画像表示装置１２０に表示させるようにする。   Next, if the referred process data (the process data referred to in step S16 or step S17) includes a display instruction, the CPU 101 issues a display instruction according to the set content of the process data (step S18). ). Specifically, the CPU 101 writes a display instruction in the drawing control register 115 as part of a drawing instruction (control information for reproducing a moving image). In step S18, if the decompression completion signal indicating that the decompression process based on the decompression instruction performed in the previous frame period has been completed is not received from the GCL 104, the previous frame period is based on the setting contents of the process data. The display instruction with the same content as the decompression instruction performed in step 1 is performed. That is, after the decompression instruction is performed in a predetermined frame period and before the decompression process executed by the GCL 104 is terminated according to the decompression instruction, the CPU 101 determines that the next frame period The same display instruction as that in the previous frame period is issued, and an image based on the same image data is displayed on the image display device 120.

また、ＣＰＵ１０１は、参照したプロセスデータ（ステップＳ１６またはステップＳ１７にて参照したプロセスデータ）に伸長指示を行うことが含まれていれば、プロセスデータの設定内容に応じて伸長指示を１回または２回行う（ステップＳ１９）。具体的には、ＣＰＵ１０１は、描画指示（動画再生させるための制御情報）の一部として、１つまたは２つの伸長指示を描画制御レジスタ１１５に書き込む。   Also, if the referred process data (the process data referred to in step S16 or step S17) includes an instruction for decompression, the CPU 101 issues an decompression instruction once or twice according to the setting content of the process data. (Step S19). Specifically, the CPU 101 writes one or two decompression instructions in the drawing control register 115 as part of a drawing instruction (control information for reproducing a moving image).

次に、ＣＰＵ１０１は、今回使用されるプロセスデータ（ステップＳ１６またはステップＳ１７にて参照されたプロセスデータ）を参照し、スプライト画像の表示を開始または更新するか否かを判定する（ステップＳ２０）。   Next, the CPU 101 refers to the process data used this time (process data referenced in step S16 or step S17), and determines whether to start or update the display of the sprite image (step S20).

スプライト画像の表示を開始または更新する場合には、ＣＰＵ１０１は、今回使用されるプロセスデータを参照し、表示するスプライト画像の種類、表示位置、表示サイズなどのスプライト画像に関わる指示（スプライト画像表示指示）を行う（ステップＳ２１）。具体的には、ＣＰＵ１０１は、描画指示（動画再生させるための制御情報）の一部として、スプライト画像表示指示を描画制御レジスタ１１５に書き込む。   When starting or updating the display of the sprite image, the CPU 101 refers to the process data used this time, and instructs the sprite image such as the type, display position, and display size of the sprite image to be displayed (sprite image display instruction). (Step S21). Specifically, the CPU 101 writes a sprite image display instruction in the drawing control register 115 as part of a drawing instruction (control information for reproducing a moving image).

上記のようにして、ＣＰＵ１０１は、ＧＣＬ１０４に対して、例えば表示指示や伸長指示などを含む描画指示（動画再生させるための制御情報）を行う。   As described above, the CPU 101 issues a drawing instruction (control information for reproducing a moving image) including, for example, a display instruction and an expansion instruction to the GCL 104.

図６は、ＧＣＬ１０４が実行する展開処理の例を示すフローチャートである。展開処理において、ＧＣＬ１０４は、再生表示する動画等の指定がＣＰＵ１０１からあったか否か判定する（ステップＳ３１）。再生表示する動画が指定されていれば、ＧＣＬ１０４は、指定された動画を示すムービーデータを動画像の再生に用いるムービーデータとして設定する（ステップＳ３２）。また、再生表示する動画の画像サイズが指定されていれば、ＧＣＬ１０４は、その画像サイズに応じたフレームバッファのサイズを設定する（ステップＳ３３）。また、再生表示する動画における展開モードが指定されていれば、ＧＣＬ１０４は、その展開モードを設定する（ステップＳ３４）。また、動画像の再生に用いるムービーデータがＩＰＢムービーデータであるかＩＰムービーデータであるかが指定されていれば、ＧＣＬ１０４は、指定内容に応じてＩＰＢムービーデータまたはＩＰムービーデータを設定する（ステップＳ３５）。なお、ＧＣＬ１０４が、再生表示する動画がどの動画であるかに応じて、画像サイズ、展開モード、ＩＰＢムービーデータであるかＩＰムービーデータであるかを判定するようにしてもよい。   FIG. 6 is a flowchart illustrating an example of the expansion process executed by the GCL 104. In the expansion process, the GCL 104 determines whether or not the CPU 101 has specified a moving image to be reproduced and displayed (step S31). If the moving image to be reproduced and displayed is designated, the GCL 104 sets the movie data indicating the designated moving image as movie data used for moving image reproduction (step S32). If the image size of the moving image to be reproduced and displayed is designated, the GCL 104 sets the frame buffer size according to the image size (step S33). If the expansion mode is specified for the moving image to be reproduced and displayed, the GCL 104 sets the expansion mode (step S34). If it is specified whether the movie data used for moving image playback is IPB movie data or IP movie data, the GCL 104 sets IPB movie data or IP movie data according to the specified content (step). S35). Note that the GCL 104 may determine whether the moving image to be reproduced and displayed is an image size, a development mode, IPB movie data, or IP movie data.

なお、ムービーデータには、各ピクチャの展開順番を示す情報、各ピクチャの表示順番を示す情報などが含まれているものとする。なお、ムービーデータに、そのムービーデータにて再生表示される動画像の画像サイズを示す情報や、そのムービーデータがＩＰＢムービーデータであるかＩＰムービーデータであるかを示す情報などが含まれていてもよい。   The movie data includes information indicating the expansion order of each picture, information indicating the display order of each picture, and the like. The movie data includes information indicating the image size of a moving image reproduced and displayed with the movie data, information indicating whether the movie data is IPB movie data or IP movie data, and the like. Also good.

次いで、ＣＰＵ１０１からの伸長指示があったときには（ステップＳ３６）、ＧＣＬ１０４は、動画像の再生に使用するムービーデータにおける今回の伸長順番のフレームデータ（ピクチャデータ）を抽出して伸長し、ＳＤＲＡＭに設けられているＶＲＡＭにおける所定のフレームバッファに展開する（ステップＳ３７）。なお、ステップＳ３７の伸長処理が完了すると、ＧＣＬ１０４は、その旨を示す伸長処理完了信号をＣＰＵ１０１に対して送信する。ＣＰＵ１０１は、伸長処理完了信号を受信することで、指示した伸長処理が完了したと判断することができる。   Next, when there is a decompression instruction from the CPU 101 (step S36), the GCL 104 extracts and decompresses frame data (picture data) in the current decompression order in the movie data used for moving image reproduction, and provides it to the SDRAM. The data is expanded in a predetermined frame buffer in the stored VRAM (step S37). When the decompression process in step S37 is completed, the GCL 104 transmits an decompression process completion signal indicating that to the CPU 101. The CPU 101 can determine that the instructed decompression process has been completed by receiving the decompression process completion signal.

また、ＣＰＵ１０１からのスプライト画像表示指示があったときには（ステップＳ３８）、ＧＣＬ１０４は、スプライト画像表示指示に従って、ＣＰＵ１０１から指示されたスプライト画像を表示するためのスプライト画像データをＲＯＭ１０５から抽出し（ステップＳ３９）、必要に応じて読み出したスプライト画像データに対してスプライト画像の拡大・縮小、回転、透過のための処理を行って配置し直し、ワークメモリに展開する（ステップＳ４０）。   When there is a sprite image display instruction from the CPU 101 (step S38), the GCL 104 extracts sprite image data for displaying the sprite image instructed from the CPU 101 from the ROM 105 according to the sprite image display instruction (step S39). ) If necessary, the sprite image data read out is subjected to processing for enlargement / reduction, rotation, and transmission of the sprite image, rearranged, and developed in the work memory (step S40).

また、ＧＣＬ１０４は、配置したスプライト画像データを、ＣＰＵ１０１からのスプライト画像表示指示により指定された範囲でクリッピングして、ＶＲＡＭに展開する（ステップＳ４１）。このとき、ムービーデータにおける次に表示されるフレームデータがフレームバッファに展開されていれば、そのフレームデータ上にスプライト画像データを展開し、ムービー画像とスプライト画像とを合成する。   Further, the GCL 104 clips the arranged sprite image data within a range designated by the sprite image display instruction from the CPU 101 and develops it in the VRAM (step S41). At this time, if the frame data to be displayed next in the movie data is expanded in the frame buffer, the sprite image data is expanded on the frame data, and the movie image and the sprite image are synthesized.

ＧＣＬ１０４は、ＣＰＵ１０１からの描画指示に応じて上述した処理を実行することで、画像表示装置１２０に表示される各画面の画像を順次生成する。   The GCL 104 sequentially generates the images of the respective screens displayed on the image display device 120 by executing the above-described processing in accordance with the drawing instruction from the CPU 101.

図７は、ＣＰＵ１０１からの表示指示に応じて３３ｍｓ毎にＧＣＬ１０４によって実行される画像表示処理の例を示すフローチャートである。ＣＰＵ１０１からの表示指示が３３ｍｓ毎になされることによって、画像表示処理が３３ｍｓ毎に実行されることになる。   FIG. 7 is a flowchart illustrating an example of image display processing executed by the GCL 104 every 33 ms in response to a display instruction from the CPU 101. When the display instruction from the CPU 101 is made every 33 ms, the image display processing is executed every 33 ms.

画像表示処理において、ＧＣＬ１０４は、ＣＰＵ１０１からの表示指示があったときに（ステップＳ５１）、ＶＲＡＭ上に展開されている画像データ（例えば、ＲＧＢ輝度データ）のうち今回の表示順番の画像データを読み出し、表示信号制御部１１０に供給する（ステップＳ５２）。なお、ステップＳ５２の表示処理が完了すると、ＧＣＬ１０４は、その旨を示す表示処理完了信号をＣＰＵ１０１に対して送信する。ＣＰＵ１０１は、表示処理完了信号を受信することで、指示した画面表示が完了したと判断することができる。   In the image display process, the GCL 104 reads the image data in the current display order from the image data (for example, RGB luminance data) developed on the VRAM when a display instruction is received from the CPU 101 (step S51). The display signal control unit 110 is supplied (step S52). When the display process in step S52 is completed, the GCL 104 transmits a display process completion signal indicating that to the CPU 101. The CPU 101 can determine that the instructed screen display is completed by receiving the display processing completion signal.

なお、ＧＣＬ１０４は、ステップＳ５１にてＣＰＵ１０１からの表示指示があったときに、ＶＲＡＭ上に展開されている画像データに今回の表示順番（例えば表示順番１）の画像データが無い場合には、ＶＲＡＭ上に表示に用いられていない画像データが展開されていれば、ステップＳ５２にてその画像データを読み出し、表示信号制御部１１０に供給する。すなわち、表示制御データにおける最初のプロセスデータにもとづく表示指示があったときに、ＶＲＡＭ上に表示に用いられていない画像データが展開されていれば、その画像データを読み出して表示信号制御部１１０に供給する。なお、表示制御データにおける最初のプロセスデータにもとづく表示指示があったときに、ＶＲＡＭ上に表示に用いられていない画像データは展開されていなければ、表示信号制御部１１０への画像データの供給は行わない。ステップＳ５２にて表示信号制御部１１０への画像データの供給を行わなかったときには、ＧＣＬ１０４は、その旨を示す表示対象画像無信号をＣＰＵ１０１に対して送信する。ＣＰＵ１０１は、表示対象画像無信号を受信することで、表示対象の画像が無かったと判断することができる。   Note that when there is a display instruction from the CPU 101 in step S51, the GCL 104 determines that there is no image data in the current display order (for example, display order 1) in the image data developed on the VRAM. If image data that is not used for display is expanded, the image data is read out and supplied to the display signal control unit 110 in step S52. That is, when there is a display instruction based on the first process data in the display control data, if image data that is not used for display is expanded on the VRAM, the image data is read and displayed to the display signal control unit 110. Supply. When there is a display instruction based on the first process data in the display control data, if image data that is not used for display is not expanded on the VRAM, the image data is supplied to the display signal control unit 110. Not performed. When the image data is not supplied to the display signal control unit 110 in step S52, the GCL 104 transmits a display target image no signal indicating that to the CPU 101. The CPU 101 can determine that there is no display target image by receiving the no display target image signal.

表示信号制御部１１０は、供給された画像データに従って、例えばＬＣＤ駆動信号等の制御信号（ビデオ信号、画像表示信号）を生成し、画像表示装置１２０に供給する。すると、画像表示装置１２０の表示画面に、ムービー画像におけるフレーム画像（ピクチャ）や背景画像などが表示される。   The display signal control unit 110 generates a control signal (video signal, image display signal) such as an LCD drive signal according to the supplied image data, and supplies the control signal to the image display device 120. Then, a frame image (picture) or background image in the movie image is displayed on the display screen of the image display device 120.

上記の各処理（図５〜図７に示す各処理）が繰り返し実行されることで、画像表示装置１２０にムービー画像の再生画像が表示される。   By repeatedly executing each of the above processes (the processes shown in FIGS. 5 to 7), a playback image of the movie image is displayed on the image display device 120.

次に、ＩＰムービーデータにもとづくムービー画像を再生するときの当該ムービー画像を構成する各画像（ピクチャ）の展開タイミングおよび表示タイミングについて説明する。   Next, the development timing and display timing of each image (picture) constituting the movie image when the movie image based on the IP movie data is reproduced will be described.

図８は、ＩＰムービーデータにもとづくムービー画像が再生表示されるときの各ピクチャの伸長タイミングと表示タイミングの例を示す説明図である。図９は、図８に示すタイミングでＩＰムービーデータが処理されるときのフレームバッファの格納状態の例を示す説明図である。ここでは、簡単のため、図８に示すような１３フレーム期間分の処理によって動画像が再生表示されるＩＰムービーデータを用いて説明する。   FIG. 8 is an explanatory diagram showing an example of the expansion timing and display timing of each picture when a movie image based on IP movie data is reproduced and displayed. FIG. 9 is an explanatory diagram showing an example of the storage state of the frame buffer when the IP movie data is processed at the timing shown in FIG. Here, for the sake of simplicity, description will be made using IP movie data in which a moving image is reproduced and displayed by processing for 13 frame periods as shown in FIG.

ＩＰムービーデータにもとづくムービー画像を再生表示する際には、各ピクチャの伸長順序と表示順序とが異なることがなく、伸長した順番で各ピクチャが表示される。従って、各ピクチャにおける伸長順番と表示順番とは一致している。   When a movie image based on the IP movie data is played back and displayed, the pictures are displayed in the decompressed order without the order of expansion and display of the pictures being different. Therefore, the decompression order and the display order in each picture match.

ＣＰＵ１０１は、ＩＰムービーデータにもとづくムービー画像を再生表示するときには、最初のフレーム期間（Ｆ１）にて、ＧＣＬ１０４に対して、表示制御データにもとづいて、再生表示に用いるムービーデータの種類の指定などを行ったあと（ステップＳ１６参照）、伸長指示を行う（ステップＳ１９参照）。   When the CPU 101 reproduces and displays a movie image based on IP movie data, the CPU 101 designates the type of movie data used for reproduction display to the GCL 104 based on the display control data in the first frame period (F1). After performing (see step S16), an extension instruction is given (see step S19).

ＧＣＬ１０４は、指定されたムービーデータをＣＧＲＯＭ１０５から読み出し（ステップＳ３２参照）、再生表示に用いるムービーデータとして指定されたムービーデータがＩＰムービーデータであるため展開モード３に設定する（ステップＳ３４参照）。   The GCL 104 reads the designated movie data from the CGROM 105 (see step S32), and sets the development mode 3 because the movie data designated as the movie data used for reproduction display is IP movie data (see step S34).

また、ＧＣＬ１０４は、伸長指示に応じて、図９に示すように、最初のフレーム期間（Ｆ１）にて、伸長順番が１番目とされているピクチャＩ１を伸長してフレームバッファ０に展開する（ステップＳ３７参照）。なお、フレームバッファ０〜２のうち画像データを展開するフレームバッファは、例えば、画像データが何ら記憶されていないフレームバッファや、表示や他のピクチャの展開のために今後は使用されることがない画像データが記憶されているフレームバッファの中から任意に決定される。   In response to the decompression instruction, the GCL 104 decompresses the picture I1 whose decompression order is the first in the first frame period (F1) and expands it in the frame buffer 0 as shown in FIG. 9 ( (See step S37). Of the frame buffers 0 to 2, the frame buffer that expands image data is not used in the future, for example, for a frame buffer in which no image data is stored, or for display or expansion of other pictures. It is arbitrarily determined from a frame buffer in which image data is stored.

次いで、ＣＰＵ１０１は、２番目のフレーム期間（Ｆ２）にて、表示制御データにもとづいて、ＧＣＬ１０４に対して、表示指示を行うとともに（ステップＳ１８参照）、伸長指示を行う（ステップＳ１９参照）。   Next, in the second frame period (F2), the CPU 101 issues a display instruction to the GCL 104 based on the display control data (see step S18) and an expansion instruction (see step S19).

ＧＣＬ１０４は、表示指示に応じて、２番目のフレーム期間（Ｆ２）にて、前回のフレーム期間（Ｆ１）でフレームバッファ０に展開したピクチャＩ１を表示するためのビデオ信号を画像表示装置１２０に対して出力する（ステップＳ５２参照）。また、ＧＣＬ１０４は、伸長指示に応じて、図９に示すように、２番目のフレーム期間（Ｆ２）にて、伸長順番が２番目とされているピクチャＰ１を伸長してフレームバッファ１に展開する（ステップＳ３７参照）。   In response to the display instruction, the GCL 104 sends a video signal for displaying the picture I1 developed in the frame buffer 0 in the previous frame period (F1) to the image display device 120 in the second frame period (F2). (See step S52). Further, in response to the decompression instruction, the GCL 104 decompresses the picture P1 whose decompression order is second in the second frame period (F2) and develops it in the frame buffer 1 as shown in FIG. (See step S37).

その後は、ＣＰＵ１０１は、各フレーム期間（Ｆ３〜F１２）毎に表示指示と伸長指示とを繰り返し出力する。ＧＣＬ１０４は、各フレーム期間（Ｆ３〜F１２）におけるＣＰＵ１０１からの表示指示に応じて、それぞれ、あらかじめ定められている表示順番に従って、前回のフレーム期間で展開されたピクチャを表示するためのビデオ信号を画像表示装置１２０に対して出力す（ステップＳ５２参照）。また、ＧＣＬ１０４は、各フレーム期間（Ｆ３〜F１２）におけるＣＰＵ１０１からの伸長指示に応じて、あらかじめ定められている伸長順番に従って、次のフレーム期間で表示されるピクチャを伸長して所望のフレームバッファに展開する（ステップＳ３７参照）。   Thereafter, the CPU 101 repeatedly outputs a display instruction and an expansion instruction for each frame period (F3 to F12). The GCL 104 displays a video signal for displaying a picture developed in the previous frame period in accordance with a predetermined display order in accordance with a display instruction from the CPU 101 in each frame period (F3 to F12). Output to the display device 120 (see step S52). Further, the GCL 104 expands the picture displayed in the next frame period in accordance with a decompression instruction from the CPU 101 in each frame period (F3 to F12), and creates a desired frame buffer. Expand (see step S37).

そして、ＣＰＵ１０１は、最後のフレーム期間（Ｆ１３）にて、表示制御データにもとづいて、ＧＣＬ１０４に対して、表示指示を行う（ステップＳ１８参照）。なお、最後のフレーム期間（Ｆ１３）では、ＣＰＵ１０１による伸長指示はなされない。ＧＣＬ１０４は、フレーム期間（Ｆ１３）におけるＣＰＵ１０１からの表示指示に応じて、前回のフレーム期間（Ｆ１２）で展開した最後のピクチャＰ９を表示するためのビデオ信号を画像表示装置１２０に対して出力する（ステップＳ５２参照）。   Then, in the last frame period (F13), the CPU 101 issues a display instruction to the GCL 104 based on the display control data (see step S18). Note that no decompression instruction is issued by the CPU 101 in the last frame period (F13). In response to a display instruction from the CPU 101 in the frame period (F13), the GCL 104 outputs a video signal for displaying the last picture P9 developed in the previous frame period (F12) to the image display device 120 ( Step S52).

次に、ＩＰＢムービーデータにもとづくムービー画像を再生するときの当該ムービー画像を構成する各画像（ピクチャ）の展開タイミングおよび表示タイミングについて説明する。   Next, the development timing and display timing of each image (picture) constituting the movie image when the movie image based on the IPB movie data is reproduced will be described.

図１０（Ａ）は、ＩＰＢムービーデータにもとづくムービー画像が再生表示されるときの各ピクチャの伸長タイミングと表示タイミングの例を示す説明図である。図１１は、図１０（Ａ）に示すタイミングでＩＰＢムービーデータが処理されるときのフレームバッファの格納状態の例を示す説明図である。ここでは、簡単のため、図１０（Ａ）に示すような１３フレーム期間分の処理によって動画像が再生表示されるＩＰＢムービーデータを用いて説明する。   FIG. 10A is an explanatory diagram showing an example of the expansion timing and display timing of each picture when a movie image based on IPB movie data is reproduced and displayed. FIG. 11 is an explanatory diagram showing an example of the storage state of the frame buffer when IPB movie data is processed at the timing shown in FIG. Here, for the sake of simplicity, description will be made using IPB movie data in which a moving image is reproduced and displayed by processing for 13 frame periods as shown in FIG.

ＩＰＢムービーデータにもとづくムービー画像を再生表示する際には、各ピクチャの伸長順序と表示順序とが異なる部分がある。このため、各ピクチャにおける伸長順番と表示順番とが一致しない部分がる。   When a movie image based on IPB movie data is reproduced and displayed, there are portions where the expansion order and display order of each picture are different. For this reason, there is a portion where the expansion order and the display order in each picture do not match.

ＣＰＵ１０１は、ＩＰＢムービーデータにもとづくムービー画像を再生表示するときには、最初のフレーム期間（Ｆ１）にて、ＧＣＬ１０４に対して、表示制御データにもとづいて、再生表示に用いるムービーデータの指定などを行ったあと（ステップＳ１６参照）、２回の伸長指示を行う（ステップＳ１９参照）。   When the CPU 101 reproduces and displays a movie image based on the IPB movie data, the CPU 101 designates the movie data used for reproduction display on the GCL 104 based on the display control data in the first frame period (F1). After (see step S16), an extension instruction is performed twice (see step S19).

ＧＣＬ１０４は、再生表示に用いるムービーデータとして指定されたムービーデータをＣＧＲＯＭ１０５から読み出し（ステップＳ３２参照）、その指定されたムービーデータがＩＰＢムービーデータであるため展開モード４を設定する（ステップＳ３４参照）。   The GCL 104 reads movie data designated as movie data used for reproduction display from the CGROM 105 (see step S32), and sets the development mode 4 because the designated movie data is IPB movie data (see step S34).

また、ＧＣＬ１０４は、図１１に示すように、最初のフレーム期間（Ｆ１）にて、１回目の伸長指示に応じて伸長順番が１番目とされているピクチャＩ１を伸長してフレームバッファ０に展開するとともに（ステップＳ３７参照）、２回目の伸長指示に応じて伸長順番が２番目とされているピクチャＰ１を伸長してフレームバッファ１に展開する（ステップＳ３７参照）。すなわち、ＧＣＬ１０４は、最初のフレーム期間（Ｆ１）にて、上述したステップＳ３７の伸長・展開処理を２回実行する。なお、フレームバッファ０〜３のうち画像データを展開するフレームバッファは、例えば、画像データが何ら記憶されていないフレームバッファや、表示や他のピクチャの展開に今後は使用されることがない画像データが記憶されているフレームバッファの中から任意に決定される。   Further, as shown in FIG. 11, the GCL 104 decompresses the picture I1 whose decompression order is the first in response to the first decompression instruction in the first frame period (F1) and expands it to the frame buffer 0 At the same time (see step S37), in response to the second decompression instruction, the picture P1 whose decompression order is second is decompressed and expanded in the frame buffer 1 (see step S37). That is, the GCL 104 executes the above-described decompression / decompression process in step S37 twice in the first frame period (F1). Of the frame buffers 0 to 3, the frame buffer for expanding the image data is, for example, a frame buffer in which no image data is stored, or image data that will not be used for display or expansion of other pictures in the future. Is arbitrarily determined from the stored frame buffers.

次いで、ＣＰＵ１０１は、２番目のフレーム期間（Ｆ２）にて、表示制御データにもとづいて、ＧＣＬ１０４に対して、表示指示を行うとともに（ステップＳ１８参照）、伸長指示を行う（ステップＳ１９参照）。   Next, in the second frame period (F2), the CPU 101 issues a display instruction to the GCL 104 based on the display control data (see step S18) and an expansion instruction (see step S19).

ＧＣＬ１０４は、表示指示に応じて、２番目のフレーム期間（Ｆ２）にて、前回のフレーム期間（Ｆ１）でフレームバッファ０に展開したピクチャＩ１を表示するためのビデオ信号を画像表示装置１２０に対して出力する（ステップＳ５２参照）。また、ＧＣＬ１０４は、伸長指示に応じて、図１１に示すように、２番目のフレーム期間（Ｆ２）にて、伸長順番が３番目とされているピクチャＰ２を伸長してフレームバッファ２に展開する（ステップＳ３７参照）。   In response to the display instruction, the GCL 104 sends a video signal for displaying the picture I1 developed in the frame buffer 0 in the previous frame period (F1) to the image display device 120 in the second frame period (F2). (See step S52). Further, in response to the decompression instruction, the GCL 104 decompresses the picture P2 whose decompression order is third in the second frame period (F2) and develops it in the frame buffer 2 as shown in FIG. (See step S37).

その後は、ＣＰＵ１０１は、各フレーム期間（Ｆ３〜F１１）毎に表示指示および伸長指示を繰り返し出力する。ＧＣＬ１０４は、各フレーム期間（Ｆ３〜F１１）におけるＣＰＵ１０１からの表示指示に応じて、それぞれ、あらかじめ定められている表示順番に従って、前回のフレーム期間までに展開されているピクチャを表示するためのビデオ信号を画像表示装置１２０に対して出力す（ステップＳ５２参照）。また、ＧＣＬ１０４は、各フレーム期間（Ｆ３〜F１１）におけるＣＰＵ１０１からの伸長指示に応じて、あらかじめ定められている伸長順番に従って、次のフレーム期間以降のフレーム期間で他のピクチャの展開に用いられたり表示されたりするピクチャを伸長して所望のフレームバッファに展開する（ステップＳ３７参照）。   Thereafter, the CPU 101 repeatedly outputs a display instruction and an expansion instruction for each frame period (F3 to F11). The GCL 104 displays a video signal for displaying pictures developed up to the previous frame period in accordance with a predetermined display order in response to a display instruction from the CPU 101 in each frame period (F3 to F11). Is output to the image display device 120 (see step S52). Further, the GCL 104 is used for developing other pictures in the frame period after the next frame period in accordance with a predetermined expansion order in accordance with an expansion instruction from the CPU 101 in each frame period (F3 to F11). The picture to be displayed is expanded and developed in a desired frame buffer (see step S37).

そして、ＣＰＵ１０１は、最後から２番目のフレーム期間（Ｆ１２）にて、表示制御データにもとづいて、ＧＣＬ１０４に対して、表示指示を行う（ステップＳ１８参照）。なお、最後から２番目のフレーム期間（Ｆ１２）では、ＣＰＵ１０１による伸長指示はなされない。ＧＣＬ１０４は、フレーム期間（Ｆ１２）におけるＣＰＵ１０１からの表示指示に応じて、前回のフレーム期間（Ｆ１１）までに展開されている最後から２番目の表示順番のピクチャＢ５を表示するためのビデオ信号を画像表示装置１２０に対して出力する（ステップＳ５２参照）。   Then, the CPU 101 issues a display instruction to the GCL 104 based on the display control data in the second frame period (F12) from the end (see step S18). Note that no decompression instruction is issued by the CPU 101 in the second frame period (F12) from the end. In response to a display instruction from the CPU 101 in the frame period (F12), the GCL 104 displays a video signal for displaying the picture B5 in the second display order from the last developed until the previous frame period (F11). Output to the display device 120 (see step S52).

さらに、ＣＰＵ１０１は、最後のフレーム期間（Ｆ１３）にて、表示制御データにもとづいて、ＧＣＬ１０４に対して、表示指示を行う（ステップＳ１８参照）。なお、最後のフレーム期間（Ｆ１３）においても、ＣＰＵ１０１による伸長指示はなされない。ＧＣＬ１０４は、フレーム期間（Ｆ１３）におけるＣＰＵ１０１からの表示指示に応じて、前回のフレーム期間（Ｆ１２）までに展開されている最後の表示順番のピクチャＰ５を表示するためのビデオ信号を画像表示装置１２０に対して出力する（ステップＳ５２参照）。   Furthermore, the CPU 101 issues a display instruction to the GCL 104 based on the display control data in the last frame period (F13) (see step S18). Note that no decompression instruction is issued by the CPU 101 even in the last frame period (F13). In response to a display instruction from the CPU 101 in the frame period (F13), the GCL 104 displays a video signal for displaying the last display order picture P5 developed by the previous frame period (F12). (See step S52).

従来では、ＩＰＢムービーデータにもとづくムービー画像を再生表示するときには、図１０（Ｂ）に示すように、最初のフレーム期間（Ｆ１）で伸長順番が１番目のピクチャＩ１が伸長されて展開され、次のフレーム期間（Ｆ２）で伸長順番が２番目のピクチャＰ１が伸長されて展開される。次いで、３回目のフレーム期間（Ｆ３）にて、伸長順番が３番目のピクチャＰ２が伸長されて展開されるとともに、表示順番が１番目のピクチャＩ１が表示される。   Conventionally, when a movie image based on IPB movie data is reproduced and displayed, as shown in FIG. 10 (B), the first picture I1 in the expansion order is expanded and expanded in the first frame period (F1). In the frame period (F2), the picture P1 having the second expansion order is expanded and expanded. Next, in the third frame period (F3), the third picture P2 in the expansion order is expanded and expanded, and the picture I1 in the first display order is displayed.

その後のフレーム期間（Ｆ３〜F１２）では、それぞれ、フレーム期間（Ｆ３）と同様にして、伸長順番とされているピクチャが伸長されて所望のフレームバッファに展開されるとともに、表示順番とされているピクチャが表示される処理が実行される。   In the subsequent frame periods (F3 to F12), in the same manner as in the frame period (F3), the pictures in the decompression order are decompressed and expanded in a desired frame buffer, and are in the display order. A process of displaying a picture is executed.

そして、最後から２番目のフレーム期間（Ｆ１３）にて、あらかじめ定められている表示順番に従って、前回のフレーム期間までに展開されているピクチャＢ５を表示し、最後のフレーム期間（Ｆ１４）にて、あらかじめ定められている表示順番に従って、前回のフレーム期間までに展開されている最後のピクチャＰ５を表示する処理が実行される。   Then, in the second frame period from the last (F13), the picture B5 developed up to the previous frame period is displayed according to a predetermined display order, and in the last frame period (F14), In accordance with a predetermined display order, a process of displaying the last picture P5 that has been expanded up to the previous frame period is executed.

以上説明したように、ＣＰＵ１０１が、動画像の再生表示を開始させる際の最初のフレーム期間における描画指示にて、動画像の再生表示に用いる圧縮動画データの指示を行うとともに伸長指示を開始し、伸長指示を開始した最初の描画指示を行ったフレーム期間の次のフレーム期間における次の描画指示にて表示指示を開始し、最初の描画指示にてＩＰＢムービーデータを指示していたときには、最初のフレーム期間にて２回の伸長指示を行う構成としているので、動画再生制御における伸長処理の実行タイミングの管理を容易にすることができる。   As described above, the CPU 101 instructs the compressed moving image data to be used for reproduction display of the moving image and starts the decompression instruction in the drawing instruction in the first frame period when starting the reproduction display of the moving image. When the display instruction is started by the next drawing instruction in the frame period next to the frame period in which the first drawing instruction is started, and the IPB movie data is instructed by the first drawing instruction, Since the extension instruction is performed twice in the frame period, it is possible to easily manage the execution timing of the extension process in the moving image reproduction control.

すなわち、ＩＰムービーデータを再生するときとＩＰＢムービーデータを再生するときの何れであっても、各ピクチャの表示処理を開始する１フレーム期間前にピクチャの伸長処理を開始することができるようになり、ＩＰムービーデータとＩＰＢムービーデータとが混在している場合であっても、ピクチャの伸長処理を開始するタイミングが共通化されているため、動画像の再生のための動画再生制御における伸長処理の実行タイミングの管理が容易となる。   That is, the picture expansion process can be started one frame period before the start of the display process of each picture, regardless of whether the IP movie data is reproduced or the IPB movie data is reproduced. Even when IP movie data and IPB movie data are mixed, the timing of starting the picture expansion process is shared, so that the expansion process in the moving image reproduction control for moving image reproduction Management of execution timing becomes easy.

上記のように、ムービーデータの種類によらずに共通の実行タイミングで伸長処理が行われることとされ、動画再生制御における伸長処理の実行タイミングの管理が容易とされているので、ＩＰムービーデータとＩＰＢムービーデータとを混在させた動画再生制御の制御内容（例えば、制御フロー、制御プログラム）の設計が容易となる。具体的には、動画再生制御の制御内容の設計を行う設計者が、動画再生制御における各ムービーデータの出現箇所の割り当てを行う際に、ＩＰムービーデータであるかＩＰＢムービーデータであるかを意識することなく各ムービーデータを割り当てることができ、動画再生制御の制御内容を容易に設計することができるようになる。よって、動画再生制御のための制御プログラムの開発などのための作業負担を軽減させることができる。   As described above, the expansion process is performed at a common execution timing regardless of the type of movie data, and the management of the execution timing of the expansion process in the moving image playback control is facilitated. It becomes easy to design the control content (for example, control flow, control program) of moving image reproduction control mixed with IPB movie data. Specifically, the designer who designs the control content of the video playback control is conscious of whether it is IP movie data or IPB movie data when assigning the appearance location of each movie data in the video playback control. Thus, it is possible to assign each movie data without performing the control, and to easily design the control content of the moving image reproduction control. Therefore, it is possible to reduce the work load for developing a control program for controlling the reproduction of moving images.

従来は、図１０（Ｂ）に示したように、ＩＰＢムービーデータについては各ピクチャの表示処理を開始する２フレーム期間前にピクチャの伸長処理が開始されていたので、ＩＰムービーデータの再生処理を行うときとピクチャの伸長処理を開始するタイミングが異なっていた。このため、動画再生制御の制御内容の設計を行う設計者は、ＩＰムービーデータであるかＩＰＢムービーデータであるかによって再生制御を開始してから動画表示が開始されるまでの期間が異なる（１フレーム期間ずれる）ことを加味して、動画再生制御における各ムービーデータの出現箇所の割り当てを行う必要があった。これに対して、上述した実施の形態では、ＩＰムービーデータであるかＩＰＢムービーデータであるかを意識することなく各ムービーデータを割り当てることができ、動画再生制御の制御内容を容易に設計することができるのである。   Conventionally, as shown in FIG. 10B, for IPB movie data, the picture expansion process has been started two frames before the start of the display process for each picture. The timing for starting the picture decompression process was different from that when performing it. For this reason, the designer who designs the control content of the moving image reproduction control has a different period from the start of reproduction control to the start of moving image display depending on whether the movie data is IP movie data or IPB movie data (1). In consideration of the fact that the frame period shifts, it is necessary to assign the appearance location of each movie data in the moving image reproduction control. On the other hand, in the above-described embodiment, each movie data can be assigned without being conscious of whether it is IP movie data or IPB movie data, and the control contents of the moving image reproduction control can be easily designed. Can do it.

なお、上述した実施の形態では、ＩＰＢムービーデータにもとづく動画像の再生表示を行うときに、最初のフレーム期間にて２回の伸長指示を行う構成としていたが、１フレーム期間内で実行される各処理を完了可能な処理能力をＧＣＬ１０４が備えている場合には、３回以上の伸長指示を行うようにしてもよい。この場合、２回目以降のフレーム期間において伸長指示を行わないフレーム期間を増やすようにすればよい。   In the above-described embodiment, when a moving image is reproduced and displayed based on IPB movie data, the extension instruction is performed twice in the first frame period. However, this is executed within one frame period. When the GCL 104 has a processing capability capable of completing each process, the decompression instruction may be performed three or more times. In this case, it is only necessary to increase the frame period during which the decompression instruction is not performed in the second and subsequent frame periods.

また、上述した実施の形態では、ＩＰＢムービーデータにもとづく動画像の再生表示を行うときに、最初のフレーム期間にて２回の伸長指示を行う構成としていたが、２回の伸長指示を最初のフレーム期間で行う必要はなく、Ｂピクチャの伸長を指示するための伸長指示が最初になされるフレーム期間以前の何れかのフレーム期間で行うようにしてもよい。   In the above-described embodiment, when a moving image is reproduced and displayed based on the IPB movie data, the extension instruction is given twice in the first frame period. It does not have to be performed in the frame period, and may be performed in any frame period before the frame period in which the decompression instruction for instructing the decompression of the B picture is first made.

図１２は、ＩＰＢムービーデータにもとづくムービー画像が再生表示されるときの各ピクチャの展開タイミングと表示タイミングの他の例を示す説明図である。図１３は、図１２に示すタイミングでＩＰＢムービーデータが処理されるときのフレームバッファの格納状態の例を示す説明図である。ここでは、Ｂピクチャの伸長を指示するための伸長指示が最初になされる３番目のフレーム期間（Ｆ３）で２回の伸長指示がなされるものとする。また、ここでは、簡単のため、図１２に示すような１３フレーム期間分の処理によって動画像が再生表示されるＩＰＢムービーデータを用いて説明する。   FIG. 12 is an explanatory diagram showing another example of the development timing and display timing of each picture when a movie image based on IPB movie data is reproduced and displayed. FIG. 13 is an explanatory diagram showing an example of the storage state of the frame buffer when IPB movie data is processed at the timing shown in FIG. Here, it is assumed that the decompression instruction is given twice in the third frame period (F3) in which the decompression instruction for instructing the decompression of the B picture is first made. Here, for the sake of simplicity, description will be made using IPB movie data in which a moving image is reproduced and displayed by processing for 13 frame periods as shown in FIG.

ＣＰＵ１０１は、ＩＰＢムービーデータにもとづくムービー画像を再生表示するときには、最初のフレーム期間（Ｆ１）にて、ＧＣＬ１０４に対して、表示制御データにもとづいて、再生表示に用いるムービーデータの指定などを行ったあと（ステップＳ１６参照）、ここでは１回の伸長指示を行う（ステップＳ１９参照）。   When the CPU 101 reproduces and displays a movie image based on the IPB movie data, the CPU 101 designates the movie data used for reproduction display on the GCL 104 based on the display control data in the first frame period (F1). After (see step S16), here, one extension instruction is given (see step S19).

ＧＣＬ１０４は、再生表示に用いるムービーデータとしてＣＰＵ１０１から指定されたムービーデータをＣＧＲＯＭ１０５から読み出し、指定されたムービーデータがＩＰＢムービーデータであるため展開モード４に決定する。   The GCL 104 reads the movie data designated from the CPU 101 as movie data used for reproduction display from the CGROM 105, and determines the development mode 4 because the designated movie data is IPB movie data.

また、ＧＣＬ１０４は、図１１に示すように、最初のフレーム期間（Ｆ１）にて、１回目の伸長指示に応じて伸長順番が１番目とされているピクチャＩ１を伸長してフレームバッファ０に展開する（ステップＳ３７参照）。   Further, as shown in FIG. 11, the GCL 104 decompresses the picture I1 whose decompression order is the first in response to the first decompression instruction in the first frame period (F1) and expands it to the frame buffer 0 (See step S37).

次いで、ＣＰＵ１０１は、２番目のフレーム期間（Ｆ２）にて、表示制御データにもとづいて、ＧＣＬ１０４に対して、表示指示を行うとともに（ステップＳ１８参照）、１回の伸長指示を行う（ステップＳ１９参照）。   Next, in the second frame period (F2), the CPU 101 issues a display instruction to the GCL 104 based on the display control data (see step S18) and issues a single decompression instruction (see step S19). ).

ＧＣＬ１０４は、表示指示に応じて、２番目のフレーム期間（Ｆ２）にて、前回のフレーム期間（Ｆ１）でフレームバッファ０に展開したピクチャＩ１を表示するためのビデオ信号を画像表示装置１２０に対して出力する（ステップＳ５２参照）。また、ＧＣＬ１０４は、伸長指示に応じて、図１１に示すように、２番目のフレーム期間（Ｆ２）にて、伸長順番が２番目とされているピクチャＰ１を伸長してフレームバッファ１に展開する（ステップＳ３７参照）。   In response to the display instruction, the GCL 104 sends a video signal for displaying the picture I1 developed in the frame buffer 0 in the previous frame period (F1) to the image display device 120 in the second frame period (F2). (See step S52). Further, in response to the decompression instruction, the GCL 104 decompresses the picture P1 whose decompression order is the second in the second frame period (F2) and develops it in the frame buffer 1 as shown in FIG. (See step S37).

次いで、ＣＰＵ１０１は、３番目のフレーム期間（Ｆ３）にて、表示制御データにもとづいて、ＧＣＬ１０４に対して、表示指示を行うとともに（ステップＳ１８参照）、ここでは２回の伸長指示を行う（ステップＳ１９参照）。   Next, in the third frame period (F3), the CPU 101 issues a display instruction to the GCL 104 based on the display control data (see step S18), and here performs a decompression instruction twice (step S18). (See S19).

ＧＣＬ１０４は、表示指示に応じて、３番目のフレーム期間（Ｆ３）にて、前回のフレーム期間（Ｆ２）でフレームバッファ０に展開したピクチャＰ１を表示するためのビデオ信号を画像表示装置１２０に対して出力する（ステップＳ５２参照）。   In response to the display instruction, the GCL 104 sends a video signal for displaying the picture P1 developed in the frame buffer 0 in the previous frame period (F2) to the image display device 120 in the third frame period (F3). (See step S52).

また、ＧＣＬ１０４は、図１３に示すように、３番目のフレーム期間（Ｆ３）にて、１回目の伸長指示に応じて伸長順番が３番目とされているピクチャＰ２を伸長してフレームバッファ２に展開するとともに（ステップＳ３７参照）、２回目の伸長指示に応じて伸長順番が４番目とされているピクチャＢ１を伸長してフレームバッファ３に展開する（ステップＳ３７参照）。すなわち、ＧＣＬ１０４は、Ｂピクチャが最初に伸長・展開されるフレーム期間（ここではＦ３）にて、上述したステップＳ３７の伸長・展開処理を２回実行する。   Further, as shown in FIG. 13, the GCL 104 decompresses the picture P2 whose decompression order is third in response to the first decompression instruction in the third frame period (F3) and stores it in the frame buffer 2. While expanding (see step S37), in response to the second decompression instruction, the picture B1 whose decompression order is fourth is decompressed and expanded in the frame buffer 3 (see step S37). That is, the GCL 104 executes the above-described decompression / decompression process in step S37 twice in a frame period (here, F3) in which the B picture is decompressed / expanded first.

その後は、ＣＰＵ１０１は、各フレーム期間（Ｆ４〜F１１）毎に表示指示および伸長指示を繰り返し出力する。ＧＣＬ１０４は、各フレーム期間（Ｆ４〜F１１）におけるＣＰＵ１０１からの表示指示に応じて、それぞれ、あらかじめ定められている表示順番に従って、前回のフレーム期間までに展開されているピクチャを表示するためのビデオ信号を画像表示装置１２０に対して出力す（ステップＳ５２参照）。また、ＧＣＬ１０４は、各フレーム期間（Ｆ４〜F１１）におけるＣＰＵ１０１からの伸長指示に応じて、あらかじめ定められている伸長順番に従って、次のフレーム期間以降のフレーム期間で他のピクチャの展開に用いられたり表示されたりするピクチャを伸長して所望のフレームバッファに展開する（ステップＳ３７参照）。   Thereafter, the CPU 101 repeatedly outputs a display instruction and an expansion instruction for each frame period (F4 to F11). The GCL 104 displays a video signal for displaying pictures developed up to the previous frame period in accordance with a predetermined display order in accordance with display instructions from the CPU 101 in each frame period (F4 to F11). Is output to the image display device 120 (see step S52). Further, the GCL 104 is used for developing other pictures in the frame period after the next frame period in accordance with a predetermined expansion order in accordance with an expansion instruction from the CPU 101 in each frame period (F4 to F11). The picture to be displayed is expanded and developed in a desired frame buffer (see step S37).

そして、ＣＰＵ１０１は、最後から２番目のフレーム期間（Ｆ１２）にて、表示制御データにもとづいて、ＧＣＬ１０４に対して、表示指示を行う（ステップＳ１８参照）。なお、最後から２番目のフレーム期間（Ｆ１２）では、ＣＰＵ１０１による伸長指示はなされない。ＧＣＬ１０４は、フレーム期間（Ｆ１２）におけるＣＰＵ１０１からの表示指示に応じて、前回のフレーム期間（Ｆ１１）までに展開されている最後から２番目の表示順番のピクチャＢ５を表示するためのビデオ信号を画像表示装置１２０に対して出力する（ステップＳ５２参照）。   Then, the CPU 101 issues a display instruction to the GCL 104 based on the display control data in the second frame period (F12) from the end (see step S18). Note that no decompression instruction is issued by the CPU 101 in the second frame period (F12) from the end. In response to a display instruction from the CPU 101 in the frame period (F12), the GCL 104 displays a video signal for displaying the picture B5 in the second display order from the last developed until the previous frame period (F11). Output to the display device 120 (see step S52).

さらに、ＣＰＵ１０１は、最後のフレーム期間（Ｆ１３）にて、表示制御データにもとづいて、ＧＣＬ１０４に対して、表示指示を行う（ステップＳ１８参照）。なお、最後のフレーム期間（Ｆ１３）においても、ＣＰＵ１０１による伸長指示はなされない。ＧＣＬ１０４は、フレーム期間（Ｆ１３）におけるＣＰＵ１０１からの表示指示に応じて、前回のフレーム期間（Ｆ１２）までに展開されている最後の表示順番のピクチャＰ５を表示するためのビデオ信号を画像表示装置１２０に対して出力する（ステップＳ５２参照）。   Furthermore, the CPU 101 issues a display instruction to the GCL 104 based on the display control data in the last frame period (F13) (see step S18). Note that no decompression instruction is issued by the CPU 101 even in the last frame period (F13). In response to a display instruction from the CPU 101 in the frame period (F13), the GCL 104 displays a video signal for displaying the last display order picture P5 developed by the previous frame period (F12). (See step S52).

上記のように、ＣＰＵ１０１が、動画像の再生表示を開始させる際の最初のフレーム期間における描画指示にて、動画像の再生表示に用いる圧縮動画データの指示を行うとともに伸長指示を開始し、伸長指示を開始した最初の描画指示を行ったフレーム期間の次のフレーム期間における次の描画指示にて表示指示を開始し、最初の描画指示にてＩＰＢムービーデータを指示していたときには、Ｂピクチャの伸長を指示するための伸長指示が最初になされるフレーム期間以前のフレーム期間における描画指示にて、複数回の伸長指示を行う構成とした場合であっても、上述した実施の形態と同様に、動画再生制御における伸長処理の実行タイミングの管理を容易にすることができる。   As described above, the CPU 101 instructs the compressed moving image data to be used for moving image reproduction display and starts the decompression instruction and the decompression instruction by the drawing instruction in the first frame period when starting the moving image reproduction display. When the display instruction is started by the next drawing instruction in the frame period next to the frame period in which the first drawing instruction is started and the IPB movie data is instructed by the first drawing instruction, Even in the case of a configuration in which a decompression instruction is performed a plurality of times in a drawing instruction in a frame period before a frame period in which a decompression instruction for instructing decompression is first performed, as in the above-described embodiment, Management of the execution timing of the decompression process in the moving image reproduction control can be facilitated.

また、上述した各実施の形態では、ＧＣＬ１０４が、Ｂピクチャを含むＩＰＢムービーデータであったときは、Ｂピクチャを含まないＩＰムービーデータであったときよりも、伸長処理で用いるフレームバッファの数を多い数に決定（上記の例では、３つよりも多い４つに決定）するように構成されているので、動画像の再生表示に用いる圧縮動画データがＢピクチャを含むか否かに応じて動画再生制御に用いる記憶領域の容量を適切に決定することができる。   In each of the above-described embodiments, when the GCL 104 is IPB movie data including a B picture, the number of frame buffers used in the decompression process is smaller than when the GCL 104 is IP movie data not including a B picture. Since it is configured to determine a large number (in the above example, it is determined to be four more than three), depending on whether or not the compressed moving image data used for moving image reproduction display includes a B picture The capacity of the storage area used for moving image reproduction control can be determined appropriately.

また、上述した各実施の形態では、ＧＣＬ１０４が、伸長処理にて、ＣＰＵ１０１からの描画指示にて指示された動画像の再生表示に用いる圧縮動画データにもとづく当該動画像における画像サイズを判別し、判別結果に応じたサイズの記憶領域をフレームバッファとして設定する構成とされているので、動画像の再生表示に用いる圧縮動画データにもとづく当該動画像の画像サイズに応じて動画再生制御に用いる記憶領域の容量を適切に決定することができる。   In each of the embodiments described above, the GCL 104 determines the image size in the moving image based on the compressed moving image data used for reproducing and displaying the moving image instructed by the drawing instruction from the CPU 101 in the decompression process. Since a storage area having a size corresponding to the determination result is set as a frame buffer, a storage area used for moving image reproduction control according to the image size of the moving image based on the compressed moving image data used for moving image reproduction display Can be appropriately determined.

また、上述した各実施の形態では、ＣＰＵ１０１が、所定のフレーム期間にて伸長指示を行ったあと、その伸長指示に応じてＧＣＬ１０４が実行している伸長処理が終了する前にそのフレーム期間が終了したときは、次のフレーム期間にて前回のフレーム期間のときと同一の表示指示を行い、同一の画像データにもとづく画像を画像表示装置１２０に表示させるようにしている。この場合、ＧＣＬ１０４は、あるフレーム期間におけるＣＰＵ１０１からの伸長指示に応じて実行している伸長処理が終了する前に、次のフレーム期間におけるＣＰＵ１０１からの描画指示（例えば表示指示）を受けたときは、伸長処理によって伸長され展開されている途中の画像データを放棄（消去）して、受信した表示指示に応じたビデオ信号を出力するようにすればよい。よって、このような場合、前のフレーム期間にて表示した画像と同じ画像が再度表示されることになる。このように構成すれば、画面のちらつきを防止することができる。   Further, in each of the above-described embodiments, after the CPU 101 issues a decompression instruction in a predetermined frame period, the frame period ends before the decompression process executed by the GCL 104 according to the decompression instruction ends. In this case, the same display instruction is given in the next frame period as in the previous frame period, and an image based on the same image data is displayed on the image display device 120. In this case, when the GCL 104 receives a drawing instruction (for example, a display instruction) from the CPU 101 in the next frame period before the expansion process executed in response to the expansion instruction from the CPU 101 in a certain frame period ends. Then, it is only necessary to abandon (erase) the image data that is being decompressed and expanded by the decompression process and output a video signal corresponding to the received display instruction. Therefore, in such a case, the same image as that displayed in the previous frame period is displayed again. With this configuration, it is possible to prevent screen flickering.

また、上述した各実施の形態では特に言及していないが、ＧＣＬ１０４が、１フレーム期間毎に画像データ上に合成されるスプライト画像が更新される毎に、２フレーム期間毎に伸長処理にて伸長された画像データがフレームバッファに記憶されるようにしてもよい。この場合、例えば、ステップＳ２０，Ｓ２１の処理を１フレーム期間毎に行い、ステップＳ１８，Ｓ１９の処理を２フレーム毎に行うようにすればよい。具体的には、例えば図１４に示すような表示制御データにもとづいて、ＣＰＵ１０１が描画指示を行うようにすればよい。すなわち、ＣＰＵ１０１は、例えば図１４に示す表示制御データにもとづいて、プロセスデータ番号が奇数のときのフレーム期間では必要に応じて伸長指示や表示指示を行うとともにスプライト画像表示指示を行い、プロセスデータ番号が偶数のときのフレーム期間では伸長指示や表示指示を行うことなく必要に応じてスプライト画像表示指示を行うようにすればよい。そして、ＧＣＬ１０４が、あるフレーム期間において伸長指示や表示指示を受けることなくスプライト画像表示指示を受けたときには、前回のフレーム期間のときに使用した画像データと同じ画像データを示すビデオ信号を送信するようにすればよい。このように構成すれば、精密な表示を実現しつつ、画像合成に関わる制御負担が重くなることを防止できる。   Although not particularly mentioned in each of the above-described embodiments, the GCL 104 is decompressed by decompression processing every two frame periods every time a sprite image synthesized on the image data is updated every frame period. The processed image data may be stored in the frame buffer. In this case, for example, the processes of steps S20 and S21 may be performed every frame period, and the processes of steps S18 and S19 may be performed every two frames. Specifically, for example, the CPU 101 may issue a drawing instruction based on display control data as shown in FIG. That is, for example, based on the display control data shown in FIG. 14, the CPU 101 issues a decompression instruction and a display instruction as necessary and a sprite image display instruction as necessary during the frame period when the process data number is an odd number. In the frame period when is an even number, a sprite image display instruction may be issued as needed without performing an expansion instruction or a display instruction. When the GCL 104 receives a sprite image display instruction without receiving a decompression instruction or a display instruction in a certain frame period, it transmits a video signal indicating the same image data as that used in the previous frame period. You can do it. If comprised in this way, it can prevent that the control burden regarding image composition becomes heavy, implement | achieving a precise display.

また、上述した実施の形態では、ＩＰＢムービーデータを再生表示する際には、最後の２フレーム期間はピクチャの伸長・展開が行われることなく表示だけが行われるようになっていたが（図１０参照）、ＩＰＢムービーデータが再生表示されるときに最後の表示順番のピクチャを表示せずに、ＩＰムービーデータと同じように、最後の１フレーム期間だけピクチャの伸長・展開が行われることなく表示だけが行われるようにすることが好ましい。この場合、ＩＰＢムービーデータにおける最後の表示順番のピクチャが表示されるフレーム期間にて、設定されている表示制御データを、次に再生表示する動画像を示すＩＰムービーデータの表示制御データに切り替えるようにすればよい。   In the above-described embodiment, when IPB movie data is played back and displayed, only the display is performed without decompressing / decompressing the picture during the last two frame periods (FIG. 10). As shown in the IP movie data, when the IPB movie data is played back and displayed, the picture in the last display order is not displayed and the picture is not expanded or expanded only for the last one frame period. It is preferred that only be done. In this case, the set display control data is switched to the IP movie data display control data indicating the moving image to be reproduced and displayed in the frame period in which the picture in the last display order in the IPB movie data is displayed. You can do it.

図１５（Ａ）は、最後の伸長順番となっているピクチャがＢピクチャとなっているＩＰＢムービーデータを再生する際に、最後の表示順番のピクチャを表示しないとしたときの伸長タイミングと表示タイミングの例を示すタイミング図である。ここでは、簡単のため、図１５（Ａ）に示すような、最後の表示順番のピクチャを表示すれば１３フレーム期間分の処理によって動画像が再生表示されるが、最後の表示順番のピクチャが表示されないため１２フレーム期間分の処理によって動画像が再生表示されることとなるＩＰＢムービーデータを用いて説明する。なお、図１５（Ａ）に示す例では、ＩＰＢムービーデータのあとに続けてＩＰムービーデータにもとづく動画像が再生表示されることになっている。図１６は、図１５（Ａ）に示すＩＰＢムービーデータの再生するために用いられる表示制御データの例を示す説明図である。図１７は、図１５（Ａ）に示すＩＰムービーデータの再生するために用いられる表示制御データの例を示す説明図である。なお、ここでは、ＩＰムービーデータＢ１は、背景用のムービーデータではなく、演出表示用のムービーデータであるものとする。   FIG. 15A shows an expansion timing and a display timing when the last display order picture is not displayed when IPB movie data in which the last expansion order picture is a B picture is played back. FIG. Here, for the sake of simplicity, if a picture in the last display order as shown in FIG. 15A is displayed, a moving image is reproduced and displayed by processing for 13 frame periods. Description will be made using IPB movie data in which a moving image is reproduced and displayed by processing for 12 frame periods because it is not displayed. In the example shown in FIG. 15A, a moving image based on IP movie data is reproduced and displayed after IPB movie data. FIG. 16 is an explanatory diagram showing an example of display control data used for reproducing the IPB movie data shown in FIG. FIG. 17 is an explanatory diagram showing an example of display control data used for reproducing the IP movie data shown in FIG. Here, it is assumed that IP movie data B1 is not movie data for background but movie data for effect display.

図１５（Ａ）に示すＩＰＢムービーデータは、最後の表示順番であるピクチャ（最終表示予定画像：ここではピクチャＰ５）が、再生表示されている動画像において表示されなくても少なくとも見た目上支障のないダミーピクチャとして生成されているものとする。「ダミーピクチャ」としては、例えば全体が１色の画像や、表示上最後の表示順番となるピクチャ（図１５（Ａ）に示す例では、ピクチャＰ５の１フレーム期間前に表示されるものとして設定されているピクチャＢ５）と同一の画像などが考えられる。ダミーピクチャを表示上最後の表示順番となるピクチャと同一の画像とすれば、ダミーピクチャが表示されなくても同じ画像は既に表示されているため見た目上支障がなく、また、ダミーピクチャがたとえ誤って表示されたとしても見た目上の違和感がないようにすることができる。なお、ダミーピクチャは、ムービーデータにもとづく再生表示が続けてなされないとき（連続して動画像が再生表示されないとき）には、ダミーとはならずに表示される。   In the IPB movie data shown in FIG. 15A, the picture (final display scheduled image: here picture P5), which is the last display order, is at least visually hindered even if it is not displayed in the reproduced moving image. It is assumed that no dummy picture has been generated. As the “dummy picture”, for example, an image of the entire color or a picture that is the last display order in the display (in the example shown in FIG. 15A, set to be displayed one frame period before the picture P5) The same image as the picture B5) being considered can be considered. If the dummy picture is the same as the last picture in the display order, the same picture is already displayed even if the dummy picture is not displayed, so there is no visual problem. Even if it is displayed, it is possible to prevent an uncomfortable appearance. The dummy picture is not displayed as a dummy when the playback display based on the movie data is not continuously performed (when the moving image is not continuously played back and displayed).

ＣＰＵ１０１は、各フレーム期間（Ｆ１〜Ｆ１１）にて、ＧＣＬ１０４に対して、表示制御データにもとづいて表示指示や伸長指示などの描画指示を行う（ステップＳ１８，ステップＳ１９参照）。   In each frame period (F1 to F11), the CPU 101 issues a drawing instruction such as a display instruction or an expansion instruction to the GCL 104 based on the display control data (see step S18 and step S19).

ＧＣＬ１０４は、ＣＰＵ１０１からの描画指示に応じて、各フレーム期間（Ｆ１〜Ｆ１１）において、前回のフレーム期間までにフレームバッファに展開されているピクチャを表示するためのビデオ信号を画像表示装置１２０に対して出力する処理（ステップＳ５２参照）、伸長順番に従って各ピクチャを伸長してフレームバッファに展開する処理（ステップＳ３７参照）などを行う。   In response to a drawing instruction from the CPU 101, the GCL 104 sends a video signal for displaying a picture developed in the frame buffer up to the previous frame period to the image display device 120 in each frame period (F1 to F11). And the like (step S52), the process of expanding each picture in accordance with the expansion order and expanding it in the frame buffer (see step S37), and the like.

そして、ＣＰＵ１０１は、１２番目のフレーム期間（Ｆ１２）が開始されたときに（ステップＳ１２参照）、新たな動画再生を開始することに決定し（ステップＳ１２のＹ参照）、ここではムービーデータＢ１を選択し（ステップＳ１４参照）、図１７に示すＩＰムービーデータの表示制御データに切り替えて（ステップＳ１５参照）、ＧＣＬ１０４に対して、新たに設定したＩＰムービーデータの表示制御データ（プロセスデータ番号１のプロセスデータ）にもとづいて、ＩＰムービーデータＢ１の指定（ステップＳ１６参照）などの他、表示指示（ステップＳ１８参照）および伸長指示（ステップＳ１９参照）を行う。すなわち、ＩＰＢムービーデータの表示制御データにおける１２番目のフレーム期間が、新たに設定したＩＰムービーデータの表示制御データにおける１番目のフレーム期間に切り替わる。このように、ＣＰＵ１０１は、１２番目のフレーム期間（Ｆ１２）における最後から２番目の表示順番のピクチャ（この例ではピクチャＢ５）の表示指示と、１３番目のフレーム期間（Ｆ１３）における最後の表示順番のピクチャ（この例ではピクチャＰ５）の表示指示とを行うことなく、ＩＰＢムービーデータの表示制御データにもとづく描画指示を終了し、新たに設定したＩＰムービーデータの表示制御データにもとづく描画指示を開始する。   Then, when the twelfth frame period (F12) is started (see step S12), the CPU 101 decides to start a new moving image reproduction (see Y in step S12). Here, the movie data B1 is stored. 17 (see step S14), and the display control data is switched to the IP movie data display control data shown in FIG. 17 (see step S15). Based on the process data), in addition to specifying the IP movie data B1 (see step S16), a display instruction (see step S18) and an expansion instruction (see step S19) are performed. That is, the twelfth frame period in the IPB movie data display control data is switched to the first frame period in the newly set IP movie data display control data. As described above, the CPU 101 instructs the display of the picture in the second display order from the end (picture B5 in this example) in the twelfth frame period (F12) and the last display order in the thirteenth frame period (F13). The drawing instruction based on the display control data of the IPB movie data is terminated without giving the display instruction of the picture (picture P5 in this example), and the drawing instruction based on the display control data of the newly set IP movie data is started. To do.

ＧＣＬ１０４は、ＣＰＵ１０１にて新たに設定された表示制御データにもとづく１番目のフレーム期間（Ｆ１）において、ＣＰＵ１０１からのムービーデータの指定に応じて、ＩＰムービーデータＢ１の設定などを行う（ステップＳ３２〜Ｓ３５参照）。   In the first frame period (F1) based on the display control data newly set by the CPU 101, the GCL 104 sets the IP movie data B1 in accordance with the designation of the movie data from the CPU 101 (steps S32 to S32). (See S35).

また、ＧＣＬ１０４は、ＣＰＵ１０１にて新たに設定された表示制御データにもとづく１番目のフレーム期間（Ｆ１）において、ＣＰＵ１０１からの表示指示に応じて、前回のフレーム期間までにフレームバッファに展開されているＩＰＢムービーデータＡ２のピクチャＢ５を表示するためのビデオ信号を画像表示装置１２０に対して出力する（ステップＳ５２参照）。すなわち、ＧＣＬ１０４は、ＣＰＵ１０１からの表示指示を受けたときに、次の表示順番であるに表示順番１に相当する画像データがフレームバッファに展開されていないため、既に展開されており未だ表示に用いられていないピクチャのうち、表示順番が最も早いピクチャＢ５を表示するためのビデオ信号を画像表示装置１２０に対して出力する。   Further, the GCL 104 is expanded in the frame buffer by the previous frame period in response to a display instruction from the CPU 101 in the first frame period (F1) based on the display control data newly set by the CPU 101. A video signal for displaying the picture B5 of the IPB movie data A2 is output to the image display device 120 (see step S52). That is, when the GCL 104 receives a display instruction from the CPU 101, the image data corresponding to the display order 1 in the next display order is not developed in the frame buffer. A video signal for displaying the picture B5 having the earliest display order among the pictures not displayed is output to the image display device 120.

さらに、ＧＣＬ１０４は、ＣＰＵ１０１にて新たに設定された表示制御データにもとづく１番目のフレーム期間（Ｆ１）において、ＣＰＵ１０１からの伸長指示に応じて、ＩＰムービーデータＢ１における伸長順番が１番目のピクチャＩ１を伸長してフレームバッファに展開する（ステップＳ３７参照）。   Further, the GCL 104, in the first frame period (F1) based on the display control data newly set by the CPU 101, in response to the decompression instruction from the CPU 101, the decompression order of the IP movie data B1 is the first picture I1. Is expanded in the frame buffer (see step S37).

その後、ＣＰＵ１０１は、ＩＰムービーデータＢ１についての各フレーム期間（Ｆ２〜Ｆ６）にて、ＧＣＬ１０４に対して、表示制御データにもとづいて表示指示や伸長指示などの描画指示を行う（ステップＳ１８，ステップＳ１９参照）。   Thereafter, in each frame period (F2 to F6) for the IP movie data B1, the CPU 101 issues a drawing instruction such as a display instruction or an expansion instruction to the GCL 104 based on the display control data (step S18, step S19). reference).

ＧＣＬ１０４は、ＣＰＵ１０１からの描画指示に応じて、各フレーム期間（Ｆ２〜Ｆ６）において、前回のフレーム期間にてフレームバッファに展開されているピクチャを表示するためのビデオ信号を画像表示装置１２０に対して出力する処理（ステップＳ５２参照）、伸長順番に従って各ピクチャを伸長してフレームバッファに展開する処理（ステップＳ３７参照）などを行う。   In response to a drawing instruction from the CPU 101, the GCL 104 sends a video signal for displaying the picture developed in the frame buffer in the previous frame period to the image display device 120 in each frame period (F2 to F6). And the like (step S52), the process of expanding each picture in accordance with the expansion order and expanding it in the frame buffer (see step S37), and the like.

このようにして、ＩＰＢムービーデータによる動画像の再生表示が終了したあとに、続けてＩＰムービーデータによる動画像の再生表示が開始される。なお、続けてＩＰＢムービーデータによる動画像の再生表示が開始される場合も、伸長処理が開始されるフレーム期間の次のフレーム期間で表示処理が開始されるものであれば、上述した例と同様に処理を行うことが可能である。   In this way, after the reproduction / display of the moving image by the IPB movie data is completed, the reproduction / display of the moving image by the IP movie data is started. Note that when the playback and display of a moving image using IPB movie data is subsequently started, as long as the display process is started in the frame period subsequent to the frame period in which the decompression process is started, the same as in the above-described example. It is possible to perform processing.

上記のように、ＣＰＵ１０１が、動画像の再生表示を開始させる際の最初のフレーム期間における描画指示にて、動画像の再生表示に用いる圧縮動画データの指示を行うとともに伸長指示を開始し、伸長指示を開始した最初の描画指示を行ったフレーム期間の次のフレーム期間における次の描画指示にて表示指示を開始し、最初の描画指示にてＩＰＢムービーデータを指示していたときには、Ｂピクチャの伸長を指示するための伸長指示が最初になされるフレーム期間以前のフレーム期間における描画指示にて、複数回の伸長指示を行う構成とし、さらに、ＩＰＢムービーデータの最後の表示順番のピクチャを表示することなく、表示順番が最後から２番目のピクチャの表示に続けて次のＩＰムービーデータの再生表示を開始するようにしているので、ＩＰＢムービーデータの再生表示の後に続けてＩＰムービーデータの再生表示を行うときでも、続けて再生表示するＩＰムービーデータについての動画再生制御を開始するタイミングを共通化することができるようになり、動画再生制御の実行タイミングの管理を容易にすることができる。   As described above, the CPU 101 instructs the compressed moving image data to be used for moving image reproduction display and starts the decompression instruction and the decompression instruction by the drawing instruction in the first frame period when starting the moving image reproduction display. When the display instruction is started by the next drawing instruction in the frame period next to the frame period in which the first drawing instruction is started and the IPB movie data is instructed by the first drawing instruction, A drawing instruction is given a plurality of times in a drawing instruction in a frame period before a frame period in which an extension instruction for instructing extension is first issued, and a picture in the last display order of IPB movie data is displayed. Without starting to display the second picture from the end, the next IP movie data playback display is started. Therefore, even when the IP movie data is reproduced and displayed after the IPB movie data is reproduced and displayed, the timing for starting the moving image reproduction control for the IP movie data to be reproduced and displayed can be made common. Thus, the management of the execution timing of the moving image reproduction control can be facilitated.

すなわち、ＩＰムービーデータの後にＩＰムービーデータを続けて再生するときとＩＰＢムービーデータの後にＩＰムービーデータを続けて再生するときの何れであっても、先に再生表示しているムービーデータにおいて最後の伸長指示を行ったフレーム期間の次のフレーム期間からＩＰムービーデータの動画再生制御を開始することができるようになり、ＩＰムービーデータとＩＰＢムービーデータとが混在している場合であっても、ＩＰムービーデータの後にＩＰムービーデータを続けて再生するときとＩＰＢムービーデータの後にＩＰムービーデータを続けて再生するときとで続けて再生するＩＰムービーデータにおけるピクチャの伸長処理を開始するタイミングが共通化されているため、動画再生制御における伸長処理の実行タイミングの管理が容易となる。   That is, whether the IP movie data is subsequently played back after the IP movie data or the IP movie data is played back after the IPB movie data, the last movie data that is played back and displayed last. It becomes possible to start moving image playback control of IP movie data from the frame period next to the frame period for which the decompression instruction has been issued, and even if IP movie data and IPB movie data are mixed, The timing for starting the picture expansion process in the IP movie data to be continuously played back when the IP movie data is continuously played after the movie data and when the IP movie data is continuously played after the IPB movie data is made common. Therefore, the execution timing of decompression processing in video playback control Grayed management becomes easy.

上記のように、先に再生表示されるムービーデータの種類によらずに共通の実行タイミングで後に再生表示されるＩＰムービーデータの伸長処理が開始することとされ、続けて再生するＩＰムービーデータの動画再生制御における伸長処理の実行タイミングの管理が容易とされているので、ＩＰムービーデータとＩＰＢムービーデータとを混在させた動画再生制御の制御内容（例えば、制御フロー、制御プログラム）の設計が容易となる。具体的には、動画再生制御の制御内容の設計を行う設計者が、動画再生制御における各ムービーデータの出現箇所の割り当てを行う際に、先に再生表示するムービーデータの種類がＩＰムービーデータであるかＩＰＢムービーデータであるかを意識することなく、続けて再生表示する各ＩＰムービーデータを割り当てることができ、動画再生制御の制御内容を容易に設計することができるようになる。よって、動画再生制御のための制御プログラムの開発などのための作業負担を軽減させることができる。   As described above, the expansion processing of the IP movie data to be reproduced and displayed later is started at a common execution timing regardless of the type of movie data to be reproduced and displayed first, and the IP movie data to be reproduced subsequently is started. Since it is easy to manage the execution timing of decompression processing in video playback control, it is easy to design control content (for example, control flow and control program) of video playback control in which IP movie data and IPB movie data are mixed. It becomes. Specifically, when the designer who designs the control content of the video playback control assigns the appearance location of each movie data in the video playback control, the type of the movie data to be played back and displayed first is IP movie data. Regardless of whether it is IPB movie data or not, it is possible to assign each IP movie data to be continuously reproduced and displayed, and it is possible to easily design the control content of the moving image reproduction control. Therefore, it is possible to reduce the work load for developing a control program for controlling the reproduction of moving images.

特に、上記の例では、先に再生するＩＰＢムービーデータが、実際には表示されない最終表示予定画像を示す画像データが他のピクチャ（図１５（Ａ）に示した例ではピクチャＢ４、ピクチャＢ５）の伸長処理に使用されるものとされているので、ＩＰＢムービーデータにおける全てのピクチャを動画再生制御のために使用される必要なピクチャとすることができ、ムービーデータのデータ容量に無駄を生じさせないようにすることができるとともに、ＧＣＬ１０４に不必要な伸長・展開処理を実行させて無用な処理のために負荷を増大させてしまうことを防止することができる。すなわち、ＧＣＬ１０４における最終表示予定画像の伸長・展開処理を有効な処理とすることができる。   In particular, in the above example, the IPB movie data to be reproduced first is image data indicating the final display scheduled image that is not actually displayed. Other pictures (picture B4 and picture B5 in the example shown in FIG. 15A) Therefore, all the pictures in the IPB movie data can be used as necessary pictures for moving image reproduction control, and the data capacity of the movie data is not wasted. In addition, it is possible to prevent the GCL 104 from executing unnecessary decompression / expansion processing and increasing the load due to unnecessary processing. In other words, the expansion / decompression process of the final display scheduled image in the GCL 104 can be an effective process.

図１５（Ｂ）は、最後の伸長順番となっているピクチャがＢピクチャでないＩＰＢムービーデータを再生する際に、最後の表示順番のピクチャを表示しないとしたときの伸長タイミングと表示タイミングの例を示すタイミング図である。ここでは、簡単のため、図１５（Ｂ）に示すような、最後の表示順番のピクチャを表示すれば１３フレーム期間分の処理によって動画像が再生表示されるが、最後の表示順番のピクチャが表示されないため１２フレーム期間分の処理によって動画像が再生表示されることとなるＩＰＢムービーデータを用いて説明する。なお、図１５（Ｂ）に示す例では、ＩＰＢムービーデータのあとに続けてＩＰムービーデータにもとづく動画像が再生表示されることになっている。図１８は、図１５（Ｂ）に示すＩＰＢムービーデータの再生するために用いられる表示制御データの例を示す説明図である。図１５（Ｂ）に示すＩＰムービーデータの再生するために用いられる表示制御データは、上述した図１７に示した例と同一である。なお、ここでは、ＩＰムービーデータＢ１は、背景用のムービーデータではなく、演出表示用のムービーデータであるものとする。   FIG. 15B shows an example of decompression timing and display timing when the picture in the last display order is not displayed when playing back IPB movie data in which the picture in the last decompression order is not a B picture. FIG. Here, for the sake of simplicity, if a picture in the last display order as shown in FIG. 15B is displayed, a moving image is reproduced and displayed by processing for 13 frame periods. Description will be made using IPB movie data in which a moving image is reproduced and displayed by processing for 12 frame periods because it is not displayed. In the example shown in FIG. 15B, a moving image based on IP movie data is reproduced and displayed after IPB movie data. FIG. 18 is an explanatory diagram showing an example of display control data used for reproducing the IPB movie data shown in FIG. The display control data used for reproducing the IP movie data shown in FIG. 15B is the same as the example shown in FIG. Here, it is assumed that IP movie data B1 is not movie data for background but movie data for effect display.

図１５（Ｂ）に示すＩＰＢムービーデータは、最後の表示順番となるピクチャ（最終表示予定画像：ここではピクチャＰ６）が、再生表示されている動画像において表示されなくても少なくとも見た目上支障のないダミーピクチャとして生成されているものとする。   In the IPB movie data shown in FIG. 15B, the picture (final display scheduled image: here picture P6) which is the last display order is at least visually troublesome even if it is not displayed in the reproduced moving image. It is assumed that no dummy picture has been generated.

ＣＰＵ１０１は、各フレーム期間（Ｆ１〜Ｆ１１）にて、ＧＣＬ１０４に対して、表示制御データにもとづいて表示指示や伸長指示などの描画指示を行う（ステップＳ１８，ステップＳ１９参照）。   In each frame period (F1 to F11), the CPU 101 issues a drawing instruction such as a display instruction or an expansion instruction to the GCL 104 based on the display control data (see step S18 and step S19).

ＧＣＬ１０４は、ＣＰＵ１０１からの描画指示に応じて、各フレーム期間（Ｆ１〜Ｆ１１）において、前回のフレーム期間までにフレームバッファに展開されているピクチャを表示するためのビデオ信号を画像表示装置１２０に対して出力する処理（ステップＳ５２参照）、伸長順番に従って各ピクチャを伸長してフレームバッファに展開する処理（ステップＳ３７参照）などを行う。   In response to a drawing instruction from the CPU 101, the GCL 104 sends a video signal for displaying a picture developed in the frame buffer up to the previous frame period to the image display device 120 in each frame period (F1 to F11). And the like (step S52), the process of expanding each picture in accordance with the expansion order and expanding it in the frame buffer (see step S37), and the like.

そして、ＣＰＵ１０１は、１２番目のフレーム期間（Ｆ１２）が開始されたときに（ステップＳ１２参照）、新たな動画再生を開始することに決定し（ステップＳ１２のＹ参照）、ここではムービーデータＢ１を選択し（ステップＳ１４参照）、図１７に示すＩＰムービーデータの表示制御データに切り替えて（ステップＳ１５参照）、ＧＣＬ１０４に対して、新たに設定したＩＰムービーデータの表示制御データ（プロセスデータ番号１のプロセスデータ）にもとづいて、ＩＰムービーデータＢ１の指定（ステップＳ１６参照）などの他、表示指示（ステップＳ１８参照）および伸長指示（ステップＳ１９参照）を行う。すなわち、ＩＰＢムービーデータの表示制御データにおける１２番目のフレーム期間が、新たに設定したＩＰムービーデータの表示制御データにおける１番目のフレーム期間に切り替わる。このように、ＣＰＵ１０１は、１２番目のフレーム期間（Ｆ１２）における最後から２番目の表示順番のピクチャ（この例ではピクチャＰ５）の表示指示と、１３番目のフレーム期間（Ｆ１３）における最後の表示順番のピクチャ（この例ではピクチャＰ６）の表示指示とを行うことなく、ＩＰＢムービーデータの表示制御データにもとづく描画指示を終了し、新たに設定したＩＰムービーデータの表示制御データにもとづく描画指示を開始する。   Then, when the twelfth frame period (F12) is started (see step S12), the CPU 101 decides to start a new moving image reproduction (see Y in step S12). Here, the movie data B1 is stored. 17 (see step S14), and the display control data is switched to the IP movie data display control data shown in FIG. 17 (see step S15). Based on the process data), in addition to specifying the IP movie data B1 (see step S16), a display instruction (see step S18) and an expansion instruction (see step S19) are performed. That is, the twelfth frame period in the IPB movie data display control data is switched to the first frame period in the newly set IP movie data display control data. In this way, the CPU 101 instructs the display of the picture in the second display order from the last (picture P5 in this example) in the twelfth frame period (F12) and the last display order in the thirteenth frame period (F13). The drawing instruction based on the display control data of the IPB movie data is terminated without issuing the display instruction of the picture (picture P6 in this example), and the drawing instruction based on the display control data of the newly set IP movie data is started. To do.

ＧＣＬ１０４は、ＣＰＵ１０１にて新たに設定された表示制御データにもとづく１番目のフレーム期間（Ｆ１）において、ＣＰＵ１０１からのムービーデータの指定に応じて、ＩＰムービーデータＢ１の設定などを行う（ステップＳ３２〜Ｓ３５参照）。   In the first frame period (F1) based on the display control data newly set by the CPU 101, the GCL 104 sets the IP movie data B1 in accordance with the designation of the movie data from the CPU 101 (steps S32 to S32). (See S35).

また、ＧＣＬ１０４は、ＣＰＵ１０１にて新たに設定された表示制御データにもとづく１番目のフレーム期間（Ｆ１）において、ＣＰＵ１０１からの表示指示に応じて、前回のフレーム期間までにフレームバッファに展開されているＩＰＢムービーデータＡ３のピクチャＰ５を表示するためのビデオ信号を画像表示装置１２０に対して出力する（ステップＳ５２参照）。すなわち、ＧＣＬ１０４は、ＣＰＵ１０１からの表示指示を受けたときに、次の表示順番であるに表示順番１に相当する画像データがフレームバッファに展開されていないため、既に展開されており未だ表示に用いられていないピクチャのうち、表示順番が最も早いピクチャＰ５を表示するためのビデオ信号を画像表示装置１２０に対して出力する。   Further, the GCL 104 is expanded in the frame buffer by the previous frame period in response to a display instruction from the CPU 101 in the first frame period (F1) based on the display control data newly set by the CPU 101. A video signal for displaying the picture P5 of the IPB movie data A3 is output to the image display device 120 (see step S52). That is, when the GCL 104 receives a display instruction from the CPU 101, the image data corresponding to the display order 1 in the next display order is not developed in the frame buffer. A video signal for displaying the picture P5 having the earliest display order among the pictures that have not been displayed is output to the image display device 120.

さらに、ＧＣＬ１０４は、ＣＰＵ１０１にて新たに設定された表示制御データにもとづく１番目のフレーム期間（Ｆ１）において、ＣＰＵ１０１からの伸長指示に応じて、ＩＰムービーデータＢ１における伸長順番が１番目のピクチャＩ１を伸長してフレームバッファに展開する（ステップＳ３７参照）。   Further, the GCL 104, in the first frame period (F1) based on the display control data newly set by the CPU 101, in response to the decompression instruction from the CPU 101, the decompression order of the IP movie data B1 is the first picture I1. Is expanded in the frame buffer (see step S37).

その後、ＣＰＵ１０１は、ＩＰムービーデータＢ１についての各フレーム期間（Ｆ２〜Ｆ６）にて、ＧＣＬ１０４に対して、表示制御データにもとづいて表示指示や伸長指示などの描画指示を行う（ステップＳ１８，ステップＳ１９参照）。   Thereafter, in each frame period (F2 to F6) for the IP movie data B1, the CPU 101 issues a drawing instruction such as a display instruction or an expansion instruction to the GCL 104 based on the display control data (step S18, step S19). reference).

ＧＣＬ１０４は、ＣＰＵ１０１からの描画指示に応じて、各フレーム期間（Ｆ２〜Ｆ６）において、前回のフレーム期間にてフレームバッファに展開されているピクチャを表示するためのビデオ信号を画像表示装置１２０に対して出力する処理（ステップＳ５２参照）、伸長順番に従って各ピクチャを伸長してフレームバッファに展開する処理（ステップＳ３７参照）などを行う。   In response to a drawing instruction from the CPU 101, the GCL 104 sends a video signal for displaying the picture developed in the frame buffer in the previous frame period to the image display device 120 in each frame period (F2 to F6). And the like (step S52), the process of expanding each picture in accordance with the expansion order and expanding it in the frame buffer (see step S37), and the like.

このようにして、ＩＰＢムービーデータによる動画像の再生表示が終了したあとに、続けてＩＰムービーデータによる動画像の再生表示が開始される。なお、続けてＩＰＢムービーデータによる動画像の再生表示が開始される場合も、伸長処理が開始されるフレーム期間の次のフレーム期間で表示処理が開始されるものであれば、上述した例と同様に処理を行うことが可能である。   In this way, after the reproduction / display of the moving image by the IPB movie data is completed, the reproduction / display of the moving image by the IP movie data is started. Note that when the playback and display of a moving image using IPB movie data is subsequently started, as long as the display process is started in the frame period subsequent to the frame period in which the decompression process is started, the same as in the above-described example. It is possible to perform processing.

上記のように、ＣＰＵ１０１が、動画像の再生表示を開始させる際の最初のフレーム期間における描画指示にて、動画像の再生表示に用いる圧縮動画データの指示を行うとともに伸長指示を開始し、伸長指示を開始した最初の描画指示を行ったフレーム期間の次のフレーム期間における次の描画指示にて表示指示を開始し、最初の描画指示にてＩＰＢムービーデータを指示していたときには、Ｂピクチャの伸長を指示するための伸長指示が最初になされるフレーム期間以前のフレーム期間における描画指示にて、複数回の伸長指示を行う構成とし、さらに、最後の伸長順番となっているピクチャがＢピクチャでないＩＰＢムービーデータの最後の表示順番のピクチャ（最終表示予定画像：ここではピクチャＰ６）を表示することなく、表示順番が最後から２番目のピクチャの表示に続けて次のＩＰムービーデータの再生表示を開始するようにしているので、最後の伸長順番となっているピクチャがＢピクチャでないＩＰＢムービーデータの再生表示の後に続けてＩＰムービーデータの再生表示を行うときでも、続けて再生表示するＩＰムービーデータについての動画再生制御を開始するタイミングを共通化することができるようになり、動画再生制御の実行タイミングの管理を容易にすることができる。なお、上記のような最後の伸長順番となっているピクチャがＢピクチャでないＩＰＢムービーデータにおいては、最後の伸長順番となるピクチャが最終表示予定画像となるので、その最終表示予定画像の伸長処理が行われるフレーム期間が先に再生表示されるＩＰＢムービーデータの表示制御データにもとづく制御の最終フレーム期間となり、先に実行されるＩＰＢムービーデータの再生表示と後に実行されるＩＰムービーデータの再生表示の切替タイミングを容易に把握することができ、動画再生制御の実行タイミングの管理を容易にすることができる。   As described above, the CPU 101 instructs the compressed moving image data to be used for moving image reproduction display and starts the decompression instruction and the decompression instruction by the drawing instruction in the first frame period when starting the moving image reproduction display. When the display instruction is started by the next drawing instruction in the frame period next to the frame period in which the first drawing instruction is started and the IPB movie data is instructed by the first drawing instruction, A configuration in which a decompression instruction is given a plurality of times in a drawing instruction in a frame period before the first frame period in which a decompression instruction for instructing decompression is first made, and the picture in the last decompression order is not a B picture The last display order picture of the IPB movie data (final display scheduled image: picture P6 here) is displayed without displaying the picture. Since the playback of the next IP movie data is started following the display of the second picture from the end, after the playback and display of the IPB movie data whose last decompression order is not a B picture. Even when IP movie data is subsequently played back and displayed, the timing for starting the moving image playback control for the IP movie data to be played back and displayed continuously can be made common, and the execution timing of the moving image playback control can be managed. Can be easily. Note that in the IPB movie data in which the last picture in the decompression order is not a B picture as described above, the picture in the last decompression order is the final display scheduled image. The frame period to be performed is the final frame period of control based on the display control data of the IPB movie data to be reproduced and displayed first, and the IPB movie data to be reproduced and displayed first and the IP movie data to be reproduced and displayed later. The switching timing can be easily grasped, and the management of the execution timing of the moving image reproduction control can be facilitated.

すなわち、ＩＰムービーデータの後にＩＰムービーデータを続けて再生するときとＩＰＢムービーデータの後にＩＰムービーデータを続けて再生するときの何れであっても、先に再生表示しているムービーデータにおいて最後の伸長指示を行ったフレーム期間の次のフレーム期間からＩＰムービーデータの動画再生制御を開始することができるようになり、ＩＰムービーデータとＩＰＢムービーデータとが混在している場合であっても、ＩＰムービーデータの後にＩＰムービーデータを続けて再生するときとＩＰＢムービーデータの後にＩＰムービーデータを続けて再生するときとで続けて再生するＩＰムービーデータにおけるピクチャの伸長処理を開始するタイミングが共通化されているため、動画再生制御における伸長処理の実行タイミングの管理が容易となる。   That is, whether the IP movie data is subsequently played back after the IP movie data or the IP movie data is played back after the IPB movie data, the last movie data that is played back and displayed last. It becomes possible to start moving image playback control of IP movie data from the frame period next to the frame period for which the decompression instruction has been issued, and even if IP movie data and IPB movie data are mixed, The timing for starting the picture expansion process in the IP movie data to be continuously played back when the IP movie data is continuously played after the movie data and when the IP movie data is continuously played after the IPB movie data is made common. Therefore, the execution timing of decompression processing in video playback control Grayed management becomes easy.

上記のように、先に再生表示されるムービーデータの種類によらずに共通の実行タイミングで後に再生表示されるＩＰムービーデータの伸長処理が開始することとされ、続けて再生するＩＰムービーデータの動画再生制御における伸長処理の実行タイミングの管理が容易とされているので、ＩＰムービーデータとＩＰＢムービーデータとを混在させた動画再生制御の制御内容（例えば、制御フロー、制御プログラム）の設計が容易となる。具体的には、動画再生制御の制御内容の設計を行う設計者が、動画再生制御における各ムービーデータの出現箇所の割り当てを行う際に、先に再生表示するムービーデータの種類がＩＰムービーデータであるかＩＰＢムービーデータであるかを意識することなく、続けて再生表示する各ＩＰムービーデータを割り当てることができ、動画再生制御の制御内容を容易に設計することができるようになる。よって、動画再生制御のための制御プログラムの開発などのための作業負担を軽減させることができる。   As described above, the expansion processing of the IP movie data to be reproduced and displayed later is started at a common execution timing regardless of the type of movie data to be reproduced and displayed first, and the IP movie data to be reproduced subsequently is started. Since it is easy to manage the execution timing of decompression processing in video playback control, it is easy to design control content (for example, control flow and control program) of video playback control in which IP movie data and IPB movie data are mixed. It becomes. Specifically, when the designer who designs the control content of the video playback control assigns the appearance location of each movie data in the video playback control, the type of the movie data to be played back and displayed first is IP movie data. Regardless of whether it is IPB movie data or not, it is possible to assign each IP movie data to be continuously reproduced and displayed, and it is possible to easily design the control content of the moving image reproduction control. Therefore, it is possible to reduce the work load for developing a control program for controlling the reproduction of moving images.

特に、上記の例では、先に再生するＩＰＢムービーデータが、実際には表示されない最終表示予定画像（図１５（Ｂ）に示した例ではピクチャＰ６）を示す画像データの伸長・展開処理が実行されるフレーム期間が、ＩＰムービーデータについての表示制御データに切り替える直前のフレーム期間となるので、最終表示予定画像の伸長・展開処理が実行されるフレーム期間の次のフレーム期間で表示制御データを切り替えるようにすることで、後に再生するＩＰムービーデータの伸長処理の開始タイミングを設定することができるようになる。よって、先に再生するＩＰＢムービーデータとして最終伸長ピクチャがＢピクチャでないムービーデータを用いることで、ムービーデータを連続して再生する際に制御対象とするムービーデータの切替タイミングを容易に定めることができるようになり、ムービーデータを連続して再生する際の動画再生制御における伸長処理の実行タイミングの管理を容易とすることができる。   In particular, in the above example, the IPB movie data to be reproduced first is subjected to decompression / decompression processing of image data indicating a final display scheduled image (picture P6 in the example shown in FIG. 15B) that is not actually displayed. Since the frame period to be performed is the frame period immediately before switching to the display control data for the IP movie data, the display control data is switched in the frame period next to the frame period in which the final display scheduled image expansion / decompression process is executed. By doing so, it is possible to set the start timing of decompression processing of IP movie data to be reproduced later. Therefore, by using movie data whose final decompressed picture is not a B picture as IPB movie data to be played back first, it is possible to easily determine the switching timing of movie data to be controlled when movie data is played back continuously. Thus, it is possible to easily manage the execution timing of the decompression process in the moving image reproduction control when the movie data is continuously reproduced.

なお、上記の実施の形態では、ＩＰＢムービーデータの動画再生制御が終了したあとブランクを空けずに次のフレーム期間から次のＩＰムービーデータの動画再生制御を開始するようにしていたが、ムービーデータの動画再生制御が終了したあと１または２以上のフレーム期間のブランクを空けて次のムービーデータの動画再生制御を開始するようにしてもよい。このように構成しても、続けて再生表示するムービーデータについての動画再生制御を開始するタイミングを共通化することができるようになり、動画再生制御の実行タイミングの管理を容易にすることができる。   In the above embodiment, the moving image playback control for the next IP movie data is started from the next frame period without blanking after the moving image playback control for the IPB movie data is completed. After the above moving image reproduction control is completed, the moving image reproduction control of the next movie data may be started with a blank for one or more frame periods. Even with this configuration, it is possible to share the timing for starting the moving image reproduction control for the movie data to be reproduced and displayed continuously, thereby facilitating management of the execution timing of the moving image reproduction control. .

また、上述した各実施の形態における画像処理装置１００は、複数種類のムービーデータによる動画像を再生表示する装置やシステムであればどのようなものにでも適用することができ、具体的には、例えば、ゲーム装置、パチンコ遊技機やスロットマシンなどの遊技機、街頭や電車内での動画を用いた広告を表示する広告表示装置、複数種類の動画を用いたスクリーンセイバーを表示する表示装置などに適用可能である。   In addition, the image processing apparatus 100 in each of the embodiments described above can be applied to any apparatus or system that reproduces and displays moving images based on a plurality of types of movie data. Specifically, For example, it is applied to game machines, pachinko machines, slot machines, and other game machines, advertisement display devices that display advertisements using movies on the streets and trains, display devices that display screen savers using multiple types of movies, etc. Is possible.

ここで、上述した画像処理装置１００を適用可能な遊技機について詳しく説明する。まず、遊技機の一例である第１種パチンコ遊技機の全体の構成について説明する。図１９はパチンコ遊技機を正面からみた正面図である。   Here, a gaming machine to which the above-described image processing apparatus 100 can be applied will be described in detail. First, the overall configuration of a first type pachinko gaming machine that is an example of a gaming machine will be described. FIG. 19 is a front view of the pachinko gaming machine as viewed from the front.

パチンコ遊技機１は、縦長の方形状に形成された外枠（図示せず）と、外枠の内側に開閉可能に取り付けられた遊技枠とで構成される。また、パチンコ遊技機１は、遊技枠に開閉可能に設けられている額縁状に形成されたガラス扉枠２を有する。遊技枠は、外枠に対して開閉自在に設置される前面枠（図示せず）と、機構部品等が取り付けられる機構板と、それらに取り付けられる種々の部品（後述する遊技盤を除く。）とを含む構造体である。   The pachinko gaming machine 1 includes an outer frame (not shown) formed in a vertically long rectangular shape, and a game frame attached to the inside of the outer frame so as to be openable and closable. Further, the pachinko gaming machine 1 has a glass door frame 2 formed in a frame shape that is provided in the game frame so as to be opened and closed. The game frame includes a front frame (not shown) installed to be openable and closable with respect to the outer frame, a mechanism plate to which mechanism parts and the like are attached, and various parts attached to them (excluding a game board described later). Is a structure including

図１９に示すように、パチンコ遊技機１は、額縁状に形成されたガラス扉枠２を有する。ガラス扉枠２の下部表面には打球供給皿（上皿）３がある。打球供給皿３の下部には、打球供給皿３に収容しきれない遊技球を貯留する余剰球受皿４と打球を発射する打球操作ハンドル（操作ノブ）５が設けられている。ガラス扉枠２の背面には、遊技盤６が着脱可能に取り付けられている。なお、遊技盤６は、それを構成する板状体と、その板状体に取り付けられた種々の部品とを含む構造体である。また、遊技盤６の前面には遊技領域７が形成されている。   As shown in FIG. 19, the pachinko gaming machine 1 has a glass door frame 2 formed in a frame shape. On the lower surface of the glass door frame 2 is a hitting ball supply tray (upper plate) 3. Under the hitting ball supply tray 3, an extra ball receiving tray 4 for storing game balls that cannot be accommodated in the hitting ball supply tray 3 and a hitting operation handle (operation knob) 5 for firing the hitting ball are provided. A game board 6 is detachably attached to the back surface of the glass door frame 2. The game board 6 is a structure including a plate-like body constituting the game board 6 and various components attached to the plate-like body. A game area 7 is formed on the front surface of the game board 6.

遊技領域７の中央付近には、それぞれが識別情報としての図柄を可変表示する複数の可変表示部を含む可変表示装置（特別可変表示部）９が設けられている。可変表示装置９には、例えば「左」、「中」、「右」の３つの可変表示部（図柄表示エリア）がある。この例では、可変表示装置９は、上述した画像表示装置１２０の機能を備えている。なお、可変表示装置９には、始動入賞口１４に入った有効入賞球数すなわち始動入賞記憶数を表示する４つの特別図柄始動記憶表示エリア（始動記憶表示エリア）１８が設けられている。有効始動入賞（始動入賞記憶数が４未満のときの始動入賞）がある毎に、表示色を変化させる（例えば青色表示から黄色表示に変化させる）始動記憶表示エリア１８を１増やす。そして、可変表示装置９の可変表示が開始される毎に、表示色が変化している始動記憶表示エリア１８を１減らす（すなわち表示色をもとに戻す）。   Near the center of the game area 7, a variable display device (special variable display section) 9 including a plurality of variable display sections each variably displaying a symbol as identification information is provided. The variable display device 9 has, for example, three variable display portions (symbol display areas) of “left”, “middle”, and “right”. In this example, the variable display device 9 has the function of the image display device 120 described above. The variable display device 9 is provided with four special symbol start memory display areas (start memory display areas) 18 for displaying the number of effective winning balls that have entered the start winning opening 14, that is, the start winning memory number. Every time there is an effective start prize (start prize when the start prize memory number is less than 4), the start memory display area 18 for changing the display color (for example, changing from blue display to yellow display) is increased by one. Each time the variable display of the variable display device 9 is started, the start memory display area 18 in which the display color is changed is reduced by 1 (that is, the display color is returned to the original).

可変表示装置９の下方には、始動入賞口１４を含む可変入賞球装置１５が設けられている。始動入賞口１４に入った入賞球は、遊技盤６の背面に導かれ、始動口スイッチ（図示せず）によって検出される。また、可変入賞球装置１５は、開閉動作を行う左右の開閉片を備えている。この開閉片は、ソレノイド（図示せず）によって開状態とされる。   Below the variable display device 9, a variable winning ball device 15 including a start winning opening 14 is provided. The winning ball that has entered the start winning opening 14 is guided to the back of the game board 6 and detected by a start opening switch (not shown). The variable winning ball apparatus 15 includes left and right opening / closing pieces that perform opening / closing operations. The opening / closing piece is opened by a solenoid (not shown).

可変入賞球装置１５の下部には、特定遊技状態（大当り状態）においてソレノイド（図示せず）によって開状態とされる開閉板２０が設けられている。開閉板２０は大入賞口を開閉する手段である。開閉板２０から遊技盤６の背面に導かれた入賞球のうち一方（Ｖ入賞領域）に入った入賞球はＶ入賞スイッチ（図示せず）で検出され、開閉板２０からの入賞球はカウントスイッチ（図示せず）で検出される。遊技盤６の背面には、大入賞口内の経路を切り換えるためのソレノイド（図示せず）も設けられている。   An opening / closing plate 20 that is opened by a solenoid (not shown) in a specific gaming state (big hit state) is provided below the variable winning ball device 15. The opening / closing plate 20 is a means for opening and closing the special winning opening. Of the winning balls guided from the opening / closing plate 20 to the back of the game board 6, the winning ball entering one (V winning area) is detected by a V winning switch (not shown), and the winning balls from the opening / closing plate 20 are counted. It is detected by a switch (not shown). A solenoid (not shown) for switching the route in the special winning opening is also provided on the back of the game board 6.

ゲート３２に遊技球が入賞しゲートスイッチ（図示せず）で検出されると、普通図柄始動入賞記憶が上限に達していなければ、所定の乱数値が抽出される。そして、普通図柄表示器１０において表示状態が変化する可変表示を開始できる状態であれば、普通図柄表示器１０の表示の可変表示が開始される。普通図柄表示器１０において表示状態が変化する可変表示を開始できる状態でなければ、普通図柄始動入賞記憶の値が１増やされる。普通図柄表示器１０の近傍には、普通図柄始動入賞記憶数を表示する４つのＬＥＤによる表示部を有する普通図柄始動記憶表示器４１が設けられている。ゲート３２への入賞がある毎に、普通図柄始動記憶表示器４１は点灯するＬＥＤを１増やす。そして、普通図柄表示器１０の可変表示が開始される毎に、点灯するＬＥＤを１減らす。なお、特別図柄と普通図柄とを一つの可変表示装置で可変表示するように構成することもできる。その場合には、特別可変表示部と普通可変表示部とは１つの可変表示装置で実現される。   When a game ball wins the gate 32 and is detected by a gate switch (not shown), a predetermined random number value is extracted if the normal symbol start winning memory has not reached the upper limit. And if it is a state which can start the variable display in which a display state changes in the normal symbol display 10, the variable display of the display of the normal symbol display 10 will be started. If the normal symbol display 10 is not in a state where variable display in which the display state changes can be started, the value of the normal symbol start winning memory is incremented by one. In the vicinity of the normal symbol display 10, there is provided a normal symbol start memory display 41 having a display unit with four LEDs for displaying the number of normal symbol start winning memorized numbers. Each time there is a prize at the gate 32, the normal symbol start memory display 41 increases the number of LEDs to be turned on by one. Each time variable display on the normal symbol display 10 is started, the number of LEDs to be lit is reduced by one. The special symbol and the normal symbol can be variably displayed on one variable display device. In that case, the special variable display unit and the normal variable display unit are realized by one variable display device.

この例では、左右のランプ（点灯時に図柄が視認可能になる）が交互に点灯することによって普通図柄の可変表示が行われ、可変表示は所定時間（例えば２９．２秒）継続する。そして、可変表示の終了時に左側のランプが点灯すれば当りとなる。当りとするか否かは、ゲート３２に遊技球が入賞したときに抽出された乱数の値が所定の当り判定値と一致したか否かによって決定される。普通図柄表示器１０における可変表示の表示結果が当りである場合に、可変入賞球装置１５が所定回数、所定時間だけ開状態になって遊技球が入賞しやすい状態になる。すなわち、可変入賞球装置１５の状態は、普通図柄の停止図柄が当り図柄である場合に、遊技者にとって不利な状態から有利な状態に変化する。   In this example, the left and right lamps (the symbols can be visually recognized when lit) are alternately lit, so that the normal symbols are variably displayed, and the variable display continues for a predetermined time (for example, 29.2 seconds). If the left lamp is turned on at the end of the variable display, it is a win. Whether or not to win is determined by whether or not the value of the random number extracted when the game ball wins the gate 32 matches a predetermined hit determination value. When the display result of the variable display on the normal symbol display 10 is a win, the variable winning ball apparatus 15 is opened for a predetermined number of times for a predetermined time so that the game ball is likely to win. That is, the state of the variable winning ball device 15 changes from a disadvantageous state to a player's advantageous state when the normal symbol is a winning symbol.

さらに、特別遊技状態としての確変状態では、普通図柄表示器１０における停止図柄が当り図柄になる確率が高められるとともに、可変入賞球装置１５の開放時間と開放回数とのうちの一方または双方が高められ、遊技者にとってさらに有利になる。また、確変状態等の所定の状態では、普通図柄表示器１０における可変表示期間（変動時間）が短縮されることによって、遊技者にとってさらに有利になるようにしてもよい。   Furthermore, in the probability variation state as the special game state, the probability that the stop symbol in the normal symbol display 10 becomes a winning symbol is increased, and one or both of the opening time and the number of times of opening of the variable winning ball device 15 are increased. And more advantageous for the player. Further, in a predetermined state such as a probability change state, the variable display period (fluctuation time) in the normal symbol display 10 may be shortened, which may be more advantageous for the player.

遊技盤６には、複数の入賞口２９，３０，３３，３９が設けられ、遊技球の入賞口２９，３０，３３，３９への入賞は、それぞれ入賞口スイッチによって検出される。遊技領域７の左右周辺には、遊技中に点滅表示される飾りランプ２５が設けられ、下部には、入賞しなかった打球を吸収するアウト口２６がある。また、遊技領域７の外側の左右上部には、効果音や音声を発する２つのスピーカ２７が設けられている。遊技領域７の外周には、天枠ランプ２８ａ、左枠ランプ２８ｂおよび右枠ランプ２８ｃが設けられている。   The game board 6 is provided with a plurality of winning holes 29, 30, 33, 39, and winning of game balls to the winning holes 29, 30, 33, 39 is detected by a winning hole switch. Around the left and right sides of the game area 7, there are provided decorative lamps 25 that are blinked and displayed during the game, and at the bottom there is an out mouth 26 that absorbs the hit ball that has not won. In addition, two speakers 27 that emit sound effects and sounds are provided on the left and right upper portions outside the game area 7. On the outer periphery of the game area 7, a top frame lamp 28a, a left frame lamp 28b, and a right frame lamp 28c are provided.

そして、この例では、左枠ランプ２８ｂの近傍に、賞球残数があるときに点灯する賞球ランプ５１が設けられ、右枠ランプ２８ｃの近傍に、補給球が切れたときに点灯する球切れランプ５２が設けられている。   In this example, a prize ball lamp 51 that is turned on when there is a remaining number of prize balls is provided in the vicinity of the left frame lamp 28b, and a ball that is turned on when the supply ball is cut out in the vicinity of the right frame lamp 28c. A cut lamp 52 is provided.

打球発射装置から発射された遊技球は、打球レールを通って遊技領域７に入り、その後、遊技領域７を下りてくる。打球が始動入賞口１４に入り始動口スイッチで検出されると、図柄の可変表示を開始できる状態であれば、可変表示装置９において特別図柄が可変表示（変動）を始める。図柄の可変表示を開始できる状態でなければ、始動入賞記憶数を１増やす。   The game balls launched from the hit ball launching device enter the game area 7 through the hit ball rail, and then descend the game area 7. When the hit ball enters the start winning opening 14 and is detected by the start opening switch, if the variable display of the symbol can be started, the variable display device 9 starts the variable display (variation) of the special symbol. If it is not in a state where the variable display of symbols can be started, the start winning memory number is increased by one.

可変表示装置９における特別図柄の可変表示は、一定時間が経過したときに停止する。停止時の特別図柄の組み合わせが大当り図柄（特定表示態様）であると、大当り遊技状態に移行する。すなわち、開閉板２０が、一定時間経過するまで、または、所定個数（例えば１０個）の打球が入賞するまで開放する。そして、開閉板２０の開放中に打球がＶ入賞領域に入賞しＶ入賞スイッチで検出されると、継続権が発生し開閉板２０の開放が再度行われる。継続権の発生は、所定回数（例えば１５ラウンド）許容される。   The variable display of the special symbol on the variable display device 9 stops when a certain time has elapsed. If the combination of the special symbols at the time of the stop is a jackpot symbol (specific display mode), the game shifts to a jackpot gaming state. That is, the opening / closing plate 20 is opened until a predetermined time elapses or a predetermined number (for example, 10) of hit balls wins. When the hit ball enters the V winning area while the opening / closing plate 20 is opened and is detected by the V winning switch, the right to continue is generated and the opening / closing plate 20 is opened again. The generation of the continuation right is allowed a predetermined number of times (for example, 15 rounds).

停止時の可変表示装置９における特別図柄の組み合わせが確率変動を伴う大当り図柄（確変図柄）の組み合わせである場合には、次に大当りとなる確率が高くなる。すなわち、確変状態という遊技者にとってさらに有利な状態（特別遊技状態）となる。   When the combination of special symbols in the variable display device 9 at the time of stopping is a combination of jackpot symbols (probability variation symbols) with probability fluctuations, the probability of the next jackpot increases. That is, it becomes a more advantageous state (special game state) for the player, which is a probable change state.

図１９に示すような遊技機において、可変表示装置９におけるムービー画像などの表示制御を画像処理装置１００によって行うようにすればよい。遊技機においては、図柄を可変表示する可変表示装置９の表示制御は、例えば、遊技機に設けられている演出制御基板に搭載されている演出制御手段によって行われる。従って、この演出制御手段の機能に、上述したＣＰＵ１０１の機能を追加するようにすればよい。この場合、ムービー画像により、リーチ演出、大当り演出、予告演出などを行うことが考えられる。   In the gaming machine as shown in FIG. 19, display control of a movie image or the like on the variable display device 9 may be performed by the image processing device 100. In the gaming machine, the display control of the variable display device 9 for variably displaying the symbols is performed by, for example, effect control means mounted on an effect control board provided in the game machine. Therefore, the function of the CPU 101 described above may be added to the function of the effect control means. In this case, it is conceivable to perform a reach effect, a jackpot effect, a notice effect, or the like using a movie image.

次に、遊技機の他の一例であるスロット機（スロットマシン）の全体の構成について説明する。図２０はスロット機を正面からみた正面図である。   Next, an overall configuration of a slot machine (slot machine) which is another example of the gaming machine will be described. FIG. 20 is a front view of the slot machine as seen from the front.

図２０に示すように、スロット機５００は、中央付近に遊技パネル５０１が着脱可能に取り付けられている。また、遊技パネル５０１の前面の中央付近には、複数種類の図柄が可変表示される可変表示装置５０２が設けられている。この実施の形態では、可変表示装置５０２には、「左」、「中」、「右」の３つの図柄表示エリアがあり、各図柄表示エリアに対応してそれぞれ図柄表示リール５０２ａ，５０２ｂ，５０２ｃが設けられている。   As shown in FIG. 20, in the slot machine 500, a game panel 501 is detachably attached near the center. In addition, a variable display device 502 for variably displaying a plurality of types of symbols is provided near the center of the front surface of the game panel 501. In this embodiment, the variable display device 502 has three symbol display areas of “left”, “middle”, and “right”, and the symbol display reels 502a, 502b, and 502c correspond to the symbol display areas, respectively. Is provided.

遊技パネル５０１の下部には、遊技者が各種の操作を行うための各種入力スイッチ等が配される操作テーブル５２０が設けられている。操作テーブル５２０の奥側には、コインを１枚ずつＢＥＴする（かける）ためのＢＥＴスイッチ５２１、１ゲームでかけることのできる最高枚数（本例では３枚）ずつコインをＢＥＴするためのＭＡＸＢＥＴスイッチ５２２、精算スイッチ５２３、及びコイン投入口５２４が設けられている。コイン投入口５２４に投入されたコインは、図示しない投入コインセンサによって検知される。   Below the game panel 501, an operation table 520 is provided in which various input switches and the like for the player to perform various operations are arranged. On the back side of the operation table 520, a BET switch 521 for betting (putting) coins one by one, and a MAXBET switch 522 for betting coins by the maximum number (three in this example) that can be placed in one game. A settlement switch 523 and a coin insertion slot 524 are provided. Coins inserted into the coin insertion slot 524 are detected by an inserted coin sensor (not shown).

操作テーブル５２０の手前側には、スタートスイッチ５２５、左リールストップスイッチ５２６ａ、中リールストップスイッチ５２６ｂ、右リールストップスイッチ５２６ｃ及びコイン詰まり解消スイッチ５２７が設けられている。操作テーブル５２０の手前左右には、それぞれランプ５２８ａ，５２８ｂが設けられている。操作テーブル５２０の下部には、効果音等を出力するスピーカ５３０が設けられている。   On the front side of the operation table 520, a start switch 525, a left reel stop switch 526a, a middle reel stop switch 526b, a right reel stop switch 526c, and a coin jam elimination switch 527 are provided. Lamps 528a and 528b are provided on the left and right sides of the operation table 520, respectively. A speaker 530 for outputting sound effects and the like is provided below the operation table 520.

遊技パネル５０１の上部には、遊技者に遊技方法や遊技状態等を報知する画像表示装置（ＬＣＤ：液晶表示装置）５４０が設けられている。例えば、入賞発生時に、キャラクタが所定動作を行う画像を画像表示装置５４０に表示することで、後述する当選フラグが設定されていることを遊技者に報知する。この例では、画像表示装置５４０は、上述した画像表示装置１２０の機能を備えている。また、画像表示装置５４０の左右には、効果音を発する２つのスピーカ５４１Ｌ，５４１Ｒが設けられている。   On the upper part of the game panel 501, an image display device (LCD: liquid crystal display device) 540 for notifying the player of a game method, a game state, and the like is provided. For example, when a winning occurs, an image in which a character performs a predetermined action is displayed on the image display device 540 to notify the player that a winning flag, which will be described later, is set. In this example, the image display device 540 has the function of the image display device 120 described above. Two speakers 541L and 541R that emit sound effects are provided on the left and right of the image display device 540.

なお、スロット機５００で発生する入賞役には、小役入賞と、リプレイ入賞と、ビッグボーナス入賞と、レギュラーボーナス入賞とがある。スロット機５００では、スタートスイッチ５２５を操作したタイミングで乱数が抽出され、上記いずれかの入賞役による入賞の発生を許容するか否かを決定する。入賞の発生が許容されていることを、「内部当選している」という。内部当選した場合、その旨を示す当選フラグがスロット機５００の内部で設定される。当選フラグが設定された状態でのゲームでは、その当選フラグに対応する入賞役を引き込むことが可能なようにリール５０２ａ〜５０２ｃが制御される。一方、当選フラグが設定されていない状態でのゲームでは、入賞が発生しないようにリール５０２ａ〜５０２ｃが制御される。   The winning combinations generated in the slot machine 500 include a small winning combination, a replay winning, a big bonus winning, and a regular bonus winning. In the slot machine 500, random numbers are extracted at the timing when the start switch 525 is operated, and it is determined whether or not the winning of any winning combination is allowed. The fact that winnings are allowed is said to be “winning internally”. When the internal winning is made, a winning flag indicating that is set in the slot machine 500. In the game with the winning flag set, the reels 502a to 502c are controlled so that the winning combination corresponding to the winning flag can be drawn. On the other hand, in a game in which the winning flag is not set, the reels 502a to 502c are controlled so that no winning occurs.

次に、スロット機により提供されるゲームの概要について説明する。
例えば、コイン投入口５２４からコインが投入されＢＥＴスイッチ５２１又はＭＡＸＢＥＴスイッチ５２２が押下される等してかけ数が設定されると、スタートスイッチ５２５の操作が有効となる。そして、遊技者によってスタートスイッチ５２５が操作されると、可変表示装置５０２に設けられている各図柄表示リール５０２ａ〜５０２ｃが回転を始める。また、スタートスイッチ５２５を操作したタイミングで、レギュラーボーナス入賞又はビッグボーナス入賞が内部当選した場合には、例えば、画像表示装置５４０に所定のキャラクタが所定の動作を行っている画面を表示する等して、内部当選した旨が遊技者等に報知される。 Next, an outline of the game provided by the slot machine will be described.
For example, when a multiplier is set by inserting a coin from the coin insertion slot 524 and pressing the BET switch 521 or the MAXBET switch 522, the operation of the start switch 525 becomes effective. When the player operates the start switch 525, the symbol display reels 502a to 502c provided in the variable display device 502 start rotating. In addition, when a regular bonus prize or a big bonus prize is internally won at the timing when the start switch 525 is operated, for example, a screen on which a predetermined character performs a predetermined action is displayed on the image display device 540. Thus, the player or the like is notified that the internal winning is made.

各図柄表示リール５０２ａ〜５０２ｃが回転を始めてから所定時間が経過すると、各リールストップスイッチ５２６ａ〜５２６ｃの操作が有効となる。この状態で、遊技者が各リールストップスイッチ５２６ａ〜５２６ｃのいずれかを押下すれば、操作されたストップスイッチに対応するリールの回転が停止する。なお、各図柄表示リール５０２ａ〜５０２ｃを停止させずに、所定期間以上放置した場合には、各図柄表示リール５０２ａ〜５０２ｃが自動的に停止する。   When a predetermined time elapses after the symbol display reels 502a to 502c start rotating, the operations of the reel stop switches 526a to 526c become effective. In this state, when the player presses one of the reel stop switches 526a to 526c, the rotation of the reel corresponding to the operated stop switch is stopped. When the symbol display reels 502a to 502c are left for a predetermined period or more without being stopped, the symbol display reels 502a to 502c are automatically stopped.

すべての図柄表示リール５０２ａ〜５０２ｃが停止した時点で、可変表示装置５０２に表示されている各図柄表示リール５０２ａ〜５０２ｃの上段、中段、下段の３段の図柄中、かけ数に応じて定められる有効な入賞ライン上に位置する図柄の組合せによって入賞したか否かが定められる。かけ数が１の場合には、可変表示装置５０２における中段の横１列の入賞ラインのみが有効となる。かけ数が２の場合には、可変表示装置５０２における上段、中段、下段の横３列の入賞ラインが有効となる。かけ数が３の場合には、可変表示装置５０２における横３列と斜め対角線上２列の合計５本の入賞ラインが有効ラインとなる。   When all the symbol display reels 502a to 502c are stopped, the symbol display reels 502a to 502c displayed on the variable display device 502 are determined according to the number of symbols in the upper, middle, and lower three symbols. Whether or not a prize is won is determined by a combination of symbols positioned on a valid winning line. When the multiplying number is 1, only the middle one horizontal winning line in the variable display device 502 is valid. When the multiplying number is 2, the three rows of winning lines in the upper, middle, and lower rows in the variable display device 502 are valid. When the number of multiplications is 3, a total of five pay lines of three horizontal rows and two diagonal diagonal lines in the variable display device 502 are effective lines.

有効ライン上の図柄の組合せが、予め定められた特定の表示態様となって入賞が発生した場合には、音、光、画像表示装置５４０の表示等によって所定の遊技演出がなされ、入賞の発生に応じたゲームが開始される。   When a combination of symbols on the active line becomes a specific display mode determined in advance and a winning occurs, a predetermined game effect is made by sound, light, display on the image display device 540, etc. The game according to is started.

スロット機５００では、スロット機５００に搭載されている演出制御手段が、スロット機５００に設けられている画像表示装置５４０の表示制御を行う。従って、この演出制御手段の機能に、上述したＣＰＵ１０１の機能を追加するようにすればよい。画像表示装置５４０には、演出制御手段の制御によって、飾り図柄の変動表示や、遊技状態や遊技方法を報知するための表示等の様々な情報が表示される。そのような、飾り図柄の変動表示や、遊技状態や遊技方法を報知するための表示等の様々な情報の表示をムービー画像により行い、そのムービー画像の表示制御を画像処理装置１００によって行うようにすればよい。   In the slot machine 500, the effect control means mounted in the slot machine 500 performs display control of the image display device 540 provided in the slot machine 500. Therefore, the function of the CPU 101 described above may be added to the function of the effect control means. The image display device 540 displays various kinds of information such as a decorative pattern change display and a display for notifying a game state and a game method under the control of the effect control means. Various information such as a decorative symbol display, a display for notifying a game state and a game method, and the like are displayed by a movie image, and display control of the movie image is performed by the image processing apparatus 100. do it.

本発明は、ＩＰ圧縮動画データとＩＰＢ圧縮動画データとを混在して演出に使用する画像処理装置において、動画再生制御における伸長処理の実行タイミングの管理を容易にするために有用である。   INDUSTRIAL APPLICABILITY The present invention is useful for facilitating management of the execution timing of decompression processing in moving image reproduction control in an image processing apparatus that uses both IP compressed moving image data and IPB compressed moving image data for production.

本発明の一実施の形態における画像処理装置の例を示すブロック図である。It is a block diagram which shows the example of the image processing apparatus in one embodiment of this invention. ＣＧＲＯＭに記憶されているムービーデータの例を示す説明図である。It is explanatory drawing which shows the example of the movie data memorize | stored in CGROM. 表示制御データの内容の例を示す説明図である。It is explanatory drawing which shows the example of the content of display control data. フレームバッファの例を示す説明図である。It is explanatory drawing which shows the example of a frame buffer. ＣＰＵによって実行されるＶブランク割込処理の例を示すフローチャートである。It is a flowchart which shows the example of the V blank interruption process performed by CPU. ＧＣＬによって実行される画像展開処理の例を示すフローチャートである。It is a flowchart which shows the example of the image expansion process performed by GCL. ＧＣＬによって実行される画像表示処理の例を示すフローチャートである。It is a flowchart which shows the example of the image display process performed by GCL. ＩＰムービーデータにもとづくムービー画像が再生表示されるときの各ピクチャの展開タイミングと表示タイミングの例を示す説明図である。It is explanatory drawing which shows the example of the expansion | deployment timing and display timing of each picture when the movie image based on IP movie data is reproduced and displayed. ＩＰムービーデータが処理されるときのフレームバッファの格納状態の例を示す説明図である。It is explanatory drawing which shows the example of the storage state of a frame buffer when IP movie data is processed. 図１０（Ａ）は本例のＩＰＢムービーデータにもとづくムービー画像が再生表示されるときの各ピクチャの展開タイミングと表示タイミングの例を示す説明図である。図１０（Ｂ）は従来のＩＰＢムービーデータにもとづくムービー画像が再生表示されるときの各ピクチャの展開タイミングと表示タイミングの例を示す説明図である。FIG. 10A is an explanatory diagram showing an example of the development timing and display timing of each picture when a movie image based on the IPB movie data of this example is reproduced and displayed. FIG. 10B is an explanatory diagram showing an example of the development timing and display timing of each picture when a movie image based on conventional IPB movie data is reproduced and displayed. ＩＰＢムービーデータが処理されるときのフレームバッファの格納状態の例を示す説明図である。It is explanatory drawing which shows the example of the storage state of a frame buffer when IPB movie data is processed. ＩＰＢムービーデータにもとづくムービー画像が再生表示されるときの各ピクチャの展開タイミングと表示タイミングの他の例を示す説明図である。It is explanatory drawing which shows the other example of the expansion | deployment timing of each picture, and a display timing when the movie image based on IPB movie data is reproduced and displayed. ＩＰＢムービーデータが処理されるときのフレームバッファの格納状態の他の例を示す説明図である。It is explanatory drawing which shows the other example of the storage state of a frame buffer when IPB movie data is processed. 表示制御データの内容の他の例を示す説明図である。It is explanatory drawing which shows the other example of the content of display control data. 図１５（Ａ）は最後の伸長順番となっているピクチャがＢピクチャとなっているＩＰＢムービーデータを最後の表示順番のピクチャを表示しないで再生表示するときの伸長タイミングと表示タイミングの例を示すタイミング図である。図１５（Ｂ）は最後の伸長順番となっているピクチャがＢピクチャでないＩＰＢムービーデータを最後の表示順番のピクチャを表示しないで再生表示するときの伸長タイミングと表示タイミングの例を示すタイミング図である。FIG. 15A shows an example of decompression timing and display timing when IPB movie data in which the last decompression order picture is a B picture is reproduced and displayed without displaying the last display order picture. It is a timing diagram. FIG. 15B is a timing diagram showing an example of expansion timing and display timing when IPB movie data in which the last expansion order picture is not a B picture is reproduced and displayed without displaying the last display order picture. is there. ＩＰＢムービーデータを再生するために用いられる表示制御データの例を示す説明図である。It is explanatory drawing which shows the example of the display control data used in order to reproduce | regenerate IPB movie data. ＩＰムービーデータを再生するために用いられる表示制御データの例を示す説明図である。It is explanatory drawing which shows the example of the display control data used in order to reproduce | regenerate IP movie data. ＩＰＢムービーデータを再生するために用いられる表示制御データの他の例を示す説明図である。It is explanatory drawing which shows the other example of the display control data used in order to reproduce | regenerate IPB movie data. パチンコ遊技機を正面からみた正面図である。It is the front view which looked at the pachinko game machine from the front. スロットマシンを正面からみた正面図である。FIG. 4 is a front view of the slot machine as viewed from the front.

符号の説明Explanation of symbols

１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ（制御ＲＯＭ）
１０３ ＲＡＭ
１０４ ＧＣＬ
１０５ ＣＧＲＯＭ（画像ＲＯＭ）
１０６ ＳＤＲＡＭ（ＶＲＡＭ）
１０７ パレットバッファ
１０８ ＣＧデータバッファ
１０９ 描画制御部
１１０ 表示信号制御部
１１１ 動画伸長部
１２０ 画像表示装置 100 Image processing apparatus 101 CPU
102 ROM (control ROM)
103 RAM
104 GCL
105 CGROM (image ROM)
106 SDRAM (VRAM)
DESCRIPTION OF SYMBOLS 107 Palette buffer 108 CG data buffer 109 Drawing control part 110 Display signal control part 111 Movie expansion | extension part 120 Image display apparatus

Claims (7)

所定の圧縮方式でデータ圧縮された複数の圧縮画像データを含む圧縮動画データにもとづく動画像を画像表示手段に再生表示するための画像処理を行う画像処理装置であって、
双方向予測符号化により圧縮された双方向圧縮画像データを含む第１圧縮動画データと、前記双方向圧縮画像データを含まない第２圧縮動画データとを含む複数の圧縮動画データを記憶する圧縮動画データ記憶手段と、
あらかじめ定められているフレーム期間毎に、圧縮動画データにもとづく動画像を再生表示させるための制御情報を設定する制御情報設定手段と、
該制御情報設定手段によって設定された制御情報にもとづいて、前記圧縮動画データを順次伸長して当該圧縮動画データにもとづく動画像を再生する動画像再生手段と、を備え、
該動画像再生手段は、
前記制御情報設定手段により設定された制御情報に含まれる伸長指示に応じて、前記圧縮動画データに含まれている圧縮画像データを、あらかじめ定められている伸長順番で伸長する伸長処理を行う伸長処理手段と、
前記制御情報設定手段により設定された前記制御情報に含まれる表示指示に応じて、前記伸長処理手段により伸長された画像データにもとづく画像を、あらかじめ定められた表示順番に従って前記フレーム期間毎に前記画像表示手段に順次表示することで、前記圧縮動画データにもとづく動画像を再生表示する再生表示処理を行う再生表示処理手段と、を含み、
前記制御情報設定手段は、
動画像の再生表示を開始させる際に設定する最初の制御情報にて動画像の再生表示に用いる圧縮動画データを指定するとともに、該圧縮動画データを指定した前記最初の制御情報を設定したフレーム期間から前記伸長指示を開始し、
前記伸長指示を開始した制御情報を設定したフレーム期間の次のフレーム期間から前記表示指示を開始し、
前記最初の制御情報にて指定した圧縮動画データが前記第１圧縮動画データであったときは、双方向圧縮画像データの伸長を指示するための伸長指示が最初になされるフレーム期間以前のフレーム期間に設定する制御情報にて、複数回の伸長指示を行い、
前記動画像再生手段により前記第１圧縮動画データにもとづく動画像の再生が行われたあと続けて圧縮動画データにもとづく動画像が再生されるときには、先の再生に用いられる第１圧縮動画データにもとづく動画像における表示順番が最後となる最終表示予定画像が表示されるべきフレーム期間の前のフレーム期間にて、後の再生に用いられる圧縮動画データにもとづく動画像における表示順番が最初となる最先表示画像の伸長指示を含む制御情報の設定を行い、前記最終表示予定画像が表示されるべきフレーム期間にて、当該最終表示予定画像の表示指示を含む制御情報の設定を行うことなく、後の再生に用いられる圧縮動画データにもとづく動画像における前記最先表示画像の表示指示を含む制御情報の設定を行い、
前記動画像再生手段は、
前記制御情報設定手段によって設定された制御情報にもとづいて、先の再生に用いられる第１圧縮動画データにもとづく動画像における表示順番が前記最終表示予定画像の１つ前となる画像を当該第１圧縮動画データにもとづく動画像の最終画像として表示し、該最終画像を表示したフレーム期間の次のフレーム期間である前記最終表示予定画像が表示されるべきフレーム期間にて前記最先表示画像を表示し、
前記伸長処理手段は、
前記動画像再生手段により前記第１圧縮動画データにもとづく動画像の再生が行われたあと続けて圧縮動画データにもとづく動画像が再生されるときには、先の再生に用いられる第１圧縮動画データにもとづく動画像における最終表示予定画像を示す画像データを、当該第１圧縮動画データにもとづく動画像における他の画像を示す圧縮画像データの伸長処理に使用する
ことを特徴とする画像処理装置。 An image processing apparatus that performs image processing for reproducing and displaying a moving image based on compressed moving image data including a plurality of compressed image data that has been compressed by a predetermined compression method on an image display means,
Compressed moving image storing a plurality of compressed moving image data including first compressed moving image data including bidirectional compressed image data compressed by bidirectional predictive coding and second compressed moving image data not including the bidirectional compressed image data Data storage means;
Control information setting means for setting control information for reproducing and displaying a moving image based on compressed video data for each predetermined frame period;
A moving image reproducing unit that sequentially expands the compressed moving image data and reproduces a moving image based on the compressed moving image data based on the control information set by the control information setting unit;
The moving image reproducing means includes
Decompression processing for performing decompression processing for decompressing compressed image data included in the compressed moving image data in a predetermined decompression order in response to an decompression instruction included in the control information set by the control information setting unit Means,
In response to a display instruction included in the control information set by the control information setting unit, an image based on the image data expanded by the expansion processing unit is displayed for each frame period according to a predetermined display order. Replay display processing means for performing replay display processing for replaying and displaying a moving image based on the compressed moving image data by sequentially displaying on the display means,
The control information setting means includes
A frame period in which the compressed video data used for the playback and display of the moving image is specified by the first control information set when starting the playback and display of the moving image, and the first control information specifying the compressed moving image data is set The extension instruction is started from
The display instruction is started from the frame period next to the frame period in which the control information for starting the extension instruction is set,
When the compressed moving image data specified by the first control information is the first compressed moving image data, the frame period before the frame period in which the expansion instruction for instructing expansion of the bidirectional compressed image data is first made With the control information set to
When a moving image based on the compressed moving image data is reproduced after the moving image is reproduced based on the first compressed moving image data by the moving image reproducing means, the first compressed moving image data used for the previous reproduction is reproduced. In the frame period before the frame period in which the final display scheduled image in which the display order in the original moving image is last is to be displayed, the display order in the moving image based on the compressed moving image data used for later playback is the first. After setting the control information including the instruction to decompress the previous display image, and without setting the control information including the instruction to display the final display scheduled image in the frame period in which the final display planned image is to be displayed, Setting of control information including an instruction to display the earliest display image in a moving image based on compressed video data used for playback of
The moving image reproduction means includes
Based on the control information set by the control information setting means, an image whose display order in the moving image based on the first compressed moving image data used for the previous playback is one before the final display scheduled image is the first image. Display as the final image of the moving image based on the compressed moving image data, and display the earliest display image in the frame period in which the final display scheduled image that is the frame period next to the frame period in which the final image is displayed And
The extension processing means includes:
When a moving image based on the compressed moving image data is reproduced after the moving image is reproduced based on the first compressed moving image data by the moving image reproducing means, the first compressed moving image data used for the previous reproduction is reproduced. An image processing apparatus, wherein image data indicating a final scheduled display image in a moving image based on the image data is used for decompression processing of compressed image data indicating another image in the moving image based on the first compressed moving image data. 伸長処理手段は、伸長処理にて、圧縮画像データを伸長した画像データを複数のフレームバッファのいずれかに記憶させるフレームバッファ記憶処理を行い、
制御情報設定手段により設定された制御情報にて指定された動画像の再生表示に用いる圧縮動画データが第１圧縮動画データであるか第２圧縮動画データであるかに応じて前記伸長処理で用いるフレームバッファの数を決定するフレームバッファ数決定手段を備え、
前記フレームバッファ数決定手段は、第１圧縮動画データであったときは、第２圧縮動画データであったときよりも多い数に決定する
請求項１記載の画像処理装置。 The decompression processing means performs a frame buffer storage process for storing the image data obtained by decompressing the compressed image data in any of a plurality of frame buffers in the decompression process,
Used in the decompression process depending on whether the compressed moving image data used for reproducing and displaying the moving image designated by the control information set by the control information setting means is the first compressed moving image data or the second compressed moving image data. Frame buffer number determining means for determining the number of frame buffers;
The image processing apparatus according to claim 1, wherein the frame buffer number determination unit determines the number of first compressed moving image data to be larger than that of second compressed moving image data. 伸長処理手段は、伸長処理にて、圧縮画像データを伸長した画像データを複数のフレームバッファのいずれかに記憶させるフレームバッファ記憶処理を行い、
制御情報設定手段により設定された制御情報にて指定された動画像の再生表示に用いる圧縮動画データにもとづく当該動画像における画像サイズを判別し、判別結果に応じたサイズの記憶領域をフレームバッファとして設定するフレームバッファ設定手段を備えた
請求項１または請求項２記載の画像処理装置。 The decompression processing means performs a frame buffer storage process for storing the image data obtained by decompressing the compressed image data in any of a plurality of frame buffers in the decompression process,
The image size in the moving image is determined based on the compressed moving image data used for reproducing and displaying the moving image specified by the control information set by the control information setting means, and the storage area of the size corresponding to the determination result is used as a frame buffer. The image processing apparatus according to claim 1, further comprising a frame buffer setting unit for setting. 制御情報設定手段は、所定のフレーム期間において設定した制御情報にて伸長指示を行ったあと、伸長処理手段が該伸長指示に応じて実行している伸長処理が終了する前に該フレーム期間が終了したときは、次のフレーム期間に設定する制御情報おいて前記所定のフレーム期間と同一の画像データにもとづく画像を表示させる表示指示を行う
請求項１から請求項３のうちいずれかに記載の画像処理装置。 The control information setting means performs the decompression instruction with the control information set in the predetermined frame period, and then ends the frame period before the decompression processing executed by the decompression processing means in response to the decompression instruction is completed. The display instruction to display an image based on the same image data as the predetermined frame period in the control information set in the next frame period is performed. Processing equipment. 最終表示予定画像は、表示順番が当該最終表示予定画像の１つ前となる画像と同一の画像である
請求項１から請求項４のうちいずれかに記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 4, wherein the final display scheduled image is the same image as an image whose display order is one before the final display planned image. 圧縮動画データは、該圧縮動画データにもとづく動画における表示物の移動速度が速い部分に、表示物の移動速度が遅い部分と比較してフレーム内符号化により圧縮されたフレーム内圧縮画像データを多く用いたデータ構造とされた部分を含む
請求項１から請求項５のうちいずれかに記載の画像処理装置。 Compressed video data includes a larger amount of intra-frame compressed image data compressed by intra-frame coding in a moving image based on the compressed moving image data than in a portion where the moving speed of the displayed object is high compared to a portion where the moving speed of the display object is slow. The image processing apparatus according to claim 1, comprising a portion having a data structure used. 伸長処理手段は、伸長処理にて、圧縮画像データを伸長した画像データを複数のフレームバッファのいずれかに記憶させるフレームバッファ記憶処理を行い、
スプライト画像を表示するためのスプライト画像データを記憶するスプライト画像データ記憶手段と、
制御情報設定手段により設定された制御情報に含まれる画像合成指示に応じて、再生表示処理手段によって圧縮動画データにもとづく動画像の再生表示処理が実行される際に、前記スプライト画像データ記憶手段からスプライト画像データを読み出してスプライト画像を生成し、前記圧縮動画データにもとづく動画像における各画像上に前記スプライト画像を順次合成する合成画像生成手段と、を備え、
前記制御情報設定手段は、１フレーム期間毎に前記画像合成指示を含む制御情報を設定し、２フレーム期間毎に伸長指示を含む制御情報を設定する
請求項１から請求項６のうちいずれかに記載の画像処理装置。 The decompression processing means performs a frame buffer storage process for storing the image data obtained by decompressing the compressed image data in any of a plurality of frame buffers in the decompression process,
Sprite image data storage means for storing sprite image data for displaying a sprite image;
From the sprite image data storage unit, when the reproduction display processing unit executes the moving image reproduction display processing based on the compressed moving image data in accordance with the image synthesis instruction included in the control information set by the control information setting unit. A sprite image is generated by reading out the sprite image data, and the sprite image is sequentially synthesized on each image in the moving image based on the compressed moving image data,
The control information setting means sets control information including the image composition instruction every frame period, and sets control information including an extension instruction every two frame periods. The image processing apparatus described.
JP2005167396A 2005-06-07 2005-06-07 Image processing device Expired - Fee Related JP4494292B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005167396A JP4494292B2 (en) 2005-06-07 2005-06-07 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005167396A JP4494292B2 (en) 2005-06-07 2005-06-07 Image processing device

Publications (2)

Publication Number Publication Date
JP2006345107A JP2006345107A (en) 2006-12-21
JP4494292B2 true JP4494292B2 (en) 2010-06-30

Family

ID=37641743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005167396A Expired - Fee Related JP4494292B2 (en) 2005-06-07 2005-06-07 Image processing device

Country Status (1)

Country Link
JP (1) JP4494292B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011104185A (en) * 2009-11-19 2011-06-02 Daito Giken:Kk Game machine

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537913A (en) * 1991-08-01 1993-02-12 Sony Corp Image data transmitting method, recording medium and image reproducing device
JPH06113265A (en) * 1992-09-25 1994-04-22 Fujitsu Ltd Motion compensation predicting unit
JPH0818953A (en) * 1994-07-01 1996-01-19 Hitachi Ltd Dynamic picture decoding display device
JPH11168698A (en) * 1997-12-05 1999-06-22 Matsushita Electric Ind Co Ltd Method and device for reproduction
JP2000032456A (en) * 1998-07-15 2000-01-28 Nippon Telegr & Teleph Corp <Ntt> Dynamic image coding method using sprite coding, decoding method, coder, decoder, dynamic image coding program and recording medium with dynamic image decoding program recorded therein
JP2001177829A (en) * 1999-12-16 2001-06-29 Sony Corp Method for reproducing moving picture data and moving picture data reproducing device
JP2002016926A (en) * 2000-06-28 2002-01-18 Nippon Telegr & Teleph Corp <Ntt> Sprite-encoded data transmission method, sprite encoder, sprite-encoded data decoder and storage medium
JP2003320116A (en) * 2002-04-30 2003-11-11 Sankyo Kk Game machine and performance image reproduction method
JP2004048206A (en) * 2002-07-10 2004-02-12 Matsushita Electric Ind Co Ltd Video reproducing method and video reproducing apparatus
JP2004112769A (en) * 2002-08-29 2004-04-08 Sony Corp Device and method for controlling decoding, device and method for processing information, and program
JP2004321569A (en) * 2003-04-25 2004-11-18 Sankyo Kk Game machine
WO2005120078A1 (en) * 2004-06-02 2005-12-15 Matsushita Electric Industrial Co. Ltd. Seamless switching between random access units multiplexed in a multi angle view multimedia stream

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537913A (en) * 1991-08-01 1993-02-12 Sony Corp Image data transmitting method, recording medium and image reproducing device
JPH06113265A (en) * 1992-09-25 1994-04-22 Fujitsu Ltd Motion compensation predicting unit
JPH0818953A (en) * 1994-07-01 1996-01-19 Hitachi Ltd Dynamic picture decoding display device
JPH11168698A (en) * 1997-12-05 1999-06-22 Matsushita Electric Ind Co Ltd Method and device for reproduction
JP2000032456A (en) * 1998-07-15 2000-01-28 Nippon Telegr & Teleph Corp <Ntt> Dynamic image coding method using sprite coding, decoding method, coder, decoder, dynamic image coding program and recording medium with dynamic image decoding program recorded therein
JP2001177829A (en) * 1999-12-16 2001-06-29 Sony Corp Method for reproducing moving picture data and moving picture data reproducing device
JP2002016926A (en) * 2000-06-28 2002-01-18 Nippon Telegr & Teleph Corp <Ntt> Sprite-encoded data transmission method, sprite encoder, sprite-encoded data decoder and storage medium
JP2003320116A (en) * 2002-04-30 2003-11-11 Sankyo Kk Game machine and performance image reproduction method
JP2004048206A (en) * 2002-07-10 2004-02-12 Matsushita Electric Ind Co Ltd Video reproducing method and video reproducing apparatus
JP2004112769A (en) * 2002-08-29 2004-04-08 Sony Corp Device and method for controlling decoding, device and method for processing information, and program
JP2004321569A (en) * 2003-04-25 2004-11-18 Sankyo Kk Game machine
WO2005120078A1 (en) * 2004-06-02 2005-12-15 Matsushita Electric Industrial Co. Ltd. Seamless switching between random access units multiplexed in a multi angle view multimedia stream

Also Published As

Publication number Publication date
JP2006345107A (en) 2006-12-21

Similar Documents

Publication Publication Date Title
JP5229976B2 (en) Game machine
JP2007000286A (en) Game machine
JP5229974B2 (en) Game machine
JP2007000289A (en) Game machine
JP2007000288A (en) Game machine
JP2005152354A (en) Game machine
JP2005124942A (en) Game machine
JP4604475B2 (en) Game machine
JP4494295B2 (en) Image processing device
JP4624854B2 (en) Image processing device
JP4528515B2 (en) Game machine
JP5512838B2 (en) Game machine
JP4494292B2 (en) Image processing device
JP5229975B2 (en) Game machine
JP4624855B2 (en) Image processing device
JP4494293B2 (en) Image processing device
JP4494294B2 (en) Image processing device
JP4494291B2 (en) Image processing device
JP4624863B2 (en) Image processing device
JP3971733B2 (en) Game machine
JP5230026B2 (en) Game machine
JP4217149B2 (en) Game machine
JP5230028B2 (en) Game machine
JP5230027B2 (en) Game machine
JP5512839B2 (en) Game machine

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100407

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140416

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees