JP4668051B2 - Movie generation device, movie generation method, and program - Google Patents

Movie generation device, movie generation method, and program Download PDF

Info

Publication number
JP4668051B2
JP4668051B2 JP2005351007A JP2005351007A JP4668051B2 JP 4668051 B2 JP4668051 B2 JP 4668051B2 JP 2005351007 A JP2005351007 A JP 2005351007A JP 2005351007 A JP2005351007 A JP 2005351007A JP 4668051 B2 JP4668051 B2 JP 4668051B2
Authority
JP
Japan
Prior art keywords
image
moving image
picture
still image
still
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005351007A
Other languages
Japanese (ja)
Other versions
JP2007156823A (en
Inventor
明 日野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005351007A priority Critical patent/JP4668051B2/en
Publication of JP2007156823A publication Critical patent/JP2007156823A/en
Application granted granted Critical
Publication of JP4668051B2 publication Critical patent/JP4668051B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画生成装置、動画生成方法、及びプログラムに関する。特に本発明は、静止画から動画を生成する動画生成装置及び動画生成方法、並びに、動画生成装置用のプログラムに関する。   The present invention relates to a moving image generating apparatus, a moving image generating method, and a program. In particular, the present invention relates to a moving image generation device and a moving image generation method for generating a moving image from a still image, and a program for the moving image generation device.

顧客から提供された複数の静止画像データから動画データを生成して記録するシステムにおいて、静止画像データに静止画の切り替わりを示す差分データを付加することによって、静止画が切り替わってゆく動画データを生成するシステムが知られている(例えば、特許文献1参照。)。この技術によって、ユーザはDVDプレーヤーのような家庭用動画再生機器でも、パソコン等のコンピュータ端末でも、簡単に写真画像を閲覧することができる。
特開2003−259303号公報
In a system that generates and records moving image data from multiple still image data provided by customers, it generates moving image data in which still images are switched by adding difference data indicating still image switching to the still image data. The system which performs is known (for example, refer patent document 1). With this technology, a user can easily browse a photographic image using a home video playback device such as a DVD player or a computer terminal such as a personal computer.
JP 2003-259303 A

しかし、特許文献1には、画像の切り替わりを示す動画を効率的に生成する具体的な技術について開示されていない。例えば、特許文献1には、静止画上のオブジェクトの移動、拡大・縮小、回転、色調の変化、静止画のフェードイン・フェードアウト、静止画に対するモザイク表示等、静止画の移り変わりを示す動画データを効率的に生成する具体的な技術については開示されていない。   However, Patent Document 1 does not disclose a specific technique for efficiently generating a moving image indicating image switching. For example, in Patent Document 1, moving image data indicating transition of a still image, such as movement, enlargement / reduction, rotation, change in color tone, fade-in / fade-out of a still image, and mosaic display for a still image, is disclosed in Patent Document 1. A specific technique for efficiently generating is not disclosed.

そこで本発明は、上記の課題を解決することができる動画生成装置、動画生成方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。   Then, an object of this invention is to provide the moving image production | generation apparatus, moving image production | generation method, and program which can solve said subject. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.

本発明の第1の形態によると、複数の静止画が移り変わる動画を生成する動画生成装置であって、動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得部と、トランジションデータ取得部が取得したトランジションデータに基づいて、第1静止画及び第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が第1静止画から第2静止画へ移り変わる動画を生成する動画生成部とを備え、動画生成部は、第1静止画及び第2静止画にDCT変換を施して、第1静止画及び第2静止画に含まれる複数の部分領域のDCT係数を算出するDCT変換部と、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する動画構成画像生成部とを有する。   According to the first aspect of the present invention, there is provided a moving image generating apparatus that generates a moving image in which a plurality of still images change, and how an image in a predetermined display area in the moving image is transferred from the first still image to the second still image. Based on the transition data acquired by the transition data acquisition unit that acquires transition data indicating whether to change, and the transition data acquisition unit, a plurality of moving image composition images are generated from the first still image and the second still image, and generated A moving image generating unit that generates a moving image in which an image of a predetermined display area including the plurality of moving image composing images changes from the first still image to the second still image, and the moving image generating unit includes the first still image and the second A DCT conversion unit that performs DCT conversion on the still image and calculates DCT coefficients of a plurality of partial regions included in the first still image and the second still image; and a plurality of partial regions of the first still image A moving image composing image that generates a plurality of moving image composing images included in a moving image that changes from the first still image to the second still image, from each DCT coefficient and each DCT coefficient of the plurality of partial regions of the second still image. And a generation unit.

動画構成画像生成部は、第1静止画の部分領域のDCT係数と、第2静止画の部分領域のDCT係数とを、複数の異なる重み付けをして周波数成分毎に加算することにより、複数の動画構成画像を生成してよい。   The moving image composition image generation unit adds a plurality of different weights to the DCT coefficient of the partial region of the first still image and the DCT coefficient of the partial region of the second still image, and adds each of the plurality of frequency components. A moving image constituent image may be generated.

動画構成画像生成部は、第1静止画の部分領域のDCT係数の重みが徐々に小さくなり、第2静止画の部分領域のDCT係数の重みが徐々に大きくなる、複数の動画構成画像を生成してよい。   The moving image component image generation unit generates a plurality of moving image component images in which the DCT coefficient weight of the first still image partial area gradually decreases and the DCT coefficient weight of the second still image partial area gradually increases. You can do it.

動画生成部は、トランジションデータ取得部が取得したトランジションデータに含まれる、第1静止画から第2静止画への変化時間に基づいて、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像の数を算出する動画構成画像数算出部をさらに有し、動画構成画像生成部は、動画構成画像数算出部が算出した数の動画構成画像のそれぞれにおける第1静止画の部分領域のDCT係数の重み及び第2静止画の部分領域のDCT係数の重みを算出してよい。   The moving image generation unit is included in the moving image that changes from the first still image to the second still image based on the change time from the first still image to the second still image included in the transition data acquired by the transition data acquisition unit. A moving image constituent image number calculating unit that calculates the number of moving image composing images is further included, and the moving image composing image generating unit includes the first still image in each of the number of moving image composing images calculated by the moving image constituent image number calculating unit. The weight of the DCT coefficient of the partial area and the weight of the DCT coefficient of the partial area of the second still image may be calculated.

動画生成部は、トランジションデータ取得部が取得したトランジションデータに基づいて、第1静止画及び第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が第1静止画から第2静止画へ移り変わる、MPEG符号化された動画を生成し、DCT変換部は、第1静止画及び第2静止画にDCT変換を施して、第1静止画及び第2静止画に含まれる複数のマクロブロックの大きさの部分領域のDCT係数を算出し、動画構成画像生成部は、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像のマクロブロックのDCT係数を生成してよい。   The moving image generation unit generates a plurality of moving image configuration images from the first still image and the second still image based on the transition data acquired by the transition data acquisition unit, and includes a plurality of generated moving image configuration images. An MPEG-coded moving image is generated in which the image in the display area changes from the first still image to the second still image, and the DCT conversion unit performs DCT conversion on the first still image and the second still image, The DCT coefficients of the partial areas having the size of a plurality of macroblocks included in the still image and the second still image are calculated, and the moving image composition image generation unit calculates the DCT coefficients and the first DCT coefficients of the plurality of partial areas of the first still image. From the DCT coefficients of the plurality of partial areas of the two still images, the DCT coefficients of the macroblocks of the plurality of moving image constituent images included in the moving image that changes from the first still image to the second still image may be generated.

動画生成部は、トランジションデータ取得部が取得したトランジションデータに基づいて、一の動画構成画像における所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、他の動画構成画像に存在するか否かを特定する同一部分領域特定部と、トランジションデータ取得部が取得したトランジションデータに基づいて、同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である他の動画構成画像に含まれる部分領域との間の位置の差を示す動きベクトルを算出する動きベクトル算出部とをさらに有し、動画構成画像生成部は、所定の表示領域のマクロブロックのDCT係数を、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから生成し、同一部分領域が同一の画像内容の部分領域が存在すると判断したマクロブロックを、動きベクトル算出部が算出した動きベクトルで表現することによって動画構成画像を生成してよい。   Based on the transition data acquired by the transition data acquisition unit, the moving image generation unit includes a partial region of the same image content as each of the plurality of macroblocks included in a region other than the predetermined display region in one moving image constituent image. Based on the transition data acquired by the same partial area specifying unit and the transition data acquiring unit that specifies whether or not it exists in another moving image constituent image, the same partial area specifying unit has a partial area having the same image content. A motion vector calculating unit that calculates a motion vector indicating a difference in position between the determined macroblock and a partial area included in another moving image constituent image having the same image content as the macroblock; The moving picture composition image generation unit calculates the DCT coefficient of the macro block in the predetermined display area as that of the plurality of partial areas of the first still image. The motion vector calculation unit calculates a macroblock that is generated from the DCT coefficients and the DCT coefficients of the plurality of partial areas of the second still image and is determined to have partial areas with the same image content. A moving image composing image may be generated by expressing the motion vector.

動画構成画像生成部は、DCT変換部が算出した第1静止画のDCT係数及び第2静止画のDCT係数に基づいて、動画構成画像であるIピクチャを生成するIピクチャ生成部と、トランジションデータ取得部が取得したトランジションデータ及びIピクチャ生成部が生成したIピクチャに基づいて、動画構成画像であるPピクチャを生成するPピクチャ生成部とをさらに含み、同一部分領域特定部は、トランジションデータ取得部が取得したトランジションデータに基づいて、一のPピクチャにおける所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該一のPピクチャより前のタイミングで再生されるIピクチャ生成部が生成したIピクチャ又はPピクチャ生成部が生成したPピクチャに存在するか否かを特定し、動きベクトル算出部は、トランジションデータ取得部が取得したトランジションデータに基づいて、同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容であるIピクチャ生成部が生成したIピクチャ又はPピクチャ生成部が生成したPピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出し、Pピクチャ生成部は、複数のPピクチャにおいて、所定の表示領域に含まれるマクロブロックのDCT係数を、第1静止画のマクロブロックのDCT係数と第2静止画のマクロブロックのDCT係数とを複数の異なる重み付けをして周波数成分毎に加算することによって算出し、同一部分領域がそれぞれのPピクチャより前のタイミングで再生されるIピクチャ又はPピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックを、動きベクトル算出部が算出した動きベクトルで表現することによって、複数のPピクチャを生成してよい。   The moving image composing image generating unit generates an I picture that is a moving image composing image based on the DCT coefficient of the first still image and the DCT coefficient of the second still image calculated by the DCT converting unit, and transition data And a P picture generation unit that generates a P picture that is a moving image constituent image based on the transition data acquired by the acquisition unit and the I picture generated by the I picture generation unit, and the same partial area specifying unit acquires the transition data Based on the transition data acquired by the section, a partial area having the same image content as each of a plurality of macroblocks included in an area other than a predetermined display area in one P picture is a timing before the one P picture. The P picture generated by the I picture generated by the I picture generator or the P picture generated by the P picture generator The motion vector calculation unit determines whether or not the same partial region specifying unit determines that there is a partial region having the same image content based on the transition data acquired by the transition data acquisition unit. And a motion vector indicating a position difference between the I picture generated by the I picture generation unit having the same image content as the macroblock or the partial region included in the P picture generated by the P picture generation unit The P picture generation unit calculates a DCT coefficient of a macroblock included in a predetermined display area, a DCT coefficient of a macroblock of a first still picture, and a DCT coefficient of a macroblock of a second still picture in a plurality of P pictures. Calculate by adding several different weights and adding each frequency component, and the same partial area is assigned to each P picture. Generating a plurality of P pictures by expressing a macro block determined to have a partial region having the same image content in an I picture or P picture reproduced at the previous timing with a motion vector calculated by the motion vector calculation unit You can do it.

動画構成画像生成部は、トランジションデータ取得部が取得したトランジションデータ、Iピクチャ生成部が生成したIピクチャ、及びPピクチャ生成部が生成したPピクチャに基づいて、動画構成画像であるBピクチャを生成するBピクチャ生成部をさらに含み、同一部分領域特定部は、トランジションデータ取得部が取得したトランジションデータに基づいて、一のBピクチャにおける所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該一のBピクチャより前又は後のタイミングで再生されるIピクチャ生成部が生成したIピクチャ又はPピクチャ生成部が生成したPピクチャに存在するか否かを特定し、動きベクトル算出部は、トランジションデータ取得部が取得したトランジションデータに基づいて、同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容であるIピクチャ生成部が生成したIピクチャ又はPピクチャ生成部が生成したPピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出し、Bピクチャ生成部は、複数のBピクチャにおける所定の表示領域に含まれるマクロブロックのDCT係数を、第1静止画のマクロブロックのDCT係数と第2静止画のマクロブロックのDCT係数とを複数の異なる重み付けをして周波数成分毎に加算することによって算出し、同一部分領域がそれぞれのBピクチャより前又は後のタイミングで再生されるIピクチャ又はPピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックの画像を、動きベクトル算出部が算出した動きベクトルで表現することによって、複数のBピクチャを生成してよい。   The video composition image generation unit generates a B picture that is a video composition image based on the transition data acquired by the transition data acquisition unit, the I picture generated by the I picture generation unit, and the P picture generated by the P picture generation unit The same partial region specifying unit further includes a plurality of macroblocks included in a region other than the predetermined display region in one B picture based on the transition data acquired by the transition data acquiring unit. Whether or not a partial region of the same image content exists in an I picture generated by an I picture generation unit that is reproduced at a timing before or after the one B picture or a P picture generated by a P picture generation unit The motion vector calculation unit determines the transition acquired by the transition data acquisition unit. Based on the image data, the same partial area specifying unit determines that there is a partial area having the same image content, and the I picture or P picture generated by the I picture generating unit having the same image content as the macro block. A motion vector indicating a difference in position from the partial area included in the P picture generated by the part, and the B picture generation unit calculates the DCT coefficient of the macroblock included in the predetermined display area in the plurality of B pictures. The DCT coefficient of the macroblock of the first still picture and the DCT coefficient of the macroblock of the second still picture are calculated by adding a plurality of different weights for each frequency component, and the same partial area is a B picture. It is determined that a partial region having the same image content exists in an I picture or P picture that is reproduced at an earlier or later timing. The image of the macroblock, by representing the motion vector the motion vector calculation unit has calculated, may generate a plurality of B-pictures.

本発明の第2の形態によると、複数の静止画が移り変わる動画を生成する動画生成方法であって、動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得段階と、トランジションデータ取得段階において取得されたトランジションデータに基づいて、第1静止画及び第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が第1静止画から第2静止画へ移り変わる動画を生成する動画生成段階とを備え、動画生成段階は、第1静止画及び第2静止画にDCT変換を施して、第1静止画及び第2静止画に含まれる複数の部分領域のDCT係数を算出するDCT変換段階と、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する動画構成画像生成段階とを有する。   According to a second aspect of the present invention, there is provided a moving image generating method for generating a moving image in which a plurality of still images change, and how an image in a predetermined display area in the moving image is transferred from the first still image to the second still image. Based on the transition data acquired in the transition data acquisition stage for acquiring transition data indicating whether to change, and the transition data acquisition stage, a plurality of moving image composition images are generated from the first still image and the second still image, A moving image generation stage that generates a moving image in which an image of a predetermined display area including a plurality of generated moving image constituent images changes from the first still image to the second still image, and the moving image generation step includes the first still image and the first A DCT conversion stage for performing DCT conversion on two still images and calculating DCT coefficients of a plurality of partial areas included in the first still image and the second still image; and a first still image Generating a plurality of moving image constituent images included in a moving image that changes from the first still image to the second still image from the DCT coefficients of the plurality of partial regions and the DCT coefficients of the plurality of partial regions of the second still image. A moving image composing image generation stage.

本発明の第3の形態によると、複数の静止画が移り変わる動画を生成する動画生成装置用のプログラムであって、動画生成装置を、動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得部、トランジションデータ取得部が取得したトランジションデータに基づいて、第1静止画及び第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が第1静止画から第2静止画へ移り変わる動画を生成する動画生成部として機能させ、動画生成部を、第1静止画及び第2静止画にDCT変換を施して、第1静止画及び第2静止画に含まれる複数の部分領域のDCT係数を算出するDCT変換部、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する動画構成画像生成部として機能させる。   According to a third aspect of the present invention, there is provided a program for a moving image generating device that generates a moving image in which a plurality of still images change. The moving image generating device is configured to change an image of a predetermined display area in a moving image from the first still image. A transition data acquisition unit that acquires transition data indicating how to transition to two still images, and a plurality of moving image configurations from the first still image and the second still image based on the transition data acquired by the transition data acquisition unit An image is generated and functions as a moving image generating unit that generates a moving image in which an image of a predetermined display area including a plurality of generated moving image constituent images changes from the first still image to the second still image. DCT transform that performs DCT transform on the first still image and the second still image, and calculates DCT coefficients of a plurality of partial areas included in the first still image and the second still image. The plurality of moving images included in the moving image that changes from the first still image to the second still image from the DCT coefficients of the plurality of partial regions of the first still image and the DCT coefficients of the plurality of partial regions of the second still image. It is made to function as a moving image composition image generation part which produces | generates a moving image composition image.

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。   Note that the above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.

本発明によれば、静止画の移り変わりを表現する動画を効率的に生成する動画生成装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the moving image production | generation apparatus which produces | generates the moving image which expresses the transition of a still image efficiently can be provided.

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the claimed invention, and all combinations of features described in the embodiments are inventions. It is not always essential to the solution.

図1は、一実施形態に係る動画生成装置100の利用環境の一例を示す。動画生成装置100は、ユーザ190が撮像装置110を用いて撮像した静止画120、121、122、123、・・・を受け取って、スライドショー等のMPEG符号化された動画データ130を生成する。このとき、動画生成装置100は、静止画の動き等の、静止画の遷移が定義されたトランジションデータに従って静止画を加工することによって、静止画と静止画との間で再生されるべき一駒の画像である動画構成画像を複数生成する。図1の例では、動画生成装置100は、静止画121から動画構成画像であるIピクチャを生成して、その後、表示領域144に静止画122が次第に現れてくる動画を構成する複数の動画構成画像(131、132)であるPピクチャ又はBピクチャを生成する。   FIG. 1 shows an example of a usage environment of a moving image generating apparatus 100 according to an embodiment. The moving image generating apparatus 100 receives still images 120, 121, 122, 123,... Taken by the user 190 using the imaging device 110, and generates MPEG encoded moving image data 130 such as a slide show. At this time, the moving image generating apparatus 100 processes the still image according to the transition data in which the transition of the still image is defined, such as the motion of the still image, so that one frame to be reproduced between the still image and the still image. A plurality of moving image composing images that are images are generated. In the example of FIG. 1, the moving image generation apparatus 100 generates an I picture that is a moving image configuration image from a still image 121, and then configures a plurality of moving image configurations that configure a moving image in which the still image 122 appears gradually in the display area 144. A P picture or B picture that is an image (131, 132) is generated.

このとき、動画生成装置100は、静止画122が現れる表示領域144の位置及び大きさが定義されたテンプレートデータと、静止画122の輝度の増加速度が定義されたトランジションデータを取得する。そして、動画生成装置100は、静止画122上の表示領域144に静止画122が配置されたIピクチャ133を生成する。そして、動画生成装置100は、静止画122の輝度の増加速度に応じた、各動画構成画像131、132上の表示領域144における静止画121と静止画122のそれぞれの重み付け係数を算出する。そして、動画生成装置100は、表示領域144に含まれる静止画121の画像内容についてのマクロブロックのDCT係数と、表示領域144に表示される静止画122の画像内容についてのマクロブロックのDCT係数とを、周波数成分毎に重み付けして足し合わせることによって、各動画構成画像131、132の表示領域144におけるマクロブロックのDCT係数を算出する。このため、動画生成装置100は、静止画122が表示領域144に次第に現れてくる動画の動画構成画像131、132のDCT係数を、各動画構成画像131、132の画素データを生成することなく直接的にDCT係数を算出することができる。   At this time, the moving image generating apparatus 100 acquires template data in which the position and size of the display area 144 in which the still image 122 appears, and transition data in which the luminance increase speed of the still image 122 is defined. Then, the moving image generating apparatus 100 generates an I picture 133 in which the still image 122 is arranged in the display area 144 on the still image 122. Then, the moving image generating apparatus 100 calculates the weighting coefficients of the still image 121 and the still image 122 in the display area 144 on each of the moving image constituent images 131 and 132 according to the luminance increasing speed of the still image 122. Then, the moving image generating apparatus 100 determines the macroblock DCT coefficient for the image content of the still image 121 included in the display area 144 and the macroblock DCT coefficient for the image content of the still image 122 displayed in the display area 144. Are weighted for each frequency component and added to calculate the DCT coefficient of the macroblock in the display area 144 of each of the moving image constituting images 131 and 132. For this reason, the moving image generating apparatus 100 directly calculates the DCT coefficients of the moving image constituent images 131 and 132 of the moving images in which the still image 122 gradually appears in the display area 144 without generating the pixel data of the moving image constituent images 131 and 132. Thus, the DCT coefficient can be calculated.

また、動画生成装置100は、各動画構成画像131、132の表示領域以外に含まれるマクロブロックの画像内容が、Iピクチャにおける同じ位置のマクロブロックの画像内容と同一であることを、テンプレートデータから判断する。したがって、動画生成装置100は、各動画構成画像の表示領域144以外に含まれるマクロブロックを、Iピクチャに対する0の動きベクトルと、0の差分画像データとによって表現する。このようにして、動画生成装置100は、画像内容が変化しないマクロブロックをブロックマッチングによらずにテンプレートデータから直接的に判断して、当該マクロブロックを動きベクトルと差分画像データとによって表現するので、動画を高速に生成することができる。   Further, the moving image generating apparatus 100 confirms from the template data that the image content of the macro block included outside the display area of each of the moving image constituent images 131 and 132 is the same as the image content of the macro block at the same position in the I picture. to decide. Therefore, the moving image generating apparatus 100 expresses macroblocks included outside the display area 144 of each moving image constituent image by a 0 motion vector for the I picture and 0 difference image data. In this way, the moving image generating apparatus 100 determines a macroblock whose image content does not change directly from the template data without using block matching, and expresses the macroblock by the motion vector and the difference image data. , Can generate moving images at high speed.

なお、動画生成装置100は、動画を作成するデザイナ、ユーザ190等からの指示をトランジションデータとして取得してよい。また、動画生成装置100は、動画生成装置100がアクセスすることのできる記録媒体、通信回線を介して、トランジションデータ又はテンプレートデータを受け取ってもよい。なお、動画生成装置100は、DVD150等の光記録媒体に記録した動画をユーザ190に提供してよいし、インターネット等の通信回線を通じて、生成した動画をユーザ190に提供してもよい。また、動画生成装置100は、インターネット等の通信回線を通じて撮像装置110から静止画を受け取ってよいし、撮像装置110によって半導体メモリ等の記録媒体に記録された静止画を受け取ってよい。なお、動画生成装置100は、撮像画像であってもよいし、撮像画像以外の、画像加工ソフト等を利用して作成されたイメージデータであってよい。なお、動画生成装置100は、デジタルフォトショップ170に設けられた動画生成用の端末であってよいし、個人宅に設けられたパーソナルコンピュータ等の端末であってよい。   Note that the moving image generating apparatus 100 may acquire an instruction from a designer who creates a moving image, a user 190, or the like as transition data. The moving image generating apparatus 100 may receive transition data or template data via a recording medium or a communication line that can be accessed by the moving image generating apparatus 100. The moving image generating apparatus 100 may provide the user 190 with a moving image recorded on an optical recording medium such as the DVD 150, or may provide the generated moving image to the user 190 through a communication line such as the Internet. Further, the moving image generating apparatus 100 may receive a still image from the imaging device 110 through a communication line such as the Internet, or may receive a still image recorded on a recording medium such as a semiconductor memory by the imaging device 110. Note that the moving image generation apparatus 100 may be a captured image or image data created using image processing software or the like other than the captured image. The moving image generating apparatus 100 may be a moving image generating terminal provided in the digital photoshop 170, or a terminal such as a personal computer provided in a private house.

以上説明したように、本実施例の動画生成装置100によれば、静止画と同じ画像内容を持つマクロブロックのデータをトランジションデータ及びテンプレートデータから直接的に判断することができる。したがって、動画生成装置100は、本図の例における表示領域144等、画像が変化する画像領域の画像データを生成すればよい。このとき、本実施形態における動画生成装置100は、画像が変化する画像領域についてはDCT係数の足し合わせから生成する。したがって、動画生成装置100は、動画構成画像の全画像領域の画素データを生成してからMPEG符号化を施す場合に比べて、高速にMPEG符号化された動画を生成することができる。   As described above, according to the moving image generating apparatus 100 of the present embodiment, it is possible to directly determine the data of the macro block having the same image content as the still image from the transition data and the template data. Therefore, the moving image generating apparatus 100 may generate image data of an image area in which the image changes, such as the display area 144 in the example of this figure. At this time, the moving image generating apparatus 100 according to the present embodiment generates an image area where the image changes from the addition of DCT coefficients. Therefore, the moving image generating apparatus 100 can generate a moving image that has been MPEG-encoded at a higher speed than the case where the MPEG encoding is performed after generating the pixel data of the entire image area of the moving image composing image.

図2は、動画生成装置100のブロック構成の一実施例を示す。本実施例の動画生成装置100は、複数の静止画が移り変わる動画を生成する。動画生成装置100は、指示入力部200、画像出力部205、画像格納部210、トランジションデータ取得部212、及び動画生成部214を備える。動画生成部214は、動画構成画像数算出部230、同一部分領域特定部240、動きベクトル算出部250、動画構成画像生成部280、DCT変換部290、DCT係数量子化部292、及び符号化部294を有する。動画構成画像生成部280は、Iピクチャ生成部282、Pピクチャ生成部284、及びBピクチャ生成部286を含む。   FIG. 2 shows an example of a block configuration of the moving image generating apparatus 100. The moving image generating apparatus 100 according to the present exemplary embodiment generates a moving image in which a plurality of still images change. The moving image generating apparatus 100 includes an instruction input unit 200, an image output unit 205, an image storage unit 210, a transition data acquisition unit 212, and a moving image generation unit 214. The moving image generating unit 214 includes a moving image constituent image number calculating unit 230, the same partial region specifying unit 240, a motion vector calculating unit 250, a moving image constituent image generating unit 280, a DCT transform unit 290, a DCT coefficient quantizing unit 292, and an encoding unit. 294. The moving picture composition image generation unit 280 includes an I picture generation unit 282, a P picture generation unit 284, and a B picture generation unit 286.

画像格納部210は複数の静止画を格納する。トランジションデータ取得部212は、動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得する。動画生成部214は、トランジションデータ取得部212が取得したトランジションデータに基づいて、第1静止画及び第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が第1静止画から第2静止画へ移り変わる動画を生成する。   The image storage unit 210 stores a plurality of still images. The transition data acquisition unit 212 acquires transition data indicating how an image of a predetermined display area in a moving image is changed from the first still image to the second still image. The moving image generation unit 214 generates a plurality of moving image configuration images from the first still image and the second still image based on the transition data acquired by the transition data acquisition unit 212, and includes the generated plurality of moving image configuration images. A moving image is generated in which an image in a predetermined display area changes from the first still image to the second still image.

具体的には、DCT変換部290は、第1静止画及び第2静止画にDCT変換を施して、第1静止画及び第2静止画に含まれる複数の部分領域のDCT係数を算出する。動画構成画像生成部280は、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する。   Specifically, the DCT conversion unit 290 performs DCT conversion on the first still image and the second still image, and calculates DCT coefficients of a plurality of partial regions included in the first still image and the second still image. The moving image composition image generation unit 280 changes from the first still image to the second still image from the DCT coefficients of the plurality of partial regions of the first still image and the DCT coefficients of the plurality of partial regions of the second still image. A plurality of moving image constituent images included in the moving moving image are generated.

具体的には、動画構成画像生成部280は、第1静止画の部分領域のDCT係数と、第2静止画の部分領域のDCT係数とを、複数の異なる重み付けをして周波数成分毎に加算することにより、複数の動画構成画像を生成する。例えば、動画構成画像生成部280は、第1静止画の部分領域のDCT係数の重みが徐々に小さくなり、第2静止画の部分領域のDCT係数の重みが徐々に大きくなる、複数の動画構成画像を生成してよい。これにより動画生成装置100は、第2静止画が徐々に現れてくる動画を構成する動画構成画像のDCT係数を、第1静止画と第2静止画のDCT係数の加算から直接的に算出することができる。   Specifically, the moving image composition image generation unit 280 adds the DCT coefficient of the partial region of the first still image and the DCT coefficient of the partial region of the second still image to each frequency component by applying a plurality of different weights. By doing so, a plurality of moving image composing images are generated. For example, the moving image configuration image generation unit 280 has a plurality of moving image configurations in which the weight of the DCT coefficient of the partial region of the first still image is gradually decreased and the weight of the DCT coefficient of the partial region of the second still image is gradually increased. An image may be generated. Thereby, the moving image generating apparatus 100 directly calculates the DCT coefficient of the moving image constituting image that forms the moving image in which the second still image gradually appears from the addition of the DCT coefficients of the first still image and the second still image. be able to.

動画構成画像数算出部230は、トランジションデータ取得部212が取得したトランジションデータに含まれる、第1静止画から第2静止画への変化時間に基づいて、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像の数を算出する。例えば、動画構成画像数算出部230は、第1静止画から第2静止画への変化時間と、単位時間あたりに再生すべき動画構成画像の枚数とから当該動画構成画像の数を算出する。そして、動画構成画像生成部280は、動画構成画像数算出部230が算出した数の動画構成画像のそれぞれにおける第1静止画の部分領域のDCT係数の重み及び第2静止画の部分領域のDCT係数の重みを算出する。   The moving image constituent image number calculation unit 230 changes from the first still image to the second still image based on the change time from the first still image to the second still image included in the transition data acquired by the transition data acquisition unit 212. The number of a plurality of moving image constituent images included in the moving moving image is calculated. For example, the moving image constituent image number calculation unit 230 calculates the number of moving image constituent images from the change time from the first still image to the second still image and the number of moving image constituent images to be reproduced per unit time. Then, the moving image constituent image generation unit 280 weights the DCT coefficient of the partial region of the first still image and the DCT of the partial region of the second still image in each of the moving image constituent images of the number calculated by the moving image constituent image number calculating unit 230. Calculate coefficient weights.

なお、動画生成装置100がMPEG符号化された動画を生成する場合においては、動画生成部214は、トランジションデータ取得部212が取得したトランジションデータに基づいて、第1静止画及び第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が第1静止画から第2静止画へ移り変わる、MPEG符号化された動画を生成する。そして、DCT変換部290は、第1静止画及び第2静止画にDCT変換を施して、第1静止画及び第2静止画に含まれる複数のマクロブロックの大きさの部分領域のDCT係数を算出する。そして、動画構成画像生成部280は、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像のマクロブロックのDCT係数を生成する。   When the moving image generating apparatus 100 generates an MPEG encoded moving image, the moving image generating unit 214 uses the first still image and the second still image based on the transition data acquired by the transition data acquiring unit 212. A plurality of moving image constituent images are generated, and an MPEG encoded moving image in which an image in a predetermined display area including the generated plurality of moving image constituent images is changed from the first still image to the second still image is generated. Then, the DCT conversion unit 290 performs DCT conversion on the first still image and the second still image, and calculates DCT coefficients of partial areas having a size of a plurality of macroblocks included in the first still image and the second still image. calculate. Then, the moving image composition image generation unit 280 uses the first still image to the second still image from the DCT coefficients of the plurality of partial regions of the first still image and the DCT coefficients of the plurality of partial regions of the second still image. DCT coefficients of macroblocks of a plurality of moving image constituent images included in a moving image that changes to a picture are generated.

同一部分領域特定部240は、トランジションデータ取得部212が取得したトランジションデータに基づいて、一の動画構成画像における所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、他の動画構成画像に存在するか否かを特定する。そして、動きベクトル算出部250は、トランジションデータ取得部212が取得したトランジションデータに基づいて、同一部分領域特定部240が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である他の動画構成画像に含まれる部分領域との間の位置の差を示す動きベクトルを算出する。   Based on the transition data acquired by the transition data acquiring unit 212, the same partial area specifying unit 240 has the same image content as each of a plurality of macroblocks included in an area other than the predetermined display area in one moving image constituent image. It is specified whether or not the partial area exists in another moving image constituent image. Then, the motion vector calculation unit 250, based on the transition data acquired by the transition data acquisition unit 212, the macro block determined by the same partial region specification unit 240 that there is a partial region having the same image content, the macro block, A motion vector indicating a position difference from a partial area included in another moving image constituent image having the same image content is calculated.

そして、動画構成画像生成部280は、所定の表示領域のマクロブロックのDCT係数を、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから生成し、同一部分領域が同一の画像内容の部分領域が存在すると判断したマクロブロックを、動きベクトル算出部250が算出した動きベクトルで表現することによって動画構成画像を生成する。このように、動画生成装置100は、表示領域以外の変化のない領域をトランジションデータから特定する。したがって、動画生成装置100は、ブロックマッチング等の処理をすることなく、変化のない領域に含まれると判断されたマクロブロックの画像内容について、MPEG符号化における動きベクトルを0、差分画像信号を0として表現することができる。   Then, the moving image composition image generation unit 280 calculates the DCT coefficients of the macroblocks in the predetermined display area, the DCT coefficients of the plurality of partial areas of the first still image, and the DCT coefficients of the plurality of partial areas of the second still image. A macro block that is generated from the coefficients and is determined to have a partial area having the same image content in the same partial area is represented by a motion vector calculated by the motion vector calculation unit 250 to generate a moving image constituent image. As described above, the moving image generating apparatus 100 identifies an area having no change other than the display area from the transition data. Therefore, the moving image generating apparatus 100 sets the motion vector in the MPEG encoding to 0 and the difference image signal to 0 for the image content of the macroblock determined to be included in the unchanged region without performing processing such as block matching. Can be expressed as

Iピクチャ生成部282は、DCT変換部290が算出した第1静止画のDCT係数及び第2静止画のDCT係数に基づいて、動画構成画像であるIピクチャを生成する。例えば、Iピクチャ生成部282は、算出したマクロブロック毎DCT係数を、テンプレートデータで示される画像枠に当てはめることによって、IピクチャのマクロブロックのDCT係数を算出する。   The I picture generation unit 282 generates an I picture that is a moving image constituent image based on the DCT coefficient of the first still image and the DCT coefficient of the second still image calculated by the DCT conversion unit 290. For example, the I picture generation unit 282 calculates the DCT coefficient of the macro block of the I picture by applying the calculated DCT coefficient for each macro block to the image frame indicated by the template data.

また、Pピクチャ生成部284は、トランジションデータ取得部212が取得したトランジションデータ及びIピクチャ生成部282が生成したIピクチャに基づいて、動画構成画像であるPピクチャを生成する。また、Bピクチャ生成部286は、トランジションデータ取得部212が取得したトランジションデータ、Iピクチャ生成部282が生成したIピクチャ、及びPピクチャ生成部284が生成したPピクチャに基づいて、動画構成画像であるBピクチャを生成する。   In addition, the P picture generation unit 284 generates a P picture that is a moving image constituent image based on the transition data acquired by the transition data acquisition unit 212 and the I picture generated by the I picture generation unit 282. In addition, the B picture generation unit 286 is a moving image constituent image based on the transition data acquired by the transition data acquisition unit 212, the I picture generated by the I picture generation unit 282, and the P picture generated by the P picture generation unit 284. A B picture is generated.

Pピクチャの生成に関しては、同一部分領域特定部240は、トランジションデータ取得部212が取得したトランジションデータに基づいて、一のPピクチャにおける所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該一のPピクチャより前のタイミングで再生されるIピクチャ生成部282が生成したIピクチャ又はPピクチャ生成部284が生成したPピクチャに存在するか否かを特定する。   Regarding the generation of the P picture, the same partial area specifying unit 240, based on the transition data acquired by the transition data acquiring unit 212, each of a plurality of macroblocks included in an area other than the predetermined display area in one P picture. Whether or not a partial region having the same image content exists in the I picture generated by the I picture generating unit 282 or the P picture generated by the P picture generating unit 284 that is played back at a timing before the one P picture Is identified.

そして、動きベクトル算出部250は、トランジションデータ取得部212が取得したトランジションデータに基づいて、同一部分領域特定部240が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容であるIピクチャ生成部282が生成したIピクチャ又はPピクチャ生成部284が生成したPピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出する。Pピクチャ生成部284は、複数のPピクチャにおいて、所定の表示領域に含まれるマクロブロックのDCT係数を、第1静止画のマクロブロックのDCT係数と第2静止画のマクロブロックのDCT係数とを複数の異なる重み付けをして周波数成分毎に加算することによって算出し、同一部分領域がそれぞれのPピクチャより前のタイミングで再生されるIピクチャ又はPピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックを、動きベクトル算出部250が算出した動きベクトルで表現することによって、複数のPピクチャを生成する。   Then, the motion vector calculation unit 250, based on the transition data acquired by the transition data acquisition unit 212, the macro block determined by the same partial region specification unit 240 that there is a partial region having the same image content, the macro block, A motion vector indicating a position difference between the I picture generated by the I picture generating unit 282 or the partial area included in the P picture generated by the P picture generating unit 284 having the same image content is calculated. The P picture generation unit 284 calculates a DCT coefficient of a macroblock included in a predetermined display area, a DCT coefficient of a macroblock of a first still picture, and a DCT coefficient of a macroblock of a second still picture in a plurality of P pictures. When a plurality of different weights are added and added for each frequency component, and the same partial area is reproduced at a timing before each P picture, there is a partial area having the same image content in the I picture or P picture. A plurality of P pictures are generated by expressing the determined macroblock with the motion vector calculated by the motion vector calculation unit 250.

また、Bピクチャの生成に関しては、同一部分領域特定部240は、トランジションデータ取得部212が取得したトランジションデータに基づいて、一のBピクチャにおける所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該一のBピクチャより前又は後のタイミングで再生されるIピクチャ生成部282が生成したIピクチャ又はPピクチャ生成部284が生成したPピクチャに存在するか否かを特定する。   In addition, regarding the generation of a B picture, the same partial area specifying unit 240, based on the transition data acquired by the transition data acquiring unit 212, includes a plurality of macroblocks included in an area other than the predetermined display area in one B picture. A partial region of the same image content as each of the above is present in the I picture generated by the I picture generating unit 282 or the P picture generated by the P picture generating unit 284 that is played back at a timing before or after the one B picture Specify whether or not to do so.

そして、動きベクトル算出部250は、トランジションデータ取得部212が取得したトランジションデータに基づいて、同一部分領域特定部240が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容であるIピクチャ生成部282が生成したIピクチャ又はPピクチャ生成部284が生成したPピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出する。そして、Bピクチャ生成部286は、複数のBピクチャにおける所定の表示領域に含まれるマクロブロックのDCT係数を、第1静止画のマクロブロックのDCT係数と第2静止画のマクロブロックのDCT係数とを複数の異なる重み付けをして周波数成分毎に加算することによって算出し、同一部分領域がそれぞれのBピクチャより前又は後のタイミングで再生されるIピクチャ又はPピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックの画像を、動きベクトル算出部250が算出した動きベクトルで表現することによって、複数のBピクチャを生成する。   Then, the motion vector calculation unit 250, based on the transition data acquired by the transition data acquisition unit 212, the macro block determined by the same partial region specification unit 240 that there is a partial region having the same image content, the macro block, A motion vector indicating a position difference between the I picture generated by the I picture generating unit 282 or the partial area included in the P picture generated by the P picture generating unit 284 having the same image content is calculated. Then, the B picture generation unit 286 calculates the DCT coefficients of the macroblocks included in the predetermined display area in the plurality of B pictures, as the DCT coefficients of the macroblocks of the first still picture and the macroblocks of the second still picture. Is calculated by adding a plurality of different weights for each frequency component, and the same partial area is the partial area of the same image content as the I picture or P picture reproduced at the timing before or after each B picture A plurality of B pictures are generated by expressing an image of a macroblock determined to be present with a motion vector calculated by the motion vector calculation unit 250.

また、DCT係数量子化部292は、動画構成画像生成部280が生成したIピクチャ、Pピクチャ、及びBピクチャに含まれるDCT係数に量子化を施すことによって、データ量が圧縮されたIピクチャ、Pピクチャ、及びBピクチャを生成する。符号化部294は、DCT係数量子化部292が生成したIピクチャ、Pピクチャ、及びBピクチャを含む動画に対して符号化を施すことによって、データ量が圧縮された動画を生成する。具体的には、符号化部294は、Iピクチャ、Pピクチャ、及びBピクチャを含む動画に対してランレングス符号化及びハフマン符号化を施してよい。画像出力部205は、符号化部294が生成した動画を、動画生成装置100の外部に出力する。例えば、画像出力部205は、DVD150等の記録媒体に動画を出力する。   Further, the DCT coefficient quantization unit 292 performs quantization on the DCT coefficients included in the I picture, P picture, and B picture generated by the moving picture composition image generation unit 280, thereby compressing the I picture with the data amount compressed, A P picture and a B picture are generated. The encoding unit 294 generates a moving image in which the data amount is compressed by performing encoding on the moving image including the I picture, the P picture, and the B picture generated by the DCT coefficient quantization unit 292. Specifically, the encoding unit 294 may perform run length encoding and Huffman encoding on a moving image including an I picture, a P picture, and a B picture. The image output unit 205 outputs the moving image generated by the encoding unit 294 to the outside of the moving image generating apparatus 100. For example, the image output unit 205 outputs a moving image to a recording medium such as a DVD 150.

以上説明したように、本実施例における動画生成装置100によれば、変化する領域のマクロブロックのDCT係数を、Iピクチャに含まれるDCT係数の平均化によって算出する。また、動画生成装置100は、Pピクチャ及びBピクチャを生成する場合において、それぞれ前、或いは前又は後のタイミングで再生されるIピクチャ又はPピクチャから画像内容が変化しない領域のマクロブロックについては、トランジションデータから動きベクトルを直接的に算出することができる。このため動画生成装置100は、全画像領域の画素データを生成してからMPEG符号化を施す場合に比べて効率的にMPEG圧縮された動画を生成することができる。なお、本実施形態における静止画とは、アニメーションを構成する画像であってよく、アニメーションに含まれるオブジェクトの画像等の、アニメーションを構成する一枚の画像における部分画像であってよい。そして、動画生成装置100は、それらの複数の静止画からアニメーションを生成してよい。この場合でも、動画生成装置100はアニメーションを構成する画像の画素データを生成してからMPEG符号化を施す場合に比べてアニメーションを高速に生成することができるのは言うまでもない。   As described above, according to the moving image generating apparatus 100 in the present embodiment, the DCT coefficients of the macroblocks in the changing area are calculated by averaging the DCT coefficients included in the I picture. In addition, when generating the P picture and the B picture, the moving image generating apparatus 100, for each of the macroblocks in the region in which the image content does not change from the I picture or the P picture reproduced at the previous or previous timing, The motion vector can be directly calculated from the transition data. For this reason, the moving image generating apparatus 100 can generate a moving image that has been MPEG-compressed more efficiently than the case where MPEG encoding is performed after generating pixel data of the entire image area. Note that the still image in the present embodiment may be an image constituting an animation or a partial image in one image constituting an animation, such as an image of an object included in the animation. Then, the moving image generating apparatus 100 may generate an animation from the plurality of still images. Even in this case, it goes without saying that the moving image generating apparatus 100 can generate the animation at a higher speed than the case where the MPEG encoding is performed after generating the pixel data of the image constituting the animation.

図3は、動画生成装置100によって生成される動画構成画像の一例を示す。本図の例では、動画生成部214は、静止画の切り替わりを示す動画を生成する。本図の例における静止画の移り変わり例では、静止画の表示領域である画像枠350内において、静止画300が表示されてから、次第に静止画300の画像が消えていき、一旦消滅してから(例えば、動画構成画像315)、静止画301が次第に現れてくる動画を生成する。   FIG. 3 shows an example of a moving image constituent image generated by the moving image generating apparatus 100. In the example of this figure, the moving image generating unit 214 generates a moving image indicating a still image switching. In the example of the transition of the still image in the example of this figure, after the still image 300 is displayed in the image frame 350 which is the still image display area, the image of the still image 300 gradually disappears and once disappears. (For example, moving image composition image 315), a moving image in which a still image 301 appears gradually is generated.

なお、画像枠350は、ユーザ190によるテンプレートの選択によって指定され、テンプレートデータとして動画生成装置100が取得する。また、当該画像枠350内に表示する静止画300及び静止画301は、ユーザ190によって選択されるとともに、静止画300から静止画301に切り替わってゆく旨が動画生成装置100に入力され、トランジションデータとしてトランジションデータ取得部212が取得する。他にも、動画生成装置100は、静止画300が静止画301に切り替わるまでの時間をユーザ190からのトランジションデータとして受け取る。なお、動画構成画像数算出部230は、静止画300が静止画301に切り替わるまでの時間と、連続する動画構成画像の表示間隔とから、動画構成画像310と動画構成画像320との間の動画構成画像の数nを算出する。   The image frame 350 is designated by the template selection by the user 190, and is acquired by the moving image generating apparatus 100 as template data. Further, the still image 300 and the still image 301 to be displayed in the image frame 350 are selected by the user 190, and the fact that the still image 300 is switched to the still image 301 is input to the moving image generating apparatus 100, and the transition data As a transition data acquisition unit 212. In addition, the moving image generating apparatus 100 receives the time until the still image 300 is switched to the still image 301 as transition data from the user 190. Note that the moving image constituent image number calculation unit 230 determines the moving image between the moving image constituent image 310 and the moving image constituent image 320 based on the time until the still image 300 is switched to the still image 301 and the display interval between successive moving image constituent images. The number n of the constituent images is calculated.

本図の例では、動画生成部214は、静止画300及び301から生成される動画構成画像310及び320をIピクチャとして生成する。言い換えると、動画生成部214は、動画構成画像310における静止画300及び301の重み付け係数をそれぞれ1及び0とし、静止画300に対して算出した各マクロブロックのDCT係数が、動画構成画像310の画像枠350内の各マクロブロックのDCT係数となる。逆に、動画構成画像320における静止画300及び301の重み付け係数はそれぞれ0及び1であり、静止画301に対して算出した各マクロブロックのDCT係数が、動画構成画像320の画像枠350内の各マクロブロックのDCT係数となる。   In the example of this figure, the moving image generating unit 214 generates moving image composing images 310 and 320 generated from the still images 300 and 301 as I pictures. In other words, the moving image generation unit 214 sets the weighting coefficients of the still images 300 and 301 in the moving image composition image 310 to 1 and 0, respectively, and the DCT coefficient of each macroblock calculated for the still image 300 represents the moving image composition image 310. This is the DCT coefficient for each macroblock in the image frame 350. Conversely, the weighting coefficients of the still images 300 and 301 in the moving image composition image 320 are 0 and 1, respectively, and the DCT coefficient of each macroblock calculated for the still image 301 is within the image frame 350 of the moving image composition image 320. This is the DCT coefficient for each macroblock.

そして、動画構成画像生成部280は、動画構成画像310と動画構成画像315との間で表示される動画構成画像(例えば、動画構成画像311)においては、静止画301のDCT係数に対する重み付け係数を0のまま、静止画300のDCT係数に対する重み付け係数を動画構成画像315にかけて0にまで減少させる。そして、Pピクチャ生成部284又はBピクチャ生成部286は、静止画300の各マクロブロックのDCT係数に、各重み付け比率を乗じた値を、Pピクチャ又はBピクチャである動画構成画像用のDCT係数として算出する。これにより、動画生成部214は、静止画300が動画構成画像315にかけて次第に消えてゆく動画を生成することができる。   Then, in the moving image composition image (for example, the moving image composition image 311) displayed between the moving image composition image 310 and the moving image composition image 315, the moving image composition image generation unit 280 sets a weighting coefficient for the DCT coefficient of the still image 301. The weighting coefficient for the DCT coefficient of the still image 300 is decreased to 0 over the moving image constituent image 315 while maintaining 0. The P picture generation unit 284 or the B picture generation unit 286 then multiplies the DCT coefficient of each macroblock of the still image 300 by each weighting ratio, and the DCT coefficient for a moving image constituent image that is a P picture or B picture Calculate as Thereby, the moving image generation unit 214 can generate a moving image in which the still image 300 gradually disappears toward the moving image constituent image 315.

逆に、動画生成部214は、動画構成画像315から動画構成画像320にかけて静止画301が次第に現れてくる動画を表現すべく、動画構成画像315と動画構成画像320との間で表示される動画構成画像(例えば、動画構成画像317)において、静止画300のDCT係数に対する重み付け比率を0としたまま、静止画301のDCT係数に対する重み付け係数を動画構成画像320にかけて1にまで増加させる。そして、Pピクチャ生成部284又はBピクチャ生成部286は、静止画301の各マクロブロックのDCT係数に各重み付け係数を乗じた値を、Pピクチャ又はBピクチャである動画構成画像用のDCT係数として算出する。これにより動画生成部214は、静止画301が動画構成画像315から次第に表れてくる動画を生成することができる。   Conversely, the moving image generation unit 214 displays a moving image displayed between the moving image configuration image 315 and the moving image configuration image 320 in order to express a moving image in which the still image 301 gradually appears from the moving image configuration image 315 to the moving image configuration image 320. In the component image (for example, the moving image component image 317), the weighting coefficient for the DCT coefficient of the still image 301 is increased to 1 over the moving image component image 320 while the weighting ratio for the DCT coefficient of the still image 300 is set to zero. Then, the P picture generation unit 284 or the B picture generation unit 286 uses a value obtained by multiplying the DCT coefficient of each macroblock of the still image 301 by each weighting coefficient as a DCT coefficient for a moving picture constituent image that is a P picture or a B picture. calculate. Accordingly, the moving image generation unit 214 can generate a moving image in which the still image 301 gradually appears from the moving image constituent image 315.

また、本図における画像の切り替わりを示す他の例では、動画生成部214は、静止画300から静止画301へと表示を切り替える動画であって、静止画300が次第に消えてゆくにつれて、静止画301が次第に現れてくる動画を生成する。本例においても、動画生成部214は、静止画300及び301から生成される動画構成画像310及び320をIピクチャとして生成する。そして、動画構成画像310と動画構成画像320との間に再生される動画構成画像について、より後のタイミングで表示される動画構成画像において静止画300のDCT係数の重み付け係数をより小さくするとともに、静止画301のDCT係数に対する重み付け係数をより大きくする。そして、Pピクチャ生成部284又はBピクチャ生成部286は、静止画301の各マクロブロックのDCT係数に、各重み付け係数乗じた値を、Pピクチャ又はBピクチャにおけるDCT係数とする。このようにして動画生成部214は、静止画300が次第に消えつつ静止画301が次第に表れてくる動画を生成することができる。   Further, in another example showing the switching of images in the figure, the moving image generation unit 214 is a moving image whose display is switched from the still image 300 to the still image 301, and the still image 300 gradually disappears as the still image 300 gradually disappears. The moving image 301 appears gradually. Also in this example, the moving image generating unit 214 generates moving image composing images 310 and 320 generated from the still images 300 and 301 as I pictures. And about the moving image structure image reproduced | regenerated between the moving image structure image 310 and the moving image structure image 320, while making the weighting coefficient of the DCT coefficient of the still image 300 smaller in the moving image structure image displayed at a later timing, The weighting coefficient for the DCT coefficient of the still image 301 is increased. Then, the P picture generation unit 284 or the B picture generation unit 286 uses a value obtained by multiplying the DCT coefficient of each macroblock of the still image 301 by each weighting coefficient as the DCT coefficient in the P picture or B picture. In this way, the moving image generating unit 214 can generate a moving image in which the still image 301 gradually appears while the still image 300 gradually disappears.

なお、動画生成部214は、動画構成画像数算出部230が算出した動画構成画像の数nがより大きいほど重み付け係数の変化量をより小さく設定してよい。例えば、動画構成画像生成部280は、静止画300に対する重み付け係数を、直前の動画構成画像における当該重み付け係数に対して1/(n+1)ずつ減少させる。また、動画構成画像生成部280は、静止画301に対する重み付け係数を、直前の動画構成画像における当該重み付け係数に対して1/(n+1)ずつ増加させる。これにより、動画生成装置100は、一定の切り替わり速度で静止画300が静止画301に切り替わる動画を生成することができる。   Note that the moving image generation unit 214 may set the change amount of the weighting coefficient to be smaller as the number n of moving image configuration images calculated by the moving image configuration image number calculation unit 230 is larger. For example, the moving image composition image generation unit 280 decreases the weighting coefficient for the still image 300 by 1 / (n + 1) with respect to the weighting coefficient in the immediately preceding moving image composition image. In addition, the moving image constituent image generation unit 280 increases the weighting coefficient for the still image 301 by 1 / (n + 1) with respect to the weighting coefficient in the immediately preceding moving image constituent image. Thereby, the moving image generating apparatus 100 can generate a moving image in which the still image 300 is switched to the still image 301 at a constant switching speed.

以上説明したように、動画生成装置100は静止画のDCT係数の重み付けによって各動画構成画像のDCT係数を直接的に算出するので、各動画構成画像の画素データを一旦生成してからMPEG符号化を行う場合に比べて動画の生成時間を削減することができる。なお、本図においては、説明を簡単にするために、1つの静止画からIピクチャを生成する場合について説明したが、複数の静止画を合成した画像をIピクチャとして生成してよいのは言うまでもない。このとき、例えばトランジションデータ取得部212は、複数の静止画を合成する領域を示すトランジションデータを取得してよい。   As described above, since the moving image generating apparatus 100 directly calculates the DCT coefficient of each moving image constituent image by weighting the DCT coefficient of the still image, the pixel data of each moving image forming image is once generated and then MPEG encoded. It is possible to reduce the generation time of the moving image as compared with the case where it performs. In this figure, for the sake of simplicity, the case where an I picture is generated from one still image has been described, but it goes without saying that an image obtained by combining a plurality of still images may be generated as an I picture. Yes. At this time, for example, the transition data acquisition unit 212 may acquire transition data indicating a region where a plurality of still images are combined.

図4は、DCT係数の足し合わせによって静止画が移り変わる動画を生成する生成方法の一例を示す。本図の例では、動画生成部214は、図3において説明した静止画300が表示された状態から、一部の表示領域451に図3で説明した静止画301が表れてくる動画を生成する。本図の例においては、動画生成装置100は、静止画300及び静止画301について算出されたDCT係数を足し合わせることによって、表示領域451の位置に含まれる画像内容のDCT係数を算出する。   FIG. 4 shows an example of a generation method for generating a moving image in which a still image changes by adding DCT coefficients. In the example of this figure, the moving image generation unit 214 generates a moving image in which the still image 301 described in FIG. 3 appears in a part of the display area 451 from the state in which the still image 300 described in FIG. 3 is displayed. . In the example of this figure, the moving image generating apparatus 100 calculates the DCT coefficient of the image content included in the position of the display area 451 by adding the DCT coefficients calculated for the still image 300 and the still image 301.

なお、本図の例では、動画において画像上を移動する含む太陽を示すオブジェクトを含んでいるが、移動するオブジェクトを含むマクロブロックの画像内容を生成する方法については図5に関連して説明する。   In the example of this figure, an object indicating the sun including moving on the image is included in the moving image, but a method of generating the image contents of the macroblock including the moving object will be described with reference to FIG. .

DCT変換部290は、動画構成画像410及び420(Iピクチャ)を生成する場合に、それぞれの動画構成画像の各マクロブロックに含まれる画素データについてDCT変換を施すことによって、DCT係数を算出する。DCT変換部290は、動画構成画像410における縦横それぞれ16画素のマクロブロック(例えば、マクロブロック460)について、縦横それぞれ8画素を有する4つのブロックの輝度信号について、ブロック毎にDCT係数を算出する。また、DCT変換部290は、各マクロブロックにおいて、Cr及びCbの色差信号のそれぞれについて、縦横それぞれ8画素分のブロックのDCT係数として算出する。また、動画構成画像420(Iピクチャ)の表示領域451内に含まれる、マクロブロック460と同じ位置のマクロブロック470についても、動画構成画像420(Iピクチャ)の生成過程において、4つのブロックの輝度信号、並びにCr及びCbの色差信号を示すそれぞれのブロックについてDCT係数がそれぞれ算出される。   When generating the moving image composition images 410 and 420 (I picture), the DCT conversion unit 290 calculates DCT coefficients by performing DCT conversion on the pixel data included in each macroblock of each moving image composition image. The DCT conversion unit 290 calculates a DCT coefficient for each block of luminance signals of four blocks each having eight pixels in both the vertical and horizontal directions for a macroblock (for example, the macroblock 460) of 16 pixels in the vertical and horizontal directions in the moving image composition image 410. Also, the DCT conversion unit 290 calculates, as the DCT coefficients of the blocks for 8 pixels in the vertical and horizontal directions, for each of the color difference signals of Cr and Cb in each macroblock. In addition, regarding the macro block 470 included in the display area 451 of the moving image constituent image 420 (I picture) and located at the same position as the macro block 460, the luminance of the four blocks is generated in the generation process of the moving image constituent image 420 (I picture). DCT coefficients are calculated for each block indicating the signal and the color difference signals of Cr and Cb.

そして、動画構成画像413の表示領域451内のマクロブロック465のDCT係数の算出方法を例に挙げて具体的に説明すると、マクロブロック460のDCT係数及びマクロブロック470のDCT係数を周波数成分毎に加重平均することによって、マクロブロック465の輝度信号並びに色差信号Cr及びCbについてのDCT係数を算出する。なお、輝度信号の各ブロックにおけるDCT係数の平均化は、同じ位置を示すブロックとの間の、輝度信号のDCT係数の平均化であることは言うまでもない。また、言うまでもなく、Cr信号及びCb信号についても、同じ位置を示すマクロブロックの間でDCT係数とを平均化する。本図の例では、マクロブロック460の輝度信号における1つのブロックのDC成分I401と、マクロブロック470の輝度信号における1つのブロックのDC成分I402と、それぞれに対する重み付け係数α及びβを用いて、マクロブロック465の輝度信号における1つのブロックのDC成分(α×I401+β×I402)が算出される例が図示されている。なお、重み付け係数α及びβは、図3に関連して説明した方法で算出された重み付け係数であってよい。   The calculation method of the DCT coefficient of the macro block 465 in the display area 451 of the moving image constituent image 413 will be specifically described as an example. The DCT coefficient of the macro block 460 and the DCT coefficient of the macro block 470 are calculated for each frequency component. The DCT coefficients for the luminance signal and the color difference signals Cr and Cb of the macro block 465 are calculated by weighted averaging. Needless to say, the averaging of the DCT coefficient in each block of the luminance signal is the averaging of the DCT coefficient of the luminance signal with the block indicating the same position. Needless to say, for the Cr signal and the Cb signal, the DCT coefficients are averaged between the macroblocks indicating the same position. In the example of this figure, the DC component I401 of one block in the luminance signal of the macroblock 460, the DC component I402 of one block in the luminance signal of the macroblock 470, and the weighting coefficients α and β respectively are used. An example in which the DC component (α × I401 + β × I402) of one block in the luminance signal of the block 465 is calculated is illustrated. The weighting coefficients α and β may be weighting coefficients calculated by the method described with reference to FIG.

以上説明したように動画生成装置100は、表示領域470のマクロブロックの画像内容のDCT係数を、予め計算された静止画のDCT係数の平均化によって直接的に算出することができる。したがって、動画生成装置100は、各動画構成画像の画素データを一旦生成してからMPEG符号化を施す場合に比べて、MPEG符号化された動画をより高速に生成することができる。   As described above, the moving image generating apparatus 100 can directly calculate the DCT coefficient of the image content of the macro block in the display area 470 by averaging the DCT coefficients of the still image calculated in advance. Therefore, the moving image generating apparatus 100 can generate an MPEG-encoded moving image at a higher speed than the case where the pixel data of each moving image constituent image is once generated and then subjected to MPEG encoding.

図5は、画像におけるオブジェクトの移動を含む動画の生成例を示す。本図の例では、動画生成装置100は、静止画300を背景とした太陽を示すオブジェクトの移動を含む動画データを生成する。トランジションデータ取得部212は、連続して再生される動画構成画像間における、太陽を示すオブジェクトの座標の差(ベクトルΔTV501、502、503、504)をトランジションデータとして取得する。また、トランジションデータにはオブジェクトの初期位置も含まれており、動画生成部214は静止画300のトランジションデータで示されるオブジェクトの初期位置にオブジェクトの画像を重ねて、動画構成画像531を生成する。このとき、動画生成装置100は、動画構成画像531をIピクチャとして生成する。   FIG. 5 shows a generation example of a moving image including movement of an object in an image. In the example of this figure, the moving image generating apparatus 100 generates moving image data including movement of an object indicating the sun with the still image 300 as a background. The transition data acquisition unit 212 acquires the difference in coordinates of the object indicating the sun (vector ΔTV 501, 502, 503, 504) between the moving image constituent images that are continuously played back as transition data. The transition data also includes the initial position of the object, and the moving image generation unit 214 generates a moving image composition image 531 by superimposing the object image on the initial position of the object indicated by the transition data of the still image 300. At this time, the moving image generating apparatus 100 generates the moving image composing image 531 as an I picture.

ここで、P又はBピクチャの生成方法について、動画構成画像534(Pピクチャ)の生成方法を例に挙げて説明すると、同一部分領域特定部240は、トランジションデータで示される各ベクトルΔTVを、動画構成画像531(Iピクチャ)から順に加算していくことによって、当該動画構成画像との間のオブジェクトの位置の差を示すオブジェクト移動ベクトルV514を算出する。本図の例では、オブジェクト移動ベクトルTV514は、ΔTV501+ΔTV502+ΔTV503で表現することができる。他にも、トランジションデータ取得部212は、オブジェクトの速度の時間依存データを取得してもよく、Iピクチャからの時間的な積分によってオブジェクトが移動したオブジェクト移動ベクトルを算出してもよい。   Here, the generation method of the P or B picture will be described by taking the generation method of the moving image constituent image 534 (P picture) as an example. The same partial area specifying unit 240 converts each vector ΔTV indicated by the transition data into a moving image. By sequentially adding from the component image 531 (I picture), an object movement vector V514 indicating a difference in the position of the object from the moving image component image is calculated. In the example of this figure, the object movement vector TV514 can be expressed by ΔTV501 + ΔTV502 + ΔTV503. In addition, the transition data acquisition unit 212 may acquire time-dependent data on the speed of the object, or may calculate an object movement vector in which the object has moved by temporal integration from the I picture.

また、動画構成画像334(Pピクチャ)におけるオブジェクトの位置、オブジェクトの輪郭情報、及びマクロブロックの位置とから、オブジェクトの輪郭を含むマクロブロック(例えば、領域580におけるマクロブロック571、572、573、及び574)が特定される。本図の例では、例えば領域580において、オブジェクトに全領域が含まれるマクロブロック561、562、及び563の画像内容は、それぞれオブジェクト移動ベクトルTV514の逆向きのベクトルで示される先のIピクチャにおける部分領域551、552、553と同じの画像内容となる。   Further, from the position of the object in the moving image constituent image 334 (P picture), the outline information of the object, and the position of the macroblock, a macroblock including the outline of the object (for example, macroblocks 571, 572, 573 in the region 580, and 574) is identified. In the example of this figure, for example, in the area 580, the image contents of the macroblocks 561, 562, and 563 in which the entire area is included in the object are portions in the previous I picture indicated by the reverse vector of the object movement vector TV514. The image content is the same as the areas 551, 552, and 553.

そして、オブジェクトの輪郭を含むマクロブロック571、572、573、及び574の、オブジェクトより外側の周囲に存在するマクロブロック(例えば、マクロブロック581)は、全領域が背景に含まれる。このような、全領域が背景に含まれるマクロブロックの画像内容は、Iピクチャにおける当該マクロブロックの範囲内に移動するオブジェクトが含まれない限り、そのマクロブロックの範囲のIピクチャの画像内容(背景の画像)と同一となる。したがって、全領域が背景に含まれるマクロブロックの画像内容は、動きベクトルを0、差分画像信号を0として表現することができる。   The entire area of the macroblocks 571, 572, 573, and 574 including the outline of the object that exist outside the object (for example, the macroblock 581) is included in the background. The image contents of a macroblock whose background is entirely included in the background is the image contents (background) of the I picture in the range of the macroblock unless an object moving within the range of the macroblock in the I picture is included. The same image). Therefore, the image content of the macroblock whose entire area is included in the background can be expressed with 0 as the motion vector and 0 as the difference image signal.

また、動画生成部214は、オブジェクトの輪郭を含むマクロブロック(例えば、マクロブロック572)は、背景画像とオブジェクトの画像とを合成することによって生成してよい。例えば、動画生成部214は、マクロブロック572におけるオブジェクトを含む領域591のオブジェクトの画像(例えば、動画構成画像531における画像541の部分)と、動画構成画像531におけるマクロブロック572で示される範囲の画像内容のうちの、オブジェクトの領域591以外の領域542の画像とを合成することによって、マクロブロック572の画像を生成することができる。   In addition, the moving image generation unit 214 may generate a macro block (for example, the macro block 572) including the outline of the object by synthesizing the background image and the image of the object. For example, the moving image generation unit 214 includes the image of the object in the region 591 including the object in the macro block 572 (for example, the portion of the image 541 in the moving image composition image 531) and the image in the range indicated by the macro block 572 in the moving image composition image 531. The image of the macro block 572 can be generated by combining the image of the area 542 other than the object area 591 in the content.

また、動画生成部214は、マクロブロック572の画像内容を、差分画像及び動きベクトルを用いて表現してもよい。例えば、動画生成部214は、オブジェクトの領域591の面積を算出して、マクロブロックの面積に対する領域591の面積の比が予め定められた値(例えば、0.5)より大きい場合に、動画構成画像531(Iピクチャ)の部分領域554との差分画像信号を生成し、生成した差分画像信号と、当該マクロブロックとの間のオブジェクト移動ベクトルによって、マクロブロック572の画像内容を表現してよい。また、動画生成部214は、マクロブロックの面積に対する領域591の面積の比が予め定められた値(例えば、0.5)以下である場合には、マクロブロック572の位置における動画構成画像531(Iピクチャ)の部分領域555との差分画像信号を生成し、生成した差分画像信号と、0の動きベクトルとによって、マクロブロック572の画像内容を表現することができる。このように、動画生成装置100は、ブロックマッチングを行うことなく、トランジションデータに基づいて容易に類似する部分領域を特定することができる。   In addition, the moving image generation unit 214 may express the image content of the macroblock 572 using a difference image and a motion vector. For example, the moving image generation unit 214 calculates the area of the object region 591, and the moving image configuration is calculated when the ratio of the area of the region 591 to the area of the macroblock is larger than a predetermined value (for example, 0.5). A difference image signal with respect to the partial region 554 of the image 531 (I picture) may be generated, and the image content of the macroblock 572 may be expressed by an object movement vector between the generated difference image signal and the macroblock. In addition, when the ratio of the area of the region 591 to the area of the macroblock is equal to or less than a predetermined value (for example, 0.5), the moving image generation unit 214 moves the moving image constituent image 531 (at the position of the macroblock 572). A difference image signal with respect to a partial region 555 of (I picture) is generated, and the image content of the macroblock 572 can be expressed by the generated difference image signal and a motion vector of 0. As described above, the moving image generating apparatus 100 can easily specify a similar partial region based on the transition data without performing block matching.

なお、境界線を含むマクロブロック572の画像内容を、上記のように画像の合成から生成する方法の他に、境界線の近傍のDCT係数の周波数成分毎の平均化によって生成することもできる。例えば、動画生成部214は、マクロブロック554及び555の各ブロックについて計算されたDCT係数を、周波数成分毎に加重平均することによって、マクロブロック572の輝度信号、並びに色差信号Cr及びCbのDCT係数を算出してよい。なお、マクロブロックにおけるDCT係数の平均化は、図4に関連して説明した平均化処理と同様の処理によって得ることができるので説明を省略する。   Note that the image content of the macroblock 572 including the boundary line can be generated by averaging the frequency components of the DCT coefficients in the vicinity of the boundary line in addition to the method of generating the image from the image synthesis as described above. For example, the moving image generation unit 214 performs weighted averaging of the DCT coefficients calculated for each of the macroblocks 554 and 555 for each frequency component, thereby obtaining the DCT coefficients of the luminance signal of the macroblock 572 and the color difference signals Cr and Cb. May be calculated. The averaging of DCT coefficients in the macroblock can be obtained by the same process as the averaging process described with reference to FIG.

このように、動画生成装置100は、境界部を含むマクロブロックの画像内容のDCT係数を、予め計算されたDCT係数の平均化によって直接的に算出することができる。したがって、動画生成装置100は、画素データからDCT変換を施す場合に比べて、境界部を含むマクロブロックの画像内容のDCT係数をより高速に生成することができる。なお、このようなDCT係数の平均化によって得られる画像は、背景とオブジェクトとが重ね合わされた画像となるので、例えば背景画像をオブジェクトが移動する画像において、オブジェクトと背景の境界部分が正確に表現された画像とはならない。しかし、動画の閲覧者の目には、移動するオブジェクトの周囲においては背景の画像とオブジェクトの画像とが残像として残るので、動くオブジェクトはぼやけて見える。このため、オブジェクトの輪郭を含むマクロブロックの画像が、背景とオブジェクトとが重畳された画像となっても、閲覧者は違和感を感じることなく動画を閲覧することができる。   As described above, the moving image generating apparatus 100 can directly calculate the DCT coefficient of the image content of the macro block including the boundary portion by averaging the DCT coefficients calculated in advance. Therefore, the moving image generating apparatus 100 can generate the DCT coefficient of the image content of the macroblock including the boundary portion at a higher speed than when performing the DCT conversion from the pixel data. Note that the image obtained by averaging the DCT coefficients is an image in which the background and the object are overlapped. For example, in the image in which the object moves in the background image, the boundary portion between the object and the background is accurately expressed. It will not be a rendered image. However, since the background image and the object image remain as afterimages around the moving object, the moving object looks blurred to the eyes of the moving image viewer. For this reason, even if the image of the macroblock including the outline of the object becomes an image in which the background and the object are superimposed, the viewer can browse the moving image without feeling uncomfortable.

以上説明したように、動画生成装置100は、トランジションデータで示されるオブジェクトの移動情報の加算によって、同一の画像内容である画像を容易に特定することができる。このため、一旦動画構成画像の画素データを生成する場合に比べて、MPEG圧縮された動画をより高速に生成することができる。特に、動きベクトルを算出するためのブロックマッチング等に相当する処理を、オブジェクトの移動情報の加算によって実現することができるので、動きベクトルをより高速に算出することができる。なお、トランジションデータで示されるオブジェクトの移動は、基準となる動画構成画像(例えば、Iピクチャ又はPピクチャ)におけるオブジェクトの位置と他の動画構成画像(Bピクチャ、Pピクチャ)におけるオブジェクトの位置の差が、1/2画素を最小単位とする値となることが望ましい。この場合、オブジェクトに全画像領域が含まれるマクロブロックにおいては、動きベクトルはオブジェクト移動ベクトルと同一であり、かつ、0の差分画像信号で表現することができるので、動画をより高い圧縮率で圧縮することができるとともに、動画をより高速に生成することができる。   As described above, the moving image generating apparatus 100 can easily specify images having the same image content by adding the movement information of the object indicated by the transition data. For this reason, it is possible to generate an MPEG-compressed moving image at a higher speed than when generating pixel data of a moving image constituent image once. In particular, since a process corresponding to block matching or the like for calculating a motion vector can be realized by adding object movement information, the motion vector can be calculated at a higher speed. The movement of the object indicated by the transition data is the difference between the position of the object in the reference moving image constituent image (for example, I picture or P picture) and the position of the object in another moving image constituent image (B picture, P picture). However, it is desirable that the value be a minimum unit of 1/2 pixel. In this case, in the macroblock in which the entire image area is included in the object, the motion vector is the same as the object movement vector and can be expressed by a difference image signal of 0, so that the moving image is compressed at a higher compression rate. And a moving image can be generated at a higher speed.

図6は、動画生成装置100のハードウェア構成の一例を示す。動画生成装置100は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示装置1580を有するCPU周辺部と、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有するレガシー入出力部とを備える。   FIG. 6 shows an example of the hardware configuration of the moving image generating apparatus 100. The moving image generating apparatus 100 includes a CPU peripheral portion including a CPU 1505, a RAM 1520, a graphic controller 1575, and a display device 1580 connected to each other by a host controller 1582, and communication connected to the host controller 1582 by an input / output controller 1584. An input / output unit having an interface 1530, a hard disk drive 1540, and a CD-ROM drive 1560, and a legacy input / output unit having a ROM 1510, a flexible disk drive 1550, and an input / output chip 1570 connected to the input / output controller 1584. .

ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。   The host controller 1582 connects the RAM 1520, the CPU 1505 that accesses the RAM 1520 at a high transfer rate, and the graphic controller 1575. The CPU 1505 operates based on programs stored in the ROM 1510 and the RAM 1520 and controls each unit. The graphic controller 1575 acquires image data generated by the CPU 1505 and the like on a frame buffer provided in the RAM 1520 and displays the image data on the display device 1580. Alternatively, the graphic controller 1575 may include a frame buffer that stores image data generated by the CPU 1505 or the like.

入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。   The input / output controller 1584 connects the host controller 1582 to the hard disk drive 1540, the communication interface 1530, and the CD-ROM drive 1560, which are relatively high-speed input / output devices. The hard disk drive 1540 stores programs and data used by the CPU 1505. The communication interface 1530 is connected to the network communication device 1598 to transmit / receive programs or data. The CD-ROM drive 1560 reads a program or data from the CD-ROM 1595 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520.

また、入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、動画生成装置100が起動時に実行するブート・プログラムや、動画生成装置100のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。   The input / output controller 1584 is connected to the ROM 1510, the flexible disk drive 1550, and the relatively low-speed input / output device of the input / output chip 1570. The ROM 1510 stores a boot program that the moving image generating apparatus 100 executes at startup, a program that depends on the hardware of the moving image generating apparatus 100, and the like. The flexible disk drive 1550 reads a program or data from the flexible disk 1590 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520. The input / output chip 1570 connects various input / output devices via a flexible disk drive 1550 and, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like.

CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。   A program executed by the CPU 1505 is stored in a recording medium such as the flexible disk 1590, the CD-ROM 1595, or an IC card and provided by the user. The program stored in the recording medium may be compressed or uncompressed. The program is installed in the hard disk drive 1540 from the recording medium, read into the RAM 1520, and executed by the CPU 1505.

CPU1505により実行されるプログラムは、動画生成装置100を、図1から図5にかけて説明した、指示入力部200、画像出力部205、画像格納部210、トランジションデータ取得部212、及び動画生成部214として機能させる。また、当該プログラムは、動画生成部214を、動画構成画像数算出部230、同一部分領域特定部240、動きベクトル算出部250、動画構成画像生成部280、DCT変換部290、DCT係数量子化部292、及び符号化部294として機能させる。また、当該プログラムは、動画構成画像生成部280を、Iピクチャ生成部282、Pピクチャ生成部284、及びBピクチャ生成部286として機能させる。   The program executed by the CPU 1505 makes the moving image generating apparatus 100 the instruction input unit 200, the image output unit 205, the image storage unit 210, the transition data acquisition unit 212, and the moving image generation unit 214 described with reference to FIGS. Make it work. The program also includes the moving image generation unit 214, the moving image configuration image number calculation unit 230, the same partial region specification unit 240, the motion vector calculation unit 250, the moving image configuration image generation unit 280, the DCT conversion unit 290, and the DCT coefficient quantization unit. 292 and the encoding unit 294. In addition, the program causes the moving picture composition image generation unit 280 to function as an I picture generation unit 282, a P picture generation unit 284, and a B picture generation unit 286.

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDやPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムを動画生成装置100に提供してもよい。   The program shown above may be stored in an external storage medium. As the storage medium, in addition to the flexible disk 1590 and the CD-ROM 1595, an optical recording medium such as a DVD or PD, a magneto-optical recording medium such as an MD, a tape medium, a semiconductor memory such as an IC card, or the like can be used. Further, a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the moving image generation device 100 via the network.

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various modifications or improvements can be added to the above embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

動画生成装置100の利用環境の一例を示す図である。2 is a diagram illustrating an example of a usage environment of a moving image generating apparatus 100. FIG. 動画生成装置100のブロック構成の一例を示す図である。2 is a diagram illustrating an example of a block configuration of a moving image generating apparatus 100. FIG. 動画生成装置100によって生成される動画構成画像の一例を示す図である。It is a figure which shows an example of the moving image structure image produced | generated by the moving image production | generation apparatus 100. FIG. DCT係数の足し合わせによる動画生成方法の一例を示す図である。It is a figure which shows an example of the moving image production | generation method by the addition of a DCT coefficient. 画像におけるオブジェクトの移動を含む動画の生成例を示す図である。It is a figure which shows the example of a production | generation of the moving image containing the movement of the object in an image. 動画生成装置100のハードウェア構成の一例を示す図である。2 is a diagram illustrating an example of a hardware configuration of a moving image generating apparatus 100. FIG.

符号の説明Explanation of symbols

100 動画生成装置
110 撮像装置
130 動画データ
150 DVD
170 デジタルフォトショップ
190 ユーザ
200 指示入力部
205 画像出力部
210 画像格納部
212 トランジションデータ取得部
214 動画生成部
230 動画構成画像数算出部
240 同一部分領域特定部
250 動きベクトル算出部
280 動画構成画像生成部
282 Iピクチャ生成部
284 Pピクチャ生成部
286 Bピクチャ生成部
290 DCT変換部
292 DCT係数量子化部
294 符号化部
100 moving image generating device 110 imaging device 130 moving image data 150 DVD
170 Digital Photoshop 190 User 200 Instruction Input Unit 205 Image Output Unit 210 Image Storage Unit 212 Transition Data Acquisition Unit 214 Movie Generation Unit 230 Movie Configuration Image Number Calculation Unit 240 Same Partial Region Specification Unit 250 Motion Vector Calculation Unit 280 Movie Configuration Image Generation Unit 282 I picture generation unit 284 P picture generation unit 286 B picture generation unit 290 DCT transform unit 292 DCT coefficient quantization unit 294 encoding unit

Claims (10)

複数の静止画が移り変わる動画を生成する動画生成装置であって、
動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得部と、
前記トランジションデータ取得部が取得したトランジションデータに基づいて、前記第1静止画及び前記第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が前記第1静止画から前記第2静止画へ移り変わる動画を生成する動画生成部と
を備え、
前記動画生成部は、
前記第1静止画及び前記第2静止画にDCT変換を施して、前記第1静止画及び前記第2静止画に含まれる複数の部分領域のDCT係数を算出するDCT変換部と、
前記第1静止画の複数の部分領域のそれぞれのDCT係数と前記第2静止画の複数の部分領域のそれぞれのDCT係数とから、前記第1静止画から前記第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する動画構成画像生成部と
を有する動画生成装置。
A moving image generating apparatus that generates a moving image in which a plurality of still images change,
A transition data acquisition unit for acquiring transition data indicating how to change the image of a predetermined display area in the moving image from the first still image to the second still image;
A predetermined display area including a plurality of moving image constituent images generated by generating a plurality of moving image constituent images from the first still image and the second still image based on the transition data acquired by the transition data acquiring unit A moving image generating unit that generates a moving image in which the image of the first image is changed from the first still image to the second still image,
The moving image generation unit
A DCT conversion unit that performs DCT conversion on the first still image and the second still image, and calculates DCT coefficients of a plurality of partial regions included in the first still image and the second still image;
Included in the moving image that transitions from the first still image to the second still image from the DCT coefficients of the plurality of partial regions of the first still image and the DCT coefficients of the plurality of partial regions of the second still image. A moving image generating apparatus including a moving image forming image generating unit that generates a plurality of moving image forming images.
前記動画構成画像生成部は、前記第1静止画の部分領域のDCT係数と、前記第2静止画の部分領域のDCT係数とを、複数の異なる重み付けをして周波数成分毎に加算することにより、複数の動画構成画像を生成する
請求項1に記載の動画生成装置。
The moving image composing image generation unit adds the DCT coefficient of the partial region of the first still image and the DCT coefficient of the partial region of the second still image to each frequency component with a plurality of different weightings. The moving image generating apparatus according to claim 1, wherein a plurality of moving image composing images are generated.
前記動画構成画像生成部は、前記第1静止画の部分領域のDCT係数の重みが徐々に小さくなり、前記第2静止画の部分領域のDCT係数の重みが徐々に大きくなる、複数の動画構成画像を生成する
請求項2に記載の動画生成装置。
The moving image configuration image generation unit has a plurality of moving image configurations in which the weight of the DCT coefficient of the partial region of the first still image is gradually decreased and the weight of the DCT coefficient of the partial region of the second still image is gradually increased. The moving image generating apparatus according to claim 2, which generates an image.
前記動画生成部は、
前記トランジションデータ取得部が取得したトランジションデータに含まれる、前記第1静止画から前記第2静止画への変化時間に基づいて、前記第1静止画から前記第2静止画へ移り変わる動画に含まれる複数の動画構成画像の数を算出する動画構成画像数算出部
をさらに有し、
前記動画構成画像生成部は、前記動画構成画像数算出部が算出した数の動画構成画像のそれぞれにおける前記第1静止画の部分領域のDCT係数の重み及び前記第2静止画の部分領域のDCT係数の重みを算出する
請求項3に記載の動画生成装置。
The moving image generation unit
Included in the moving image transitioned from the first still image to the second still image based on the change time from the first still image to the second still image included in the transition data acquired by the transition data acquisition unit A moving image composition image number calculating unit for calculating the number of the plurality of moving image composition images;
The moving image constituent image generation unit includes a weight of a DCT coefficient of the partial region of the first still image and a DCT of the partial region of the second still image in each of the number of moving image constituent images calculated by the moving image constituent image number calculating unit. The moving image generating apparatus according to claim 3, wherein the weight of the coefficient is calculated.
前記動画生成部は、前記トランジションデータ取得部が取得したトランジションデータに基づいて、前記第1静止画及び前記第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が前記第1静止画から前記第2静止画へ移り変わる、MPEG符号化された動画を生成し、
前記DCT変換部は、前記第1静止画及び前記第2静止画にDCT変換を施して、前記第1静止画及び前記第2静止画に含まれる複数のマクロブロックの大きさの部分領域のDCT係数を算出し、
前記動画構成画像生成部は、前記第1静止画の複数の部分領域のそれぞれのDCT係数と前記第2静止画の複数の部分領域のそれぞれのDCT係数とから、前記第1静止画から前記第2静止画へ移り変わる動画に含まれる複数の動画構成画像のマクロブロックのDCT係数を生成する
請求項1に記載の動画生成装置。
The moving image generation unit generates a plurality of moving image configuration images from the first still image and the second still image based on the transition data acquired by the transition data acquisition unit, and generates the generated plurality of moving image configuration images. Including an MPEG encoded moving image in which an image of a predetermined display area is changed from the first still image to the second still image;
The DCT conversion unit performs DCT conversion on the first still image and the second still image, and performs DCT on a partial region having a size of a plurality of macroblocks included in the first still image and the second still image. Calculate the coefficient,
The moving image composing image generating unit generates the first still image from the first still image from the DCT coefficients of the plurality of partial regions of the first still image and the DCT coefficients of the plurality of partial regions of the second still image. The moving image generating apparatus according to claim 1, wherein the moving image generating device generates DCT coefficients of macroblocks of a plurality of moving image constituent images included in a moving image that changes to two still images.
前記動画生成部は、
前記トランジションデータ取得部が取得したトランジションデータに基づいて、一の動画構成画像における前記所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、他の動画構成画像に存在するか否かを特定する同一部分領域特定部と、
前記トランジションデータ取得部が取得したトランジションデータに基づいて、前記同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である他の動画構成画像に含まれる部分領域との間の位置の差を示す動きベクトルを算出する動きベクトル算出部と
をさらに有し、
前記動画構成画像生成部は、前記所定の表示領域のマクロブロックのDCT係数を、前記第1静止画の複数の部分領域のそれぞれのDCT係数と前記第2静止画の複数の部分領域のそれぞれのDCT係数とから生成し、前記同一部分領域が同一の画像内容の部分領域が存在すると判断したマクロブロックを、前記動きベクトル算出部が算出した動きベクトルで表現することによって動画構成画像を生成する
請求項5に記載の動画生成装置。
The moving image generation unit
Based on the transition data acquired by the transition data acquisition unit, a partial area having the same image content as each of a plurality of macroblocks included in an area other than the predetermined display area in one moving image constituent image is another moving image. The same partial region specifying unit for specifying whether or not the component image exists,
Based on the transition data acquired by the transition data acquisition unit, the macro block determined by the same partial region specifying unit to have a partial region having the same image content, and another moving image having the same image content as the macro block A motion vector calculation unit that calculates a motion vector indicating a difference in position between the partial areas included in the constituent images;
The moving image composing image generating unit calculates a DCT coefficient of a macroblock of the predetermined display area, a DCT coefficient of each of a plurality of partial areas of the first still image, and each of a plurality of partial areas of the second still image. A moving image composing image is generated by expressing a macro block that is generated from a DCT coefficient and that is determined to include a partial region having the same image content in the same partial region by a motion vector calculated by the motion vector calculation unit. Item 6. The moving image generating device according to Item 5.
前記動画構成画像生成部は、
前記DCT変換部が算出した前記第1静止画のDCT係数及び前記第2静止画のDCT係数に基づいて、動画構成画像であるIピクチャを生成するIピクチャ生成部と、
前記トランジションデータ取得部が取得したトランジションデータ及び前記Iピクチャ生成部が生成したIピクチャに基づいて、動画構成画像であるPピクチャを生成するPピクチャ生成部と、
をさらに含み、
前記同一部分領域特定部は、前記トランジションデータ取得部が取得したトランジションデータに基づいて、一のPピクチャにおける前記所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該一のPピクチャより前のタイミングで再生される前記Iピクチャ生成部が生成したIピクチャ又は前記Pピクチャ生成部が生成したPピクチャに存在するか否かを特定し、
前記動きベクトル算出部は、前記トランジションデータ取得部が取得したトランジションデータに基づいて、前記同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である前記Iピクチャ生成部が生成したIピクチャ又は前記Pピクチャ生成部が生成したPピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出し、
前記Pピクチャ生成部は、複数のPピクチャにおいて、前記所定の表示領域に含まれるマクロブロックのDCT係数を、前記第1静止画のマクロブロックのDCT係数と前記第2静止画のマクロブロックのDCT係数とを複数の異なる重み付けをして周波数成分毎に加算することによって算出し、前記同一部分領域がそれぞれのPピクチャより前のタイミングで再生されるIピクチャ又はPピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックを、前記動きベクトル算出部が算出した動きベクトルで表現することによって、複数のPピクチャを生成する
請求項6に記載の動画生成装置。
The moving image composition image generation unit
An I picture generation unit that generates an I picture that is a moving image constituent image based on the DCT coefficient of the first still image and the DCT coefficient of the second still image calculated by the DCT conversion unit;
A P picture generation unit that generates a P picture, which is a moving image constituent image, based on the transition data acquired by the transition data acquisition unit and the I picture generated by the I picture generation unit;
Further including
The same partial area specifying unit has the same image content as each of a plurality of macroblocks included in an area other than the predetermined display area in one P picture based on the transition data acquired by the transition data acquisition unit. Specify whether or not the partial area exists in the I picture generated by the I picture generation unit that is reproduced at a timing before the one P picture or the P picture generated by the P picture generation unit,
The motion vector calculation unit, based on the transition data acquired by the transition data acquisition unit, the macroblock that the same partial region specification unit has determined that there is a partial region of the same image content, and the same macroblock Calculating a motion vector indicating a position difference between an I picture generated by the I picture generating unit which is an image content or a partial region included in the P picture generated by the P picture generating unit;
The P picture generation unit may include, in a plurality of P pictures, a DCT coefficient of a macroblock included in the predetermined display area, a DCT coefficient of a macroblock of the first still picture, and a DCT of a macroblock of the second still picture. A portion having the same image content as the I picture or P picture in which the same partial area is reproduced at a timing before each P picture is calculated by adding a coefficient to each frequency component with a plurality of different weightings. The moving image generating apparatus according to claim 6, wherein a plurality of P pictures are generated by expressing a macroblock determined to have an area with a motion vector calculated by the motion vector calculation unit.
前記動画構成画像生成部は、
前記トランジションデータ取得部が取得したトランジションデータ、前記Iピクチャ生成部が生成したIピクチャ、及び前記Pピクチャ生成部が生成したPピクチャに基づいて、動画構成画像であるBピクチャを生成するBピクチャ生成部
をさらに含み、
前記同一部分領域特定部は、前記トランジションデータ取得部が取得したトランジションデータに基づいて、一のBピクチャにおける前記所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該一のBピクチャより前又は後のタイミングで再生される前記Iピクチャ生成部が生成したIピクチャ又は前記Pピクチャ生成部が生成したPピクチャに存在するか否かを特定し、
前記動きベクトル算出部は、前記トランジションデータ取得部が取得したトランジションデータに基づいて、前記同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である前記Iピクチャ生成部が生成したIピクチャ又は前記Pピクチャ生成部が生成したPピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出し、
前記Bピクチャ生成部は、複数のBピクチャにおける前記所定の表示領域に含まれるマクロブロックのDCT係数を、前記第1静止画のマクロブロックのDCT係数と前記第2静止画のマクロブロックのDCT係数とを複数の異なる重み付けをして周波数成分毎に加算することによって算出し、前記同一部分領域がそれぞれのBピクチャより前又は後のタイミングで再生されるIピクチャ又はPピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックの画像を、前記動きベクトル算出部が算出した動きベクトルで表現することによって、複数のBピクチャを生成する
をさらに含む
請求項7に記載の動画生成装置。
The moving image composition image generation unit
B picture generation for generating a B picture that is a moving picture constituent image based on the transition data acquired by the transition data acquisition unit, the I picture generated by the I picture generation unit, and the P picture generated by the P picture generation unit Further comprising
The same partial area specifying unit has the same image content as each of a plurality of macroblocks included in an area other than the predetermined display area in one B picture based on the transition data acquired by the transition data acquisition unit. Specify whether or not the partial area exists in the I picture generated by the I picture generation unit or the P picture generated by the P picture generation unit that is reproduced at a timing before or after the one B picture,
The motion vector calculation unit, based on the transition data acquired by the transition data acquisition unit, the macroblock that the same partial region specification unit has determined that there is a partial region of the same image content, and the same macroblock Calculating a motion vector indicating a position difference between an I picture generated by the I picture generating unit which is an image content or a partial region included in the P picture generated by the P picture generating unit;
The B picture generation unit calculates a DCT coefficient of a macroblock included in the predetermined display area in a plurality of B pictures, a DCT coefficient of a macroblock of the first still picture, and a DCT coefficient of a macroblock of the second still picture Is calculated by adding a plurality of different weights for each frequency component, and the same partial area has the same image content as the I picture or P picture reproduced at the timing before or after each B picture. The moving image generation apparatus according to claim 7, further comprising: generating a plurality of B pictures by expressing an image of a macroblock determined to have a partial region with a motion vector calculated by the motion vector calculation unit.
複数の静止画が移り変わる動画を生成する動画生成方法であって、
動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得段階と、
前記トランジションデータ取得段階において取得されたトランジションデータに基づいて、前記第1静止画及び前記第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が前記第1静止画から前記第2静止画へ移り変わる動画を生成する動画生成段階と
を備え、
前記動画生成段階は、
前記第1静止画及び前記第2静止画にDCT変換を施して、前記第1静止画及び前記第2静止画に含まれる複数の部分領域のDCT係数を算出するDCT変換段階と、
前記第1静止画の複数の部分領域のそれぞれのDCT係数と前記第2静止画の複数の部分領域のそれぞれのDCT係数とから、前記第1静止画から前記第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する動画構成画像生成段階と
を有する動画生成方法。
A video generation method for generating a video in which a plurality of still images change,
A transition data acquisition stage for acquiring transition data indicating how to change the image of the predetermined display area in the moving image from the first still image to the second still image;
Based on the transition data acquired in the transition data acquisition step, a plurality of moving image constituent images are generated from the first still image and the second still image, and a predetermined display including the generated moving image constituent images A moving image generating step of generating a moving image in which an image of the region changes from the first still image to the second still image;
The video generation stage includes
A DCT conversion step of performing DCT conversion on the first still image and the second still image to calculate DCT coefficients of a plurality of partial regions included in the first still image and the second still image;
Included in the moving image that transitions from the first still image to the second still image from the DCT coefficients of the plurality of partial regions of the first still image and the DCT coefficients of the plurality of partial regions of the second still image. A moving image generating method comprising: a moving image forming image generating step for generating a plurality of moving image forming images.
複数の静止画が移り変わる動画を生成する動画生成装置用のプログラムであって、前記動画生成装置を、
動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得部、
前記トランジションデータ取得部が取得したトランジションデータに基づいて、前記第1静止画及び前記第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が前記第1静止画から前記第2静止画へ移り変わる動画を生成する動画生成部
として機能させ、
前記動画生成部を、
前記第1静止画及び前記第2静止画にDCT変換を施して、前記第1静止画及び前記第2静止画に含まれる複数の部分領域のDCT係数を算出するDCT変換部、
前記第1静止画の複数の部分領域のそれぞれのDCT係数と前記第2静止画の複数の部分領域のそれぞれのDCT係数とから、前記第1静止画から前記第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する動画構成画像生成部
として機能させるプログラム。
A program for a moving image generating device for generating a moving image in which a plurality of still images change, wherein the moving image generating device is
A transition data acquisition unit for acquiring transition data indicating how the image of the predetermined display area in the moving image is changed from the first still image to the second still image;
A predetermined display area including a plurality of moving image constituent images generated by generating a plurality of moving image constituent images from the first still image and the second still image based on the transition data acquired by the transition data acquiring unit Function as a moving image generation unit that generates a moving image in which the image of the first image is changed from the first still image to the second still image,
The moving image generation unit
A DCT conversion unit that performs DCT conversion on the first still image and the second still image, and calculates DCT coefficients of a plurality of partial regions included in the first still image and the second still image;
Included in the moving image that transitions from the first still image to the second still image from the DCT coefficients of the plurality of partial regions of the first still image and the DCT coefficients of the plurality of partial regions of the second still image. A program that functions as a moving image composition image generation unit that generates a plurality of moving image composition images.
JP2005351007A 2005-12-05 2005-12-05 Movie generation device, movie generation method, and program Expired - Fee Related JP4668051B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005351007A JP4668051B2 (en) 2005-12-05 2005-12-05 Movie generation device, movie generation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005351007A JP4668051B2 (en) 2005-12-05 2005-12-05 Movie generation device, movie generation method, and program

Publications (2)

Publication Number Publication Date
JP2007156823A JP2007156823A (en) 2007-06-21
JP4668051B2 true JP4668051B2 (en) 2011-04-13

Family

ID=38241112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005351007A Expired - Fee Related JP4668051B2 (en) 2005-12-05 2005-12-05 Movie generation device, movie generation method, and program

Country Status (1)

Country Link
JP (1) JP4668051B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4900602B2 (en) * 2007-09-14 2012-03-21 富士フイルム株式会社 Image processing apparatus, image processing method, program, and image processing system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259303A (en) * 2002-02-27 2003-09-12 Konica Corp Moving picture data generating system, moving picture data generating method, moving picture data generating program, and information recording medium
JP2005303907A (en) * 2004-04-15 2005-10-27 Fuji Photo Film Co Ltd Image editing apparatus, method, and program
JP2006217221A (en) * 2005-02-03 2006-08-17 Noritsu Koki Co Ltd System and program for creating electronic album, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259303A (en) * 2002-02-27 2003-09-12 Konica Corp Moving picture data generating system, moving picture data generating method, moving picture data generating program, and information recording medium
JP2005303907A (en) * 2004-04-15 2005-10-27 Fuji Photo Film Co Ltd Image editing apparatus, method, and program
JP2006217221A (en) * 2005-02-03 2006-08-17 Noritsu Koki Co Ltd System and program for creating electronic album, and storage medium

Also Published As

Publication number Publication date
JP2007156823A (en) 2007-06-21

Similar Documents

Publication Publication Date Title
US20180192063A1 (en) Method and System for Virtual Reality (VR) Video Transcode By Extracting Residual From Different Resolutions
US8411735B2 (en) Data processing apparatus, data processing method, and program
JP4668040B2 (en) Movie generation device, movie generation method, and program
US8934550B2 (en) Data processing apparatus, data processing method, and program for processing image data of a moving image
WO2011013283A1 (en) Image synthesizing device, encoding device, program, and medium
JP2004088244A (en) Image processing apparatus, image processing method, image frame data storage medium, and computer program
US8351756B2 (en) Reproduction device
JP2008035280A (en) Image decoding method, and image display method
JP4633595B2 (en) Movie generation device, movie generation method, and program
JP5474417B2 (en) Movie data generation apparatus, movie data generation system, movie data generation method, and computer program
JP6769231B2 (en) Moving image coding device, moving image coding method, moving image decoding device, moving image decoding method, and moving image coding computer program and moving image decoding computer program
JP5333593B2 (en) Movie playback device, movie playback program, and movie playback method
JP2006148615A (en) Decoding device and program for making computer execute encoding method
JP2008035281A (en) Image coding method
JP2007158703A (en) Moving picture generating apparatus, moving picture generating method, and program
JP4668051B2 (en) Movie generation device, movie generation method, and program
JP4633594B2 (en) Movie generation device, movie generation method, and program
WO2014115522A1 (en) Frame rate converter, frame rate conversion method, and display device and image-capturing device provided with frame rate converter
JP2007102571A (en) Apparatus, method, and program for creating animation
JP2007158706A (en) Moving picture generating apparatus, moving picture generating method, and program
US20180063551A1 (en) Apparatus and methods for frame interpolation
JP2007095010A (en) Moving picture generating device, moving picture generation method, and program
JP4881045B2 (en) MOVIE GENERATION DEVICE, MOVIE GENERATION METHOD, AND PROGRAM
JP5238849B2 (en) Electronic device, electronic device control method, and electronic device control program
JP2011146847A (en) Image reproduction controller, image reproduction control method, and imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees