WO2009130886A1 - 動画像符号化装置、撮像装置及び動画像符号化方法 - Google Patents

動画像符号化装置、撮像装置及び動画像符号化方法 Download PDF

Info

Publication number
WO2009130886A1
WO2009130886A1 PCT/JP2009/001813 JP2009001813W WO2009130886A1 WO 2009130886 A1 WO2009130886 A1 WO 2009130886A1 JP 2009001813 W JP2009001813 W JP 2009001813W WO 2009130886 A1 WO2009130886 A1 WO 2009130886A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoding
reference image
decoding
frame
unit
Prior art date
Application number
PCT/JP2009/001813
Other languages
English (en)
French (fr)
Inventor
猪熊一行
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2009801077135A priority Critical patent/CN101960858A/zh
Publication of WO2009130886A1 publication Critical patent/WO2009130886A1/ja
Priority to US12/862,431 priority patent/US20100316123A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Definitions

  • the present invention relates to a moving image encoding device for compressing and encoding a moving image, an imaging device including the same, and a moving image encoding method.
  • FIG. 9 is a configuration diagram of a digital still camera prepared as an example of an imaging device provided with a moving image encoding device.
  • 801 is an image sensor such as a CCD
  • 802 is a TG (Timing Generator) for driving the image sensor 801
  • 803 is an AFE (Analog Front End) for analog processing of the output signal of the image sensor 801
  • 804 is an analog signal.
  • An AD converter 805 for converting into a digital signal is a camera image processing apparatus.
  • the camera image processing device 805 includes a camera signal processing unit 806, a moving image encoding unit 807a, a display unit 808, a memory card control unit 809, a memory controller 810, and a CPU 811.
  • Reference numeral 812 denotes a memory such as an SDRAM
  • reference numeral 813 denotes a memory card.
  • the camera image processing device 805 is generally composed of one semiconductor chip (LSI).
  • a signal output from the image sensor 801 is converted into a digital signal through the AFE 803 and the AD converter 804, converted into a luminance signal and a color signal in the camera signal processing unit 806 of the camera image processing device 805, and then converted into a moving image encoding unit 807a. Encoded to compress the amount of data.
  • the encoded data is stored in an external memory card 813 or the like through the memory card control unit 809. An image is displayed on the display unit 808.
  • the camera signal processing unit 806, the moving image encoding unit 807a, the display unit 808, and the like store necessary data in the memory 812 through the memory controller 810 and perform processing.
  • the CPU 811 controls these overall processes.
  • FIG. 10 shows the configuration of a conventional video encoding device employed in the video encoding unit 807a of the digital still camera.
  • the input image from the camera signal processing unit 806 is stored in the input image buffer area 901 of the memory 812 through the memory controller 810.
  • the moving image encoding process is performed in units of rectangular small areas called macroblocks.
  • the input image is stored until the data is available.
  • inter-frame predictive encoding there is a case where prediction is performed with reference to a future frame. At that time, since the encoding order of the input image is different from the time order of the input frame, it is necessary to store one frame or more. It becomes.
  • the inter-frame prediction encoding unit 902 compresses the data amount by taking the difference from the reference image having a temporal correlation. At this time, the compression efficiency is increased by detecting the place having the highest correlation in accordance with the movement of the image. This is called motion compensation. For this reason, a predetermined area is input from the reference image stored in the memory 812 to the reference image buffer 903, and the motion vector search unit 904 performs a motion vector search using the image in the reference image buffer 903 and the input image. Do. The motion vector search is performed using a known block matching method or the like. When the motion vector is determined by the motion vector search unit 904, a predicted image is generated in the predicted image generation unit 905 accordingly.
  • the predicted image is a part of the reference image when the accuracy of the motion vector is integer accuracy, and an image interpolated by a predetermined filter process is generated when the accuracy of the motion vector is decimal accuracy. Subsequently, the difference image generation unit 906 generates a difference image between the predicted image and the input image.
  • a DCT (Discrete Cosine Transform) unit 908 converts image data into frequency components. This is because the image can be easily compressed by converting the frequency component. Generally, even if the high frequency component of an image changes from the original image, it is difficult for humans to detect it. Therefore, the image is converted into frequency components and quantized by the quantization unit 909 to reduce the data amount. Finally, variable length coding is performed in the variable length coding unit 910. Variable length coding is a coding method that reduces the amount of code by assigning a short code to frequently occurring data. In general, Huffman coding or arithmetic coding is used.
  • the reference image generation unit 911 generates a reference image for predictive encoding of the input frames after the next frame. Since the reference image is also used for decoding in the decoding device, it is generated by decoding the code data. However, since variable length coding is lossless coding, the code that has been subjected to quantization is decoded and generated. That is, the inverse quantization unit 912 performs inverse quantization, the inverse DCT unit 913 performs inverse DCT, the difference image is decoded, and finally the predicted image is added by the image addition unit 914 to become a reference image. A decoded image is generated. The reference image is stored in the reference image buffer area 915 of the memory 812 via the memory controller 810. The generated code data is stored in the code data buffer area 916 of the memory 812 via the memory controller 810.
  • Patent Document 1 proposes a method of compressing a reference image by Hadamard transform.
  • a reference image is not stored as an image, and only a necessary reference image region is obtained at any time by decoding code data of an already encoded image, thereby obtaining a reference image. Memory to be stored and its memory traffic are reduced.
  • Patent Document 1 Hadamard transform is irreversible compression, and if it is applied to a reference image, there is a problem that a mismatch with the decoding device occurs and the image quality is impaired.
  • Patent Document 1 in order to reduce this, the AC coefficient of the code data is partially reduced to remove the high frequency component, but the resolution of the image is lowered.
  • the present invention has been made in view of the above-described points, and an object thereof is to solve a problem related to an increase in reference image access in inter-frame prediction encoding in moving image encoding.
  • the present invention relates to a moving image encoding apparatus that performs compression using inter-frame correlation of moving images, and includes an input image buffer that stores a plurality of continuous input frames, and a plurality of input frames in the input image buffer.
  • a multi-frame parallel processing method inter-frame prediction encoding unit that performs inter-frame predictive encoding processing simultaneously in parallel, a code data buffer that stores encoded data of a plurality of encoded frames, and the code data buffer The code data of all the frames necessary for decoding the reference image is read, and all the code data is decoded in parallel with the inter-frame predictive coding process, so that it is necessary for the inter-frame predictive coding process.
  • An encoding-linked complete decoding method reference image generation unit that generates a reference image of a region when necessary is provided.
  • the multi-frame parallel processing method inter-frame prediction encoding unit outputs a plurality of picture encoding units that perform inter-frame prediction encoding of a plurality of frames in parallel, and an output from the encoding-linked complete decoding method reference image generation unit And an encoding reference image buffer for storing a reference image of an area necessary for use by the picture encoding unit.
  • the multi-frame parallel processing method inter-frame prediction encoding unit includes a plurality of picture encoding units that simultaneously perform inter-frame prediction encoding of a plurality of frames in parallel and the encoding-linked complete decoding method reference image generation unit.
  • a reference image buffer for storing a reference image of an area necessary for use by the picture encoding unit output from the image decoding unit, and decoding the output of the picture encoding unit to use an input frame as a reference image.
  • a local decoding unit that generates a reference image and a local decoding reference image buffer for storing the reference image generated by the local decoding unit may be provided.
  • the encoding-linked complete decoding scheme reference image generating unit reads a plurality of picture decoding units that read code data of all frames necessary for decoding a reference image, and performs decoding of all the frames in parallel. And a plurality of decoding reference picture buffers for storing reference pictures necessary for use by the picture decoding unit.
  • the picture encoding unit of the multi-frame parallel processing inter-frame prediction encoding unit is an I (Intra) picture that has been subjected only to intra-frame encoding or a P (Predictive) picture that has been subjected to forward prediction inter-frame prediction encoding And at least one I / P picture encoding unit that encodes and a plurality of B picture encoding units that encode B (Bidirectionally predictive) pictures that have undergone bi-directional prediction interframe prediction encoding Also good.
  • At least the multiple frame parallel processing method inter-frame prediction encoding unit and the encoding-linked complete decoding method reference image generation unit may be configured in one semiconductor chip (LSI).
  • LSI semiconductor chip
  • the imaging apparatus includes the above-described moving picture encoding apparatus, and is preferably a digital still camera, a video movie, a mobile phone with a camera, or a surveillance camera.
  • a reference image generating step for generating an image correlated with an input frame as a reference image, so-called interframe prediction encoding from the input frame and the reference image
  • An inter-frame predictive encoding step of performing encoded data and outputting encoded data wherein the reference image generating step stores a code output from the inter-frame predictive encoding step
  • the inter-frame predictive encoding step includes: An input image storing step for storing a plurality of continuous input frames, and a plurality of the input images stored in the input image storing step A plurality of inter-frame predictive encoding steps for performing inter-frame predictive encoding on the input frames simultaneously and in parallel.
  • the encoding-linked complete decoding scheme reference image generation unit that generates a necessary reference image as needed in conjunction with the encoding. Capacity and memory traffic can be significantly reduced.
  • a multi-frame parallel processing method inter-frame prediction encoding unit that encodes a plurality of frames in parallel encodes a plurality of frames at a time. There is no need to perform the conversion process in units of one frame, and an increase in the decoding process due to an increase in the number of predictions can be suppressed. Even if the number of predictions is increased to a necessary and sufficient number, Realization is easy.
  • the encoded data is read once by the encoding-linked complete decoding scheme reference image generation unit for a plurality of frames, the memory traffic is further reduced. Therefore, it is possible to further reduce the power consumption of video encoding devices for digital still cameras and camera-equipped mobile phones that require small power consumption, and to enhance performance such as handling HDTV-level moving images while suppressing power increase. It becomes.
  • the multi-frame parallel processing method inter-frame prediction encoding unit can simultaneously encode a plurality of input frames, so that the encoding-linked complete decoding method reference image generation unit can decode a plurality of frames. Since it is performed only once for a plurality of frames at once instead of every time, it is possible to reduce the processing amount per frame and it is easy to realize even if the number of predictions is increased to a necessary and sufficient number. .
  • FIG. 1 is a configuration diagram of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 2 is a configuration diagram of a moving image encoding apparatus provided in the imaging apparatus of FIG.
  • FIG. 3 is a configuration diagram of the I / P picture encoding unit and the local decoding unit according to the embodiment of the present invention.
  • FIG. 4 is a configuration diagram of the P picture decoding unit according to the embodiment of the present invention.
  • FIG. 5A is a diagram illustrating an example of a GOP handled by the moving picture coding apparatus according to the embodiment of the present invention in order of time.
  • FIG. 5B is a diagram illustrating an example of a GOP handled by the moving picture coding apparatus according to the embodiment of the present invention in the order of coding processing.
  • FIG. 5A is a diagram illustrating an example of a GOP handled by the moving picture coding apparatus according to the embodiment of the present invention in order of time.
  • FIG. 5B is a diagram illustrating an example of a GOP handled by the moving picture
  • FIG. 6 is an explanatory diagram of processing contents of the example of the GOP in FIGS. 5A and 5B according to the embodiment of the present invention.
  • FIG. 7 is an explanatory diagram of more detailed processing contents according to the embodiment of the present invention.
  • FIG. 8 is an explanatory diagram of the contents stored in the reference image buffer according to the embodiment of this invention.
  • FIG. 9 is a configuration diagram of a digital still camera including a moving image encoding device.
  • FIG. 10 is a block diagram of a conventional moving picture coding apparatus.
  • FIGS. 5A and 5B an example of a reference relationship between frames when performing interframe predictive coding is shown in FIGS. 5A and 5B.
  • This is a unit of a plurality of frames for performing inter-frame predictive encoding called GOP (Group of pictures), and uses a moving picture coding standard MPEG-2 standardized by MPEG (Moving Picture coding Experts Group).
  • An example is a general format found on a DVD or the like.
  • I is an intra picture (Intra picture), which is encoded only within a frame, does not refer to any frame, and is the source of all frames in the GOP.
  • P is a forward predictive picture (Predictive picture), and a temporally past frame is used as a reference image, and prediction is performed from there to perform encoding.
  • B is a bidirectionally predictive picture (Bidirectionallydirectionalpredictive picture), and past and future frames are used as reference images. Since the B picture refers to a future frame, the time relationship of the actual frame and the coding order are different. 5A shows the order of time, and FIG. 5B shows the order of encoding processing.
  • I1 is encoded. As described above, this does not require a reference image.
  • B1 and B2 located in the past of I1 in terms of time are predictively encoded using I1 as a reference image.
  • the GOP in this example is one in which encoding is completed within one GOP called Closed GOP, and no other GOP is required. Therefore, B1 and B2 are predictively encoded only from I1 of this GOP.
  • P1 is predictively encoded from I1.
  • B1 and B4 which are bidirectional prediction pictures are predictively encoded using I1 and P1 as reference images.
  • P2 is predictively encoded with P1 as a reference image, and thereafter B5 and B6 with P1 and P2 as reference images are predictively encoded.
  • P3 is predictively encoded from P2, and then B7 and B8 are predictively encoded from P2 and P3.
  • P4 is predictively encoded from P3, and then B9 and B10 are predictively encoded from P3 and P4.
  • FIG. 1 is a configuration diagram of an imaging apparatus including, for example, a digital still camera according to an embodiment of the present invention. Parts corresponding to those in FIG. 9 described above are denoted by the same reference numerals and description thereof is omitted. To do.
  • FIG. 2 is a block diagram of the moving picture coding apparatus according to the embodiment of the present invention that constitutes the moving picture coding unit 807 of the image pickup apparatus of FIG. 1, and the parts corresponding to those in FIG. A reference sign is attached.
  • the moving picture coding apparatus is roughly composed of two parts.
  • One is a multi-frame parallel processing inter-frame prediction encoding unit 101, and the other is an encoding-linked complete decoding method reference image generation unit 102.
  • the video encoding unit 807 including the multi-frame parallel processing inter-frame prediction encoding unit 101 and the encoding-linked complete decoding system reference image generation unit 102 is configured in one semiconductor chip (LSI).
  • the multi-frame parallel processing method inter-frame prediction encoding unit 101 performs encoding of a plurality of frames in parallel and outputs code data of a plurality of frames over a plurality of frame periods.
  • An input image buffer area 103 is provided in the memory 812 in order to input a plurality of frames in parallel to the multi-frame parallel processing system inter-frame prediction encoding unit 101.
  • a plurality of continuous input frames are temporarily stored in the input image buffer area 103, and a plurality of frames are output in parallel to the multi-frame parallel processing inter-frame prediction encoding unit 101.
  • the memory 812 and the memory controller 810 are configured as separate chips (LSIs), and it is difficult to provide a plurality of physical connections between them. In practice, however, the image frames are divided into small data units and differ in order. Parallelization is realized by sending frame data.
  • the encoding-linked complete decoding scheme reference image generation unit 102 generates a reference image necessary for encoding as needed in conjunction with encoding. Therefore, the reference image buffer area 915 shown in FIG. 10 described above for storing the reference image for one frame as in the prior art is not necessary.
  • the reference image is generated by decoding all the frames used for encoding the reference image to be generated from the encoded data. Therefore, the necessary code data of all the frames is stored in the code data buffer area 104 in the memory 812.
  • the GOP structure shown in FIGS. 5A and 5B is optimized, and one continuous I picture and two B pictures, or one P picture and two B pictures are arranged in parallel.
  • I1, B1, and B2 in FIGS. 5A and 5B are first processed in parallel, then P1, B3, and B4 are processed in parallel, and thereafter one P and two B are processed in parallel.
  • an I / P picture encoding unit 105 that encodes one I picture or P picture, a first B picture encoding unit 106 and a second B picture encoding unit 107 that are two B picture encoding units are provided.
  • a reference image buffer for first encoding 108 that stores reference images necessary for encoding a P picture obtained from the encoding linked complete decoding method reference image generation unit 102.
  • the B picture is encoded from the I / P picture encoding unit 105 to the lossless compression process in order to use the P picture encoded by the I / P picture encoding unit 105 as a reference image for backward prediction.
  • a local decoding unit 109 that obtains intermediate data and performs local decoding, and a local decoding reference image buffer 110 that stores an image decoded by the local decoding unit 109 for use as a reference image are provided.
  • the B picture uses the reference image obtained from the encoding linked complete decoding scheme reference image generating unit 102 for forward prediction, but the encoding timing is necessarily after the P picture.
  • a second encoding reference image buffer 111 is provided for storing the data so far.
  • the encoding-linked complete decoding scheme reference image generation unit 102 includes one I picture decoding unit 112, three P picture decoding units, a first P picture decoding unit 113, a second P picture decoding unit 114, A third P picture decoding unit 115 is provided.
  • the first decoding reference image buffer 116, the second decoding reference image buffer 117, and the third decoding are used as three decoding reference image buffers for storing reference images necessary for decoding three P pictures.
  • a reference image buffer 118 is provided.
  • the selector 119 selects a reference image required by the multi-frame parallel processing interframe prediction encoding unit 101. For example, in the GOP configuration of FIGS. 5A and 5B, only I1 needs to be decoded at first, so that only the I picture decoding unit 112 operates, and the reference image obtained thereby is used as a multi-frame parallel processing method interframe prediction code. To the conversion unit 101.
  • FIG. 3 is a configuration diagram of the I / P picture encoding unit 105 and the local decoding unit 109. This is basically the same as the conventional example of FIG. Therefore, each component is given the same reference numeral as that of the conventional example, and detailed description thereof is omitted.
  • the B picture encoding units 106 and 107 have the same configuration as the conventional one, and basically the same configuration as the I / P picture encoding unit 105. The only difference is that the reference image is input with two frames for forward prediction and backward prediction.
  • FIG. 4 is a configuration diagram of the P picture decoding units 113-115. It is roughly divided into an intra-frame decoding unit 301 and an inter-frame prediction decoding unit 302.
  • the intra-frame decoding unit 301 further includes a variable length code decoding unit 303, an inverse quantization unit 304, and an inverse DCT unit 305.
  • intra-frame decoding is performed, and an inter-frame predictive encoded image subjected to inter-frame predictive encoding is obtained.
  • the inter-frame predictive decoding unit 302 decodes the inter-frame predictive encoded image.
  • the inter-frame prediction decoding unit 302 includes a prediction image generation unit 306 that generates a prediction image from a reference image, and an image addition unit 307 that obtains a decoded P picture by adding the prediction image and the inter-frame prediction encoded image.
  • a motion vector is sent from the variable-length code decoding unit 303 to the predicted image generation unit 306 in order to generate a predicted image from the reference image.
  • the I picture decoding unit has only an intra-frame decoding unit, and decoding of the I picture is completed only by the intra-frame decoding unit.
  • FIG. 6 is a sequence diagram showing processing performed by each component shown in FIG. 2 when the GOP shown in FIGS. 5A and 5B is encoded. Specifically, an input image frame, an I picture decoding unit 112, a first P picture decoding unit 113, a second picture decoding unit 114, a third picture decoding unit 115, an I / P picture encoding unit 105, a local The decoding unit 109, the first B picture encoding unit 106, the second B picture encoding unit 107, and the processing amount are shown.
  • I1, B1, and B2 are encoded in parallel.
  • the I / P picture encoding unit 105 encodes I1.
  • the local decoding unit 109 decodes reference images necessary for encoding B1 and B2, and stores them in the locally decoded reference image buffer 110.
  • the first B picture encoding unit 106 performs B1 encoding
  • the second B picture encoding unit 107 performs B2 encoding.
  • P1, B3, and B4 are encoded in parallel.
  • I1 is decoded by the I picture decoding unit 112, and a reference image necessary for encoding P1 is generated.
  • the generated reference image necessary for encoding is sent to the inter-frame predictive encoding unit 101 through the selector 119 and stored in the first encoding reference image buffer 108.
  • P1 is encoded by the I / P picture encoding unit 105.
  • a reference image necessary for encoding B3 and B4 is decoded by the local decoding unit 109 and stored in the local decoding reference image buffer 110.
  • the reference image stored in the first encoding reference image buffer 108 is sent to the second encoding reference image buffer 111.
  • This reference image is necessary for forward encoding of the B picture, but since the encoding of the B picture is performed after the encoding of P1, it is stored in order to fill the time difference.
  • the first B picture encoding unit 106 uses the reference images stored in the local decoding reference image buffer 110 and the second encoding reference image buffer 111, the first B picture encoding unit 106 performs the encoding of B3, and the second B picture encoding unit 107. In step B4, encoding is performed.
  • P2, B5, and B6 are encoded in parallel.
  • I1 is decoded again by the I picture decoding unit 112, a reference image necessary for decoding P1 is generated, and stored in the first decoding reference image buffer 116.
  • the first P picture decoding unit 113 performs P1 decoding using the reference image stored in the first decoding reference image buffer 116, and generates a reference image necessary for encoding.
  • the generated reference image necessary for encoding is sent to the inter-frame predictive encoding unit 101 through the selector 119 and stored in the first encoding reference image buffer 108.
  • P2 is encoded by the I / P picture encoding unit 105.
  • reference images necessary for encoding B5 and B6 are decoded by the local decoding unit 109 and stored in the local decoding reference image buffer 110. Is done.
  • the reference image stored in the first encoding reference image buffer 108 is sent to the second encoding reference image buffer 111.
  • the first B picture encoding unit 106 uses the reference images stored in the locally decoded reference image buffer 110 and the second encoding reference image buffer 111 to generate The second B picture encoding unit 107 performs encoding of B6.
  • P3, B7, and B8 are encoded in parallel.
  • I1 is decoded again by the I picture decoding unit 112, a reference image necessary for decoding P1 is generated, and stored in the first decoding reference image buffer 116.
  • the first P picture decoding unit 113 performs P1 decoding using the reference image stored in the first decoding reference image buffer 116, and generates a reference image necessary for P2 decoding. It is stored in the second decoding reference image buffer 117.
  • the second P picture decoding unit 114 performs P2 decoding using the reference image stored in the second decoding reference image buffer 117, and generates a reference image necessary for encoding.
  • the generated reference image necessary for encoding is sent to the inter-frame predictive encoding unit 101 through the selector 119 and stored in the first encoding reference image buffer 108.
  • P3 is encoded by the I / P picture encoding unit 105.
  • the reference image necessary for encoding B7 and B8 is decoded by the local decoding unit 109 and stored in the local decoding reference image buffer 110. Is done.
  • the reference image stored in the first encoding reference image buffer 108 is sent to the second encoding reference image buffer 111.
  • the first B picture encoding unit 106 uses the reference images stored in the local decoding reference image buffer 110 and the second encoding reference image buffer 111, and B7
  • the second B picture encoding unit 107 performs encoding of B8.
  • P4, B9 and B10 are encoded in parallel.
  • I1 is decoded by the I picture decoding unit 112, a reference image necessary for decoding P1 is generated, and stored in the first decoding reference image buffer 116.
  • the first P picture decoding unit 113 performs P1 decoding using the reference image stored in the first decoding reference image buffer 116, and generates a reference image necessary for P2 decoding. It is stored in the second decoding reference image buffer 117.
  • the second P picture decoding unit 114 performs P2 decoding using the reference image stored in the second decoding reference image buffer 117, and generates a reference image necessary for P3 decoding. It is stored in the third decoding reference image buffer 118.
  • the third P picture decoding unit 115 performs P3 decoding using the reference image stored in the third decoding reference image buffer 118, and generates a reference image necessary for encoding.
  • the generated reference image necessary for encoding is sent to the inter-frame predictive encoding unit 101 through the selector 119 and stored in the first encoding reference image buffer 108.
  • P4 is encoded by the I / P picture encoding unit 105.
  • the local decoding unit 109 decodes reference images necessary for encoding B9 and B10 and stores them in the locally decoded reference image buffer 110. Is done.
  • the reference image stored in the first encoding reference image buffer 108 is sent to the second encoding reference image buffer 111.
  • the first B picture encoding unit 106 uses the reference images stored in the local decoding reference image buffer 110 and the second encoding reference image buffer 111 to The second B picture encoding unit 107 performs encoding of B10.
  • the processing amount of each stage is shown at the bottom.
  • encoding is performed for 3 frames and decoding is performed for 5 frames in a 3-frame period.
  • decoding is performed for one frame in one frame period. Therefore, compared with normal processing, encoding is the same, decoding is 5/3 times, and overall is 4/3 times. Although it is a processing amount, it is not a difficult level.
  • FIG. 7 is a sequence diagram showing the operation of the fifth stage in units of macroblock lines.
  • the I picture decoding unit 112 performs I1 decoding
  • the first decoding reference image buffer 116 performs P1 decoding
  • the second decoding reference image buffer 117 performs and the second P P2 decoding of the picture decoding unit 114
  • the third decoding reference image buffer 118 performs P3 decoding of the third P picture decoding unit 115
  • P4 coding of the I / P picture coding unit 105 performs the local decoding unit 109
  • local coding reference image buffer 110 B9 coding of the first B picture coding unit 106
  • second B picture coding 7 is a sequence diagram showing B10 encoding of a unit 107.
  • a macroblock line is a macroblock that is a basic unit of encoding and is aligned in a frame that is encoded in the horizontal direction.
  • Macroblocks for the motion compensation range in the vertical direction are used for motion compensation prediction encoding. It is necessary to prepare a line as a reference image. This is shown in FIG. In the example of FIG. 8, the motion vector search range for motion compensation is set to ⁇ 32 pixels (for two macroblocks) in the horizontal direction and ⁇ 16 pixels (for one macroblock) in the vertical direction. Accordingly, there are 5 horizontal blocks and 3 vertical macroblocks in the motion search range, and the reference image in that region must be retained during the motion vector search process. As can be seen from FIG. 8, it is necessary to store at least 2 macroblock lines + horizontal search area reference images in the reference image buffer.
  • T1 to T7 represent periods for processing one macroblock line.
  • I1 decoding is performed by the I picture decoding unit 112, and a reference image necessary for decoding P1 is generated.
  • images of the first macroblock line and the second macroblock line of I1 are necessary as reference images. That is, when the first macroblock line of I1 is decoded in the period T1, and the horizontal motion compensation amount of the second macroblock line is decoded in the period T2, the first P picture decoding unit 113 Decoding of the first macroblock line of P1 at can begin. Since FIG.
  • the decoding of the second macroblock line of I1 and the decoding of the first macroblock line of P1 are performed at T2 in the same period.
  • the first decoding reference image buffer 116 areas necessary for motion compensation are stored in the first macroblock line and the second macroblock line of I1.
  • an image of the third macroblock line from the first macroblock line of I1 is required as a reference image.
  • the second macroblock line of P1 is decoded.
  • the decoding of the third macroblock line of I1 and the decoding of the second macroblock line of P1 are performed in the same period T3.
  • an area necessary for motion compensation is stored in the first to third macroblock lines of I1.
  • the third and subsequent macroblock lines of P1 are similarly decoded.
  • the second P picture decoding unit 114 performs decoding of P2. Similar to the decoding of P1, decoding of the first macroblock line of P2 requires an image of the first macroblock line and the second macroblock line of P1. That is, when the first macroblock line of P1 is decoded in the period T2, and the horizontal motion compensation amount of the second macroblock line is decoded in the period T3, the second P picture decoding unit 114 is decoded.
  • the decoding of the first macroblock line of P2 in can be started, and the decoding of the second macroblock line of P1 and the decoding of the first macroblock line of P2 are performed in the same period T3.
  • the second decoding reference image buffer 117 areas necessary for motion compensation are stored in the first macroblock line and the second macroblock line of P1. Subsequently, an image of the third macroblock line from the first macroblock line of P1 is required for decoding of the second macroblock line of P2.
  • the decoding of the second macroblock line of P2 can be started, and the decoding of the third macroblock line of P1 Decoding of the second macroblock line of P2 is performed in the same period T4.
  • an area necessary for motion compensation is stored in the third macroblock line from the first macroblock line of P1. Thereafter, the third and subsequent macroblock lines of P2 are similarly decoded.
  • the third P picture decoding unit 115 performs decoding of P3. Similar to the decoding of P2, the decoding of the first macroblock line of P3 requires the images of the first macroblock line and the second macroblock line of P2 as reference images. That is, when the first macroblock line of P2 is decoded in period T3 and the horizontal motion compensation amount of the second macroblock line is decoded in period T4, the third P picture decoding unit 115 is decoded. Decoding of the first macroblock line of P3 in can be started, and decoding of the second macroblock line of P2 and decoding of the first macroblock line of P3 are performed in the same period T4.
  • the third decoding reference image buffer 118 areas necessary for motion compensation are stored in the first macroblock line and the second macroblock line of P2. Subsequently, decoding of the second macroblock line of P3 requires an image of the third macroblock line from the first macroblock line of P2.
  • decoding of the second macroblock line of P3 can be started, and decoding of the third macroblock line of P2 Decoding of the second macroblock line of P3 is performed in the same period T5.
  • an area necessary for motion compensation is stored in the third macroblock line from the first macroblock line of P2. Thereafter, the third and subsequent macroblock lines of P3 are similarly decoded. Note that the P3 image decoded by the third P picture decoding unit 115 is stored in the first encoding reference image buffer 108.
  • P4 encoding is performed by the I / P picture encoding unit 105.
  • the first macroblock line of P3 is decoded
  • the horizontal motion compensation of the second macroblock line is decoded and stored in the first encoding reference image buffer 108.
  • the I / P picture encoding unit 105 can start encoding the first macroblock line of P4. That is, the encoding of the first macroblock line of P4 is performed in the period T5.
  • the horizontal motion compensation amount of the third macroblock line is decoded in the period T6
  • a reference image for backward prediction encoding of B9 and B10 is generated by decoding P4 in the local decoding unit 109. That is, in the same period T5, the first macroblock line of P4 is decoded, and the first macroblock line of the reference image for backward prediction encoding of B9 and B10 is generated. Similarly, the decoding of the second macroblock line of P4 is performed in the period T6. These reference images are stored in the locally decoded reference image buffer 110.
  • encoding of B9 and B10 is performed by the first B picture encoding unit 106 and the second B picture encoding unit 107, respectively.
  • the images of the first macroblock line and the second macroblock line of P3 are necessary as reference images for forward prediction
  • the first macroblock line of P4 Images of the macro block line and the second macro block line are necessary as reference images for backward prediction.
  • the first macroblock line of P4 is decoded in the period T5, and the horizontal motion compensation amount of the second macroblock line of P4 is decoded in the period T6, and the locally decoded reference image is decoded.
  • the buffer 110 When stored in the buffer 110, backward prediction encoding of the first macroblock lines B9 and B10 can be started.
  • the P3 image as the reference image for forward prediction encoding stored in the first encoding reference image buffer 108 is stored in the second encoding reference image buffer 111. Transferred.
  • the second coding reference image buffer 111 stores the contents of the first coding reference image buffer 108 before 1T. That is, in the period T6, the second encoding reference image buffer 111 stores images of the first macroblock line and the second macroblock line of P3 as reference images for forward prediction, and the local decoding reference image buffer.
  • the images of the first macroblock line and the second macroblock line of P4 are stored as reference images for backward prediction. Then, using both, encoding of B9 and B10 is performed by the first B picture encoding unit 106 and the second B picture encoding unit 107 during the period T6, respectively. Subsequently, similarly, the second macroblock lines B9 and B10 are encoded.
  • the first to third macroblock line images of P3 are required as reference images for forward prediction, and the first to third macroblock line images of P4 Is necessary as a reference image for backward prediction.
  • the first to third macroblock line images of P3 are stored in the second encoding reference image buffer 111, and the first to third macroblock line images of P4 are locally decoded reference images.
  • the second macroblock lines B9 and B10 stored in the buffer 110 are encoded by the first B picture encoding unit 106 and the second B picture encoding unit 107, respectively. Thereafter, the third and subsequent macroblock lines of B9 and B10 are similarly encoded.
  • decoding and encoding are sequentially performed with a time difference corresponding to one macroblock line. Note that as the motion compensation range in the vertical direction becomes wider, the number of reference images to be stored in the buffer increases, and the time difference between each decoding and encoding also increases.
  • the number of parallel encodings is set to 3 and only one P picture is encoded.
  • the idea of the present invention is such that the parallel number is further increased or a plurality of P pictures are supported.
  • the present invention can be implemented with modifications and expansions without departing from the main features.
  • the present invention is useful as a moving picture encoding apparatus in an imaging apparatus such as a digital still camera, a video movie, a camera-equipped mobile phone, and a surveillance camera, which are small and require low power consumption.
  • Multi-frame parallel processing method inter-frame prediction encoding unit 102 Coding interlocking complete decoding method reference image generating unit 103 Input image buffer area 104 Code data buffer area 105 I / P picture encoding unit 106 1B picture encoding unit 107 2B picture encoding unit 108 First encoding reference image buffer 109 Local decoding unit 110 Local decoding reference image buffer 111 Second encoding reference image buffer 112 I picture decoding unit 113 First P picture decoding unit 114 2P picture decoding unit 115 Third P picture decoding unit 116 First decoding reference image buffer 117 Second decoding reference image buffer 118 Third decoding reference image buffer 119 Selector

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

フレーム間予測符号化を行う動画像符号化装置において、画像サイズの拡大に伴う参照画像のメモリトラフィックの増大を削減する。符号化と連動して必要な参照画像を必要な時に随時生成する符号化連動完全復号方式参照画像生成部と、複数のフレームの符号化を並列に行う複数フレーム並列処理方式フレーム間予測符号化部を持つ。これにより、参照画像を画像としてメモリに記憶しておく必要がないのでメモリ容量とメモリトラフィックを大幅に削減することができ、一度に複数のフレームの符号化を並列に行うため、符号化連動完全復号方式参照画像生成部での復号化処理量を抑えるとともにさらにメモリトラフィックを削減できる。

Description

動画像符号化装置、撮像装置及び動画像符号化方法
　本発明は、動画像を圧縮して符号化するための動画像符号化装置、それを備える撮像装置及び動画像符号化方法に関する。
　近年、ビデオムービーに加え、デジタルスチルカメラやカメラ付き携帯電話機が大きく普及し、手軽に画像を扱えるようになってきている。静止画に比べてデータ量の多い動画も圧縮技術の進展により扱いが容易になり、従来のビデオムービーだけでなく、デジタルスチルカメラやカメラ付き携帯電話でも動画が扱えるようになっている。動画の圧縮には通常、フレーム間の相関を利用したフレーム間予測符号化を用いて圧縮率を高めているが、そのためには少なくとも１フレーム分の画像を参照用の画像（以降、参照画像と記す）として記憶しておく必要がある。また、フレーム間予測符号化を効果的に行うためには画像の動きを検出し、それに合わせて画像の最も相関の高い部分を検出して符号化する動き補償を行う必要があるが、それにより参照画像へのアクセスが増大する。デジタルスチルカメラやカメラ付き携帯電話のような小型の携帯機器においては、この参照画像へのアクセスの増大が大きな問題となってきている。
　図９は、動画像符号化装置を備えた撮像装置の例として用意したデジタルスチルカメラの構成図である。
　図９において、８０１はＣＣＤ等のイメージセンサ、８０２はイメージセンサ８０１を駆動するＴＧ（Timing Generator）、８０３はイメージセンサ８０１の出力信号をアナログ処理するＡＦＥ（Analog Front End）、８０４はアナログ信号をデジタル信号に変換するＡＤコンバータ、８０５はカメラ画像処理装置である。カメラ画像処理装置８０５は、カメラ信号処理部８０６、動画像符号化部８０７ａ、表示部８０８、メモリカード制御部８０９、メモリコントローラ８１０、ＣＰＵ８１１から構成される。８１２はＳＤＲＡＭ等のメモリであり、８１３はメモリカードである。なお、カメラ画像処理装置８０５は、一つの半導体チップ（ＬＳＩ）で構成されることが一般的である。
　イメージセンサ８０１から出力された信号は、ＡＦＥ８０３、ＡＤコンバータ８０４を通じてデジタル信号に変換され、カメラ画像処理装置８０５のカメラ信号処理部８０６で輝度信号と色信号に変換され、動画像符号化部８０７ａでデータ量を圧縮するために符号化される。符号化されたデータは、メモリカード制御部８０９を通じて外部のメモリカード８１３等に保存される。また、表示部８０８により画像が表示される。カメラ信号処理部８０６、動画像符号化部８０７ａ、表示部８０８等は、メモリコントローラ８１０を通じてメモリ８１２に必要なデータを格納し、処理を行う。ＣＰＵ８１１は、これらの全体の処理を制御する。
　前記デジタルスチルカメラの動画像符号化部８０７ａに採用される従来例の動画像符号化装置の構成を図１０に示す。
　図１０において、カメラ信号処理部８０６からの入力画像は、メモリコントローラ８１０を通じてメモリ８１２の入力画像バッファ領域９０１に記憶される。通常、動画像符号化の処理は、マクロブロックと呼ぶ矩形の小領域単位で処理される。そのデータが揃うまで入力画像は記憶される。また、フレーム間予測符号化において、未来のフレームを参照して予測する場合があり、その時は入力画像の符号化の順番が入力フレームの時刻順とは異なるために、１フレーム以上の記憶が必要となる。
　次に、フレーム間予測符号化部９０２において、時間相関のある参照画像との差分を取ることでデータ量を圧縮する。この時、画像の動きに合わせて最も相関の高い所を検出することで圧縮効率を上げるようにする。これを動き補償と言う。このため、メモリ８１２に記憶されている参照画像から所定のエリアを参照画像バッファ９０３に入力し、動きベクトル探索部９０４にて、参照画像バッファ９０３内の画像と入力画像を使って動きベクトル探索を行う。動きベクトル探索は公知のブロックマッチング法等を使用して行われる。動きベクトル探索部９０４により動きベクトルが決定されると、それに従い予測画像生成部９０５において予測画像が生成される。予測画像は、動きベクトルの精度が整数精度の場合は参照画像の一部の切り出しとなり、少数精度の場合は所定のフィルタ処理により補間された画像が生成される。続いて差分画像生成部９０６において、予測画像と入力画像の差分画像が生成される。
　次に、差分画像はフレーム内符号化部９０７において、フレーム内符号化が行われる。フレーム内符号化では、まずＤＣＴ（Discrete Cosine Transform）部９０８において、画像データを周波数成分に変換する。周波数成分に変換することで画像を圧縮しやすい形態にすることができるからである。一般に画像の高周波成分は、元の画像から変化しても人間には感知されにくい。そこで画像を周波数成分に変換し、量子化部９０９において量子化してデータ量を削減する。最後に可変長符号化部９１０において、可変長符号化が行われる。可変長符号化は、発生頻度の多いデータに短い符号を充てることで符号量を削減する符号化方式である。一般的にはハフマン符号化や算術符号化が用いられる。
　次に、次フレーム以降の入力フレームの予測符号化のための参照画像の生成を参照画像生成部９１１にて行う。参照画像は復号化装置での復号化にも用いられるため、符号データを復号化して生成するが、可変長符号化は可逆符号化なので、量子化まで行われた符号を復号して生成する。すなわち逆量子化部９１２で逆量子化が行われ、逆ＤＣＴ部９１３で逆ＤＣＴが行われて差分画像が復号化され、最後に画像加算部９１４にて予測画像が加算されて参照画像となる復号化された画像が生成される。参照画像はメモリコントローラ８１０を介してメモリ８１２の参照画像バッファ領域９１５に記憶される。なお、生成された符号データはメモリコントローラ８１０を介してメモリ８１２の符号データバッファ領域９１６に記憶される。
　このように、従来の動画像符号化装置では、フレーム間予測符号化のために、少なくとも1フレームの画像データを参照画像としてメモリ８１２に記憶しておく必要がある。今後、扱う画像サイズはさらに大きくなることが予想され、ＨＤＴＶレベルの動画像を扱う場合、参照画像記憶のために必要なメモリ、及び、メモリへの書き込みと読み出しのメモリトラフィックの増大は、デジタルカメラのような小型かつ低消費電力が要求される携帯機器を実現するにあたって大きな問題となってきている。
　これまでに参照画像のメモリ容量やメモリトラフィックを低減するためにいくつかの提案がなされている。
　特許文献１においては、参照画像をアダマール変換により圧縮する方法が提案されている。特許文献２においては、参照画像を画像として記憶しておかず、既に符号化された画像の符号データを復号することで必要な参照画像領域のみを符号化の際に随時得ることで、参照画像を記憶するメモリとそのメモリトラフィックを削減している。
特許第３５６８３９２号公報 特開２００３－０７００００号公報
　特許文献１においては、アダマール変換は非可逆圧縮であり、参照画像にそれを施すと復号化装置側とのミスマッチが発生し画質を損なう問題ある。特許文献１ではそれを軽減するために符号データのＡＣ係数を一部削減し高域成分を除去することを行なっているが、画像の解像度が低下してしまう。
  特許文献２においては、ミスマッチは発生しないが、参照画像を復号するためにはフレーム間予測符号化を最初に行ったフレームを含めて符号化に使用した全フレームの復号を行なう必要があるため、毎フレームの符号化において予測回数分の複数の復号化処理を行うこととなり、復号化処理量が膨大なものになってしまう問題がある。そのため、実現のためには予測回数を抑えるなどの制約が必要となり、符号化効率が低下してしまう。
　本発明は、上述のような点に鑑みてなされたものであって、動画像符号化におけるフレーム間予測符号化での参照画像アクセスの増大に関する課題を解決すること目的とする。
　本発明は、動画像のフレーム間相関を利用して圧縮を行う動画像符号化装置であって、連続する複数の入力フレームを記憶する入力画像バッファと、前記入力画像バッファ内の複数の入力フレームに対し同時並列的にフレーム間予測符号化処理を行う複数フレーム並列処理方式フレーム間予測符号化部と、符号化された複数のフレームの符号データを記憶する符号データバッファと、前記符号データバッファから参照画像の復号に必要な全てのフレームの符号データを読み出し、前記フレーム間予測符号化処理と同時並列的に前記全ての符号データを復号化することで、前記フレーム間予測符号化処理に必要な領域の参照画像を必要な時に生成する符号化連動完全復号方式参照画像生成部と備えている。
　前記複数フレーム並列処理方式フレーム間予測符号化部は、複数フレームのフレーム間予測符号化を同時並列的に実施する複数のピクチャ符号化部と、前記符号化連動完全復号方式参照画像生成部から出力された前記ピクチャ符号化部が使用するために必要な領域の参照画像を記憶する符号化用参照画像バッファとを備えてもよい。
  また、前記複数フレーム並列処理方式フレーム間予測符号化部は、複数フレームのフレーム間予測符号化を同時並列的に実施する複数のピクチャ符号化部と、前記符号化連動完全復号方式参照画像生成部から出力された前記ピクチャ符号化部が使用するために必要な領域の参照画像を記憶する符号化用参照画像バッファと、入力フレームを参照画像として使用するために前記ピクチャ符号化部の出力を復号して参照画像を生成する局所復号化部と、前記局所復号化部にて生成した参照画像を記憶するための局所復号化参照画像バッファとを備えてもよい。
  前記符号化連動完全復号方式参照画像生成部は、参照画像の復号に必要な全てのフレームの符号データを読み込み、前記全てのフレームの復号化を同時並列的に実施する複数のピクチャ復号化部と、前記ピクチャ復号化部が使用するために必要な参照画像を記憶する複数の復号化用参照画像バッファとを備えてもよい。
  前記複数フレーム並列処理方式フレーム間予測符号化部の前記ピクチャ符号化部は、フレーム内符号化のみ施されたＩ（Intra）ピクチャもしくは前方予測フレーム間予測符号化を施されたＰ（Predictive）ピクチャの符号化を行う少なくとも一つのＩ／Ｐピクチャ符号化部と、両方向予測フレーム間予測符号化を施されたＢ（Bidirectionally predictive）ピクチャの符号化を行う複数のＢピクチャ符号化部とを備えてもよい。
  また、少なくとも前記複数フレーム並列処理方式フレーム間予測符号化部と前記符号化連動完全復号方式参照画像生成部とは、１つの半導体チップ（ＬＳＩ）内に構成してもよい。
  本発明の撮像装置は、上記動画像符号化装置を備えており、デジタルスチルカメラ、ビデオムービー、カメラ付き携帯電話機または監視カメラのいずれかであるのが好ましい。
  本発明は、動画像の時間相関を利用して圧縮を行うため、入力フレームと相関のある画像を参照画像として生成する参照画像生成ステップと、入力フレームと前記参照画像から所謂フレーム間予測符号化を行い符号データを出力するフレーム間予測符号化ステップとを含む動画像符号化方法であって、前記参照画像生成ステップは、前記フレーム間予測符号化ステップの出力した符号を記憶する符号データ記憶ステップと、前記符号データ記憶ステップで記憶された参照画像を復号するために必要な全ての符号データを復号することで参照画像を生成する参照画像復号ステップとを含み、前記フレーム間予測符号化ステップは、連続する複数の入力フレームを記憶する入力画像記憶ステップと、前記入力画像記憶ステップで記憶された複数の入力フレームに対し同時並列的にフレーム間予測符号化を行う複数のフレーム間予測符号化ステップとを含んでいる。
  本発明によると、符号化と連動して必要な参照画像を必要な時に随時生成する符号化連動完全復号方式参照画像生成部により、参照画像を画像としてメモリに記憶しておく必要がなく、メモリ容量とメモリトラフィックを大幅に削減することができる。さらに、複数のフレームを並列に符号化を行う複数フレーム並列処理方式フレーム間予測符号化部により、一度に複数のフレームの符号化を行うため、符号化連動完全復号方式参照画像生成部での復号化処理を１枚のフレーム単位で行う必要がなく、予測回数の増加による復号化処理の増大を抑えることができ、予測回数を必要十分な回数までに増加させても現実的な回路規模での実現が容易となる。加えて、複数のフレームに対して符号化連動完全復号方式参照画像生成部での符号データ読み込みが1回分で済むため、メモリトラフィックもさらに減少する。したがって、小型で低消費電力が要求されるデジタルスチルカメラやカメラ付き携帯電話機の動画符号化装置のさらなる低消費電力化や、電力増大を抑えつつＨＤＴＶレベルの動画像を扱う等の性能強化が可能となる。
　本発明によれば、符号データバッファから符号化連動完全復号方式参照画像生成部によって参照画像を生成することにより参照画像を画像としてメモリに記憶する必要がないため、参照画像用メモリとそのメモリトラフィックを大幅に削減できるとともに、複数フレーム並列処理方式フレーム間予測符号化部により、複数の入力フレームを同時に符号化できるため、符号化連動完全復号方式参照画像生成部での複数フレームの復号化をフレーム毎に毎回ではなく、複数フレームに対し一括して1回のみ行なうので、１フレーム当たりの処理量を削減することができ、予測回数を必要十分な回数までに増加させても実現が容易となる。
図１は、本発明の実施の形態の撮像装置の構成図である。 図２は、図１の撮像装置に備えられる動画像符号化装置の構成図である。 図３は、本発明の実施の形態のＩ／Ｐピクチャ符号化部と局所復号化部の構成図である。 図４は、本発明の実施の形態のＰピクチャ復号化部の構成図である。 図５Ａは、本発明の実施の形態の動画像符号化装置が扱うＧＯＰの例を時刻順に示す図である。 図５Ｂは、本発明の実施の形態の動画像符号化装置が扱うＧＯＰの例を符号化処理順に示す図である。 図６は、本発明の実施の形態における図５Ａ，図５ＢのＧＯＰの例の処理内容の説明図である。 図７は、本発明の実施の形態のより詳細な処理内容の説明図である。 図８は、本発明の実施の形態の参照画像バッファの記憶内容の説明図である。 図９は、動画像符号化装置を備えたデジタルスチルカメラの構成図である。 図１０は、従来例の動画像符号化装置の構成図である。
　次に本発明の実施の形態を、図１～８に基づいて説明する。
　まず、フレーム間予測符号化を行う場合の各フレーム間の参照関係の例を図５Ａ，図５Ｂに示す。これはＧＯＰ（Group of pictures）と呼ばれるフレーム間予測符号化を行う複数のフレームのまとめた単位であり、ＭＰＥＧ（Moving Picture coding Experts Group）が規格化した動画像符号化規格ＭＰＥＧ－２を使用したＤＶＤなどで見られる一般的な形式を例としている。Ｉはイントラピクチャ（Intra picture）のことであり、フレーム内での符号化のみを行っており、どのフレームも参照せず、ＧＯＰ内の全てのフレームの元となるものである。Ｐは前方予測ピクチャ（Predictive picture）のことであり、時間的に過去のフレームを参照画像とし、そこから予測して符号化を行う。Ｂは両方向予測ピクチャ（Bidirectionally predictive picture）のことであり、過去と未来のフレームを参照画像とする。Ｂピクチャは未来のフレームを参照するために実際のフレームの時刻関係と符号化順が異なる。図５Ａが時刻順であり、図５Ｂが符号化処理順である。
　まず、Ｉ１が符号化される。これは前述の通り参照画像を必要としない。次に時刻的にＩ１の過去に位置するＢ１、Ｂ２が、Ｉ１を参照画像として予測符号化される。説明を簡単にするために、この例のＧＯＰはClosed GOPと呼ばれる一つのＧＯＰ内で符号化が完結し、他のＧＯＰを必要としないものである。そのためＢ１、Ｂ２は本ＧＯＰのＩ１からのみ予測符号化される。次にＰ１がＩ１から予測符号化される。その後Ｉ１とＰ１を参照画像として両方向予測ピクチャであるＢ３、Ｂ４が予測符号化される。続いてＰ２がＰ１を参照画像として予測符号化され、その後Ｐ１とＰ２を参照画像とするＢ５、Ｂ６が予測符号化される。続いて同様にＰ３がＰ２から予測符号化され、その後Ｂ７とＢ８がＰ２とＰ３から予測符号化される。さらに同様にＰ４がＰ３から予測符号化され、その後Ｂ９とＢ１０がＰ３とＰ４から予測符号化される。
　次に図１及び図２を用い、本発明の実施の形態を説明する。図１は、本発明の実施形態に係る、例えば、デジタルスチルカメラからなる撮像装置の構成図であり、上述の図９に対応する部分には、同一の参照符号を付し、その説明を省略する。
　図２は、図１の撮像装置の動画像符号化部８０７を構成する本発明の実施形態に係る動画像符号化装置の構成図であり、上述の図１０に対応する部分には、同一の参照符号を付す。
　本実施の形態の動画像符号化装置は大きく分けて２つの部分から構成される。一つは複数フレーム並列処理方式フレーム間予測符号化部１０１であり、もう一つは符号化連動完全復号方式参照画像生成部１０２である。これら複数フレーム並列処理方式フレーム間予測符号化部１０１と符号化連動完全復号方式参照画像生成部１０２からなる動画像符号化部８０７は、１つの半導体チップ（ＬＳＩ）内に構成される。
　複数フレーム並列処理方式フレーム間予測符号化部１０１は、複数のフレームの符号化を並列に実施し、複数フレーム期間をかけて複数フレームの符号データを出力するものである。複数のフレームを並列に複数フレーム並列処理方式フレーム間予測符号化部１０１に入力するために、メモリ８１２内に入力画像バッファ領域１０３が設けられる。入力画像バッファ領域１０３に連続する複数の入力フレームが一旦記憶され、複数フレーム並列処理方式フレーム間予測符号化部１０１に複数のフレームが並列に出力される。なお、通常、メモリ８１２とメモリコントローラ８１０は別チップ（ＬＳＩ）で構成され、両者の物理的な接続を複数設けることは困難であるため、実際は、画像フレームを小さなデータ単位で区切り、順番に異なるフレームのデータを送ることで並列化を実現している。
　符号化連動完全復号方式参照画像生成部１０２は、符号化に必要な参照画像を符号化と連動して随時生成するものである。そのため、参照画像を従来のように1フレーム分記憶しておくための上述の図１０に示される参照画像バッファ領域９１５は必要無い。参照画像を符号化と連動して随時生成するために、生成対象の参照画像の符号化に使用された全てのフレームを符号データから復号化することで参照画像を生成する。そのため、必要な全てのフレームの符号データをメモリ８１２内の符号データバッファ領域１０４に記憶する。このように参照画像を生成するためには符号データを読み込めば良く、従来の動画像符号化装置のように画像を読み込む必要が無いためメモリトラフィックは大幅に減少する。
　次に、複数フレーム並列処理方式フレーム間予測符号化部１０１の内部構成を説明する。本実施の形態は、前述の図５Ａ，図５Ｂで示したＧＯＰ構造に最適化を図っており、連続する１つのＩピクチャと２つのＢピクチャ、もしくは１つのＰピクチャと２つのＢピクチャを並列に処理する。すなわち、図５Ａ，図５ＢにおけるＩ１、Ｂ１、Ｂ２を最初に並列処理し、次にＰ１、Ｂ３、Ｂ４を並列処理し、以下同様に１つのＰと２つのＢを並列処理していく。そのために１つのＩピクチャもしくはＰピクチャを符号化するＩ／Ｐピクチャ符号化部１０５と、２つのＢピクチャ符号化部である第１Ｂピクチャ符号化部１０６と第２Ｂピクチャ符号化部１０７を備える。また、Ｐピクチャの符号化のために必要な参照画像を、符号化連動完全復号方式参照画像生成部１０２から得て記憶しておく第１符号化用参照画像バッファ１０８を備える。ＢピクチャはＩ／Ｐピクチャ符号化部１０５にて符号化を行ったＰピクチャを後方予測用の参照画像として使用するために、Ｉ／Ｐピクチャ符号化部１０５から可逆圧縮工程前までの符号化途中のデータを得て局所復号化する局所復号化部１０９と、局所復号化部１０９で復号された画像を参照画像として使用するために記憶しておく局所復号化参照画像バッファ１１０を備える。また、ＢピクチャはＰピクチャと同様に、符号化連動完全復号方式参照画像生成部１０２から得た参照画像を前方予測用に使用するが、符号化のタイミングが必然的にＰピクチャの後になるためそこまで記憶しておくための第２符号化用参照画像バッファ１１１を備える。
　次に、符号化連動完全復号方式参照画像生成部１０２の内部構成例について説明する。同様に図５Ａ，図５ＢのＧＯＰ構成に対応することを考える。後で詳しく述べるが、図５Ａ，図５ＢのＧＯＰ構成では最終段ではＰ４、Ｂ９、Ｂ１０を並列に符号化する。そのためには、Ｐ３を参照画像として生成する必要がある。すなわち、Ｉ１、Ｐ１、Ｐ２、Ｐ３の復号が必要となる。そのために符号化連動完全復号方式参照画像生成部１０２は、１つのＩピクチャ復号化部１１２と、３つのＰピクチャ復号化部である第１Ｐピクチャ復号化部１１３、第２Ｐピクチャ復号化部１１４、第３Ｐピクチャ復号化部１１５を備える。また、３つのＰピクチャの復号化に必要な参照画像を記憶する３つの復号化用参照画像バッファとして第１復号化用参照画像バッファ１１６、第２復号化用参照画像バッファ１１７、第３復号化用参照画像バッファ１１８を備える。なお、セレクタ１１９は、複数フレーム並列処理方式フレーム間予測符号化部１０１が必要とする参照画像を選択するものである。例えば、図５Ａ，図５ＢのＧＯＰ構成で最初はＩ１を復号化するのみで良いので、Ｉピクチャ復号化部１１２のみ動作し、それにより得られた参照画像を複数フレーム並列処理方式フレーム間予測符号化部１０１へ出力する。
　次に、各構成要素のさらなる内部構成について説明する。まず、複数フレーム並列処理方式フレーム間予測符号化部１０１内の各構成要素の内部構成について説明する。図３は、Ｉ／Ｐピクチャ符号化部１０５と局所復号化部１０９の構成図である。基本的に上述の図１０の従来例と同様である。そのため、各構成要素は従来例と同じ参照符号を付し、詳細な説明は省略する。同様に、Ｂピクチャ符号化部１０６，１０７も従来と同じ構成であり、Ｉ／Ｐピクチャ符号化部１０５と基本的に同じ構成である。参照画像が前方予測用と後方予測用の２フレームが入力される点だけが異なる。
　次に、符号化連動完全復号方式参照画像生成部１０２の各構成要素の内部構成について説明する。図４がＰピクチャ復号化部１１３～１１５の構成図である。大きく分けてフレーム内復号化部３０１とフレーム間予測復号化部３０２から構成される。フレーム内復号化部３０１は、さらに可変長符号復号化部３０３と逆量子化部３０４と逆ＤＣＴ部３０５から構成される。これによりフレーム内の復号化が行なわれ、フレーム間予測符号化が行われたフレーム間予測符号化画像が得られる。
  次に、フレーム間予測復号化部３０２により前記フレーム間予測符号化画像の復号化が行われる。フレーム間予測復号化部３０２は参照画像から予測画像を生成する予測画像生成部３０６と、予測画像とフレーム間予測符号化画像を加算して復号されたＰピクチャを得る画像加算部３０７から構成される。また、参照画像から予測画像を生成するために可変長符号復号化部３０３から動きベクトルが予測画像生成部３０６に送られる。なお、Ｉピクチャ復号化部はフレーム内復号化部のみを持ち、フレーム内復号化部だけでＩピクチャの復号が完了する。
　次に、本実施の形態の動画像符号化装置の動作について説明する。図６は、図５Ａ，図５Ｂで示したＧＯＰの符号化を行う場合に、図２で示した各構成要素が行なっている処理を示したシーケンス図である。具体的には、入力画像フレーム、Ｉピクチャ復号化部１１２、第１Ｐピクチャ復号化部１１３、第２ピクチャ復号化部１１４、第３ピクチャ復号化部１１５、Ｉ／Ｐピクチャ符号化部１０５、局所復号化部１０９、第１Ｂピクチャ符号化部１０６、第２Ｂピクチャ符号化部１０７及び処理量を示している。
　この実施形態では、３つのフレームを並列に符号化するため、３フレームの処理を１つにまとめた５つのステージから構成される。
　第１ステージではＩ１、Ｂ１、Ｂ２が並列に符号化される。まず、Ｉ／Ｐピクチャ符号化部１０５でＩ１が符号化される。そして、所定量の符号化が行われると局所復号化部１０９でＢ１、Ｂ２の符号化に必要な参照画像が復号化され局所復号化参照画像バッファ１１０に記憶される。そして、局所復号化参照画像バッファ１１０に記憶された参照画像を使用して第１Ｂピクチャ符号化部１０６でＢ１の符号化が行われ、第２Ｂピクチャ符号化部１０７でＢ２の符号化が行われる。
　第２ステージではＰ１、Ｂ３、Ｂ４が並列に符号化される。まず、Ｉピクチャ復号化部１１２でＩ１が復号化され、Ｐ１の符号化に必要な参照画像が生成される。生成された符号化に必要な参照画像はセレクタ１１９を通じて複数フレーム並列処理方式フレーム間予測符号化部１０１に送られ、第１符号化用参照画像バッファ１０８に記憶される。続いてＩ／Ｐピクチャ符号化部１０５でＰ１が符号化される。そして、Ｉ１と同様に所定量の符号化が行われると局所復号化部１０９でＢ３、Ｂ４の符号化に必要な参照画像が復号化され、局所復号化参照画像バッファ１１０に記憶される。一方、第１符号化用参照画像バッファ１０８に記憶された参照画像は第２符号化用参照画像バッファ１１１に送られる。この参照画像はＢピクチャの前方符号化のために必要なものだが、Ｂピクチャの符号化はＰ１の符号化の後に行われるため、その時間的な差を埋めるために記憶されるものである。そして、局所復号化参照画像バッファ１１０と第２符号化用参照画像バッファ１１１に記憶された参照画像を使用して第１Ｂピクチャ符号化部１０６でＢ３の符号化が、第２Ｂピクチャ符号化部１０７でＢ４の符号化が行われる。
　第３ステージではＰ２、Ｂ５、Ｂ６が並列に符号化される。まず、Ｉピクチャ復号化部１１２で再びＩ１が復号化され、Ｐ１の復号化に必要な参照画像が生成され、第１復号化用参照画像バッファ１１６に記憶される。続いて第１Ｐピクチャ復号化部１１３で第１復号化用参照画像バッファ１１６に記憶された参照画像を使用してＰ１の復号化が行われ、符号化に必要な参照画像が生成される。生成された符号化に必要な参照画像はセレクタ１１９を通じて複数フレーム並列処理方式フレーム間予測符号化部１０１に送られ、第１符号化用参照画像バッファ１０８に記憶される。続いてＩ／Ｐピクチャ符号化部１０５でＰ２が符号化される。そして、Ｐ１の符号化時と同様に所定量の符号化が行われると局所復号化部１０９でＢ５、Ｂ６の符号化に必要な参照画像が復号化され、局所復号化参照画像バッファ１１０に記憶される。一方、第１符号化用参照画像バッファ１０８に記憶された参照画像は第２符号化用参照画像バッファ１１１に送られる。そして、Ｂ３とＢ４の符号化時と同様に局所復号化参照画像バッファ１１０と第２符号化用参照画像バッファ１１１に記憶された参照画像を使用して、第１Ｂピクチャ符号化部１０６でＢ５の符号化が、第２Ｂピクチャ符号化部１０７でＢ６の符号化が行われる。
　第４ステージではＰ３、Ｂ７、Ｂ８が並列に符号化される。まず、Ｉピクチャ復号化部１１２で再びＩ１が復号化され、Ｐ１の復号化に必要な参照画像が生成され、第１復号化用参照画像バッファ１１６に記憶される。続いて第１Ｐピクチャ復号化部１１３で第１復号化用参照画像バッファ１１６に記憶された参照画像を使用してＰ１の復号化が行われ、Ｐ２の復号化に必要な参照画像が生成されて第２復号化用参照画像バッファ１１７に記憶される。次に第２Ｐピクチャ復号化部１１４で第２復号化用参照画像バッファ１１７に記憶された参照画像を使用してＰ２の復号化が行われ、符号化に必要な参照画像が生成される。生成された符号化に必要な参照画像はセレクタ１１９を通じて複数フレーム並列処理方式フレーム間予測符号化部１０１に送られ、第１符号化用参照画像バッファ１０８に記憶される。次にＩ／Ｐピクチャ符号化部１０５でＰ３が符号化される。そして、Ｐ２の符号化時と同様に所定量の符号化が行われると局所復号化部１０９でＢ７、Ｂ８の符号化に必要な参照画像が復号化され、局所復号化参照画像バッファ１１０に記憶される。一方、第１符号化用参照画像バッファ１０８に記憶された参照画像は第２符号化用参照画像バッファ１１１に送られる。そして、Ｂ５とＢ６の符号化時と同様に局所復号化参照画像バッファ１１０と第２符号化用参照画像バッファ１１１に記憶された参照画像を使用して、第１Ｂピクチャ符号化部１０６でＢ７の符号化が、第２Ｂピクチャ符号化部１０７でＢ８の符号化が行われる。
　第５ステージではＰ４、Ｂ９、Ｂ１０が並列に符号化される。まず、Ｉピクチャ復号化部１１２でＩ１が復号化され、Ｐ１の復号化に必要な参照画像が生成され、第１復号化用参照画像バッファ１１６に記憶される。続いて第１Ｐピクチャ復号化部１１３で第１復号化用参照画像バッファ１１６に記憶された参照画像を使用してＰ１の復号化が行われ、Ｐ２の復号化に必要な参照画像が生成されて第２復号化用参照画像バッファ１１７に記憶される。次に第２Ｐピクチャ復号化部１１４で第２復号化用参照画像バッファ１１７に記憶された参照画像を使用してＰ２の復号化が行われ、Ｐ３の復号化に必要な参照画像が生成され、第３復号化用参照画像バッファ１１８に記憶される。次に第３Ｐピクチャ復号化部１１５で第３復号化用参照画像バッファ１１８に記憶された参照画像を使用してＰ３の復号化が行われ、符号化に必要な参照画像が生成される。生成された符号化に必要な参照画像はセレクタ１１９を通じて複数フレーム並列処理方式フレーム間予測符号化部１０１に送られ、第１符号化用参照画像バッファ１０８に記憶される。次にＩ／Ｐピクチャ符号化部１０５でＰ４が符号化される。そして、Ｐ３の符号化時と同様に所定量の符号化が行われると局所復号化部１０９でＢ９、Ｂ１０の符号化に必要な参照画像が復号化され、局所復号化参照画像バッファ１１０に記憶される。一方、第１符号化用参照画像バッファ１０８に記憶された参照画像は第２符号化用参照画像バッファ１１１に送られる。そして、Ｂ７とＢ８の符号化時と同様に局所復号化参照画像バッファ１１０と第２符号化用参照画像バッファ１１１に記憶された参照画像を使用して、第１Ｂピクチャ符号化部１０６でＢ９の符号化が、第２Ｂピクチャ符号化部１０７でＢ１０の符号化が行われる。
　また、各ステージの処理量を一番下に示している。一番処理量の大きい第５ステージでは３フレーム期間において符号化を３フレーム分、復号化を５フレーム分行う。通常の処理では１フレーム期間において、符号化と復号化を１フレーム分行うので、通常処理と比較して符号化においては同等、復号化においては５／３倍となり、全体で４／３倍の処理量となっているが、実現困難なレベルではない。
　次に、さらに細かい時間的尺度で動作を説明する。一番処理の多い第５ステージを説明する。図７は、第５ステージの動作をマクロブロックライン単位で示したシーケンス図である。具体的には、Ｉピクチャ復号化部１１２のＩ１復号化、第１復号化用参照画像バッファ１１６、第１Ｐピクチャ復号化部１１３のＰ１復号化、第２復号化用参照画像バッファ１１７、第２Ｐピクチャ復号化部１１４のＰ２復号化、第３復号化用参照画像バッファ１１８、第３Ｐピクチャ復号化部１１５のＰ３復号化、第１符号化用参照画像バッファ１０８、第２符号化用参照画像バッファ１１１、Ｉ／Ｐピクチャ符号化部１０５のＰ４符号化、局所復号化部１０９のＰ４復号化、局所符号化参照画像バッファ１１０、第１Ｂピクチャ符号化部１０６のＢ９符号化、第２Ｂピクチャ符号化部１０７のＢ１０符号化を示すシーケンス図である。
  マクロブロックラインとは、符号化の基本単位となるマクロブロックが水平方向に符号化されるフレーム一杯に並んだものであり、動き補償予測符号化のために垂直方向の動き補償範囲分のマクロブロックラインを参照画像として用意する必要がある。それを示したのが図８である。図８の例では、動き補償のための動きベクトル探索範囲を水平方向は±３２画素（２マクロブロック分）、垂直方向は±１６画素（１マクロブロック分）としている。したがって、動き探索範囲内のマクロブロックは水平５個、垂直３個となり、その領域の参照画像は動きベクトル探索の処理中保持しておく必要がある。図８から判るように、少なくとも２マクロブロックライン＋水平探索領域分の参照画像を参照画像バッファ内に保持することが必要である。
　上記を前提に図７の説明を行う。Ｔ１～Ｔ７は１マクロブロックラインを処理する期間を表している。まず、Ｉピクチャ復号化部１１２でＩ１の復号化が行われ、Ｐ１の復号に必要な参照画像が生成される。Ｐ１の１番目のマクロブロックラインの復号化には、Ｉ１の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が参照画像として必要である。すなわち、期間Ｔ１において、Ｉ１の１番目のマクロブロックラインが復号化され、期間Ｔ２において、２番目のマクロブロックラインの水平方向の動き補償分が復号化されると、第１Ｐピクチャ復号化部１１３におけるＰ１の１番目のマクロブロックラインの復号化が開始できる。図７はマクロブロックライン単位で時間を表記しているので、Ｉ１の２番目のマクロブロックラインの復号化とＰ１の１番目のマクロブロックラインの復号化が同じ期間のＴ２に実施される。なお、第１復号化用参照画像バッファ１１６内には、Ｉ１の１番目のマクロブロックラインと２番目のマクロブロックラインにおいて動き補償に必要な領域が記憶されている。続いてＰ１の２番目のマクロブロックラインの復号には、Ｉ１の１番目のマクロブロックラインから３番目のマクロブロックラインの画像が参照画像として必要である。期間Ｔ２でのＩ１の２番目のマクロブロックラインの復号化に続いて、期間Ｔ３にて３番目のマクロブロックラインの水平方向の動き補償分が復号されると、Ｐ１の２番目のマクロブロックラインの復号化が開始でき、Ｉ１の３番目のマクロブロックラインの復号化とＰ１の２番目のマクロブロックラインの復号化が同じ期間Ｔ３に実施される。また、第１復号化用参照画像バッファ１１６内には、Ｉ１の１番目のマクロブロックラインから３番目のマクロブロックラインにおいて動き補償に必要な領域が記憶されている。以下、同様にＰ１の３番目以降のマクロブロックラインの復号化が行われる。
　次に、Ｐ２の復号化が第２Ｐピクチャ復号化部１１４にて行われる。Ｐ１の復号化と同様に、Ｐ２の１番目のマクロブロックラインの復号にはＰ１の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が必要である。すなわち、期間Ｔ２にてＰ１の１番目のマクロブロックラインが復号化され、期間Ｔ３にて２番目のマクロブロックラインの水平方向の動き補償分が復号化されると、第２Ｐピクチャ復号化部１１４におけるＰ２の１番目のマクロブロックラインの復号化が開始でき、Ｐ１の２番目のマクロブロックラインの復号化とＰ２の１番目のマクロブロックラインの復号化が同じ期間Ｔ３に実施される。また、第２復号化用参照画像バッファ１１７内には、Ｐ１の１番目のマクロブロックラインと２番目のマクロブロックラインにおいて動き補償に必要な領域が記憶されている。続いてＰ２の２番目のマクロブロックラインの復号には、Ｐ１の１番目のマクロブロックラインから３番目のマクロブロックラインの画像が必要である。期間Ｔ４にて３番目のマクロブロックラインの水平方向の動き補償分が復号されると、Ｐ２の２番目のマクロブロックラインの復号化が開始でき、Ｐ１の３番目のマクロブロックラインの復号化とＰ２の２番目のマクロブロックラインの復号化が同じ期間Ｔ４に実施される。また、第２復号化用参照画像バッファ１１７内には、Ｐ１の１番目のマクロブロックラインから３番目のマクロブロックラインにおいて動き補償に必要な領域が記憶されている。以下、同様にＰ２の３番目以降のマクロブロックラインの復号化が行われる。
　次に、Ｐ３の復号化が第３Ｐピクチャ復号化部１１５にて行われる。Ｐ２の復号化と同様に、Ｐ３の１番目のマクロブロックラインの復号には、Ｐ２の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が参照画像として必要である。すなわち、期間Ｔ３にてＰ２の１番目のマクロブロックラインが復号化され、期間Ｔ４にて２番目のマクロブロックラインの水平方向の動き補償分が復号化されると、第３Ｐピクチャ復号化部１１５におけるＰ３の１番目のマクロブロックラインの復号化が開始でき、Ｐ２の２番目のマクロブロックラインの復号化とＰ３の１番目のマクロブロックラインの復号化が同じ期間Ｔ４に実施される。また、第３復号化用参照画像バッファ１１８内には、Ｐ２の１番目のマクロブロックラインと２番目のマクロブロックラインにおいて動き補償に必要な領域が記憶されている。続いてＰ３の２番目のマクロブロックラインの復号には、Ｐ２の１番目のマクロブロックラインから３番目のマクロブロックラインの画像が必要である。期間Ｔ５にて３番目のマクロブロックラインの水平方向の動き補償分が復号されると、Ｐ３の２番目のマクロブロックラインの復号化が開始でき、Ｐ２の３番目のマクロブロックラインの復号化とＰ３の２番目のマクロブロックラインの復号化が同じ期間Ｔ５に実施される。また、第３復号化用参照画像バッファ１１８内には、Ｐ２の１番目のマクロブロックラインから３番目のマクロブロックラインにおいて動き補償に必要な領域が記憶されている。以下、同様にＰ３の３番目以降のマクロブロックラインの復号化が行われる。なお、第３Ｐピクチャ復号化部１１５で復号化されたＰ３の画像は第１符号化用参照画像バッファ１０８に記憶される。
　次に、Ｐ４の符号化がＩ／Ｐピクチャ符号化部１０５にて行われる。期間Ｔ４にてＰ３の１番目のマクロブロックラインが復号化され、期間Ｔ５にて２番目のマクロブロックラインの水平方向の動き補償分が復号化され、第１符号化用参照画像バッファ１０８に記憶されると、Ｉ／Ｐピクチャ符号化部１０５において、Ｐ４の１番目のマクロブロックラインの符号化が開始できる。すなわち、期間Ｔ５においてＰ４の１番目のマクロブロックラインの符号化が行われる。続いて、期間Ｔ６にて３番目のマクロブロックラインの水平方向の動き補償分が復号されると、Ｐ４の２番目のマクロブロックラインの符号化が開始でき、Ｐ３の３番目のマクロブロックラインの復号化とＰ４の２番目のマクロブロックラインの復号化が同じ期間Ｔ６に実施される。
　続いて、Ｂ９とＢ１０の後方予測符号化のための参照画像を、局所復号化部１０９にてＰ４を復号化することで生成する。すなわち、同じ期間Ｔ５においてＰ４の１番目のマクロブロックラインの復号化が行われ、Ｂ９とＢ１０の後方予測符号化のための参照画像の１番目のマクロブロックラインが生成される。同様に期間Ｔ６においてＰ４の２番目のマクロブロックラインの復号化が行われる。これらの参照画像は局所復号化参照画像バッファ１１０に記憶される。
　次にＢ９とＢ１０の符号化がそれぞれ、第１Ｂピクチャ符号化部１０６と第２Ｂピクチャ符号化部１０７にて行われる。Ｂ９とＢ１０の１番目のマクロブロックラインの符号化には、Ｐ３の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が前方予測用の参照画像として必要であり、Ｐ４の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が後方予測用の参照画像として必要である。前述のように、期間Ｔ５にてＰ４の１番目のマクロブロックラインが復号化され、期間Ｔ６にてＰ４の２番目のマクロブロックラインの水平方向の動き補償分が復号化され局所復号化参照画像バッファ１１０に記憶されると、Ｂ９とＢ１０の１番目のマクロブロックラインの後方予測符号化が開始できる。同じ期間Ｔ６で前方予測符号化を行うために、第１符号化用参照画像バッファ１０８に記憶された前方予測符号化用の参照画像としてのＰ３の画像が第２符号化用参照画像バッファ１１１に転送される。第２符号化用参照画像バッファ１１１は、第１符号化用参照画像バッファ１０８の１Ｔ前の内容を記憶する。すなわち期間Ｔ６において第２符号化用参照画像バッファ１１１には、Ｐ３の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が前方予測用の参照画像として記憶され、局所復号化参照画像バッファ１１０にはＰ４の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が後方予測用の参照画像として記憶される。そして、両者を使用してＢ９とＢ１０の符号化がそれぞれ、第１Ｂピクチャ符号化部１０６と第２Ｂピクチャ符号化部１０７にて期間Ｔ６の間に行われる。続いて同様に、Ｂ９とＢ１０の２番目のマクロブロックラインの符号化が行われる。２番目のマクロブロックラインの符号化には、Ｐ３の１番目から３番目のマクロブロックラインの画像が前方予測用の参照画像として必要であり、Ｐ４の１番目から３番目のマクロブロックラインの画像が後方予測用の参照画像として必要である。期間Ｔ７において、Ｐ３の１番目から３番目のマクロブロックラインの画像が第２符号化用参照画像バッファ１１１に記憶され、Ｐ４の１番目から３番目のマクロブロックラインの画像が局所復号化参照画像バッファ１１０に記憶され、Ｂ９とＢ１０の２番目のマクロブロックラインの符号化がそれぞれ第１Ｂピクチャ符号化部１０６と第２Ｂピクチャ符号化部１０７にて行われる。以下、同様にＢ９とＢ１０の３番目以降のマクロブロックラインの符号化が行われる。
　このように本実施の形態では、１マクロブロックライン分の時間差を持ちながら順次復号化と符号化が行われる。なお、垂直方向の動き補償範囲がさらに広くなるとバッファに記憶すべき参照画像が増え、各復号化と符号化の時間差も拡大する。
　また、本実施の形態では符号化の並列数を３とし、Ｐピクチャは１つしか符号化しなかったが、並列数をさらに増大させることや、複数のＰピクチャに対応させるなど、本発明の思想、主要な特長を逸脱しない範囲で変形や拡張を施して実施することが可能である。
　本発明は、小型で低消費電力が要求されるデジタルスチルカメラ、ビデオムービー、カメラ付き携帯電話機、監視カメラ等の撮像装置における動画像符号化装置などとして有用である。
１０１　複数フレーム並列処理方式フレーム間予測符号化部
１０２　符号化連動完全復号方式参照画像生成部
１０３　入力画像バッファ領域
１０４　符号データバッファ領域
１０５　Ｉ／Ｐピクチャ符号化部
１０６　第１Ｂピクチャ符号化部
１０７　第２Ｂピクチャ符号化部
１０８　第１符号化用参照画像バッフ
１０９　局所復号化部
１１０　局所復号化参照画像バッファ
１１１　第２符号化用参照画像バッフ
１１２　Ｉピクチャ復号化部
１１３　第１Ｐピクチャ復号化部
１１４　第２Ｐピクチャ復号化部
１１５　第３Ｐピクチャ復号化部
１１６　第１復号化用参照画像バッファ
１１７　第２復号化用参照画像バッファ
１１８　第３復号化用参照画像バッファ
１１９　セレクタ

Claims (9)

  1.   動画像のフレーム間相関を利用して圧縮を行う動画像符号化装置であって、
      連続する複数の入力フレームを記憶する入力画像バッファと、
    　前記入力画像バッファ内の複数の入力フレームに対し同時並列的にフレーム間予測符号化処理を行う複数フレーム並列処理方式フレーム間予測符号化部と、
      符号化された複数のフレームの符号データを記憶する符号データバッファと、
      前記符号データバッファから参照画像の復号に必要な全てのフレームの符号データを読み出し、前記フレーム間予測符号化処理と同時並列的に前記全ての符号データを復号化することで、前記フレーム間予測符号化処理に必要な領域の参照画像を必要な時に生成する符号化連動完全復号方式参照画像生成部と、
    　を備える動画像符号化装置。
  2.   前記複数フレーム並列処理方式フレーム間予測符号化部は、
      複数フレームのフレーム間予測符号化を同時並列的に実施する複数のピクチャ符号化部と、
      前記符号化連動完全復号方式参照画像生成部から出力される前記ピクチャ符号化部が使用するために必要な領域の参照画像を記憶する符号化用参照画像バッファと、
      を備える請求項１記載の動画像符号化装置。
  3. 　前記複数フレーム並列処理方式フレーム間予測符号化部は、
    　複数フレームのフレーム間予測符号化を同時並列的に実施する複数のピクチャ符号化部と、
      前記符号化連動完全復号方式参照画像生成部から出力される前記ピクチャ符号化部が使用するために必要な領域の参照画像を記憶する符号化用参照画像バッファと、
    　入力フレームを参照画像として使用するために前記ピクチャ符号化部の出力を復号して参照画像を生成する局所復号化部と、
    　前記局所復号化部にて生成した参照画像を記憶するための局所復号化参照画像バッファと、
      を備える請求項１記載の動画像符号化装置。
  4. 　前記符号化連動完全復号方式参照画像生成部は、
    　参照画像の復号に必要な全てのフレームの符号データを読み込み、前記全てのフレームの復号化を同時並列的に実施する複数のピクチャ復号化部と、
    　前記ピクチャ復号化部が使用するために必要な参照画像を記憶する複数の復号化用参照画像バッファと、
      を備える請求項１記載の動画像符号化装置。
  5. 　前記複数フレーム並列処理方式フレーム間予測符号化部の前記ピクチャ符号化部は、
    　フレーム内符号化のみ施されたＩ（Intra）ピクチャもしくは前方予測フレーム間予測符号化を施されたＰ（Predictive）ピクチャの符号化を行う少なくとも一つのＩ／Ｐピクチャ符号化部と、
    　両方向予測フレーム間予測符号化を施されたＢ（Bidirectionally predictive）ピクチャの符号化を行う複数のＢピクチャ符号化部と、
      を備える請求項２または３に記載の動画像符号化装置。
  6. 　少なくとも前記複数フレーム並列処理方式フレーム間予測符号化部と前記符号化連動完全復号方式参照画像生成部とは、１つの半導体チップ（ＬＳＩ）内に構成される請求項１記載の動画像符号化装置。
  7.   請求項１、２、３、４または６のいずれかに記載の動画像符号化装置を備える撮像装置。
  8. 　当該撮像装置が、デジタルスチルカメラ、ビデオムービー、カメラ付き携帯電話機または監視カメラのいずれかである請求項７に記載の撮像装置。
  9.   動画像の時間相関を利用して圧縮を行うため、入力フレームと相関のある画像を参照画像として生成する参照画像生成ステップと、入力フレームと前記参照画像から所謂フレーム間予測符号化を行い符号データを出力するフレーム間予測符号化ステップとを含む動画像符号化方法であって、
      前記参照画像生成ステップは、前記フレーム間予測符号化ステップの出力した符号を記憶する符号データ記憶ステップと、前記符号データ記憶ステップで記憶された参照画像を復号するために必要な全ての符号データを復号することで参照画像を生成する参照画像復号ステップとを含み、
      前記フレーム間予測符号化ステップは、連続する複数の入力フレームを記憶する入力画像記憶ステップと、前記入力画像記憶ステップで記憶された複数の入力フレームに対し同時並列的にフレーム間予測符号化を行う複数のフレーム間予測符号化ステップとを含む動画像符号化方法。
PCT/JP2009/001813 2008-04-24 2009-04-21 動画像符号化装置、撮像装置及び動画像符号化方法 WO2009130886A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2009801077135A CN101960858A (zh) 2008-04-24 2009-04-21 运动图像编码装置、摄像装置以及运动图像编码方法
US12/862,431 US20100316123A1 (en) 2008-04-24 2010-08-24 Moving image coding device, imaging device and moving image coding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008113820A JP2009267689A (ja) 2008-04-24 2008-04-24 動画像符号化装置、及び動画像符号化方法
JP2008-113820 2008-04-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/862,431 Continuation US20100316123A1 (en) 2008-04-24 2010-08-24 Moving image coding device, imaging device and moving image coding method

Publications (1)

Publication Number Publication Date
WO2009130886A1 true WO2009130886A1 (ja) 2009-10-29

Family

ID=41216627

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/001813 WO2009130886A1 (ja) 2008-04-24 2009-04-21 動画像符号化装置、撮像装置及び動画像符号化方法

Country Status (4)

Country Link
US (1) US20100316123A1 (ja)
JP (1) JP2009267689A (ja)
CN (1) CN101960858A (ja)
WO (1) WO2009130886A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5496047B2 (ja) * 2010-10-07 2014-05-21 パナソニック株式会社 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム
KR101782978B1 (ko) 2010-11-12 2017-09-29 삼성전자주식회사 참조 데이터의 가용성에 기초하여 영상 데이터를 복호화하는 장치 및 방법
JP5698644B2 (ja) 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
JP6410495B2 (ja) * 2014-07-07 2018-10-24 ルネサスエレクトロニクス株式会社 画像符号化装置、画像復号装置、および画像通信システム
CN105744279A (zh) * 2014-12-10 2016-07-06 北京君正集成电路股份有限公司 一种视频编解码中实现帧间同步的方法及装置
JP6453652B2 (ja) * 2015-01-09 2019-01-16 株式会社東芝 映像伝送システム
JP6320652B2 (ja) * 2015-12-18 2018-05-09 三菱電機株式会社 データ処理装置、データ処理方法及びデータ処理プログラム
TW201725908A (zh) * 2016-01-07 2017-07-16 鴻海精密工業股份有限公司 視頻解碼方法
JP7224892B2 (ja) * 2018-12-18 2023-02-20 ルネサスエレクトロニクス株式会社 動画像符号化装置及びその動作方法、動画像符号化装置を搭載する車両
JP7359653B2 (ja) * 2019-11-06 2023-10-11 ルネサスエレクトロニクス株式会社 動画像符号化装置
US11234017B1 (en) * 2019-12-13 2022-01-25 Meta Platforms, Inc. Hierarchical motion search processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116539A (ja) * 1994-10-17 1996-05-07 Hitachi Ltd 動画像符号化装置と動画像符号化方法
JPH08130741A (ja) * 1994-10-28 1996-05-21 Toshiba Corp 画像復号化装置
JP2003070000A (ja) * 2001-08-23 2003-03-07 Matsushita Electric Ind Co Ltd 画像符号化装置
JP3568392B2 (ja) * 1998-06-17 2004-09-22 三洋電機株式会社 動画像復号化装置
JP2007036738A (ja) * 2005-07-27 2007-02-08 Matsushita Electric Ind Co Ltd 動画像符号化装置、方法、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5732713A (en) * 1995-07-20 1998-03-31 Duback; Jeffrey E. Segmented custom-molded protective device
US6272180B1 (en) * 1997-11-21 2001-08-07 Sharp Laboratories Of America, Inc. Compression and decompression of reference frames in a video decoder
EP0926899A3 (en) * 1997-12-25 1999-12-15 SANYO ELECTRIC Co., Ltd. An apparatus and process for decoding motion pictures
US6229852B1 (en) * 1998-10-26 2001-05-08 Sony Corporation Reduced-memory video decoder for compressed high-definition video data
JP4384130B2 (ja) * 2006-03-28 2009-12-16 株式会社東芝 動画像復号方法及び装置
US20080152014A1 (en) * 2006-12-21 2008-06-26 On Demand Microelectronics Method and apparatus for encoding and decoding of video streams

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116539A (ja) * 1994-10-17 1996-05-07 Hitachi Ltd 動画像符号化装置と動画像符号化方法
JPH08130741A (ja) * 1994-10-28 1996-05-21 Toshiba Corp 画像復号化装置
JP3568392B2 (ja) * 1998-06-17 2004-09-22 三洋電機株式会社 動画像復号化装置
JP2003070000A (ja) * 2001-08-23 2003-03-07 Matsushita Electric Ind Co Ltd 画像符号化装置
JP2007036738A (ja) * 2005-07-27 2007-02-08 Matsushita Electric Ind Co Ltd 動画像符号化装置、方法、及びプログラム

Also Published As

Publication number Publication date
US20100316123A1 (en) 2010-12-16
CN101960858A (zh) 2011-01-26
JP2009267689A (ja) 2009-11-12

Similar Documents

Publication Publication Date Title
WO2009130886A1 (ja) 動画像符号化装置、撮像装置及び動画像符号化方法
JP4641892B2 (ja) 動画像符号化装置、方法、及びプログラム
JP4138056B2 (ja) マルチスタンダード脱圧縮及び／又は圧縮装置
JP4806515B2 (ja) 符号化装置、これを用いたビデオカメラ装置及び符号化方法
US8428120B2 (en) Method and apparatus of Bayer pattern direct video compression
US20070110155A1 (en) Method and apparatus of high efficiency image and video compression and display
WO2009139123A1 (ja) 画像処理装置およびそれを搭載した撮像装置
US10728544B2 (en) Encoding device, encoding method, decoding device, and decoding method
US20080123748A1 (en) Compression circuitry for generating an encoded bitstream from a plurality of video frames
JP2880051B2 (ja) １ｄ／２ｄ ｄｃｔを用いた映像信号符号化装置
JP5496047B2 (ja) 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム
US20060133491A1 (en) Video codec
JP2012085001A5 (ja)
JP2933561B2 (ja) 動画符号変換装置
JP2008244993A (ja) トランスコーディングのための装置および方法
US20050129121A1 (en) On-chip image buffer compression method and apparatus for digital image compression
US20020159526A1 (en) Video encoder and video recording apparatus provided with such a video encoder
JP2008053848A (ja) 画像処理装置及び画像処理方法
JP3990011B2 (ja) 復号画像変換回路および復号画像変換装置
JP2008289105A (ja) 画像処理装置およびそれを搭載した撮像装置
JPH11308618A (ja) 画像信号処理装置及び方法並びに画像信号再生装置
EP1298937A1 (en) Video encoding or decoding using recompression of reference frames
JPH08242446A (ja) 画像処理方法及び画像処理装置
JP2009278473A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
JP2007020123A (ja) 動き検出装置、および動き検出方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980107713.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09735603

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09735603

Country of ref document: EP

Kind code of ref document: A1