WO2005022921A1 - 動画像符号化方法および動画像復号化方法 - Google Patents

動画像符号化方法および動画像復号化方法 Download PDF

Info

Publication number
WO2005022921A1
WO2005022921A1 PCT/JP2004/012765 JP2004012765W WO2005022921A1 WO 2005022921 A1 WO2005022921 A1 WO 2005022921A1 JP 2004012765 W JP2004012765 W JP 2004012765W WO 2005022921 A1 WO2005022921 A1 WO 2005022921A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoding
moving picture
block
decoding
unit
Prior art date
Application number
PCT/JP2004/012765
Other languages
English (en)
French (fr)
Inventor
Martin Schlockermann
Thomas Wedi
Steffen Wittmann
Shinya Kadono
Satoshi Kondo
Hisao Sasai
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP03019872A external-priority patent/EP1511320A1/en
Priority claimed from EP03019871A external-priority patent/EP1511319A1/en
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US10/546,387 priority Critical patent/US20060256853A1/en
Priority to EP04772714A priority patent/EP1662802A1/en
Publication of WO2005022921A1 publication Critical patent/WO2005022921A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20204—Removing film grain; Adding simulated film grain

Definitions

  • the present invention relates to a video encoding method for encoding each picture constituting a video in block units, and a video decoding method for decoding an encoded code sequence.
  • Film motion pictures are composed of silver halide crystals dispersed in a photographic emulsion of the film. Each image recorded on a photographic film is generated by exposing and developing a silver halide crystal. Color — In images, silver is chemically removed after development. However, the silver crystal structure remains as small pigment particles after development. Because silver crystals are irregularly shaped in the emulsion, the grains are irregularly formed and scattered throughout the image. The recognizable particle structure is called film grain (film particle), for example, the particle structure shown in Fig. 1.
  • Video coding standards have been developed to compress video data.
  • ITU-T International Telecommunication Union Telecommunication Standardization Sector
  • ISO International Organization for Standardization
  • IEC International Electrotechnical Commission
  • MPEG-X International Electrotechnical Commission
  • H.264 or MPEG-4AVC The latest and advanced video coding standards are called H.264 or MPEG-4AVC.
  • each picture is divided into blocks so that the pictures constituting the moving picture are compressed in units of blocks, which are blocks of several pixels.
  • each block of the moving image data is transformed from the spatial domain to the frequency domain, the obtained transform coefficients are quantized, and the quantized transform coefficients are entropy-encoded, thereby obtaining a spatial picture. Reduce redundancy.
  • utilizing the temporal correlation with blocks of other pictures only the amount of change from other pictures is encoded. This is done using motion detection and compensation techniques.
  • Hybrid coding technology combines temporal ⁇ spatial compression technology with statistical coding.
  • Uses techniques such as motion compensation, discrete cosine transform (DC), quantization of DCT coefficients, and variable length coding (VLC).
  • Motion compensation determines the motion of the image between the current picture and the coded picture, predicts the current picture from the determined motion, and generates a difference image representing the difference between the current picture and the predicted picture. Is what you do.
  • moving picture compression if encoding is performed with a reduced bit rate, the film grain is deleted, and there is a problem that the unique texture of the film due to the film grain is lost.
  • moving image compression removes high-frequency components of an image to reduce the amount of information.
  • film grains are high-definition components and high-frequency component signals, they are removed by compression processing.
  • one way to process film grain information separately from image content is to remove the film grain information from the video sequence, parameterize the film grain information based on a given film grain model, and create a statistical film. It is conceivable to transmit the grain parameters and add them to the encoded video data.
  • the film grain parameter can be transmitted in the form of SEI (Supplementation Information) in the MPEG-4AVC system.
  • SEI mode includes additional information about the transmitted bitstream to provide display capability within the coded picture.
  • SEI information provides picture freeze, picture snapshot, video segmentation, progressive refinement, and key input. These options are intended to provide a decoder with support and functionality within the bitstream.
  • FIG. 2 is a block diagram showing an outline of film grain parameter transmission.
  • the moving image data input to the encoding device 700 is a film gray Is sent to the image removal filter 701, and the film grain is removed from the moving image data.
  • the moving image data from which the film grain has been removed is subjected to a standard moving image coding process by the coding unit 72.
  • the encoded moving image data is transmitted as a code string (encoded video stream) to the corresponding decoding device 800.
  • the film grain removal filter 70 1 is implemented by a motion compensated temporal median filter. Because of the irregular structure of the film grain, it can easily be removed from the image sequence using a temporal median filter as long as there is no motion. For video sequences with motion in the image content, a more sophisticated approach is needed. Therefore, the motion compensated temporal median filter follows the motion from picture to picture and filters each image content to remove film grains.
  • the moving image data from which the film grain information has been removed is encoded according to any of the existing moving image coding standards, but the film grain information is sent to the film grain parameterizing section 703,
  • the film grain is parameterized according to a statistical model.
  • the parameterization of the film grain can be accompanied by color conversion and pixel or pixel interpolation depending on the original signal format.
  • film grain is modeled in RGB color space and approximates the color composition of photographic film.
  • a monochrome film grain can be added to the Y component (luminance component) in the YUV color space.
  • a simple way to parameterize film grain is to treat the film grain as Gaussian noise added to the image signal.
  • each color component And / or different parameters must be sent for each particle level set.
  • the resulting film grain parameters are transmitted in the video stream in the form of SEI messages.
  • the SEI message including the encoded moving image data and the film grain parameters is transmitted to the decoding device 800.
  • the decoding device 800 includes a decoding unit 801 for decoding encoded moving image data, and a film grain simulator unit 802.
  • the film grain simulator section 802 generates a film grain according to the received film grain parameter, and adds the generated film grain to the decoded moving image data. In this way, moving image data on which film grain is superimposed can be reproduced.
  • the film grain simulation is completely performed on the decoding device 800 side.
  • Film grain simulation relies on a given model to reproduce film grain on a particular unused film.
  • film grain simulation is performed by parameterizing a configurable model.
  • the film grain simulation is performed after decoding the moving image data and before displaying the moving image data.
  • the disadvantage of this method is that in order to obtain the respective parameters, the film grain information must be standardized according to a known statistical film grain model. Therefore, only film grain that fits the standard statistical film grain model can be properly encoded and transmitted for correct decoding and playback.
  • Such conventional film grain removal methods require sophisticated calculations and complex hardware, especially due to motion compensation filtering.
  • a flag indicating the amount of noise is encoded and transmitted, and the bit stream is decoded.
  • a moving picture coding method and a moving picture decoding method in which white noise is added according to a flag have been proposed (see, for example, Japanese Patent Application Laid-Open No. Hei 8-77965).
  • the moving picture encoding method and the moving picture decoding method only add white noise uniformly according to the flag indicating the amount of noise removed by the pre-filter, and the reproducibility of the image is low.
  • the high-frequency component such as a green tree
  • the high-frequency component is deleted as in the case of film grain, and the fine portion is removed. There is a problem that cannot be reproduced. Disclosure of the invention
  • the present invention has been made in view of the above circumstances, and even at a low bit rate, a moving image that can improve the reproducibility by restoring a film grain, a portion having many high frequency components, and the like. It is an object to provide an encoding method and a moving image decoding method.
  • a moving picture coding method is a moving picture coding method for coding each picture constituting a moving picture in block units, wherein the coding target picture is coded.
  • a first encoding step an extraction step of extracting a high-definition component from the picture to be encoded, and the high-definition component of at least one block from the high-definition component extracted by the extraction step.
  • a selection step for selecting.
  • the video encoding method further includes a second encoding step of encoding at least one block of the high-definition components selected in the selection step.
  • the moving picture decoding method is a moving picture decoding method in which each picture constituting a moving picture decodes a code string encoded in units of blocks, wherein the code string A first decoding step of decoding the image data to generate decoded image data, an obtaining step of obtaining at least one block of high-definition components, and the at least one block of the height obtained by the obtaining step. And a superimposing step of superimposing a fine component on the decoded image data.
  • the high-definition component includes a film grain component.
  • the present invention can be realized not only as such a moving picture encoding method and a moving picture decoding method, but also as characteristic features included in such a moving picture encoding method and a moving picture decoding method.
  • the present invention can be realized as a moving image encoding device and a moving image decoding device having steps as means, or as a program for causing a computer to execute those steps. It goes without saying that such a program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
  • Figure 1 is a schematic diagram showing the grain structure of a film grain.
  • Fig. 2 is a block diagram showing the outline of film grain parameter transmission.
  • FIG. 3 is a block diagram showing an overall configuration of a video encoding device and a video decoding device using the video encoding method and the video decoding method according to Embodiment 1 of the present invention.
  • FIG. 4 is a block diagram illustrating a configuration of an encoding unit of the video encoding device.
  • FIG. 5 is a block diagram showing a configuration of a film grain encoding unit of the video encoding device.
  • FIG. 6 (a) is a block diagram showing a first configuration example of the selection unit of the film grain coding unit
  • FIGS. 6 (b) and (c) are diagrams showing an example of a histogram.
  • FIG. 7 is a block diagram illustrating a second configuration example of the selection unit of the film grain encoding unit.
  • FIG. 8A is a block diagram illustrating a third configuration example of the selection unit of the film grain coding unit
  • FIG. 8B is a diagram illustrating an example of pixel values of each divided macroblock.
  • FIG. 8 (c) is a diagram showing an example of a film grain component for one macroblock calculated by the median value calculation unit.
  • FIG. 9 (a) is a diagram showing an example of a film grain component for one macroblock
  • FIG. 9 (b) is a diagram showing an example of a component output from the variable length coding unit.
  • FIG. 10 is a flowchart showing the operation of the video encoding device.
  • FIG. 11 is a block diagram illustrating a configuration of a decoding unit of the video decoding device.
  • FIG. 12 is a block diagram illustrating a first configuration example of the film grain generation unit.
  • FIGS. 13 (a) to 13 (h) are diagrams showing examples of correction patterns.
  • FIGS. 14 (a) to 14 (c) are diagrams showing examples of correction patterns.
  • FIG. 15 is a block diagram illustrating a second configuration example of the film grain generation unit.
  • FIG. 16 is a diagram illustrating an example of the combination of the decoded image data and the superimposed pattern by the combining unit.
  • FIG. 17 is a flowchart showing the operation of the video decoding device.
  • FIG. 18 is a block diagram showing a configuration of an encoding unit and a film grain encoding unit of a video encoding device according to Embodiment 2 of the present invention.
  • FIG. 19 is a block diagram showing a configuration of a decoding unit of a video decoding device according to Embodiment 2 of the present invention.
  • FIG. 20 is a block diagram illustrating a first configuration example of the film grain generation unit.
  • FIG. 21 is a block diagram illustrating a second configuration example of the film grain generation unit.
  • FIG. 22 is a block diagram showing an overall configuration of a moving picture coding apparatus and a moving picture decoding apparatus using the moving picture coding method and the moving picture decoding method according to Embodiment 3 of the present invention.
  • FIG. 23 is a block diagram showing a configuration of a video decoding device according to Embodiment 4 of the present invention.
  • FIG. 24 is an explanatory diagram of a recording medium for storing a program for realizing the moving picture encoding method and the moving picture decoding method of each embodiment by a computer system.
  • Flexible body Explanatory diagram showing an example of the physical format of a flexible disk
  • FIG. 3 is an explanatory diagram showing a configuration for performing reproduction.
  • FIG. 25 is a block diagram showing the overall configuration of a content supply system that realizes a content distribution service.
  • FIG. 26 is a diagram illustrating an example of a mobile phone.
  • FIG. 27 is a block diagram showing the internal configuration of the mobile phone.
  • FIG. 28 is a block diagram showing the overall configuration of the digital broadcasting system. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 3 is a block diagram showing an overall configuration of a video encoding device and a video decoding device using the video encoding method and the video decoding method according to Embodiment 1 of the present invention.
  • the moving picture coding device 100 is a device for coding the film grain separately from the main image, and includes a coding unit 110 and a film grain coding unit 130 as shown in FIG. Have.
  • the video decoding device 2 is a device for coding the film grain separately from the main image, and includes a coding unit 110 and a film grain coding unit 130 as shown in FIG. Have.
  • the video decoding device 2 is a device for coding the film grain separately from the main image, and includes a coding unit 110 and a film grain coding unit 130 as shown in FIG. Have.
  • the video decoding device 2 is a device for coding the film grain separately from the main image, and includes a coding unit 110 and a film grain coding unit 130 as shown in FIG. Have.
  • the video decoding device 2 is a device for coding the film grain separately from the main image, and includes a coding unit 110 and a film grain coding unit 130 as shown in FIG. Have.
  • the video decoding device 2 is a device for coding
  • Reference numeral 0 denotes a device for superimposing a film grain on a decoded image, and includes a decoding unit 210, a film grain generation unit 230, and a combining unit 240 as shown in FIG. ing.
  • FIG. 4 is a block diagram showing a configuration of the encoding unit 110 of the video encoding device 100.
  • the encoding unit 110 includes a control unit 111, a prediction residual encoding unit 112, a variable length encoding unit 113, a prediction residual decoding unit 114, and a picture. It comprises a memory 115, a motion vector detection unit 116, a motion compensation encoding unit 117, a difference operation unit 118, an addition operation unit 119, and a switch 120.
  • the motion vector detecting unit 116 uses the encoded decoded image data as a reference picture, and indicates a motion amount to a position of an image area closest to the input image in a search area in the picture. Performs motion vector detection.
  • the motion compensation coding unit 117 determines the coding mode of the block using the motion vector detected by the motion vector detection unit 116, and predicts the prediction image based on this coding mode. Generate data.
  • the encoding mode indicates how to encode the macroblock.
  • the difference calculation unit 118 calculates a difference between the input image data input and the prediction image data input from the motion compensation coding unit 117 to generate prediction residual image data.
  • the prediction residual coding unit 1 1 2 performs coding processing such as frequency conversion such as discrete cosine transform (DCT) or quantization on the input prediction residual image data to generate coded data.
  • the variable-length coding unit 113 performs variable-length coding and the like on the input coded data, and further obtains information on the motion vector input from the motion compensation coding unit 117 and coding.
  • a code string is generated by adding mode information and the like.
  • the control unit 111 controls a parameter, a switch 120, and the like in the quantization performed by the prediction residual encoding unit 1 "I2.
  • the prediction residual decoding unit 114 performs decoding processing such as inverse quantization and inverse frequency transformation on the input encoded data to generate decoded differential image data. To do.
  • the addition operation unit 119 adds the decoded difference image data input from the prediction residual decoding unit 114 to the prediction image data input to the motion compensation encoding unit 111. And generate the decoded image data.
  • the picture memory 115 stores the generated decoded image data.
  • FIG. 5 is a block diagram showing a configuration of the film grain encoding unit 130 of the video encoding device 100.
  • the film grain encoding unit 130 includes an extraction unit 131, a selection unit 132, and a variable length encoding unit 133.
  • the extraction unit 1331 calculates a difference between the input image data input and the decoded image data input from the addition operation unit 119, and extracts a film grain component.
  • the selecting unit 1332 divides the film grain component of the picture to be encoded extracted by the extracting unit 131 into, for example, 16 ⁇ 16 pixel macroblocks, and forms a film grain of at least one macroblock. Select a component and output it as a representative pattern.
  • the selection unit 132 three examples of the configuration of the selection unit 132 will be described.
  • FIG. 6A is a block diagram showing a first configuration example of the selection unit 132 of the film grain encoding unit 130. As shown in FIG.
  • the selection unit 132 includes a block division unit 1321, a variance calculation unit 1322, a histogram generation unit 1323, and a block selection unit 133224.
  • the block division unit 1321 divides the film grain component of the picture to be encoded extracted by the extraction unit 131, into macroblocks of 16 ⁇ 16 pixels, for example.
  • the variance calculation unit 1 3 2 2 calculates a variance value for each macroblock divided by the block division unit 1 3 2 1, that is, a pixel of each pixel constituting the macroblock. Calculate the variance of the value.
  • This variance can be calculated using, for example, the following equation.
  • ⁇ is the number of pixels constituting the macroblock
  • X is the pixel value of each pixel.
  • the histogram generator 1332 3 generates a histogram of the variance value calculated by the variance calculator 13 22 as shown in FIG. 6 (b), for example, and the frequency of the histogram becomes a peak.
  • the block selector 1332 is notified of the MAC block having the following variance value. Note that there are a plurality of macroblocks having a variance value at which the histogram frequency peaks, so that a plurality of macroblocks are notified to the block selection unit 1324.
  • the block selection unit 1324 selects one of the macroblocks notified from the histogram generation unit 1323 and sets the film grain component of the macroblock as a representative pattern. Output.
  • the selected macroblock may be any of the macroblocks notified from the block selection unit 1324.
  • the block selection unit 1324 further specifies, as additional information, a permission pattern or a prohibition pattern at the time of superimposition on the output film grain component.
  • the specification of the permission pattern or the prohibition pattern is performed for each picture or for each film grain component.
  • the permission pattern or the prohibition pattern will be described in detail in the configuration of the moving picture decoding device described later. '
  • FIG. 7 is a block diagram showing a second configuration example of the selection unit 132 of the film grain encoding unit 130. As shown in FIG.
  • the selection unit 132 includes a block division unit 1321, a variance calculation unit 1322, and a block selection unit 1325. Note that the block division unit 1321 and the variance calculation unit 1322 are the same as those shown in Fig. 6 (a).
  • the block selection section 1 3 2 5 holds a predetermined dispersion value set in advance. Then, the block selecting unit 1325 selects the macroblocks having the same variance value as the predetermined variance value among the variance values of the macroblocks calculated by the variance calculating unit 1322. One macroblock is selected from, and the film grain component of that macroblock is output as a representative pattern.
  • the block selection unit 1325 as in the case of the block selection unit 1324 in the first configuration example, further includes, as additional information, a permission pattern or a permission pattern at the time of superimposition on the output film grain component. Specify a prohibited pattern.
  • FIG. 8A is a block diagram showing a third configuration example of the selection unit 132 of the film grain encoding unit 130. As shown in FIG.
  • the selection unit 1332 includes a block division unit 1321 and a median calculation unit 1326. Note that the block division unit 1321 is the same as that shown in FIG. 6 (a).
  • the median value calculation unit 1 3 2 6 The median value is calculated for each pixel position in the macroblock through each macroblock. For example, as shown in Fig. 8 (b), the upper left pixel value of each macro block (4 x 4 pixels in Fig. 8 (b)) "0", “2", ... , Then the median of the pixel values ⁇ 3 J, ⁇ 2 J,... ⁇ 1 j on the upper left, then the pixel value ⁇ 1 _], ⁇ 3 J,... “1 1
  • the median value of J is sequentially calculated as follows, and the median value calculation unit 1326 outputs the calculated median value for each pixel position as a film grain component for one macroblock. In the above example, as shown in FIG. 8 (c), components having pixel values ⁇ 0 J, ⁇ 2 J, “1 J,...” Are output as representative patterns for one macroblock.
  • the median value calculation unit 1326 as with the block selection unit 1324 of the first configuration example, further includes, as additional information, a permission pattern or a prohibition pattern during superimposition on the output film grain component. Is specified.
  • the variance calculation unit 1322 notifies the histogram generation unit 13323 of only the calculated variance value of each mash block that is equal to or less than a predetermined threshold. It may be constituted so that it does.
  • the variable length coding unit 133 encodes the representative pattern output by the selection unit 132. For example, when the pixel value of the picture to be encoded is represented by 8 bits, the representative pattern output by the selection unit 132 is a differential value, and thus can be represented by 9 bits. If the film grain component for one macroblock, which is the representative pattern output by the selection unit 132, has a component as shown in FIG. 9 (a), for example, the variable length coding unit 133 outputs the 9-bit component as shown in Fig. 9 (b).
  • variable-length coding unit 13 3 Frequency coefficients such as discrete cosine transform (DCT) may be performed on the table pattern, and the coefficients may be encoded. In this case, it is preferable not to perform quantization in order to completely reproduce the representative pattern, but quantization may be performed using a small quantization parameter.
  • DCT discrete cosine transform
  • FIG. 10 is a flowchart showing the operation of the video encoding device in this case.
  • the input image is input to the encoding unit 110 and the film grain encoding unit 130 in picture order in display time.
  • the encoding unit 110 encodes the current picture to be coded, and generates a code string (Step S101). Further, the encoding unit 110 generates the decoded image data, and outputs it to the film grain encoding unit 130 (step S102).
  • the extraction unit 1331 of the film grain encoding unit 130 calculates the difference between the input image data and the decoded image data input from the addition operation unit 119 of the encoding unit 110, A film grain component is extracted (step S103).
  • the block dividing unit 1321 divides the film grain component extracted by the extracting unit 131 into macroblocks of, for example, 16 ⁇ 16® elements (step S104).
  • the variance calculation unit 1322 calculates a variance value for each macroblock divided by the block division unit 1321 (step S105).
  • the histogram generator 1332 3 generates a histogram of the variance value calculated by the variance calculator 1322, and determines which macroblock has a variance value at which the histogram frequency has a peak. Is notified to the block selection section "! 3 2 4 (step S106).
  • the block selector 1 3 2 4 selects one of the macroblocks notified from the histogram generator 1 3 2 3,
  • the macro grain film grain component is output as a representative pattern (step S107).
  • the block selection unit 1324 further specifies, as additional information, a permitted pattern or a prohibited pattern at the time of superimposition with respect to the representative pattern to be output, and outputs it (step S108).
  • the variable-length encoding unit 133 encodes the representative pattern and the additional information output by the selecting unit 132 (step S109).
  • the encoded representative pattern and additional information are sent as a code sequence different from the code sequence generated by the encoding unit 110. Note that the encoded representative pattern and the additional information can be transmitted as user data of a code string generated by the encoding unit 110.
  • the video decoding device 200 includes a decoding unit 210, a film grain generation unit 230, and a combining unit 240, as shown in FIG.
  • FIG. 11 is a block diagram showing the configuration of the decoding unit 210 of the video decoding device 200.
  • the decoding unit 210 includes a variable-length decoding unit 211, a prediction residual decoding unit 212, a picture memory 213, a motion compensation decoding unit 214, a switch 215, and addition.
  • An operation unit 2 16 is provided.
  • the variable-length decoding unit 211 extracts various data such as information on the re-decoding mode from the input code string and information on the motion vector used at the time of encoding.
  • the prediction residual decoding unit 212 decodes the input prediction residual encoded data to generate prediction residual image data.
  • the motion compensation decoding unit 211 generates motion compensation image data based on the information on the decoding mode, the information on the motion vector, and the like.
  • the addition operation unit 2 16 receives the prediction residual input from the prediction residual decoding unit 2 12.
  • the difference image data is added to the motion compensation image data input from the motion compensation decoding unit 2 14 to generate decoded image data.
  • the picture memory 2 13 stores the generated decoded image data.
  • the film grain generation unit 230 generates a superimposition pattern based on the film grain component and the additional information transmitted from the video encoding device 100.
  • a superimposition pattern based on the film grain component and the additional information transmitted from the video encoding device 100.
  • two examples of the configuration of the film grain generation unit 230 will be described.
  • FIG. 12 is a block diagram showing a first configuration example of the film grain generation section 230. As shown in FIG. 12
  • the film grain generation unit 230 includes a variable length decoding unit 231, a correction unit 232, a correction pattern selection unit 233, and a random number generation unit 234.
  • the variable-length decoding unit 2 31 performs variable-length decoding on the representative pattern and the additional information encoded and transmitted by the video encoding device 100.
  • the random number generation unit 234 generates a correction pattern indicating what correction is to be performed in the correction unit 232 by generating a random number using a random function. For example, as shown in Fig. 13 (a), the correction pattern is left as it is (no correction), inverted as shown in Fig. 13 (b), 90 degrees right as shown in Fig. 13 (c). Rotate 90 degrees to the right as shown in Figure 13 (d), rotate 180 degrees to the right as shown in Figure 13 (e), and rotate it 180 degrees as shown in Figure 13 (f). Is rotated 180 degrees, rotated left 90 degrees as shown in Fig. 13 (g), and rotated left 90 degrees as shown in Fig. 13 (h). The appropriate pattern.
  • the representative pattern of the region 50 shown in FIG. 14 (a) is shifted to the left as shown in FIG. 14 (b) as a correction pattern, and the region 51 out of the region 50 is shifted. To the vacant area 52 as shown in Fig. 14 (c). It is also possible to determine the pattern such as to make the pattern. In this case, the shift amount may be determined by generating a random number.
  • the correction pattern selection unit 2 33 3 corrects the correction pattern excluding the prohibition pattern from the correction patterns notified from the random number generation unit 2 34. 3 Notify 2.
  • the correction pattern selection unit 233 corrects only the permission pattern in the correction pattern notified from the random number generation unit 234. Notify to If the permission pattern and the prohibition pattern are not specified as the additional information, all the correction patterns notified from the random number generation section 234 are notified to the correction section 232.
  • the correction unit 232 corrects the decoded representative pattern using the correction pattern notified from the correction pattern selection unit 233 to generate a superimposed pattern.
  • FIG. 15 is a block diagram showing a second configuration example of the film grain generation section 230. As shown in FIG.
  • the film grain generation unit 230 includes a variable length decoding unit 231, a correction unit 232, and a correction pattern holding unit 236. Note that the variable-length decoding unit 231 and the correction unit 232 are the same as those shown in FIG.
  • the correction pattern holding section 236 holds a correction pattern set in advance.
  • the correction pattern for example, in the case of the example shown in FIG. 13, the correction pattern and the order of the correction pattern are held.
  • the shift amount and the order in which the shift amount is performed are held.
  • the synthesizing unit 240 combines the decoded image data output from the decoding unit 210 with the superimposed pattern output from the film grain generating unit 230 in FIG. Are synthesized as shown in FIG.
  • FIG. 17 is a flowchart showing the operation of the video decoding device in this case.
  • the decoding unit 210 decodes the code string transmitted from the video encoding device 100 (Step S201). Also, the variable length decoding unit 231 of the film grain generation unit 230 performs variable length decoding on the representative pattern and the additional information that have been encoded and transmitted by the video encoding device 100 ( Step S202). Next, the random number generation unit 234 generates a correction pattern by generating a random number (step S203).
  • the correction pattern selection section 233 determines whether or not a prohibited pattern is specified as additional information (step S204). As a result of this determination, if the prohibited pattern is specified, the correction pattern excluding the prohibited pattern in the correction pattern notified from the random number generation unit 234 is reported to the correction unit 232 (step S205). On the other hand, if the prohibition pattern is not specified, all the correction patterns notified from the random number generation section 234 are notified to the correction section 232. The correction unit 232 corrects the decoded representative pattern using the correction pattern notified from the correction pattern selection unit 233 to generate a superimposed pattern (step S206).
  • the combining unit 240 combines the decoded image data output from the decoding unit 210 with the superimposed pattern output from the film grain generation unit 230 (step S207).
  • the film grain component of at least one macroblock is coded as a representative pattern and transmitted.
  • Video decoding device 2 since the superimposition pattern generated based on the representative pattern is superimposed on the decoded image data obtained by decoding the code string, even if the input image is encoded at a low bit rate, the film grain And reproducibility can be improved. Also, since the number of representative patterns to be transmitted is small, the amount of additional information is small. Furthermore, by deforming the representative pattern in various ways using random numbers, it is possible to generate a film grain component that is visually uncomfortable.
  • the random number generation unit 234 may be configured to acquire, for example, the picture number and time information of the decoding target picture from the decoding unit 210 and use it as the initial value (seed) of the random function. .
  • the random value generation pattern is the same since the initial value (seed) of the random function is the same for the same picture for each reproduction.
  • the same superimposed pattern is generated for each reproduction, so that it is possible to prevent the superimposed pattern superimposed on the decoded image data from changing for each reproduction.
  • FIG. 18 is a block diagram showing a configuration of an encoding unit 140 and a film grain encoding unit 150 of the video encoding device according to Embodiment 2 of the present invention.
  • the same parts as those in the first embodiment are denoted by the same reference numerals, and description thereof will be omitted.
  • control unit 141 of the encoding unit 140 the operation of the selection unit 151 of the film grain encoding unit 150, and the operation of the variable length encoding unit 152 are described. However, this is different from the first embodiment.
  • the selection unit 1501 of the film grain encoding unit 150 is the same as that of the first embodiment. Similarly, the position information of the selected macro block is notified to the variable length coding unit 152 and the control unit 141 of the coding unit 140. The variable length coding unit 152 performs variable length coding on the position information of the selected macroblock.
  • the control unit 141 sets the macroblock specified by the notified position information to a lower quantization parameter than other blocks of the current picture to be encoded (for example, sets the quantization parameter to 0), or
  • the prediction residual encoding unit 112 is instructed to perform encoding again using the quantization parameter (for example, the minimum quantization parameter).
  • the prediction residual encoding unit 112 performs an encoding process using the specified quantization parameter, and generates encoded data.
  • FIG. 19 is a block diagram showing a configuration of a decoding unit 250 of the video decoding device according to Embodiment 2 of the present invention.
  • FIG. 20 shows a first configuration of film grain generation unit 260.
  • FIG. 21 is a block diagram showing an example, and FIG. 21 is a block diagram showing a second configuration example of the film grain generating section 260.
  • the same parts as in the first embodiment are denoted by the same reference numerals, and the description is omitted.
  • the prediction residual encoded data generated by prediction residual decoding section 212 of decoding section 250 is also input to film grain generation section 260.
  • the film grain generation unit 260 includes a film grain pattern acquisition unit 261 instead of the variable length decoding unit 231 of the first embodiment.
  • the film grain pattern acquisition section 26 1 decodes the position information transmitted from the moving picture coding device.
  • the film grain pattern acquisition unit 26 1 generates a prediction residual code of the macroblock identified by the position information.
  • the difference between the modified data and another macroblock referred to by the macroblock is calculated, and the calculated difference is output to the correction unit 232 as a representative pattern. That is, since the macroblock specified by the position information is encoded with high image quality, the difference from the other macroblock referred to by the macroblock is calculated to obtain the same as the representative pattern in the first embodiment. Component can be extracted.
  • the film grain component has been described. However, in the present embodiment, a case will be described in which a high-definition component included in a fine image or the like having a high frequency component is used. Since the film grain component is a high-definition component, the same method can be applied to high-frequency components other than the film grain component.
  • FIG. 22 is a block diagram showing an overall configuration of a moving picture coding apparatus and a moving picture decoding apparatus using the moving picture coding method and the moving picture decoding method according to Embodiment 3 of the present invention.
  • the video encoding device 300 encodes high-definition components separately from the main image. As shown in FIG. 22, the encoding unit 310 and the high-definition component encoding unit 3 30.
  • the video decoding device 400 is a device for superimposing a high-definition component on a decoded image, and as shown in FIG. 22, a decoding unit 410 and a high-definition component decoding unit 42 0, and high-definition component superposition It has a unit 4300.
  • Encoding section 310 and high-definition component encoding section 330 of video encoding apparatus 300 have the same configuration as in the first embodiment. The difference is that the superposition position at the time of superimposition on the representative pattern, which is the high-definition component to be output, in the selection section 1332 of the high-definition component encoding section 330 is selected. Specify information and gain information as additional information. This gain information specifies, for example, how many times the pixel value of the representative pattern is superimposed.
  • the decoding unit 410 of the video decoding device 400 has the same configuration as the decoding unit 210 of the first embodiment. Also, the high-definition component decoding unit 420 and the high-definition component superimposing unit 430 of the video decoding device 400 correspond to the film grain generation unit 230 and the synthesis unit 240 of the first embodiment. The same operation as is performed. The difference is that the value obtained by multiplying the pixel value of the representative pattern by the pixel value of the representative image based on the gain information specified as described above for the decoded image data decoded by the decoding unit 210 is This is the point of superimposition at the superimposition position specified as described above.
  • the position is specified and the representative pattern, which is a high-definition component, is superimposed only on a predetermined position, even if the input image is encoded with a low bit rate, the high-frequency component is The reproducibility can be improved by restoring the high-definition components contained in a fine image or the like having many parts.
  • the position information for superimposing the representative pattern is transmitted from the video encoding device.
  • the superimposition position is determined in the video decoding device.
  • FIG. 23 is a block diagram showing a configuration of a video decoding device according to Embodiment 4 of the present invention.
  • the video decoding device according to the present embodiment includes a superposition position determining unit 520 in addition to the configuration of the third embodiment.
  • the superposition position determination unit 520 determines a superposition position where the representative pattern is superimposed on the decoded image data decoded by the decoding unit 210. For example, the superposition position determination unit 520 determines that there is a high-frequency component if at least one non-zero coefficient of the coefficient transformed by the discrete cosine transform (DCT) is included in a predetermined range of the macroblock. However, it is determined that a representative pattern is superimposed on the macroblock.
  • the determination that there is a high-frequency component is not limited to this.For example, if n or more non-zero coefficients are included in a predetermined range of the macroblock, it is determined that there is a high-frequency component. It does not matter. Also, a macroblock in which the sum of absolute values of each coefficient is equal to or larger than a predetermined value may be determined to have a high-frequency component.
  • the video decoding device specifies the superimposition position and superimposes the representative pattern, which is a high-definition component, only at the predetermined position, the input image is encoded at a low bit rate. Even if there is, it is possible to improve the reproducibility by restoring the high-definition components included in a fine image or the like having a portion with a high frequency component. Also, there is no need to transmit information on the superposition position from the video encoding device to the video decoding device.
  • FIG. 24 shows a computer system using a flexible disk storing the moving picture coding method or the moving picture decoding method of the first embodiment. It is explanatory drawing in the case of implementing by.
  • Fig. 24 (b) shows the external appearance, cross-sectional structure, and flexible disk as viewed from the front of the flexible disk
  • Fig. 24 (a) shows an example of the physical format of the flexible disk that is the recording medium body.
  • the flexible disk FD is housed in the case F.
  • On the surface of the disk a plurality of tracks Tr are formed concentrically from the outer periphery toward the inner periphery. It is divided into sectors Se. Therefore, in the flexible disk storing the program, the moving picture encoding method as the program is recorded in an area allocated on the flexible disk FD.
  • FIG. 24 (c) shows a configuration for recording and reproducing the program on the flexible disk FD.
  • the moving picture coding method or the moving picture decoding method as the above program is written from the computer system Cs via a flexible disk drive.
  • the program is read from a flexible disk by a flexible disk drive and transferred to the computer system.
  • the description has been made using a flexible disk as a recording medium.
  • the same description can be made using an optical disk.
  • the recording medium is not limited to this, and any other recording medium, such as an IC card, a ROM cassette, or the like, which can record a program, can be used.
  • FIG. 25 is a block diagram showing an overall configuration of a content supply system exl100 for realizing a content distribution service. Provision of communication services The rear is divided into desired sizes, and base stations ex l07 to ex110, which are fixed radio stations, are installed in each cell.
  • the content supply system ex100 for example, includes an internet ex101 and an internet service provider ex102 and a telephone network ex104, and a base station ex100. 7 ⁇ ex 110 via computer ex 1 1 1, PDA (persona I digital assistant) ex 1 1 2, camera ex 1 1 3, mobile phone ex 1 1 4, mobile phone with camera ex Devices such as 1 1 and 5 are connected.
  • PDA persona I digital assistant
  • each device may be directly connected to the telephone network ex104 without going through the base stations ex107 to ex110, which are fixed wireless stations.
  • the camera ex 13 is a device that can shoot moving images such as digital video cameras.
  • PDC Personal Digital Communications
  • CDMA Code Division Multiple Access
  • W-CDMA Wideband-Code Diision Multiple Access
  • GSM Global System for Mobile Communications
  • PHS Personal Handyphone System
  • the streaming server ex103 is connected from the camera ex113 via the base station ex109 and the telephone network ex104 and uses the camera ex113. Live distribution etc. based on the encoded data transmitted by the user becomes possible.
  • the encoding process of the photographed data may be performed by the power camera ex113, or may be performed by a server or the like that performs the data transmission process.
  • the moving image data shot by the camera ex116 may be transmitted to the streaming server ex103 via the computer ex111.
  • Camera ex 1 1 6 is desi It is a device that can shoot still images and moving images such as talcamera. In this case, the encoding of the moving image data may be performed by the ex-116 or the computer ex-111.
  • the encoding process is performed in the LSI ex 117 of the computer ex 11 or the camera ex 16.
  • the video encoding and decoding software may be incorporated in any storage medium (CD-ROM, flexible disk, hard disk, etc.) that is a recording medium that can be read by a computer such as ex11. .
  • moving image data may be transmitted by a camera-equipped mobile phone ex115. The moving image data at this time is data that has been encoded by the LSI included in the mobile phone ex15.
  • the content (for example, a video of a live music) taken by the user with the camera ex13, the camera ex116, etc. is the same as in the above embodiment.
  • the streaming server ex 103 sends the above-mentioned content data to the requested client while sending it to the streaming server ex 103.
  • Clients include a computer ex11, a PDA ex112, a camera ex113, a mobile phone ex114, etc., capable of decoding the above encoded data. .
  • the content supply system ex1000 can receive and reproduce the encoded data at the client, and further, receive and decode the encoded data at the client in real time. It is a system that enables personal broadcasting by playing back.
  • each device constituting this system may be performed using the moving picture coding apparatus or the moving picture decoding apparatus described in each of the above embodiments.
  • FIG. 26 is a diagram illustrating the mobile phone ex115 using the moving picture coding method and the moving picture decoding method described in the above embodiments.
  • the mobile phone ex 1 15 has an antenna ex 2 0 1 for transmitting and receiving radio waves to and from the base station ex 1 0 1, a camera unit ex 2 0 3 capable of capturing images and still images of a CCD camera and the like.
  • the display unit ex202 such as a liquid crystal display, which displays the data obtained by decoding the video captured by the camera unit ex203, the video received by the antenna ex201, etc., and the operation keys eX204 group
  • the main unit consists of: an audio output unit ex208, such as a speaker for voice output, an audio input unit ex205, such as a microphone for voice input, data of captured moving images or still images, Recording media for storing encoded or decoded data such as received mail data, video data or still image data, etc. ex 20
  • the mobile phone ex115 has a slot part ex206 to allow the recording medium ex207 to be mounted.
  • the recording media ex207 is a type of EEPROM (Electrically Erasable and Programmable Read Only Memory), a non-volatile memory that can be electrically rewritten and erased in a plastic case such as an SD card. Is stored.
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the mobile phone exl 15 will be described with reference to FIG.
  • the mobile phone ex 1 15 is provided with a power supply circuit for the main control unit ex 3 11 1 which is to control each part of the main unit equipped with the display unit ex 202 and the operation keys ex 204 as a whole.
  • the recording / reproducing unit ex 307, the modulation / demodulation circuit unit ex 306, and the audio processing unit ex 305 are connected to each other via the synchronous bus ex 313.
  • the power supply circuit ex 310 supplies power to each part from the battery pack when the call is ended and the power key is turned on by user operation. Activates the digital mobile phone with camera ex 1 15 in an operable state.
  • the mobile phone exl 15 outputs the voice signal collected by the voice input unit ex 205 in the voice call mode based on the control of the main control unit ex 311 consisting of CPU, ROM, RAM, etc.
  • the data is converted into digital audio data by the processing unit ex305, subjected to spread spectrum processing by the modulation / demodulation circuit unit ex306, and subjected to digital analog conversion processing and frequency conversion processing by the transmission / reception circuit unit ex301.
  • the data is transmitted via the antenna ex 201.
  • the mobile phone ex115 also amplifies the received data received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog digital conversion processing, and performs spectrum analysis in the modulation / demodulation circuit section ex306. After performing a tram despreading process and converting it into analog audio data by an audio processing unit ex305, this is output via an audio output unit ex208.
  • the text data of the e-mail input by operating the operation key eX204 on the main unit is transmitted via the operation input control unit ex304. And sent to the main control unit ex311.
  • the main control unit ex3111 performs spread spectrum processing on the text data in the modulation and demodulation circuit unit ex306, and performs digital analog conversion processing and frequency conversion processing in the transmission and reception circuit unit ex301. It transmits to the base station ex110 via the antenna ex210.
  • the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera writer interface unit ex303.
  • the image data captured by the camera unit ex203 is displayed on the display unit ex303 via the camera interface unit ex303 and the LCD control unit ex302. It is also possible to display directly on 202.
  • the image encoding unit ex312 has a configuration provided with the moving image encoding device described in the present invention, and is a moving image in which the image data supplied from the camera unit ex203 is shown in the above embodiment.
  • the image data is converted into encoded image data by performing compression encoding by the encoding method used in the encoding device, and is transmitted to the demultiplexing unit ex308.
  • the mobile phone ex115 also converts the voice collected by the voice input unit ex205 while taking the image with the camera unit ex203 into digital voice data via the voice processing unit ex305. It is sent to the demultiplexing unit ex308.
  • the demultiplexing unit ex308 multiplexes the encoded image data supplied from the image encoding unit ex312 and the audio data supplied from the audio processing unit ex305 in a predetermined manner, and obtains the resulting multiplex.
  • the modulated data is subjected to spread spectrum processing in a modulation / demodulation circuit section ex306, subjected to digital analog conversion processing and frequency conversion processing in a transmission / reception circuit section ex301, and then transmitted via an antenna ex201.
  • the received data received from the base station exl 10 via the antenna ex 201 is scanned by the modem circuit ex 306.
  • the multiplexed data obtained as a result of the despreading is transmitted to the demultiplexing unit ex308.
  • the demultiplexing unit ex308 demultiplexes the multiplexed data to obtain the bit stream of the re-image data.
  • the audio data is divided into the bit stream of the audio data, and the encoded image data is supplied to the image decoding unit ex309 via the synchronous bus ex313 and the audio data is supplied to the audio processing unit ex305.
  • the image decoding unit ex309 sets the moving image decoding unit described in the present invention.
  • the video stream is generated by decoding the bit stream of the image data by a decoding method corresponding to the encoding method described in the above embodiment. This is supplied to the display unit ex202 via the LCD control unit ex302, whereby, for example, moving image data included in a moving image file linked to a homepage is displayed.
  • the audio processing unit ex305 converts the audio data into analog audio data, and then supplies the analog audio data to the audio output unit ex208, thereby generating, for example, a moving image file linked to a homepage. The included audio data is reproduced.
  • a decoding device or a moving image decoding device can be incorporated.
  • the bitstream of the video information is transmitted to the communication or broadcasting satellite ex410 via radio waves.
  • the broadcasting satellite ex 410 receiving this transmits a radio wave for broadcasting, receives this radio wave with a home antenna ex 406 having a satellite broadcasting receiving facility, and receives a TV (receiver) ex 410 or
  • a device such as a set top box (STB) ex407 is used to decrypt the JJ-bit stream and reproduce it.
  • STB set top box
  • the playback device ex 403 that reads and decodes the bit stream recorded on the storage medium ex 402 such as a CD or DVD as a recording medium and decodes the video stream described in the above embodiment is also used. It is possible to implement a conversion device. In this case, the reproduced video signal is displayed on the monitor ex404.
  • a video decoding device is mounted in a set-top box ex 407 connected to a cable TV cable ex 405 or a satellite terrestrial broadcasting antenna ex 406, and this is used as a TV monitor. A configuration that plays back with ex408 is also conceivable. At this time, the video decoding device may be incorporated in the television instead of the set-top box.
  • antenna ex 4 1 A signal is received from a satellite ex 410 or a base station ex 107 at a car ex 4 12 having a 1 and a display such as a power navigation ex 4 13 of a car ex 4 12 is provided. It is also possible to play moving pictures on the device.
  • an image signal can be encoded by the moving image encoding device described in the above embodiment and recorded on a recording medium.
  • a recorder eX420 such as a DVD recorder that records an image signal on a DVD disk eX421, and a disk recorder that records on a hard disk.
  • it can be recorded on the SD card eX422. If the recorder ex420 has the moving picture decoding apparatus shown in the above embodiment, the video signal recorded on the DVD disc ex421 or the SD card ex422 is reproduced and the monitor ex420 is reproduced. 8 can be displayed.
  • the configuration of the force navigation ex 413 is, for example, that of the configuration shown in FIG. 27, the camera unit ex 203, the camera interface unit ex 303, and the image encoding unit e X313. The same can be said for the computer ex11 and the TV (receiver) ex401.
  • terminals such as the above-mentioned mobile phones exl 14 are three types of terminals, namely, a transmission / reception terminal having both an encoder and a decoder, a transmission terminal having only an encoder, and a reception terminal having only a decoder. Is possible.
  • the moving picture coding method or the moving picture decoding method shown in the above embodiment can be used for any of the above-mentioned devices and systems. The effect can be obtained.
  • Each functional block of each embodiment is typically realized as an LSI which is an integrated circuit. These may be individually integrated into one chip, May be integrated into one chip to include everything. (For example, functional blocks other than memory may be integrated into one chip.)
  • the method of circuit integration is not limited to LSI, but may be realized by a dedicated circuit or a general-purpose processor.
  • L S I FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure connections and settings of circuit cells inside the L S I
  • the functional blocks may be naturally integrated using the technology. Adaptation of biotechnology is possible.
  • the means (picture memory) for storing image data to be encoded or decoded may be configured differently without being integrated into one chip.
  • the moving picture encoding method and the moving picture decoding method according to the present invention can be implemented by, for example, using a mobile phone, a DVD device, a personal computer, or the like to encode each picture constituting the moving picture and obtain a code string. This is useful as a method for generating a code string or decoding a generated code string.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

動画像符号化装置（１００）は、入力画像を符号化して符号列を生成する符号化部（１１０）と、少なくとも１つのマクロブロックのフィルムグレイン成分を選択して代表パターンとし、この代表パターンを符号化するフィルムグレイン符号化部（１３０）とを備える。一方、動画像復号化装置（２００）は、符号列を復号化して復号化画像データを生成する復号化部（２１０）と、代表パターンおよび付加情報に基づいて重畳パターンを生成するフィルムグレイン生成部（２３０）と、復号化画像データと重畳パターンとを合成する合成部（２４０）とを備える。

Description

明 細 書 動画像符号化方法および動画像復号化方法 技術分野
本発明は、 動画像を構成する各ピクチャをブロック単位で符号化する 動画像符号化方法、 および符号化された符号列を復号化する動画像復号 化方法に関する。 背景技術
フィルム動画像は、 フィルムの写真乳剤の中に分散されているハロゲ ン化銀結晶により構成されている。写真フィルムに記録される各画像は、 ハロゲン化銀結晶を感光させて現像することによって生成される。 カラ —画像では、 現像の後に銀は化学的に除去される。 しかし、 銀結晶の構 造は、 現像後も小さな色素の粒子と して残る。 銀結晶は乳剤の中で不規 則な形をしているため、 その粒子は画像の中でも不規則に形成され散ら ばっている。 認知できる粒子構造のことをフィルムグレイン （フイルム 粒子） といい、 例えば図 1 に示すような粒子構造である。
動画像再生を見ている人は、 0 . 0 0 2 m mからその 1 0分の 1 程度 の大きさの粒子ひとつひとつには気がつかない。 しかし、 粒子のかたま リは認知し、 それがフィルムグレインだと確認できる。
生成された画像の解像度を上げると、 それにつれてフイルムグレイン の認知度も上がる。 特に、 映画再生や高解像度ビデオ画像においては、 フィルムグレインははつきりと認知できる。 一方、 標準的な亍レビ画像 やもっと小さいテレビ表示形式においては、 フィルムグレインはあまり 目立たない。 ところで、 動画像を用いたアプリケーションへは、 テレビ電話通信や テレビ会議から D V D (Digital Versati le Disk) やデジタルテレビに 至るまで、 どんどん増えてきている。 動画像を送信したり記録したりす る際、 大量のデータを周波数帯域の限られた従来の伝送チャネルを通じ て送信したり、 データ容量の限られた従来の記憶メディアに保存したり しなくてはならない。 デジタルデータを従来のチャネルやメディアで送 信したリ保存したりするには、 デジタルデータの圧縮は必要不可欠であ る。
動画像データを圧縮するために、 多くの動画像符号化規格が開発され ている。 例えば、 H . 2 6 x と呼ばれる I T U - T (国際電気通信連合 電気通信標準化部門） 規格、 M P E G - X と呼ばれる I S O (国際標準 化機構） / I E C (国際電気標準会議） 規格などがある。 最新かつ先進 のビデオ符号化規格は、 H . 2 6 4もしくは M P E G - 4 A V Cと呼 ばれるものである。
こういった規格の基礎となる符号化のアプローチは主に以下のような 段階を踏んで行われる。 まず、 動画像を構成するピクチャがいくつかの 画素の固まリであるプロック単位でデータ圧縮されるように、 各ピクチ ャをブロックに分割する。 次に、 動画像データの各ブロックを空間領域 から周波数領域へと変換し、 得られた変換係数を量子化し、 量子化され た変換係数をエン トロピ一符号化することによって、 ピクチャの空間的 な冗長性を減少させる。 さらに、 他のピクチャのブロックとの時間的相 関性を利用して、 他のピクチヤとの変化量だけを符号化する。 これは、 動き検出 ，補償の技術を使って行われる。
様々な動画像圧縮技術の中でも最も効果的なものと して、 いわゆるハ イブリ ツ ド符号化技術が知られている。 ハイブリ ッ ド符号化技術は、 時 間的 ■ 空間的圧縮技術を統計的符号化と結びつけたものである。 ここで は、 動き補償、 離散コサイン変換 （ D C丁）、 D C T係数の量子化、 可変 長符号化 （V L C) といった技術を使用する。 動き補償は、 対象ピクチ ャと符号化済みピクチャとの間の画像の動きを決定し、 決定した動きか ら対象ピクチャを予測して、 対象ピクチャとその予測ピクチヤとの差異 を表す差分画像を生成するものである。
このような動画像圧縮において、 ビッ トレ一 トを下げて符号化を行う と、 フィルムグレインが削除されてしまい、 フイルムグレインによる映 画独特の質感が失われるという問題がある。 一般に動画像圧縮では情報 量削減のために画像の高域成分を除去するが、 フィルムグレインは高精 細成分であり高域成分信号であるため、 圧縮処理によって除去されてし まう。
そこで、 フィルムグレイン情報を画像内容とは別に処理するひとつの 方法と して、 フィルムグレイン情報をビデオシーケンスから取リ除き、 所定のフィルムグレインモデルに基づきフィルムグレイン情報をパラメ —タ化し、 統計的フィルムグレイ ンパラメ一タを送信して符号化動画像 データに追加することが考えられる。 フィルムグレインパラメータは、 M P E G — 4 A V C方式では S E I ( Supp I ementa I Enhancement Information) の形で送信することができる。現在の動画像符号化規格の S E I モードでは、 符号化ピクチャ内での表示能力を提供するために、 送信するビッ トス トリームの追加情報を含ませている。 現在では、 S E I 情報は、 ピクチャフリ一ズ、 ピクチヤスナツプシヨ ッ ト、 ビデオ分割、 プログレッシブリファインメント、 キー入力を提供している。 これらの オプションは、 サポート機能を備えたデコーダと、 ビッ トス トリーム内 での機能性の提供を目的と している。
図 2は、 フイルムグレインパラメ一タ送信の概要を示すブロック図で ある。 符号化装置 7 00に入力された動画像データは、 フイルムグレイ ン除去フィルタ 7 0 1 に送られ、 フイルムグレインが動画像データから 取り除かれる。 フィルムグレインが取り除かれた動画像データは、 符号 化部 7 0 2によって標準的な動画像符号化プロセスを施される。 符号化 動画像データは符号列 （符号化ビデオス トリーム） と して、 対応する復 号化装置 8 0 0に送信される。
こ こでは、 フィルムグレイン除去フィルタ 7 0 1 は、 動き補償された 時間的メディアンフィルタによって実現される。 フィルムグレインは不 規則な構造をしているため、 動きがない限り時間的メディアンフィルタ を使って画像シーケンスから簡単に取り除く ことができる。 画像内容に 動きを含むビデオシーケンスの場合はさらに高度なアプローチが必要で ある。 そのため、 動き補償した時間的メディアンフィルタは、 ピクチャ からピクチャへと動きを追って、 それぞれの画像内容をフィルタ リング し、 フィル厶グレイ ンを取り除く。
フィルムグレイン情報が取リ除かれた動画像データは既存の動画像符 号化規格のいずれかに従って符号化されるが、 フィルムグレイン情報は フィルムグレインパラメ一タ化部 7 0 3に送られて、 統計的モデルに従 つてフイルムグレインがパラメータ化される。
このフィルムグレインのパラメ一タ化では、 元の信号フォーマツ 卜に よってカラ一変換及びノまたは画素補間を伴うことも可能である。 典型 的な例と して、 フイルムグレインは R G Bカラ一空間でモデル化され、 写真フィルムのカラ一構成を近似する。 あるいは、 モノクロフィルムグ レインは Y U Vカラー空間における Y成分 （輝度成分） に加えることが できる。
フィルムグレインをパラメ一タ化する簡単な方法は、 フィルムグレイ ンを画像信号に加えられたガウス形ノイズと して処理することである。 より高い忠実度のフィルタ粒子パラメータ化モデルでは、 各カラ一成分 及び または粒子レベルセッ トごとに異なるパラメータを送信する必要 がある。
その結果得られたフイルムグレインパラメータは、 S E I メ ッセージ の形でビデオス トリ一厶に含められて送信される。
符号化動画像データおよびフィルムグレインパラメータを含む S E I メ ッセージは復号化装置 8 0 0に送信される。 復号化装置 8 0 0は符号 化動画像データを復号化する復号化部 8 0 1 と、 フィルムグレインシミ ユレ一タ部 8 0 2を備える。フィルムグレインシミュレータ部 8 0 2は、 受信したフィルムグレインパラメータに従ってフィルムグレインを生成 し、 生成したフィルムグレインを復号化した動画像データに加える。 こ のようにして、 フィルムグレインを重畳した動画像データを再生するこ とができる。
フィルムグレインシミュレ一ショ ンは、 完全に復号化装置 8 0 0側で 行われる。 フィル厶グレインシミュレーションは、 特定の未使用フィル ム上でフィルムグレインを再生するための所定のモデルに依存している。 あるいは、 フィル厶グレインシミュレーションは、 構成可能なモデルの パラメータ化によって行われる。 そして、 フィルムグレインシミュレ一 シヨンは、 動画像データを復号化した後、 動画像データを表示する前に 行われる。
この方法の欠点は、 それぞれのパラメータを得るためには、 フィルム グレイン情報を公知の統計的フィルムグレインモデルに従って標準化し なくてはならないことである。 従って、 標準的な統計的フイルムグレイ ンモデルにあてはまるフイルムグレインだけしか、 正しい復号化および 再生ができるように適切に符号化して送信することができない。
このような従来のフィルムグレイン除去方法では、 特に、 動き補償フ ィルタ リ ングが原因で、高度な計算と複雑なハードウ Iァが必要である。 また、 別の方法と して、 動画像を符号化する際に、 画像中に含まれる ノイズ量を検出し、 そのノイズ量を示すフラグを符号化して伝送し、 ビ ッ 卜ス トリームを復号化した後にフラグに従ってホワイ 卜ノイズを付加 する動画像符号化方法および動画像復号化方法が提案されている （例え ぱ、 特開平 8— 7 9 7 6 5号公報参照）。
しかしながら、 この動画像符号化方法および動画像復号化方法では、 プリフィルタで削除されたノイズ量を示すフラグに従って一律にホワイ トノイズを付加しているだけであリ、 画像の再現性が低いという問題が また、 例えば、 木々の緑のように高周波成分が多い部分を有する細か い画像をビッ トレ一トを下げて符号化すると、 フィル厶グレインと同様 に高周波成分が削除されてしまい、 細かい部分が再現できないという問 題がある。 発明の開示
そこで、 本発明は上記の事情に鑑みてなされたものであり、 低ビッ ト レートであっても、 フィルムグレイ ンや高周波成分が多い部分等を甦ら せて再現性を向上させることができる動画像符号化方法および動画像復 号化方法を提供することを目的とする。
上記目的を達成するために、 本発明に係る動画像符号化方法は、 動画 像を構成する各ピクチャをブロック単位で符号化する動画像符号化方法 であって、 符号化対象ピクチャを符号化する第 1 符号化ステップと、 前 記符号化対象ピクチャから高精細成分を抽出する抽出ステツプと、 前記 抽出ステツプによリ抽出された前記高精細成分から少なく とも 1 ブロッ ク分の前記高精細成分を選択する選択ステツプとを含むことを特徴とす る。 ここで、 前記動画像符号化方法は、 さらに、 前記選択ステップにより 選択された少なく とも 1 プロック分の前記高精細成分を符号化する第 2 符号化ステップを含むことが好ましい。
また、 本発明に係る動画像復号化方法は、 動画像を構成する各ピクチ ャがブ口ック単位で符号化された符号列を復号化する動画像復号化方法 であって、 前記符号列を復号化して復号化画像データを生成する第 1復 号化ステップと、 少なく とも 1 ブロック分の高精細成分を取得する取得 ステップと、 前記取得ステップにより取得された少なく とも 1 ブロック 分の前記高精細成分を前記復号化画像データに重畳する重畳ステップと を含むことを特徴とする。
なお、 ここで高精細成分には、 フィルムグレイ ン成分が含まれる。 これによつて、入力画像を低ビッ トレートで符号化した場合あっても、 高精細成分を甦らせて再現性を向上することができる。 また、 低ビッ ト レー トで送った符号列を後から高画質化することができる。
さらに、 本発明は、 このような動画像符号化方法および動画像復号化 方法と して実現することができるだけでなく、 このような動画像符号化 方法および動画像復号化方法が含む特徴的なステップを手段と して備え る動画像符号化装置および動画像復号化装置と して実現したり、 それら のステップをコンピュータに実行させるプログラムと して実現したりす ることもできる。 そして、 そのようなプログラムは、 C D— R O M等の 記録媒体ゃィンターネッ 卜等の伝送媒体を介して配信することができる のは言うまでもない。
以上の説明から明らかなように、 本発明に係る動画像符号化方法およ び動画像復号化方法によれば、 入力画像を低ビッ トレー卜で符号化した 場合あっても、 高精細成分を甦らせて再現性を向上することができる。 また、 低ビッ トレー卜で送った符号列を後から高画質化することができ る。 図面の簡単な説明
図 1 は、 フィルムグレイ ンの粒子構造を示す模式図である。
図 2は、 フィルムグレインパラメータ送信の概要を示すブロック図で める。
図 3は、 本発明の実施の形態 1 に係る動画像符号化方法および動画像 復号化方法を用いた動画像符号化装置および動画像復号化装置の全体構 成を示すブロック図である。
図 4は、動画像符号化装置の符号化部の構成を示すブロック図である。 図 5は、 動画像符号化装置のフィル厶グレイン符号化部の構成を示す ブロック図である。
図 6 ( a ) は、 フィルムグレイン符号化部の選択部の第 1 の構成例を 示すブロック図であり、 図 6 ( b ) および （ c ) は、 ヒス トグラムの一 例を示す図である。
図 7は、 フィルムグレイン符号化部の選択部の第 2の構成例を示すブ ロック図である。
図 8 ( a ) は、 フィルムグレイン符号化部の選択部の第 3の構成例を 示すブロック図であり、 図 8 ( b ) は、 分割された各マクロブロックの 画素値の例を示す図であり、 図 8 ( c ) は、 中央値計算部で算出された 1 マクロブロック分のフィルムグレイン成分の例を示す図である。
図 9 ( a ) は、 1 マクロブロック分のフイルムグレイン成分の例を示 す図であり、 図 9 ( b ) は、 可変長符号化部で出力される成分の例を示 す図である。
図 1 0は、 動画像符号化装置の動作を示すフローチャー トである。 図 1 1 は、 動画像復号化装置の復号化部の構成を示すブロック図であ る。
図 1 2は、 フィルムグレイン生成部の第 1 の構成例を示すブロック図 である。
図 1 3 ( a ) ~ ( h ) は、 修正パターンの例を示す図である。
図 1 4 ( a ) 〜 （ c ) は、 修正パターンの例を示す図である。
図 1 5は、 フィルムグレイン生成部の第 2の構成例を示すブロック図 である。
図 1 6は、 合成部による復号化画像データと重畳パターンとの合成の 例を示す図である。
図 1 7は、 動画像復号化装置の動作を示すフローチャー トである。 図 1 8は、 本発明の実施の形態 2に係る動画像符号化装置の符号化部 およびフィルムグレイン符号化部の構成を示すブロック図である。 図 1 9は、 本発明の実施の形態 2に係る動画像復号化装置の復号化部 の構成を示すブロック図である。
図 2 0は、 フィルムグレイン生成部の第 1 の構成例を示すブロック図 である。
図 2 1 は、 フィルムグレイン生成部の第 2の構成例を示すブロック図 である。
図 2 2は、 本発明の実施の形態 3に係る動画像符号化方法および動画 像復号化方法を用いた動画像符号化装置および動画像復号化装置の全体 構成を示すブロック図である。
図 2 3は、 本発明の実施の形態 4に係る動画像復号化装置の構成を示 すブロック図である。
図 2 4は、 各実施の形態の動画像符号化方法および動画像復号化方法 をコンピュータシステムにより実現するためのプログラムを格納するた めの記録媒体についての説明図であり、 (a) 記録媒体本体であるフレキ シブルディスクの物理フォーマッ トの例を示した説明図、 （b) フレキシ ブルディスクの正面からみた外観、 断面構造、 及びフレキシブルデイス クを示した説明図、 （c) フレキシブルディスク F Dに上記プログラムの 記録再生を行うための構成を示した説明図である。
図 2 5は、 コンテンツ配信サービスを実現するコンテンツ供給システ ムの全体構成を示すプロック図である。
図 2 6は、 携帯電話の一例を示す図である。
図 2 7は、 携帯電話の内部構成を示すブロック図である。
図 2 8は、 ディジタル放送用システムの全体構成を示すブロック図で ある。 発明を実施するための最良の形態
本発明の実施の形態について、 図面を参照して説明する。
(実施の形態 1 )
図 3は、 本発明の実施の形態 1 に係る動画像符号化方法および動画像 復号化方法を用いた動画像符号化装置および動画像復号化装置の全体構 成を示すブロック図である。
動画像符号化装置 1 0 0は、 フィル厶グレインを主画像とは別に符号 化するための装置であり、 図 3に示すように符号化部 1 1 0およびフィ ルムグレイン符号化部 1 3 0を備えている。 一方、 動画像復号化装置 2
0 0は、 フィルムグレインを復号化画像に重畳するための装置であり、 図 3に示すように復号化部 2 1 0、 フイルムグレイ ン生成部 2 3 0、 お よび合成部 2 4 0を備えている。
まず、 動画像符号化装置 1 0 0について説明する。
図 4は、 動画像符号化装置 1 0 0の符号化部 1 1 0の構成を示すプロ ック図である。 符号化部 1 1 0は、 図 4に示すように制御部 1 1 1 、 予測残差符号化 部 1 1 2、 可変長符号化部 1 1 3、 予測残差復号化部 1 1 4、 ピクチャ メモリ 1 1 5、 動きベク トル検出部 1 1 6、 動き補償符号化部 1 1 7、 差分演算部 1 1 8、 加算演算部 1 1 9、 およびスィ ッチ 1 2 0を備えて いる。
動きベク トル検出部 1 1 6は、 符号化済みの復号化画像データを参照 ピクチャとして用いて、 そのピクチャ内の探索領域において、 入力され た画像に最も近い画像領域の位置への動き量を示す動きベク トルの検出 を行う。
動き補償符号化部 1 1 7は、 動きべク トル検出部 1 1 6で検出された 動きべク トルを用いてブロックの符号化モードを決定し、 この符号化モ ードに基づいて予測画像データを生成する。 この符号化モードとは、 マ クロブロックをどのような方法で符号化するかを示すものである。
差分演算部 1 1 8は、 入力された入力画像データと、 動き補償符号化 部 1 1 7より入力された予測画像データとの差分を演算し、 予測残差画 像データを生成する。
予測残差符号化部 1 1 2は、 入力された予測残差画像データに対して 例えば離散コサイン変換 （ D C T ) 等の周波数変換や量子化等の符号化 処理を行い、 符号化データを生成する。 可変長符号化部 1 1 3は、 入力 された符号化データに対して可変長符号化等を行い、 さらに動き補償符 号化部 1 1 7から入力された動きベク トルの情報、 および符号化モード の情報等を付加することによ り符号列を生成する。
制御部 1 1 1 は、 予測残差符号化部 1 "I 2で行われる量子化における パラメータ、 スィ ッチ 1 2 0等を制御する。
予測残差復号化部 1 1 4は、 入力された符号化データに対して逆量子 化や逆周波数変換等の復号化処理を行い、 復号化差分画像データを生成 する。 加算演算部 1 1 9は、 予測残差復号化部 1 1 4より入力された復 号化差分画像データと、 動き補償符号化部 1 1 フょリ入力された予測画 像データとを加算し、 復号化画像データを生成する。 ピクチャメモリ 1 1 5は、 生成された復号化画像データを格納する。
図 5は、 動画像符号化装置 1 0 0のフイルムグレイン符号化部 1 3 0 の構成を示すブロック図である。
フィルムグレイン符号化部 1 3 0は、図 5に示すように抽出部 1 3 1 、 選択部 1 3 2、 および可変長符号化部 1 3 3を備えている。
抽出部 1 3 1 は、 入力された入力画像データと、 加算演算部 1 1 9よ リ入力された復号化画像データとの差分を演算し、 フィルムグレイ ン成 分を抽出する。
選択部 1 3 2は、 抽出部 1 3 1 によって抽出された符号化対象ピクチ ャのフィル厶グレイン成分を例えば 1 6 X 1 6画素のマクロブロックに 分割し、 少なく とも 1 つのマクロブロックのフィルムグレイン成分を選 択して代表パターンと して出力する。 以下、 この選択部 1 3 2の構成に ついて、 3つの構成例を説明する。
図 6 ( a ) は、 フイルムグレイン符号化部 1 3 0の選択部 1 3 2の第 1 の構成例を示すブロック図である。
選択部 1 3 2は、 ブロック分割部 1 3 2 1 、 分散計算部 1 3 2 2、 ヒ ス トグラム生成部 1 3 2 3、 およびプロック選択部 1 3 2 4を備えてい る。
ブロック分割部 1 3 2 1 は、 抽出部 1 3 1 によつて抽出された符号化 対象ピクチャのフィルムグレイン成分を、 例えば 1 6 X 1 6画素のマク ロブロックに分割する。
分散計算部 1 3 2 2は、 ブロック分割部 1 3 2 1 で分割されたマクロ ブロック毎の分散値、 すなわちマクロブロックを構成する各画素の画素 値の分散値を算出する。この分散値は、例えば次式を用いて算出できる。
Figure imgf000015_0001
】 ここで、 Νはマクロブロックを構成する画素数、 Xは各画素の画素値で ΰο 。
ヒス 卜グラム生成部 1 3 2 3は、 分散計算部 1 3 2 2で算出された分 散値のヒス トグラムを例えば図 6 ( b ) に示すように生成し、 ヒス トグ ラムの頻度がピークとなる分散値を有しているマク口ブロックがどれで あるかをブロック選択部 1 3 2 4へ通知する。 なお、 ヒス トグラムの頻 度がピークとなる分散値を有しているマクロブロックは複数存在するこ とになるので、 ブロック選択部 1 3 2 4へ通知するマクロブロックは複 数となる。
ブロック選択部 1 3 2 4は、 ヒス トグラム生成部 1 3 2 3から通知さ れたマクロブロックの中からいずれか 1 つのマクロブロックを選択し、 そのマクロブロックのフィルムグレイン成分を代表パターンと して出力 する。 ここで、 選択するマクロブロックは、 ブロック選択部 1 3 2 4か ら通知されたマクロブロックの中のいずれであっても構わない。
また、 ブロック選択部 1 3 2 4は、 さらに付加情報と して、 出力する フイルムグレイン成分に対する、 重畳時における許可パターンまたは禁 止パターンを指定する。この許可パターンまたは禁止パターンの指定は、 ピクチャ毎、 またはフイルムグレイン成分毎に行う。 この許可パターン または禁止パターンについては、 後述する動画像復号化装置の構成で詳 しく説明する。 '
なお、 ヒス トグラム生成部 1 3 2 3は、 例えば図 6 ( c ) に示すよう に生成したヒス トグラムで頻度がピークとなる分散値が 2つ存在するよ うな場合には、 2つの分散値を有しているマクロブロックがどれである かをプロック選択部 1 3 2 4へ通知する。 そして、 プロック選択部 1 3 2 4は、 それぞれの分散値を有しているマクロブロックの中からそれぞ れ 1 つのマクロブロック （合計 2つのマクロブロック） を選択し、 その マクロブロックのフィルムグレイン成分を代表パターンとして出力する。 図 7は、 フィルムグレイン符号化部 1 3 0の選択部 1 3 2の第 2の構 成例を示すブロック図である。
選択部 1 3 2は、 ブロック分割部 1 3 2 1 、 分散計算部 1 3 2 2、 お よびブロック選択部 1 3 2 5を備えている。 なお、 ブロック分割部 1 3 2 1 および分散計算部 1 3 2 2は、 図 6 ( a ) に示した場合と同様であ る。
プロック選択部 1 3 2 5は、 あらかじめ設定された所定の分散値を保 持している。 そして、 プロック選択部 1 3 2 5は、 分散計算部 1 3 2 2 で算出された各マクロブロックの分散値の中で、 所定の分散値と同じ分 散値を有しているマクロブロックの中から 1 つのマクロブロックを選択 し、 そのマクロブロックのフィルムグレイ ン成分を代表パターンと して 出力する。
また、 プロック選択部 1 3 2 5は、 上記第 1 の構成例のプロック選択 部 1 3 2 4と同様に、 さらに付加情報と して、 出力するフイルムグレイ ン成分に対する、 重畳時における許可パターンまたは禁止パターンを指 定する。
図 8 ( a ) は、 フィル厶グレイ ン符号化部 1 3 0の選択部 1 3 2の第 3の構成例を示すブロック図である。
選択部 1 3 2は、 ブロック分割部 1 3 2 1 、 および中央値計算部 1 3 2 6を備えている。 なお、 ブロック分割部 1 3 2 1 は、 図 6 ( a ) に示 した場合と同様である。
中央値計算部 1 3 2 6は、 ブロック分割部 1 3 2 1 で分割されたマク ロブロック中の画素位置毎に、 各マクロブロックを通して中央値を算出 する。例えば、 図 8 ( b ) に示すように分割された各マクロブロック （図 8 ( b ) では 4 X 4画素） の左上の画素値 「 0」、 「 2」、 … 「一 2」 の中 央値を、 次に左上の右隣の画素値 Γ 3 J、 Γ 2 J、 … Γ 1 j の中央値を、 次 にその右隣の画素値 Γ 1 _]、 Γ 3 J、 … 「一 1 J の中央値をというように順 次算出する。 そして、 中央値計算部 1 3 2 6は、 算出した画素位置毎の 中央値を 1 マクロブロック分のフィルムグレイン成分と して出力する。 すなわち、 上記の例では、 図 8 ( c ) に示すように画素値 Γ 0 J、 Γ 2 J、 「 1 J、…となる成分を 1 マクロブロック分の代表パターンと して出力す る。
また、 中央値計算部 1 3 2 6は、 上記第 1 の構成例のプロック選択部 1 3 2 4と同様に、 さらに付加情報として、 出力するフィルムグレイン 成分に対する、 重畳時における許可パターンまたは禁止パターンを指定 する。
なお、 上記第 1 の構成例において、 分散計算部 1 3 2 2は算出した各 マク口プロックの分散値の中で所定の閾値以下のマク口プロックだけを ヒス トグラム生成部 1 3 2 3へ通知するように構成しても構わない。 可変長符号化部 1 3 3は、 選択部 1 3 2によって出力された代表パタ ーンを符号化する。 例えば、 符号化対象ピクチャの画素値が 8 ビッ トで 表されていた場合、 選択部 1 3 2によって出力された代表パターンは差 分値であるため、 9 ビッ 卜で表わすことができる。 選択部 1 3 2によつ て出力された代表パターンである 1 マクロブロック分のフィルムグレイ ン成分が、 例えば図 9 ( a ) に示すような成分を有していた場合、 可変 長符号化部 1 3 3はそのまま図 9 ( b ) に示すような成分を 9 ビッ トで 出力する。
なお、 可変長符号化部 1 3 3は、 選択部 1 3 2によって出力された代 表パターンに対して例えば離散コサイン変換 （ D C T ) 等の周波数変換 を行って、 その係数を符号化しても構わない。 この場合、 代表パターン を完全に再現するために量子化は行わないほうが好ましいが、 小さい量 子化パラメ一タを用いて量子化を行っても構わない。
次に、 上記のように構成された動画像符号化装置の動作について説明 する。 ここでは、 フィルムグレイン符号化部 1 3 0の選択部 1 3 2が第 1 の構成例である場合について説明する。 図 1 0は、 この場合の動画像 符号化装置の動作を示すフローチャー トである。
入力画像は、 表示時間順にピクチャ単位で符号化部 1 1 0およびフィ ルムグレイン符号化部 1 3 0に入力される。 符号化部 1 1 0は、 符号化 対象ピクチャを符号化し、符号列を生成する（ステップ S 1 0 1 )。また、 符号化部 1 1 0は、 復号化画像データを生成し、 フィルムグレイ ン符号 化部 1 3 0へ出力する （ステップ S 1 0 2 )。 フィルムグレイン符号化部 1 3 0の抽出部 1 3 1 は、 入力画像データと、 符号化部 1 1 0の加算演 算部 1 1 9より入力された復号化画像データとの差分を演算し、 フィル ムグレイ ン成分を抽出する （ステップ S 1 0 3 )。
ブロック分割部 1 3 2 1 は、 抽出部 1 3 1 によって抽出されたフィル 厶グレイ ン成分を、 例えば 1 6 X 1 6 ®素等のマクロブロックに分割す る （ステップ S 1 0 4 )。 次に、 分散計算部 1 3 2 2は、 ブロック分割部 1 3 2 1 で分割されたマクロブロック毎の分散値を算出する （ステップ S 1 0 5 )。 ヒス 卜グラム生成部 1 3 2 3は、分散計算部 1 3 2 2で算出 された分散値のヒス トグラムを生成し、 ヒス トグラムの頻度がピークと なる分散値を有しているマクロブロックがどれであるかをブロック選択 部 "！ 3 2 4へ通知する （ステップ S 1 0 6 )。
プロック選択部 1 3 2 4は、 ヒス トグラム生成部 1 3 2 3から通知さ れたマクロブロックの中からいずれか 1 つのマクロブロックを選択し、 そのマクロブ口ックのフィルムグレイン成分を代表パターンとして出力 する （ステップ S 1 0 7 )。 また、 ブロック選択部 1 3 2 4は、 さらに付 加情報として、 出力する代表パターンに対する、 重畳時における許可パ タ一ンまたは禁止パターンを指定し、 出力する （ステップ S 1 0 8 )。 次 に、 可変長符号化部 1 3 3は、 選択部 1 3 2によつて出力された代表パ ターンおよび付加情報を符号化する （ステップ S 1 0 9 )。符号化した代 表パターンおよび付加情報は、 符号化部 1 1 0で生成された符号列とは 別の符号列と して送る。 なお、 符号化した代表パターンおよび付加情報 を符号化部 1 1 0で生成された符号列のユーザデータ と して送ることも 可能である。
次に、 動画像復号化装置 2 0 0について説明する。
動画像復号化装置 2 0 0は、 上記にも述べたが図 3に示すように復号 化部 2 1 0、 フイルムグレイ ン生成部 2 3 0、 および合成部 2 4 0を備 えている。
図 1 1 は、 動画像復号化装置 2 0 0の復号化部 2 1 0の構成を示すブ 口ック図である。
復号化部 2 1 0は、可変長復号化部 2 1 1 、予測残差復号化部 2 1 2、 ピクチャメモリ 2 1 3、 動き補償復号化部 2 1 4、 スィッチ 2 1 5、 お よび加算演算部 2 1 6を備えている。
可変長復号化部 2 1 1 は、入力された符号列よリ復号化モー ドの情報、 および符号化時に用いられた動きべク トルの情報等の各種データの抽出 を行う。 予測残差復号化部 2 1 2は、 入力された予測残差符号化データ の復号化を行い、 予測残差画像データを生成する。 動き補償復号化部 2 1 4は、復号化モー ドの情報、および動きべク トルの情報等に基づいて、 動き補償画像データを生成する。
加算演算部 2 1 6は、 予測残差復号化部 2 1 2より入力された予測残 差画像データと、 動き補償復号化部 2 1 4よリ入力された動き補償画像 データとを加算し、 復号化画像データを生成する。 ピクチャメモリ 2 1 3は、 生成された復号化画像データを格納する。
フィルムグレイン生成部 2 3 0は、 動画像符号化装置 1 0 0より送信 されたフィルムグレイン成分および付加情報に基づいて、 重畳パターン を生成する。以下、このフィルムグレイン生成部 2 3 0の構成について、 2つの構成例を説明する。
図 1 2は、 フィルムグレイン生成部 2 3 0の第 1 の構成例を示すプロ ック図である。
フィルムグレイン生成部 2 3 0は、 可変長復号化部 2 3 1 、 修正部 2 3 2、 修正パターン選択部 2 3 3、 および乱数発生部 2 3 4を備えてい る。
可変長復号化部 2 3 1 は、 動画像符号化装置 1 0 0で符号化されて送 信された代表パターンおよび付加情報を可変長復号化する。 乱数発生部 2 3 4は、 ランダム関数を用いて乱数を発生させることによって、 修正 部 2 3 2においてどのような修正を行うかという修正パターンを生成す る。 例えば、 修正パターンと して図 1 3 ( a ) に示すようにそのまま （修 正なし）、 図 1 3 ( b ) に示すように反転、 図 1 3 ( c ) に示すように 9 0度右に回転、 図 1 3 ( d ) に示すように反転したものを 9 0度右に回 転、 図 1 3 ( e ) に示すように 1 8 0度回転、 図 1 3 ( f ) に示すよう に反転したものを 1 8 0度回転、 図 1 3 ( g ) に示すように 9 0度左に 回転、 図 1 3 ( h ) に示すように反転したものを 9 0度左に回転という ようなパターンを決定する。
また、 例えば、 修正パターンと して図 1 4 ( a ) に示す領域 5 0の代 表パターンを図 1 4 ( b ) に示すように左にシフ 卜させ、 領域 5 0から はみ出た領域 5 1 を、 図 1 4 ( c ) に示すように空いた領域 5 2に移動 させるというようにパターンを決定することもできる。 この場合、 乱数 を発生させることによって、 シフ ト量を決定すればよい。
修正パターン選択部 2 3 3は、 付加情報と して禁止パターンが指定さ れていれば、 乱数発生部 2 3 4から通知された修正パターンの中で禁止 パターンを除いた修正パターンを修正部 2 3 2へ通知する。 一方、 付加 情報と して許可パターンが指定されていれば、 修正パターン選択部 2 3 3は、 乱数発生部 2 3 4から通知された修正パターンの中で許可パター ンだけを修正部 2 3 2へ通知する。 また、 付加情報として許可パターン および禁止バターンが指定されていなければ、 乱数発生部 2 3 4から通 知されたすベての修正パターンを修正部 2 3 2へ通知する。
修正部 2 3 2は、 修正パターン選択部 2 3 3から通知された修正バタ —ンにより、 復号化された代表パターンを修正して重畳パターンを生成 する。
図 1 5は、 フイルムグレイ ン生成部 2 3 0の第 2の構成例を示すプロ ック図である。
フィルムグレイ ン生成部 2 3 0は、 可変長復号化部 2 3 1 、 修正部 2 3 2、 および修正パターン保持部 2 3 6を備えている。 なお、 可変長復 号化部 2 3 1 、 および修正部 2 3 2は、 図 1 2に示した場合と同様であ る。
修正パターン保持部 2 3 6は、 あらかじめ設定された修正パターンを 保持している。 この修正パターンとしては、 例えば図 1 3に示した例で あれば修正パターンおよび修正パターンの順序を保持する。 また、 例え ば図 1 4に示した例であればシフ ト量およびそのシフ ト量を行う順序を 保持する。
合成部 2 4 0は、復号化部 2 1 0から出力された復号化画像データと、 フィルムグレイン生成部 2 3 0から出力された重畳パターンとを図 1 6 に示すように合成する。
次に、 上記のように構成された動画像復号化装置の動作について説明 する。 ここでは、 フィルムグレイン生成部 2 3 0が第 1 の構成例である 場合について説明する。 図 1 7は、 この場合の動画像復号化装置の動作 を示すフローチャートである。
まず、 復号化部 2 1 0は、 動画像符号化装置 1 0 0から送信された符 号列を復号化する （ステップ S 2 0 1 )。 また、 フィル厶グレイン生成部 2 3 0の可変長復号化部 2 3 1 は、 動画像符号化装置 1 0 0で符号化さ れて送信された代表パターンおよび付加情報を可変長復号化する （ス亍 ップ S 2 0 2 )。 次に、 乱数発生部 2 3 4は、 乱数を発生させることによ つて、 修正パターンを生成する （ステップ S 2 0 3 )。
修正パターン選択部 2 3 3は、 付加情報と して禁止パターンが指定さ れているか否かを判定する （ステップ S 2 0 4 )。 この判定の結果、 禁止 パターンが指定されていれば、 乱数発生部 2 3 4から通知された修正パ ターンの中で禁止されたパターンを除いた修正パターンを修正部 2 3 2 へ通知する （ステップ S 2 0 5 )。 一方、 禁止パターンが指定されていな ければ、 乱数発生部 2 3 4から通知されたすベての修正パターンを修正 部 2 3 2へ通知する。 修正部 2 3 2は、 修正パターン選択部 2 3 3から 通知された修正パターンにより、 復号化された代表パターンを修正して 重畳パターンを生成する （ステップ S 2 0 6 )。
合成部 2 4 0は、復号化部 2 1 0から出力された復号化画像データと、 フィルムグレイ ン生成部 2 3 0から出力された重畳パターンとを合成す る （ステップ S 2 0 7 )。
以上のように、 動画像符号化装置 1 0 0において、 入力画像を符号化 した符号列とは別に、 少なく とも 1 つのマクロブロックのフィルムグレ イン成分を代表パターンと して符号化して送信し、 動画像復号化装置 2 0 0において、 符号列を復号化した復号化画像データに、 代表パターン に基づいて生成した重畳パターンを重畳しているので、 入力画像を低ビ ッ トレートで符号化した場合あっても、 フィルムグレインを甦らせて再 現性を向上することができる。 また、 送信する代表パターンの数が少な いため、 付加情報量が少なくなる。 さらに、 代表パターンを乱数を用い て様々な方法で変形することにより、 視覚上で違和感のないフィルムグ レイン成分を生成することができる。
なお、 乱数発生部 2 3 4は、 例えば復号化対象ピクチャのピクチャ番 号や時間情報を復号化部 2 1 0から取得し、 ランダム関数の初期値（種） として用いる構成と しても構わない。 この場合、 再生ごとに同じピクチ ャに対してランダム関数の初期値 （種） が同じであるので、 乱数発生パ ターンが同じになる。 これによつて、 再生ごとに同じ重畳パターンを生 成されるので、 復号化画像データに重畳される重畳パターンが再生ごと に変わるということを防止することができる。
(実施の形態 2 )
本実施の形態では、 代表パターンを別に符号化するのではなく、 符号 化対象ピクチャの中で一部のマクロブロックだけを高画質に符号化する 場合について説明する。
図 1 8は、 本発明の実施の形態 2に係る動画像符号化装置の符号化部 1 4 0およびフィルムグレイン符号化部 1 5 0の構成を示すブロック図 である。 なお、 実施の形態 1 と同様の部分については、 同じ符号を付し 説明を省略する。
本実施の形態では、 符号化部 1 4 0の制御部 1 4 1 と、 フィルムグレ ィン符号化部 1 5 0の選択部 1 5 1 および可変長符号化部 1 5 2との動 作が、 実施の形態 1 とは相違する。
フィルムグレイ ン符号化部 1 5 0の選択部 1 5 1 は、 実施の形態 1 と 同様に選択したマクロブ口ックの位置情報を、 可変長符号化部 1 5 2お よび符号化部 1 4 0の制御部 1 4 1 へ通知する。 可変長符号化部 1 5 2 は、 選択されたマクロブロックの位置情報を可変長符号化する。
制御部 1 4 1 は、 通知された位置情報により特定されたマクロブロッ クを、 符号化対象ピクチャの他のブロックより量子化パラメータを低く 設定 （例えば量子化パラメータを 0 ) して、 または所定の量子化パラメ 一夕（例えば最小の量子化パラメータ）を用いて再度符号化するように、 予測残差符号化部 1 1 2へ指示する。 予測残差符号化部 1 1 2は、 指示 された量子化パラメータを用いて符号化処理を行い、 符号化データを生 成する。
これによつて、 符号化対象ピクチャの中で位置情報によリ特定された マクロブロックだけが高画質に符号化され、 フィルムグレインを損なわ ずに符号化されたことになる。
図 1 9は本発明の実施の形態 2に係る動画像復号化装置の復号化部 2 5 0の構成を示すブロック図であり、 図 2 0はフィルムグレイン生成部 2 6 0の第 1 の構成例を示すブロック図であり、 図 2 1 はフイルムグレ イン生成部 2 6 0の第 2の構成例を示すブロック図である。 なお、 実施 の形態 1 と同様の部分については、 同じ符号を付し説明を省略する。 本実施の形態では、 復号化部 2 5 0の予測残差復号化部 2 1 2で生成 された予測残差符号化データがフィルムグレイン生成部 2 6 0にも入力 される。
フィル厶グレイン生成部 2 6 0は、 実施の形態 1 の可変長復号化部 2 3 1 に替えてフィルムグレインパターン取得部 2 6 1 を備えている。 フィルムグレインパターン取得部 2 6 1 は、 動画像符号化装置から送 信された位置情報を復号化する。 また、 フィルムグレイ ンパターン取得 部 2 6 1 は、 位置情報によリ特定されたマクロブロックの予測残差符号 化データと、 そのマクロブロックが参照する他のマクロブロックとの差 分を算出し、 代表パターンとして修正部 2 3 2へ出力する。 すなわち、 位置情報により特定されたマクロブロックは高画質に符号化されている ので、 そのマクロブロックが参照する他のマクロブロックとの差分を算 出することで、 実施の形態 1 の代表パターンと同様の成分を取り出すこ とができる。
以上のように、 符号化対象ピクチャの中で一部のマクロブロックだけ を高画質に符号化し、 実施の形態 1 の代表パターンと同様の成分を取り 出すことによって、 実施の形態 1 と同様に入力画像を低ビッ トレ一卜で 符号化した場合あっても、 フィルムグレインを甦らせて再現性を向上さ せることができる。 また本実施の形態によれば、 1 つの符号列で実現す ることができるという利点も有する。
(実施の形態 3 )
上記実施の形態 1 、 2では、 フィルムグレイン成分に関して説明した が、 本実施の形態では、 高周波成分が多い部分を有する細かい画像等に 含まれる高精細成分を扱う場合について説明する。 フイルムグレイ ン成 分は高精細成分であるため、 フィルムグレイ ン成分以外の高周波成分に 対しても同様の方法を適用することができる。
図 2 2は、 本発明の実施の形態 3に係る動画像符号化方法および動画 像復号化方法を用いた動画像符号化装置および動画像復号化装置の全体 構成を示すブロック図である。
動画像符号化装置 3 0 0は、 高精細成分を主画像とは別に符号化する ための装置であり、 図 2 2に示すように符号化部 3 1 0および高精細成 分符号化部 3 3 0を備えている。 一方、 動画像復号化装置 4 0 0は、 高 精細成分を復号化画像に重畳するための装置であり、 図 2 2に示すよう に復号化部 4 1 0、 高精細成分復号化部 4 2 0、 および高精細成分重畳 部 4 3 0を備えている。
動画像符号化装置 3 0 0の符号化部 3 1 0および高精細成分符号化部 3 3 0は、 実施の形態 1 と同様の構成である。 相違する点は、 高精細成 分符号化部 3 3 0の選択部 1 3 2のブロック選択部 1 3 2 4おいて、 出 力する高精細成分である代表パターンに対する、 重畳時における重畳位 置情報およびゲイン情報を付加情報と して指定する。このゲイン情報は、 例えば代表パターンの画素値を何倍にして重畳させるかを指定するもの である。
動画像復号化装置 4 0 0の復号化部 4 1 0は、 実施の形態 1 の復号化 部 2 1 0と同様の構成である。 また、 動画像復号化装置 4 0 0の高精細 成分復号化部 4 2 0および高精細成分重畳部 4 3 0は、 実施の形態 1 の フィルムグレイ ン生成部 2 3 0および合成部 2 4 0と同様の動作を行う。 相違する点は、 復号化部 2 1 0で復号化された復号化画像データに対し て、 上記のように指定されたゲイン情報に基づいて代表パターンの画素 値を何倍かにした値を、 上記のように指定された重畳位置に重畳させる 点である。
以上のように、 位置を特定して所定の位置だけに高精細成分である代 表パターンを重畳しているので、 入力画像を低ビッ トレ一卜で符号化し た場合あっても、 高周波成分が多い部分を有する細かい画像等に含まれ る高精細成分を甦らせて再現性を向上させることができる。
(実施の形態 4 )
上記実施の形態 3では、 代表パターンを重畳させる位置情報を動画像 符号化装置から送信していたが、 本実施の形態では、 動画像復号化装置 において重畳位置を決定する場合について説明する。
図 2 3は、 本発明の実施の形態 4に係る動画像復号化装置の構成を示 すブロック図である。 本実施の形態の動画像復号化装置は、 実施の形態 3の構成に加えて重 畳位置決定部 5 2 0を備えている。
重畳位置決定部 5 2 0は、 復号化部 2 1 0で復号化された復号化画像 データに対して、 代表パターンを重畳させる重畳位置を決定する。 重畳 位置決定部 5 2 0は、 例えば離散コサイン変換 （ D C T ) により変換さ れた係数の非 0係数が 1 つでもマクロブロックの所定範囲に含まれてい れば、 高域成分があると判定し、 そのマクロブロックに対しては代表パ ターンを重畳させると決定する。 なお、 高域成分があるとの判定は、 こ れに限られるものではなく、 例えば n個以上の非 0係数がマクロブロッ クの所定範囲に含まれていれば、高域成分があると判定しても構わない。 また、 各係数の絶対値和が所定値以上であるマクロブロックを高域成分 があると判定しても構わない。
以上のように、 動画像復号化装置側で、 重畳位置を特定して所定の位 置だけに高精細成分である代表パターンを重畳しているので、 入力画像 を低ビッ トレートで符号化した場合あっても、 高周波成分が多い部分を 有する細かい画像等に含まれる高精細成分を甦らせて再現性を向上させ ることができる。 また、 重畳位置の情報を動画像符号化装置から動画像 復号化装置へ送信する必要がない。
(実施の形態 5 )
さらに、 上記実施の形態 1 で示した動画像符号化方法または動画像復 号化方法の構成を実現するためのプログラムを、 フレキシブルディスク 等の記憶媒体に記録するようにすることにより、 上記実施の形態 1 で示 した処理を、 独立したコンピュータシステムにおいて簡単に実施するこ とが可能となる。
図 2 4は、 上記実施の形態 1 の動画像符号化方法または動画像復号化 方法を格納したフレキシブルディスクを用いて、 コンピュータシステム により実施する場合の説明図である。
図 2 4 ( b ) は、 フレキシブルディスクの正面からみた外観、 断面構 造、 及びフレキシブルディスクを示し、 図 2 4 ( a ) は、 記録媒体本体 であるフレキシブルディスクの物理フォーマツ 卜の例を示している。 フ レキシブルディスク F Dはケース F内に内蔵され、 該ディスクの表面に は、 同心円状に外周からは内周に向かって複数の 卜ラック T rが形成さ れ、 各トラックは角度方向に 1 6のセクタ S eに分割されている。 従つ て、 上記プログラムを格納したフレキシブルディスクでは、 上記フレキ シブルディスク F D上に割り当てられた領域に、 上記プログラムとして の動画像符号化方法が記録されている。
また、 図 2 4 ( c ) は、 フレキシブルディスク F Dに上記プログラム の記録再生を行うための構成を示す。 上記プログラムをフレキシブルデ イスク F Dに記録する場合は、 コンピュータシステム C sから上記プロ グラムとしての動画像符号化方法または動画像復号化方法をフレキシブ ルディスク ドライブを介して書き込む。 また、 フレキシブルディスク内 のプログラムにより上記動画像符号化方法をコンピュータシステム中に 構築する場合は、 フレキシブルディスク ドライブによりプログラムをフ レキシブルディスクから読み出し、 コンピュータシステムに転送する。 なお、 上記説明では、 記録媒体としてフレキシブルディスクを用いて 説明を行ったが、光ディスクを用いても同様に行うことができる。また、 記録媒体はこれに限らず、 I Cカード、 R O Mカセッ ト等、 プログラム を記録できるものであれば同様に実施することができる。
さらにここで、 上記実施の形態で示した動画像符号化方法や動画像復 号化方法の応用例とそれを用いたシステムを説明する。
図 2 5は、 コンテンツ配信サービスを実現するコンテンツ供給システ ム ex l 0 0の全体構成を示すブロック図である。通信サ一ビスの提供ェ リアを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である基 地局 ex l 0 7 〜ex 1 1 0が設置されている。
このコ ンテンツ供給システム ex 1 0 0は、 例えば、 イ ンタ一ネッ ト ex 1 0 1 にイ ンタ一ネッ トサービスプロバイダ ex 1 0 2およぴ電話網 ex 1 0 4、 および基地局 ex 1 0 7 〜ex 1 1 0 を介して、 コ ンピュータ ex 1 1 1 、 P D A ( persona I digital assistant) ex 1 1 2、 カメ ラ ex 1 1 3、 携帯電話 ex 1 1 4、 カメ ラ付きの携帯電話 e x 1 1 5などの各機 器が接続される。
しかし、 コ ンテンツ供給システム ex 1 0 0は図 2 5のような組合せに 限定されず、いずれかを組み合わせて接続するよ うにしてもよい。また、 固定無線局である基地局 ex 1 0 7 〜ex 1 1 0を介さずに、 各機器が電話 網 ex 1 0 4に直接接続されてもよい。
カメ ラ ex l 1 3 はデジタルビデオカメ ラ等の動画撮影が可能な機器 である。 また、 携帯電話は、 P D C (Personal Digital Communications) 方式、 C D M A (Code Division Multiple Access) 方式、 W— C D M A (Wideband-Code Di ision Multiple Access) 方式、 若 し く は G S M (Global System for Mobi le Communications) 方式の携帯電話機、 また は P H S (Persona I Handyphone System) 等であり、 し、ずれでも構わな い。
また、 ス ト リ一ミ ングサーバ ex 1 0 3は、 カメ ラ ex 1 1 3から基地局 ex 1 0 9、 電話網 ex 1 0 4を通じて接続されており、 カメ ラ ex 1 1 3 を 用いてユーザが送信する符号化処理されたデータに基づいたライブ配信 等が可能になる。 撮影したデータの符号化処理は力メ ラ ex 1 1 3で行つ ても、 データの送信処理をするサーバ等で行ってもよい。 また、 カメラ ex 1 1 6で撮影した動画データはコ ンピュータ ex 1 1 1 を介してス ト リ一ミ ングサーバ ex 1 0 3に送信されてもよい。カメ ラ ex 1 1 6はデジ タルカメ ラ等の静止画、 動画が撮影可能な機器である。 この場合、 動画 データの符号化は力メ ラ ex 1 1 6で行ってもコ ンピュータ ex 1 1 1 で 行ってもどちらでもよい。 また、 符号化処理はコ ンピュータ ex l 1 1 や カメ ラ ex l 1 6が有する L S I ex 1 1 7において処理することになる。 なお、 動画像符号化 . 復号化用のソフ トウエアをコンピュータ ex l 1 1 等で読み取リ可能な記録媒体である何らかの蓄積メディア （ C D— R O M、 フ レキシブルディスク、ハー ドディスクなど） に組み込んでもよい。 さ らに、 カメラ付きの携帯電話 ex 1 1 5で動画データ を送信してもよい。 このときの動画データは携帯電話 ex l 1 5が有する L S I で符号化処 理されたデータである。
このコンテンツ供給システム ex 1 0 0では、ユーザがカメラ ex l 1 3、 カメ ラ ex 1 1 6等で撮影しているコ ンテンツ （例えば、 音楽ライブを撮 影した映像等） を上記実施の形態同様に符号化処理してス ト リーミ ング サーバ ex 1 0 3に送信する一方で、ス トリ一ミ ングサーバ ex l 0 3は要 求のあったクライアン 卜に対して上記コ ンテンツデータをス ト リ一ム配 信する。 クライアン トと しては、 上記符号化処理されたデータ を復号化 することが可能な、 コンピュータ ex l 1 1 、 P D A ex 1 1 2、 カメラ ex 1 1 3、 携帯電話 ex l 1 4等がある。 このよ うにすることでコ ンテンツ 供給システム ex 1 0 0は、 符号化されたデータ をクライアン トにおいて 受信して再生することができ、 さ らにクライアン トにおいてリアルタイ ムで受信して復号化し、 再生することによ り、 個人放送をも実現可能に なるシステムである。
このシステムを構成する各機器の符号化、 復号化には上記各実施の形 態で示した動画像符号化装置あるいは動画像復号化装置を用いるように すればよい。
その一例と して携帯電話について説明する。 図 2 6は、 上記実施の形態で説明した動画像符号化方法と動画像復号 化方法を用いた携帯電話 ex 1 1 5を示す図である。携帯電話 ex 1 1 5は、 基地局 ex 1 1 0との間で電波を送受信するためのアンテナ ex 2 0 1 、C C Dカメラ等の映像、 静止画を撮ることが可能なカメラ部 ex 2 0 3、 力 メラ部 ex2 0 3で撮影した映像、アンテナ ex2 0 1 で受信した映像等が 復号化されたデータを表示する液晶ディスプレイ等の表示部 ex 2 0 2、 操作キー e X 2 0 4群から構成される本体部、 音声出力をするためのス ピ一力等の音声出力部 ex2 0 8、音声入力をするためのマイク等の音声 入力部 ex2 0 5、 撮影した動画もしくは静止画のデータ、 受信したメー ルのデータ、 動画のデータもしくは静止画のデータ等、 符号化されたデ ータまたは復号化されたデータを保存するための記録メディア ex 2 0
7、携帯電話 ex 1 1 5に記録メディア ex 2 0 7を装着可能とするための スロッ ト部 ex 2 0 6を有している。記録メディア ex 2 0 7は S Dカード 等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メ モリである E E P R O M(Electrical ly Erasable and Programmab I e Read Only Memory) の一種であるフラッシュメモリ素子を格納したものである。
さらに、 携帯電話 ex l 1 5について図 2 7を用いて説明する。 携帯電 話 ex 1 1 5は表示部 ex2 0 2及び操作キー e x 2 0 4を備えた本体部 の各部を統括的に制御するようになされた主制御部 ex 3 1 1 に対して、 電源回路部 ex 3 1 0、 操作入力制御部 ex 3 0 4、 画像符号化部 ex 3 1 2、 カメ ライ ンタ一フエ一ス部 ex 3 0 3、 L C D (Liquid Crystal Display) 制御部 ex 3 0 2、 画像復号化部 ex 3 0 9、 多重分離部 ex 3 0
8、 記録再生部 ex 3 0 7、 変復調回路部 ex 3 0 6及び音声処理部 ex 3 0 5が同期バス ex 3 1 3を介して互いに接続されている。
電源回路部 ex 3 1 0は、ュ一ザの操作により終話及び電源キーがオン 状態にされると、 バッテリパックから各部に対して電力を供給すること によ リカメ ラ付ディ ジタル携帯電話 ex 1 1 5を動作可能な状態に起動 する。
携帯電話 exl 1 5は、 C P U、 R OM及び R AM等でなる主制御部 ex 3 1 1 の制御に基づいて、 音声通話モー ド時に音声入力部 ex 2 0 5で集 音した音声信号を音声処理部 ex3 0 5によってディ ジタル音声データ に変換し、 これを変復調回路部 ex 3 0 6でスぺク トラム拡散処理し、 送 受信回路部 ex 3 0 1 でディ ジタルアナログ変換処理及び周波数変換処 理を施した後にアンテナ ex 20 1 を介して送信する。また携帯電話機 ex 1 1 5は、 音声通話モー ド時にアンテナ ex 2 0 1 で受信した受信データ を増幅して周波数変換処理及びアナログディ ジタル変換処理を施し、 変 復調回路部 ex 3 0 6でスペク トラム逆拡散処理し、音声処理部 ex 30 5 によってアナログ音声データに変換した後、 これを音声出力部 ex 20 8 を介して出力する。
さ らに、 データ通信モー ド時に電子メールを送信する場合、 本体部の 操作キ一 e X 2 0 4の操作によって入力された電子メールのテキス トデ ータは操作入力制御部 ex3 0 4を介して主制御部 ex3 1 1 に送出され る。 主制御部 ex 3 1 1 は、 テキス トデータ を変復調回路部 ex 3 0 6でス ぺク トラム拡散処理し、 送受信回路部 ex 3 0 1 でディ ジタルアナログ変 換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して基 地局 ex 1 1 0へ送信する。
データ通信モー ド時に画像データ を送信する場合、 カメ ラ部 ex 2 03 で撮像された画像データ をカメ ライ ンタ一フェース部 ex3 0 3を介し て画像符号化部 ex 3 1 2に供給する。 また、 画像データ を送信しない場 合には、 カメ ラ部 ex 2 0 3で撮像した画像データ をカメ ライ ンタ一フエ —ス部 ex3 0 3及び L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に 直接表示することも可能である。 画像符号化部 ex 3 1 2は、本願発明で説明した動画像符号化装置を備 えた構成であリ、 カメラ部 ex2 0 3から供給された画像データを上記実 施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符 号化することにより符号化画像データに変換し、 これを多重分離部 ex 3 0 8に送出する。 また、 このとき同時に携帯電話機 ex 1 1 5は、 カメラ 部 ex2 0 3で撮像中に音声入力部 ex2 0 5で集音した音声を音声処理 部 ex3 0 5を介してディジタルの音声データと して多重分離部 ex3 0 8に送出する。
多重分離部 ex3 08は、画像符号化部 ex 3 1 2から供給された符号化 画像データと音声処理部 ex3 0 5から供給された音声データ とを所定 の方式で多重化し、その結果得られる多重化データを変復調回路部 ex 3 0 6でスペク トラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルァ ナログ変換処理及び周波数変換処理を施した後にアンテナ ex2 0 1 を 介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイル のデータを受信する場合、アンテナ ex 2 0 1 を介して基地局 exl 1 0か ら受信した受信データを変復調回路部 ex 3 0 6でスぺク トラム逆拡散 処理し、 その結果得られる多重化データを多重分離部 ex 3 0 8に送出す る。
また、 アンテナ ex 20 1 を介して受信された多重化データを復号化す るには、 多重分離部 ex3 0 8は、 多重化データを分離することによリ画 像データのビッ トス トリ一厶と音声データのビッ トス トリ一厶とに分け、 同期バス ex3 1 3を介して当該符号化画像データを画像復号化部 ex3 0 9に供給すると共に当該音声データを音声処理部 ex 3 0 5に供給す る。
次に、 画像復号化部 ex3 0 9は、 本願発明で説明した動画像復号化装 置を備えた構成であリ、 画像データのビッ トス トリ一ムを上記実施の形 態で示した符号化方法に対応した復号化方法で復号化することによリ再 生動画像データを生成し、 これを L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に供給し、 これにより、 例えばホームページにリンクされた動 画像ファイルに含まれる動画データが表示される。 このとき同時に音声 処理部 ex 3 0 5は、 音声データをアナログ音声データに変換した後、 こ れを音声出力部 ex 2 0 8に供給し、 これにより、 例えばホームページに リンクされた動画像ファイルに含まる音声データが再生される。
なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディ ジタル放送が話題となっており、 図 2 8に示すようにディジタル放送用 システムにも上記実施の形態の少なく とも動画像符号化装置または動画 像復号化装置のいずれかを組み込むことができる。 具体的には、 放送局 ex 4 0 9では映像情報のビッ トス トリームが電波を介して通信または放 送衛星 ex 4 1 0に伝送される。 これを受けた放送衛星 ex 4 1 0は、放送 用の電波を発信し、 この電波を衛星放送受信設備をもつ家庭のアンテナ ex 4 0 6で受信し、 テレビ （受信機） ex 4 0 1 またはセッ ト トップポッ クス （ S T B ) ex 4 0 7などの装置によリ ビッ トス ト JJ—ムを復号化し てこれを再生する。 また、 記録媒体である CD や DVD 等の蓄積メディア ex 4 0 2に記録したビッ トス トリ一ムを読み取リ、 復号化する再生装置 ex 4 0 3にも上記実施の形態で示した動画像復号化装置を実装すること が可能である。 この場合、 再生された映像信号はモニタ ex 4 0 4に表示 される。 また、 ケーブルテレビ用のケーブル ex 4 0 5または衛星 地上 波放送のアンテナ ex 4 0 6に接続されたセッ ト トップボックス ex 4 0 7内に動画像復号化装置を実装し、 これをテレビのモニタ ex 4 0 8で再 生する構成も考えられる。 このときセッ ト トップボックスではなく、 亍 レビ内に動画像復号化装置を組み込んでも良い。 また、 アンテナ ex 4 1 1 を有する車 ex 4 1 2で衛星 ex 4 1 0からまたは基地局 ex 1 0 7等か ら信号を受信し、車 ex 4 1 2が有する力一ナビゲ一シヨ ン ex 4 1 3等の 表示装置に動画を再生することも可能である。
更に、 画像信号を上記実施の形態で示した動画像符号化装置で符号化 し、 記録媒体に記録することもできる。 具体例と しては、 DVD ディスク e X 4 2 1 に画像信号を記録する DVD レコーダや、 ハ一ドディスクに記 録するディスク レコーダなどのレコーダ e X 4 2 0がある。 更に SD力一 ド e X 4 2 2に記録することもできる。 レコーダ e x 4 2 0が上記実施 の形態で示した動画像復号化装置を備えていれば、 DVD ディスク e x 4 2 1 や SDカード e x 4 2 2に記録した画像信号を再生し、モニタ e x 4 0 8で表示することができる。
なお、 力一ナビゲ一シヨン ex 4 1 3の構成は例えば図 2 7に示す構成 のうち、 カメラ部 ex 2 0 3とカメラインタ一フェース部 ex 3 0 3、画像 符号化部 e X 3 1 2を除いた構成が考えられ、 同様なことがコンピュー タ ex l 1 1 やテレビ （受信機） ex 4 0 1 等でも考えられる。
また、 上記携帯電話 ex l 1 4等の端末は、 符号化器 '復号化器を両方 持つ送受信型の端末の他に、 符号化器のみの送信端末、 復号化器のみの 受信端末の 3通りの実装形式が考えられる。
このように、 上記実施の形態で示した動画像符号化方法あるいは動画 像復号化方法を上述したいずれの機器 ■ システムに用いることは可能で あり、 そうすることで、 上記実施の形態で説明した効果を得ることがで きる。
また、 本発明はかかる上記実施形態に限定されるものではなく、 本発 明の範囲を逸脱することなく種々の変形または修正が可能である。
なお、 各実施形態の各機能ブロックは典型的には集積回路である LSI と して実現される。 これらは個別に 1 チップ化されても良いし、 一部又 は全てを含むように 1 チップ化されても良い。 (例えばメ モ リ以外の機能 ブロックが 1 チップ化されていても良い。）
ここでは、 LSI と したが、 集積度の違いにより、 I C、 システム L S
I 、 スーパ一 L S I 、 ウルトラ L S I と呼称されることもある。
また、 集積回路化の手法は LSI に限るものではなく 、 専用回路又は汎 用プロセサで実現してもよい。 L S I 製造後に、 プログラムすることが 可能な F P G A (Field Programmable Gate Array) や、 L S I 内部の回 路セルの接続や設定を再構成可能なリコンフィギユラブル ' プロセッサ
― を利用しても良い。
さらには、 半導体技術の進歩又は派生する別技術により LSIに置き換 わる集積回路化の技術が登場すれば、 当然、 その技術を用いて機能プロ ックの集積化を行ってもよい。 バイオ技術の適応等が可能性としてあり える。
また、 各機能ブロックのうち、 符号化または復号化の対象となる画像 デ一タを格納する手段 （ピクチャメモリ） は 1 チップ化せずに別構成と しても良い。
産業上の利用可能性
以上のように、'本発明に係る動画像符号化方法および動画像復号化方 法は、 例えば携帯電話、 D V D装置、 およびパーソナルコンピュータ等 で、 動画像を構成する各ピクチャを符号化して符号列を生成したり、 生 成された符号列を復号化したりするための方法と して有用である。

Claims

請 求 の 範 囲
1 . 動画像を構成する各ピクチャをブロック単位で符号化する動画像符 号化方法であって、
符号化対象ピクチャを符号化する第 1 符号化ステップと、
前記符号化対象ピクチヤから高精細成分を抽出する抽出ステップと、 前記抽出ステツプによリ抽出された前記高精細成分から少なく とも 1 ブロック分の前記高精細成分を選択する選択ステップと
を含むことを特徴とする動画像符号化方法。
2 . 前記動画像符号化方法は、 さらに、
前記選択ステップによリ選択された少なく とも 1 プロック分の前記高 精細成分を符号化する第 2符号化ステップを含む
ことを特徴とする請求の範囲 1 記載の動画像符号化方法。
3 . 前記第 2符号化ステップでは、 前記高精細成分の値を符号化する ことを特徴とする請求の範囲 2記載の動画像符号化方法。
4 . 前記第 2符号化ステップでは、 前記高精細成分を、 空間周波数成分 を示す係数に変換して符号化する
ことを特徴とする請求の範囲 2記載の動画像符号化方法。
5 . 前記第 1 符号化ステップでは、 前記選択ステップにより選択された 少な〈 とも 1 ブロックを、 前記符号化対象ピクチャの他のプロックより 量子化パラメ一タを低く設定して、 または所定の量子化パラメータを用 いて、 再度符号化する
ことを特徴とする請求の範囲 1 記載の動画像符号化方法。
6 . 前記抽出ステップでは、 前記符号化対象ピクチャと、 前記符号化対 象ピクチャが符号化された後に復号化された復号化済みピクチャとの差 分を算出することにより、 前記高精細成分を抽出する
ことを特徴とする請求の範囲 1 記載の動画像符号化方法。
7 . 前記選択ステップでは、 前記符号化対象ピクチャ毎に少なく とも 1 ブロック分の前記高精細成分を選択する
ことを特徴とする請求の範囲 1 記載の動画像符号化方法。
8 . 前記選択ステップでは、 前記抽出ステップにより抽出された前記高 精細成分についてプロック毎の分散値を算出し、 算出した分散値に基づ いて、 少なく とも 1 ブロック分の前記高精細成分を選択する
ことを特徴とする請求の範囲 1 記載の動画像符号化方法。
9 . 前記選択ステップでは、 算出した前記分散値のヒス トグラムの頻度 がピークとなる分散値を有するプロックの前記高精細成分を選択する ことを特徴とする請求の範囲 8記載の動画像符号化方法。
1 0 . 前記選択ステップでは、 算出した前記分散値が所定の分散値であ るブロックの前記高精細成分を選択する
ことを特徴とする請求の範囲 8記載の動画像符号化方法。
1 1 . 前記選択ステップでは、 前記抽出ステップにより抽出された前記 高精細成分について、 ブロック中の画素位置毎に中央値を算出し、 算出 した中央値を 1 プロック分の前記高精細成分と して選択する ことを特徴とする請求の範囲 1 記載の動画像符号化方法。
1 2 . 前記選択ステップでは、 選択した前記高精細成分に対して付加情 報を付与する
ことを特徴とする請求の範囲 1 記載の動画像符号化方法。
1 3 . 前記選択ステップでは、 前記付加情報と して、 選択した前記高精 細成分に対する、 重畳時における許可または禁止するパターンをピクチ ャ毎に指定する
ことを特徴とする請求の範囲 1 2記載の動画像符号化方法。
1 4 . 前記選択ステップでは、 前記付加情報として、 選択した前記高精 細成分に対する、 重畳時における許可または禁止するパターンを前記高 精細成分毎に指定する
ことを特徴とする請求の範囲 1 2記載の動画像符号化方法。
1 5 . 前記選択ステップでは、 前記付加情報と して、 選択した前記高精 細成分に対する、 重畳時における重畳位置を指定する
ことを特徴とする請求の範囲 1 2記載の動画像符号化方法。
1 6 . 前記選択ステップでは、 前記付加情報と して、 選択した前記高精 細成分に対する、 重畳時におけるゲインを指定する
ことを特徴とする請求の範囲 1 2記載の動画像符号化方法。
1 7 . 動画像を構成する各ピクチャがブロック単位で符号化された符号 列を復号化する動画像復号化方法であつて、 前記符号列を復号化して復号化画像データを生成する第 1復号化ス亍 ップと、
少なく とも 1 プロック分の高精細成分を取得する取得ステップと、 前記取得ステツプによリ取得された少なく とも 1 プロック分の前記高 精細成分を前記復号化画像データに重畳する重畳ステップと
を含むことを特徴とする動画像復号化方法。
1 8 . 前記動画像復号化方法は、 さらに、
前記取得ステツプにより取得された少なく とも 1 プロック分の前記高 精細成分を修正する修正ステップを含み、
前記重畳ステップでは、 修正ステップにより修正された前記高精細成 分を前記復号化画像データに重畳する
ことを特徴とする請求の範囲 1 7記載の動画像復号化方法。
1 9 . 前記動画像復号化方法は、 さらに、
前記取得ステツプによリ取得された少なく とも 1 プロック分の前記高 精細成分をどのように修正するかを示す修正パターンを作成するパター ン作成ステップを含み、
前記修正ステップでは、 前記高精細成分を修正パターンに基づいて修 正する
ことを特徴とする請求の範囲 1 8記載の動画像復号化方法。
2 0 . 前記パターン作成ステップでは、 回転、 反転、 レベル変化、 およ び位置シフ 卜の少なく とも 1 つの修正パターンを作成する
ことを特徴とする請求の範囲 1 9記載の動画像復号化方法。
2 1 . 前記パターン作成ステップでは、 前記修正パターンをランダム関 数に基づいて、 ランダムに作成する
ことを特徴とする請求の範囲 1 9記載の動画像復号化方法。
2 2 . 前記パターン作成ステップでは、 前記ランダム関数の初期値を一 定と して前記修正パターンを作成する
ことを特徴とする請求の範囲 2 1記載の動画像復号化方法。
2 3 . 前記パターン作成ステップでは、 前記ランダム関数の初期値を前 記符号列より取得する
ことを特徴とする請求の範囲 2 1 記載の動画像復号化方法。
2 4 . 前記取得ステップは、 さらに初期値情報を取得し、
前記パターン作成ステツプでは、 前記取得ステツプによリ取得された 前記初期値情報を前記ランダム関数の初期値と して前記修正パターンを 作成する
ことを特徴とする請求の範囲 2 1記載の動画像復号化方法。
2 5 . 前記パターン作成ステップでは、 あらかじめ所定の前記修正パタ ーンと前記修正パターンの順序を保持する
ことを特徴とする請求の範囲 1 9記載の動画像復号化方法。
2 6 . 前記取得ステップでは、 さらに禁止パターンを取得し、
前記修正ステップでは、 前記修正パターンの中から前記禁止パターン を除いた修正パターンに基づいて、 前記高精細成分を修正する
ことを特徴とする請求の範囲 1 9記載の動画像復号化方法。
2 7 . 前記動画像復号化方法は、 さらに、
重畳位置を取得する重畳位置取得ステップを含み、
前記重畳ステップでは、 前記復号化画像データに対して前記重畳位置 取得ステツプによリ取得された重畳位置に前記高精細成分を重畳する ことを特徴とする請求の範囲 1 7記載の動画像復号化方法。
2 8 . 前記重畳位置取得ステップでは、 前記符号列に基づいて前記重畳 位置を取得する
ことを特徴とする請求の範囲 2 7記載の動画像復号化方法。
2 9 . 動画像を構成する各ピクチャをブロック単位で符号化する動画像 符号化装置であって、
符号化対象ピクチャを符号化する第 1 符号化手段と、
前記符号化対象ピクチヤから高精細成分を抽出する抽出手段と、 前記抽出手段によリ抽出された前記高精細成分から少なく とも 1 プロ ック分の前記高精細成分を選択する選択手段と
を備えることを特徴とする動画像符号化装置。
3 0 . 動画像を構成する各ピクチャがブロック単位で符号化された符号 列を復号化する動画像復号化装置であって、
前記符号列を復号化して復号化画像データを生成する第 1 復号化手段 少なく とも 1 プロック分の高精細成分を取得する取得手段と、 前記取得手段によリ取得された少なく とも 1 プロック分の前記高精細 成分を前記復号化画像データに重畳する重畳手段と を備えることを特徴とする動画像復号化装置。
3 1 . 動画像を構成する各ピクチャをブロック単位で符号化するための プログラムであって、
符号化対象ピクチャを符号化する第 1 符号化ステップと、
前記符号化対象ピクチヤから高精細成分を抽出する抽出ステップと、 前記抽出ステツプによリ抽出された前記高精細成分から少なく とも 1 プロック分の前記高精細成分を選択する選択ステップと
をコンピュータに実行させることを特徴とするプログラム。
3 2 . 動画像を構成する各ピクチャがブロック単位で符号化された符号 列を復号化するためのプログラムであって、
前記符号列を復号化して復号化画像データを生成する第 1 復号化ステ ップと、
少なく とも 1 ブロック分の高精細成分を取得する取得ステップと、 前記取得ステップによリ取得された少なく とも 1 プロック分の前記高 精細成分を前記復号化画像データに重畳する重畳ステップと
をコンピュータに実行させることを特徴とするプログラム。
3 3 . 動画像を構成する各ピクチャをブロック単位で符号化するための 集積回路であって、
符号化対象ピクチャを符号化する第 1 符号化手段と、
前記符号化対象ピクチヤから高精細成分を抽出する抽出手段と、' 前記抽出手段によリ抽出された前記高精細成分から少なく とも 1 プロ ック分の前記高精細成分を選択する選択手段と
を備えることを特徴とする集積回路。
3 4 . 動画像を構成する各ピクチャがブロック単位で符号化された符号 列を復号化するための集積回路であって、
前記符号列を復号化して復号化画像データを生成する第 1 復号化手段 と、
少なく とも 1 プロック分の高精細成分を取得する取得手段と、 前記取得手段によリ取得された少なく とも 1 プロック分の前記高精細 成分を前記復号化画像データに重畳する重畳手段と
を備えることを特徴とする集積回路。
3 5 . 符号化ス トリームであって、
動画像を構成する各ピクチャがブロック単位で符号化された符号列か ら復号化された復号化画像データに重畳するための少なく とも 1 ブロッ ク分の高精細成分を含む
ことを特徴とする符号化ス ト リーム。
PCT/JP2004/012765 2003-09-01 2004-08-27 動画像符号化方法および動画像復号化方法 WO2005022921A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/546,387 US20060256853A1 (en) 2003-09-01 2004-08-27 Moving picture encoding method and moving picture decoding method
EP04772714A EP1662802A1 (en) 2003-09-01 2004-08-27 Moving picture encoding method and moving picture decoding method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP03019872.5 2003-09-01
EP03019871.7 2003-09-01
EP03019872A EP1511320A1 (en) 2003-09-01 2003-09-01 Film grain encoding
EP03019871A EP1511319A1 (en) 2003-09-01 2003-09-01 Film Grain Extraction Filter

Publications (1)

Publication Number Publication Date
WO2005022921A1 true WO2005022921A1 (ja) 2005-03-10

Family

ID=34276725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/012765 WO2005022921A1 (ja) 2003-09-01 2004-08-27 動画像符号化方法および動画像復号化方法

Country Status (4)

Country Link
US (1) US20060256853A1 (ja)
EP (1) EP1662802A1 (ja)
JP (1) JP2005080301A (ja)
WO (1) WO2005022921A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100993990B1 (ko) * 2003-09-23 2010-11-11 톰슨 라이센싱 사전계산된 샘플들의 모자이크에 의한 필름 그레인시뮬레이션 방법
RU2367020C2 (ru) * 2004-03-19 2009-09-10 Конинклейке Филипс Электроникс Н.В. Введение и выделение начального числа, связанного с телевизионным сигналом для создания псевдослучайного шума
US8150206B2 (en) * 2004-03-30 2012-04-03 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
CN101044511A (zh) 2004-10-18 2007-09-26 汤姆森特许公司 胶片颗粒模拟的方法、装置及系统
JP4543873B2 (ja) 2004-10-18 2010-09-15 ソニー株式会社 画像処理装置および処理方法
RU2378697C2 (ru) 2004-10-18 2010-01-10 Томсон Лайсенсинг Способ имитации зернистости пленки
GB0424339D0 (en) * 2004-11-03 2004-12-08 Astrazeneca Ab Combination therapy
KR101254611B1 (ko) 2004-11-12 2013-04-15 톰슨 라이센싱 비디오 재생 시스템에 대한 정상 플레이와 트릭 모드플레이에 대한 필름 그레인 시뮬레이션
WO2006055333A2 (en) 2004-11-16 2006-05-26 Thomson Licensing Film grain sei message insertion for bit-accurate simulation in a video system
KR101170584B1 (ko) 2004-11-16 2012-08-01 톰슨 라이센싱 사전계산된 변환 계수에 기반한 필름 그레인 시뮬레이션방법
PT1812905T (pt) 2004-11-17 2019-08-06 Interdigital Vc Holdings Inc Método de simulação de grãos de película com bits de precisão com base em coeficientes transformados pré-calculados
CA2587437C (en) 2004-11-22 2015-01-13 Thomson Licensing Methods, apparatus and system for film grain cache splitting for film grain simulation
WO2006057703A1 (en) 2004-11-23 2006-06-01 Thomson Licensing Low-complexity film grain simulation technique
CN101065971B (zh) * 2004-11-24 2014-01-01 汤姆森许可贸易公司 媒体重放设备中使用的胶片颗粒仿真技术
DE602006005785D1 (de) * 2005-01-12 2009-04-30 Koninkl Philips Electronics Nv Tiefenwahrnehmung
JP4914026B2 (ja) 2005-05-17 2012-04-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP4714003B2 (ja) * 2005-11-08 2011-06-29 パナソニック株式会社 撮影装置および記録方法
EP1956830A4 (en) * 2005-11-29 2010-09-29 Panasonic Corp REPRODUCTION DEVICE
US7664337B2 (en) * 2005-12-20 2010-02-16 Marvell International Ltd. Film grain generation and addition
EP2036036B1 (en) 2006-06-21 2018-10-31 Thomson Licensing Automatic film grain adjustment
US8737485B2 (en) * 2007-01-31 2014-05-27 Sony Corporation Video coding mode selection system
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
US8432975B2 (en) * 2008-01-18 2013-04-30 Mediatek Inc. Apparatus and method for processing a picture frame
US20100091085A1 (en) * 2008-10-15 2010-04-15 Sony Corporation And Sony Electronics Inc. Augmenting tv menu icon with images in front of tv
JP5282692B2 (ja) * 2009-07-27 2013-09-04 ソニー株式会社 画像符号化装置と画像符号化方法
JP5251774B2 (ja) * 2009-07-27 2013-07-31 ソニー株式会社 画像符号化装置および画像符号化方法
JP5693089B2 (ja) 2010-08-20 2015-04-01 キヤノン株式会社 画像処理装置、及び画像処理装置の制御方法
JP5595257B2 (ja) * 2010-12-24 2014-09-24 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
CA2861967A1 (en) * 2012-01-18 2013-07-25 Luca Rossato Distinct encoding and decoding of stable information and transient/stochastic information
US10674045B2 (en) * 2017-05-31 2020-06-02 Google Llc Mutual noise estimation for videos
US10839489B2 (en) * 2017-08-22 2020-11-17 Netflix, Inc. Techniques for synthesizing film grain

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1155649A (ja) * 1997-07-31 1999-02-26 Canon Inc 画像通信方法及び装置
JP2001045475A (ja) * 1999-07-27 2001-02-16 Matsushita Electric Ind Co Ltd 映像信号階層化符号化装置と映像信号階層化復号化装置及びプログラム記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1155649A (ja) * 1997-07-31 1999-02-26 Canon Inc 画像通信方法及び装置
JP2001045475A (ja) * 1999-07-27 2001-02-16 Matsushita Electric Ind Co Ltd 映像信号階層化符号化装置と映像信号階層化復号化装置及びプログラム記録媒体

Also Published As

Publication number Publication date
US20060256853A1 (en) 2006-11-16
JP2005080301A (ja) 2005-03-24
EP1662802A1 (en) 2006-05-31

Similar Documents

Publication Publication Date Title
WO2005022921A1 (ja) 動画像符号化方法および動画像復号化方法
JP4732551B2 (ja) 符号化歪除去方法
JP5138933B2 (ja) 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置、集積回路、およびプログラム
KR100995445B1 (ko) 동영상 부호화 방법 및 동영상 복호화 방법
WO2011018965A1 (ja) 画像処理装置および方法
WO2003088675A1 (en) Image encoding method and image decoding method
JPWO2006054507A1 (ja) 動画像符号化方法及び動画像復号方法
WO2011125866A1 (ja) 画像処理装置および方法
JP4641784B2 (ja) 階調変換処理装置、階調変換処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラ、集積回路および画像処理プログラム
JP4892628B2 (ja) 画像符号化方法、画像符号化装置および画像符号化プログラム
JPWO2006003873A1 (ja) 画像符号化方法および画像復号化方法
JP2007143178A (ja) 符号化歪除去方法
JP2006236317A (ja) 画像処理方法
JP4009650B2 (ja) 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム
JP2007235931A (ja) 画像復号化方法及び画像復号化装置
JP4628216B2 (ja) 画像復号化方法、画像復号化装置および画像復号化プログラム
JP4562785B6 (ja) 符号化歪除去方法
JP4105218B2 (ja) 受信装置及び送信装置
JP3769534B2 (ja) 復号化方法
JP3769534B6 (ja) 復号化方法
JP2005102159A (ja) 動画像符号化方法および動画像復号化方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006256853

Country of ref document: US

Ref document number: 10546387

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2004772714

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004772714

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10546387

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP