WO2006118288A1 - 動画像符号化方法、動画像復号化方法およびその装置 - Google Patents

動画像符号化方法、動画像復号化方法およびその装置 Download PDF

Info

Publication number
WO2006118288A1
WO2006118288A1 PCT/JP2006/309113 JP2006309113W WO2006118288A1 WO 2006118288 A1 WO2006118288 A1 WO 2006118288A1 JP 2006309113 W JP2006309113 W JP 2006309113W WO 2006118288 A1 WO2006118288 A1 WO 2006118288A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
subset
coefficients
quantization
coefficient
Prior art date
Application number
PCT/JP2006/309113
Other languages
English (en)
French (fr)
Inventor
Bernhard Schuur
Thomas Wedi
Satoshi Kondo
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP05009718A external-priority patent/EP1720356A1/en
Priority claimed from EP05021038A external-priority patent/EP1768415A1/en
Priority claimed from EP05021074A external-priority patent/EP1768416A1/en
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2007514857A priority Critical patent/JPWO2006118288A1/ja
Priority to EP06745964A priority patent/EP1879401A4/en
Priority to US11/913,389 priority patent/US20090028239A1/en
Publication of WO2006118288A1 publication Critical patent/WO2006118288A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Definitions

  • the present invention relates to encoding for compressing moving image data, and particularly relates to a moving image encoding method, a moving image decoding method, and an apparatus thereof that realize particularly high encoding efficiency.
  • Moving image data is widely applied to video telephones, video conferencing power DVDs, and digital televisions.
  • a considerable amount of data is transmitted via a transmission channel having a limited usable frequency band, or a conventional recording medium having a limited data capacity. Must be stored in. Therefore, in order to transmit and store digital data on conventional channels and media, it is essential to compress or reduce the amount of digital data.
  • Non-patent Document 1 With regard to compression of moving image data, a plurality of moving image coding standards have been developed. Examples of such moving image standards include the ITU-T standard indicated by H.26x and the ISOZIEC standard indicated by MPEG-x. The latest video coding standard is the H.264 / MPEG-4 AVC standard (Non-patent Document 1).
  • Each video frame is divided into a plurality of pixel blocks in order to make each video frame a unit of data compression at the block level.
  • Each block of moving image data is also converted into a frequency domain in the spatial domain force.
  • Transforming image information from the spatial domain to the frequency domain is a typical approach of current video coding standards.
  • Image information compression is a very small amount of image content. This can be realized by expressing the wave number element. Most of the frequency components of natural image content are concentrated in the low-frequency region. Since high frequency components have little effect on the human eye, they are deleted or quantized to reduce the amount of data to be encoded.
  • This entropy code ⁇ includes a process of scanning a two-dimensional block of quantized transform coefficients in order to transform a two-dimensional quantized transform coefficient block into a one-dimensional sequence.
  • a predetermined scanning method such as zigzag scanning is used. This scan starts with the lowest frequency coefficient (ie DC coefficient) and ends at the same time all non-zero coefficients of the block have been scanned.
  • One problem with such a scanning method is that many zero coefficients must be scanned before the last non-zero coefficient is reached.
  • the one-dimensional sequence of quantized transform coefficients obtained in this way is expressed as a series of several sets called (run, level).
  • Each set of (run, level) is encoded into a variable length code based on, for example, a Huffman code.
  • Variable length codes are optimized to assign shorter, codewords to the most commonly used run-level sets that occur over typical video images. In this way, the entire block of quantized transform coefficients is encoded.
  • Non-Patent Document 1 ITU-T Rec.H264
  • the present invention provides a moving image encoding method that realizes a high data compression rate without deteriorating image quality. It is an object of the present invention to provide a method, a video decoding method, and an apparatus therefor.
  • the moving image encoding method orthogonally transforms a plurality of pixels constituting a block into a plurality of coefficients indicating frequencies, quantizes the plurality of coefficients
  • a video encoding method for encoding quantized coefficients wherein a plurality of frequency coefficients that are one of the plurality of coefficients before quantization and a plurality of quantized coefficients are quantized. It is characterized by selecting the quantum coefficient belonging to the subset and changing the arrangement of the subset in the block. According to this configuration, first, a high data compression rate can be realized by selecting quantization coefficients belonging to the subset and encoding the selected quantization coefficients into variable length codes.
  • the arrangement of the subsets in the block it is possible to prevent picture quality degradation caused by unselected quantized coefficients. If the subset is much the same over several tens of frames, the picture quality degradation due to unselected quantization coefficients will be clearly visible to the human eye.
  • frequency components other than the subset are lost in individual frames, but the frequency components that are lost in the continuous frames change with time by changing the arrangement of the subsets. Then, in consecutive frames, the lack of individual frequency components is not visible to the human eye due to the temporal integration effect of the afterimage, so image quality does not deteriorate for the human eye.
  • the arrangement of the subsets may be changed in relation to at least one of (i) to (v).
  • Each frequency coefficient and threshold Compared to this configuration, the change of the subset can be regularly simplified or appropriately performed according to the contents of the image.
  • the moving picture encoding method further includes suppressing frequency coefficients not belonging to the subset to zero, and including the selected frequency coefficient and the frequency coefficient suppressed to zero in the encoding.
  • the frequency coefficient may be encoded as a variable length code. According to this configuration, since the selected quantization coefficient and the quantization coefficient suppressed to zero are encoded into a variable length code, the decoding apparatus does not need to know the position of the subset. ⁇ You can play back moving images.
  • frequency coefficients that are not selected in the encoding may be excluded from the variable-length encoding targets. According to this configuration, since only the selected quantization coefficient is encoded into a variable-length code, it is possible to realize a higher data compression ratio than when encoding the suppressed zero, and the force is The image quality is not degraded by human eyes.
  • frequency coefficients belonging to the subset may be sequentially scanned, and in the encoding, the scanned frequency coefficients may be encoded into a variable length code.
  • the frequency coefficients belonging to the subset may be rearranged in the scanning order, and the frequency coefficients belonging to the subset may be sequentially scanned after the rearrangement. According to this configuration, it is not necessary to skip transform coefficients not included in the subset by rearrangement, and scanning is facilitated.
  • the moving image encoding method further includes embedding arrangement data for specifying an arrangement of a subset in a block in a quantization matrix, and the quantization in which the arrangement data is embedded in the encoding.
  • the matrix may be signed. According to this configuration, since the arrangement data is embedded in the quantization matrix, it is possible to notify the decoding apparatus of the arrangement of the subset without increasing the data amount (without reducing the data compression rate).
  • the moving image encoding method may further generate arrangement data specifying an arrangement of a subset in a block, and the arrangement data may be encoded in the encoding.
  • the arrangement data may include an identifier for identifying a segment corresponding to the subset among a plurality of segments constituting the block.
  • the arrangement data may be bitmap data indicating whether or not each of the frequency coefficients in the block belongs to the subset.
  • the moving picture decoding method, moving picture encoding apparatus, moving picture decoding apparatus, semiconductor device, and program of the present invention are the same as described above.
  • FIG. 1 is a block diagram showing a configuration of a moving picture coding apparatus according to Embodiment 1.
  • FIG. 2 is a block diagram showing a configuration of a video decoding device.
  • FIG. 3 is a diagram showing a frame divided into a plurality of blocks.
  • FIG. 4A is a diagram showing an example of coefficient blocks before quantization.
  • FIG. 4B is a diagram showing an example of coefficient blocks after quantization.
  • FIG. 5 is an explanatory diagram showing a state of suppression by the suppression unit.
  • FIG. 6A is a diagram showing an example of changing a subset.
  • FIG. 6B is a diagram showing an example of changing a subset.
  • FIG. 7 is a flowchart showing the operation of the moving picture encoding device.
  • FIG. 8 is a block diagram showing a configuration of a moving picture coding apparatus according to the second embodiment.
  • FIG. 9 is a block diagram showing a configuration of a moving picture decoding apparatus.
  • FIG. 10 is an explanatory diagram showing a scan of quantization coefficients.
  • FIG. 11 is an explanatory diagram showing rearrangement of quantization coefficients.
  • FIG. 12A is a diagram showing an example of a quantization matrix before arrangement data is embedded
  • FIG. 12B is a diagram showing an example of a quantization matrix after arrangement data is embedded
  • FIG. 13 is a flowchart showing the operation of the moving picture encoding device.
  • FIG. 14 is an explanatory diagram showing signaling between the moving picture coding apparatus and the moving picture decoding apparatus.
  • FIG. 15 is a flowchart showing the operation of the video decoding device.
  • FIG. 16 is a block diagram showing a configuration of a moving picture coding apparatus according to the third embodiment.
  • FIG. 17 is a block diagram showing a configuration of a video decoding device.
  • FIG. 18 is a diagram showing a flowchart showing the operation of the moving picture encoding device.
  • FIG. 19 is an explanatory diagram showing signaling between the moving picture coding apparatus and the moving picture decoding apparatus.
  • FIG. 20 is an explanatory diagram representing arrangement data by segment numbers.
  • FIG. 21A is an explanatory diagram representing arrangement data by bitmap data.
  • FIG. 21B is an explanatory diagram representing arrangement data by bitmap data.
  • FIG. 22 is a flowchart showing the operation of the video decoding device.
  • FIG. 23A is a diagram showing an example of a physical format of a flexible disk which is a recording medium body.
  • FIG. 23B is a diagram showing an appearance, a cross-sectional structure, and a flexible disc as seen from the front of the flexible disc.
  • FIG. 23C shows a configuration for recording and reproducing the above program on the flexible disk FD.
  • FIG. 24 is a block diagram showing an overall configuration of a content supply system.
  • FIG. 25 is a diagram showing a specific example of a mobile phone using an image encoding method and an image decoding method.
  • FIG. 26 is a block diagram of a mobile phone.
  • FIG. 27 is a diagram showing an example of a digital broadcasting system.
  • the moving image coding apparatus and method according to the present embodiment orthogonally transforms pixels constituting a block into a plurality of coefficients indicating frequencies, quantizes the plurality of coefficients, and a plurality of quantization coefficient forces.
  • the quantization coefficient is selected, the selected quantization coefficient is encoded into a variable-length code, and the arrangement of the subsets in the block is changed.
  • the moving picture coding apparatus and method of the present invention further suppresses quantization coefficients that do not belong to the subset to zero, and selects the selected quantization coefficient and the quantization coefficient suppressed to zero in the code ⁇ . It is characterized by encoding a quantized coefficient including a variable length code
  • the reason why the quantized coefficients belonging to the subset are selected and the selected quantized coefficients are encoded into variable-length codes is to realize a high data compression rate. Also, changing the arrangement of the subsets in the block is to prevent picture quality deterioration due to lack of unselected quantized coefficients. As a result, a high data compression rate can be realized and image quality deterioration can be prevented.
  • FIG. 1 is a block diagram showing a configuration of a moving picture coding apparatus according to Embodiment 1.
  • a moving image encoder 100 includes a subtractor 110, a transform / quantization unit 120, a suppression unit 300, an inverse quantization / inverse transform unit 130, a calorie calculator 135, a deblock filter 137, a memory 140, An intra prediction unit 150, a motion compensation prediction unit 160, a motion prediction unit 170, a switch 180, and an entropy code key unit 190 are provided.
  • the subtractor 110 obtains a difference between the block and the predicted image as a prediction residual for each block constituting the picture in the moving image (input signal) to be encoded.
  • the predicted image is input from the intra prediction unit 150 or the motion compensation prediction unit 160 to the subtractor 110 via the switch 180.
  • a block is obtained by dividing one picture (see Figure 3).
  • the block size is N X M pixels.
  • N is generally 4, 8, or 16.
  • M is the same.
  • the following processing is basically performed in units of blocks.
  • the transform / quantization unit 120 orthogonally transforms the prediction residual from the subtractor 110 and further quantizes it.
  • the prediction residual block is transformed into a coefficient block composed of a plurality of coefficients indicating frequencies (see FIG. 4A).
  • Figure 4A shows an example of four adjacent 4 x 4 coefficient blocks.
  • each coefficient of the coefficient block is divided by each element of the quantization parameter and the quantization matrix. This gives a quantized coefficient block (see Figure 4B).
  • the quantum coefficient block has a non-zero quantity. Includes child coefficients and many zero quantization coefficients.
  • Suppression section 300 selects a quantized coefficient belonging to a subset (see Fig. 5) from a plurality of quantized coefficient blocks having a quantized coefficient power, and further sets a quantized coefficient not belonging to the subset to zero. To suppress. This subset is changed for each picture, for example. Due to this change, the missing frequency component corresponding to the suppressed quantization coefficient changes for each picture, so it is not recognized by the human eye. As a result, image quality deterioration can be prevented.
  • the inverse quantization / inverse transform unit 130, the calorie calculator 135, and the deblocking filter 137 locally output the suppressed quantized coefficient block output from the suppression unit 300 (that is, the moving image encoding device 100). Decrypt (within).
  • Memory 140 stores locally decoded pixel blocks. This reconstructs the reference picture.
  • the intra prediction unit 150 generates a prediction image for an intra picture (I picture).
  • the motion compensation prediction unit 160 generates a prediction image for an inter-picture (P picture or B picture) according to the motion vector from the motion prediction unit 170.
  • the motion prediction unit 170 detects the motion of the coding target block with respect to the reference picture, and outputs a motion vector.
  • the switch 180 is a switch for selectively outputting the prediction image from the intra prediction unit 150 or the prediction image from the motion compensation prediction unit 160 to the subtractor 110.
  • Entropy code key unit 190 codes the suppressed quantized coefficient block output from suppression unit 300 into a variable-length code.
  • the suppressed quantized coefficient block includes the selected quantum coefficient (in-subset quantized coefficient) and the quantized coefficient suppressed to zero outside the subset.
  • variable-length coding the quantized coefficients in the suppressed quantized coefficient block are scanned (for example, zigzag scanned) to convert them into a one-dimensional quantized coefficient sequence, and the quantized coefficient sequence column is further converted. (0 run length, level) are extracted in order. The extracted (0 run length, level) pair is encoded into one variable length code. Therefore, since the quantized coefficient block after suppression contains many zeros, the number of (0 run length, level) pairs is reduced, and the number of variable length codes is also reduced. In this way, the code amount of the variable length code can be reduced.
  • FIG. 2 is a block diagram showing a configuration of the video decoding device.
  • the encoding device 200 includes an entropy decoding unit 210, an inverse quantization / inverse conversion unit 220, an adder 230, a deblock filter 240, a memory 250, an intra prediction unit 260, and a motion compensation prediction unit 270.
  • This moving picture decoding apparatus 200 may be the same as the moving picture decoding apparatus in the prior art. This is because the number of quantized transform coefficients in the block from which the code string power transmitted from the moving image encoder 100 is also not reduced.
  • the video decoding device 200 will be briefly described.
  • the entropy decoding unit 210 performs variable length decoding on the code string (bit stream) from the moving image encoding apparatus 100. As a result, a quantized transform coefficient block and a motion vector are obtained.
  • the quantized transform coefficient block is sent to the inverse quantization / inverse transform means 220, and the motion vector is sent to the motion compensation prediction means 270.
  • the quantized coefficient block is inversely quantized by the inverse quantization / inverse transform means 220 and then inversely orthogonal transformed. Thereby, a prediction residual block is obtained.
  • the prediction residual block is added to the prediction image from the motion compensation prediction means 270 in the case of the inter prediction mode, and is added to the prediction image from the intra prediction unit 260 in the case of the intra measurement mode. This reconstructs the pixel block. This pixel block is filtered by the deblocking filter 240 and then stored in the memory 250 as part of the reference picture.
  • FIG. 5 is an explanatory diagram showing a state of selection and suppression by the suppression unit 300.
  • elements before and after the suppression unit 300, quantized transform coefficient blocks input to the suppression unit 300, and quantized transform coefficient blocks after suppression output from the suppression unit 300 are illustrated.
  • the quantized transform coefficient block input to the suppression unit 300 is composed of 4 ⁇ 4 segments.
  • a segment can be one quantization coefficient or multiple (4 X 4 etc.) quantization coefficient forces.
  • the upper left of the quantization transform coefficient block is the lowest frequency (DC component) quantization transform coefficient.
  • the further to the right in the quantized transform coefficient block the higher the horizontal frequency fx. Also, the lower the frequency in the quantized transform coefficient block, the higher the horizontal frequency fy.
  • the quantized transform coefficient block output from the suppression unit 300 is illustrated separately for the subset that is being patched and the others.
  • This subset includes the low frequency segment LF and the high frequency segment 8. 1 to 12 in the figure indicate the segment numbers assigned to the segments.
  • segment LF should be included in the subset. Furthermore, it is desirable to change the subset by making the segment LF mandatory and changing only the high-frequency segment.
  • FIG. 6A is a diagram showing an example of changing a subset. This figure shows an example of changing the subset for each picture.
  • the subset of picture fl consists of segment LF and segment 6 (denoted as LF + 6).
  • the subset of picture f2 is (LF + 7) and the subset of picture f3 is (LF + 8).
  • segment numbers are not limited to those shown in FIG. For example, the high frequency in the horizontal direction and the high frequency in the vertical direction may be alternately arranged. Also, the order may be random.
  • FIG. 6B is a diagram showing another modification of the subset.
  • segments other than segment LF in the subset are selected from segments whose average quantization coefficient in the segment is equal to or greater than the threshold.
  • the subset of picture fl is (LF + 7). In this case, the average of the quantum power coefficients of segment 7 is greater than or equal to the threshold value.
  • the subset of picture f2 is (LF + 2 + 4). In this case, the average of the quantum coefficient of segment 2 is not less than the threshold value, and the average of the quantum coefficient of segment 4 is not less than the threshold value.
  • the subset of picture f3 is (LF + 9 + 12). In this case, the average of the quantization coefficient of segment 9 is equal to or greater than the threshold value, and the average of the quantum coefficient of segment 2 is equal to or greater than the threshold value.
  • the subset may be adaptively determined according to the image content of the picture.
  • FIG. 7 is a flowchart showing the operation of the moving image encoding device 100.
  • the moving picture coding apparatus 100 divides the coding target picture into a plurality of blocks (step S10), and sets or changes the arrangement of the subsets (S15).
  • the following processing is performed for each block.
  • the transform / quantization unit 120 converts the prediction error block into a transform coefficient block. In other words (step S20), and further quantization (step S30).
  • suppression unit 300 selects a quantized transform coefficient belonging to the subset from the quantized transform coefficient block, and further suppresses the quantized transform coefficient not belonging to the subset to zero (step S40).
  • the entropy code encoding unit 190 encodes the selected quantized transform coefficient and the quantized transform coefficient suppressed to zero into a variable-length code (step S50).
  • the video encoding apparatus selects quantization coefficients belonging to a subset, and encodes the selected quantization coefficients into variable-length codes. Data compression ratio can be realized.
  • the moving picture coding apparatus changes the arrangement of the subsets in a block, for example, in units of pictures or blocks, it is possible to prevent picture quality deterioration due to lack of unselected quantized coefficients. it can. Thus, a high data compression rate can be realized, and the image quality can be prevented from deterioration.
  • the position of the subset may be a predetermined number of frequency components in a picture that is not necessarily within a block. This also makes it possible to appropriately set the trade-off between the high compression ratio and image quality degradation that can be achieved by a simple method.
  • the segments in the subset may be changed according to a predetermined frequency order.
  • a specific frequency order By appropriately selecting a specific frequency order in this way, it is possible to control and minimize deterioration of the image quality of the obtained image.
  • the position of the subset may be changed for each frame or for each image area in the frame. For example, you may change according to the position in the picture of a block. In this way, dynamically changing the position of the subset can be performed in a simple manner.
  • the position of the subset may be changed according to a predetermined frequency sequence.
  • the frequency change can be achieved in a simple manner.
  • the positions of a predetermined number of subsets that are continuously changed may include all frequencies. As a result, all frequency components contribute to the image quality at least once within a certain period of time. Further, an important frequency component may be included in the positions of the predetermined number of subsets that are continuously changed. [0057] Further, the position of the subset may be determined adaptively according to the content of the moving image (for example, movie, news, baseball, soccer, drama, animation, music program, game, CM, etc.).
  • one frame (picture) is divided into blocks, and processing such as frequency conversion, quantization, suppression, entropy code key, etc. is performed with the block as one code key unit.
  • processing such as frequency conversion, quantization, suppression, entropy code key, etc. is performed with the block as one code key unit.
  • the method for forcibly suppressing the quantization coefficient in the suppression unit 300 has been described, but this is based on the quantization process used in the quantization process performed in the transform / quantization unit 120.
  • the quantization matrix value for the frequency component to be suppressed may be set to a large value (for example, the maximum value that the quantization matrix value can take).
  • the quantization coefficient is not necessarily 0, and the effect is slightly inferior to that of the present embodiment.
  • the absolute value of the quantization coefficient is a value close to 0, it is possible to obtain substantially the same effect as in the present embodiment. In this case, the processing in the suppression unit 300 is not necessary.
  • the moving picture coding apparatus that selects the quantization coefficient in the subset and suppresses the quantization coefficient outside the subset to zero has been described.
  • a moving picture coding apparatus that excludes quantization coefficients outside the subset from the target of the variable-length code and encodes only the quantization coefficient within the subset into the variable-length code. explain. In this case, if the image decoding apparatus cannot determine the position of the subset, it cannot be decoded. Therefore, in the present embodiment, the image encoding apparatus further informs the image decoding apparatus of the position of the subset in the block. Also explained.
  • FIG. 8 is a block diagram showing a configuration of the moving picture encoding device 101 in the second embodiment.
  • the configuration of the moving picture encoding device 101 in FIG. 6 is different from that in FIG. 1 in that a suppression unit 301 and an embedding unit 302 are provided instead of the suppression unit 300. Since the same reference numerals are given to the same components, the description thereof will be omitted, and different points will be mainly described below.
  • the suppression unit 301 selects a quantization coefficient belonging to the subset from the quantization coefficient block from the transform / quantization unit 120. Specifically, the suppressing unit 301 sequentially scans a plurality of quantized coefficients in the quantized coefficient block, and if the scanned quantized coefficient belongs to the subset, the quantized coefficient is sent to the entropy code key unit 190. If the scanned quantized coefficient does not belong to the subset, the quantized coefficient is not output to the entropy code key unit 190. As a result, the entropy code encoding unit 190 excludes the quantization coefficient outside the subset from the target power of the variable-length code i, and encodes only the quantization coefficient within the subset into the variable-length code.
  • the embedding unit 302 embeds arrangement data specifying the arrangement of the subsets in the block in the quantization matrix.
  • the quantization matrix in which the arrangement data is embedded is encoded by the entropy encoding unit 190 and transmitted to the video decoding device.
  • the moving picture decoding apparatus can determine the position of the subset by extracting the quantization matrix force arrangement data.
  • FIG. 9 is a block diagram showing a configuration of the moving picture decoding apparatus 201.
  • the configuration of the moving picture decoding apparatus 201 shown in the figure is different from that shown in FIG. 2 in that an arrangement data extraction unit 902 and a zero insertion unit 901 are added. Since the same reference numerals are given to the same components, the description thereof will be omitted, and the following description will focus on differences.
  • the arrangement data extraction unit 902 extracts arrangement data from the quantization matrix decoded by the entropy decoding unit 210.
  • the zero insertion unit 901 determines the arrangement of the subset in the block according to the arrangement data from the arrangement data extraction unit 902, and the decoded input quantization coefficient from the entropy decoding unit 210 is determined for the subset in the block. It is arranged at a position, and a predetermined value (zero) is arranged as a quantization coefficient at a position other than the subset in the block.
  • FIG. 10 is an explanatory diagram showing a scan of the quantum power coefficient block in the suppression unit 301.
  • the figure shows an 8 ⁇ 8 quantized coefficient block.
  • the notching part indicates a subset.
  • the quantized coefficients in the quantized coefficient block are classified into two types: non-zero coefficients and zero coefficients.
  • the quantized coefficients in the quantized coefficient block are further classified into two types of fixed zero coefficients and atypical coefficients from different viewpoints.
  • the fixed zero coefficient is a quantum coefficient that does not belong to the subset.
  • the fixed zero coefficient means a coefficient that is routinely set to zero by a zero insertion unit 901 of the video decoding device 201 at a position outside the subset in the block.
  • all the fixed zero coefficients are zero coefficients.
  • the fixed zero coefficient is a coefficient skipped by scanning by the suppression unit 301, and means a coefficient excluded from an encoding target by the entropy code key unit 190.
  • the fixed zero coefficient is excluded from the encoding target, and its value has no meaning.
  • the fixed zero coefficient is a quantization coefficient that is suppressed to zero without being selected by suppression section 300.
  • all the fixed aperture coefficients are zero coefficients (suppressed to zero).
  • the atypical coefficient is a quantized coefficient other than the fixed zero coefficient, that is, a quantized coefficient belonging to the subset.
  • An atypical coefficient is a non-zero coefficient or a zero coefficient.
  • the suppression unit 301 selects only the quantization coefficient (atypical coefficient) belonging to the subset in the scanning of the quantization coefficient block, and selects the quantization coefficient (fixed zero) that does not belong to the subset. (Coefficient) is skipped.
  • the solid line in the zigzag scan in the figure means that V is selected for scanning, and the broken line means that it is skipped for scanning.
  • FIG. 11 is an explanatory diagram showing a modified example of the scanning operation in the suppression unit 301.
  • the suppression unit 301 rearranges the quantized coefficients belonging to the subset to a position that does not skip in the scanning order.
  • the four quantum coefficients in the high-frequency segment are rearranged in positions adjacent to the low-frequency segment.
  • the right side of the figure shows scanning after sorting by the suppression unit 301. In this way, skipping in scanning can be eliminated by rearrangement. In other words, since it is not necessary to perform scanning while determining whether or not each quantization coefficient is within the subset, scanning can be simplified and speeded up.
  • the embedding unit 302 embeds placement data in the quantization matrix. I will explain.
  • FIG. 12A is a diagram showing an example of a quantization matrix before embedding arrangement data.
  • This figure shows the default quantization matrix 800 used in the H.264ZMPEG4-AVC standard.
  • the 8x8 quantization matrix consists of 64 quantization values. Each value is a quantized value used to quantize the corresponding transform coefficient. Each transform coefficient in the transform coefficient block is divided by the corresponding quantized value, and the integer part of the result becomes the quantized transform coefficient. If the quantization value is large, the quantization of the transform coefficient becomes coarse. The quantization value increases as the upper left force of the quantization matrix also moves toward the lower right. Therefore, the transform coefficient in the high frequency region is coarser and quantized than in the low frequency region.
  • FIG. 12B is a diagram showing an example of the quantization matrix after the arrangement data is embedded.
  • an 8 ⁇ 8 quantization matrix 801 is shown.
  • the hatched segments 810, 820 indicate the position of the subset.
  • Each value in segments 810 and 820 is a quantized value.
  • the arrangement data is embedded in the parts that are not touched.
  • Each value “255” in the non-hatched part is a special value that means that the corresponding position of the quantized transform coefficient block is outside the subset, not the quantized value.
  • the position of the fixed zero coefficient in the quantized transform coefficient block is shown.
  • the arrangement data embedded in the quantization matrix directly indicates the positions of all the fixed zero coefficients in the quantized transform coefficient block, and indirectly, the atypical coefficients in the quantized transform coefficient block. Show the location (placement of the subset).
  • the arrangement data extraction unit 902 of the moving picture decoding apparatus 201 can easily extract the arrangement data from the quantization matrix power.
  • FIG. 13 is a flowchart showing the operation of the moving image encoding device 101. This figure differs from FIG. 7 in that steps S41 and S42 are added instead of step S40. Description of the same points will be omitted and different points will be described.
  • the suppression unit 301 selects only the quantized coefficients (atypical coefficients) belonging to the subset for the quantized coefficient block from the transform / quantizer 120, and does not belong to the subset (fixed zero). (Coefficient) is skipped (step S41). This ensures a fixed zero outside the subset The coefficients are excluded from the scanning and sign key power, improving sign key efficiency. Further, the embedding unit 302 embeds placement data for specifying the placement of the subset in the block in the quantization matrix (step S42). By embedding the arrangement data in the quantization matrix, it is possible to signal the arrangement of the subset in the block (more precisely, the position of the portion that is not the subset, that is, the position of the fixed zero coefficient) to the video decoding device.
  • FIG. 14 is a schematic diagram showing signaling between the moving picture coding apparatus and the moving picture decoding apparatus.
  • a unit 910 in the figure corresponds to the part to be quantized of the transform / quantization unit 120, the suppression unit 301, the embedding unit 302, and the entropy code unit 190 in the moving image coding apparatus 101.
  • the unit 940 corresponds to the entropy decoding unit 210, the zero insertion unit 901, the arrangement data extraction unit 902, and the inverse quantization / inverse transformation unit 220 in the moving picture decoding apparatus 201. Since the arrangement data indicating the position of the fixed zero coefficient is embedded in the quantization matrix, it is signaled to the moving picture decoding apparatus 201 together with the quantization matrix.
  • This signaling is performed for each sequence, picture, frame, finale, slice, macroblock, or a predetermined number of blocks.
  • the moving picture decoding apparatus 201 reconstructs the subset scan used by the moving picture encoding apparatus 101 and decodes it into a conversion factor.
  • a quantization matrix (Q-matrix) is used to inform the position of the fixed zero coefficient.
  • the quantization matrix specifies the quantization value used for quantization for every 900 conversion coefficients.
  • a special value (eg 255) in the quantization matrix means that the corresponding transform coefficient is a fixed zero coefficient.
  • the moving picture encoding apparatus 101 does not scan or encode the transform coefficient.
  • the quantization matrix is transmitted to the video decoding device together with other picture information data.
  • the quantization matrix can be changed at the image level.
  • a scaling-matrix-present-flag is set to indicate that the quantization matrix is composed of 64 8-bit values.
  • Unit 940 determines a powerful transform factor 900 that has not been scanned or encoded using quantization matrix 930 and reconstructs a valid scan of the subset performed by unit 910. Therefore, the moving picture decoding apparatus performs effective scanning, decodes the transform coefficient in the subset 920, and generates a complete set 950 of decoded transform coefficients.
  • the operation shown in FIG. 14 can also be used to limit the spatial frequency used to encode a certain image area. This can be achieved by explicitly setting the element in the quantization matrix corresponding to the transformation coefficient to be excluded to a special value (for example, 255). Excluded transform coefficients are thus marked as fixed zero coefficients and are not scanned or encoded. In this way, the amount of data to be encoded is further reduced and the encoding efficiency is improved.
  • the above method encodes only a subset of transform coefficients actually used to encode a video image. Therefore, the subset can be set as appropriate according to the image content or according to the result of the conversion step. For example, a subset may be set according to the result of converting an already encoded image area within the same frame or between preceding frames.
  • the subset can be changed according to a predetermined sequence including a subset composed of transform coefficients. The subset can be changed, for example, every sequence, every picture, every slice, or every macroblock.
  • FIG. 15 is a flowchart showing the operation of the moving picture decoding apparatus.
  • an entropy decoding unit 210 decodes a variable-length code sequence (bit stream) from the moving image encoding apparatus 101 into transform coefficients in the subset, and decodes it into a quantization matrix.
  • the arrangement data extraction unit 902 extracts the decoded quantization matrix power and the arrangement data, and determines the arrangement of the subset in the block (or the position of the fixed zero coefficient) as well as the arrangement data force (step S115).
  • 901 arranges the decoded quantized coefficient at the position of the subset in the block, and inserts a predetermined value zero as a quantized coefficient at a position outside the subset in the block (step S120). This provides a full set of quantized transform coefficient blocks within the block.
  • the inverse quantization / inverse transform unit 220 generates a transform coefficient block by performing inverse quantization on the quantized transform coefficient block (step S130), and performs inverse orthogonal transform on the transform coefficient block (step S140). As a result, a prediction residual block is obtained.
  • the adder 230 reconstructs the pixel block by adding the prediction residual block and the prediction image (step S150). The reconstructed block cover picture is displayed or recorded on a recording medium.
  • the image coding apparatus 101 performs pixel data rotation. After conversion to the wave number domain, only the conversion coefficients included in a predetermined subset are scanned and encoded. Thereby, a higher data compression rate can be realized. Also, the arrangement data regarding the position of the fixed zero coefficient is embedded in the quantization matrix. In addition, since the moving picture coding apparatus 201 changes the arrangement of the subsets in the block, it is possible to prevent the picture quality degradation of the picture due to the missing missing quantization coefficient. Further, the video decoding apparatus 201 extracts information on the position of the fixed zero coefficient from the quantization matrix, and the quantized transform coefficient included in the predetermined subset and the position of the fixed zero coefficient outside the subset in the block. Insert zeros in As a result, all transform coefficients within and outside the subset in the block are decoded. A definite zero coefficient included in the bitstream can be inserted at the correct position and decoded properly.
  • the quantization coefficient outside the subset is excluded from the target power of the variable-length code ⁇ , only the quantization coefficient in the subset is coded into the variable-length code, and the arrangement data indicating the position of the subset
  • a video encoding device that embeds the image in the quantization matrix has been described.
  • a moving picture code encoding apparatus that encodes a code string (bit stream) without embedding the arrangement data in the quantization coefficient will be described.
  • FIG. 16 is a block diagram showing a configuration of moving picture coding apparatus 102 in the present embodiment.
  • this figure includes a suppression unit 301 and an arrangement data generation unit 304 instead of the suppression unit 301 and the embedding unit 302, and an entropy code key unit 190 instead of the entropy code key unit 190.
  • the difference is that it has 191. Since the same reference numerals are given to the same components, description thereof will be omitted, and the following description will focus on differences.
  • the suppression unit 303 sequentially scans a plurality of quantum coefficient coefficients in the quantum coefficient block after the rearrangement shown in FIG. The rest is the same as the suppression unit 301.
  • Arrangement data generation section 304 generates arrangement data that specifies the arrangement of the subsets in the block.
  • the arrangement data is encoded by the entropy encoding unit 190 and transmitted to the moving picture decoding apparatus.
  • FIG. 17 is a block diagram showing a configuration of the moving picture decoding apparatus 202. The figure differs from FIG. 9 in that an arrangement data decoding section 903 is provided instead of the arrangement data extraction section 902. Since the same reference numerals are given to the same components, description thereof will be omitted, and the following description will focus on differences.
  • Arrangement data decoding unit 903 decodes the encoded arrangement data obtained from entropy decoding unit 210 into arrangement data.
  • FIG. 18 is a diagram showing a flowchart showing the operation of the moving image encoding device 102. This figure differs from FIG. 3 in that step S43 is provided instead of step S42 and that step S52 is provided instead of step S51. Explanations of the same points are omitted, and differences are explained.
  • step S43 the arrangement data generation unit 304 generates leaf position data indicating the arrangement of the subsets in the quantization transform coefficient block.
  • FIG. 19 is a schematic diagram showing signaling between the moving picture coding apparatus 102 and the moving picture decoding apparatus 202.
  • a unit 710 in the figure corresponds to the quantization / suppression unit 303 and the entropy code unit 191 of the video code unit 102 in the video code unit 102.
  • the unit 760 corresponds to the arrangement data generation unit 304 in the moving picture encoding device 102.
  • the unit 740 corresponds to the entropy decoding units 210 and 901 and the inverse quantization / inverse transform unit 220 in the video decoding apparatus 201.
  • the unit 780 corresponds to the arrangement data decoding unit 903 in the moving picture decoding apparatus 201.
  • the arrangement data is included in the encoding information 770 and is signaled from the unit 760 to the unit 780.
  • Such signaling can be done explicitly or implicitly.
  • the explicit signaling is performed by including the arrangement data in the code key information and encoding the code key information in the bit stream indicating the encoded video data.
  • explicit signaling may be performed for each sequence, picture, frame, field, block or its predetermined number.
  • Implicit signaling has been described in the second embodiment. In this case, no new information is added to the bitstream.
  • a method for dividing quantized transform coefficients into fixed zero coefficients and atypical coefficients may be determined in advance as a sequence indicating the order of a plurality of subsets.
  • a sequence consists of segmentation patterns that are used individually to code, for example, frames, slices or blocks.
  • Each division pattern defines the placement of a subset that indicates the position of the fixed zero coefficient and the position of the atypical coefficient within the block.
  • the start of such a sequence may be defined by the type of the picture. For example, the sequence may be automatically restarted upon transmission of an I frame. On the other hand, sequence restart may be explicitly signaled by setting a reset flag in the header of the frame, slice, or block. In this way, the scene change can be explained by the sign ⁇ .
  • the specific sequence of the division pattern force used individually for encoding the frame, slice, block, etc. is, for example, the video decoding from the video encoding device apparatus in the sequence parameter header. It may be sent explicitly to the device.
  • the division pattern used to code the block is then switched implicitly, for example on a picture-by-picture basis. This method is particularly useful in multi-pass codes. For example, the scene frequency can be analyzed in the first pass, and the split pattern can be determined to be applied to the scene frequency in the second pass.
  • FIG. 20 is an explanatory diagram expressing arrangement data by segment numbers.
  • the quantized transform coefficient block is divided into a plurality of segments represented by numbers 0-12.
  • Each segment is distinguished as active or inactive depending on whether it contains atypical coefficients. Only active segments are scanned and encoded.
  • the arrangement data indicates this active segment.
  • the active segment is signaled by the identifier of the active segment.
  • segment 0 And only segment 7 is active.
  • This information can be signaled explicitly or implicitly to the video decoding device 202.
  • Explicit signaling may use dedicated code characters that enumerate active or inactive segments.
  • these code characters may be active segment identifiers.
  • the segmentation shown in FIG. 8 may be segmentation identifier 1, the other segmentation identifier 2, and so on.
  • explicit and implicit signaling may be based on protocols that specify a specific order of conditions under which an active segment or a specific combination of segments is active. These conditions may be determined according to the number of the frame or block, image content, and the like. For example, segments 0, 1,..., 12 may be applied to consecutive blocks, macroblocks, slices, fields, frames, etc., respectively. A specific combination of active segments may be defined to be applied every n frames. Here, each of n-1 different combinations (n-1 other combinatio ns) must be applied to n-1 frames. In either case, there is no need to send additional information about active or inactive.
  • FIG. 21A is an explanatory diagram representing arrangement data by bitmap data.
  • the thick line frame indicates the active segment indicating the position of the atypical coefficient. Atypical coefficients corresponding to active segments are subject to scanning and signing.
  • the arrangement data can be expressed as bitmap data corresponding to the active segment.
  • FIG. 21B An example of more specific bitmap data is shown in FIG. 21B.
  • segmentation bitmap data indicating whether or not each segment is active (force that is an atypical coefficient or a fixed zero coefficient) is shown.
  • One segment corresponds to one coefficient.
  • the positions of the atypical coefficients and the fixed zero coefficients in the block can be easily expressed, and the arrangement data can be generated easily.
  • one segment may correspond to a plurality of adjacent coefficients.
  • map number 1 may be assigned to the segmentation bitmap shown in FIG. 21B, map number 2 may be assigned to another segmentation bitmap, and so on. in this case Then, the segmentation bitmap map is notified in advance from the video encoding device 102 to the video decoding device 202, and the map number is notified when the subset is changed.
  • FIG. 22 is a flowchart showing the operation of the video decoding device. The figure differs from FIG. 15 in that it has step S116 instead of step S115! /. Explanation of the same points will be omitted, focusing on different points.
  • the arrangement data extraction unit 902 combines the code key arrangement data from the entropy decoding unit 210 into arrangement data.
  • the arrangement data is represented by segment identifiers as shown in FIG. Alternatively, it can be expressed as segmentation bitmap data as shown in Figure 21B!
  • the moving picture coding apparatus excludes the quantization coefficient outside the subset from the target power of the variable-length code ⁇ , and varies only the quantization coefficient within the subset. Encodes to a long code, generates arrangement data indicating the position of the subset, and encodes the arrangement data into a code string (bit stream).
  • the arrangement of the transform coefficient subsets may be changed according to a predetermined sequence.
  • the arrangement of the subsets may be changed for each frame, each field, or each image area according to a predetermined sequence. Therefore, it is necessary for both the moving picture encoding apparatus and the moving picture decoding apparatus to transmit additional signaling information to the moving picture decoding apparatus and the moving picture decoding apparatus by changing the subset according to a predetermined sequence. As a result, code efficiency can be maximized.
  • the sequence for changing the arrangement of the subsets may be subjected to moving image decoding apparatus hashing. Therefore, the video encoding apparatus may select a specific sequence and notify the video decoding apparatus of the selection result. Therefore, the moving picture decoding apparatus can decode the encoded video data.
  • An instruction to restart the sequence for changing the arrangement of the subset may be sent to the moving picture decoding apparatus.
  • the moving picture decoding apparatus can cope with a sudden change in image characteristics (property).
  • a predetermined type of frame is encoded or not. May be restarted each time it is decrypted. In this way, frame type information such as I-frames can be used to implicitly signal sequence restart.
  • Information indicating the method of rearranging the transform coefficients in the subset may be subjected to moving image decoding apparatus hashing.
  • This information may define transform coefficients and the order in which the transform coefficients are encoded in the video data. This means that the video decoding device identifies a subset of transform coefficients and decodes the decoded video data in order to make an effective scan used by the video encoding device. Enable.
  • the arrangement data is preferably a part of a predetermined subset of transform coefficients or an enumeration of transform coefficients that are not a part. Accordingly, the moving picture decoding apparatus can easily reconstruct the effective scan used by the moving picture encoding apparatus and decode the encoded video data.
  • the arrangement data may specify one subset of a plurality of predetermined subsets. In this way, the arrangement data may be a single number.
  • a plurality of predetermined subsets may be set in advance in the video encoding device and the video decoding device, or may be signaled from the video encoding device to the video decoding device.
  • the signaling of the arrangement data is preferably performed every time a predetermined subset of transform coefficients is changed. This allows the video decoding device to respond quickly to the transform coefficients used by the video encoding device.
  • the arrangement data signaling is preferably performed once for at least two image regions, or once for a predetermined number of pictures, frames, fields, slices, macroblocks, or blocks.
  • the gain in code efficiency can be maximized by repeatedly applying the same predetermined subset of transform coefficients.
  • the arrangement data may be encoded in video data. In this way, the arrangement data can be transmitted most easily to the moving picture decoding apparatus.
  • the arrangement of the transform coefficient subsets may be set in accordance with the image content of the image region, the image content of the adjacent image region, or the image content of the image region in the preceding frame.
  • the video decoding device encodes video data.
  • the set of frequencies used to optimize can be optimized.
  • the arrangement of the subset of transform coefficients may be set based on known information obtained as a result of the transform or quantization step.
  • the arrangement of the subset preferably includes as many non-zero coefficients as possible. Therefore, it is possible to reduce redundancy in the encoded data and increase the encoded efficiency.
  • the image area is a pixel block, and the image may be divided into a plurality of blocks of the same size. Therefore, when an image is decoded and assembled from the decoded image region, dividing the image into image regions is simplified.
  • the arrangement of the subset is preferably adapted to the image content of each image area.
  • the frequency that contributes most to the image content may be included in the subset.
  • the arrangement of the subset may be set so as to adapt to the existence and size of non-zero transform coefficients. Therefore, the selection is based on the frequency component that contributes most to the image representation in the frequency domain. In this way, the image quality can be controlled by a simple method.
  • the ratio between the low frequency and the high frequency in the arrangement of the subsets may be set adaptively depending on the frequency characteristics of the conversion coefficient of each image area. By forcibly transmitting the low frequency part and adaptively setting the contributions of the low and high frequencies, the image quality can be controlled in a simple and effective manner.
  • a threshold value for setting a predetermined frequency may be set adaptively. In this way, multiple frequency settings can be easily adapted to, for example, image content, available data rates, and the like.
  • the highest importance may be set for the segment including the lowest frequency so that the importance of the low frequency component is higher than that of the high frequency component.
  • the image encoding method and the image decoding method described in the first to third embodiments are used.
  • the processing shown in each of the above embodiments can be easily performed on an independent computer system. .
  • FIGs. 23A to 23C show a case where the image encoding method and the image decoding method of each of the above embodiments are implemented by a computer system using a program recorded on a recording medium such as a flexible disk. It is explanatory drawing.
  • FIG. 23B shows an external appearance, a cross-sectional structure, and a flexible disk when viewed from the front of the flexible disk
  • FIG. 23A shows an example of a physical format of the flexible disk that is a recording medium body.
  • the flexible disk FD is built in the case F, and on the surface of the disk, a plurality of tracks Tr are formed concentrically from the outer periphery toward the inner periphery, and each track has 16 sector Se in the angular direction. It is divided into Therefore, in the flexible disk storing the program, the program is recorded in an area allocated on the flexible disk FD.
  • FIG. 23C shows a configuration for recording and reproducing the program on the flexible disk FD.
  • the program for realizing the image encoding method and the image decoding method is recorded on the flexible disk FD
  • the program is written from the computer system Cs via the flexible disk drive.
  • the program is executed by a flexible disk drive. Is read from the flexible disk and transferred to the computer system.
  • the same operation can be performed by using the force optical disk described using the flexible disk as the recording medium.
  • the recording medium is not limited to this.
  • FIG. 24 is a block diagram showing an overall configuration of a content supply system exlOO that realizes a content authentication service.
  • the communication service area is divided into desired sizes, and base stations exl07 to exl10, which are fixed radio stations, are installed in each cell!
  • This content supply system exlOO is, for example, connected to the Internet exlOl via the Internet service provider exl02 and the telephone network exl04, and the base stations exl07 to exl l0, computer exl 11, PDA (personal digital assistant) exl 12, camera Various devices such as exl 13, mobile phone exl l4, mobile phone with camera exl l5, etc. are connected.
  • the content supply system exlOO is not limited to the combination shown in Fig. 24, and may be connected in any combination.
  • each device may be directly connected to the telephone network exl04 without going through the base stations exlO 7 to exl 10 which are fixed radio stations.
  • the camera exl 13 is a device capable of moving image shooting such as a digital video camera.
  • Cellular phones are PDC (Personal Digital Communications), CDMA (Code Division Multiple Access), W-CDMA (Wideband-Code Division Multiple Access), or GSM (Global System for Mobile Communications)
  • PDC Personal Digital Communications
  • CDMA Code Division Multiple Access
  • W-CDMA Wideband-Code Division Multiple Access
  • GSM Global System for Mobile Communications
  • a telephone or a PHS Personal Handyphone System
  • the streaming server exl03 is connected via the camera 6113 and the base station 6109 and the telephone network exl04, and based on the code-processed data transmitted by the user using the camera exll3, Live distribution is possible.
  • the encoding process of the captured data may be performed by the camera exl 13 or may be performed by a server or the like that performs the data transmission process.
  • the moving image data shot by the camera 116 may be transmitted to the streaming server exl03 via the computer exl11.
  • the camera exl 16 is a device such as a digital camera that can shoot still images and videos. In this case, the sign of the moving image data may be performed by the camera exl 16 or the computer ex 111.
  • the encoding process is performed in LSI exl 17 included in the computer exl 11 and the camera exl 16.
  • the software for image encoding / decoding may be incorporated in any storage medium (CD-ROM, flexible disk, hard disk, etc.) that is a recording medium readable by the computer exl 11 or the like.
  • the video data at this time is data encoded by the LSI included in the mobile phone exl l5.
  • content that the user captures with the camera exl 13, camera exl l6, etc. (for example, a video of a live music image) is encoded and processed in the same manner as in the above embodiment.
  • the streaming server exl03 While sending to the streaming server exl03, the streaming server exl03 streams the content data to the requested client.
  • the client include a computer exl 11, a PDA exl l2, a camera exl l3, and a mobile phone exl 14 that can decode the encoded data.
  • the content supply system exlOO can receive and play back the encoded data at the client, and further receive, decode and play back the data in real time at the client. It is a system that can also realize
  • the image encoding device or the image decoding device described in each of the above embodiments may be used for encoding and decoding of each device constituting the system.
  • FIG. 25 is a diagram showing a mobile phone exl 15 using the image coding method and the image decoding method described in the above embodiment.
  • the mobile phone exl 15 is an antenna ex201 for transmitting and receiving radio waves to and from the base station exl 10, a video from a CCD camera, etc., a camera part ex203 capable of taking still images, and a picture taken by the camera part ex203 ,
  • Display unit ex202 such as a liquid crystal display that displays data decoded from the image received by the antenna ex201, etc., main unit configured with operation key ex204 group force, audio output such as speakers for audio output Unit ex208, voice input unit ex205 such as a microphone for voice input, captured video or still image data, received mail data, video data or still image data, etc., encoded data or decoding
  • a recording medium ex2 07 for storing the recorded data
  • a slot part ex206 for enabling the recording medium ex207 to be attached to the mobile phone exl 15.
  • Recording media ex207 is a flash memory device that is a kind of EEPROM (Electrically Erasable and Programmable Read Only Memory) that is an electrically rewritable and erasable nonvolatile memory in a plastic case such as an SD card. .
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • Mobile phone exl l5 will be described with reference to FIG.
  • the power circuit unit ex310 can operate the digital cellular phone exl l5 with a camera by supplying power to each unit when the end call and the power key are turned on by the user's operation. Start to state.
  • the mobile phone exl l5 receives the audio signal collected by the audio input unit ex205 in the voice call mode based on the control of the main control unit ex311 composed of CPU, ROM, RAM, etc. by the audio processing unit ex305. This is converted into digital audio data, and this is subjected to spectrum spreading processing by the modulation / demodulation circuit unit ex306, and after being subjected to digital analog conversion processing and frequency conversion processing by the transmission / reception circuit unit ex301, it is transmitted through the antenna ex201.
  • the mobile phone ex 115 amplifies the received signal received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, and performs spectrum despreading processing by the modulation / demodulation circuit unit ex306 and voice processing unit ex305 After being converted into an analog audio signal by, this is output via the audio output unit ex208.
  • the text data of the e-mail input by operating the operation key ex2 04 on the main unit is sent to the main control unit ex311 via the operation input control unit ex304.
  • the main control unit ex311 performs spread spectrum processing on the text data in the modulation / demodulation circuit unit ex306, performs digital analog conversion processing and frequency conversion processing in the transmission / reception circuit unit ex301, and then transmits the text data to the base station exllO via the antenna ex201.
  • the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface unit ex303.
  • the image data captured by the camera unit ex203 is directly transmitted to the display unit ex202 via the camera interface unit ex303 and the LCD control unit ex302. It is also possible to display in close contact.
  • the image encoding unit ex312 has the configuration including the image encoding unit described in the present invention, and the image encoding unit shown in the above embodiment shows the image data supplied from the camera unit ex203.
  • the image data is converted into encoded image data by compression encoding according to the encoding method used in the above, and is sent to the demultiplexing unit ex308.
  • the mobile phone exl 15 sends the sound collected by the voice input unit ex205 during imaging by the camera unit ex203 to the demultiplexing unit ex308 as digital voice data via the voice processing unit ex305.
  • the demultiplexing unit ex308 multiplexes the encoded image data supplied from the image encoding unit ex312 and the audio data supplied from the audio processing unit ex305 by a predetermined method, and the multiplexed data obtained as a result Is modulated by the modulation / demodulation circuit unit ex306, digital-analog conversion processing and frequency conversion processing are performed by the transmission / reception circuit unit ex301, and then transmitted through the antenna ex201.
  • the demultiplexing unit ex308 separates the multiplexed data to thereby encode the encoded bitstream of the image data and the audio data. And the encoded image data is supplied to the image decoding unit ex309 via the synchronization bus ex313 and the audio data is supplied to the audio processing unit ex305.
  • the image decoding unit ex309 has a configuration including the image decoding apparatus described in the present invention, and the code decoding bit stream of the image data is shown in the above embodiment.
  • Reproduced moving image data is generated by decoding with a decoding method corresponding to the method, and this is supplied to the display unit ex202 via the LCD control unit ex302.
  • a moving image file linked to the homepage The video data included in is displayed.
  • the audio processing unit ex305 converts the audio data into an analog audio signal, and then supplies this to the audio output unit ex208.
  • the audio processing unit ex305 converts the audio data into a moving image file linked to the homepage.
  • the included audio data is played back.
  • the digital broadcasting system also includes at least the image code of the above embodiment. Either a saddle device or an image decoding device can be incorporated. More specifically, in the broadcasting station ex409, a code bit stream of video information is transmitted to a communication or broadcasting satellite ex410 via radio waves. In response, the broadcasting satellite ex410 transmits a radio wave for broadcasting, and this radio wave is received by a home antenna ex406 having a satellite broadcasting receiving facility, such as a television (receiver) ex401 or a set top box (STB) ex407.
  • a satellite broadcasting receiving facility such as a television (receiver) ex401 or a set top box (STB) ex407.
  • This apparatus decodes the code bit stream and reproduces it. Further, reading the code I ⁇ bit stream recorded on a storage medium ex 402 such as a CD or D VD is a recording medium, the image decoding I spoon device described in the above embodiment in the reproducing apparatus ex403 you decode I spoon It can be implemented. In this case, the reproduced video signal is displayed on the monitor ex404.
  • an image decoding device is installed in the set-top box ex407 connected to the cable ex405 for cable TV or the antenna ex406 for satellite Z terrestrial broadcasting, and this is played back on the TV monitor e x408. Conceivable. At this time, an image decoding apparatus may be incorporated in the television set in the set top box.
  • a car ex412 having an antenna ex411 can also receive a signal from the satellite ex410 or the base station exl07 and so on, and a moving image can be reproduced on a display device such as the car navigation ex413 that the car ex412 has.
  • the image signal can be encoded by the image encoding apparatus shown in the above embodiment and recorded on the recording medium.
  • a recorder ex420 such as a DVD recorder that records image signals on a DVD disc ex421 and a disk recorder that records on a hard disk. It can also be recorded on the SD card ex422. If the recorder ex420 includes the image decoding device shown in the above embodiment, the image signal recorded on the DVD disc ex421 or the SD card ex422 can be reproduced and displayed on the monitor ex408.
  • the configuration of the car navigation ex413 may be, for example, the configuration shown in Fig. 26 excluding the camera unit ex203, the camera interface unit ex303, and the image encoding unit ex312, and the same applies to the computer.
  • Exl 11 and TV (receiver) ex401 are also considered.
  • the mobile phone exl 14 or the like is a transmission / reception type device having both an encoder and a decoder.
  • the mobile phone exl 14 or the like is a transmission / reception type device having both an encoder and a decoder.
  • the image coding method and the image decoding method shown in the above embodiment can be used in any of the above-described systems. By doing so, in the above embodiment, The described effect can be obtained.
  • each functional block in the block diagrams shown in FIGS. 1, 2, 8, 9, 16, and 17 is typically implemented as an LSI that is an integrated circuit device.
  • This LSI may be a single chip or multiple chips. (For example, a functional block other than a memory may be integrated on a single chip.)
  • IC system LSI, snow LSI, or unroller LSI due to the difference in power integration as LSI.
  • LSI power integration
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • FPGA Field Programmable
  • a unit for storing data is not limited to one chip, and may be configured separately as in the recording medium 115 of the present embodiment.
  • the image encoding method or the image decoding method shown in the above embodiment can be used in any of the above-described device systems, and in this way, in the above embodiment, The described effect can be obtained.
  • the present invention is suitable for an encoding device that encodes or decodes an image, a decoding device, and a web server that distributes a moving image, a network terminal that receives the moving image, a digital camera capable of recording and reproducing moving images, and a mobile phone with a camera Suitable for telephones, DVD recorders, Z players, PDAs, single-computers, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　本発明の動画像符号化方法は、ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数を符号化する動画像符号化方法であって、量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択し、ブロック中のサブセットの配置を変更する。ここで、前記サブセットの配置は、(i)～(v)の少なくとも１つに関連して変更される。(i)ピクチャの符号化完了、(ii)所定数のブロックの符号化完了、(iii)符号化対象のピクチャの内容、(iv)ブロックのピクチャ中の位置、(v)各周波数係数としきい値との比較。

Description

明 細 書
動画像符号化方法、動画像復号化方法およびその装置
技術分野
[0001] 本発明は、動画像データを圧縮する符号化に関し、特に、特に高い符号化効率を 実現する動画符号化方法、動画復号化方法およびその装置に関する。
背景技術
[0002] 動画像データは、ビデオ電話やビデオ会議力 DVDやデジタルテレビにわたって 、広く応用されている。動画像データを送信または記録する際には、相当量のデータ が限られた利用可能な周波数帯域をもつ伝送チャンネルを介して送信される、もしく は限られたデータ容量をもつ従来の記録メディアに格納されなければならな 、。その ため、デジタルデータを従来のチャンネル、メディアに送信及び格納するためには、 デジタルデータ量を圧縮もしくは削減することが不可欠である。
[0003] 動画像データの圧縮に関し、複数の動画像符号化規格が開発されている。このよう な動画像規格には、例えば、 H.26xで示される ITU-T規格、及び MPEG-xで示さ れる ISOZIEC規格がある。最新の動画像符号化規格は、 H.264/MPEG-4 AVC 規格 (非特許文献 1)である。
[0004] これら規格の多くの基礎となる符号ィ匕アプローチは、以下に示す主なステージを含 む。
(a)個々のビデオフレームをブロックレベルでのデータ圧縮の単位とするために、そ れぞれのビデオフレームを複数の画素ブロックに分割する。
(b)動画像データのそれぞれのブロックを空間領域力も周波数領域に変換する。
(c)周波数領域の変換係数を量子化することによって、全体のデータ量を削減する。
(d)量子化変換係数をエントロピー符号ィ匕する。
(e)連続するフレームのブロック間の変化のみを符号ィ匕するために、連続するフレー ムのブロック間の時間的依存性を利用する。これは、動き予測'補償技術を用いる。
[0005] 画像情報を空間領域から周波数領域に変換することは、現在の動画像符号化規 格の典型的なアプローチである。画像の情報圧縮は、画像コンテンツをごく僅かな周 波数要素で表すことによって実現できる。自然画像コンテンツの周波数成分は、その 多くが低周波数領域の係数に集中している。高周波数成分は人間の目にはほとんど 影響がないため、符号ィ匕対象となるデータ量を減らすために、削除もしくは量子化さ れる。
[0006] MPEG- 1、 MPEG- 2、 MPEG- 4、 H.263、および H.264/AVCといった、現在 の動画像符号ィ匕規格は、量子化後の周波数係数をさらに圧縮するためにエントロピ 一符号化を用いる。
[0007] このエントロピー符号ィ匕は、 2次元の量子化変換係数ブロックを 1次元シーケンスに 変換するために、量子化された変換係数の 2次元ブロックを走査する処理を含む。通 常、ジグザグ走査のような所定の走査方法が用いられる。この走査は、最低周波数係 数（つまり、 DC係数)から開始され、ブロックのゼロでない全ての係数が走査されると 同時に終了する。このような走査方法の問題点の一つは、ゼロでない最後の係数に 達するまでに多くのゼロである係数を走査しなければならないことである。
[0008] このようにして取得された、量子化変換係数の 1次元シーケンスは、（ラン、レベル） と呼ばれる一連のいくつかの組として表現される。（ラン、レベル）の各組は、例えば ハフマン符号に基づいて、可変長符号に符号化される。可変長符号は、典型的なビ デォ画像にぉ ヽて発生する、より短 、符号語を最もよく用いられるラン'レベルの組に 割り当てるように、最適化される。このように、量子化変換係数のブロック全体が符号 化される。
[0009] 多くの応用において、符号ィ匕動画像データの蓄積又は転送が可能な量もしくは帯 域は非常に制限されている。よって、可能な限り動画像データを圧縮する必要性が ある。しかしながら、より粗く量子化を行うことによってデータ量を減らし、データ圧縮 率を増加させることは、符号ィ匕画像の画質劣化を引き起こす。
非特許文献 1 : ITU- T Rec.H264 | ISO/IEC 14496-10 version 1 "Information technol ogy―し odmg of audio-visual objects― Part 10: Advanced video coding
発明の開示
発明が解決しょうとする課題
[0010] 本発明は、画質を劣化させず、かつ高いデータ圧縮率を実現する動画像符号ィ匕方 法、動画像復号ィ匕方法およびその装置を提供することを目的とする。
課題を解決するための手段
[0011] 上記目的を達成するため本発明の動画像符号ィ匕方法は、ブロックを構成する複数 の画素を周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複 数の量子化係数を符号ィ匕する動画像符号ィ匕方法であって、量子化前の前記複数の 係数および量子化後の複数の量子化係数の何れかである複数の周波数係数のプロ ック力 そのサブセットに属する量子ィ匕係数を選択し、ブロック中のサブセットの配置 を変更することを特徴とする。この構成によれば、第 1に、サブセットに属する量子化 係数を選択し、選択された量子化係数を可変長符号に符号化することによって高い データ圧縮率を実現することができる。第 2に、ブロック中のサブセットの配置を変更 することによって、選択されな力つた量子化係数に起因するピクチャの画質劣化を防 止することができる。もし、数 10フレームに渡ってサブセットがずっと同じであれば、 選択されなかった量子化係数に起因するピクチャの画質劣化が人の目にもはっきり 見えてしまう。本発明では、例えば個々のフレームではサブセット以外の周波数成分 が欠落するが、サブセットの配置を変更することにより連続フレームでは欠落する周 波数成分が時間とともに変化していく。そうすると、連続するフレームでは、人の目に は残像の時間的な積分効果より、個々の周波数成分の欠落が見えないので、人の 目に対して画質劣化が生じない。
[0012] ここで、前記サブセットの配置は、（i)〜(v)の少なくとも 1つに関連して変更されれもよ い。（0ピクチャの符号化完了、 GO所定数のブロックの符号ィ匕完了、（ )符号化対象の ピクチャの内容、（iv)ブロックのピクチャ中の位置、（V)各周波数係数としきい値との比 較。この構成によれば、サブセットの変更を規則的に単純ィ匕し、または画像の内容に 応じて適切に行うことができる。
[0013] ここで、前記動画像符号化方法は、さらに前記サブセットに属さない周波数係数を ゼロに抑制し、前記符号化において、選択された周波数係数とゼロに抑制された周 波数係数とを含む周波数係数を可変長符号に符号ィ匕してもよい。この構成によれば 、選択された量子化係数とゼロに抑制された量子化係数とを可変長符号に符号化す るので、復号化装置ではサブセットの位置を知る必要がなぐ従来の復号化装置に ぉ 、て動画像を再生することができる。
[0014] ここで、前記符号化において、選択されていない周波数係数を、可変長符号化の 対象から除外してもよい。この構成によれば、選択された量子化係数のみを可変長 符号に符号化するので、抑圧されたゼロを符号化する場合よりもさらに高いデータ圧 縮率を実現することができ、し力も、人の目には画質が劣化しない。
[0015] ここで、前記選択において、前記サブセットに属する周波数係数を逐次走査し、前 記符号化において、走査された周波数係数を可変長符号に符号化してもよい。
[0016] ここで、前記選択において、サブセットに属する周波数係数を走査順に並び替え、 並び替え後に前記サブセットに属する周波数係数を逐次走査してもよい。この構成 によれば、並び替えによって、サブセットに含まれない変換係数をスキップする必要 がなくなり、走査が容易となる。
[0017] ここで、前記動画像符号化方法は、さらに、ブロック中のサブセットの配置を特定す る配置データを量子化マトリクスに埋め込み、前記符号化において、前記配置データ が埋め込まれた前記量子化マトリクスを符号ィ匕してもよい。この構成によれば、量子 化マトリクスに配置データを埋め込むので、データ量を増加させることなく（データ圧 縮率を低下させることなく）、復号ィ匕装置にサブセットの配置を通知することができる。
[0018] ここで、前記動画像符号化方法は、さらに、ブロック中のサブセットの配置を特定す る配置データを生成し、前記符号化において、前記配置データを符号化するとしても よい。
[0019] ここで、前記配置データは、ブロックを構成する複数のセグメントのうち、前記サブセ ットに対応するセグメントを識別する識別子を含むようにしてもょ 、。
[0020] ここで、前記配置データは、ブロック内の周波数係数毎に前記サブセットに属する か否かを示すビットマップデータであってもよい。
[0021] また、本発明の動画像復号化方法、動画像符号化装置、動画像復号化装置、半 導体装置、プログラムも、上記と同様である。
発明の効果
[0022] 本発明によれば、高 、データ圧縮率を実現することができ、かつ、ピクチャの画質 劣化を防止することができる。 図面の簡単な説明
[図 1]図 1は、実施の形態 1における動画像符号ィ匕装置の構成を示すブロック図であ る。
[図 2]図 2は、動画像復号ィ匕装置の構成を示すブロック図である。
[図 3]図 3は、複数のブロックに分割されたフレームを示す図である。
[図 4A]図 4Aは、量子化前の係数ブロックの一例を示す図である。
[図 4B]図 4Bは、量子化後の係数ブロックの一例を示す図である。
[図 5]図 5は、抑制部による抑制の様子を示す説明図である。
[図 6A]図 6Aは、サブセットの変更例を示す図である。
[図 6B]図 6Bは、サブセットの変更例を示す図である。
[図 7]図 7は、動画符号ィ匕装置の動作を示すフローチャートを示す図である。
[図 8]図 8は、実施の形態 2における動画像符号ィ匕装置の構成を示すブロック図であ る。
[図 9]図 9は、動画像復号ィ匕装置の構成を示すブロック図である。
[図 10]図 10は、量子化係数のスキャンを示す説明図である。
[図 11]図 11は、量子化係数の並び替えを示す説明図である。
[図 12A]図 12Aは、配置データ埋め込み前の量子化マトリクスの一例を示す図である
[図 12B]図 12Bは、配置データ埋め込み後の量子化マトリクスの一例を示す図である
[図 13]図 13は、動画符号ィ匕装置の動作を示すフローチャートを示す図である。
[図 14]図 14は、動画符号化装置と動画復号化装置の間のシグナリングを示す説明 図である。
[図 15]図 15は、動画復号ィ匕装置の動作を示すフローチャートを示す図である。
[図 16]図 16は、実施の形態 3における動画像符号ィ匕装置の構成を示すブロック図で ある。
[図 17]図 17は、動画像復号ィ匕装置の構成を示すブロック図である。
[図 18]図 18は、動画符号ィ匕装置の動作を示すフローチャートを示す図である。 [図 19]図 19は、動画符号化装置と動画復号化装置の間のシグナリングを示す説明 図である。
[図 20]図 20は、セグメント番号により配置データを表現する説明図である。
[図 21A]図 21Aは、ビットマップデータにより配置データを表現する説明図である。
[図 21B]図 21Bは、ビットマップデータにより配置データを表現する説明図である。
[図 22]図 22は、動画復号ィ匕装置の動作を示すフローチャートを示す図である。
[図 23A]図 23Aは、記録媒体本体であるフレキシブルディスクの物理フォーマットの 例を示す図である。
[図 23B]図 23Bは、フレキシブルディスクの正面からみた外観、断面構造、及びフレ キシブルディスクを示す図である。
[図 23C]図 23Cは、フレキシブルディスク FDに上記プログラムの記録再生を行うため の構成を示す。
[図 24]図 24は、コンテンツ供給システムの全体構成を示すブロック図である。
[図 25]図 25は、画像符号化方法および画像復号化方法を用いた携帯電話の具体 例を示す図である。
[図 26]図 26は、携帯電話のブロック図である。
[図 27]図 27は、ディジタル放送用システムの例を示す図である。
符号の説明
100〜102 動画符号化装置
110 減算器
120 変換 ·量子化部
130 逆量子化 ·逆変換部
135 加算器
137 デブロックフィルタ
140 メモリ
150 イントラ予測部
160 動き補償予測部
170 動き予測部 180 スィッチ
190、 191 エントロピー符号ィ匕部
300、 301、 303 抑制部
302 埋め込み部
304 配置データ生成部
200〜202 動画復号化装置
210 エントロピー復号ィ匕部
220 逆量子化 ·逆変換部
230 加算器
240 デブロックフィルタ
250 メモリ
260 イントラ予測部
270 動き補償予測部
280 スィッチ
310 セグメント
800 量子化マトリクス
810 低周波セグメント
820 高周波セグメント
801 ゼロ挿入部
902 配置データ抽出部
903 配置データ復号化部
fl〜f4 フレーム
発明を実施するための最良の形態
(実施の形態 1)
本実施の形態における動画像符号ィ匕装置および方法は、ブロックを構成する画素 を周波数を示す複数の係数に直交変換し、複数の係数を量子化し、複数の量子化 係数力 そのサブセットに属する量子化係数を選択し、選択された量子化係数を可 変長符号に符号ィ匕し、また、ブロック中のサブセットの配置を変更することを特徴とす る。さらに、本発明の動画像符号化装置および方法は、さらにサブセットに属さない 量子化係数をゼロに抑制し、符号ィ匕において、選択された量子化係数とゼロに抑制 された量子化係数とを含む量子化係数を可変長符号に符号化することを特徴とする
[0026] ここで、サブセットに属する量子化係数を選択し、選択された量子化係数を可変長 符号に符号ィ匕するのは、高いデータ圧縮率を実現するためである。また、ブロック中 のサブセットの配置を変更することは、選択されな力つた量子化係数の欠落に起因 するピクチヤの画質劣化を防止するためである。これにより、高いデータ圧縮率を実 現し、しかも画質劣化を防止することができる。
[0027] 以下図面を用いて本実施の形態における動画像符号化装置を具体的に説明する
[0028] 図 1は、実施の形態 1における動画像符号化装置の構成を示すブロック図である。
同図において、動画像符号ィ匕装置 100は、減算器 110、変換 ·量子化部 120、抑制 部 300、逆量子化'逆変換部 130、カロ算器 135、デブロックフィルタ 137、メモリ 140、 イントラ予測部 150、動き補償予測部 160、動き予測部 170、スィッチ 180、ェントロ ピー符号ィ匕部 190を備える。
[0029] 減算器 110は、符号化対象の動画像 (入力信号）中のピクチャを構成するブロック 毎に、当該ブロックと予測画像との差分を予測残差として求める。ここで予測画像は、 イントラ予測部 150または動き補償予測部 160からスィッチ 180を介して減算器 110 に入力される。ブロックは、 1枚のピクチャを分割することにより得られる（図 3参照)。 ブロックのサイズは、 N X M画素である。 Nは 4、 8または 16が一般的である。 Mも同 様である。以下の処理は基本的にブロック単位になされる。
[0030] 変換，量子化部 120は、減算器 110からの予測残差を直交変換し、さらに量子化す る。直交変換において、予測残差ブロックは、周波数を示す複数の係数からなる係 数ブロックに変換（図 4A参照）される。図 4Aでは、 4つの隣接する 4 X 4の係数ブロッ クの一例を示してある。量子化において、係数ブロックの各係数は、量子化パラメ一 タおよび量子化マトリクスの各要素によって割り算される。これにより、量子化係数ブ ロックが得られる（図 4B参照）。図 4Bのように、量子ィ匕係数ブロックでは、非ゼロの量 子化係数と、多くのゼロの量子化係数とを含む。
[0031] 抑制部 300は、複数の量子ィ匕係数力 なる量子ィ匕係数ブロックから、そのサブセッ ト（図 5参照）に属する量子化係数を選択し、さらにサブセットに属さない量子化係数 をゼロに抑制する。このサブセットは、例えばピクチャごとに変更される。この変更によ り、抑制された量子化係数に対応する周波数成分の欠落がピクチャ毎に変化するの で、人の目には認識されなくなる。その結果、画質劣化を防止することができる。
[0032] 逆量子化'逆変換部 130、カロ算器 135、デブロックフィルタ 137は、抑制部 300から 出力される抑制後の量子化係数ブロックを局所的に (つまり、動画符号ィ匕装置 100の 内部で)復号ィ匕する。
[0033] メモリ 140は、局所的に復号された画素ブロックを格納する。これにより参照用のピ クチャが再構成される。
[0034] イントラ予測部 150は、イントラピクチャ (Iピクチャ)用の予測画像を生成する。
[0035] 動き補償予測部 160は、動き予測部 170からの動きベクトルに従って、インターピク チヤ (Pピクチャまたは Bピクチャ)用の予測画像を生成する。
[0036] 動き予測部 170は、参照ピクチヤに対する符号ィ匕対象ブロックの動きを検出し、動 きベクトルを出力する。
[0037] スィッチ 180は、イントラ予測部 150からの予測画像または動きネ ΐ償予測部 160か らの予測画像を選択的に減算器 110に出力するためのスィッチである。
[0038] エントロピー符号ィ匕部 190は、抑制部 300から出力される抑制後の量子化係数ブ ロックを可変長符号に符号ィ匕する。抑制後の量子化係数ブロックは、選択された量子 ィ匕係数 (サブセット内量子化係数）と、サブセット外のゼロに抑制された量子化係数と を含む。可変長符号化では、抑制後の量子化係数ブロック中の量子化係数を走査（ 例えばジグザグ走査)することによって 1次元の量子化係数の列に変換し、さらに、量 子化係数の列カゝら (0ラン長、レベル)の組を順に抽出する。抽出された (0ラン長、レ ベル)の組は、 1つの可変長符号に符号化される。それゆえ、抑制後の量子化係数 ブロックは、ゼロを多く含むので、（0ラン長、レベル）の組の数が少なくなり、可変長符 号の数も少なくなる。このようにして、可変長符号の符号量を削減することができる。
[0039] 図 2は、動画像復号ィ匕装置の構成を示すブロック図である。同図において、動画復 号化装置 200は、エントロピー復号ィ匕部 210、逆量子化 ·逆変換部 220、加算器 230 、デブロックフィルタ 240、メモリ 250、イントラ予測部 260、動き補償予測部 270を備 える。この動画復号ィ匕装置 200は、従来技術における動画復号化装置と同じでよい 。なぜなら、動画符号ィ匕装置 100から伝送される符号列力も得られるブロック内の量 子化変換係数の数は 1つも削減されていないからである。
[0040] 動画復号ィ匕装置 200を簡単に説明する。エントロピー復号ィ匕部 210は、動画符号 化装置 100からの符号列 (ビットストリーム）を可変長復号ィ匕する。これにより、量子化 変換係数ブロックと、動きベクトルなどが得られる。量子化変換係数ブロックは、逆量 子化 ·逆変換手段 220に送られ、動きベクトルは動き補償予測手段 270に送られる。 量子化係数ブロックは、逆量子化 ·逆変換手段 220によって、逆量子化され、されに 逆直交変換される。これにより、予測残差ブロックが得られる。予測残差ブロックは、ィ ンター予測モードの場合、動き補償予測手段 270からの予測画像に加算され、イント ラ測モードの場合、イントラ予測部 260からの予測画像に加算される。これにより、画 素ブロックが再構成される。この画素ブロックは、デブロックフィルタ 240によりフィルタ リングされた後、参照ピクチヤの一部としてメモリ 250に格納される。
[0041] 図 5は、抑制部 300による選択および抑制の様子を示す説明図である。同図では、 抑制部 300の前後のエレメントと、抑制部 300に入力される量子化変換係数ブロック と、抑制部 300から出力される抑制後の量子化変換係数ブロックとを図示している。
[0042] 抑制部 300に入力される量子化変換係数ブロックは、 4 X 4のセグメントからなる。こ こでセグメントは、 1つの量子化係数または複数 (4 X 4等）の量子化係数力 なる。量 子化変換係数ブロックの左上は最も周波数の低 ヽ（直流成分の）量子化変換係数で ある。量子化変換係数ブロック中の右にいくほど、水平方向の周波数 fxが高くなる。 また、量子化変換係数ブロック中の下にいくほど、水平方向の周波数 fyが高くなる。
[0043] 抑制部 300から出力される量子化変換係数ブロックは、ノ、ツチングされているサブ セットと、それ以外とに分けて図示されている。このサブセットは、低周波数のセグメン ト LFと、高周波数のセグメント 8とを含む。図中の 1〜12は、セグメントに付与されたセ グメント番号を表している。
[0044] 人の目の感度は、低周波数の変化には敏感で、高周波数の変化には鈍感になる。 それゆえ、セグメント LFは、サブセットに含めることが望ましい。さらに、サブセットの 変更は、セグメント LFを必須にし、高周波のセグメントのみ変更することが望ましい。
[0045] 図 6Aは、サブセットの変更例を示す図である。同図ではピクチャ毎にサブセットを 変更する例を示している。ピクチャ flのサブセットは、セグメント LFおよびセグメント 6 からなる（LF+6と表記する）。ピクチャ f 2のサブセットは（LF+ 7)であり、ピクチャ f3 のサブセットは（LF + 8)である。
[0046] このように図 6Aの例では、サブセットは（LF+N)である。この Nは、例えば、ピクチ ャの符号ィ匕が完了する毎に 1ずつインクリメントされる。ただし N= 12の次は N= lに 戻る。こうすれば、極めて単純な規則でサブセットをピクチャ毎に効果的に変更する ことができる。なお、セグメントの番号は、図 6Aに限らす、所望の周波数の順にするこ とができる。例えば、水平方向の高周波数と、垂直方向の高周波数とが交互になる 順にしてもよい。また、ランダムな順にしてもよい。
[0047] 図 6Bは、サブセットの別の変更例を示す図である。この例では、この例では、サブ セット内のセグメント LF以外のセグメントは、セグメント内の量子化係数の平均がしき い値以上のセグメントから選択される。ピクチャ flのサブセットは (LF + 7)である。こ の場合、セグメント 7の量子ィ匕係数の平均がしきい値以上である。ピクチャ f 2のサブセ ットは (LF+ 2+4)である。この場合、セグメント 2の量子ィ匕係数の平均がしきい値以 上であり、セグメント 4の量子ィ匕係数の平均がしきい値以上である。ピクチャ f 3のサブ セットは（LF + 9 + 12)である。この場合、セグメント 9の量子化係数の平均がしきい 値以上であり、セグメント 2の量子ィ匕係数の平均がしきい値以上である。
[0048] この例では、サブセット内の高周波セグメントの量子化係数の平均がしきい値以上 なので、画像への影響が大きいセグメントを積極的にサブセットに含めることになる。 これにより画質劣化を抑えることができる。このように、ピクチャの画像内容に応じてサ ブセットを適応的に決定するようにしてもよい。
[0049] 図 7は、動画符号ィ匕装置 100の動作を示すフローチャートを示す図である。同図の ように、動画符号ィ匕装置 100は、符号ィ匕対象のピクチャを複数のブロックに分割し (ス テツプ S10)、サブセットの配置を設定または変更する（S15)。さらに、以下の処理を ブロック毎に行う。変換 ·量子化部 120は、予測誤差ブロックを変換係数ブロックに変 換し (ステップ S 20)、さらに、量子化する (ステップ S30)。
[0050] さらに、抑制部 300は、量子化変換係数ブロックから、サブセットに属する量子化変 換係数を選択し、さらに、サブセットに属さない量子化変換係数をゼロに抑制する (ス テツプ S40)。エントロピー符号ィ匕部 190は、選択された量子化変換係数と、ゼロに抑 制された量子化変換係数とを、可変長符号に符号化する (ステップ S50)。
[0051] 以上説明してきたように本実施の形態における動画像符号ィ匕装置は、サブセットに 属する量子化係数を選択し、選択された量子化係数を可変長符号に符号化するの で、高いデータ圧縮率を実現することができる。また、動画像符号化装置は、ブロック 中のサブセットの配置を例えばピクチャ単位やブロック単位で変更するので、選択さ れな力つた量子化係数の欠落に起因するピクチャの画質劣化を防止することができ る。このように、高いデータ圧縮率を実現し、し力も画質劣化を防止することができる。
[0052] なお、上記サブセットの位置は、ブロック内でなくてもよぐピクチャ内の予め定めら れた数の予め決められた周波数成分をサブセットの位置としてもよい。これによつても 、達成される高圧縮率と画質劣化とのトレード 'オフを、簡単な方法で適切に設定す ることがでさる。
[0053] また、サブセット内のセグメントは、予め決められた周波数順によつて変更してもよい 。このようにして特定の周波数順を適切に選択することにより、得られる画像の画質の 劣化を制御し最低限にとどめることができる。
[0054] また、サブセットの位置は、フレームごとに、またはフレーム内の画像エリアごとに変 更してもよい。例えば、ブロックのピクチャ中の位置に応じて変更してもよい。このよう にして、サブセットの位置を動的に変更することを、簡単な方法で実施することができ る。
[0055] また、サブセットの位置は、予め定められた周波数のシーケンスにしたがって変更し てもよい。したがって、周波数の変更を簡単な方法で達成することができる。
[0056] また、連続的に変更される所定数のサブセットの位置には、全ての周波数を含むよ うにしてもよい。これにより、ある時間内に少なくとも一度はすべての周波数成分が画 質に寄与することになる。また、連続的に変更される所定数のサブセットの位置には 、重要な周波数成分を含むようにしてもよい。 [0057] また、サブセットの位置は、動画像の内容 (例えば、映画、ニュース、野球、サッカー 、ドラマ、アニメ、音楽番組、ゲーム、 CM等)に応じて適応的に定めてもよい。
[0058] また、本実施の形態においては、変換 ·量子化部 120において、周波数変換と量 子化の処理を施した後、抑圧部 300にお ヽて量子化係数を抑圧する方法につ!ヽて 説明したが、これは周波数変換後の周波数変換係数を抑圧し、その後量子化処理 を施しても良ぐ本実施の形態と全く同じ効果を得ることができる。
[0059] また、本実施の形態においては、 1フレーム (ピクチャ）をブロックに分割し、ブロック を 1符号ィ匕単位として周波数変換、量子化、抑圧、エントロピー符号ィ匕等の処理を施 す場合について説明した力 これは 1フレーム (ピクチャ）を分割することなく 1ブロック と扱い、当該ブロックを 1符号ィ匕単位として符号ィ匕しても良ぐ本実施の形態と全く同 じ効果を得ることができる。
[0060] また、本実施の形態においては、抑圧部 300において量子化係数を強制的に抑圧 する方法について説明したが、これは変換 ·量子化部 120で実施する量子化処理に おいて用いる量子化マトリクスを操作することにより、ほぼ同様の効果を得ることがで きる。具体的には、抑圧したい周波数成分に対する量子化マトリクス値を大きな値 (例 えば、量子化マトリクス値が取りうる値の最大値）にすれば良い。これにより、量子化 係数は必ずしも 0にはならないため、効果は本実施の形態よりも若干劣る。しかし、量 子化係数の絶対値は 0近傍の値となるため、本実施の形態とほぼ同様の効果を得る ことができる。またこの場合には、抑圧部 300での処理は不要となる。
[0061] (実施の形態 2)
実施の形態 1では、サブセット内の量子化係数を選択し、サブセット外の量子化係 数をゼロに抑圧する動画像符号ィ匕装置について説明した。これに対して本実施の形 態では、サブセット外の量子化係数を可変長符号ィ匕の対象から除外し、サブセット内 の量子化係数のみを可変長符号に符号化する動画像符号化装置について説明す る。この場合、画像復号ィ匕装置はサブセットの位置を判定できないと復号ィ匕できない ので、本実施の形態では、さらに、画像符号化装置から画像復号化装置にブロック 内のサブセットの位置を知らせる構成についても説明する。
[0062] 図 8は、実施の形態 2における動画符号ィ匕装置 101の構成を示すブロック図である 。同図の動画符号ィ匕装置 101の構成は、図 1と比較して、抑制部 300の代わりに抑 制部 301および埋め込み部 302を備える点が異なっている。同じ構成要素には同じ 符号を付けているので説明を省略し、以下異なる点を中心に説明する。
[0063] 抑制部 301は、変換 ·量子化部 120からの量子化係数ブロックから、サブセットに属 する量子化係数を選択する。具体的には、抑制部 301は、量子化係数ブロック内の 複数の量子化係数を順に走査し、走査された量子化係数がサブセットに属する場合 はその量子化係数をエントロピー符号ィ匕部 190に出力し、走査された量子化係数が サブセットに属さない場合はその量子化係数をエントロピー符号ィ匕部 190に出力しな い。その結果、エントロピー符号ィ匕部 190は、サブセット外の量子化係数を可変長符 号ィ匕の対象力 除外し、サブセット内の量子化係数のみを可変長符号に符号ィ匕する ことになる。
[0064] 埋め込み部 302は、ブロック中のサブセットの配置を特定する配置データを量子化 マトリクスに埋め込む。配置データが埋め込まれた量子化マトリクスは、エントロピー 符号化部 190により符号化され、動画復号化装置に伝送される。動画復号化装置は 、量子化マトリクス力 配置データを抽出することにより、サブセットの位置を判断する ことができる。
[0065] 図 9は、動画像復号ィ匕装置 201の構成を示すブロック図である。同図の動画復号 化装置 201の構成は、図 2と比較して、配置データ抽出部 902とゼロ挿入部 901とが 追加された点とが異なっている。同じ構成要素には同じ符号をつけているので説明 を省略し、以下異なる点を中心に説明する。
[0066] 配置データ抽出部 902は、エントロピー復号ィ匕部 210によって復号ィ匕された量子 化マトリクスから配置データ抽出する。
[0067] ゼロ揷入部 901は、配置データ抽出部 902からの配置データに従ってブロック内の サブセットの配置を判定し、エントロピー復号ィ匕部 210からの復号ィ匕量子化係数をブ ロック中のサブセットの位置に配置し、ブロック中のサブセット以外の位置に量子化係 数として所定の値 (ゼロ）を配置する。
[0068] 図 10は、抑制部 301における量子ィ匕係数ブロックのスキャンを示す説明図である。
同図は、 8 X 8の量子化係数ブロックを示す。ノヽツチング部分はサブセットを示す。一 般に、量子化係数ブロック内の量子化係数は、非ゼロ係数とゼロ係数の 2種類に分 類される。本発明では、さらに、異なる観点から量子化係数ブロック内の量子化係数 は、定型ゼロ係数と非定型係数の 2種類に分類される。
[0069] ここで、定型ゼロ係数とは、サブセットに属さない量子ィ匕係数である。定型ゼロ係数 は、動画復号化装置 201のゼロ揷入部 901によってブロック中のサブセット外の位置 に定型的にゼロに設定される係数を意味する。動画復号ィ匕装置 201内では全ての 定型ゼロ係数はゼロ係数である。また、動画符号化装置 101では、定型ゼロ係数は、 抑制部 301による走査でスキップされる係数であり、エントロピー符号ィ匕部 190により 符号化対象から除外される係数を意味する。動画符号化装置 101内では定型ゼロ 係数は、符号化対象から除外されるので、その値は意味を有しない。また、実施の形 態 1の動画符号化装置 100では、定型ゼロ係数は、抑制部 300によって選択されず にゼロに抑制された量子化係数をいう。動画符号化装置 100内では、全ての定型ゼ 口係数はゼロ係数である（ゼロに抑制される)。
[0070] また、非定型係数とは、定型ゼロ係数以外の量子化係数であり、つまりサブセットに 属する量子化係数をいう。非定型係数は、非ゼロ係数またはゼロ係数である。
[0071] 図 10のように抑制部 301は、量子化係数ブロックの走査において、サブセットに属 する量子化係数 (非定型係数)のみを選択し、サブセットに属さな ヽ量子化係数 (定 型ゼロ係数)をスキップする。同図のジグザグスキャンにおける実線部分は走査にお V、て選択されることを意味し、破線部分は走査にぉ 、てスキップされることを意味する
[0072] 図 11は、抑制部 301におけるスキャン動作の変形例を示す説明図である。同図左 側に示すように抑制部 301は、サブセットに属する量子化係数を走査順で飛ばない 位置に並び替える。図では、高周波セグメント内の 4つの量子ィ匕係数を低周波セグメ ントに隣接する位置に並び替えている。同図右側は、抑制部 301による、並び替え後 の走査を示している。このように並び替えにより走査におけるスキップをなくすことが できる。つまり、個々の量子化係数がサブセット内力否かを判定しながら走査する必 要がなくなるので、走査を単純ィ匕し高速ィ匕することができる。
[0073] 次に、埋め込み部 302による、量子化マトリクスへの配置データの埋め込みについ て説明する。
[0074] 図 12Aは、配置データ埋め込み前の量子化マトリクスの一例を示す図である。同図 では H.264ZMPEG4—AVC規格で用いられるデフォルト量子化マトリクス 800を 示している。 8x8量子化マトリクスは 64の量子化値より構成される。各値は対応する 変換係数の量子化に用いられる量子化値である。変換係数ブロック内の各変換係数 は、対応する量子化値で除算され、その結果の整数部分が量子化変換係数となる。 量子化値が大きければ、変換係数の量子化は粗くなる。量子化値は量子化マトリクス の左上力も右下に向力つて大きくなる。よって、高周波数領域の変換係数は、低周波 数領域に比べて粗!、量子化が行われる。
[0075] 図 12Bは、配置データ埋め込み後の量子化マトリクスの一例を示す図である。同図 では 8 X 8の量子化マトリクス 801を示している。ハッチングされたセグメント 810、 82 0はサブセットの位置を示す。セグメント 810、 820内の各値は、量子化値である。一 方、ノ、ツチングされていない部分には配置データが埋め込まれている。ハッチングさ れていない部分の各値「255」は、量子化値を意味するのではなぐ量子化変換係数 ブロックの対応する位置がサブセット外であることを意味する特別な値であり、言 ヽ換 えれば、量子化変換係数ブロック中の定型ゼロ係数の位置を示している。このように 量子化マトリクスに埋め込まれた配置データは、直接的には量子化変換係数ブロック 内の全ての定型ゼロ係数の位置を示し、間接的には量子化変換係数ブロック内の非 定型係数の位置（サブセットの配置）を示して 、る。
[0076] このように量子化マトリクスに配置データを埋め込むことにより、動画復号化装置 20 1の配置データ抽出部 902は、配置データを量子化マトリクス力 容易に抽出するこ とがでさる。
[0077] 図 13は、動画符号ィ匕装置 101の動作を示すフローチャートを示す図である。同図 は、図 7と比べて、ステップ S40の代わりにステップ S41、 S42が追加されている点が 異なっている。同じ点は説明を省略して異なる点について説明する。
[0078] 抑制部 301は、変換.量子化部 120からの量子化係数ブロックに対して、サブセット に属する量子化係数 (非定型係数)のみを選択し、サブセットに属さない量子化係数 (定型ゼロ係数）をスキップする（ステップ S41)。これにより、サブセット外の定型ゼロ 係数は走査および符号ィ匕の対象力 除外され、符号ィ匕効率を向上させる。さらに、 埋め込み部 302は、ブロック中のサブセットの配置を特定する配置データを量子化マ トリタスに埋め込む (ステップ S42)。配置データを量子化マトリクスに埋め込むことに よって、動画復号ィ匕装置にブロック中のサブセットの配置（より正確にはサブセットで ない部分の位置、つまり定型ゼロ係数の位置）をシグナリングすることができる。
[0079] 図 14は、動画符号化装置と動画復号化装置の間のシグナリングを示す模式図であ る。図中のユニット 910は、動画符号ィ匕装置 101における、変換 ·量子化部 120のう ちの量子化する部分、抑制部 301、埋め込み部 302およびエントロピー符号ィ匕部 19 0に相当する。ユニット 940は、動画復号ィ匕装置 201における、エントロピー復号ィ匕部 210、ゼロ挿入部 901、配置データ抽出部 902および逆量子化'逆変換部 220に相 当する。定型ゼロ係数の位置を示す配置データは、量子化マトリクスに埋め込まれる ので、量子化マトリクスと共に動画復号ィ匕装置 201にシグナリングされる。このシグナ リングは、シーケンス、ピクチャ、フレーム、フィーノレド、スライス、マクロブロック、又は 所定数のブロック毎に行われる。シグナリングされた配置データに基づいて、動画復 号ィ匕装置 201は動画符号ィ匕装置 101が用いたサブセットの走査を再構築し、変換係 数に復号化する。
[0080] 同図では、定型ゼロ係数の位置を知らせるために量子化マトリクス（Q-matrix)が用 いられている。量子化マトリクスは、量子化に用いられる量子化値を変換係数 900ご とに特定する。量子化マトリクス中の特別な値 (例えば 255)は、それに対応する変換 係数が定型ゼロ係数であることを意味する。その結果、この変換係数には、動画符号 化装置 101において走査も符号化も行われない。量子化マトリクスは、他のピクチャ 情報データと共に動画像復号ィ匕装置に送信される。 H. 264/MPEG4— AVC規格 によると、量子化マトリクスは画像レベルで変更することができる。量子化マトリクスが 6 4個の 8ビット値で構成されることを示す scaling— matrix— present— flagが設定される 。ユニット 940は、走査も符号化も行われな力つた変換係数 900を、量子化マトリクス 930を用いて判定し、ユニット 910によって行われたサブセットの有効な走査を再構 築する。よって、動画像復号化装置有効な走査を行い、サブセット 920内の変換係 数を復号化し、完全なセット 950の復号ィ匕済み変換係数を生成する。 [0081] 図 14に示される動作は、ある画像領域を符号ィ匕するために用いられた空間周波数 を制限するために用いることも可能である。これは、除外対象となる変換係数に対応 する量子化マトリクス内の要素を特別な値 (例えば、 255)に明示的に設定することで 実現可能である。除外された変換係数は、このように定型ゼロ係数としてマークされ、 走査も符号化も行われない。このようにして、符号化対象となるデータの量がさらに低 減され、符号化効率が改善される。
[0082] 上記方法は、ビデオ画像を符号化するために実際に用いられた変換係数のサブセ ットのみを符号ィ匕する。よって、サブセットは画像内容に応じて適宜、又は変換ステツ プの結果に応じて設定することも可能である。例えば、同一フレーム内の、又は先行 するフレーム間のすでに符号ィ匕された画像領域を変換した結果に応じてサブセット を設定してもよい。また、サブセットは変換係数で構成されるサブセットからなる所定 のシーケンスに応じて変更することも可能である。サブセットの変更は、例えば、シー ケンス毎、ピクチャ毎、スライス毎、又はマクロブロック毎に行うことができる。
[0083] 図 15は、動画復号ィ匕装置の動作を示すフローチャートを示す図である。同図にお いて、エントロピー復号ィ匕部 210は、動画符号化装置 101からの可変長符号列（ビッ トストリーム）を、サブセット内の変換係数に復号ィ匕し、量子化マトリクスに復号ィ匕する（ ステップ S110)。配置データ抽出部 902は、復号ィ匕された量子化マトリクス力も配置 データを抽出し、配置データ力もブロック中のサブセットの配置（または定型ゼロ係数 の位置）を判定する（ステップ S 115)。さらに 901は、ブロック中のサブセットの位置に 復号ィ匕量子化係数を配置し、ブロック中のサブセット外の位置に量子化係数として所 定の値ゼロを挿入する（ステップ S120)。これにより、ブロック内の量子化変換係数ブ ロックのフルセットが得られる。さらに、逆量子化'逆変換部 220は、量子化変換係数 ブロックを、逆量子化することにより変換係数ブロックを生成し (ステップ S130)、変換 係数ブロックを逆直交変換する (ステップ S140)。これにより予測残差ブロックが得ら れる。さらに加算器 230は、予測残差ブロックと予測画像とを加算することにより画素 ブロックを再構成する (ステップ S150)。再構成されたブロックカゝらなるピクチャは表 示されるか、又は、記録媒体に記録される。
[0084] 以上説明してきたように本実施の形態の画像符号ィ匕装置 101は、画素データを周 波数領域に変換した後、所定のサブセットに含まれる変換係数のみを走査し、符号 化する。これにより、さらに高いデータ圧縮率を実現することができる。また、定型ゼロ 係数の位置に関する配置データを量子化マトリックスに埋め込む。また、動画像符号 化装置 201は、ブロック中のサブセットの配置を変更するので、選択されなかった量 子化係数の欠落に起因するピクチャの画質劣化を防止することができる。さらに、動 画復号ィ匕装置 201は、定型ゼロ係数の位置に関する情報が量子化マトリックスから 抽出し、所定のサブセット内に含まれる量子化変換係数と、ブロック中のサブセット外 の定型ゼロ係数の位置にゼロを挿入する。これにより、ブロック中のサブセット内およ びサブセット外の全ての変換係数を復号ィ匕する。ビットストリームに含まれて 、な ヽ定 型ゼロ係数を正しい位置に挿入し、適切に復号ィ匕することができる。
[0085] (実施の形態 3)
実施の形態 2では、サブセット外の量子化係数を可変長符号ィ匕の対象力 除外し、 サブセット内の量子化係数のみを可変長符号に符号ィ匕し、また、サブセットの位置を 示す配置データを量子化マトリクスに埋め込む動画像符号ィ匕装置について説明した 。これに対して、本実施の形態では、配置データを量子化係数に埋め込まないで、 符号列 (ビットストリーム）中に符号ィ匕する動画像符号ィ匕装置について説明する。
[0086] 図 16は、本実施の形態における動画符号化装置 102の構成を示すブロック図であ る。同図は、図 8と比較して、抑制部 301および埋め込み部 302の代わりに抑制部 30 3および配置データ生成部 304を備える点と、エントロピー符号ィ匕部 190の代わりに エントロピー符号ィ匕部 191を備える点とが異なっている。同じ構成要素には同じ符号 をつけているので説明を省略し、以下異なる点を中心に説明する。
[0087] 抑制部 303は、図 11で示した並び替えの後に量子ィ匕係数ブロック内の複数の量子 ィ匕係数を順に走査する。これ以外は抑制部 301と同じである。
[0088] 配置データ生成部 304は、ブロック中のサブセットの配置を特定する配置データを 生成する。配置データは、エントロピー符号ィ匕部 190により符号ィ匕され、動画復号ィ匕 装置に伝送される。
[0089] エントロピー符号ィ匕部 191は、エントロピー符号ィ匕部 190の機能に加えて、配置デ ータ生成部 304により生成された配置データを符号化する。 [0090] 図 17は、動画像復号ィ匕装置 202の構成を示すブロック図である。同図は、図 9と比 較して、配置データ抽出部 902の代わりに配置データ復号ィ匕部 903を備える点が異 なっている。同じ構成要素には同じ符号をつけているので説明を省略し、以下異なる 点を中心に説明する。
[0091] 配置データ復号ィ匕部 903は、エントロピー復号ィ匕部 210から得られる符号ィ匕された 配置データを配置データに復号化する。
[0092] 図 18は、動画符号ィ匕装置 102の動作を示すフローチャートを示す図である。同図 は、図 3と比べて、ステップ S42の代わりにステップ S43を有する点と、ステップ S51 の代わりにステップ S52を有する点とが異なる。同じ点は説明を省略して異なる点に ついて説明する。また、ステップ S43において、配置データ生成部 304は、量子化変 換係数ブロック内のサブセットの配置を示す葉位置データを生成する。
[0093] 図 19は、動画符号化装置 102と動画復号化装置 202の間のシグナリングを示す模 式図である。図中のユニット 710は、動画符号ィ匕装置 102における動画符号ィ匕装置 102の量子化、抑制部 303およびエントロピー符号ィ匕部 191に相当する。ユニット 76 0は、動画符号ィ匕装置 102における配置データ生成部 304に相当する。
[0094] また、ユニット 740は、動画復号ィ匕装置 201における、エントロピー復号ィ匕部 210、 901および逆量子化'逆変換部 220に相当する。ユニット 780は、動画復号化装置 2 01における配置データ復号ィ匕部 903に相当する。
[0095] 配置データは、符号化情報 770に含まれ、ユニット 760からユニット 780にシグナリ ングされる。
[0096] このようなシグナリングは、明示的又は暗示的に行うことができる。明示的シグナリン グは、同図のように、配置データを符号ィ匕情報に含め、符号化済みビデオデータを 示すビットストリーム中に符号ィ匕情報を符号ィ匕することによる。ところで、配置データ は、定型ゼロ係数の配置が変化した場合にのみ送信すれば十分である。よって、定 型ゼロ係数の配置を連続する複数ブロックにお 、て一定に保つことは、必要な格納 容量又は送信帯域を最適化することに有用である。例えば、明示的シグナリングは、 シーケンス、ピクチャ、フレーム、フィールド、ブロック又はその所定番号ごとに行われ てもよい。 [0097] なお、暗示的シグナリングは、実施の形態 2で説明した。この場合、ビットストリーム に新たに追加される情報は全くな 、。
[0098] なお、量子化変換係数を定型ゼロ係数及び非定型係数に分割するための方法 (サ ブセットの変更方法）は、予め複数のサブセットの順序を示すシーケンスとして予め定 めてもよい。このようなシーケンスは、例えばフレーム、スライス又はブロック等を符号 ィ匕するために、個々に用いられる分割パターン（segmentation pattern)からなる。そ れぞれの分割パターンは、ブロック内の定型ゼロ係数の位置および非定型係数の位 置を示すサブセットの配置を定義する。また、そのようなシーケンスの開始は、当該ピ クチャの種別によって定義されてもよい。例えば、 Iフレームの送信によって、シーケン スは自動的に再始動されてもよい。一方、シーケンスの再始動は、当該フレーム、ス ライス、又はブロック等のヘッダにおいてリセットフラグを設定することによって明示的 にシグナリングされてもよい。このように、符号ィ匕によってシーン変化を説明することが できる。
[0099] さらに、フレーム、スライス、ブロック等を符号ィ匕するために個々に用いられる分割パ ターン力 なる特定のシーケンスは、例えばシーケンスパラメータヘッダにおいて、動 画像符号ィ匕装置カゝら動画像復号ィ匕装置へ明示的に送信されてもよい。当該ブロック を符号ィ匕するために用いられた分割パターンは、次に、例えばピクチャ単位で、暗示 的に切り替えられる。この方法は、マルチパス符号ィ匕において特に有用である。例え ば、第 1パスにおいてシーンの周波数が解析され、第 2パスにおいてシーンの周波数 に適用的に分割パターンが決定さえるようにすることができる。
[0100] 次に、配置データ生成部 304により生成される配置データについて説明する。
[0101] 図 20は、セグメント番号により配置データを表現する説明図である。同図では、量 子化変換係数ブロックを、 0〜 12の数で示される複数のセグメントに分割する例を示 す。それぞれのセグメントは、非定型係数を含むかどうかによつて、アクティブ (active )又はイナクティブ (inactive)に区別される。アクティブなセグメントのみがスキャンされ 、符号化される。
[0102] 配置データはこのアクティブセグメントを示し、例えばアクティブセグメントは、ァクテ イブセグメントの識別子によってシグナリングされる。同図の例において、セグメント 0 とセグメント 7のみがアクティブである。この情報は、動画復号化装置 202に明示的又 は暗示的にシグナリングが可能である。明示的シグナリングは、アクティブ又はイナク ティブセグメントを列挙する専用のコード文字を用いてもよい。一方、これらのコード 文字は、アクティブセグメントの識別子であってもよい。例えば、図 8に示されるセグメ ンテーシヨンはセグメンテーション識別子 1、もう一つをセグメンテーション識別子 2等 としてちよい。
[0103] なお、明示的および暗示的シグナリングは、アクティブセグメント又はセグメントの特 定の組み合わせがアクティブであるという条件の特定の順序を特定するプロトコルに 基づいていてもよい。これらの条件は、当該フレーム又はブロック、画像コンテンツ等 の数に応じて決められてもよい。例えば、セグメント 0、 1、 · · ·、 12は、それぞれ連続 するブロック、マクロブロック、スライス、フィールド、フレーム等に適用されるようにして もよい。アクティブセグメントの特定の組み合わせは、 nフレームごとに適用されるべき であると定義してもよい。ここで、 n- 1の異なる組み合わせの組 (n- 1 other combinatio ns)はそれぞれ n-1フレームに適用されなければならない。上記どちらの場合におい ても、アクティブ又はイナクティブに関する追加情報を送信する必要はな 、。
[0104] 図 21Aは、ビットマップデータにより配置データを表現する説明図である。同図にお いて、太線枠は、非定型係数の位置を示すアクティブセグメントを示す。アクティブセ グメントに対応する非定型係数は、走査および符号ィ匕の対象になる。同図のように配 置データは、アクティブセグメントに対応するビットマップデータとして表現することが できる。より具体的なビットマップデータの例を図 21Bに示す。同図では、セグメント 毎にアクティブであるか否か (非定型係数であるか定型ゼロ係数である力 )を示すセ グメンテーションビットマップデータを示す。 1つのセグメントは 1つの係数に対応する 。これにより、ブロック内のサブセットの配置をしめすために、ブロック内の非定型係数 および定型ゼロ係数の位置を容易に表現することができ、配置データを容易に生成 することができる。
[0105] なお、 1つのセグメントは、隣接する複数の係数に対応してもよい。
[0106] また、図 21Bに示されるセグメンテーションビットマップにマップ番号 1を付与し、別 のセグメンテーションビットマップにマップ番号 2を付与する等としてもよ!/、。この場合 、動画符号化装置 102から動画復号化装置 202に、予め各セグメンテーションビット マップマップを通知しておき、サブセットの変更時にマップ番号を通知するようにして ちょい。
[0107] 図 22は、動画復号ィ匕装置の動作を示すフローチャートを示す図である。同図は、 図 15と比べて、ステップ S 115の代わりにステップ S 116を有する点が異なって!/、る。 同じ点は説明を省略して異なる点を中心に説明する。 S116において、配置データ 抽出部 902は、エントロピー復号ィ匕部 210からの符号ィ匕配置データを配置データに 複合化する。配置データは、図 20のようにセグメント識別子で表現される。あるいは、 図 21Bのようにセグメンテーションビットマップデータで表現されて!、てもよ!/、。
[0108] 以上説明してきたように、本実施の形態の動画像符号化装置は、サブセット外の量 子化係数を可変長符号ィ匕の対象力 除外し、サブセット内の量子化係数のみを可変 長符号に符号化し、また、サブセットの位置を示す配置データを生成し、配置データ を符号列 (ビットストリーム）中に符号化する。
[0109] なお、上記実施の形態 1〜3における変形例のいくつかについて説明する。
[0110] 上記変換係数のサブセットの配置は、予め定められたシーケンスに応じて変更して もよい。また、サブセットの配置は、予め定められたシーケンスに応じてフレームごと、 フィールドごと、もしくは画像領域ごとに変更してもよい。よって、動画符号化装置お および動画復号ィ匕装置がともに予め定められたシーケンスに従ってサブセットを変更 することにより、追加のシグナリング情報を動画復号ィ匕装置動画像復号ィ匕装置に送 信する必要がないため、符号ィ匕効率を最大化することができる。
[0111] 上記サブセットの配置を変更するシーケンスは、動画像復号化装置ヘシダナリング してもよい。よって、動画像符号化装置は、特定のシーケンスを選択し、その選択結 果を動画像復号化装置へ通知してもよい。よって、動画像復号化装置は、符号化済 みビデオデータを復号ィ匕することができる。
[0112] 上記サブセットの配置を変更するシーケンスの再始動の指示を、動画像復号化装 置ヘシダナリングしてもよい。このようにして、動画像復号化装置は、画像特性 (プロ パティ）の突然の変化にも対応することができる。
[0113] 上記サブセットの配置を変更するシーケンスは、所定の種別のフレームが符号ィ匕又 は復号ィ匕される度に再始動してもよい。このようにして、 Iフレーム等のフレーム種別 情報を、シーケンスの再始動を暗示的にシグナリングするために用いることができる。
[0114] 上記サブセット内の変換係数の並び替え方法を示す情報を、動画像復号化装置 ヘシダナリングしてもよい。この情報は、変換係数及び変換係数がビデオデータにお いて符号化された順番を定義してもよい。このことは、動画像符号ィ匕装置によって用 いられた有効なスキャンをするために、動画像復号化装置が、変換係数のサブセット を特定し、復号ィ匕済みビデオデータを復号ィ匕することを可能にする。
[0115] 上記配置データは、変換係数の所定のサブセットの一部、又は一部でない変換係 数の列挙カゝらなることが好ましい。よって、動画像復号化装置は、動画像符号化装置 によって用いられた有効スキャンを容易に再構築し、符号化済みビデオデータを復 号ィ匕することができる。
[0116] 上記配置データは、予め定められた複数のサブセットのうちの一つサブセットを特 定するようにしてもよい。このように、配置データは一つの番号力 なってもよい。予め 定められた複数のサブセットは、動画符号化装置および動画復号化装置内に共に 予め設定しておいてもよいし、動画符号化装置から動画復号化装置にシグナリング してちよい。
[0117] 上記配置データのシグナリングは、変換係数の所定のサブセットが変更される度に おこなわれることが好ましい。このことは、動画像復号化装置が、動画像符号化装置 によって用いられた変換係数に即応することを可能にする。
[0118] 上記配置データのシグナリングは、少なくとも 2つの画像領域に対して 1回、もしくは 所定のピクチャ、フレーム、フィールド、スライス、マクロブロック、又はブロックの数に 対して 1回行われることが好ましい。よって、符号ィ匕効率におけるゲインを、変換係数 の同一の所定のサブセットを繰り返し適用することによって最大化することができる。
[0119] 上記配置データは、ビデオデータにおいて符号ィ匕してもよい。このように、配置デ ータを、動画像復号化装置へ最も容易に送信することができる。
[0120] 上記変換係数のサブセットの配置は、画像領域の画像コンテンツ、隣接する画像 領域の画像コンテンツ、又は先行するフレームにおける画像領域の画像コンテンツ に適応して設定してもよい。このように、動画像復号化装置は、ビデオデータを符号 化するために用いられた周波数のセットを最適化することができる。
[0121] 変換係数のサブセットの配置は、変換又は量子化ステップの結果力 得られる既知 の情報に基づいて設定してもよい。また、上記サブセットの配置は、非ゼロ係数をで きるだけ多く含むことが好ましい。よって、符号ィ匕済みデータにおける冗長性を削減 し、符号ィ匕効率を高めることができる。
[0122] 画像領域は画素ブロックであり、画像は同一サイズの複数のブロックに分割してもよ い。よって、復号化済み画像領域から画像を復号化しアセンブルする際に、画像を 画像領域に分割することが簡略化される。
[0123] 上記サブセットの配置は、各画像エリアの画像内容に適応させることが好ましい。例 えば、画像内容にもっとも寄与する周波数をサブセットに含めればよい。その結果、 符号ィ匕するデータの量を増やすことなぐ復号画像の画質を改善することができる。
[0124] 上記サブセットの配置は、ノン'ゼロ変換係数の存在やサイズに適応するよう設定し てもよい。したがって、周波数領域における画像表現にもっとも寄与する周波数成分 に基づいて選択する。このようにして簡単な方法で、画質を制御することができる。
[0125] 上記サブセットの配置における、低周波数と高周波数の割合は、各画像エリアの変 換係数の周波数の特徴次第で適応的に設定してもよい。低周波数部分を強制的に 伝送し、低周波数と高周波数の寄与を適応的に設定することによって、簡単かつ効 果的な方法で画質を制御することができる。
[0126] 上記サブセットの配置は、予め定められた閾値を超えるひとつの周波数のみを、予 め決められた周波数として設定してもよい。それゆえ、重要な周波数成分を、簡単か つ効果的な方法で選択することができる。
[0127] 上記サブセットの配置は、予め決められた周波数を設定するための閾値は、適応 的に設定してもよい。このようにして、複数の周波数の設定は、例えば画像内容や利 用可能なデータレートなどに簡単に適応させることができる。
[0128] 上記サブセットの配置は、低周波数成分の重要度が高周波成分よりも高くなるよう に、最低周波数を含むセグメントには、最大の重要度を設定してもよい。
[0129] (実施の形態 4)
さらに、上記実施の形態 1〜3で示した画像符号ィ匕方法および画像復号ィ匕方法を 実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するように することにより、上記各実施の形態で示した処理を、独立したコンピュータシステムに ぉ ヽて簡単に実施することが可能となる。
[0130] 図 23A〜図 23Cは、上記各実施の形態の画像符号化方法および画像復号化方 法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンビュ ータシステムにより実施する場合の説明図である。
[0131] 図 23Bは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブ ルディスクを示し、図 23Aは、記録媒体本体であるフレキシブルディスクの物理フォ 一マットの例を示している。フレキシブルディスク FDはケース F内に内蔵され、該ディ スクの表面には、同心円状に外周からは内周に向力つて複数のトラック Trが形成さ れ、各トラックは角度方向に 16のセクタ Seに分割されている。従って、上記プログラム を格納したフレキシブルディスクでは、上記フレキシブルディスク FD上に割り当てら れた領域に、上記プログラムが記録されている。
[0132] また、図 23Cは、フレキシブルディスク FDに上記プログラムの記録再生を行うため の構成を示す。画像符号化方法および画像復号化方法を実現する上記プログラム をフレキシブルディスク FDに記録する場合は、コンピュータシステム Csから上記プロ グラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク 内のプログラムにより画像符号ィ匕方法および画像復号ィ匕方法を実現する上記画像 符号ィ匕方法および画像復号ィ匕方法をコンピュータシステム中に構築する場合は、フ レキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コン ピュータシステムに転送する。
[0133] なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行った 力 光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、 I
Cカード、 ROMカセット等、プログラムを記録できるものであれば同様に実施すること ができる。
[0134] (実施の形態 5)
さら〖こここで、上記実施の形態で示した画像符号化方法および画像復号化方法の 応用例とそれを用いたシステムを説明する。 [0135] 図 24は、コンテンツ酉 S信サービスを実現するコンテンツ供給システム exlOOの全体 構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である基地局 exl07〜exl 10が設置されて!、る。
[0136] このコンテンツ供給システム exlOOは、例えば、インターネット exlOlにインターネッ トサービスプロバイダ exl02および電話網 exl04、および基地局 exl07〜exl l0を 介して、コンピュータ exl 11、 PDA (personal digital assistant) exl 12、カメラ exl 13、 携帯電話 exl l4、カメラ付きの携帯電話 exl l5などの各機器が接続される。
[0137] し力し、コンテンツ供給システム exlOOは図 24のような組合せに限定されず、いず れかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局 exlO 7〜exl 10を介さずに、各機器が電話網 exl04に直接接続されてもょ ヽ。
[0138] カメラ exl 13はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携 帯電話は、 PDC (Personal Digital Communications)方式、 CDMA (Code Division M ultiple Access)方式、 W— CDMA (Wideband- Code Division Multiple Access)方式 、若しくは GSM (Global System for Mobile Communications)方式の携帯電話機、ま たは PHS (Personal Handyphone System)等であり、いずれでも構わない。
[0139] また、ストリーミングサーバ exl03は、カメラ 6 113カら基地局6 109、電話網 exl04 を通じて接続されており、カメラ exl l3を用いてユーザが送信する符号ィ匕処理された データに基づ 、たライブ配信等が可能になる。撮影したデータの符号化処理はカメ ラ exl 13で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ 116で撮影した動画データはコンピュータ exl 11を介してストリーミングサーバ exl03 に送信されてもよい。カメラ exl 16はデジタルカメラ等の静止画、動画が撮影可能な 機器である。この場合、動画データの符号ィ匕はカメラ exl 16で行ってもコンピュータ ex 111で行ってもどちらでもよい。また、符号化処理はコンピュータ exl 11やカメラ exl 1 6が有する LSIexl 17において処理することになる。なお、画像符号化'復号化用の ソフトウェアをコンピュータ exl 11等で読み取り可能な記録媒体である何らかの蓄積メ ディア（CD— ROM、フレキシブルディスク、ハードディスクなど）に組み込んでもよい 。さらに、カメラ付きの携帯電話 exl 15で動画データを送信してもよい。このときの動 画データは携帯電話 exl l5が有する LSIで符号化処理されたデータである。 [0140] このコンテンツ供給システム exlOOでは、ユーザがカメラ exl 13、カメラ exl l6等で 撮影して ヽるコンテンツ (例えば、音楽ライブを撮影した映像等)を上記実施の形態 同様に符号ィ匕処理してストリーミングサーバ exl03に送信する一方で、ストリーミング サーバ exl03は要求のあったクライアントに対して上記コンテンツデータをストリーム 配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可 能な、コンピュータ exl 11、 PDAexl l2、カメラ exl l3、携帯電話 exl 14等がある。こ のようにすることでコンテンツ供給システム exlOOは、符号ィ匕されたデータをクライア ントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで 受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである
[0141] このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した 画像符号ィ匕装置あるいは画像復号ィ匕装置を用いるようにすればょ ヽ。
その一例として携帯電話につ 、て説明する。
[0142] 図 25は、上記実施の形態で説明した画像符号化方法および画像復号化方法を用 いた携帯電話 exl 15を示す図である。携帯電話 exl 15は、基地局 exl 10との間で電 波を送受信するためのアンテナ ex201、 CCDカメラ等の映像、静止画を撮ることが可 能なカメラ部 ex203、カメラ部 ex203で撮影した映像、アンテナ ex201で受信した映 像等が復号ィ匕されたデータを表示する液晶ディスプレイ等の表示部 ex202、操作キ 一 ex204群力も構成される本体部、音声出力をするためのスピーカ等の音声出力部 ex208、音声入力をするためのマイク等の音声入力部 ex205、撮影した動画もしくは 静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等 、符号ィ匕されたデータまたは復号ィ匕されたデータを保存するための記録メディア ex2 07、携帯電話 exl 15に記録メディア ex207を装着可能とするためのスロット部 ex206 を有している。記録メディア ex207は SDカード等のプラスチックケース内に電気的に 書換えや消去が可能な不揮発性メモリである EEPROM (Electrically Erasable and P rogrammable Read Only Memory)の一種であるフラッシュメモリ素子を格納したもの である。
[0143] さらに、携帯電話 exl l5について図 26を用いて説明する。携帯電話 exl l5は表示 部 ex202及び操作キー ex204を備えた本体部の各部を統括的に制御するようになさ れた主制御部 ex311に対して、電源回路部 ex310、操作入力制御部 ex304、画像符 号ィ匕部 ex312、カメラインターフェース部 ex303、 LCD (Liquid Crystal Display)制御 部 ex302、画像復号化部 ex309、多重分離部 ex308、記録再生部 ex307、変復調回 路部 ex306及び音声処理部 ex305が同期バス ex313を介して互!、に接続されて!ヽ る。
[0144] 電源回路部 ex310は、ユーザの操作により終話及び電源キーがオン状態にされる と、バッテリパック力も各部に対して電力を供給することによりカメラ付ディジタル携帯 電話 exl l5を動作可能な状態に起動する。
[0145] 携帯電話 exl l5は、 CPU、 ROM及び RAM等でなる主制御部 ex311の制御に基 づ 、て、音声通話モード時に音声入力部 ex205で集音した音声信号を音声処理部 e x305によってディジタル音声データに変換し、これを変復調回路部 ex306でスぺタト ラム拡散処理し、送受信回路部 ex301でディジタルアナログ変換処理及び周波数変 換処理を施した後にアンテナ ex201を介して送信する。また携帯電話機 ex 115は、 音声通話モード時にアンテナ ex201で受信した受信信号を増幅して周波数変換処 理及びアナログディジタル変換処理を施し、変復調回路部 ex306でスペクトラム逆拡 散処理し、音声処理部 ex305によってアナログ音声信号に変換した後、これを音声 出力部 ex208を介して出力する。
[0146] さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キー ex2 04の操作によって入力された電子メールのテキストデータは操作入力制御部 ex304 を介して主制御部 ex311に送出される。主制御部 ex311は、テキストデータを変復調 回路部 ex306でスペクトラム拡散処理し、送受信回路部 ex301でディジタルアナログ 変換処理及び周波数変換処理を施した後にアンテナ ex201を介して基地局 exl lO へ送信する。
[0147] データ通信モード時に画像データを送信する場合、カメラ部 ex203で撮像された画 像データをカメラインターフェース部 ex303を介して画像符号ィ匕部 ex312に供給する 。また、画像データを送信しない場合には、カメラ部 ex203で撮像した画像データを カメラインターフェース部 ex303及び LCD制御部 ex302を介して表示部 ex202に直 接表示することも可能である。
[0148] 画像符号ィ匕部 ex312は、本願発明で説明した画像符号ィ匕装置を備えた構成であり 、カメラ部 ex203から供給された画像データを上記実施の形態で示した画像符号ィ匕 装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変 換し、これを多重分離部 ex308に送出する。また、このとき同時に携帯電話機 exl 15 は、カメラ部 ex203で撮像中に音声入力部 ex205で集音した音声を音声処理部 ex3 05を介してディジタルの音声データとして多重分離部 ex308に送出する。
[0149] 多重分離部 ex308は、画像符号化部 ex312から供給された符号化画像データと音 声処理部 ex305から供給された音声データとを所定の方式で多重化し、その結果得 られる多重化データを変復調回路部 ex306でスペクトラム拡散処理し、送受信回路 部 ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex201を介して送信する。
[0150] データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受 信する場合、アンテナ ex201を介して基地局 exl 10から受信した受信信号を変復調 回路部 ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重 分離部 ex308に送出する。
[0151] また、アンテナ ex201を介して受信された多重化データを復号ィ匕するには、多重分 離部 ex308は、多重化データを分離することにより画像データの符号化ビットストリー ムと音声データの符号ィ匕ビットストリームとに分け、同期バス ex313を介して当該符号 化画像データを画像復号化部 ex309に供給すると共に当該音声データを音声処理 部 ex305に供給する。
[0152] 次に、画像復号ィ匕部 ex309は、本願発明で説明した画像復号化装置を備えた構 成であり、画像データの符号ィ匕ビットストリームを上記実施の形態で示した符号ィ匕方 法に対応した復号化方法で復号することにより再生動画像データを生成し、これを L CD制御部 ex302を介して表示部 ex202に供給し、これにより、例えばホームページ にリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音 声処理部 ex305は、音声データをアナログ音声信号に変換した後、これを音声出力 部 ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに 含まる音声データが再生される。
[0153] なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が 話題となっており、図 27に示すようにディジタル放送用システムにも上記実施の形態 の少なくとも画像符号ィ匕装置または画像復号ィ匕装置のいずれかを組み込むことがで きる。具体的には、放送局 ex409では映像情報の符号ィ匕ビットストリームが電波を介 して通信または放送衛星 ex410に伝送される。これを受けた放送衛星 ex410は、放 送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナ ex406で 受信し、テレビ（受信機） ex401またはセットトップボックス（STB) ex407などの装置に より符号ィ匕ビットストリームを復号ィ匕してこれを再生する。また、記録媒体である CDや DVD等の蓄積メディア ex402に記録した符号ィ匕ビットストリームを読み取り、復号ィ匕す る再生装置 ex403にも上記実施の形態で示した画像復号ィ匕装置を実装することが可 能である。この場合、再生された映像信号はモニタ ex404に表示される。また、ケー ブルテレビ用のケーブル ex405または衛星 Z地上波放送のアンテナ ex406に接続さ れたセットトップボックス ex407内に画像復号ィ匕装置を実装し、これをテレビのモニタ e x408で再生する構成も考えられる。このときセットトップボックスではなぐテレビ内に 画像復号ィ匕装置を組み込んでも良い。また、アンテナ ex411を有する車 ex412で衛 星 ex410からまたは基地局 exl07等力も信号を受信し、車 ex412が有するカーナビ ゲーシヨン ex413等の表示装置に動画を再生することも可能である。
[0154] 更に、画像信号を上記実施の形態で示した画像符号ィ匕装置で符号ィ匕し、記録媒 体に記録することもできる。具体例としては、 DVDディスク ex421に画像信号を記録 する DVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダ ex42 0がある。更に SDカード ex422に記録することもできる。レコーダ ex420が上記実施 の形態で示した画像復号化装置を備えて ヽれば、 DVDディスク ex421や SDカード e x422に記録した画像信号を再生し、モニタ ex408で表示することができる。
[0155] なお、カーナビゲーシヨン ex413の構成は例えば図 26に示す構成のうち、カメラ部 e x203とカメラインターフェース部 ex303、画像符号ィ匕部 ex312を除いた構成が考え られ、同様なことがコンピュータ exl 11やテレビ (受信機) ex401等でも考えられる。
[0156] また、上記携帯電話 exl 14等の端末は、符号化器'復号化器を両方持つ送受信型 の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通りの実 装形式が考えられる。
[0157] このように、上記実施の形態で示した画像符号化方法および画像復号化方法を上 述したいずれの機器 'システムに用いることは可能であり、そうすることで、上記実施 の形態で説明した効果を得ることができる。
[0158] なお、図 1、図 2、図 8、図 9、図 16、図 17に示したブロック図の各機能ブロックは典 型的には集積回路装置である LSIとして実現される。この LSIは 1チップィ匕されても良 いし、複数チップィ匕されても良い。（例えばメモリ以外の機能ブロックが 1チップィ匕され ていても良い。）ここでは、 LSIとした力 集積度の違いにより、 IC、システム LSI、スー ノ ー LSI、ウノレ卜ラ LSIと呼称されることちある。
[0159] 集積回路化の手法は LSIに限るものではなぐ専用回路又は汎用プロセサで実現 してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field Programmable
Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリコンフィギユラ ブル ·プロセッサを利用しても良 、。
[0160] さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回 路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行って もよい。バイオ技術の適応等が可能性としてありえる。
[0161] また、各機能ブロックのうち、データを格納するユニットだけ 1チップィ匕せずに、本実 施の形態の記録媒体 115のように別構成としても良 、。
[0162] なお、図 1、図 2、図 8、図 9、図 16、図 17示したブロック図の各機能ブロックおよび 図 7、図 13、図 15、図 18、図 22に示したフローチャートにおいて、中心的な部分は プロセッサおよびプログラム〖こよっても実現される。
[0163] このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を 上述したいずれの機器 'システムに用いることは可能であり、そうすることで、上記実 施の形態で説明した効果を得ることができる。
[0164] また、本発明は力かる上記実施の形態に限定されるものではなぐ本発明の範囲を 逸脱することなく種々の変形または修正が可能である。
産業上の利用可能性 本発明は、画像を符号化又は復号化するする符号化装置、復号化装置に適して おり、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録 再生可能なデジタルカメラ、カメラ付き携帯電話機、 DVD録画 Z再生機、 PDA, 一ソナルコンピュータ等に適して 、る。

Claims

請求の範囲
[1] ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記 複数の係数を量子化し、複数の量子化係数を符号化する動画像符号化方法であつ て、
量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである 複数の周波数係数のブロック力 そのサブセットに属する量子化係数を選択し、 ブロック中のサブセットの配置を変更する
ことを特徴とする動画像符号化方法。
[2] 前記サブセットの配置は、（i)〜(v)の少なくとも 1つに関連して変更される
(0ピクチャの符号化完了、 GO所定数のブロックの符号化完了、 Gii)符号化対象のピ クチャの内容、（iv)ブロックのピクチャ中の位置、（V)各周波数係数としきい値との比較 ことを特徴とする請求項 1記載の動画像符号化方法。
[3] 前記動画像符号化方法は、さらに前記サブセットに属さない周波数係数をゼロに 抑制し、
前記符号化において、選択された周波数係数とゼロに抑制された周波数係数とを 含む周波数係数を可変長符号に符号化する
ことを特徴とする請求項 1記載の動画像符号化方法。
[4] 前記符号化において、選択されていない周波数係数を、可変長符号化の対象から 除外する
ことを特徴とする請求項 1記載の動画像符号化方法。
[5] 前記選択において、前記サブセットに属する周波数係数を逐次走査し、
前記符号化において、走査された周波数係数を可変長符号に符号化する ことを特徴とする請求項 4記載の動画像符号化方法。
[6] 前記選択において、
サブセットに属する周波数係数を走査順に並び替え、
並び替え後に前記サブセットに属する周波数係数を逐次走査する
ことを特徴とする請求項 4記載の動画像符号化方法。
[7] 前記動画像符号化方法は、さらに、 ブロック中のサブセットの配置を特定する配置データを量子化マトリクスに埋め込み 前記符号化において、前記配置データが埋め込まれた前記量子化マトリクスを符 号化する
ことを特徴とする請求項 4記載の動画像符号化方法。
[8] 前記動画像符号化方法は、さらに、
ブロック中のサブセットの配置を特定する配置データを生成し、
前記符号化にぉ ヽて、前記配置データを符号化する
ことを特徴とする請求項 4記載の動画像符号化方法。
[9] 前記配置データは、ブロックを構成する複数のセグメントのうち、前記サブセットに 対応するセグメントを識別する識別子を含む
ことを特徴とする請求項 8記載の動画像符号化方法。
[10] 前記配置データは、ブロック内の周波数係数毎に前記サブセットに属する力否かを 示すビットマップデータである
ことを特徴とする請求項 8記載の動画像符号化方法。
[11] 可変長符号 (複数)を、量子化係数 (複数)と、ブロック中のサブセットの配置を特定す る配置データとに復号ィ匕し、
配置データに基づいてブロック中のサブセットの配置内に復号ィ匕量子ィ匕係数を配 置し、
配置データに基づいてブロック中のサブセットの配置外にゼロ係数を配置し、 復号化された量子化係数 (複数)と所定の値とが配置されたブロックを逆量子化し、 逆量子化されたブロックを直交変換する
ことを特徴とする動画像復号化方法。
[12] 前記復号化において、可変長符号 (複数)から量子化的リスクを復号化し、
前記配置データは復号ィ匕された量子化マトリクス力 抽出される
ことを特徴とする請求項 11記載の動画像符号化方法。
[13] 前記配置データは、ブロックを構成する複数のセグメントのうち、前記サブセットに 対応するセグメントを識別する識別子を含む ことを特徴とする請求項 11記載の動画像符号化方法。
[14] 前記配置データは、ブロック内の量子化係数毎に前記セグメントに属する力否かを 示すビットマップデータである
ことを特徴とする請求項 11記載の動画像符号化方法。
[15] ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記 複数の係数を量子化し、複数の量子化係数を符号化する動画像符号化装置であつ て、
量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである 複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択する選 択手段と、
ブロック中のサブセットの配置を変更する変更手段と
を備えることを特徴とする動画像符号化装置。
[16] 可変長符号を、複数の量子化係数と、ブロック中のサブセットの配置を特定する配 置データとに復号化する復号手段と、
配置データに基づ!/、てブロック中のサブセットの配置内の位置に復号化量子化係 数を配置し、また、配置データに基づいてブロック中のサブセットの配置外の位置に 量子化係数として所定の値を配置する配置手段と、
復号化された複数の量子化係数と所定の値とが配置されたブロックを逆量子化す る逆量子化手段と、
逆量子化されたブロックを直交変換する直交変換手段と
ことを特徴とする動画像復号化装置。
[17] ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記 複数の係数を量子化し、複数の量子化係数を符号化する半導体装置であって、 量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである 複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択する選 択手段と、
ブロック中のサブセットの配置を変更する変更手段と
を備えることを特徴とする半導体装置。
[18] 可変長符号を、複数の量子化係数と、ブロック中のサブセットの配置を特定する配 置データとに復号化する復号手段と、
配置データに基づいてブロック中のサブセットの位置に復号ィ匕された量子ィ匕係数を 配置し、また、配置データに基づいてブロック中のサブセット以外の位置に量子ィ匕係 数として所定の値を配置する配置手段と、
復号化された複数の量子化係数と所定の値とを含むブロック逆量子化し逆量子化 手段と、
逆量子化されたブロックを直交変換する直交変換手段と
ことを特徴とする半導体装置。
[19] ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記 複数の係数を量子化し、複数の量子化係数を符号化するコンピュータ読み取り可能 なプログラムであって、前記プログラムは、
量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである 複数の周波数係数のブロック力 そのサブセットに属する量子化係数を選択し、 ブロック中のサブセットの配置を変更する
ことをコンピュータに実行させることを特徴とするプログラム。
[20] コンピュータ読み取り可能なプログラムであって、
可変長符号を、複数の量子化係数と、ブロック中のサブセットの配置を特定する配 置データとに復号化し、
配置データに基づ!/、てブロック中のサブセットの配置内の位置に復号化量子化係 数を配置し、
配置データに基づいてブロック中のサブセットの配置外の位置に量子化係数として 所定の値を配置し、
復号化された量子化係数 (複数)と所定の値とが配置されたブロックを逆量子化し、 逆量子化されたブロックを逆直交変換する
ことをコンピュータに実行させることを特徴とするプログラム。
PCT/JP2006/309113 2005-05-03 2006-05-01 動画像符号化方法、動画像復号化方法およびその装置 WO2006118288A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007514857A JPWO2006118288A1 (ja) 2005-05-03 2006-05-01 動画像符号化方法、動画像復号化方法およびその装置
EP06745964A EP1879401A4 (en) 2005-05-03 2006-05-01 DYNAMIC IMAGE ENCODING METHOD, DYNAMIC IMAGE DECODING METHOD, AND DEVICE THEREFOR
US11/913,389 US20090028239A1 (en) 2005-05-03 2006-05-01 Moving picture encoding method, moving picture decoding method and apparatuses using the methods

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
EP05009718.7 2005-05-03
EP05009718A EP1720356A1 (en) 2005-05-03 2005-05-03 A frequency selective video compression
EP05021038.4 2005-09-27
EP05021074.9 2005-09-27
EP05021038A EP1768415A1 (en) 2005-09-27 2005-09-27 Adaptive scan order of DCT coefficients and its signaling
EP05021074A EP1768416A1 (en) 2005-09-27 2005-09-27 Frequency selective video compression and quantization

Publications (1)

Publication Number Publication Date
WO2006118288A1 true WO2006118288A1 (ja) 2006-11-09

Family

ID=37308082

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/309113 WO2006118288A1 (ja) 2005-05-03 2006-05-01 動画像符号化方法、動画像復号化方法およびその装置

Country Status (4)

Country Link
US (1) US20090028239A1 (ja)
EP (1) EP1879401A4 (ja)
JP (1) JPWO2006118288A1 (ja)
WO (1) WO2006118288A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010070897A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
JP2011049816A (ja) * 2009-08-27 2011-03-10 Kddi R & D Laboratories Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
CN103181169A (zh) * 2010-10-01 2013-06-26 高通股份有限公司 使用联合上下文模型对系数进行熵译码
US8619874B2 (en) * 2007-04-13 2013-12-31 Apple Inc. Method and system for video encoding and decoding
JP2014521256A (ja) * 2011-06-30 2014-08-25 クゥアルコム・インコーポレイテッド リーフレベルコード化単位のサブセットについての変換係数のシンタックス要素の信号伝達
CN108881910A (zh) * 2010-04-13 2018-11-23 Ge视频压缩有限责任公司 解码显著性图的装置
US10715805B2 (en) 2010-07-19 2020-07-14 Sk Telecom Co., Ltd. Method and device for subband coding frequency conversion unit, and method and device for image encoding/decoding using same
US11997269B2 (en) 2010-07-19 2024-05-28 Sk Telecom Co., Ltd. Method and device for subband coding frequency conversion unit, and method and device for image encoding/decoding using same

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1947862B1 (en) * 2005-10-14 2016-04-27 NEC Corporation Method for re-encoding image blocks, device using the same, and computer program
JP5620641B2 (ja) 2005-10-21 2014-11-05 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ ＲｅｓｅａｒｃｈＩｎｓｔｉｔｕｔｅ 適応型走査を用いる動画の符号化／復号化装置及びその方法
KR101520624B1 (ko) 2008-12-31 2015-05-15 삼성전자주식회사 비트 맵 방식의 영상 인코딩/디코딩 방법 및 장치
WO2010091504A1 (en) * 2009-02-13 2010-08-19 Research In Motion Limited In-loop deblocking for intra-coded images or frames
ES2847856T3 (es) * 2010-06-29 2021-08-04 Orange Procedimientos y dispositivos para codificar y decodificar al menos una imagen implementando una estimación en el campo transformado y programa informático correspondiente
EP2624561A2 (en) * 2010-09-28 2013-08-07 Samsung Electronics Co., Ltd Method and device for the transformation and method and device for the reverse transformation of images
CN103404136B (zh) * 2010-10-14 2018-02-16 汤姆逊许可公司 使用运动矩阵对视频进行编码和解码的方法和设备
GB2484969B (en) * 2010-10-29 2013-11-20 Canon Kk Improved reference frame for video encoding and decoding
KR101763113B1 (ko) * 2010-12-06 2017-08-01 에스케이 텔레콤주식회사 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
US9635383B2 (en) * 2011-01-07 2017-04-25 Texas Instruments Incorporated Method, system and computer program product for computing a motion vector
EP2685718B1 (en) * 2011-03-10 2018-08-29 Sharp Kabushiki Kaisha Image decoding apparatus
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
US9747255B2 (en) * 2011-05-13 2017-08-29 Texas Instruments Incorporated Inverse transformation using pruning for video coding
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
KR20130050404A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
US20150124871A1 (en) * 2013-11-06 2015-05-07 Mitsubishi Electric Research Laboratories, Inc. Visual Perceptual Transform Coding of Images and Videos
US9516345B2 (en) 2014-03-17 2016-12-06 Qualcomm Incorporated Systems and methods for low complexity forward transforms using mesh-based calculations
US9432696B2 (en) 2014-03-17 2016-08-30 Qualcomm Incorporated Systems and methods for low complexity forward transforms using zeroed-out coefficients
US10631013B2 (en) * 2015-06-11 2020-04-21 Lg Electronics Inc. Method for re-positioning significant coefficient in image encoding/decoding process and device therefor
EP3328083A1 (en) * 2016-11-23 2018-05-30 Thomson Licensing Method and apparatus for encoding a video applying adaptive quantisation
CN114762340A (zh) * 2019-11-01 2022-07-15 Lg 电子株式会社 编译图像的基于变换的方法及其装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0514873A (ja) * 1991-07-05 1993-01-22 Sony Corp 画像符号化装置
JPH0595538A (ja) * 1991-10-02 1993-04-16 Toshiba Corp 画像符号化装置
JPH0670175A (ja) * 1992-08-19 1994-03-11 Fujitsu Ltd 画像データ符号化方法及び装置
JPH09307904A (ja) * 1996-04-30 1997-11-28 Daewoo Electron Co Ltd 映像信号符号化システム用量子化器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0530022B1 (en) * 1991-08-30 1998-05-06 Fuji Xerox Co., Ltd. Apparatus for encoding am image signal
US5371611A (en) * 1992-08-26 1994-12-06 Kokusai Denshin Denwa Kabushiki Kaisha Method for and system of decoding compressed continuous-tone digital image data
US5617142A (en) * 1994-11-08 1997-04-01 General Instrument Corporation Of Delaware Method and apparatus for changing the compression level of a compressed digital signal
US6724817B1 (en) * 2000-06-05 2004-04-20 Amphion Semiconductor Limited Adaptive image data compression
US20040125204A1 (en) * 2002-12-27 2004-07-01 Yoshihisa Yamada Moving picture coding apparatus and moving picture decoding apparatus
US7206448B2 (en) * 2002-02-28 2007-04-17 At&T Corp. System and method for using pattern vectors for video and image coding and decoding
US6985635B2 (en) * 2002-04-22 2006-01-10 Koninklijke Philips Electronics N.V. System and method for providing a single-layer video encoded bitstreams suitable for reduced-complexity decoding
US7463782B2 (en) * 2002-11-05 2008-12-09 Canon Kabushiki Kaisha Data encoding with an amplitude model and path between the data and corresponding decoding
CN1898963A (zh) * 2003-12-18 2007-01-17 日本电气株式会社 运动图像再现方法、装置以及程序
EP2373033A3 (en) * 2004-01-30 2011-11-30 Panasonic Corporation Picture coding and decoding method, apparatus, and program thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0514873A (ja) * 1991-07-05 1993-01-22 Sony Corp 画像符号化装置
JPH0595538A (ja) * 1991-10-02 1993-04-16 Toshiba Corp 画像符号化装置
JPH0670175A (ja) * 1992-08-19 1994-03-11 Fujitsu Ltd 画像データ符号化方法及び装置
JPH09307904A (ja) * 1996-04-30 1997-11-28 Daewoo Electron Co Ltd 映像信号符号化システム用量子化器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1879401A4 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619874B2 (en) * 2007-04-13 2013-12-31 Apple Inc. Method and system for video encoding and decoding
WO2010070897A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
JP2011049816A (ja) * 2009-08-27 2011-03-10 Kddi R & D Laboratories Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US11095906B2 (en) 2010-04-13 2021-08-17 Ge Video Compression, Llc Coding of significance maps and transform coefficient blocks
US11128875B2 (en) 2010-04-13 2021-09-21 Ge Video Compression, Llc Coding of significance maps and transform coefficient blocks
US11297336B2 (en) 2010-04-13 2022-04-05 Ge Video Compression, Llc Coding of significance maps and transform coefficient blocks
CN108881910A (zh) * 2010-04-13 2018-11-23 Ge视频压缩有限责任公司 解码显著性图的装置
US11252419B2 (en) 2010-04-13 2022-02-15 Ge Video Compression, Llc Coding of significance maps and transform coefficient blocks
US10855999B2 (en) 2010-04-13 2020-12-01 Ge Video Compression, Llc Coding of significance maps and transform coefficient blocks
US11025926B2 (en) 2010-04-13 2021-06-01 Ge Video Compression, Llc Coding of significance maps and transform coefficient blocks
US11032556B2 (en) 2010-04-13 2021-06-08 Ge Video Compression, Llc Coding of significance maps and transform coefficient blocks
US11070822B2 (en) 2010-04-13 2021-07-20 Ge Video Compression, Llc Coding of significance maps and transform coefficient blocks
US10715805B2 (en) 2010-07-19 2020-07-14 Sk Telecom Co., Ltd. Method and device for subband coding frequency conversion unit, and method and device for image encoding/decoding using same
US11509894B2 (en) 2010-07-19 2022-11-22 Sk Telecom Co., Ltd. Method and device for subband coding frequency conversion unit, and method and device for image encoding/decoding using same
US11997269B2 (en) 2010-07-19 2024-05-28 Sk Telecom Co., Ltd. Method and device for subband coding frequency conversion unit, and method and device for image encoding/decoding using same
US11997268B2 (en) 2010-07-19 2024-05-28 Sk Telecom Co., Ltd. Method and device for subband coding frequency conversion unit, and method and device for image encoding/decoding using same
CN103181169A (zh) * 2010-10-01 2013-06-26 高通股份有限公司 使用联合上下文模型对系数进行熵译码
JP2014521256A (ja) * 2011-06-30 2014-08-25 クゥアルコム・インコーポレイテッド リーフレベルコード化単位のサブセットについての変換係数のシンタックス要素の信号伝達
US9826238B2 (en) 2011-06-30 2017-11-21 Qualcomm Incorporated Signaling syntax elements for transform coefficients for sub-sets of a leaf-level coding unit

Also Published As

Publication number Publication date
US20090028239A1 (en) 2009-01-29
EP1879401A4 (en) 2012-03-28
EP1879401A1 (en) 2008-01-16
JPWO2006118288A1 (ja) 2008-12-18

Similar Documents

Publication Publication Date Title
WO2006118288A1 (ja) 動画像符号化方法、動画像復号化方法およびその装置
JP4741716B1 (ja) 受信装置および受信方法
JP4368575B2 (ja) 可変長復号化方法、可変長復号化装置およびプログラム
JP2004007382A (ja) 可変長符号化方法および可変長復号化方法
JP2011229178A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、および集積回路
JP4641995B2 (ja) 画像符号化方法および画像符号化装置
JP4722233B1 (ja) 復号化システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007514857

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11913389

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2006745964

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006745964

Country of ref document: EP