WO2005018239A1 - 動画像符号化方法および動画像復号化方法 - Google Patents

動画像符号化方法および動画像復号化方法 Download PDF

Info

Publication number
WO2005018239A1
WO2005018239A1 PCT/JP2004/011115 JP2004011115W WO2005018239A1 WO 2005018239 A1 WO2005018239 A1 WO 2005018239A1 JP 2004011115 W JP2004011115 W JP 2004011115W WO 2005018239 A1 WO2005018239 A1 WO 2005018239A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
filter
luminance component
decoding
picture
Prior art date
Application number
PCT/JP2004/011115
Other languages
English (en)
French (fr)
Inventor
Kiyofumi Abe
Shinya Kadono
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to BRPI0413624-1A priority Critical patent/BRPI0413624A/pt
Priority to AU2004301091A priority patent/AU2004301091B2/en
Priority to MXPA06001111A priority patent/MXPA06001111A/es
Priority to US10/566,506 priority patent/US7650032B2/en
Priority to EP04771166A priority patent/EP1659803A4/en
Priority to CA2534695A priority patent/CA2534695C/en
Publication of WO2005018239A1 publication Critical patent/WO2005018239A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H04N11/042—Codec means

Definitions

  • the present invention relates to a moving picture coding method for dividing a moving picture signal composed of a luminance component and a color difference component into blocks and coding the same, and a moving picture decoding for decoding coded data. It is about the method. Background art
  • multimedia which handles voice, images, and other pixel values in an integrated manner, has been approached. It has become available for media coverage.
  • multimedia means not only characters but also figures and sounds, especially images, etc., that are associated with each other at the same time. It is an indispensable condition to represent it in the form.
  • the amount of information held by each of the above information media is estimated as the amount of digital information, the amount of information per character is 1-2 bytes per character, whereas the amount of information per character is 1-2 bytes. If the amount of information required is 64 kbits per second (telephone quality), and more than 10 OMbits per video (current television reception quality) per video, the above information media requires It is not practical to handle vast amounts of information in digital form. For example, videophones have already been put into practical use by ISDN integrated services digital networks (ISDN integrated services digital networks) with transmission speeds of 64 kbps to 1.5 bps. Cannot be sent by Noh.
  • ISDN integrated services digital networks ISDN integrated services digital networks
  • MPEG Motion Picture Experts Group
  • MPEG-1 is capable of transferring moving picture signals up to 1.5 Mbps, that is, transmitting about 100 bits of TV signal information. This is a standard that compresses data to one-half.
  • MPEG-2 since the transmission speed for the MPEG-1 standard is mainly limited to about 1.5 Mbps, MPEG-2, which has been standardized to meet the demand for higher image quality, uses moving images. The signal is compressed to 2 to 15 Mbps.
  • MPEG-4 which has a higher compression ratio
  • MPEG-4 has been standardized by the working group (ISO / IECJTC1 / SC29 / WG11), which has been standardizing MPEG-1 and MPEG-2.
  • MPEG-4 initially introduced not only high-efficiency coding at low bit rates, but also a powerful error resilience technology that can reduce subjective image quality degradation even if transmission path errors occur. Have been.
  • H.264 standardization activities are underway as a next-generation screen coding scheme jointly by ISO OIE and ITU-T.
  • inter-picture prediction coding aimed at reducing temporal redundancy
  • motion detection and prediction image generation are performed in block units with reference to the forward or backward picture, and the obtained prediction is obtained.
  • Encoding is performed on the difference value between the measured image and the block to be encoded.
  • intra-picture prediction encoding for the purpose of reducing spatial redundancy, a prediction image is generated from pixel information of surrounding encoded blocks, and the obtained prediction image and the block to be encoded are generated. Encode the difference value.
  • a picture is a term representing one screen, and means one frame when encoded as a frame structure, and one field when encoded as a field structure.
  • Each picture is divided into blocks called, for example, macroblocks, each having 16 pixels in the horizontal direction and 16 pixels in the vertical direction, and processing is performed in block units.
  • macroblocks In a picture with a field structure, all macroblocks are coded as field macroblocks.
  • frame macroblocks In a picture with a field structure, not only is all macroblocks encoded as frame macroblocks, but also two vertically adjacent macroblocks are treated as a unit (macroblock pair) as a frame or field. It is also possible to switch and perform encoding.
  • FIG. 1 is a block diagram showing a configuration of a moving picture coding apparatus that realizes a conventional moving picture coding method.
  • the moving picture coding apparatus includes a picture memory 101, a prediction residual coding unit 102, a code sequence generation unit 103, a prediction residual decoding unit 104, a deblocking processing unit 105, It includes a picture memory 106, an encoding mode control unit 107, an inter-screen predicted image generation unit 108, and an intra-screen predicted image generation unit 109.
  • the image sequence to be encoded is input to the picture memory 101 in picture units in the order of display, and the pictures are rearranged in the order of encoding. Further, each picture is divided into macroblocks and the subsequent processing is applied.
  • Encoding methods can be roughly divided into inter-screen prediction coding and intra-screen prediction coding. There are two types. Here, inter-picture prediction coding will be described first.
  • the input image signal read from the picture memory 101 is input to the difference calculation unit 110, and is obtained by taking a difference from the prediction image signal output from the inter-screen prediction image generation unit 108.
  • the difference image signal is output to prediction residual coding section 102.
  • the prediction residual encoding unit 102 performs image encoding processing such as frequency conversion and quantization and outputs a residual signal.
  • the residual signal is input to the prediction residual decoding unit 104, where it performs an image decoding process such as inverse quantization and inverse frequency transform, and outputs a residual decoded signal.
  • the addition operation unit 111 adds the residual decoded signal and the predicted image signal to generate a reconstructed image signal. Before the reconstructed image signal is stored in the picture memory 106 as a picture for reference, the boundary between blocks divided at the time of encoding in the deblocking processor 105 is performed. A process is performed to reduce the distortion that occurs in
  • the input image signal in macroblock units read from the picture memory 101 is also input to the inter-picture predicted image generation unit 108.
  • the inter-picture predicted image generation unit 108 Here, one or a plurality of coded pictures stored in the picture memory 106 are searched for, the image area closest to the input image signal is detected, and it is output as a predicted image. I do.
  • the predicted image is used for generating a difference image signal in the difference operation unit 110 and for generating a reconstructed image signal in the addition operation unit 111.
  • the code sequence output by the encoding process (moving image encoded data ) Is obtained.
  • the above processing flow is an operation in the case where the inter-picture prediction coding is performed.
  • the switch to the intra-picture prediction coding is performed by the switch 112. Less than Below, the intra prediction coding is explained.
  • the input image signal read from the picture memory 101 is input to the difference operation unit 110, and is obtained by taking the difference from the predicted image signal output from the intra-screen predicted image generation unit 109.
  • the difference image signal is output to prediction residual coding section 102.
  • the prediction residual encoding unit 102 performs image encoding processing such as frequency conversion and quantization and outputs a residual signal.
  • the residual signal is input to the prediction residual decoding unit 104, where it performs an image decoding process such as inverse quantization and inverse frequency transform, and outputs a residual decoded signal.
  • the addition operation unit 111 adds the residual decoded signal and the predicted image signal to generate a reconstructed image signal.
  • the deblocking processing unit 105 performs the encoding at the boundary between the divided blocks when encoding. Processing to alleviate the generated distortion is performed.
  • the input image signal in macroblock units read from the picture memory 101 is also input to the intra prediction image generation unit 109.
  • a predicted image is generated by referring to a reconstructed image signal of a peripheral block in the same picture generated as an output of the addition operation unit 111.
  • the predicted image is used for generating a difference image signal in the difference operation unit 110 and for generating a reconstructed image signal in the addition operation unit 111.
  • the coding modes of the inter-picture prediction coding and the intra-picture prediction coding are controlled by the coding mode control unit 107, and are switched in units of macro blocks.
  • FIG. 2 shows the configuration of a video decoding device that implements the conventional video decoding method. It is a block diagram shown.
  • This video decoding apparatus includes a code string analysis unit 201, a prediction residual decoding unit 202, a deblocking processing unit 203, a picture memory 204, a decoding mode control unit 200. 5. It has an inter-screen predicted image generator 206 and an intra-screen predicted image generator 207.
  • inter prediction decoding There are two types of decoding methods: inter prediction decoding and intra prediction decoding.
  • inter-picture prediction decoding will be described first.
  • the prediction residual decoding unit 2022 performs image decoding processing such as inverse quantization and inverse frequency conversion on the input residual encoded signal, and outputs a residual decoded signal.
  • the addition operation unit 208 adds the residual decoded signal and the predicted image signal output from the inter-screen predicted image generation unit 206 to generate a decoded image signal.
  • the deblocking processing unit 203 reduces the distortion generated at the boundary between the blocks. Processing is performed.
  • the inter-screen predicted image generation unit 206 extracts a specified image area from one or more decoded pictures stored in the picture memory 204 and generates a predicted image. .
  • the predicted image is used by the addition operation unit 208 to generate a decoded image signal.
  • the decoded picture generated by the above series of processing is output as a display image signal in accordance with the timing displayed from the picture memory 204.
  • Switch 209 switches between intra-picture predictive decoding.
  • the intra prediction coding will be described.
  • the prediction residual decoding unit 2022 performs image decoding processing such as inverse quantization and inverse frequency conversion on the input residual encoded signal, and outputs a residual decoded signal.
  • the addition operation unit 208 adds the decoded residual signal to the predicted image signal output from the intra prediction image generation unit 207 to generate a decoded image signal.
  • the deblocking processing unit 203 performs processing for reducing distortion generated at a boundary between blocks.
  • the intra-screen predicted image generation unit 207 generates a predicted image with reference to the decoded image signals of the peripheral blocks in the same picture generated as the output of the addition operation unit 208. The predicted image is used in the addition operation unit 208 to generate a decoded image signal.
  • the decoded picture generated by the above series of processing is output as a display image signal in accordance with the timing displayed from the picture memory 204.
  • the decoding modes of the inter-picture prediction decoding and the intra-picture prediction decoding are controlled by the decoding mode control unit 205, and are switched in macroblock units.
  • FIG. 3 is a diagram for explaining a method of determining the type of filter used in the deblocking process.
  • F i Iter 4 A strong filter (here, F i Iter 4) is used for the part where block distortion is highly likely to occur, and a weak filter (here for F i Iter 4). F ⁇ Iter 0) is applied.
  • Figure 3 (a) shows the boundary of the block to which the filter is applied.
  • the center line shows the boundary of the block
  • the pixel indicated by Q on the right shows the pixel adjacent to the boundary in the target block.
  • the pixel indicated by P on the left side indicates the pixel adjacent to the boundary in the adjacent block.
  • FIG. 3 (b) is a table showing which filter is selected when the pixel P and the pixel Q in FIG. 3 (a) have conditions. For example, if the boundary is a vertical edge and either pixel P or pixel Q belongs to a block that has been subjected to intra prediction coding, Fiterl4 will be selected.
  • FMter 3 is selected. If one of the pixels P and Q belongs to a block having a coefficient other than 0 for the spatial frequency component converted by the frequency conversion, F i Iter 2 is selected. Also, if the pixels P and Q belong to the inter-picture predictive coded block and refer to different pictures, or refer to different motion vectors, then Fiterl 1 is selected. Will be done. If none of the above applies, Fi iter 0 will be selected.
  • Fig. 3 (b) shows an example of the filter selection method.
  • the number of filters and the selection conditions are not limited to these, and other cases can be handled in the same way. is there.
  • deblocking processing is also performed independently for each component. Applicable to standing.
  • loops (F 1 and F 4) are repeated for the number of pixels of the luminance component adjacent to the target block boundary.
  • the type of filter described above is selected (F2), and the filter is applied (F3).
  • the information on the type of the filter selected at this time is used to apply the filtering process to the pixel of the target luminance component, and at the same time, the storage area that can be referred to in the subsequent process (F5).
  • the above processing is applied eight times for a block consisting of 4 pixels in the horizontal direction and 4 pixels in the vertical direction, for example, because the boundary of the left vertical edge and the boundary of the upper horizontal edge are targeted for each block. Will be.
  • loops are performed by the number of pixels of the chrominance components adjacent to the target block boundary (F6 and F10), and each loop is executed.
  • the filter to be applied is determined according to the type of filter used for the luminance component in the color difference component.
  • the filter type applied at the pixel position of the corresponding luminance component is directly used from the storage area storing the information of the type of the filter determined in the processing of the luminance component.
  • the following formula is used to convert the pixel position of the target chrominance component to the pixel position of the corresponding luminance component (F7).
  • XL is a horizontal coordinate value of luminance
  • XC is a horizontal coordinate value of chrominance
  • YL is a symbol indicating a vertical coordinate value of luminance
  • YC is a symbol indicating a vertical coordinate value of chrominance.
  • the color difference A fat opening process is performed on the components.
  • FIG. 5 is a diagram for explaining a positional relationship between a luminance component and a color difference component.
  • the X symbol in the figure indicates the sample position of the luminance component, and the ⁇ symbol indicates the sample position of the chrominance component.
  • Fig. 5 (a) shows the positional relationship when thinning out to 12 in both the vertical and horizontal directions
  • Fig. 5 (b) shows the positional relationship when thinning out to 12 only in the horizontal direction
  • FIG. 5 (c) shows the positional relationship when no thinning is performed.
  • Equations 1 (a) and 1 (b) are used to calculate the pixel position of the corresponding luminance component in the deblocking processing of the chrominance component ⁇ )
  • Equations 1 (a) and 1 (b) are used to calculate the pixel position of the corresponding luminance component in the deblocking processing of the chrominance component ⁇ )
  • FIG. 6 shows the positional relationship between the frame structure and the field structure when the data is thinned to 1/2 in both the vertical and horizontal directions.
  • Figure 6 (a) shows the frame structure when the processing is performed by thinning out the color difference components
  • Fig. 6 (b) when it is replaced with the field structure.
  • the 0th, 2nd and 4th columns of the luminance component are assigned to the top field
  • the 1st, 3rd and 5th columns are assigned to the bottom field
  • the 0th and 2nd columns of the color difference component are assigned to the top field and the 1st column Is assigned to the bottom field.
  • Equation 1 ( a) and the filter type used for the luminance component at the pixel position converted using Equation 1 (b) was applied to the pixels of the chrominance component.
  • FDIS Joint Draft International Standard
  • FIG. 7 is a diagram for explaining the reference relationship at that time.
  • Fig. 7 (a) shows the relationship between the positions of the luminance component and the chrominance component when encoding and decoding are performed in the frame structure, and Fig.
  • L-0 indicates the position of the 0th column of the luminance component
  • C-0 indicates the position of the 0th column of the chrominance component.
  • encoding is performed by switching to a frame structure or field structure for each macroblock pair. It is also possible to do. Also, when encoding is performed in the field structure, different encoding modes can be used in the top field and the bottom field.
  • the top field is the intra-frame prediction coding mode and the bottom field is the inter-frame prediction coding mode
  • image quality degradation occurs in the color difference components belonging to the bottom field.
  • a strong filter is basically applied in the intra prediction coding mode
  • a weak filter is applied in the inter prediction coding mode.
  • weak filters should be applied.
  • the chrominance component belonging to the potato field has the luminance component belonging to the top field. Since the filter type is determined by referring to, a strong filter is applied. As a result, the image quality deteriorates in the color difference components belonging to the bottom field, and an unnatural image is displayed when displayed as an interlace.
  • the adjacent macroblock is coded in the field structure, and the top field and bottom field are coded. The same applies when the tom field is in a different encoding mode.
  • the type of filter applied to the chrominance component is determined by referring to the luminance component belonging to a different field. In some cases, there is a problem that an inappropriate filter type is applied. Disclosure of the invention
  • the present invention solves the above-mentioned conventional problem, and applies an optimal filter type in a deblocking process even when encoding and decoding an image displayed in interlace with a frame structure. It is an object of the present invention to provide a moving picture encoding method and a moving picture decoding method that enable the above.
  • a moving picture coding method is directed to a moving picture coding method in which a moving picture composed of an input luminance component and color difference components is divided into blocks and coded.
  • a predictive coding step of performing coding with reference to a coded area of the same picture or a different coded picture, and a coding method generated by the predictive coding step.
  • a reconstructed image generation unit that reconstructs the target picture using data
  • a deblocking step of filtering the reconstructed image generated in the reconstructed image generation step to reduce distortion by applying a filter to a block boundary.
  • the deblocking step includes: Applying a filter individually to the luminance component and the chrominance component, and selecting and applying the type of the filter to be applied to the luminance component based on the encoding information of the luminance component; , A filter belonging to the same field and selected for a luminance component corresponding to the color difference component is applied.
  • the moving picture decoding method is a moving picture decoding method for decoding moving picture constituted by a luminance component and a chrominance component into blocks and decoding the encoded moving picture data.
  • the type of the filter to be applied to the luminance component is selected and applied based on the coding information of the luminance component, and the same filter is applied to the chrominance component.
  • a selected filter is applied to a luminance component that belongs to the color difference component and belongs to the color difference component.
  • the luminance component and the chrominance component belonging to the same field are Since the same type of deblocking filter is applied, it is possible to generate an image that does not cause any discomfort when displayed as an interlace. Further, the configuration of the present invention can be easily incorporated because there are very few changes from the conventional configuration.
  • the present invention can be realized not only as such a moving picture coding method and a moving picture decoding method, but also as a feature included in such a moving picture coding method and a moving picture decoding method. It can also be realized as a moving image encoding device and a moving image decoding device provided with basic steps as means. Further, these steps can be realized as a program for causing a computer to execute the steps, or as moving image encoded data encoded by the moving image encoding method. Then, such a program and encoded video data can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
  • the moving picture coding method of the present invention since the same type of deblocking filter is applied to the luminance component and the chrominance component belonging to the same field, they are displayed as an interlace after decoding. In such a case, it is possible to perform encoding that generates an image that does not cause discomfort. Further, the configuration of the present invention can be easily incorporated because there are very few changes from the conventional configuration.
  • FIG. 1 is a block diagram showing a configuration of a conventional video encoding device.
  • FIG. 2 is a block diagram showing a configuration of a conventional video decoding device.
  • FIG. 3 is a schematic diagram for illustrating a method of determining the type of the deblocking filter.
  • FIG. 4 is a flowchart for explaining the flow of the deblocking process in the conventional video encoding device and video decoding device.
  • FIG. 5 is a schematic diagram showing the relationship between the sample positions of the color difference component and the luminance component.
  • FIG. 6 is another schematic diagram showing the relationship between the sample positions of the color difference component and the luminance component.
  • FIG. 7 is a schematic diagram showing a relationship when a pixel position of a color difference component is converted into a pixel position of a luminance component.
  • FIG. 8 is a flowchart for explaining the flow of the fat opening process in the video encoding device and the video decoding device according to the first embodiment.
  • FIG. 9 is another schematic diagram showing the relationship when the pixel position of the color difference component is converted to the pixel position of the luminance component.
  • FIG. 10 is a flowchart for explaining the flow of another deblocking process in the video encoding device and the video decoding device of the first embodiment.
  • FIG. 11 is another schematic diagram showing the relationship when the pixel position of the chrominance component is converted to the pixel position of the luminance component.
  • FIG. 12 is another schematic diagram showing a relationship when a pixel position of a chrominance component is converted into a pixel position of a luminance component.
  • FIG. 13 shows a program storing a program for realizing the moving picture coding method and the moving picture decoding method of each embodiment by a computer system.
  • A Explanatory diagram showing an example of the physical format of a flexible disk as a main body of a recording medium
  • FIG. 4 is an explanatory diagram showing a flexible disk
  • c is an explanatory diagram showing a configuration for performing recording and reproduction of the program on the flexible disk FD.
  • FIG. 14 is a block diagram showing the overall configuration of a content supply system that realizes a content distribution service.
  • FIG. 15 is a schematic diagram showing an example of a mobile phone.
  • FIG. 16 is a block diagram showing the internal configuration of a mobile phone.
  • Figure 17 is a block diagram showing the overall configuration of a digital broadcasting system.
  • the configuration of the moving picture encoding apparatus relating to the entire flow of the encoding processing according to the first embodiment of the present invention is completely the same as the conventional configuration described with reference to FIG.
  • the only difference from the conventional configuration is the deblocking processing method in the deblocking processing unit 105 in FIG.
  • the configuration of the video decoding device relating to the entire flow of the decoding process is completely the same as the conventional configuration described with reference to FIG. 2, and thus description thereof is omitted here.
  • the only difference from the conventional configuration is the deblocking processing method in the deblocking processing unit 203 in FIG.
  • the deblocking process differs depending on the method of thinning out the color difference components in the configuration of the moving image data to be input.
  • three types of thinning methods will be described.
  • (1) we explain the case of inputting moving image data in which the chrominance components are thinned out by 1 to 2 in both the vertical and horizontal directions, as shown in Fig. 5 (a).
  • the explanation is given for the case of inputting moving image data in which the color difference component is thinned out in the horizontal direction by 1 to 2;
  • Fig. 5 (c) A description will be given of a case where moving image data in which color difference components have not been thinned out is input.
  • the target block has been encoded and decoded as a frame structure.
  • FIG. 8 is a flowchart for explaining the flow of the deblocking process when a moving image in which the chrominance components have been thinned out in the vertical and horizontal directions by 1 to 2 is input. Since the target moving image data is managed separately for the luminance component and the chrominance component, the deblocking process is also applied to each component independently.
  • loops corresponding to the number of pixels of the luminance component adjacent to the target block boundary are turned (F 1 and F 4), and the target is set in each loop.
  • the type of the filter is selected using the coding information of the pixel of the luminance component to be changed (F2), and the filter is applied (F3).
  • the information on the type of the selected filter is stored in a storage area that can be used for applying the filtering process to the pixel of the target luminance component and that can be referred to in a later process. (F5). Border consisting of left vertical edge and upper horizontal edge for each block For example, if the block consists of 4 pixels in the horizontal direction and 4 pixels in the vertical direction, the above process will be applied eight times.
  • a method for determining the type of the above filter will be described with reference to FIG.
  • the filters are switched and used depending on the characteristics of the block boundaries.
  • a stronger filter here, F ier 4
  • a weak filter here, F i Iter 0
  • FIG. 3 (a) shows the boundary of the block to which the filter is applied.
  • the center line shows the boundary of the block
  • the pixel indicated by Q on the right shows the pixel adjacent to the boundary in the target block.
  • the pixel indicated by P on the left side indicates the pixel adjacent to the boundary in the adjacent block.
  • FIG. 3 (b) is a table showing which filter is selected when the pixel P and the pixel Q in FIG. 3 (a) have conditions. For example, if the boundary is a vertical edge and either the pixel P or the pixel Q belongs to a block that has been subjected to intra prediction coding, Fire 4 is selected.
  • Fig. 3 (b) shows an example of the filter selection method.
  • the number of filters and the selection conditions are not limited to these, and other cases can be handled in the same way. is there.
  • the information of the filter type determined by the above process is used to apply the filtering process to the pixel of the target luminance component, and is also stored in a storage area that can be referred to in the subsequent process. Keep it.
  • loops are performed by the number of pixels of the chrominance components adjacent to the target block boundary (F6 and F10), and each loop is executed.
  • the color difference component is
  • the filter to be applied is determined according to the type of filter used.
  • the filter type applied at the pixel position of the corresponding luminance component is directly used from the storage area storing the information of the type of the filter determined in the processing of the luminance component.
  • the pixel position of the target chrominance component is converted to the pixel position of the corresponding luminance component (F7a).
  • the pixel position information is converted so that when the target block is replaced with the field structure, the pixel position of the luminance component assigned to the same field as the field assigned to the pixel of the target chrominance component Is made.
  • the conversion is performed by using the following formula.
  • Equation 2 (b) represents an operator that returns the remainder after division.
  • the fat opening processing for the color difference component is performed.
  • the boundary consisting of the vertical edge on the left side and the boundary consisting of the upper horizontal edge are targeted.
  • the luminance component is a block consisting of 4 pixels in the horizontal direction and 4 pixels in the vertical direction, here the chrominance components are Since the example is described in the case of thinning out to 12 in both directions, the above processing is applied four times because the color difference component is 2 horizontal x 2 vertical pixels.
  • FIG. 9 is a diagram for explaining the relationship between the position of the pixel of the target chrominance component and the position of the pixel of the reference luminance component converted by Equations 2 (a) and 2 (b). is there.
  • Figure 9 (a) shows the luminance and chrominance components in the frame structure.
  • FIG. 9 (b) shows the relationship between the positions of the minutes and the positions of the luminance component and the color difference component when the image is replaced with a field structure.
  • L-0 indicates the position of the 0th column of the luminance component
  • C-0 indicates the position of the 0th column of the chrominance component.
  • the deblocking filter is applied to the color difference component C_1, it is instructed to refer to the luminance component L_3 from Equation 2 (b). If the pixel at that time is replaced with a field structure, it can be seen that the color difference component of C-1 belonging to the bottom field determines the type of filter by referring to the luminance component of L-3 belonging to the same bottom field. .
  • the luminance component of L ⁇ 2 is referred to from Equation 1 (b). I was learning.
  • the type of filter applied may differ for each field. In other words, the result greatly differs depending on whether the filter applied to the color difference component C_1 is used for the luminance component belonging to the top field or the one used for the luminance component belonging to the bottom field. I will. As a result, different filters are used for the luminance component and the chrominance component in the bottom field, and a gap occurs in the degree of correction of the pixel value.
  • the same type of deblocking filter is applied to the luminance component and the chrominance component constituting the same pixel in the same field, so that the interlacing is performed. It is possible to perform encoding and decoding so as to generate an image that does not cause discomfort when displaying as.
  • Equation 2 (a) and 2 (b) instead of using Equations 2 (a) and 2 (b) to convert the pixel position of the target chrominance component to the pixel position of the corresponding luminance component, The following equation can also be used.
  • XL is the horizontal coordinate value of luminance
  • XC is the horizontal coordinate value of chrominance
  • YL is the vertical coordinate value of luminance
  • YC is the symbol indicating the vertical coordinate value of chrominance.
  • Equation 2 (a 1) If the chrominance component belongs to the top field, Equation 2 (a 1) and Equation 2 (b),
  • Equation 2 (a)
  • FIG. 10 (a) is a flowchart for explaining the flow of the deblocking process when an image obtained by thinning out the color difference components only in the horizontal direction is input.
  • the only difference from FIG. 8 is the deblocking process for the chrominance components, and the description of the other processes is omitted.
  • the number of loops is equal to the number of chrominance pixels adjacent to the target block boundary (F6 and F10).
  • a filter to be applied is determined according to the type of the filter used for the luminance component.
  • the filter type applied at the pixel position of the corresponding luminance component is directly used from the storage area storing the information of the type of the filter determined in the process of the luminance component.
  • the pixel position of the target chrominance component is converted to the pixel position of the corresponding luminance component (F7b).
  • the conversion of the pixel position information is based on the position of the luminance component pixel assigned to the same field as the field assigned to the target chrominance component pixel when the target block is replaced with the field structure. Become Is made.
  • the color difference component is thinned out to 1 2 only in the horizontal direction, so the conversion is performed by using the following formula.
  • XL is the horizontal coordinate value of luminance
  • XC is the horizontal coordinate value of chrominance
  • Y is the vertical coordinate value of luminance
  • YC is the symbol indicating the vertical coordinate value of chrominance.
  • the fat opening processing for the color difference component is performed. Since the boundary consisting of the vertical edge on the left side and the boundary consisting of the upper horizontal edge is targeted for each block, for example, if the luminance component is a block consisting of 4 pixels in the horizontal direction and 4 pixels in the vertical direction, here the chrominance component is Since the example is described in the case where only the direction is thinned out to 12, the above process is applied six times because the color difference component is horizontal 2 ⁇ vertical 4 pixels.
  • FIG. 11 is a diagram for explaining the relationship between the position of the pixel of the target chrominance component and the position of the pixel of the reference luminance component converted by Equation 3 (a) and Equation 3 (b). .
  • Fig. 11 (a) shows the relationship between the position of the luminance component and the chrominance component in the frame structure
  • Fig. 11 (b) shows the position of the luminance component and the chrominance component when the image is replaced with the field structure. Shows the relationship.
  • L-0 indicates the position of the 0th column of the luminance component
  • C-0 indicates the position of the 0th column of the chrominance component.
  • the deblocking filter When applying the deblocking filter to the color difference component of C-1, it is instructed from Equation 3 (b) to refer to the luminance component of. If the pixel at that time is replaced with a field structure, the color difference component of C-1 belonging to the bottom field refers to the luminance component of L-1 belonging to the same bottom field to determine the filter type. I understand.
  • the same type of deblocking filter is used for the luminance component and the chrominance component constituting the same pixel in the same field. Since the filter is applied, it is possible to perform encoding and decoding so as to generate an image that does not cause discomfort when displaying as an interlace. (3) Without thinning
  • FIG. 10B is a flowchart for explaining the flow of the deblocking process when an image in which the chrominance components have not been thinned out is input. The only difference from FIG. 8 is the deblocking process for the chrominance components, and the description of the other processes is omitted.
  • the loop is executed by the number of chrominance pixels adjacent to the target block boundary (F6 and F10), and the filter is executed in each loop.
  • the type is selected (F8), and the filter is applied (F9).
  • a filter to be applied is determined according to the type of the filter used for the luminance component.
  • the filter type applied at the pixel position of the corresponding luminance component is directly used from the storage area storing the information of the type of the filter determined in the process of the luminance component.
  • the pixel position of the target chrominance component is converted into the pixel position of the corresponding luminance component (F7c).
  • the pixel position information is converted to the position of the pixel of the luminance component assigned to the same field as the field assigned to the pixel of the target chrominance component when the target block is replaced with the field structure It is done as follows.
  • the conversion is performed by using the following equation.
  • XL is a horizontal coordinate value of luminance
  • XC is a horizontal coordinate value of chrominance
  • YL is a symbol indicating a vertical coordinate value of luminance
  • YC is a symbol indicating a vertical coordinate value of chrominance.
  • the color difference The components are subjected to a deblocking process. Since the target is the boundary consisting of the vertical edge on the left side and the boundary consisting of the upper horizontal edge for each block, for example, if the luminance component is a block consisting of 4 pixels horizontally and 4 pixels vertically, here the chrominance component is thinned out. Since the example where no color difference is performed is described, the above process is applied eight times because the color difference component is 4 ⁇ 4 pixels in the horizontal direction.
  • FIG. 12 is a diagram for explaining the relationship between the position of the pixel of the target chrominance component and the position of the pixel of the reference luminance component converted by Equations 4 (a) and 4 (b). .
  • Fig. 12 (a) shows the relationship between the positions of the luminance component and the chrominance component in the frame structure
  • Fig. 12 (b) shows the position of the luminance component and the chrominance component when the image is replaced with the field structure. Shows the relationship.
  • L-0 indicates the position of the 0th column of the luminance component
  • C-0 indicates the position of the 0th column of the chrominance component.
  • the filter type is determined by referring to the luminance component of L-1 where the C-1 color difference component belonging to the bottom field belongs to the same bottom field. I understand.
  • the same type of deblocking filter is applied to the luminance component and the chrominance component constituting the same pixel in the same field. It is possible to perform encoding and decoding so as to generate an image that does not cause discomfort.
  • a program for realizing the configuration of the moving picture coding method or the moving picture decoding method described in each of the above embodiments is configured to be recorded on a storage medium such as a flexible disk.
  • the processing described in the embodiment can be easily implemented in an independent computer system. Is possible.
  • FIG. 13 is an explanatory diagram of a storage medium for storing a program for realizing the moving picture encoding method and the moving picture decoding method of each of the above-described embodiments using a computer system.
  • Fig. 13 (b) shows the appearance, cross-sectional structure, and flexible disk viewed from the front of the flexible disk
  • Fig. 13 (a) shows an example of the physical format of the flexible disk that is the recording medium body. Is shown.
  • the flexible disk FD is built in the case F, and a plurality of tracks Tr are formed concentrically from the outer circumference toward the inner circumference on the surface of the disk, and each track has 16 sectors in the angular direction. It is divided into S e. Therefore, in the flexible disk storing the above-mentioned program, the moving picture coding method as the above-mentioned program is recorded in an area allocated on the above-mentioned flexible disk FD.
  • FIG. 13 (c) shows a configuration for recording and reproducing the above program on a flexible disk FD.
  • the moving picture coding method or the moving picture decoding method as the above program is written from the computer system Cs via the flexible disk drive FDD.
  • the program is read out from the flexible disk by a flexible disk drive and the computer is used. Transfer to system.
  • the description has been made using a flexible disk as a recording medium.
  • the same description can be made using an optical disk.
  • the recording medium is not limited to this, and any other recording medium, such as an IC card or a ROM cassette, capable of recording a program can be used. Further, an application example of the moving picture coding method and the moving picture decoding method described in the above embodiment and a system using the same will be described.
  • FIG. 14 is a block diagram showing the overall configuration of a content supply system ex100 for realizing a content distribution service.
  • the communication service providing area is divided into desired sizes, and base stations ex107 to ex110, which are fixed radio stations, are installed in each cell.
  • This content supply system ex100 is, for example, connected to the Internet ex101 by an Internet service provider ex102 and a telephone network ex104, and base stations ex107 to ex101. 10 via computer ex 1 11, PDA (persona I digital assistant) ex 1 12, camera ex l 13, mobile phone ex l 14, mobile phone with camera ex 1 15 etc. Devices are connected.
  • PDA persona I digital assistant
  • each device may be directly connected to the telephone network ex104 without going through the base stations ex107 to ex110, which are fixed wireless stations.
  • the camera ex113 is a device that can shoot moving images such as a digital video camera.
  • PDC Personal Digital Communications
  • CDMA Code Division Multiple Access
  • W-CDMA Wideband-Code Division Multiple Access
  • GSM Global System for Mobile Communications
  • PHS Personal Handyphone System
  • the streaming server ex 103 is connected from the camera ex 113 via the base station ex 109 and the telephone network ex 104, and the user can use the camera ex 103 to use the streaming server ex 103. Live distribution based on coded data to be transmitted Etc. become possible.
  • the encoding process of the photographed data may be performed by the excel 13 or may be performed by a server or the like that performs the data transmission process.
  • moving image data captured by the camera ex116 may be transmitted to the streaming server ex103 via the computer ex111.
  • the camera ex1 16 is a device that can shoot still images and moving images such as digital cameras. In this case, the encoding of the moving image data may be performed by the camera ex111 or the computer ex111.
  • the encoding process is performed in the LSI ex117 of the computer ex111 and the camera ex116.
  • the software for moving picture coding and decoding may be incorporated into any storage medium (CD-ROM, flexible disk, hard disk, etc.) which is a recording medium readable by a computer such as ex11.
  • video data may be transmitted using a camera-equipped mobile phone exl15.
  • the moving image data at this time is data that has been encoded by the LSI included in the mobile phone ex15.
  • the content for example, a video image of a live music taken by the user with the camera exl13, the camera exl16, etc., according to the above-described embodiment is used.
  • the encoding processing is performed, and the streaming server ex103 transmits the content data to the requesting client, while transmitting the content data to the streaming server ex103.
  • the client include a computer exl 11, a PDA exl 12, a camera exl 13, and a mobile phone exl 14 which can decode the above encoded data. is there.
  • the content supply system ex1000 can receive and reproduce the encoded data at the client, and further, receive and decode the encoded data at the client in real time, and reproduce the encoded data. This makes it possible to implement personal broadcasting.
  • the encoding and decoding of each device constituting this system may be performed using the moving picture coding apparatus or the moving picture decoding apparatus described in each of the above embodiments.
  • a mobile phone will be described as an example.
  • FIG. 15 is a diagram showing the mobile phone ex115 using the moving picture coding method and the moving picture decoding method described in the above embodiment.
  • the mobile phone ex l 15 has an antenna ex 210 for transmitting and receiving radio waves to and from the base station ex l 10, a power camera part ex 20 03 capable of taking images and still images of a CCD camera, etc.
  • the display unit ex202 such as a liquid crystal display, which displays decoded data of the video captured by the camera unit ex203, the video received by the antenna ex201, etc., and the operation keys eX204 Exposed body ex.208 for voice output, voice input unit ex.205 such as microphone for voice input, data of captured video or still image Recording media ex207 for storing encoded data or decoded data such as received mail data, moving image data or still image data, and mobile phone exl15 It has a slot part ex206 to make it possible to mount the recording medium ex207
  • the recording media ex207 is a type of EEPROM (Electrically Erasable and Programmable Read Only Memory), a non-volatile memory that can be electrically rewritten and erased in a plastic case such as an SD card. Is stored.
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the mobile phone ex 115 will be described with reference to FIG.
  • the mobile phone ex l 15 is provided with a power supply circuit for a main control unit ex 3 11 1 that controls the respective parts of the main body unit including the display unit ex 202 and the operation keys ex 204 as a whole.
  • the recording / reproducing unit ex307, the modulation / demodulation circuit unit ex306 and the audio processing unit ex305 are connected to each other via a synchronous bus ex310.
  • the power supply circuit unit ex310 is configured to supply power to each unit from a battery pack when a call is ended and a power key is turned on by a user operation. Start 1 15 to an operable state.
  • the mobile phone ex115 receives the voice signal collected by the voice input unit ex205 in the voice call mode based on the control of the main control unit ex311, which comprises a CPU, ROM, RAM, etc. It is converted into digital audio data by the audio processing unit ex305, which is subjected to spread spectrum processing by the modulation / demodulation circuit unit ex306, and digital / analog conversion processing and frequency by the transmission / reception circuit unit ex301. After performing the conversion process, the signal is transmitted via the antenna ex201. Further, the mobile phone ex115 amplifies the received data received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog digital conversion processing, and performs modulation and demodulation in the ex demodulator circuit section ex306. After despreading the spectrum and converting it into analog audio data by an audio processing unit ex305, this is output via an audio output unit ex208.
  • the main control unit ex311 which comprises a CPU, ROM, RAM, etc. It is converted into digital audio data by the audio processing unit ex305, which is subjecte
  • the text data of the e-mail input by operating the operation key eX204 on the main unit is transmitted via the operation input control unit ex304.
  • the main control unit ex3111 performs spread spectrum processing on the text data in the modulation and demodulation circuit unit ex306, and performs digital analog conversion processing and frequency conversion processing in the transmission and reception circuit unit ex301. It transmits to the base station ex110 via the antenna ex210.
  • the image data captured by the camera unit ex203 is transferred via the camera writer interface unit ex303. And supplies it to the image encoding unit ex312.
  • the image data captured by the camera unit ex203 is displayed on the display unit ex203 via the camera interface unit ex303 and the LCD control unit ex302. It is also possible to display directly on 02.
  • the image encoding unit ex312 has a configuration provided with the moving image encoding device described in the present invention.
  • the image encoding unit ex312 converts the image data supplied from the camera unit ex203 into the moving image encoding unit described in the above embodiment.
  • the image data is converted into encoded image data by performing compression encoding according to the encoding method used in the device, and is transmitted to the demultiplexing unit ex308.
  • the mobile phone ex115 also converts the voice collected by the voice input unit ex205 during imaging by the camera unit ex203 into digital voice data via the voice processing unit ex305. To the demultiplexing unit ex308.
  • the demultiplexing unit ex308 multiplexes the encoded image data supplied from the image encoding unit ex312 and the audio data supplied from the audio processing unit ex305 in a predetermined method, and obtains the resulting multiplex.
  • the modulated data is subjected to spread spectrum processing in the modulation and demodulation circuit section ex306, subjected to digital analog conversion processing and frequency conversion processing in the transmission / reception circuit section ex301, and then transmitted via the antenna ex201. .
  • the received data received from the base station ex110 via the antenna ex201 is scanned by the modem circuit ex306.
  • the demultiplexing process is performed, and the resulting multiplexed data is sent to the demultiplexing unit ex308.
  • the demultiplexing unit ex308 demultiplexes the multiplexed data to obtain a bit stream of the re-image data. Audio data bitstream,
  • the coded image data is supplied to the image decoding unit ex309 via the synchronous bus ex313 and the audio data is supplied to the audio processing unit ex305.
  • the image decoding unit ex309 has a configuration provided with the moving image decoding device described in the present invention, and corresponds to the encoding method shown in the above-described embodiment in which the bit stream of image data is encoded.
  • the video data is generated by decoding by the decoding method and supplied to the display unit ex202 via the LCD control unit ex302 so that the moving image file linked to the homepage can be obtained. Is displayed.
  • the audio processing unit ex305 converts the audio data into analog audio data, and then supplies the analog audio data to the audio output unit ex208, thereby generating, for example, a moving image file linked to a homepage.
  • the included audio data is reproduced.
  • the bit stream of the video information is transmitted to the communication or broadcasting satellite ex410 via radio waves.
  • the broadcasting satellite ex410 receiving this transmits a radio wave for broadcasting, receives this radio wave with a home antenna ex406 having a satellite broadcasting receiving facility, and sets a television (receiver) ex401 or a set.
  • the bitstream is decoded and reproduced by a device such as a top box (STB) ex407.
  • the playback device ex4003 that reads and decodes a bitstream recorded on storage media ex402, such as GD or DVD, which is a recording medium, also employs the moving picture decoding device described in the above embodiment. It is possible to implement. In this case, the reproduced video signal is displayed on the monitor ex404. Also, cable for cable TV ex405 or satellite / terrestrial A configuration is also conceivable in which a video decoding device is mounted in the set-top box ex 407 connected to the wave broadcasting antenna ex 406 and is reproduced on the TV monitor ex 408. At this time, the video decoding device may be incorporated in the television instead of the set-top box.
  • a signal is received from a satellite ex 4 10 or a base station ex 107 by a car ex 4 12 having an antenna ex 4 11 1, and the power excursion of the car ex 4 1 2 ⁇ It is also possible to play a moving image on a display device such as 4 13.
  • an image signal can be encoded by the moving image encoding device described in the above embodiment and recorded on a recording medium.
  • a recorder eX420 such as a DVD recorder that records image signals on a DVD disc eX421 and a disc recorder that records data on a hard disk.
  • it can be recorded on the SD force e x 4 2 2. If the recorder ex420 has the video decoding device shown in the above embodiment, it reproduces the image signal recorded on the DVD disc eX421 and the SD card eX422, and It can be displayed on the monitor ex408.
  • the configuration of the power navigation section ex 4 13 is, for example, the configuration shown in FIG. 16 in which the camera section ex 203, the camera interface section ex 303, and the image encoding section e X31 are included.
  • a configuration excluding 2 is conceivable, and the same is conceivable for a computer ex111 or a television (receiver) ex401.
  • the above-mentioned terminals such as the mobile phone ex114 include three types of terminals: a transmitting / receiving terminal having both an encoder and a decoder, a transmitting terminal having only an encoder, and a receiving terminal having only a decoder. Is possible.
  • the moving picture coding method or the moving picture decoding method shown in the above embodiment can be used for any of the above-mentioned devices and systems. The effect can be obtained. Further, the present invention is not limited to the above embodiment, and various changes or modifications can be made without departing from the scope of the present invention.
  • Each functional block in the block diagrams shown in FIGS. 1 and 2 is typically realized as an LSI as an integrated circuit.
  • This LSI may be made into one chip or a plurality of chips. (For example, functional blocks other than memory may be integrated into a single chip.)
  • the LSI is used, but depending on the degree of integration, it may also be called an IC, system LSI, super LSI, or ultra LSI. is there.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. After manufacturing LSI, it is possible to use a Field Programmable Gate Array (FPGA) that can be programmed or a reconfigurable controller that can reconfigure the connection and settings of the circuit cells inside l_SI ⁇ .
  • FPGA Field Programmable Gate Array
  • each picture constituting an input picture is coded by, for example, a mobile phone, a DVD device, and a personal computer. This is useful as a method for outputting as encoded data or decoding this encoded video data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

輝度成分に対して適用したデブロッキングフィルタを色差成分で参照して使用する際に、対象とする色差成分の画素位置を同じフィールドに属する輝度成分の画素位置にあたるように変換（Ｆ７ａ）して参照することにより、インターレースとして表示したときに、輝度成分と色差成分とが同じ強さでフィルタ処理が施されることになり、より自然な画像を生成することを可能とする。

Description

明 細 書 動画像符号化方法および動画像復号化方法 技術分野
本発明は、 輝度成分と色差成分とによって構成される動画像信号をブ ロックに分割して符号化する動画像符号化方法、 および符号化された符 号化データ を復号化する動画像復号化方法に関するものである。 背景技術
近年、 音声、 画像、 その他の画素値を統合的に扱うマルチメディア時 代を迎え、 従来からの情報メディア、 つまり新聞、 雑誌、 テレビ、 ラジ ォ、 電話等の情報を人に伝達する手段がマルチメディアの対象と して取 リ上げられるようになつてきた。 一般に、 マルチメディアとは、 文字だ けでなく 、 図形、 音声、 特に画像等を同時に関連づけて表すことをいう が、 上記従来の情報メディアをマルチメディアの対象とするには、 その 情報をディ ジタル形式にして表すことが必須条件となる。
と ころが、 上記各情報メディァの持つ情報量をディ ジタル情報量と し て見積もってみると、 文字の場合 1 文字当た りの情報量は 1 ~ 2バイ ト であるのに対し、 音声の場合 1秒当た り 6 4 kbits (電話品質）、 さ らに 動画については 1 秒当たリ 1 0 OMbits (現行テレビ受信品質） 以上の情 報量が必要となリ、 上記情報メディアでその膨大な情報をディ ジタル形 式でそのまま极う ことは現実的では無い。 例えば、 テレビ電話は、 6 4 kbps〜 1 . 5 bpsの伝送速度を持つサービス総合ディ ジタル網 （ I S D N ntegrated Services Digital Network) によってすでに実用" (匕され ているが、 テレビ · カメラの映像をそのまま I S D Nで送ることは不可 能である。
そこで、 必要となってくるのが情報の圧縮技術であり、 例えば、 亍レ ビ電話の場合、 I T U— T (国際電気通信連合 電気通信標準化部門） で国際標準化された H . 2 6 1 ゃ1~1. 2 6 3規格の動画圧縮技術が用い られている。 また、 M P E G _ 1 規格の情報圧縮技術によると、 通常の 音楽用 C D (コンパク ト ' ディスク） に音声情報とともに画像情報を入 れることも可能となる。
ここで、 M P E G (Moving Picture Experts Group) とは、 動画像信 号のディジタル圧縮の国際規格であり、 M P E G— 1 は、 動画像信号を 1 . 5Mbpsまで、 つまりテレビ信号の情報を約 1 0 0分の 1 にまで圧縮 する規格である。 また、 M P E G— 1 規格を対象とする伝送速度が主と して約 1 . 5 Mbpsに制限されていることから、 さらなる高画質化の要求 をみたすべく規格化された M P E G— 2では、 動画像信号が 2 ~ 1 5 Mbpsに圧縮される。
さらに現状では、 M P E G— 1 ， M P E G— 2と標準化を進めてきた 作業グループ ( I S O / I E C J T C 1 /S C 2 9 /W G 1 1 ) によ つて、 より圧縮率が高い M P E G— 4が規格化された。 M P E G— 4で は、当初、低ビッ トレートで効率の高い符号化が可能になるだけでなく、 伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤リ耐 性技術も導入されている。 また、 現在は、 I S OZ I E Cと I T U— T の共同で次世代画面符号化方式と して、 H. 2 6 4の標準化活動が進ん でいる。
一般に動画像の符号化では、 時間方向および空間方向の冗長性を削減 することによって情報量の圧縮を行う。 そこで時間的な冗長性の削減を 目的とする画面間予測符号化では、 前方または後方のピクチャを参照し てブロック単位で動きの検出および予測画像の作成を行い、 得られた予 測画像と符号化対象のプロックとの差分値に対して符号化を行う。 また 空間的な冗長性の削減を目的とする画面内予測符号化では、 周辺の符号 化済みプロックの画素情報から予測画像の生成を行い、 得られた予測画 像と符号化対象のブロックとの差分値に対して符号化を行う。
ここで、 ピクチャとは、 1 枚の画面を表す用語であり、 フ レーム構造 として符号化する場合は 1 枚のフ レームを意味し、 フィール ド構造と し て符号化する場合は 1枚のフィール ドを意味する。
各々のピクチャはマクロブロックと呼ばれる例えば水平 1 6 X垂直 1 6画素のブロックに分割されブロック単位で処理が行われる。 フィ一ル ド構造のピクチャは全てのマクロブロックをフィールドマクロブロック と して符号化を行う。 一方、 フレーム構造のピクチャは全てのマクロブ ロックをフレームマクロブロックと して符号化を行うだけでなく、 上下 に連続する 2つのマクロブロックを 1 つの単位 （マクロブロックペア） と してフレームまたはフィールドに切り替えて符号化を行うことも可能 である。
図 1 は従来の動画像符号化方法を実現する動画像符号化装置の構成を 示すブロック図である。 この動画像符号化装置は、 ピクチャメモリ 1 0 1 、 予測残差符号化部 1 0 2、 符号列生成部 1 0 3、 予測残差復号化部 1 0 4、 デブロッキング処理部 1 0 5、 ピクチャメモリ 1 0 6、 符号化 モー ド制御部 1 0 7、 画面間予測画像生成部 1 0 8、 画面内予測画像生 成部 1 0 9を備えている。
符号化対象となる画像列は表示を行う順にピクチャ単位でピクチヤメ モリ 1 0 1 に入力され、 符号化を行う順にピクチャの並び替えを行われ る。 さらに各々のピクチャはマクロブロックに分割され以降の処理が適 用される。
符号化方法は大きく分けて、 画面間予測符号化および画面内予測符号 化の 2種類がある。 ここではまず始めに画面間予測符号化について説明 する。
ピクチャメモリ 1 0 1 から読み出された入力画像信号は差分演算部 1 1 0に入力され、 画面間予測画像生成部 1 0 8の出力である予測画像信 号との差分を取ることによって得られる差分画像信号を予測残差符号化 部 1 0 2に出力する。 予測残差符号化部 1 0 2では周波数変換、 量子化 等の画像符号化処理を行い残差信号を出力する。 残差信号は予測残差復 号化部 1 0 4に入力され、 逆量子化、 逆周波数変換等の画像復号化処理 を行い残差復号化信号を出力する。 加算演算部 1 1 1 では前記残差復号 化信号と予測画像信号との加算を行い再構成画像信号を生成する。 再構 成画像信号は参照用のピクチャと してピクチャメモリ 1 0 6に格納され る前に、 デブ口ッキング処理部 1 0 5において符号化を行う際に分割さ れたブロックとブロックとの境界に発生する歪を緩和するための処理が 行われる。
一方、 ピクチャメモリ 1 0 1 から読み出されたマクロブロック単位の 入力画像信号は画面間予測画像生成部 1 0 8にも入力される。ここでは、 ピクチャメモリ 1 0 6に格納されている 1 枚もしくは複数枚の符号化済 みピクチャを探索対象と し、最も入力画像信号に近い画像領域を検出し、 それを予測画像と して出力する。 前記予測画像は差分演算部 1 1 0にお いて差分画像信号を生成するため、 および加算演算部 1 1 1 において再 構成画像信号を生成するために使用される。
上記の一連の処理によって出力された各種の符号化情報に対して符号 列生成部 1 0 3において可変長符号化を施すことにより、 符号化処理に よって出力される符号列 （動画像符号化データ） が得られる。
以上の処理の流れは画面間予測符号化を行った場合の動作であつたが、 スィッチ 1 1 2によって画面内予測符号化との切り替えがなされる。 以 下、 画面内予測符号化について説明する。
ピクチャメモリ 1 0 1 から読み出された入力画像信号は差分演算部 1 1 0に入力され、 画面内予測画像生成部 1 0 9の出力である予測画像信 号との差分を取ることによって得られる差分画像信号を予測残差符号化 部 1 0 2に出力する。 予測残差符号化部 1 0 2では周波数変換、 量子化 等の画像符号化処理を行い残差信号を出力する。 残差信号は予測残差復 号化部 1 0 4に入力され、 逆量子化、 逆周波数変換等の画像復号化処理 を行い残差復号化信号を出力する。 加算演算部 1 1 1 では前記残差復号 化信号と予測画像信号との加算を行い再構成画像信号を生成する。 再構 成画像信号は参照用のピクチャと してピクチャメモリ 1 0 6に格納され る前に、 デブロッキング処理部 1 0 5において符号化を行う際に分割さ れたブロックとブロックとの境界に発生する歪を緩和するための処理が 行われる。
—方、 ピクチャメモリ 1 0 1 から読み出されたマクロブロック単位の 入力画像信号は画面内予測画像生成部 1 0 9にも入力される。ここでは、 加算演算部 1 1 1 の出力と して生成された同一ピクチャ内の周辺ブロッ クの再構成画像信号を参照して予測画像を生成する。 前記予測画像は差 分演算部 1 1 0において差分画像信号を生成するため、 および加算演算 部 1 1 1 において再構成画像信号を生成するために使用される。
上記の一連の処理によって出力された各種の符号化情報に対して符号 列生成部 1 0 3において可変長符号化を施すことにより、 符号化処理に よって出力される符号列が得られる。
なお、 画面間予測符号化および画面内予測符号化の各符号化モードは 符号化モ一ド制御部 1 0 7によって制御され、 マクロプロック単位で切 リ替えられる。
図 2は従来の動画像復号化方法を実現する動画像復号化装置の構成を 示すブロック図である。この動画像復号化装置は、符号列解析部 2 0 1 、 予測残差復号化部 2 0 2、 デブロッキング処理部 2 0 3、 ピクチャメモ リ 2 0 4、 復号化モ一ド制御部 2 0 5、 画面間予測画像生成部 2 0 6、 画面内予測画像生成部 2 0 7を備えている。
まず入力された符号列 （動画像符号化データ） から符号列解析部 2 0 1 によって各種の情報が抽出され、 復号化モードに関する情報は復号化 モード制御部 2 0 5に、 残差符号化信号は予測残差復号化部 2 0 2にそ れぞれ出力される。
復号化方法には画面間予測復号化および画面内予測復号化の 2種類が ある。 ここではまず始めに画面間予測復号化について説明する。
予測残差復号化部 2 0 2では入力された残差符号化信号に対して、 逆 量子化、 逆周波数変換等の画像復号化処理を施し残差復号化信号を出力 する。 加算演算部 2 0 8では前記残差復号化信号と画面間予測画像生成 部 2 0 6から出力される予測画像信号との加算を行い復号化画像信号を 生成する。 復号化画像信号は参照用および表示用のピクチャとしてピク チヤメモリ 2 0 4に格納される前に、 デブロッキング処理部 2 0 3にお いてブロックとブロックとの境界に発生する歪を緩和するための処理が 行われる。
—方、 画面間予測画像生成部 2 0 6では、 ピクチャメモリ 2 0 4に格 納されている 1 枚もしくは複数枚の復号化済みピクチャから、 指定され た画像領域を取り出して予測画像を生成する。 前記予測画像は加算演算 部 2 0 8において復号化画像信号を生成するために使用される。
上記の一連の処理によって生成された復号化済みピクチャはピクチャ メモリ 2 0 4から表示されるタイミングに従って表示用画像信号と して 出力される。
以上の処理の流れは画面間予測復号化を行った場合の動作であつたが スィツチ 2 0 9によって画面内予測復号化との切り替えがなされる。 以 下、 画面内予測符号化について説明する。
予測残差復号化部 2 0 2では入力された残差符号化信号に対して、 逆 量子化、 逆周波数変換等の画像復号化処理を施し残差復号化信号を出力 する。 加算演算部 2 0 8では前記残差復号化信号と画面内予測画像生成 部 2 0 7から出力される予測画像信号との加算を行い復号化画像信号を 生成する。 復号化画像信号は表示用のピクチャと してピクチャメモリ 2 0 4に格納される前に、 デブロッキング処理部 2 0 3においてブロック とブロックとの境界に発生する歪を緩和するための処理が行われる。 —方、 画面内予測画像生成部 2 0 7では、 加算演算部 2 0 8の出力と して生成された同一ピクチャ内の周辺ブロックの復号化画像信号を参照 して予測画像を生成する。 前記予測画像は加算演算部 2 0 8において復 号化画像信号を生成するために使用される。
上記の一連の処理によって生成された復号化済みピクチャはピクチャ メモリ 2 0 4から表示されるタイ ミングに従って表示用画像信号と して 出力される。
なお、 画面間予測復号化および画面内予測復号化の各復号化モードは 復号化モード制御部 2 0 5によつて制御され、 マクロブロック単位で切 リ替えられる。
次に、 デブロッキング処理部 1 0 5および 2 0 3における処理につい て詳しく説明する。 なお、 符号化処理における処理内容、 およぴ復号化 処理における処理内容は全く共通であるため、 ここではまとめて説明す る。
図 3はデブロッキング処理において使用するフィルタの種類を決定す る方法を説明するため図である。 ここでは例と して 5種類のフィルタが あるものと し、 ブロック境界の特性により前記フィルタを切り替えて使 用する。 プロック歪が顕著に発生する可能性の高い部分にはよリ強いフ ィルタ （ここでは F i I ter 4 ) 力《、 ブロック歪が顕著に発生する可能性の 低い部分には弱いフィルタ （ここでは F ί I te r 0 ) が適用されるように構 成されている。
図 3 ( a ) はフィルタを適用するブロックの境界を図示したものであ リ、 中央の線がブロックの境界を、 右側の Qで示される画素は対象プロ ック内の境界に隣接する画素を、 左側の Pで示される画素は隣接ブロッ ク内の境界に隣接する画素を示している。 図 3 ( b ) は、 図 3 ( a ) に おける画素 Pと画素 Qがどのような条件を持っていた場合にどのフィル タが選択されるかを示した表である。 たとえば、 境界が垂直エッジで画 素 Pと画素 Qのどちらかが画面内予測符号化されたプロックに属する場 合は F i I te r 4が選択されることになる。 同様に、 境界が水平エツジで画 素 Pと Qのどちらかが画面内予測符号化されたブロックに属する場合は F M ter 3が選択されることになる。 また、 画素 Pと Qのどちらかが周波 数変換により変換された空間周波数成分の係数が 0以外の係数を持つブ ロックに属する場合は F i I ter 2が選択されることになる。 また、 画素 P と Qが画面間予測符号化されたプロックに属し、 それぞれ異なるピクチ ャを参照していた場合、 または異なる動きべク トルを参照していた場合 は F i I te r 1 が選択されることになる。 また、 上記のいずれにも該当しな かった場合は F i I te r 0が選択されることになる。
なお、 図 3 ( b ) における表はフィルタの選択方法の一例を示したも のであり、 フィルタの個数および選択条件はこれに限ったものでなく、 それ以外の場合でも同様に扱うことが可能である。
次に、 デブロッキング処理の流れを図 4のフローチャートを用いて説 明する。 対象とするデータは輝度のデータと色差のデータとに分かれて 管理されているため、 デブロッキング処理もそれぞれの成分に対して独 立に適用される。
まず、 輝度成分に対してデブロッキング処理を施すために、 対象とす るブロック境界に隣接する輝度成分の画素の個数だけのループを回し ( F 1 および F 4)、各ループの中で図 3を用いて説明したフィルタの種 類の選択を行い （ F 2 )、 フィルタを適用する （ F 3 )。 このとき選択さ れたフィルタの種類の情報は、 対象とする輝度成分の画素に対してフィ ルタ リング処理を適用するために使用すると同時に、 後の処理で参照す ることを可能とする記憶領域に格納しておく （ F 5 )。 ブロックごとに左 側の垂直エッジからなる境界と上側の水平エッジからなる境界とを対象 とするため、例えば水平 4 X垂直 4画素からなるブロックであった場合、 上記の処理が 8回適用されることになる。
次に、 色差成分に対してデブロッキング処理を施すために、 対象とす るブロ ック境界に隣接する色差成分の画素の個数だけのループを回し ( F 6および F 1 0 )、各ループの中でフィルタの種類の選択を行い （ F 8 )、 フィルタを適用する （ F 9 )。 このとき、 色差成分では輝度成分で 使用したフィルタの種類にしたがって適用されるフィルタが決定される。 つまり輝度成分での処理において決定されたフィルタの種類の情報が格 納された記憶領域から、 対応する輝度成分の画素位置で適用されたフィ ルタの種類をそのまま参照して使用する。 そのとき、 対象とする色差成 分の画素位置から対応する輝度成分の画素位置に変換する （ F 7 ) ため に下記の式を使用する。 ただし、 X Lは輝度の水平座標値、 X Cは色差 の水平座標値、 Y Lは輝度の垂直座標値、 Y Cは色差の垂直座標値を示 す記号とする。
X L = 2 X C (式 1 ( a ))
Y L = 2 X Y C (式 1 ( b ))
上記の処理によって決定されたフィルタを適用することにより、 色差 成分に対するデブ口ッキング処理がなされる。
つぎに、 輝度成分と色差成分との関係について説明する。 図 5は、 輝 度成分と色差成分の位置関係を説明するための図である。 図中の X記号 は輝度成分のサンプル位置、 〇記号は色差成分のサンプル位置を示して いる。
一般に人間の目は色差成分の変化に対して鈍感であるため、 色差成分 を間引いて使用することが多い。 間引きの方法と しては様々なものがあ るが、 図 5 ( a ) は縦横方向ともに 1 2に間引く場合の位置関係、 図 5 ( b ) は横方向のみ 1 2に間引く場合の位置関係、 図 5 ( c ) は間 引きを行わない場合の位置関係を示している。 図 5 ( a ) に示すような 位置関係の場合、 色差成分のデブロッキング処理において対応する輝度 成分の画素位置を算出する場合に式 1 ( a ) および式 1 ( b ) が使用さ れ^) とになる。
さらに図 6では、 縦横方向ともに 1 / 2に間引く場合のフレーム構造 とフィールド構造とでの位置の関係を表している。 色差成分を間引いて 処理を行った場合のフレーム構造は図 6 ( a ) のようになリ、 それをフ ィ一ルド構造に置き換えると図 6 ( b ) のようになる。 つまり、 輝度成 分の 0、 2、 4列目はトップフィールドに、 1 、 3、 5列目はボトムフ ィールドに割り当てられ、色差成分の 0、 2列目は トップフィ一ルドに、 1 列目はボトムフィールドに割り当てられている。 （ ITU- T Rec. H.264 | IS0/IEC 14496 - 10 AVC Draft Text of Final Draft International Standard (FDIS) of Joint Video Specification (2003- 3-31 )参照） しかしながら前記従来の構成では、 式 1 ( a ) および式 1 ( b ) を用 いて変換した画素位置の輝度成分で使用したフィルタの種類を色差成分 の画素に適用していたため、 インタ一レースで表示する画像に対してフ レーム構造で符号化および復号化する場合に、 ボトムフィール ドの色差 成分が.トップフィ一ルドの輝度成分を参照して適用するフィルタを決定 するという不整合が発生するという課題を有していた。 図 7はそのとき の参照関係を説明するための図である。 図 7 ( a ) はフ レーム構造で符 号化および復号化したときの輝度成分と色差成分の位置の関係を、 図 7 ( b ) は前記画像をフィール ド構造に置き換えたときの輝度成分と色差 成分の位置の関係を示している。 L— 0は輝度成分の 0列目の位置を、 C— 0は色差成分の 0列目の位置を表す。 C— 1 の色差成分に対してデ ブロッキングフィルタを適用する場合、 式 1 ( b ) より、 L— 2の輝度 成分を参照することが指示されている。 しかし、 そのときの画素をフィ —ルド構造に置き換えると、 ボトムフィ一ルドに属する C— 1 の色差成 分がトップフィールドに属する L— 2の輝度成分を参照してフィルタの 種類を決定していることが分かる。
上記にも述べたが、 フレーム構造のピクチャでは全てのマクロブロッ クをフレームマクロブロックと して符号化を行うだけでなく、 マクロブ 口ックペア単位にフレーム構造またはフィ一ルド構造に切り替えて符号 化を行うことも可能である。 また、 フィール ド構造で符号化する場合に は、 トップフィールドおよびボトムフィールドにおいて異なる符号化モ ードを使用することが可能である。
よって、 例えばトップフィ一ルドが画面内予測符号化モードであリ、 ボトムフィールドが画面間予測符号化モードであるというような場合に、 ボトムフィールドに属する色差成分において画質劣化が発生することに なる。 すなわち、 基本的に画面内予測符号化モードであれば強いフィル タが適用され、 画面間予測符号化モードであれば弱いフィルタが適用さ れることになるので、 ボトムフィールドに属する色差成分においては本 来弱いフィルタが適用されるべきである。 ところが、 上記のようにポト ムフィ一ルドに属する色差成分ではトップフィールドに属する輝度成分 を参照してフィルタの種類を決定することになるために、 強いフィルタ が適用されることになる。 これによつて、 ボ トムフィールドに属する色 差成分において画質劣化が発生することになリ、 インタ一レースと して 表示するときに違和感のある画像になって しまう。
また、 対象マク ロブロ ックの トップフィール ドおよびボ トムフィ一ル ドが同じ符号化モー ドであっても、 隣接するマク ロブロ ックがフィール ド構造で符号化され、 トップフィ一ル ドおよびボ トムフィ一ル ドが異な る符号化モー ドである場合も、 同様である。
以上のように、 インターレースで表示する画像に対してフ レーム構造 で符号化およぴ復号化する場合において、 色差成分に適用するフィルタ の種類を異なるフィール ドに属する輝度成分を参照して決定する場合が あるため、 不適切なフィルタの種類が適用されてしまう という課題があ る。 発明の開示
本発明は前記従来の課題を解決するもので、 インターレースで表示す る画像に対してフ レーム構造で符号化および復号化する場合であっても、 デブロ ッキング処理において最適なフィルタの種類を適用することを可 能とする動画像符号化方法および動画像復号化方法を提供することを目 的とする。
上記目的を達成するために、 本発明に係る動画像符号化方法は、 入力 される輝度成分と色差成分とによって構成される動画像をブロ ックに分 割して符号化する動画像符号化方法であって、 同じピクチャの符号化済 み領域、 も し く は符号化済みの異なる ピクチャを参照して符号化を行う 予測符号化ステップと、 前記予測符号化ステップによって生成された符 号化データ を用いて、 対象のピクチャの再構成を行う再構成画像生成ス テツプと、 前記再構成画像生成ステップによって生成された再構成画像 に対して、 ブロックの境界にフィルタをかけることによって歪を緩和さ せるデブロッキング処理ステップとを有し、 前記デブロッキング処理ス テツプでは、 輝度成分と色差成分とに対して個別にフィルタを適用し、 前記輝度成分に対しては適用する前記フィルタの種類を前記輝度成分の 符号化情報に基づいて選択して適用し、 前記色差成分に対しては同じフ ィールドに属しかつ当該色差成分に対応する輝度成分において選択され たフィルタを適用することを特徴とする。
これによつて、 同じフィールドに属する輝度成分と色差成分に対して 同じ種類のデブロッキングフィルタが適用されるため、 復号化を行った 後にインターレースと して表示するときに違和感の無い画像を生成する ような符号化が可能となる。 さらに、 従来の構成に対する変更点が非常 に少ないため容易に本発明の構成を組み込みことが可能である。
また、 本発明に係る動画像復号化方法は、 輝度成分と色差成分とによ つて構成される動画像がプロックに分割されて符号化された動画像符号 化データを復号化する動画像復号化方法であって、 同じピクチャの復号 化済み領域、 もしくは復号化済みの異なるピクチャを参照して復号化を 行う予測復号化ステップと、 前記予測復号化ステップによって生成され た復号化画像に対して、 ブロックの境界にフィルタをかけることによつ て歪を緩和させるデブロッキング処理ステップとを有し、 前記デブロッ キング処理ステップでは、 輝度成分と色差成分とに対して個別にフ ィ ル タを適用し、 前記輝度成分に対しては適用する前記フィルタの種類を前 記輝度成分の符号化情報に基づいて選択して適用し、 前記色差成分に対 しては同じフィールドに属しかつ当該色差成分に対応する輝度成分にお いて選択されたフィルタを適用することを特徴とする。
これによつて、 同じフィールドに属する輝度成分と色差成分に対して 同じ種類のデブロッキングフィルタが適用されるため、 インタ一レース と して表示する際に違和感の無い画像を生成する可能となる。 さらに、 従来の構成に対する変更点が非常に少ないため容易に本発明の構成を組 み込みことが可能である。
なお、 本発明は、 このような動画像符号化方法および動画像復号化方 法と して実現することができるだけでなく、 このような動画像符号化方 法および動画像復号化方法が含む特徴的なステップを手段と して備える 動画像符号化装置および動画像復号化装置と して実現することもできる。 また、 それらのステップをコンピュータに実行させるプログラムと して 実現したり、 前記動画像符号化方法により符号化した動画像符号化デー タと して実現したりすることもできる。 そして、 そのようなプログラム および動画像符号化データは、 C D— R O M等の記録媒体やインタ一ネ ッ ト等の伝送媒体を介して配信することもできる。
本発明による動画像符号化方法によれば、 同じフィールドに属する輝 度成分と色差成分に対して同じ種類のデブロッキングフィルタが適用さ れるため、 復号化を行った後にインタ一レースと して表示する際に違和 感の無い画像を生成するような符号化が可能となる。 さらに従来の構成 に対する変更点が非常に少ないため容易に本発明の構成を組み込みこと が可能である。
また、 本発明による動画像復号化方法によれば、 同じフィールドに属 する輝度成分と色差成分に対して同じ種類のデブロッキングフィルタが 適用されるため、 インターレースと して表示する際に違和感の無い画像 を生成する可能となる。 さらに従来の構成に対する変更点が非常に少な いため容易に本発明の構成を組み込みことが可能である。 図面の簡単な説明 図 1 は、 従来の動画像符号化装置の構成を示すブロック図である。 図 2は、 従来の動画像復号化装置の構成を示すブロック図である。 図 3は、 デブロッキングフィルタの種類を決定する方法を示すための 模式図である。
図 4は、 従来の動画像符号化装置および動画像復号化装置におけるデ ブロッキング処理の流れを説明するためのフローチャートである。 図 5は、 色差成分と輝度成分のサンプル位置の関係を示すための模式 図である。
図 6は、 色差成分と輝度成分のサンプル位置の関係を示すための別の 模式図である。
図 7は、 色差成分の画素位置を輝度成分の画素位置に変換したときの 関係を示す模式図である。
図 8は、 実施の形態 1 の動画像符号化装置および動画像復号化装置に おけるデブ口ッキング処理の流れを説明するためのフローチヤ一トであ る。
図 9は、 色差成分の画素位置を輝度成分の画素位置に変換したときの 関係を示す別の模式図である。
図 1 0は、 実施の形態 1 の動画像符号化装置および動画像復号化装置 における別のデブロッキング処理の流れを説明するためのフローチヤ一 卜である。
図 1 1 は、 色差成分の画素位置を輝度成分の画素位置に変換したとき の関係を示す別の模式図である。
図 1 2は、 色差成分の画素位置を輝度成分の画素位置に変換したとき の関係を示す別の模式図である。
図 1 3は、 各実施の形態の動画像符号化方法および動画像復号化方法 をコンピュータシステムにより実現するためのプログラムを格納するた めの記録媒体についての説明図であリ、（a)記録媒体本体であるフレキシ ブルディスクの物理フォーマッ トの例を示した説明図、（b)フレキシブル ディスクの正面からみた外観、 断面構造、 及びフレキシブルディスクを 示した説明図、（c)フレキシブルディスク F Dに上記プログラムの記録再 生を行うための構成を示した説明図である。
図 1 4は、 コンテンツ配信サービスを実現するコンテンツ供給システ ムの全体構成を示すブロック図である。
図 1 5は、 携帯電話の一例を示す概略図である。
図 1 6は、 携帯電話の内部構成を示すブロック図である。
図 1 7は、 ディジタル放送用システムの全体構成を示すブロック図で
発明を実施するための最良の形態
以下、 本発明の具体的な実施の形態について、 図面を参照しながら説 明する。
(実施の形態 1 )
本発明における実施の形態 1 の符号化処理全体の流れに係わる動画像 符号化装置の構成は、 図 1 を用いて説明した従来の構成と全く同様であ るため、 ここでは説明を省略する。 従来の構成と異なる点は、 図 1 のデ ブロッキング処理部 1 0 5におけるデブロッキングの処理方法のみであ る。 また、 復号化処理全体の流れに係わる動画像復号化装置の構成は、 図 2を用いて説明した従来の構成と全く同様であるため、 ここでは説明 を省略する。 従来の構成と異なる点は、 図 2のデブロッキング処理部 2 0 3におけるデブロッキングの処理方法のみである。
デブロッキング処理部 1 0 5および 2 0 3における処理について下記 で詳しく説明する。 なお、 符号化処理における処理内容、 および復号化 処理における処理内容は全く共通であるため、 ここではまとめて説明す る。
前記デブロッキングの処理は入力とする動画像データの構成における 色差成分の間引きの方法によつて異なるが、 ここでは 3種類の崮引きの 方法に対してそれぞれ説明する。 （ 1 ) では図 5 ( a ) に示したように色 差成分が縦横方向ともに 1 ノ 2に間引かれている動画像データを入力と した場合の説明を行い、 （ 2 ) では図 5 ( b ) に示したように色差成分が 横方向のみ 1 ノ 2に間引かれている動画像データを入力と した場合の説 明を行い、 （ 3 ) では図 5 ( c ) に示したように色差成分が間引かれてい ない動画像データを入力と した場合の説明を行う。 なお、 以下の説明で は対象とするブロックをフ レーム構造として符号化および復号化を行つ たものとする。
( 1 ) 縦横 1 2間引きの場合
図 8は、 色差成分を縦横方向ともに 1ノ 2間引きを行った動画像を入 力と した場合のデブロッキング処理の流れを説明するためのフローチヤ ートである。 対象とする動画像データは輝度成分と色差成分とに分かれ て管理されているため、 デブロッキング処理もそれぞれの成分に対して 独立に適用される。
まず、 輝度成分に対してデブロッキング処理を施すために、 対象とす るブロック境界に隣接する輝度成分の画素の個数だけのループを回し ( F 1 および F 4 )、各ループの中で対象とする輝度成分の画素の符号化 情報を用いてフィルタの種類の選択を行い（ F 2 )、 フィルタを適用する ( F 3 )。 このとき選択されたフィルタの種類の情報は、対象とする輝度 成分の画素に対してフィルタ リング処理を適用するために使用すると同 時に、後の処理で参照することを可能とする記憶領域に格納しておく（ F 5 )。ブロックごとに左側の垂直エッジからなる境界と上側の水平エッジ からなる境界とを対象とするため、 例えば水平 4 X垂直 4画素からなる ブロックであった場合、 上記の処理が 8回適用されることになる。
上記のフィルタの種類を決定するための方法を図 3を用いて説明する。 ここでは例と して 5種類のフィルタがあるものとし、 ブロック境界の特 性により前記フィルタを切り替えて使用する。 ブロック歪が顕著に発生 する可能性の高い部分にはより強いフィルタ （ここでは F i e r 4 ) が、 ブロック歪が顕著に発生する可能性の低い部分には弱いフィルタ （ここ では F i I ter 0 ) が適用されるように構成されている。
図 3 ( a ) はフィルタを適用するブロックの境界を図示したものであ リ、 中央の線がブロックの境界を、 右側の Qで示される画素は対象プロ ック内の境界に隣接する画素を、 左側の Pで示される画素は隣接ブロッ ク内の境界に隣接する画素を示している。 図 3 ( b ) は、 図 3 ( a ) に おける画素 Pと画素 Qがどのような条件を持っていた場合にどのフィル タが選択されるかを示した表である。 たとえば、 境界が垂直エッジで画 素 Pと画素 Qのどちらかが画面内予測符号化されたプロックに属する場 合は F i er 4が選択されることになる。
なお、 図 3 ( b ) における表はフィルタの選択方法の一例を示したも のであり、 フィルタの個数および選択条件はこれに限ったものでなく、 それ以外の場合でも同様に扱うことが可能である。
上記処理によって決定されたフィルタの種類の情報は、 対象とする輝 度成分の画素に対してフィルタリング処理を適用するために使用すると 同時に、後の処理で参照することを可能とする記憶領域に格納しておく。 次に、 色差成分に対してデブロッキング処理を施すために、 対象とす るブロ ック境界に隣接する色差成分の画素の個数だけのループを回し ( F 6および F 1 0 )、各ループの中でフィルタの種類の選択を行い （ F 8 )、 フィルタを適用する （ F 9 )。 このとき、 色差成分では輝度成分で 使用したフィルタの種類にしたがって適用されるフィルタが決定される。 つまり輝度成分での処理において決定されたフィルタの種類の情報が格 納された記憶領域から、 対応する輝度成分の画素位置で適用されたフィ ルタの種類をそのまま参照して使用する。 そのとき、 対象とする色差成 分の画素位置から対応する輝度成分の画素位置に変換する （ F 7 a )。 画素の位置の情報の変換は、 対象とするプロックをフィ一ルド構造に 置き換えたときに対象とする色差成分の画素に割り当てられるフィール ドと同じフィールドに割り当てられる輝度成分の画素の位置になるよう になされる。 ここでは色差成分を縦横方向ともに 1 / 2に間引いている ため、 下記の式を使用することによって変換がなされる。 ただし、 X L は輝度の水平座標値、 X Cは色差の水平座標値、 Y Lは輝度の垂直座標 値、 Y Cは色差の垂直座標値を示す記号とする。 また式 2 ( b ) におけ る％の記号は除算を行ったときの余りの値を返す演算子を表すものとす る。
X L = 2 X X C (式 2 ( a ))
Y L = 2 X Y C + Y C % 2 (式 2 ( b ))
上記の処理によって決定されたフィルタを適用することにより、 色差 成分に対するデブ口ッキング処理がなされる。 プロックごとに左側の垂 直エッジからなる境界と上側の水平エッジからなる境界とを対象とする ため、 例えば輝度成分が水平 4 X垂直 4画素からなるブロックであった 場合、 ここでは色差成分を縦横方向ともに 1 2に間引いた場合の例で 説明しているため、 色差成分が水平 2 X垂直 2画素となるため上記の処 理が 4回適用されることになる。
図 9は、 対象とする色差成分の画素の位置と、 式 2 ( a ) と式 2 ( b ) によつて変換された参照する輝度成分の画素の位置との関係を説明する ための図である。 図 9 ( a ) はフ レーム構造のときの輝度成分と色差成 分の位置の関係を、 図 9 ( b ) は前記画像をフィール ド構造に置き換え たときの輝度成分と色差成分の位置の関係を示している。 L— 0は輝度 成分の 0列目の位置を、 C— 0は色差成分の 0列目の位置を表す。 C __ 1 の色差成分に対してデブロッキングフィルタを適用する場合、 式 2 ( b ) より、 L _ 3の輝度成分を参照することが指示されている。 その ときの画素をフィールド構造に置き換えると、 ボトムフィールドに属す る C— 1 の色差成分が同じボトムフィ一ルドに属する L— 3の輝度成分 を参照してフィルタの種類を決定していることが分かる。
従来の方法では、 図 7を用いて説明したように、 C— 1 の色差成分に 対してデブロッキングフィルタを適用する場合、 式 1 ( b ) より、 L— 2の輝度成分を参照することになつていた。デブロッキングの処理では、 対象とするブロックがフ レーム構造であっても、 隣接するブロックがフ ィ一ルド構造の場合は、 フィールドごとに適用するフィルタの種類が異 なる可能性がある。 つまり、 色差成分 C _ 1 に対して適用するフィルタ を トップフィールドに属する輝度成分で使用したものに従うか、 ボトム フィ一ルドに属する輝度成分で使用したものに従うかによつて大きく結 果が異なってしまう。 これによつて、 ボトムフィールドにおける輝度成 分と色差成分とで使用するフィルタが異なり、 画素値の補正の度合いに ギヤップが生じることとなる。
しかし、 本発明における変換の方法を用いることによって、 同じフィ —ルドの同じ画素を構成する輝度成分と色差成分とに対して同じ種類の デブロッキングフィルタが適用されることになるため、 インタ一レース として表示を行う際に違和感の無い画像を生成するような符号化および 復号化が可能となる。
なお、 対象とする色差成分の画素位置から対応する輝度成分の画素位 置に変換するために式 2 ( a ) および式 2 ( b ) を使用する替わりに、 下記の式を用いることも可能である。ただし、 X Lは輝度の水平座標値、 X Cは色差の水平座標値、 Y Lは輝度の垂直座標値、 Y Cは色差の垂直 座標値を示す記号とする。
X L = 2 X X C (式 2 ( a 1 ))
Y L = 2 Y C (式 2 ( b 1 ))
Y L = 2 X Y C + 1 (式 2 ( b 2 ))
色差成分がトップフィールドに属する場合は、式 2 ( a 1 ) と式 2 ( b
1 ) を使用し、 色差成分がボトムフィール ドに属する場合は、 式 2 ( a
2 ) と式 2 ( b 2 ) を使用することによって変換がなされる。
( 2 ) 横 1 Z 2間引きの場合
図 1 0 ( a ) は、 色差成分を横方向のみ 1 2間引きを行った画像を 入力と した場合のデブロッキング処理の流れを説明するためのフローチ ヤートである。 図 8と異なる点は色差成分に対するデブロッキング処理 のみであり、 それ以外の同じ処理に関しては説明を省略する。
色差成分に対してデブロッキング処理を施すために、 対象とするプロ ック境界に隣接する色差の画素の個数だけのループを回し （ F 6および F 1 0 )、 各ループの中でフィルタの種類の選択を行い （ F 8 )、 フィル タを適用する （ F 9 )。 このとき、 色差成分では輝度成分で使用したフィ ルタの種類にしたがって適用されるフィルタが決定される。 つまり輝度 成分での処理において決定されたフィルタの種類の情報が格納された記 憶領域から、 対応する輝度成分の画素位置で適用されたフィルタの種類 をそのまま参照して使用する。 そのとき、 対象とする色差成分の画素位 置から対応する輝度成分の画素位置に変換する （ F 7 b )。
画素の位置の情報の変換は、 対象とするブロックをフィールド構造に 置き換えたときに対象とする色差成分の画素に割り当てられるフィ一ル ドと同じフィールドに割リ当てられる輝度成分の画素の位置になるよう になされる。ここでは色差成分を横方向のみ 1 ノ 2に間引いているため、 下記の式を使用することによって変換がなされる。 ただし、 X Lは輝度 の水平座標値、 X Cは色差の水平座標値、 Y しは輝度の垂直座標値、 Y Cは色差の垂直座標値を示す記号とする。
X L = 2 X C (式 3 ( a ) )
Y L = Y C (式 3 ( b ) )
上記の処理によって決定されたフィルタを適用することにより、 色差 成分に対するデブ口ッキング処理がなされる。 ブロックごとに左側の垂 直エッジからなる境界と上側の水平エッジからなる境界とを対象とする ため、 例えば輝度成分が水平 4 X垂直 4画素からなるブロックであった 場合、 ここでは色差成分を横方向のみ 1 2に間引いた場合の例で説明 しているため、 色差成分が水平 2 X垂直 4画素となるため上記の処理が 6回適用されることになる。
図 1 1 は、対象とする色差成分の画素の位置と、式 3 ( a ) と式 3 ( b ) によって変換された参照する輝度成分の画素の位置との関係を説明する ための図である。 図 1 1 ( a ) はフ レーム構造のときの輝度成分と色差 成分の位置の関係を、 図 1 1 ( b ) は前記画像をフィール ド構造に置き 換えたときの輝度成分と色差成分の位置の関係を示している。 L— 0は 輝度成分の 0列目の位置を、 C—0は色差成分の 0列目の位置を表す。 C— 1 の色差成分に対してデブロッキングフィルタを適用する場合、 式 3 ( b ) より、 の輝度成分を参照することが指示されている。 そ のときの画素をフィールド構造に置き換えると、 ボトムフィール ドに属 する C— 1 の色差成分が同じボトムフィールドに属する L— 1 の輝度成 分を参照してフィルタの種類を決定していることが分かる。
上記変換の方法を用いることによって、 同じフィールドの同じ画素を 構成する輝度成分と色差成分とに対して同じ種類のデブロッキングフィ ルタが適用されることになるため、 インタ一レースとして表示を行う際 に違和感の無い画像を生成するような符号化および復号化が可能となる。 ( 3 ) 間引きなしの場合
図 1 0 ( b ) は、 色差成分を間引きを行っていない画像を入力と した 場合のデブロッキング処理の流れを説明するためのフローチヤ一トであ る。図 8と異なる点は色差成分に対するデブロッキング処理のみであり、 それ以外の同じ処理に関しては説明を省略する。
色差成分に対してデブロッキング処理を施すために、 対象とするプロ ック境界に隣接する色差の画素の個数だけのループを回し （ F 6および F 1 0 )、 各ループの中でフ.ィルタの種類の選択を行い （ F 8 )、 フィル タを適用する （ F 9 )。 このとき、 色差成分では輝度成分で使用したフィ ルタの種類にしたがって適用されるフィルタが決定される。 つまり輝度 成分での処理において決定されたフィルタの種類の情報が格納された記 憶領域から、 対応する輝度成分の画素位置で適用されたフィルタの種類 をそのまま参照して使用する。 そのとき、 対象とする色差成分の画素位 置から対応する輝度成分の画素位置に変換する （ F 7 c )。
画素の位置の情報の変換は、 対象とするブロックをフィールド構造に 置き換えたときに対象とする色差成分の画素に割り当てられるフィール ドと同じフィール ドに割リ当てられる輝度成分の画素の位置になるよう になされる。 ここでは色差成分の間引きを行っていないため、 下記の式 を使用することによって変換がなされる。 ただし、 X Lは輝度の水平座 標値、 X Cは色差の水平座標値、 Y Lは輝度の垂直座標値、 Y Cは色差 の垂直座標値を示す記号とする。
X L = X C (式 4 ( a ))
Y L = Y C (式 4 ( b ))
上記の処理によって決定されたフィルタを適用することにより、 色差 成分に対するデブロッキング処理がなされる。 ブロックごとに左側の垂 直ェッジからなる境界と上側の水平エツジからなる境界とを対象とする ため、 例えば輝度成分が水平 4 X垂直 4画素からなるブロックであった 場合、 ここでは色差成分の間引きを行っていない場合の例で説明してい るため、 色差成分が水平 4 X垂直 4画素となるため上記の処理が 8回適 用されることになる。
図 1 2は、対象とする色差成分の画素の位置と、式 4 ( a ) と式 4 ( b ) によって変換された参照する輝度成分の画素の位置との関係を説明する ための図である。 図 1 2 ( a ) はフレーム構造のときの輝度成分と色差 成分の位置の関係を、 図 1 2 ( b ) は前記画像をフィール ド構造に置き 換えたときの輝度成分と色差成分の位置の関係を示している。 L— 0は 輝度成分の 0列目の位置を、 C— 0は色差成分の 0列目の位置を表す。 C— 1 の色差成分に対してデブロッキングフィルタを適用する場合、 式 4 ( b ) より、 L— 1 の輝度成分を参照することが指示されている。 そ のときの画素をフィールド構造に置き換えると、 ボトムフィールドに属 する C— 1 の色差成分が同じボトムフィールドに属する L— 1 の輝度成 分を参照してフィルタの種類を決定していることが分かる。
上記変換の方法を用いることによって、 同じフィ一ルドの同じ画素を 構成する輝度成分と色差成分とに対して同じ種類のデブロッキングフィ ルタが適用されることになるため、 インターレースとして表示を行う際 に違和感の無い画像を生成するような符号化および復号化が可能となる。
(実施の形態 2 )
さらに、 上記各実施の形態で示した動画像符号化方法または動画像復 号化方法の構成を実現するためのプログラムを、 フレキシブルディスク 等の記憶媒体に記録するよラにすることにより、 上記各実施の形態で示 した処理を、 独立したコンピュータシステムにおいて簡単に実施するこ とが可能となる。
図 1 3は、 上記各実施の形態の動画像符号化方法および動画像復号化 方法をコ ンピュータ システムによ り実現するためのプログラムを格納す るための記憶媒体についての説明図である。
図 1 3 ( b ) は、 フ レキシブルディスクの正面からみた外観、 断面構 造、 及びフ レキシブルディスクを示し、 図 1 3 ( a ) は、 記録媒体本体 であるフ レキシブルディスクの物理フォーマツ トの例を示している。 フ レキシブルディスク F Dはケース F内に内蔵され、 該ディスクの表面に は、 同心円状に外周からは内周に向かって複数の トラック T r が形成さ れ、 各 トラックは角度方向に 1 6のセクタ S e に分割されている。 従つ て、 上記プログラムを格納したフ レキシブルディスクでは、 上記フ レキ シブルディスク F D上に割り 当てられた領域に、 上記プログラムと して の動画像符号化方法が記録されている。
また、 図 1 3 ( c ) は、 フ レキシブルディスク F Dに上記プログラム の記録再生を行うための構成を示す。 上記プログラムをフ レキシブルデ イスク F Dに記録する場合は、 コンピュータ システム C sから上記プロ グラムと しての動画像符号化方法または動画像復号化方法をフ レキシブ ルディスク ドライブ F D Dを介して書き込む。 また、 フ レキシブルディ スク内のプログラムによ リ上記動画像符号化方法をコ ンピュータ システ ム中に構築する場合は、 フ レキシブルディスク ドライブによ り プログラ ムをフ レキシブルディスクから読み出 し、 コ ンピュータシステムに転送 する。
なお、 上記説明では、 記録媒体と してフ レキシブルディスクを用いて 説明を行ったが、光ディスクを用いても同様に行う ことができる。また、 記録媒体はこれに限らず、 I Cカー ド、 R O Mカセッ ト等、 プログラム を記録できるものであれば同様に実施することができる。 さ らにここで、 上記実施の形態で示した動画像符号化方法や動画像復 号化方法の応用例とそれを用いたシステムを説明する。
図 1 4は、 コンテンツ配信サービスを実現するコンテンツ供給シス亍 ム ex 1 0 0の全体構成を示すブロ ック図である。 通信サービスの提供ェ リアを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である基 地局 ex 1 0 7〜 ex 1 1 0が設置されている。
このコンテンツ供給システム ex 1 0 0は、 例えば、 イ ンタ一ネッ ト ex 1 0 1 にインタ一ネッ トサービスプロバイダ ex l 0 2および電話網 ex 1 0 4、 および基地局 ex 1 0 7 〜ex 1 1 0 を介して、 コ ンピュータ ex 1 1 1 、 P D A ( persona I digital assistant) ex 1 1 2、 カメ ラ ex l 1 3、 携帯電話 ex l 1 4、 カメ ラ付きの携帯電話 e x 1 1 5などの各機 器が接続される。
しかし、 コンテンツ供給システム ex l 0 0は図 1 4のような組合せに 限定されず、いずれかを組み合わせて接続するようにしてもよい。また、 固定無線局である基地局 ex 1 0 7 〜ex 1 1 0を介さずに、 各機器が電話 網 ex l 0 4に直接接続されてもよい。
カメ ラ ex 1 1 3はデジタルビデオカメ ラ等の動画撮影が可能な機器 である。 また、 携帯電話は、 P D C (Personal Digital Communications) 方式、 C D M A (Code Division Multiple Access) 方式、 W— C D M A (Wideband-Code Division Multiple Access) 方式、 若 し く は G S M (Global System for Mobi le Communications) 方式の携帯電話機、 また は P H S (Persona I Handyphone System) 等であり、 しゝずれでも構わな い。
また、 ス ト リーミ ングサーバ ex l 0 3は、 カメ ラ ex l 1 3から基地局 ex 1 0 9、 電話網 ex 1 0 4を通じて接続されており、 カメ ラ ex l 1 3 を 用いてユーザが送信する符号化処理されたデータに基づいたライブ配信 等が可能になる。撮影したデータの符号化処理は力メラ ex l 1 3で行つ ても、 データの送信処理をするサーバ等で行ってもよい。 また、 カメラ ex 1 1 6で撮影した動画データはコ ンピュータ ex 1 1 1 を介してス ト リーミ ングサーバ ex 1 0 3に送信されてもよい。カメ ラ ex 1 1 6はデジ タルカメ ラ等の静止画、 動画が撮影可能な機器である。 この場合、 動画 データの符号化はカメ ラ ex 1 1 6で行ってもコ ンピュータ ex 1 1 1 で 行ってもどちらでもよい。 また、 符号化処理はコ ンピュータ ex 1 1 1 や カメ ラ ex l 1 6が有する L S I ex 1 1 7において処理することになる。 なお、 動画像符号化 ■ 復号化用のソフ トウエアをコンピュータ ex l 1 1 等で読み取り可能な記録媒体である何らかの蓄積メディア （ C D— R O M、 フ レキシブルディスク、ハー ドディスクなど） に組み込んでもよい。 さ らに、 カメラ付きの携帯電話 ex l 1 5で動画データを送信してもよし、。 このときの動画データは携帯電話 ex l 1 5が有する L S I で符号化処 理されたデータである。
このコ ンテンツ供給システム ex l 0 0では、ユーザがカメ ラ ex l 1 3、 カメ ラ ex l 1 6等で撮影しているコンテンツ （例えば、 音楽ライブを撮 影した映像等） を上記実施の形態同様に符号化処理してス ト リーミ ング サーバ ex 1 0 3に送信する一方で、ス トリ一ミ ングサーバ ex 1 0 3は要 求のあったクライアン トに対して上記コ ンテンツデータ をス ト リーム配 信する。 クライアン トと しては、 上記符号化処理されたデータを復号化 することが可能な、 コンピュータ ex l 1 1 、 P D A ex l 1 2、 カメ ラ ex 1 1 3、 携帯電話 ex l 1 4等がある。 このようにすることでコンテンツ 供給システム ex 1 0 0は、 符号化されたデータ をクライアン トにおいて 受信して再生することができ、 さ らにクライアン トにおいてリアルタイ ムで受信して復号化し、 再生することによ り、 個人放送をも実現可能に なるシステムである。 このシステムを構成する各機器の符号化、 復号化には上記各実施の形 態で示した動画像符号化装置あるいは動画像復号化装置を用いるように すればよい。
その一例と して携帯電話について説明する。
図 1 5は、 上記実施の形態で説明した動画像符号化方法と動画像復号 化方法を用いた携帯電話 ex 1 1 5を示す図である。携帯電話 ex l 1 5は、 基地局 ex l 1 0との間で電波を送受信するためのアンテナ ex2 0 1 、 C C Dカメラ等の映像、 静止画を撮ることが可能な力メラ部 ex2 0 3、 力 メラ部 ex 2 0 3で撮影した映像、アンテナ ex 2 0 1 で受信した映像等が 復号化されたデータを表示する液晶ディスプレイ等の表示部 ex2 0 2、 操作キー e X 2 0 4群から構成される本体部、 音声出力をするためのス ピ一力等の音声出力部 ex 2 0 8、音声入力をするためのマイク等の音声 入力部 ex2 0 5、 撮影した動画もしくは静止画のデータ、 受信したメ一 ルのデータ、 動画のデータもしくは静止画のデータ等、 符号化されたデ —タまたは復号化されたデータを保存するための記録メディア ex2 0 7、携帯電話 ex l 1 5に記録メディア ex 2 0 7を装着可能とするための スロッ ト部 ex 2 0 6を有している。記録メディア ex 2 0 7は S Dカード 等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メ モリである E E P R O M(Electrical ly Erasable and Programmab I e Read Only Memory) の一種であるフラッシュメモリ素子を格納したものである。
さらに、 携帯電話 ex 1 1 5について図 1 6を用いて説明する。 携帯電 話 ex l 1 5は表示部 ex2 0 2及び操作キー e x 2 0 4を備えた本体部 の各部を統括的に制御するようになされた主制御部 ex 3 1 1 に対して、 電源回路部 ex 3 1 0、 操作入力制御部 ex 3 0 4、 画像符号化部 ex 3 1 2、 カ メ ライ ンタ 一フ ェース部 ex 3 0 3 、 L C D (Liquid Crystal Display) 制御部 ex 3 0 2、 画像復号化部 ex 3 0 9、 多重分離部 ex 3 0 8、 記録再生部 ex 3 07、 変復調回路部 ex 3 0 6及び音声処理部 ex 3 0 5が同期バス ex 3 1 3を介して互いに接続されている。
電源回路部 ex3 1 0は、 ユーザの操作によ リ終話及び電源キーがオン 状態にされると、 バッテリパックから各部に対して電力を供給すること によ リ カメ ラ付ディ ジタル携帯電話 ex 1 1 5を動作可能な状態に起動 する。
携帯電話 ex 1 1 5は、 C P U、 R OM及び R AM等でなる主制御部 ex 3 1 1 の制御に基づいて、 音声通話モー ド時に音声入力部 ex 2 0 5で集 音した音声信号を音声処理部 ex 3 0 5によってディ ジタル音声データ に変換し、 これを変復調回路部 ex 3 0 6でスぺク トラム拡散処理し、 送 受信回路部 ex 3 0 1 でディ ジタルアナログ変換処理及び周波数変換処 理を施した後にアンテナ ex2 0 1 を介して送信する。また携帯電話機 ex 1 1 5は、 音声通話モー ド時にアンテナ ex2 0 1 で受信した受信データ を増幅して周波数変換処理及びアナログディ ジタル変換処理を施し、 変 復調回路部 ex 3 0 6でスぺク トラム逆拡散処理し、音声処理部 ex 3 0 5 によってアナログ音声データに変換した後、 これを音声出力部 ex 2 0 8 を介して出力する。
さ らに、 データ通信モー ド時に電子メールを送信する場合、 本体部の 操作キー e X 2 0 4の操作によって入力された電子メールのテキス トデ —タは操作入力制御部 ex 3 0 4を介して主制御部 ex 3 1 1 に送出され る。 主制御部 ex 3 1 1 は、 テキス トデータ を変復調回路部 ex 3 0 6でス ぺク トラム拡散処理し、 送受信回路部 ex 3 0 1 でディ ジタルアナログ変 換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して基 地局 ex 1 1 0へ送信する。
データ通信モー ド時に画像データ を送信する場合、 カメ ラ部 ex 2 0 3 で撮像された画像データ をカメ ライ ンタ一フェース部 ex 3 0 3を介し て画像符号化部 ex 3 1 2に供給する。 また、 画像データ を送信しない場 合には、 カメ ラ部 ex 2 0 3で撮像した画像データ をカメ ライ ンターフエ —ス部 ex 3 0 3及び L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に 直接表示することも可能である。
画像符号化部 ex3 1 2は、 本願発明で説明した動画像符号化装置を備 えた構成であり、 カメ ラ部 ex20 3から供給された画像データ を上記実 施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符 号化することによ り符号化画像データに変換し、 これを多重分離部 ex3 0 8に送出する。 また、 このとき同時に携帯電話機 ex 1 1 5は、 カメ ラ 部 ex20 3で撮像中に音声入力部 ex2 0 5で集音した音声を音声処理 部 ex3 0 5を介してディ ジタルの音声データ と して多重分離部 ex 3 0 8に送出する。
多重分離部 ex3 0 8は、画像符号化部 ex3 1 2から供給された符号化 画像データ と音声処理部 ex3 0 5から供給された音声データ と を所定 の方式で多重化し、 その結果得られる多重化データ を変復調回路部 ex 3 0 6でスぺク トラム拡散処理し、送受信回路部 ex 3 0 1 でディ ジタルァ ナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を 介して送信する。
データ通信モー ド時にホームページ等にリ ンクされた動画像ファイル のデータ を受信する場合、アンテナ ex 2 0 1 を介して基地局 ex1 1 0か ら受信した受信データ を変復調回路部 ex3 0 6でスぺク トラム逆拡散 処理し、 その結果得られる多重化データ を多重分離部 ex 3 0 8に送出す る。
また、 アンテナ ex 2 0 1 を介して受信された多重化データを復号化す るには、 多重分離部 ex3 0 8は、 多重化データ を分離することによ リ画 像データのビッ トス ト リームと音声データのビッ トス ト リームとに分け、 同期バス ex3 1 3を介して当該符号化画像データを画像復号化部 ex3 0 9に供給すると共に当該音声データを音声処理部 ex 3 0 5に供給す る。
次に、 画像復号化部 ex3 0 9は、 本願発明で説明した動画像復号化装 置を備えた構成であり、 画像データのビッ トス トリームを上記実施の形 態で示した符号化方法に対応した復号化方法で復号化することにより再 生動画像データを生成し、 これを L C D制御部 ex3 0 2を介して表示部 ex 2 0 2に供給し、 これにより、 例えばホームページにリンクされた動 画像ファイルに含まれる動画データが表示される。 このとき同時に音声 処理部 ex 3 0 5は、 音声データをアナログ音声データに変換した後、 こ れを音声出力部 ex 2 0 8に供給し、 これにより、 例えばホームページに リンクされた動画像ファイルに含まる音声データが再生される。
なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディ ジタル放送が話題となっており、 図 1 7に示すようにディジタル放送用 システムにも上記実施の形態の少なく とも動画像符号化装置または動画 像復号化装置のいずれかを組み込むことができる。 具体的には、 放送局 ex4 0 9では映像情報のビッ トス トリ一ムが電波を介して通信または放 送衛星 ex 4 1 0に伝送される。 これを受けた放送衛星 ex4 1 0は、放送 用の電波を発信し、 この電波を衛星放送受信設備をもつ家庭のアンテナ ex 4 0 6で受信し、 テレビ （受信機） ex 4 0 1 またはセッ ト トップボッ クス （ S T B ) ex4 0 7などの装置によりビッ トス トリームを復号化し てこれを再生する。 また、 記録媒体である GD や DVD 等の蓄積メディア ex4 0 2に記録したビッ トス トリー厶を読み取リ、 復号化する再生装置 ex4 0 3にも上記実施の形態で示した動画像復号化装置を実装すること が可能である。 この場合、 再生された映像信号はモニタ ex4 0 4に表示 される。 また、 ケーブルテレビ用のケーブル ex4 0 5または衛星/地上 波放送のアンテナ ex 4 0 6に接続されたセッ ト トップボックス ex 4 0 7内に動画像復号化装置を実装し、 これをテレビのモニタ ex 4 0 8で再 生する構成も考えられる。 このときセッ ト トップボックスではなく 、 亍 レビ内に動画像復号化装置を組み込んでも良い。 また、 アンテナ ex 4 1 1 を有する車 ex 4 1 2で衛星 ex 4 1 0からまたは基地局 ex 1 0 7等か ら信号を受信し、車 ex 4 1 2が有する力一ナビゲ一シヨ ン ^ 4 1 3等の 表示装置に動画を再生することも可能である。
更に、 画像信号を上記実施の形態で示した動画像符号化装置で符号化 し、 記録媒体に記録することもできる。 具体例と しては、 DVD ディスク e X 4 2 1 に画像信号を記録する DVD レコーダや、 ハー ドディスクに記 録するディスク レコーダなどのレコーダ e X 4 2 0がある。 更に SD 力一 ド e x 4 2 2に記録することもできる。 レコーダ e x 4 2 0が上記実施 の形態で示した動画像復号化装置を備えていれば、 DVD ディスク e X 4 2 1 や SD 力一 ド e X 4 2 2に記録した画像信号を再生し、モニタ e x 4 0 8で表示することができる。
なお、 力一ナビゲ一シヨ ン ex 4 1 3の構成は例えば図 1 6に示す構成 のうち、 カメ ラ部 ex 2 0 3 とカメ ラインターフェース部 ex 3 0 3、 画像 符号化部 e X 3 1 2を除いた構成が考えられ、 同様なことがコンビュ一 タ ex 1 1 1 やテレビ （受信機） ex 4 0 1 等でも考えられる。
また、 上記携帯電話 ex 1 1 4等の端末は、 符号化器 ， 復号化器を両方 持つ送受信型の端末の他に、 符号化器のみの送信端末、 復号化器のみの 受信端末の 3通りの実装形式が考えられる。
このように、 上記実施の形態で示した動画像符号化方法あるいは動画 像復号化方法を上述したいずれの機器 ■ システムに用いることは可能で あり、 そうすることで、 上記実施の形態で説明した効果を得ることがで きる。 また、 本発明はかかる上記実施形態に限定されるものではなく、 本発 明の範囲を逸脱することなく種々の変形または修正が可能である。
また、 図 1 および図 2に示したブロック図の各機能ブロックは典型的 には集積回路である L S I と して実現される。 この L S I は 1 チップ化 されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能 ブロックが 1 チップ化されていても良い。） ここでは、 L S I と したが、 集積度の違いにより、 I C、 システム L S I 、 スーパ一 L S I 、 ウルト ラ L S I と呼称されることもある。
また、 集積回路化の手法は L S I に限るものではなく、 専用回路又は 汎用プロセッサで実現してもよい。 L S I 製造後に、 プログラムするこ と力 可能な F P G A (Field Programmable Gate Array) や、 l_ S I 内部 の回路セルの接続や設定を再構成可能なリコンフィギユラブル ■ プロセ ッサを利用しても良い。
さらには、 半導体技術の進歩又は派生する別技術により L S I に置き 換わる集積回路化の技術が登場すれば、 当然、 その技術を用いて機能ブ ロックの集積化を行ってもよい。 バイオ技術の適応等が可能性と してあ りえる。 産業上の利用可能性
以上のように、 本発明に係る動画像符号化方法および動画像復号化方 法は、 例えば携帯電話、 D V D装置、 およびパーソナルコンピュータ等 で、 入力画像を構成する各ピクチャを符号化し、 動画像符号化データと して出力したり、 この動画像符号化デ一タを復号化したりするための方 法と して有用である。

Claims

請 求 の 範 囲
1 . 入力される輝度成分と色差成分とによって構成される画像をブロッ クに分割して符号化する動画像符号化方法であって、
同じピクチャの符号化済み領域、 もしくは符号化済みの異なるピクチ ャを参照して符号化を行う予測符号化ステツプと、
前記予測符号化ステップによって生成された符号化データを用いて、 対象のピクチャの再構成を行う再構成画像生成ステップと、
前記再構成画像生成ステップによって生成された再構成画像に対して、 ブロックの境界にフィルタをかけることによって歪を緩和させるデブ口 ッキング処理ステップとを有し、
前記デブ口ッキング処理ステツプでは、 輝度成分と色差成分とに対し て個別にフィルタを適用し、 前記輝度成分に対しては適用する前記フィ ルタの種類を前記輝度成分の符号化情報に基づいて選択して適用し、 前 記色差成分に対しては同じフィールドに属しかつ当該色差成分に対応す る輝度成分において選択されたフィルタを適用する
ことを特徴とする動画像符号化方法。
2 . 前記デブロッキング処理ステップでは、 前記フィルタの種類に応じ て前記フィルタの強さが相違する
ことを特徴とする請求の範囲 1記載の動画像符号化方法。
3 . 前記デブロッキング処理ステップでは、 符号化の対象とする画像が 色差成分を輝度成分に対して垂直方向に半分に間引かれている場合、 色 差成分に適用するフィルタの種類を決定するために参照する輝度成分の 画素の垂直位置を、 フ レーム単位で符号化を行なう場合であっても、 ト ップフィール ドおよびボトムフィール ドの各空間に分割したときの画素 構成に基づいて決定する
ことを特徴とする請求の範囲 1 記載の動画像符号化方法。
4 . 前記デブロッキング処理ステップでは、 符号化の対象とする画像が 色差成分を輝度成分に対して垂直方向に間引かれていない場合、 色差成 分に適用するフィルタの種類を決定するために参照する輝度成分の画素 の垂直位置を、 色差成分の垂直位置と同じ位置と して決定する
ことを特徴とする請求の範囲 1 記載の動画像符号化方法。
5 . 輝度成分と色差成分とによって構成される画像がプロックに分割さ れて符号化された動画像符号化データを復号化する動画像復号化方法で あって、
同じピクチャの復号化済み領域、 もしくは復号化済みの異なるピクチ ャを参照して復号化を行う予測復号化ステツプと、
前記予測復号化ステップによって生成された復号化画像に対して、 ブ ロックの境界にフィルタをかけることによって歪を緩和させるデブロッ キング処理ステツプとを有し、
前記デブ口ッキング処理ステツプでは、 輝度成分と色差成分とに対し て個別にフィルタを適用し、 前記輝度成分に対しては適用するフィルタ の種類を前記輝度成分の符号化情報に基づいて選択して適用し、 前記色 差成分に対しては同じフィールドに属しかつ当該色差成分に対応する輝 度成分において選択されたフィルタを適用する
ことを特徴とする動画像復号化方法。
6 . 前記デブロッキング処理ステップでは、 前記フィルタの種類に応じ て前記フィルタの強さが相違する
ことを特徴とする請求の範囲 5記載の動画像復号化方法
7 . 前記デブロッキング処理ステップでは、 復号化の対象とする動画像 符号化データが、 色差成分を輝度成分に対して垂直方向に半分に間引か れた画像が符号化されている場合、 色差成分に適用するフィルタの種類 を決定するために参照する輝度成分の画素の垂直位置を、 フ レーム単位 で復号化を行なう場合であっても、 トップフィールドおよびボトムフィ ールドの各空間に分割したときの画素構成に基づいて決定する
ことを特徴とする請求の範囲 5記載の動画像復号化方法。
8 . 前記デブロッキング処理ステップでは、 復号化の対象とする動画像 符号化データが、 色差成分を輝度成分に対して垂直方向に間引かれてい ない画像が符号化されている場合、 色差成分に適用するフィルタの種類 を決定するために参照する輝度成分の画素の垂直位置を、 色差成分の垂 直位置と同じ位置として決定する
ことを特徴とする請求の範囲 5記載の動画像復号化方法。
9 . 入力される輝度成分と色差成分とによって構成される画像をブロッ クに分割して符号化する動画像符号化装置であって、
同じピクチャの符号化済み領域、 もしくは符号化済みの異なるピクチ ャを参照して符号化を行う予測符号化手段と、
前記予測符号化手段によって生成された符号化データを用いて、 対象 のピクチャの再構成を行う再構成画像生成手段と、
前記再構成画像生成手段によって生成された再構成画像に対して、 ブ ロックの境界にフィルタをかけることによって歪を緩和させるデブロッ キング処理手段とを備え、
前記デブ口 ッキング処理手段は、 輝度成分と色差成分とに対して個別 にフィルタを適用し、 前記輝度成分に対しては適用する前記フィルタの 種類を前記輝度成分の符号化情報に基づいて選択して適用し、 前記色差 成分に対しては同じフィール ドに属しかつ当該色差成分に対応する輝度 成分において選択されたフィルタ を適用する
ことを特徴とする動画像符号化装置。
1 0 . 輝度成分と色差成分とによって構成される画像がブロ ックに分割 されて符号化された動画像符号化データを復号化する動画像復号化装置 であって、
同じピクチャの復号化済み領域、 も しく は復号化済みの異なるピクチ ャを参照して復号化を行う予測復号化手段と、
前記予測復号化手段によつて生成された復号化画像に対して、 ブロッ クの境界にフィルタ をかけることによって歪を緩和させるデブロ ッキン グ処理手段とを備え、
前記デブ口 ッキング処理手段は、 輝度成分と色差成分とに対して個別 にフィルタを適用し、 前記輝度成分に対しては適用する前記フィルタの 種類を前記輝度成分の符号化情報に基づいて選択して適用 し、 前記色差 成分に対しては同じフィール ドに属しかつ当該色差成分に対応する輝度 成分において選択されたフィルタ を適用する
ことを特徴とする動画像復号化装置。
1 1 - 入力される輝度成分と色差成分とによって構成される画像をプロ ックに分割して符号化するためのプログラムであって、
同じピクチャの符号化済み領域、 も しく は符号化済みの異なるピクチ ャを参照して符号化を行う予測符号化ステツプと、
前記予測符号化ステップによって生成された符号化データ を用いて、 対象のピクチャの再構成を行う再構成画像生成ステップと、
前記再構成画像生成ステップによって生成された再構成画像に対して、 ブロ ックの境界にフィルタ をかけることによって歪を緩和させるデブ口 ッキング処理ステップとをコンピュータに実行させ、
前記デブロ ッキング処理ステップでは、 輝度成分と色差成分とに対し て個別にフィルタ を適用し、 前記輝度成分に対しては適用する前記フィ ルタの種類を前記輝度成分の符号化情報に基づいて選択して適用し、 前 記色差成分に対しては同じフィ一ル ドに属しかつ当該色差成分に対応す る輝度成分において選択されたフィルタ を適用する
ことを特徴とするプログラム。
1 2 . 輝度成分と色差成分とによって構成される画像がブロ ックに分割 されて符号化された動画像符号化データ を復号化するためのプログラム であって、
同じピクチャの復号化済み領域、 も し く は復号化済みの異なるピクチ ャを参照して復号化を行う予測復号化ステツプと、
前記予測復号化ステップによって生成された復号化画像に対して、 ブ ロ ックの境界にフィルタ をかけることによって歪を緩和させるデブロ ッ キング処理ステップとをコンピュータに実行させ、
前記デブ口 ッキング処理ステップでは、 輝度成分と色差成分とに対し て個別にフィルタ を適用し、 前記輝度成分に対しては適用するフィルタ の種類を前記輝度成分の符号化情報に基づいて選択して適用し、 前記色 差成分に対しては同 じフィール ドに属しかつ当該色差成分に対応する輝 度成分において選択されたフィルタ を適用する ことを特徴とするプログラム
1 3 . 入力される輝度成分と色差成分と Iこよって構成される画像をプロ ックに分割して符号化する集積回路であって、
同じピクチャの符号化済み領域、 もしくは符号化済みの異なるピクチ ャを参照して符号化を行う予測符号化手段と、
前記予測符号化手段によって生成された符号化データを用いて、 対象 のピクチャの再構成を行う再構成画像生成手段と、
前記再構成画像生成手段によって生成された再構成画像に対して、 ブ ロックの境界にフィルタをかけることによって歪を緩和させるデブロッ キング処理手段とを備え、
前記デブ口ッキング処理手段は、 輝度成分と色差成分とに対して個別 にフィルタを適用し、 前記輝度成分に対しては適用する前記フィルタの 種類を前記輝度成分の符号化情報に基づいて選択して適用し、 前記色差 成分に対しては同じフィールドに属しかつ当該色差成分に対応する輝度 成分において選択されたフィルタを適用する
ことを特徴とする集積回路。
1 4 . 輝度成分と色差成分とによって構成される画像がブロックに分割 されて符号化された動画像符号化データを復号化する集積回路であって、 同じピクチャの復号化済み領域、 もしくは復号化済みの異なるピクチ ャを参照して復号化を行う予測復号化手段と、
前記予測復号化手段によつて生成された復号化画像に対して、 ブロッ クの境界にフィルタをかけることによって歪を緩和させるデブロッキン グ処理手段とを備え、
前記デブロッキング処理手段は、 輝度成分と色差成分とに対して個別 にフィルタを適用し、 前記輝度成分に対しては適用する前記フィルタの 種類を前記輝度成分の符号化情報に基づいて選択して適用し、 前記色差 成分に対しては同じフィールドに属しかつ当該色差成分に対応する輝度 成分において選択されたフィルタを適用する
ことを特徴とする集積回路。
PCT/JP2004/011115 2003-08-19 2004-07-28 動画像符号化方法および動画像復号化方法 WO2005018239A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
BRPI0413624-1A BRPI0413624A (pt) 2003-08-19 2004-07-28 método para codificar imagem em movimento e método para decodificar imagem em movimento
AU2004301091A AU2004301091B2 (en) 2003-08-19 2004-07-28 Method for encoding moving image and method for decoding moving image
MXPA06001111A MXPA06001111A (es) 2003-08-19 2004-07-28 Metodo de codificacion de imagen en movimiento y metodo de decodificacion de imagen en movimiento.
US10/566,506 US7650032B2 (en) 2003-08-19 2004-07-28 Method for encoding moving image and method for decoding moving image
EP04771166A EP1659803A4 (en) 2003-08-19 2004-07-28 METHOD FOR ENCODING AND DECODING A MOVING IMAGE
CA2534695A CA2534695C (en) 2003-08-19 2004-07-28 Method for encoding moving image and method for decoding moving image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-295007 2003-08-19
JP2003295007 2003-08-19

Publications (1)

Publication Number Publication Date
WO2005018239A1 true WO2005018239A1 (ja) 2005-02-24

Family

ID=34191074

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/011115 WO2005018239A1 (ja) 2003-08-19 2004-07-28 動画像符号化方法および動画像復号化方法

Country Status (9)

Country Link
US (1) US7650032B2 (ja)
EP (1) EP1659803A4 (ja)
KR (1) KR100995445B1 (ja)
CN (1) CN100493205C (ja)
AU (1) AU2004301091B2 (ja)
BR (1) BRPI0413624A (ja)
CA (1) CA2534695C (ja)
MX (1) MXPA06001111A (ja)
WO (1) WO2005018239A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100769195B1 (ko) * 2006-02-09 2007-10-23 엘지.필립스 엘시디 주식회사 액정 표시장치의 구동장치 및 구동방법
CN106658015A (zh) * 2011-06-30 2017-05-10 三菱电机株式会社 图像编码装置以及图像编码方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006034331A2 (en) * 2004-09-20 2006-03-30 Divx, Inc. Video deblocking filter
KR100763178B1 (ko) * 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
TWI444047B (zh) * 2006-06-16 2014-07-01 Via Tech Inc 用於視訊解碼的去方塊效應濾波器、視訊解碼器與圖形處理單元
JP2010507335A (ja) * 2006-10-18 2010-03-04 トムソン ライセンシング 予測データ精緻化を使用してビデオを符号化する方法及び装置
US8577168B2 (en) * 2006-12-28 2013-11-05 Vidyo, Inc. System and method for in-loop deblocking in scalable video coding
CN101335902B (zh) * 2007-06-25 2010-06-02 华为技术有限公司 视频编解码中的加权预测方法和装置
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
KR100950969B1 (ko) * 2008-01-21 2010-04-02 한양대학교 산학협력단 영상의 블록킹 현상 제거 시스템 및 그 방법
KR101291196B1 (ko) * 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
EP2289249A1 (en) * 2008-06-13 2011-03-02 Telefonaktiebolaget L M Ericsson (PUBL) Packet loss analysis
WO2010001999A1 (ja) * 2008-07-04 2010-01-07 株式会社 東芝 動画像符号化／復号化方法及び装置
US8861586B2 (en) * 2008-10-14 2014-10-14 Nvidia Corporation Adaptive deblocking in a decoding pipeline
US8724694B2 (en) * 2008-10-14 2014-05-13 Nvidia Corporation On-the spot deblocker in a decoding pipeline
US8867605B2 (en) * 2008-10-14 2014-10-21 Nvidia Corporation Second deblocker in a decoding pipeline
US9179166B2 (en) * 2008-12-05 2015-11-03 Nvidia Corporation Multi-protocol deblock engine core system and method
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
EP2422522A1 (en) * 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
CN102026004B (zh) * 2009-09-10 2013-01-30 联咏科技股份有限公司 影像色彩处理元件与方法
US20110222608A1 (en) * 2010-03-15 2011-09-15 Yongying Gao Localized in-loop filtering with multiple filters in hybrid video coding
JP5393573B2 (ja) * 2010-04-08 2014-01-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
AU2016277600B2 (en) * 2010-07-14 2018-08-16 Ntt Docomo, Inc. Low-complexity intra prediction for video coding
ES2729031T3 (es) * 2010-07-14 2019-10-29 Ntt Docomo Inc Intra-predicción de baja complejidad para codificación de vídeo
CN103339932B (zh) * 2010-10-01 2017-05-31 谷歌技术控股有限责任公司 在灵活分块时利用图片边界填补的代码化和解码
US9161041B2 (en) * 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
SG188199A1 (en) 2011-02-22 2013-04-30 Panasonic Corp Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
KR102112241B1 (ko) 2011-02-22 2020-05-19 타지반 투 엘엘씨 필터 방법, 동화상 부호화 장치, 동화상 복호 장치 및 동화상 부호화 복호 장치
CN102158699B (zh) * 2011-03-28 2012-12-12 广州市聚晖电子科技有限公司 一种带有图像增强功能的嵌入式视频压缩编码系统
RU2606304C2 (ru) 2011-07-19 2017-01-10 ТАГИВАН II ЭлЭлСи Способ фильтрации, способ декодирования и способ кодирования
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
WO2013175736A1 (ja) 2012-05-25 2013-11-28 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および、動画像符号化復号装置
JP6179813B2 (ja) 2012-05-25 2017-08-16 サン パテント トラスト 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置および画像符号化復号装置
PL2858354T3 (pl) 2012-05-25 2023-05-02 Sun Patent Trust Sposób kodowania obrazów wideo, sposób dekodowania obrazów wideo, urządzenie do kodowania obrazów wideo, urządzenie do dekodowania obrazów wideo oraz urządzenie do kodowania-dekodowania obrazów wideo
CN103650498B (zh) 2012-06-04 2018-01-05 太阳专利托管公司 运动图像解码方法及运动图像解码装置
US10412419B2 (en) * 2013-07-12 2019-09-10 Qualcomm Incorporated Adaptive filtering in video coding
CN105791836B (zh) * 2016-03-07 2019-04-02 中国科学院计算技术研究所 视频编码方法、视频码流自适应传输方法和显示方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000041248A (ja) * 1998-07-23 2000-02-08 Sony Corp 画像復号装置及び画像復号方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3712906B2 (ja) 2000-02-24 2005-11-02 日本放送協会 動きベクトル検出装置
US7440504B2 (en) 2001-09-24 2008-10-21 Broadcom Corporation Method and apparatus for performing deblocking filtering with interlace capability
EP2320661B8 (en) 2001-11-29 2015-09-02 Godo Kaisha IP Bridge 1 Coding distortion removal method
AU2002347635B2 (en) 2001-11-29 2008-04-24 Godo Kaisha Ip Bridge 1 Coding distortion removal method and video encoding end decoding methods
JP4082079B2 (ja) 2002-04-30 2008-04-30 ソニー株式会社 画像信号処理装置及びその方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000041248A (ja) * 1998-07-23 2000-02-08 Sony Corp 画像復号装置及び画像復号方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"H.26L test model long term number 6(TML-6) draft0", VIDEO CODING EXPERTS GROUP (VCEG), 2001, pages 1,20 - 22, XP002971811, Retrieved from the Internet <URL:http://kbs.cs.tu-berlin.de/¬stewe/vceg/archive.htm#TML6> [retrieved on 20030801] *
See also references of EP1659803A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100769195B1 (ko) * 2006-02-09 2007-10-23 엘지.필립스 엘시디 주식회사 액정 표시장치의 구동장치 및 구동방법
DE102006051134B4 (de) * 2006-02-09 2010-02-04 Lg Display Co., Ltd. Vorrichtung und Verfahren zum Ansteuern einer Flüssigkristallanzeigevorrichtung
DE102006051134B9 (de) * 2006-02-09 2010-05-27 Lg Display Co., Ltd. Vorrichtung und Verfahren zum Ansteuern einer Flüssigkristallanzeigevorrichtung
CN106658015A (zh) * 2011-06-30 2017-05-10 三菱电机株式会社 图像编码装置以及图像编码方法

Also Published As

Publication number Publication date
CN100493205C (zh) 2009-05-27
US7650032B2 (en) 2010-01-19
KR100995445B1 (ko) 2010-11-18
CA2534695C (en) 2011-10-25
EP1659803A1 (en) 2006-05-24
BRPI0413624A (pt) 2006-10-17
MXPA06001111A (es) 2006-04-11
US20060285757A1 (en) 2006-12-21
CA2534695A1 (en) 2005-02-24
KR20060113844A (ko) 2006-11-03
AU2004301091B2 (en) 2008-09-11
AU2004301091A1 (en) 2005-02-24
CN1817049A (zh) 2006-08-09
EP1659803A4 (en) 2008-10-29

Similar Documents

Publication Publication Date Title
WO2005018239A1 (ja) 動画像符号化方法および動画像復号化方法
JP4732551B2 (ja) 符号化歪除去方法
JP4348209B2 (ja) 画像符号化方法および画像復号化方法
WO2004008773A1 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
WO2005022921A1 (ja) 動画像符号化方法および動画像復号化方法
JP2011041302A (ja) 画像符号化方法、画像符号化装置および画像符号化プログラム
JP4580626B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP2007143178A (ja) 符号化歪除去方法
JP4519676B2 (ja) 動き検出方法および動画像符号化方法
JP4949010B2 (ja) 画像復号化方法及び画像復号化装置
JP4009650B2 (ja) 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム
JP2005102159A (ja) 動画像符号化方法および動画像復号化方法
JP4628216B2 (ja) 画像復号化方法、画像復号化装置および画像復号化プログラム
JP4105218B2 (ja) 受信装置及び送信装置
JP4562785B6 (ja) 符号化歪除去方法
JP2006287973A (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP2004180248A (ja) 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020057016139

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20048186999

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2004771166

Country of ref document: EP

Ref document number: 2004301091

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: PA/a/2006/001111

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 2006285757

Country of ref document: US

Ref document number: 10566506

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2534695

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 577/CHENP/2006

Country of ref document: IN

WWP Wipo information: published in national office

Ref document number: 2004771166

Country of ref document: EP

ENP Entry into the national phase

Ref document number: PI0413624

Country of ref document: BR

WWP Wipo information: published in national office

Ref document number: 1020057016139

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 10566506

Country of ref document: US