WO2004008773A1 - フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法 - Google Patents

フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法 Download PDF

Info

Publication number
WO2004008773A1
WO2004008773A1 PCT/JP2003/008070 JP0308070W WO2004008773A1 WO 2004008773 A1 WO2004008773 A1 WO 2004008773A1 JP 0308070 W JP0308070 W JP 0308070W WO 2004008773 A1 WO2004008773 A1 WO 2004008773A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
block
determining
filtering
target block
Prior art date
Application number
PCT/JP2003/008070
Other languages
English (en)
French (fr)
Inventor
Teck Wee Foo
Chong Soon Lim
Sheng Mei Shen
Shinya Kadono
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to BRPI0303901-3A priority Critical patent/BRPI0303901B1/pt
Priority to CA2448064A priority patent/CA2448064C/en
Priority to US10/479,958 priority patent/US7372905B2/en
Priority to AU2003244072A priority patent/AU2003244072B2/en
Priority to BR0303901-3A priority patent/BR0303901A/pt
Priority to MXPA04002265A priority patent/MXPA04002265A/es
Priority to EP03749803A priority patent/EP1408697A4/en
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Publication of WO2004008773A1 publication Critical patent/WO2004008773A1/ja
Priority to US11/980,629 priority patent/US8116384B2/en
Priority to US12/003,484 priority patent/US7782963B2/en
Priority to US12/722,790 priority patent/US8085856B2/en
Priority to US13/293,247 priority patent/US8982965B2/en
Priority to US13/347,766 priority patent/US8976869B2/en
Priority to US14/618,173 priority patent/US9386320B2/en
Priority to US14/618,158 priority patent/US9204164B2/en
Priority to US14/618,149 priority patent/US9319712B2/en
Priority to US15/097,441 priority patent/US9888241B2/en
Priority to US15/097,424 priority patent/US9854240B2/en
Priority to US15/854,949 priority patent/US10230978B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention provides a filtering strength determining method for determining filtering strength for removing coding distortion between blocks, and performs coding or decoding of a moving image by performing re-filtering based on the determined filtering strength.
  • the present invention relates to a video encoding method and a video decoding method. Background art
  • Filters are commonly used in video compression methods to improve image quality and compression ratio. Blocker artifacts usually occur in decoded pictures of video compression at low bit rates due to quantization noise and motion compensation.
  • One of the tasks of the filter is to smooth the block boundaries in the decoded picture so that these blocker features are reduced or eliminated.
  • a video compression method such as the committee draft (Comittee Draft) of IS OZ IEC 14469-2 Part 10, which is currently developing a standard, requires that video compression be improved.
  • a loop filter is used (for example, see Joint Video Team (JVT) of ISO / 1 EG MPEG and ITU-T VCEG Joint Committee Draft 2002-05-10. JVT-G1679.5 Deblocking Fi Iter). This loop filter is applied to both reference and non-reference pictures to improve the quality of the decoded picture.
  • FIG. 4 is a diagram showing a decision algorithm used in a committee draft of the 144 9 6 -2 P art 10 standard.
  • the decision to select the strength of the filter to be used is made at the block boundary of two adjacent blocks p and q. It is determined whether or not these blocks p or q are coded in the picture (Intra) (step S102).
  • the block boundary is a macroblock boundary (step S102). 10 3).
  • step S104 if both the block p and the block q are not intra-coded (No in step S102), then either of these two blocks is It is determined whether or not a coefficient indicating the spatial frequency component after the orthogonal transformation is included (step S104).
  • filtering is skipped. The following determination is performed to select whether or not to perform the determination (step S105).
  • Index numbers of both reference pictures of block p and block q It is determined whether R ef (p) and R ef (q) are the same.
  • the vertical (V (p, y) and V (q, y)) and horizontal (V (p, x) and V (q, x)) motion vectors of the two blocks are compared with each other. A determination is made as to whether a lesser difference exists.
  • An object of the present invention is to provide a determination method, a moving image encoding method, and a moving image decoding method. Disclosure of the invention To achieve the above object, a method for determining a filtering strength according to the present invention is a method for determining a filtering strength for determining a filtering strength for removing coding distortion between blocks constituting a picture, A parameter acquisition step of acquiring a parameter which is information at the time of encoding of the encoded target block and an encoded adjacent block adjacent to the target block; and a picture including the target block and the adjacent block.
  • the parameter includes a coding mode of the block
  • the comparing step includes, based on the coding mode of each of the target block and the adjacent block, the target block and the adjacent block, respectively.
  • the method further includes a picture number determination step of determining whether the number of reference pictures to be referred to is the same. In the determination step, different filtering intensities are determined according to the determination result in the picture number determination step. Is also good.
  • the parameter further includes a reference index for uniquely identifying a reference picture
  • the comparing step further includes, based on the reference indexes of the target block and the adjacent block, the target block and the target block.
  • a reference picture determination step of determining whether or not the reference pictures referred to by the adjacent blocks are the same.In the determination step, different filtering intensities are determined according to the determination result in the reference picture determination step. You may decide.
  • the parameters include a motion vector for a reference picture
  • the comparing step further includes, based on the motion vector included in the target block and the adjacent block, a horizontal component of an arbitrary motion vector of the target block and an arbitrary component of the adjacent block.
  • a method for determining a filtering strength is a method for determining a filtering strength for determining a filtering strength for removing coding distortion between blocks constituting a picture, and further comprising: A parameter acquisition step of acquiring a picture type of a picture including a block and a coded adjacent block adjacent to the target block; and the picture type acquired by the parameter acquisition step includes two pictures. A step of determining the filtering strength more strongly than the case of indicating the inter-picture prediction coding referring to one picture.
  • a moving picture coding method is a moving picture coding method for coding each picture constituting a moving picture in block units, and is based on the filtering strength determining method according to the present invention. And a filtering step of performing filtering between the target block and the adjacent block according to the determined filtering strength.
  • the moving picture decoding method is a moving picture decoding method for decoding moving picture coded data in which each picture constituting a moving picture is coded in block units.
  • the method includes a filtering step of performing filtering between the target block and the adjacent block based on the filtering strength determined by the filtering strength determining method.
  • the present invention can be implemented not only as the filtering strength determining method, the moving picture coding method and the moving picture decoding method, but also as the filtering strength determining method and the moving picture coding method.
  • a filtering strength determining apparatus, a moving picture coding apparatus, and a moving picture decoding apparatus each of which has the characteristic steps included in the moving picture decoding method and the moving picture decoding method as means. It can also be implemented as a program to be executed by a user. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
  • FIG. 1 is a flowchart showing a conventional method for determining the filtering strength.
  • FIG. 2 is a block diagram showing the configuration of the video encoding device according to the present invention.
  • FIG. 3 is an explanatory diagram showing the order of pictures in the picture memory, and is an explanatory diagram showing (a) an input order and (b) a rearranged order.
  • FIG. 4 is an explanatory diagram of a picture and a reference index.
  • FIG. 5 is an explanatory diagram showing a motion vector in the direct mode.
  • FIG. 6 is a flowchart showing a method of determining the filtering strength in the filter processing control unit according to the first embodiment.
  • FIG. 7 is a block diagram showing the configuration of the video decoding device according to the present invention.
  • FIG. 8 is a flowchart showing a method of determining a filtering strength in the filtering control unit according to the second embodiment.
  • FIG. 9 is an explanatory diagram of a recording medium for storing a program for realizing a moving picture encoding method and a moving picture decoding method of each embodiment by a computer system.
  • An explanatory diagram showing an example of the physical format of a flexible disk (b) an external view from the front of the flexible disk, a cross-sectional structure, and an explanatory diagram showing a flexible disk, and (G) a flexible disk FD containing the above program.
  • FIG. 3 is an explanatory diagram showing a configuration for performing recording and reproduction.
  • FIG. 10 is a block diagram showing the overall configuration of the content supply system.
  • FIG. 11 is a schematic diagram showing an example of a mobile phone.
  • FIG. 12 is a block diagram showing a configuration of a mobile phone.
  • FIG. 13 is a diagram illustrating an example of a digital broadcasting system. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 2 is a block diagram showing a configuration of a video encoding device using the filtering strength determination method according to the present invention.
  • the video encoding device is a device that compresses and encodes an input video and outputs it as a code string.
  • a picture memory 101 As shown in FIG. 2, a picture memory 101, a difference calculation unit 102, a prediction residual code Coding unit 103, code string generation unit 104, prediction residual decoding unit 105, addition operation unit 106, motion vector detection unit 107, motion vector storage unit 10 8. It has a motion compensation coding unit 109, a filter processing control unit 110, a picture memory 111, switches 112, 113, and an inter-pixel filter 114.
  • the picture memory 101 stores moving images input in picture units in display time order.
  • a picture means a single unit of coding called a screen that includes both a frame and a field.
  • the motion vector detection unit 107 uses the coded decoded image data as a reference picture, and detects a motion vector indicating a position predicted to be optimal in a search area in the picture. I do. Further, the motion vector detection unit 107 notifies the detected motion vector to the motion compensation encoding unit 109 and the motion vector storage unit 108.
  • the motion compensation coding unit 109 determines the coding mode of the block using the motion vector detected by the motion vector detection unit 107, and predicts the prediction image based on this coding mode. Generate data. This coding mode indicates how the macroblock is coded, and Indicates whether it is intra coding (motion compensation coding) or intra coding. For example, if the correlation between pictures is low and intra-coding is preferable to performing motion prediction, intra-coding is selected. This encoding mode is notified to the filter control unit 110. In addition, the motion vector and the coding mode are notified from the motion compensation coding unit 109 to the code string generation unit 104. The motion vector storage unit 108 stores the motion vector detected by the motion vector detection unit 107.
  • the difference calculation unit 102 calculates the difference between the image data read from the picture memory 101 and the predicted image data input from the motion compensation coding unit 109, and calculates the prediction residual. Generate difference image data.
  • the prediction residual encoding unit 103 performs encoding processing such as orthogonal transformation and quantization on the input prediction residual image data, and generates encoded data.
  • the code sequence generation unit 104 performs variable-length coding and the like on the coded data generated by the prediction residual coding unit 103, and furthermore, the motion vector input from the motion compensation coding unit 109.
  • a code string is generated by adding the information of the vector and the information of the encoding mode.
  • the prediction residual decoding unit 105 performs decoding processing such as inverse quantization and inverse orthogonal transform on the input encoded data, and generates decoded differential image data.
  • the addition operation unit 106 adds the decoded difference image data input from the prediction residual decoding unit 105 to the prediction image data input from the motion compensation encoding unit 109, Generate decoded image data.
  • the picture memory 111 stores the filtered decoded image data.
  • the filter processing control unit 110 sets the filter ring strength of the inter-pixel filter 114, that is, the filter A 114a, the filter B 114b, in accordance with the input motion vector and coding mode. Which of filter C 1 1 4c, filter D 1 1 4d, and no filtering (skip) Select whether or not to use, and control switches 1 1 2 and 1 1 3.
  • the switches 111 and 113 are switches for selectively connecting any of the terminals “1” to “5” under the control of the filter processing control unit 110.
  • the switch 113 is provided between the output terminal of the addition operation unit 106 and the input terminal of the inter-pixel filter 114. Further, the switch 112 is provided between the input terminal of the picture memory 111 and the output terminal of the inter-pixel filter 114.
  • the pixel-to-pixel filter 114 is, for example, a filter that filters decoded image data to remove block distortion, which is high-frequency noise near boundaries between blocks.
  • ⁇ Filters having different filtering intensities It has a filter A114a, a filter B114b, a filter C114c, and a filter D114d.
  • the filter A 1 14a, the filter B 1 14b, the filter C 114c, and the filter D 114d have the strongest filtering strength in the filter A 114a, and the filter B 1 Filter strength is weaker in the order of 14b, filter C114c, and filter D114d, and filter D114d has the weakest filtering strength.
  • the amount of processing required for filtering differs depending on the filtering strength.
  • the configuration shown in the figure, such as the switches 112 and 113 may be implemented as hardware or may be implemented as software.
  • FIG. 3 is an explanatory diagram showing the order of pictures in the picture memory 101, and is an explanatory diagram showing (a) an input order and (b) a rearranged order.
  • the vertical line indicates a picture
  • the symbol at the lower right of each picture indicates the picture type (1, P, or B) of the first letter
  • the picture after the second letter indicates the picture in display time order.
  • the P-picture is a nearby I-picture or P-picture in front of the display time order.
  • a channel is used as a reference picture
  • a B picture is used as a reference picture using a nearby I picture or P picture that is ahead in display time order and one nearby I picture or P picture that is backward in display time order. I have.
  • FIG. 4 is an explanatory diagram of a picture and a reference index.
  • the reference index is used to uniquely identify the reference picture stored in the picture memory 111, and is a number associated with each picture as shown in FIG.
  • the reference index is used to indicate a reference picture to be used when coding a block by inter-picture prediction.
  • the value of the first reference index first includes information indicating the display order. Values starting from “0” are assigned to reference pictures before the current picture, starting from the one closest to the current picture. If values starting from ⁇ 0 '' are assigned to all reference pictures before the current picture, the next picture is assigned to the next reference picture after the current picture, starting from the one closest to the current picture. Can be
  • a value starting from “0” is assigned to the reference picture subsequent to the current picture in order of the information closer to the current picture, as the value of the second reference index. If the values starting from “0” are assigned to all reference pictures after the current picture, the next picture is assigned to the reference picture before the current picture, starting from the one closest to the current picture. Reapplied.
  • the forward reference picture is the B picture of picture number 7
  • the backward reference picture is The reference picture is the P picture of picture number 9.
  • the picture number is a number indicating the display order.
  • Fig. 4 shows an example of how to assign a reference index. The reapplying method is not limited to the example in FIG.
  • the input image is input to the picture memory 101 in units of pictures in the order of display time, for example, as shown in FIG.
  • the pictures input to the picture memory 101 are rearranged in the order in which the encoding is performed, for example, as shown in FIG. 3 (b).
  • the rearrangement to the coding order is performed based on the reference relationship in the inter-picture prediction coding, and the picture used as the reference picture is coded before the picture used as the reference picture. Is sorted.
  • a method of periodically assigning the picture type is generally used.
  • Each of the pictures rearranged in the picture memory 101 is read out, for example, in units of macro blocks divided into groups of 16 horizontal pixels ⁇ 16 vertical pixels.
  • motion compensation and motion vector extraction are performed, for example, in units of blocks divided into groups of horizontal 8 ⁇ vertical 8 pixels.
  • the target macroblock read from the picture memory 101 is input to the motion vector detection unit 107 and the difference calculation unit 102.
  • the motion vector detector 107 uses the decoded image data stored in the picture memory 111 as a reference picture, and detects a motion vector for each block in the macroblock. Then, the motion vector detecting unit 107 outputs the detected motion vector and a reference index indicating the reference picture to the motion compensation encoding unit 109.
  • the motion compensation coding unit 109 determines a macroblock coding mode using the motion vector detected by the motion vector detection unit 107 and the reference index.
  • the encoding mode is, for example, for B picture Include intra-picture coding, inter-picture predictive coding using forward motion vectors, inter-picture predictive coding using backward motion vectors, inter-picture predictive coding using two motion vectors, and direct mode coding. It is assumed that the user can select which method to use for encoding.
  • FIG. 5 is an explanatory diagram showing a motion vector in the direct mode, and shows a case where the block a of the picture B8 is encoded in the direct mode.
  • a motion vector c having a block b at the same position as the block a in the picture P9, which is a reference picture behind the picture B8, is used.
  • the motion vector c is the motion vector used when the block b was encoded, and refers to the picture P5.
  • Block a is a motion vector d for picture P5, which is a forward reference picture, and a motion vector e for picture P9, which is a backward reference picture, obtained by scaling motion vector c.
  • the motion compensation is performed from the picture P5 and the picture P9.
  • the motion compensation coding unit 109 generates predicted image data based on the determined coding mode, and outputs the predicted image data to the difference calculation unit 102 and the addition calculation unit 106.
  • the motion compensation coding unit 109 selects the direct mode, the motion vector of the block located at the same position as the target block in the backward reference picture is referred to as described above. Since the motion vector is used as a vector, the motion compensation encoding unit 109 reads out the reference motion vector and the reference index from the motion vector storage unit 108. Further, when the motion compensation coding unit 109 selects the intra-picture coding, the prediction image data is not output.
  • the motion compensation coding unit 109 filters the determined coding mode, motion vector, and reference index information. It outputs the value of the reference index indicating the reference picture to filter processing control section 110 to processing control section 110 and code stream generation section 104.
  • the prediction residual encoding unit 103 to which the prediction residual image data has been input performs encoding processing such as orthogonal transform and quantization on the prediction residual image data to generate encoded data. And outputs the result to the code string generation unit 104 and the prediction residual decoding unit 105.
  • the coded sequence generator 104 to which the coded data is input performs variable length coding and the like on the coded data, and furthermore, the information of the motion vector input from the motion compensation coding unit 109.
  • a code string is generated by adding coding mode information and the like, and is output. For macroblocks coded in direct mode, no motion vector information is added to the coded sequence.
  • the prediction residual decoding unit 105 performs decoding processing such as inverse quantization and inverse orthogonal transform on the input coded data, generates decoded differential image data, and performs an addition operation. Output to section 106.
  • the addition operation unit 106 generates decoded image data by adding the decoded difference image data and the predicted image data input from the motion compensation encoding unit 109 to generate the decoded image data. Output to the inter-pixel filter 1 14 via 1 13.
  • the inter-pixel filter 1 14 to which the decoded image data has been input is the filter A 1 1 4a, the filter B 1 1 4b, and the filter C 1 which have been selected by the switches 1 1 2 and 1 1 3 from the decoded image data.
  • the control of switching "5" is performed by the filter processing control unit 110 as follows.
  • FIG. 6 is a flowchart showing a method of determining filtering strength in filter processing control section 110.
  • the filter processing control unit 110 determines the filtering strength necessary for both the vertical and horizontal block boundaries in the decoded image data (the determination for selecting the filter strength used for this filtering is This is performed at the block boundary between two adjacent blocks p and q in the same manner as in the conventional case shown in Fig. 1.
  • the filtering control unit 110 is configured to include the motion compensation coding unit. Based on the coding mode of each macroblock output from 109, it is determined whether or not these blocks p or q are coded in a picture (intra). Here, if one of the blocks p or q is intra-coded (Y es in step S 202), the filter processing control unit 110 returns to the block boundary. It becomes macroblock boundary it is determined whether the (Step S 2 0 3).
  • the filter processing control unit 110 sets the filter having the strongest filtering strength.
  • the filter processing control unit 110 Select the filter B 1 1 4 b (B s ⁇ 3) of the second intensity (No in step S 203).
  • the filter processing control unit 110 performs control to switch each terminal of the switches 112 and 113 to "2".
  • the expression including this inequality sign indicates a range that can be determined under conditions not disclosed in the present invention.
  • step S202 if both the block p and the block q are not intra-coded (No in step S202), the filter control unit 110 It is determined whether or not either the block p or the block q includes a coefficient indicating the spatial frequency component after the orthogonal transform (step S204).
  • the filter processing control unit 110 sets the filter C 1 1 4 with the third strongest filtering strength.
  • c Select (B s ⁇ 2). That is, the filter processing control unit 110 performs control to switch each terminal of the switches 112 and 113 to "3".
  • the filter control unit 110 It is determined whether the picture including the block p and the block q is a P picture or a B picture (step S205).
  • filter processing control section 110 sets the value of the reference index and motion of the reference index input from motion compensation coding section 109.
  • Vector storage unit Based on the motion vector input from 108, block
  • the reference pictures referenced by block p and block q are the same, and the vertical (V (p, y) and V (q, y)) and horizontal (V) components of the motion vectors of block p and block q are It is determined whether or not the difference between (p, X) and V (q, X)) is smaller than a pixel (step S208). That is, whether or not all of the following equations (A), (B) and (C) are satisfied.
  • R ef (p) and R ef (q) indicate the reference pictures referred to by the blocks p and q, respectively.
  • the filter processing control unit 110 selects the filter D114d (Bs ⁇ 1) having the weakest filtering strength. That is, the filter processing control unit 110 performs control to switch each terminal of the switches 112 and 113 to "4".
  • the coding mode of the macroblock is the inter-picture prediction code using the forward motion vector. Encoding, inter-picture prediction coding using backward motion vectors, inter-picture prediction coding using two motion vectors, or direct mode. For example, If lock P uses only forward prediction and block q uses prediction referring to two pictures, the number of reference pictures in block p is ⁇ 1 J and the number of reference pictures in block q is 2 ". Therefore, the filter processing control unit 110 determines whether or not the number of reference pictures referred to by the block p and the block q is the same (step S206). As a result, if the number of reference pictures referred to by block P and block q is different (No in step S206), filter processing control section 110 sets filter D having the weakest filtering intensity to filter D 1 Select 1 d (B s ⁇ 1).
  • the filtering control unit 110 receives the input from the motion compensation encoding unit 109. Based on the value of the reference index, it is determined whether or not the reference pictures referenced by the blocks p and q are exactly the same (step S207). As a result, if at least one reference picture referred to by the blocks p and q is different (No in step S207), the filter processing control unit 110 sets the filter D having the weakest filtering ring strength 1 Select 1 4 d (B s ⁇ 1).
  • the filter processing control unit 110 returns to the weighting prediction of the blocks p and q. It is determined whether or not the weighting (ABP) coefficients are the same (step S209). As a result, when the weighting coefficients of the block p and the block q are different (No in step S209), the filter processing control unit 110 sets the filter D1 14 d ( Select B s ⁇ 1).
  • the weighted prediction refers to a value obtained by multiplying a pixel value of a reference image by a first weighting factor and further adding a second weighting factor: 8 in the inter-picture prediction. Prediction method.
  • the filter processing control unit 110 determines that all the motion vectors of the blocks p and q It is determined whether the difference between the vertical and horizontal motion vectors is smaller than one pixel (step S210). That is, whether all of the following equations (D) to (G) are satisfied is determined.
  • V f and V b indicate motion vectors in each of the blocks p and q. For example, when there is one reference picture, there is only one reference picture.
  • the filtering process is performed.
  • the filter processing control unit 110 selects the filter D114d (Bs ⁇ 1) having the weakest filtering strength.
  • a macroblock of a B picture can be predicted using the direct mode.
  • the motion vector of the target block is the motion vector of the block corresponding to the same position as the target block in the reference picture whose second reference index Ridx2 is ⁇ 0J.
  • the target The forward reference picture of the lock is a reference picture to which the motion vector of the corresponding block refers
  • the backward reference picture of the current block is a reference picture in which the second reference index Ridx2 is ⁇ 0 ''. . Therefore, the filter processing control unit 110 uses the derived motion vector and reference picture to determine the filtering strength.
  • FIG. 7 is a block diagram showing the configuration of a moving picture decoding apparatus using the filtering strength determination method according to the present invention.
  • the video decoding device is a device that decodes a code sequence encoded by the video coding device, and as shown in FIG. 7, a code sequence analysis unit 201, a prediction residual decoding unit 202, Motion compensation decoding unit 203, motion vector storage unit 204, filter processing control unit 205, picture memory 206, addition operation unit 207, switch 209, switch 209 , And an inter-pixel filter 210.
  • the code string analysis unit 201 extracts various data such as information on the coding mode and information on the motion vector used at the time of coding from the input code string.
  • the prediction residual decoding unit 202 decodes the encoded prediction residual data to generate prediction residual image data.
  • the motion compensation decoding unit 203 acquires the image data from the reference picture stored in the picture memory 206 based on the information of the encoding mode at the time of encoding, the information of the motion vector, and the like. Generate motion-compensated image data.
  • Motion vector storage unit Reference numeral 204 stores the motion vector extracted by the code string analysis unit 201.
  • the addition operation unit 207 adds the prediction residual image data input from the prediction residual decoding unit 202 to the motion compensation image data input from the motion compensation decoding unit 203. And generate the decoded image data.
  • the picture memory 206 stores the filtered decoded image data.
  • the filter processing control unit 205 controls the filter ring intensity of the inter-pixel filter 210, that is, the filter A 210a, the filter B 210b, the filter C 210C, the filter D 210D, And without filtering, select which of (skip) to use and control switch 208 and switch 209.
  • the switch 208 and the switch 209 selectively connect any one of the terminals “1” to “5” under the control of the filter processing control unit 205. It is a switch.
  • the switch 209 is provided between the output terminal of the addition operation unit 207 and the input terminal of the inter-pixel filter 210.
  • the switch 208 is provided between the input terminal of the picture memory 206 and the output terminal of the inter-pixel filter 210.
  • the inter-pixel filter 210 is, for example, a deblocking filter that filters decoded image data to remove block distortion, which is high-frequency noise near boundaries between blocks.
  • the filters A have different filtering strengths. 210 a, physoleta B 210 b, filter C 210 c, and filter D 210 Od.
  • the filter A 210a, the filter B 210b, the filter C210c, and the filter D210d have the strongest filtering strength in the filter A210a, and the filter B2 Filter strength is weaker in the order of 1 Ob, filter C 210 c, and filter D 210 d, and filter D 210 d has the weakest filtering strength.
  • the amount of processing required for filtering differs depending on the filtering strength.
  • the code sequence analysis unit 201 extracts various data such as information on the re-encoding mode and information on the motion vector from the input code sequence.
  • the code sequence analysis unit 201 sends the extracted coding mode information to the motion compensation decoding unit 203 and the filter processing control unit 205, and outputs the motion vector information, the reference index, and the Is output to the motion vector storage unit 204. Further, the code sequence analysis unit 201 outputs the extracted prediction residual coded data to the prediction residual decoding unit 202.
  • the prediction residual decoding unit 202 to which the prediction residual coded data has been input decodes the prediction residual coded data, generates prediction residual image data, and sends the result to the addition operation unit 207. Output.
  • the motion compensation decoding unit 203 reads the coding mode information and reference index value input from the code sequence analysis unit 201 and the motion vector storage unit 204. Based on the motion vector information, a motion compensation image data is generated by referring to the reference picture stored in the picture memory 206. Next, the motion compensation decoding unit 203 outputs the generated motion compensated image data to the addition operation unit 207, and sends the value of the reference index indicating the reference picture to the filter processing control unit 205. Output.
  • the addition operation unit 207 generates the decoded image data by adding the motion compensated image data and the prediction residual image data input from the prediction residual decoding unit 202 to the switch 209. To the inter-pixel filter 210 via the.
  • the pixel-to-pixel filter 210 to which the decoded image data is input is a filter A 210 Oa, a filter B 210 b, and a filter C 2 selected by the switches 208 and 209. Filtering with either 1 0 c or filter D 2 10 d or without filtering (skip) and storing to picture memory 206 via switch 208 At this time, the control for switching the terminals “1” to “5” of the switch 208 and the switch 209 is performed by the filter processing control unit 205 to control the filter processing of the moving image encoding apparatus. The operation is performed in the same manner as the operation of the unit 110.
  • the method of determining the filtering strength in filtering process control section 110 described in the first embodiment is partially different.
  • the configuration is the same as in the first embodiment, and a detailed description will be omitted.
  • the determination of the filtering strength in filter processing control section 110 the description of the same parts as in the first embodiment is omitted.
  • the filtering method is a method of determining the filtering strength in the filter processing control unit 205.
  • FIG. 8 is a flowchart showing a method for determining the filtering strength according to the second embodiment.
  • the filter processing control unit 110 determines whether the picture including the block p and the block q is a P picture or a B picture (step S311).
  • the picture including block p and block q is In the case of the filter, the filter processing control unit 110 selects the filter CI14c (Bs (p) ⁇ 2) having the third strongest filtering strength.
  • the filter processing control unit 110 transmits B s (B s (p) having a stronger filtering strength than B s (p) when the picture is a P picture. b) Select (Bs (b)> Bs (p)).
  • the optimal filtering strength can be determined even when predictive coding that refers to two pictures is used. Therefore, a moving image can be encoded so as to improve the image quality of the decoded moving image.
  • the filtering is not performed (skip), but is performed, for example, by the most filtering.
  • a filter having a weaker filtering strength than the weak filter D 1 1 4 d (B s ⁇ 1) may be used.
  • the filter processing control unit 110 does not need to execute all the steps shown in the flowchart of FIG. 6 or FIG. 9, and omits some of the steps. No problem.
  • step S207 if the reference pictures referred to by block p and block q are exactly the same (Yes in step S207 (S307)), although the determination process of step S209 (S309) is performed, the determination process of step S210 (S310) may be performed without performing this process. Also, the execution order of each step is reversed. No problem.
  • FIG. 9 is an explanatory diagram of a storage medium for storing a program for realizing a moving image encoding method and a moving image decoding method of each embodiment by a computer system.
  • FIG. 9 (b) shows the appearance, cross-sectional structure, and flexible disk as viewed from the front of the flexible disk
  • FIG. 9 (a) shows an example of the physical format of the flexible disk which is the recording medium body.
  • the flexible disk FD is built in the case F, and a plurality of tracks Tr are formed concentrically from the outer circumference toward the inner circumference on the surface of the disk, and each track has an angle of 16 tracks. It is divided into sectors Se. Therefore, in the flexible disk storing the above program, the moving image encoding method as the program is recorded in the area allocated on the flexible disk FD.
  • FIG. 9 (c) shows a configuration for recording and reproducing the above program on the flexible disk FD.
  • the moving picture coding method or the moving picture decoding method as the above program is written from the computer system Cs via the flexible disk drive FDD.
  • flexible devices When the above moving picture coding method is to be constructed in a computer system using the program in the disk, the program is read from the flexible disk by the flexible disk drive and transferred to the computer system.
  • the description has been made using a flexible disk as a recording medium, but the same description can be made using an optical disk.
  • the recording medium is not limited to this, and the present invention can be similarly implemented as long as the program can be recorded, such as an IC card or a ROM cassette.
  • FIG. 10 is a block diagram showing the overall configuration of a content supply system exl00 that realizes a content distribution service.
  • the communication service providing area is divided into desired sizes, and base stations ex107 to ex110, which are fixed wireless stations, are installed in each cell.
  • the content supply system ex100 is connected to the Internet ex101 via an internet service provider ex102 and a telephone network ex104, and base stations exl07 to exl10. Then, various devices such as a computer ex111, a PDA (personal digital assistant) ex112, a camera exl13, a mobile phone ex114, and a camera-equipped mobile phone ex115 are connected.
  • a computer ex111 a PDA (personal digital assistant) ex112
  • a camera exl13 a mobile phone ex114
  • a camera-equipped mobile phone ex115 are connected.
  • each device may be directly connected to the telephone network exl 04 without going through the base stations ex 107 to ex 110 which are fixed wireless stations.
  • the camera ex 1 13 is a device capable of shooting moving images, such as a digital video camera.
  • mobile phones are PDC (Personal Digital Commun i cat i ons) System, CDMA (Code Division Multiple Access) system, W-CDMA (Wideband-Code Division Multiple Access) system, GSM (Global System for Mobile Communications) system mobile phone, or PHS (Persona I) Handyphone System), etc.
  • the streaming server ex 103 is connected to the camera ex 113 via the base station ex 109 and the telephone network ex 104, and the code transmitted by the user using the camera ex 113 is used. Live distribution and the like based on the data that has been processed can be performed.
  • the encoding of the captured data may be performed by the camera exl 13 or by a server or the like that performs the data transmission processing.
  • the moving image data shot by the camera e116 may be transmitted to the streaming server ex103 via the computer ex111.
  • the camera ex1 16 is a device such as a digital camera that can shoot still images and moving images. In this case, the encoding of the moving image data may be performed by the camera exl 16 or the computer exl 11.
  • the encoding process is performed in the LSI ex117 of the computer ex111 and the camera ex116.
  • the video encoding / decoding software may be incorporated in any storage medium (CD-ROM, flexible disk, hard disk, etc.) that is a recording medium readable by a computer exl 11 or the like.
  • the moving image data may be transmitted by the camera-equipped mobile phone ex 115. The moving image data at this time is the data encoded by the LSI included in the mobile phone ex 115.
  • the content (for example, a video of a live music shot) shot by the user with the camera ex113 camera ex116 or the like is encoded in the same manner as in the above embodiment. While processing and sending to streaming server ex103, streaming server ex103 is required.
  • the content data is streamed to the requested client.
  • the client include a computer exl 11, a PDA ex 112, a camera ex 113, and a mobile phone ex 114 capable of decoding the above encoded data.
  • the content supply system ex1000 can receive and reproduce the encoded data at the client, and further, receive, decode, and reproduce the data in real time at the client. This makes it possible to implement personal broadcasting.
  • each device constituting this system may be performed using the moving picture coding apparatus or the moving picture decoding apparatus described in each of the above embodiments.
  • a mobile phone will be described as an example.
  • FIG. 11 is an HI showing a mobile phone exl 15 using the moving picture coding method and the moving picture decoding method described in the above embodiment.
  • the mobile phone exl 15 is an antenna ex2 0 1 for transmitting and receiving radio waves to and from the base station exl 10, a camera unit ex 2 03 that can take images and still images from CCD cameras, etc., power camera A display unit ex2 02 such as a liquid crystal display for displaying data obtained by decoding the video captured by the unit ex2 03, the video received by the antenna ex20 1, and the like, a main unit including an operation key eX204 group; Voice output unit ex208 for speed output for voice output, audio input unit ex205 for microphone etc.
  • the recording media ex 207 is a non-volatile memory that can be electrically rewritten and erased in a plastic case such as an SD card.
  • a flash memory device which is a kind of EEPROM (Electric CaIIy Erasable and Programmable Read On Iy Memory).
  • the mobile phone ex 115 will be described with reference to FIG.
  • the mobile phone ex 1 15 is provided with a power supply circuit for the main control unit ex 3 11 1 which is to control each part of the main unit equipped with the display unit ex 202 and the operation keys ex 204 as a whole.
  • the image decoding unit ex 309, the demultiplexing unit ex 308, the recording / reproducing unit ex 307, the modulation / demodulation circuit unit ex 306, and the audio processing unit ex 305 communicate with each other via the synchronization path ex 313. It is connected.
  • the power supply circuit ex310 is configured to supply power from a battery pack to each unit when a call is terminated and a power key is turned on by a user operation. Is activated.
  • the mobile phone ex115 based on the control of the main control unit ex311, comprising a CPU, ROM, RAM, etc., converts the audio signal collected by the audio input unit ex205 in the voice call mode into the audio processing unit.
  • the digital audio data is converted into digital voice data by ex305, spread spectrum processing is performed by the modulation and demodulation circuit section ex306, and digital-analog conversion processing and frequency conversion processing are performed by the transmission and reception circuit section ex301. Then, it transmits via antenna ex201.
  • the mobile phone ex115 also amplifies the received data received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog-to-digital conversion processing, and performs modulation and demodulation circuit section ex306 on the spread spectrum. After performing the ram despreading process and converting it into analog audio data by the audio processing unit ex305, this is output via the audio output unit ex208.
  • the text data of the e-mail input by the operation of the operation key ex204 is sent to the main control unit ex311 via the operation input control unit ex304.
  • the main control unit ex31 1 performs spread spectrum processing on the text data in the modulation / demodulation circuit unit ex306, performs digital / analog conversion processing and frequency conversion processing in the transmission / reception circuit unit ex301, and then executes the antenna ex2. Transmit to base station ex 110 via 01.
  • image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface unit ex303.
  • image data captured by the camera unit ex203 is directly transmitted to the display unit ex202 via the camera interface unit ex303 and the LCD control unit ex302. It can also be displayed.
  • the image encoding unit ex312 has a configuration provided with the moving image encoding device described in the present invention.
  • the image encoding unit ex312 converts the image data supplied from the camera unit ex203 into the moving image encoding unit described in the above embodiment.
  • the image data is converted into encoded image data by performing compression encoding according to the encoding method used in the apparatus, and is transmitted to the demultiplexing unit ex308.
  • the mobile phone ex115 also demultiplexes the voice collected by the voice input unit ex205 during imaging by the camera unit ex2033 as digital voice data via the voice processing unit ex305. It is sent to the section ex308.
  • the demultiplexing unit ex308 multiplexes the encoded image data supplied from the image encoding unit ex310 and the audio data supplied from the audio processing unit ex305 in a predetermined manner, and obtains the result.
  • the multiplexed data is subjected to spread spectrum processing in the modulation and demodulation circuit section ex306, subjected to digital analog conversion processing and frequency conversion processing in the transmission / reception circuit section ex301, and then transmitted via the antenna ex201. .
  • the received data received from the base station ex110 via the antenna ex201 is received by the modem circuit ex306.
  • the spectrum despreading process is performed, and the resulting multiplexed data is sent to the demultiplexing unit ex308.
  • the demultiplexing unit ex308 demultiplexes the multiplexed data to obtain a bit stream of the re-image data.
  • the stream is divided into a bit stream of audio data, and the encoded image data is supplied to an image decoding unit ex309 via a synchronous bus ex313 and the audio data is sent to an audio processing unit ex305. Supply.
  • the image decoding unit ex309 has a configuration provided with the video decoding device described in the present invention, and converts the bit stream of image data into the encoding method shown in the above embodiment.
  • the data is supplied to the display unit ex202 via the LCD control unit ex302, thereby linking to, for example, a homepage.
  • the moving image data included in the created moving image file is displayed.
  • the audio processing unit ex305 converts the audio data into analog audio data, and then supplies the analog audio data to the audio output unit ex208, whereby, for example, a moving image linked to a homepage
  • the audio data included in the image file is reproduced.
  • the bitstream of the video information is transmitted to the communication or broadcasting satellite ex410 via radio waves.
  • the broadcasting satellite ex 4 10 that received this broadcast And transmit it to a home antenna ex 406 equipped with satellite broadcasting receiving equipment, and use a device such as a TV (receiver) ex 401 or a set top box (STB) ex 407 Decrypts the bit stream and reproduces it.
  • TV radio
  • STB set top box
  • the moving picture decoding apparatus described in the above embodiment is implemented in a reproducing apparatus ex403 that reads and decodes a bit stream recorded on a storage medium ex402 such as a CD or DVD which is a recording medium. It is possible. In this case, the reproduced video signal is displayed on the monitor ex404.
  • a video decoding device is mounted in a set-top box ex407 connected to a cable TV cable ex405 or a satellite Z terrestrial broadcasting antenna ex406, and this is connected to a TV monitor ex408. A configuration for playback is also conceivable. At this time, the video decoding device may be incorporated in the TV instead of the set-top box.
  • a car ex 4 12 having an antenna ex 4 11 receives a signal from a satellite ex 4 10 or a base station exl 07 or the like, and receives a signal ex 4 1 3 which the car ex 4 1 2 has. It is also possible to play a moving image on a display device such as.
  • an image signal can be encoded by the moving image encoding device described in the above embodiment and recorded on a recording medium.
  • a DVD recorder ex420 for recording an image signal on a DVD disc eX421 and a disc recorder for recording a hard disk.
  • it can be recorded on the SD card eX422. If the recorder ex420 has the video decoding device shown in the above embodiment, it reproduces the image signal recorded on the DVD disc eX421 or the SD card eX422, It can be displayed on the monitor ex408.
  • the configuration of the force navigation ex4 13 is, for example, the configuration shown in FIG. 12 except that the camera unit ex203, the camera interface unit ex303, and the image encoding unit eX312 are excluded. Configurations are possible and similar Data ex 1 1 1 and TV (receiver) ex 4 1 etc.
  • terminals such as the above-mentioned mobile telephones ex 114 include transmission / reception terminals having both an encoder and a decoder, as well as a transmission terminal having only an encoder and a reception terminal having only a decoder.
  • transmission terminals having only an encoder and a reception terminal having only a decoder.
  • the moving picture coding method or the moving picture decoding method shown in the above embodiment can be used for any of the above-mentioned devices and systems. The effect can be obtained.
  • the method of determining the filtering strength according to the present invention even when predictive coding that refers to two pictures is used, the decoded image data is filtered and the The filtering strength of the filter that removes block distortion, which is high-frequency noise near the boundary of, can be optimally determined. Therefore, a moving image can be encoded so as to improve the image quality of the decoded moving image. Also, the method for determining the filtering strength according to the present invention can be applied to both a moving picture coding apparatus and a moving picture decoding apparatus, and its practical value is large. Industrial potential
  • the filtering strength determining method, the moving image encoding method, and the moving image decoding method according to the present invention are applied to, for example, a mobile phone, a DVD device, a personal computer, and the like for each picture constituting a moving image. It is useful as a method for encoding the corresponding image data to generate a code sequence, or for decoding the generated code sequence.

Abstract

動画像符号化装置は、復号化画像データをフィルタリングしてブロック間の境界付近における高周波ノイズであるブロック歪みを除去する、それぞれフィルタリング強度が異なるフィルタＡ（１１４ａ）、フィルタＢ（１１４ｂ）、フィルタＣ（１１４ｃ）、およびフィルタＤ（１１４ｄ）を有する画素間フィルタ（１１４）と、この画素間フィルタ（１１４）のフィルタリング強度を決定するフィルタ処理制御部（１１０）を備える。

Description

明 細 書 フィルタ リング強度の決定方法、 動画像符号化方法、 および動画像復 号化方法 技術分野
本発明は、 ブロック間の符号化歪みを除去するフィルタ リングの強度 を決定するフィルタ リング強度の決定方法、 決定されたフィルタ リング の強度によリフィルタ リングして動画像の符号化または復号化を行う動 画像符号化方法および動画像復号化方法に関する。 背景技術
フィルタは、 画質を改善すると共に圧縮率を改善するために通常ビデ ォ圧縮方法で用いられる。 ブロッキ一ァーテファク 卜は、 量子化ノイズ 並びに動き補償により低ビッ トレートのビデオ圧縮の復号化ピクチャで 通常発生する。 フィルタのタスクの一つは、 これらのブロッキ一ァ一テ ファク 卜が縮小又は除去されるように復号化ピクチャにおけるプロック の境界を平滑にすることである。
例えば、 現在規格を策定中の I S OZ I E C 1 4 4 9 6 - 2 P a r t 1 0の委員会草案 （C o m i t t e e D r a f t ) のようなビデ ォ圧縮方法では、 動画像の圧縮を改良するためにループフィルタを用い ている （例えば、 Joint Video Team (JVT) of I SO/ 1 EG MPEG and ITU-T VCEG Joint Committee Draft 2002-05-10. JVT-G1679.5 Deblocking Fi Iter 参 照）。 このループフィルタは、復号化されたピクチャの画質を改善するた めに参照および非参照ピクチャの両方に適用される。
図 1 は、 用いられるフィルタの強度を選択するために I S OZ I E C 1 4 4 9 6 - 2 P a r t 1 0標準の委員会草稿で用いられた判定ァ ルゴリズムを示す図である。
用いられるフィルタの強度を選択するための判定は、 二つの隣接する ブロック p及ぴブロック qのブロック境界で実行される。 これらのプロ ック pまたはブロック qが、 ピクチャ内 （ I n t r a ) 符号化されてい るか否かの判定を行う （ステップ S 1 0 2 )。 ここで、 ブロック p及びブ ロック qの一つがイントラ符号化されている場合 （ステップ S 1 0 2で Y e s ) には、 ブロック境界がマクロブロック境界になるか否かの判定 を行う （ステップ S 1 0 3 )。 この判定の結果、 ブロック境界がマクロブ ロック境界になる場合、 すなわち二つのブロックが同じマクロブロック に含まれない場合には、 最も強いフィルタの強度 （B s = 4 ) が選択さ れる （ステップ S 1 0 3で Y e s )。 一方、 ブロック境界がマクロブロッ ク境界にならない場合、 すなわちこれら二つのブロックが同じマクロブ ロックに含まれる場合には、二番目の強度 （B s = 3 ) が選択される （ス テツプ S 1 0 3で N o )。
上記判定 （ステップ S 1 0 2 ) の結果、 ブロック p及びプロック qの 両方がイン トラ符号化されていない場合 （ステップ S 1 0 2で N o ) に は、 次いでこの二つのブロックのいずれかが直交変換後の空間周波数成 分を示す係数を含むか否かの判定を行う （ステップ S 1 0 4 )。 ここで、 二つのプロックのいずれかが係数を含む場合 （ステップ S 1 0 4で Y e s ) には、 三番目に強いフィルタの強度 （B s = 2 ) が選択される。 一 方、 二つのブロックの両方とも係数を含まない、 すなわちブロック p及 ぴブロック qの両方で係数が符号化されない場合 （ステップ S 1 0 4で N o ) には、 フィルタ リングがスキップされるか否かを選択するために 次の判定を行う （ステップ S 1 0 5 )。
ブロック p及ぴブロック qの両方の参照ピクチャのインデックス番号 R e f ( p ) 及び R e f ( q ) が同じであるか否かの判定を行う。 また、 二つのブロックの垂直（V ( p , y )及び V ( q ， y ) )及び水平 （V ( p , x ) 及び V ( q 、 x ) ) 動きべク トルを互いに比較し、 一画素よりも少な い差が存在するか否かの判定を行う。 この 2つの判定の結果、 二つのブ ロックの参照ピクチャのインデックス番号が同じであり、 かつそれらの 垂直及び水平動きべク トルが一画素よりも離れていない場合 （ステップ S 1 0 5で N o ) にだけ、 これら二つのブロックの間の境界のフィルタ リ ングがスキップされる。 その他の全ての場合 （ステップ S 1 0 5で丫 e s ) において、 弱いフィルタ リング （ B s = 1 ) がブロック境界で実 行される。
従来のフィルタの強度を選択するための判定アルゴリズムは、 2つの ピクチャを参照する予測符号化ピクチャにおけるブロックに対して全て の可能な場合を十分に網羅していない。 この理由は、 2つのピクチャを 参照する予測符号化ピクチャのマクロブロックでは、 ダイ レク ト、 順方 向、 逆方向及び 2つのピクチャを参照するモードを用いて予測すること ができるからである。 これらの予測モードは、 従来の判定アルゴリズム において考慮されていない。 同様に、 一方のブロックがダイレク トモ一 ドを用い、 かつ他方のブロックが 2つのピクチャを参照する予測モード を用いる場合において、 比較に用いられる動きべク トルは、 従来技術に おいて十分に説明されていない。
そこで、 本発明は上記の事情に鑑みてなされたものであり、 2つのピ クチャを参照する予測符号化を用いた場合であっても最適なフィルタリ ング強度を決定することができるフィルタ リング強度の決定方法、 動画 像符号化方法および動画像復号化方法を提供することを目的とする。 発明の開示 上記目的を達成するために、 本発明に係るフィルタ リング強度の決定 方法は、 ピクチャを構成するブロック間の符号化歪みを除去するフィル タリングの強度を決定するフィルタ リング強度の決定方法であって、 符 号化済みの対象ブロックおよびこの対象ブロックに隣接する符号化済み の隣接ブロックの符号化時の情報であるパラメータを取得するパラメ一 タ取得ステップと、 前記対象プロックおよび前記隣接プロックを含むピ クチャが 2つのピクチャを参照するピクチャ間予測符号化を行う ピクチ ャである場合、 前記対象プロックおよび前記隣接プロックの前記パラメ —タを比較する比較ステップと、 前記比較ステップによる比較結果に基 づいてフィルタ リングの強度を決定する決定ステップとを含むことを特 徴とする。
ここで、 前記パラメータは、 ブロックの符号化モー ドを含み、 前記比 較ステツプには、 前記対象プロックおよび前記隣接プロックそれぞれの 前記符号化モードに基づいて、 前記対象ブロックおよび前記隣接ブロッ クそれぞれが参照する参照ピクチャの数が同じであるか否かを判定する ピクチャ数判定ステップを含み、 前記決定ステップでは、 前記ピクチャ 数判定ステツプでの判定結果に応じて、 異なるフィルタ リングの強度を 決定してもよい。
また、 前記パラメータは、 さらに参照ピクチャを一意に識別するため の参照インデックスを含み、 前記比較ステップには、 さらに、 前記対象 ブロックおよび前記隣接ブロックそれぞれの前記参照インデックスに基 づいて、 前記対象プロックおよび前記隣接プロックそれぞれが参照する 参照ピクチャが同じであるか否かを判定する参照ピクチャ判定ステップ を含み、 前記決定ステップでは、 前記参照ピクチャ判定ステップでの判 定結果に応じて、 異なるフィルタリングの強度を決定してもよい。 また、前記パラメータは、参照ピクチヤに対する動きベク トルを含み、 前記比較ステップには、 さらに、 前記対象ブロックおよび前記隣接プロ ックに含まれる前記動きべク トルに基づいて、 前記対象ブロックの任意 の動きべク トルの水平成分と、 前記隣接ブロックの任意の動きべク トル の水平成分との差、 または前記対象ブロックの任意の動きべク トルの垂 直成分と、 前記隣接ブロックの任意の動きべク トルの垂直成分との差の 少なく とも 1 つが、 所定値以上であるか否かを判定する動きべク トル判 定ステップを含み、 前記決定ステップでは、 前記動きべク トル判定ステ ップでの判定結果に応じて、 異なるフィルタ リングの強度を決定しても よい。
これによつて、 2つのピクチャを参照する予測符号化ピクチャにおけ るブロックに対して可能な全ての場合を網羅することができ、 2つの'ピ クチャを参照する予測符号化を用いた場合であっても、 復号化画像デ一 タをフィルタ リングしてブロック間の境界付近における高周波ノイズで あるブロック歪み （ブロック間の符号化歪み） を除去するフィルタのフ ィルタ リング強度を最適に決定することができる。 また、 このフィルタ リング強度の決定方法は、 動画像符号化装置および動画像復号化装置の 両方に適用することができる。
また、 本発明に係るフィルタ リング強度の決定方法は、 ピクチャを構 成するブロック間の符号化歪みを除去するフィルタ リングの強度を決定 するフィルタ リング強度の決定方法であって、 符号化済みの対象ブロッ クおよびこの対象ブロックに隣接する符号化済みの隣接ブロックを含む ピクチャのピクチャタイプを取得するパラメータ取得ステップと、 前記 パラメータ取得ス亍ップによリ取得されたピクチャタイプが 2つのピク チヤを参照するピクチャ間予測符号化を示している場合には、 1 つのピ クチャを参照するピクチャ間予測符号化を示している場合よリ強く フィ ルタ リングの強度を決定する決定ステップとを含むことを特徴とする。 これによつて、 上記同様に 2つのピクチャを参照する予測符号化を用 いた場合であっても、 復号化画像データをフィルタリングしてブロック 間の境界付近における高周波ノィズであるプロック歪み （プロック間の 符号化歪み） を除去するフィルタのフィルタ リング強度を最適に決定す ることができる。 また、 このフィルタリング強度の決定方法は、 動画像 符号化装置および動画像復号化装置の両方に適用することができる。 また、 本発明に係る動画像符号化方法は、 動画像を構成する各ピクチ ャをブロック単位で符号化する動画像符号化方法であって、 本発明に係 るフィルタリング強度の決定方法によリ決定されたフィルタ リング強度 により、 前記対象ブロックおよび前記隣接ブロック間にフィルタ リング を行うフィルタ リングステップを含むことを特徴とする。
また、 本発明に係る動画像復号化方法は、 動画像を構成する各ピクチ ャがブロック単位で符号化された動画像符号化データを復号化する動画 像復号化方法であって、 本発明に係るフィルタ リング強度の決定方法に より決定されたフィルタ リ ング強度により、 前記対象ブロックおよび前 記隣接ブロック間にフィルタ リングを行うフィルタリングステップを含 むことを特徴とする。
なお、 本発明は、 このようなフィルタリング強度の決定方法、 動画像 符号化方法および動画像復号化方法として実現することができるだけで なく、 このようなフィルタ リング強度の決定方法、 動画像符号化方法お よび動画像復号化方法が含む特徴的なステップを手段と して備えるフィ ルタ リング強度の決定装置、 動画像符号化装置および動画像復号化装置 と して実現したり、 それらのステップをコンピュータに実行させるプロ グラムとして実現したりすることもできる。 そして、 そのようなプログ ラムは、 C D— R O M等の記録媒体やインタ一ネッ ト等の伝送媒体を介 して配信することができるのは言うまでもない。 図面の簡単な説明
図 1 は、従来のフィルタ リング強度の決定方法を示すフロー図である。 図 2は、 本発明に係る動画像符号化装置の構成を示すプロック図であ る。
図 3は、ピクチャメモリにおけるピクチャの順序を示す説明図であり、 (a) 入力された順序、 （b) 並び替えられた順序を示す説明図である。 図 4は、 ピクチャと参照インデックスの説明図である。
図 5は、ダイ レク トモードにおける動きべク トルを示す説明図である。 図 6は、 実施の形態 1 でのフィルタ処理制御部におけるフィルタ リン グ強度の決定方法を示すフロー図である。
図 7は、 本発明に係る動画像復号化装置の構成を示すプロック図であ る。
図 8は、 実施の形態 2でのフィルタ処理制御部におけるフィルタ リン グ強度の決定方法を示すフロー図である。
図 9は、 各実施の形態の動画像符号化方法および動画像復号化方法を コンピュータシステムにより実現するためのプログラムを格納するため の記録媒体についての説明図であり、 (a) 記録媒体本体であるフレキシ ブルディスクの物理フォーマツ 卜の例を示した説明図、 （b) フレキシブ ルディスクの正面からみた外観、 断面構造、 及びフレキシブルディスク を示した説明図、 （G) フレキシブルディスク F Dに上記プログラムの記 録再生を行うための構成を示した説明図である。
図 1 0は、 コンテンツ供給システムの全体構成を示すブロック図であ る。
図 1 1 は、 携帯電話の例を示す概略図である。
図 1 2は、 携帯電話の構成を示すブロック図である。 図 1 3は、 ディジタル放送用システムの例を示す図である。 発明を実施するための最良の形態
以下、 本発明の実施の形態について図面を参照しながら説明する。 (実施の形態 1 )
図 2は、 本発明に係るフィルタ リング強度の決定方法を用いた動画像 符号化装置の構成を示すブロック図である。
動画像符号化装置は、 入力される動画像を圧縮符号化して符号列とし て出力する装置であり、 図 2に示すようにピクチャメモリ 1 0 1 、 差分 演算部 1 0 2、 予測残差符号化部 1 0 3、 符号列生成部 1 0 4、 予測残 差復号化部 1 0 5、 加算演算部 1 0 6、 動きべク トル検出部 1 0 7、 動 きべク トル記憶部 1 0 8、 動き補償符号化部 1 0 9、 フィルタ処理制御 部 1 1 0、 ピクチャメモリ 1 1 1 、 スィッチ 1 1 2、 1 1 3、 および画 素間フィルタ 1 1 4を備えている。
ピクチャメモリ 1 0 1 は、 表示時間順にピクチャ単位で入力された動 画像を格納する。 ここでピクチャとは、 フレームおよびフィール ドの両 者を包含する画面という 1 つの符号化の単位を意味する。 動きべク トル 検出部 1 0 7は、 符号化済みの復号化画像データを参照ピクチャと して 用いて、 そのピクチャ内の探索領域において最適と予測される位置を示 す動きべク トルの検出を行う。 また、 動きべク トル検出部 1 0 7は、 検 出した動きべク トルを動き補償符号化部 1 0 9および動きベク トル記憶 部 1 0 8に通知する。
動き補償符号化部 1 0 9は、 動きべク トル検出部 1 0 7で検出された 動きべク トルを用いてブロックの符号化モードを決定し、 この符号化モ —ドに基づいて予測画像データを生成する。 この符号化モードとは、 マ クロブロックをどのような方法で符号化するかを示すものであリ、 非ィ ン トラ符号化 （動き補償符号化） であるかイン トラ符号化であるか等を 示す。 例えば、 ピクチャ間の相関が低く、 動き予測を行うよりもイン卜 ラ符号化の方が好ましい場合には、 イン トラ符号化を選択する。 この符 号化モー ドはフィルタ制御部 1 1 0に通知される。 また、 動きベク トル と符号化モードは動き補償符号化部 1 0 9から符号列生成部 1 0 4に通 知される。 動きべク トル記憶部 1 0 8は、 動きべク トル検出部 1 0 7で 検出された動きべク トルを記憶する。
差分演算部 1 0 2は、 ピクチャメモリ 1 0 1 よリ読み出された画像デ —タと、 動き補償符号化部 1 0 9より入力された予測画像データとの差 分を演算し、 予測残差画像データを生成する。 予測残差符号化部 1 0 3 は、 入力された予測残差画像データに対して直交変換や量子化等の符号 化処理を行い、 符号化データを生成する。 符号列生成部 1 0 4は、 予測 残差符号化部 1 0 3で生成した符号化データに対して可変長符号化等を 行い、 さらに動き補償符号化部 1 0 9から入力された動きべク トルの情 報、 および符号化モー ドの情報等を付加することによ り符号列を生成す る。
予測残差復号化部 1 0 5は、 入力された符号化データに対して逆量子 化や逆直交変換等の復号化処理を行い、 復号化差分画像データを生成す る。 加算演算部 1 0 6は、 予測残差復号化部 1 0 5よリ入力された復号 化差分画像データと、 動き補償符号化部 1 0 9よリ入力された予測画像 データとを加算し、 復号化画像データを生成する。 ピクチャメモリ 1 1 1 は、 フィルタ リングされた復号化画像データを格納する。
フィルタ処理制御部 1 1 0は入力された動きベク トルや符号化モード に応じて、 画素間フィルタ 1 1 4のフィルタ リ ング強度、 すなわちフィ リレタ A 1 1 4 a 、 フィルタ B 1 1 4 b、 フィルタ C 1 1 4 c、 フィルタ D 1 1 4 d、 およびフィルタリングを行わない （ s k i p ) の中のどれ を用いるかを選択し、スィ ッチ 1 1 2およびスィ ッチ 1 1 3を制御する。 スィッチ 1 1 2およびスィッチ 1 1 3は、 それぞれ、 フィルタ処理制御 部 1 1 0の制御によリ、 端子 " 1 " 〜端子 " 5 " のいずれかを選択的に 接続するスィッチである。 スィッチ 1 1 3は、 加算演算部 1 0 6の出力 端子と、 画素間フィルタ 1 1 4の入力端子との間に設けられている。 ま た、 スィッチ 1 1 2は、 ピクチャメモリ 1 1 1 の入力端子と、 画素間フ ィルタ 1 1 4の出力端子との間に設けられている。
画素間フィルタ 1 1 4は、 例えば、 復号化画像データをフィルタ リン グしてブロック間の境界付近における高周波ノイズであるブロック歪み を除去するデブ口ック ■ フィルタであり、 それぞれフィルタリ ング強度 が異なるフィルタ A 1 1 4 a、 フィルタ B 1 1 4 b、 フィルタ C 1 1 4 c、およびフィルタ D 1 1 4 dを備えている。このフィルタ A 1 1 4 a、 フィルタ B 1 1 4 b、 フィルタ C 1 1 4 c、 およびフィルタ D 1 1 4 d は、 フィルタ A 1 1 4 aが最もフィルタ リング強度が強く、 以下フィル タ B 1 1 4 b、 フィルタ C 1 1 4 c、 フィルタ D 1 1 4 dと順にフィル タ リング強度が弱くなリ、 フィルタ D 1 1 4 dが最もフィルタ リング強 度が弱い。 また、 フィルタ リング強度に対応して、 フィルタ リングのた めの演算処理量が異なる。 なお、 スィッチ 1 1 2やスィッチ 1 1 3等、 図示する構成はハー ドウェアとして実装しても、 ソフ トウエアとして実 装してもどちらでもよい。
図 3は、 ピクチャメモリ 1 0 1 におけるピクチャの順序を示す説明図 であり、 （a) 入力された順序、 （b) 並び替えられた順序を示す説明図で ある。 ここで、 縦線はピクチャを示し、 各ピクチャの右下に示す記号は 1 文字目のアルファベッ トがピクチャタイプ （ 1 、 P、 または B) を、 2文字目以降の数字が表示時間順のピクチャ番号を示している。 また、 Pピクチャは、 表示時間順で前方にある近傍の I ピクチャまたは Pピク チヤを参照ピクチャとし、 Bピクチャは、 表示時間順で前方にある近傍 の I ピクチャまたは Pピクチャと、 表示時間順で後方にある近傍 1枚の I ピクチャまたは Pピクチャとを参照ピクチャとして用いるものとして いる。
図 4はピクチャと参照インデックスの説明図である。 参照インデック スは、 ピクチャメ モ リ 1 1 1 に格納された参照ピクチャを一意に識別す るために用いられ、 図 4に示すように各ピクチャに対応付けられている 番号である。 また、 参照インデックスは、 ブロックをピクチャ間予測に より符号化する際に使用する参照ピクチャを指示するために使用される 第 1参照インデックスの値には、まず、表示順序を示す情報において、 符号化対象ピクチャより前の参照ピクチャに対し、 符号化対象ピクチャ に近い順より 「 0」 から始まる値が割り当てられる。 符号化対象より前 の参照ピクチャ全てに対し 「 0」 から始まる値が割り当てられたら、 次 に符号化対象ピクチャより後の参照ピクチャに対し、 符号化対象ピクチ ャに近い順から続きの値が割り当てられる。
第 2参照インデックスの値には、まず、表示順序を示す情報において、 符号化対象ピクチャより後の参照ピクチャに対し、 符号化対象ピクチャ に近い順より 「 0」 から始まる値が割り当てられる。 符号化対象より後 の参照ピクチャ全てに対し 「 0」 から始まる値が割り当てられたら、 次 に符号化対象ピクチャより前の参照ピクチャに対し、 符号化対象ピクチ ャに近い順から続きの値が割リ当てられる。
例えば、 図 4 において第 1参照インデックス R i dx1 が Γ 0 J で第 2参 照インデックス R i dx2が Γ 1 j である場合、 前方向参照ピクチャはピク チヤ番号 7の Bピクチャであり、 後方向参照ピクチャはピクチャ番号 9 の Pピクチヤである。ここでピクチャ番号は、表示順を示す番号である。 なお、 図 4に示すのは参照インデックスの割り当て方の一例であり、 割 リ当て方はこの図 4の例にとらわれない。
次に、 上記のように構成された動画像符号化装置の動作について説明 する。
入力画像は、'例えば図 3 (a) に示すように表示時間順にピクチャ単位 でピクチャメモリ 1 0 1 に入力される。 ピクチャメモリ 1 0 1 に入力さ れた各ピクチャは、 符号化するピクチャタイプが決定されると、 例えば 図 3 (b) に示すように符号化が行われる順に並び替えられる。 この符号 化順への並び替えは、 ピクチャ間予測符号化における参照関係に基づい て行われ、 参照ピクチャと して用いられるピクチャが、 参照ピクチャと して用いるピクチャよりも先に符号化されるように並び替えられる。 な お、 ピクチャタイプの決定は、 例えば周期的にピクチャタイプを割り当 てる方法が一般的に用いられている。
ピクチャメモリ 1 0 1 で並び替えが行われた各ピクチャは、 例えば水 平 1 6 X垂直 1 6画素のグループに分割されたマクロブ口ック単位で読 み出される。 また、 動き補償および動きべク トルの抽出は、 例えば水平 8 X垂直 8画素のグループに分割されたブロック単位で行っている。 ピクチャメモリ 1 0 1 より読み出された対象マクロブロックは、 動き べク トル検出部 1 0 7および差分演算部 1 0 2に入力される。
動きべク トル検出部 1 0 7は、 ピクチャメモリ 1 1 1 に格納された復 号化画像データを参照ピクチャとして用い、 マクロブロック内の各プロ ックに対して動きベク トルの検出を行う。 そして、 動きべク 卜ル検出部 1 0 7は、 検出した動きべク トルおよびその参照ピクチャを示す参照ィ ンデックスを動き補償符号化部 1 0 9に対して出力する。
動き補償符号化部 1 0 9は、 動きベク トル検出部 1 0 7で検出された 動きベク トルと参照インデックスを用いて、 マクロブロックの符号化モ —ドを決定する。 ここで、 符号化モードは、 例えば Bピクチャの場合に は、 ピクチャ内符号化、 前方動きベク トルを用いたピクチャ間予測符号 化、 後方動きベク トルを用いたピクチャ間予測符号化、 2つの動きべク トルを用いたピクチャ間予測符号化、 ダイレク トモー ドの中から、 いず れの方法で符号化するかを選択することができるものとする。
ここで、 ダイ レク トモードにおけるピクチャ間予測方法を、 図 5を用 いて説明する。 図 5はダイ レク トモ一ドにおける動きべク トルを示す説 明図であり、 ピクチャ B 8のブロック aをダイ レク トモ一ドで符号化す る場合を示している。 この場合、 ピクチャ B 8の後方にある参照ピクチ ャであるピクチャ P 9中の、 ブロック a と同じ位置にあるブロック bを 有する動きべク トル cを利用する。 この動きべク トル cは、 ブロック b が符号化された際に用いられた動きべク トルであり、 ピクチャ P 5を参 照している。 ブロック aは、 動きベク トル cをスケーリング処理するこ とによって得られる前方向参照ピクチャであるピクチャ P 5に対する動 きべク トル d、 後方向参照ピクチャであるピクチャ P 9に対する動きべ ク トル eを用いて、 ピクチャ P 5と ピクチャ P 9とから動き補償が行わ れる。
動き補償符号化部 1 0 9は、 決定した符号化モードに基づいて予測画 像データを生成し、 この予測画像データを差分演算部 1 0 2と加算演算 部 1 0 6とに出力する。 なお、 動き補償符号化部 1 0 9がダイ レク トモ ードを選択した場合には、 上記のように後方参照ピクチャの中の、 対象 ブロックと同じ位置にあるブロックの動きべク トルを参照動きべク トル として利用するので、 動き補償符号化部 1 0 9は、 この参照動きべク ト ルと参照インデックスとを動きべク トル記憶部 1 0 8より読み出す。 ま た、 動き補償符号化部 1 0 9がピクチャ内符号化を選択した場合には、 予測画像データは出力しない。 また、 動き補償符号化部 1 0 9は、 決定 した符号化モードと動きベク トルと参照インデックスの情報をフィルタ 処理制御部 1 1 0および符号列生成部 1 0 4に対して、 参照ピクチャを 示す参照インデックスの値をフィルタ処理制御部 1 1 0に対して出力す る。
動き補償符号化部 1 0 9より予測画像データが入力された差分演算部 1 0 2は、 この予測画像データと、 ピクチャメモリ 1 0 1 より読み出さ れたピクチャ B 1 1 のマクロブロックの画像データとの差分を演算し、 予測残差画像データを生成して予測残差符号化部 1 0 3へ出力する。 予測残差画像データが入力された予測残差符号化部 1 0 3は、 この予 測残差画像データに対して直交変換や量子化等の符号化処理を行い、 符 号化データを生成して符号列生成部 1 0 4および予測残差復号化部 1 0 5へ出力する。 符号化データが入力された符号列生成部 1 0 4は、 この 符号化データに対して可変長符号化等を行い、 さらに動き補償符号化部 1 0 9から入力された動きべク トルの情報、 符号化モードの情報等を付 加することにより符号列を生成し、 出力する。 なお、 ダイレク トモード で符号化されたマクロブロックについては、 動きべク トルの情報は符号 化列には付加しない。
—方、予測残差復号化部 1 0 5は、入力された符号化データに対して、 逆量子化や逆直交変換等の復号化処理を施し、 復号化差分画像データを 生成して加算演算部 1 0 6へ出力する。 加算演算部 1 0 6は、 復号化差 分画像データと、 動き補償符号化部 1 0 9よリ入力された予測画像デ一 タとを加算することにより、 復号化画像データを生成し、 スィッチ 1 1 3を介して画素間フィルタ 1 1 4へ出力する。
復号化画像データが入力された画素間フィルタ 1 1 4は、 復号化画像 データをスィッチ 1 1 2、 1 1 3により選択されたフィルタ A 1 1 4 a、 フィルタ B 1 1 4 b、 フィルタ C 1 1 4 c、 またはフィルタ D 1 1 4 d のいずれかによりフィルタ リングする、 またはフィルタ リングを行わず ( s k i p )、スィッチ 1 1 2を介してピクチャメモリ 1 1 1 へ格納する c このとき、 スィッチ 1 1 2およびスィッチ 1 1 3の各端子 " 1 " ~端子
" 5 " を切り換える制御は、 フィルタ処理制御部 1 1 0により以下のよ うに行われる。
図 6は、 フィルタ処理制御部 1 1 0におけるフィルタ リング強度の決 定方法を示すフロー図である。
フィルタ処理制御部 1 1 0は、 復号化画像データにおける垂直及び水 平方向の両方のプロック境界に必要なフィルタ リングの強度を決定する ( このフィルタ リングに用いるフィルタの強度を選択するための判定は、 図 1 に示す従来の場合と同様に二つの隣接するブロック p及びブロック qのブロック境界で実行する （ステップ S 2 0 1 )。 まず、 フィルタ処理 制御部 1 1 0は、 動き補償符号化部 1 0 9から出力された各マクロプロ ックの符号化モードに基づいて、 これらのブロック pまたはブロック q がピクチャ内 （イン トラ） 符号化されているか否かの判定を行う （ス亍 ップ S 2 0 2 )。 ここで、 ブロック pまたはブロック qの一つがイン トラ 符号化されている場合 （ステップ S 2 0 2で Y e s ) には、 フィルタ処 理制御部 1 1 0は、 ブロック境界がマクロブロック境界になるか否かの 判定を行う （ステップ S 2 0 3 )。
この判定の結果、 ブロック境界がマクロブロック境界になる場合、 す なわち二つのブロックが同じマクロブロックに含まれない場合には、 フ ィルタ処理制御部 1 1 0は、 最も強いフィルタ リング強度のフィルタ A 1 1 4 a ( B s = 4 ) を選択する （ステップ S 2 0 3で Y e s )。 すなわ ち、 フィルタ処理制御部 1 1 0は、 スィッチ 1 1 2およぴスィツチ 1 1 3の各端子を " 1 " に切り換える制御を行う。 一方、 ブロック境界がマ クロブロック境界にならない場合、 すなわちこれら二つのブロックが同 じマクロブロックに含まれる場合には、 フィルタ処理制御部 1 1 0は、 二番目の強度のフィルタ B 1 1 4 b ( B s ≥ 3 ) を選択する （ステップ S 2 0 3で N o )。 すなわち、 フィルタ処理制御部 1 1 0は、 スィ ッチ 1 1 2およびスィッチ 1 1 3の各端子を " 2 " に切り換える制御を行う。 なお、 ここで B s ≥ 3は B sが少なく ともこのフローチャー卜で示す条 件で 3以上の値であることを示し、 B s = 3であるか B sが 3より大き い値であるかはここで開示していない他の条件で決定される。 以後、 こ の不等号を含む式は本発明で開示していない条件で決定しうる範囲を示 している。
上記判定 （ステップ S 2 0 2 ) の結果、 ブロック p及びブロック qの 両方がイントラ符号化されていない場合 （ステップ S 2 0 2で N o ) に は、 フィルタ処理制御部 1 1 0は、 このブロック pまたはプロック qの いずれかが直交変換後の空間周波数成分を示す係数を含むか否かの判定 を行う （ステップ S 2 0 4 )。 ここで、 二つのブロックのいずれかが係数 を含む場合 （ステップ S 2 0 4で Y e s ) には、 フィルタ処理制御部 1 1 0は、 三番目に強いフィルタ リングの強度のフィルタ C 1 1 4 c ( B s ≥ 2 ) を選択する。 すなわち、 フィルタ処理制御部 1 1 0は、 スイツ チ 1 1 2およびスィッチ 1 1 3の各端子を " 3 " に切り換える制御を行 ラ。
—方、 二つのブロックの両方とも係数を含まない、 すなわちブロック p及びブロック qの両方で係数が符号化されない場合 （ステップ S 2 0 4で N o ) には、 フィルタ処理制御部 1 1 0は、 ブロック p及びプロッ ク qを含むピクチャが Pピクチャであるか Bピクチャであるかの判定を 行う （ステップ S 2 0 5 )。 ここで、 ブロック p及ぴブロック qを含むピ クチャが Pピクチャである場合には、 フィルタ処理制御部 1 1 0は、 動 き補償符号化部 1 0 9より入力された参照インデックスの値および動き べク トル記憶部 1 0 8より入力された動きべク トルに基づいて、 ブロッ ク p及びブロック qが参照する参照ピクチャが同じであり、 かつブロッ ク p及びブロック qの動きべク トルの垂直成分（V ( p， y )及び V ( q， y )) 及び水平成分 （V ( p , X ) 及び V ( q , X )) のそれぞれ差が、 —画素よりも少ないか否かの判定を行う（ステップ S 2 0 8 )。すなわち、 次の式 （ A )、 （ B )、 ( C ) をすベて満たすか否かである。
R e f ( p ) = R e f ( q ) …… （ A )
I V ( p ， x ) - V ( q , x ) | < 1 …… ( B )
I V ( p， y ) — V ( q , y ) Iく 1 …… （ C )
ここで、 R e f ( p ) および R e f ( q ) は、 それぞれブロック p及 びブロック qが参照する参照ピクチャを示している。
この判定の結果、 ブロック p及びブロック qが参照する参照ピクチャ が同じであり、 かつブロック p及びブロック qの垂直及び水平動きべク トルのそれぞれ差が一画素よりも少ない場合 （ステップ S 2 0 8で Y e s ) には、 フィルタ処理制御部 1 1 0は、 フィルタ リングを行わない（ B s = 0 ) を選択する。 すなわち、 フィルタ処理制御部 1 1 0は、 スイツ チ 1 1 2およびスィッチ 1 1 3の各端子を " 5 " に切り換える制御を行 う。 一方、 その他の場合 （ステップ S 2 0 8で N o ) には、 フィルタ処 理制御部 1 1 0は、 最もフィルタ リング強度が弱いフィルタ D 1 1 4 d ( B s ≥ 1 ) を選択する。 すなわち、 フィルタ処理制御部 1 1 0は、 ス イッチ 1 1 2およびスィッチ 1 1 3の各端子を " 4 " に切り換える制御 を行う。
上記判定 （ステップ S 2 0 5 ) の結果、 ブロック p及びブロック qを 含むピクチャが Bピクチャである場合には、 マクロブロックの符号化モ ードは、 前方動きベク トルを用いたピクチャ間予測符号化、 後方動きべ ク トルを用いたピクチャ間予測符号化、 2つの動きベク トルを用いたピ クチャ間予測符号化、 ダイ レク トモードのいずれかである。 例えば、 ブ ロック Pが前方向予測だけを用い、 ブロック qが 2つのピクチャを参照 する予測を用いる場合には、 ブロック pの参照ピクチャの数は Γ 1 J で あり、 かつブロック qの参照ピクチャの数は 「 2」 である。 よって、 フ ィルタ処理制御部 1 1 0は、 ブロック p及びプロック qが参照する参照 ピクチャの数が同じであるか否かの判定を行う （ステップ S 2 0 6 )。 こ の結果、 ブロック P及びブロック qが参照する参照ピクチャの数が異な る場合（ステップ S 2 0 6で N o )には、フィルタ処理制御部 1 1 0は、 最もフィルタ リング強度が弱いフィルタ D 1 1 4 d ( B s ≥ 1 ) を選択 する。
一方、 ブロック p及びブロック qが参照する參照ピクチャの数が同じ 場合（ステップ S 2 0 6で Y e s )には、フィルタ処理制御部 1 1 0は、 動き補償符号化部 1 0 9より入力された参照インデックスの値に基づい て、 ブロック p及びブロック qが参照する参照ピクチャが全く同じであ るか否かの判定を行う （ステップ S 2 0 7 )。 この結果、 ブロック p及び ブロック qが参照する参照ピクチャが 1 つでも異なる場合 （ステップ S 2 0 7で N o ) には、 フィルタ処理制御部 1 1 0は、 最もフィルタ リン グ強度が弱いフィルタ D 1 1 4 d ( B s≥ 1 ) を選択する。
—方、 ブロック p及びブロック qが参照する参照ピケチャが全く同じ 場合（ステップ S 2 0 7で Y e s )には、フィルタ処理制御部 1 1 0は、 ブロック p及ぴブロック qでの重み付け予測の重み付け （ A B P ) 係数 が同じであるか否かの判定を行う （ステップ S 2 0 9 )。 この結果、 プロ ック p及びプロック qの重み付け係数が異なる場合 （ステップ S 2 0 9 で N o ) には、 フィルタ処理制御部 1 1 0は、 最もフィルタリング強度 が弱いフィルタ D 1 1 4 d ( B s ≥ 1 ) を選択する。 ここで重み付け予 測とは、 ピクチャ間予測において、 参照画像の画素値に第 1 の重み係数 を乗算して更に第 2の重み係数 ;8を加算した値を、 予測した画素値と する予測方式のことである。
一方、 ブロック p及びブロック qの重み付け係数が同じ場合 （ステツ プ S 20 9で Y e s ) には、 フィルタ処理制御部 1 1 0は、 ブロック p 及びブロック qのすベての動きべク トルに対する垂直及び水平動きべク トルのそれぞれ差が、 一画素よりも少ないか否かの判定を行う （ステツ プ S 2 1 0 )。 すなわち、 次の式 （D) 〜 （G) をすベて満たすか否かで め 。
I V f ( p , X ) — V f ( q , X ) | < 1 …… ( D )
I V f ( p， y ) - V f ( q , y ) I < 1 …… （ E )
I V b ( p , x ) - V b ( q , x ) | < 1 …… ( F )
|V b ( p , y ) - V b ( q , y ) |< 1 …… ( G )
ここで、 V f 、 V bはブロック p及びブロック qそれぞれにおける動 きべク トルを示しており、 例えば参照ピクチャが 1 枚である場合には 1 つしか有さない。
この判定の結果、 ブロック p及びブロック qのすベての動きベク トル に対する垂直及び水平動きベク トルのそれぞれ差が一画素よりも少ない 場合（ステップ S 2 1 0で Y e s )には、フィルタ処理制御部 1 1 0は、 フィルタ リングを行わない （ B s = 0 ) を選択する。 一方、 その他の場 合 （ステップ S 2 1 0で N o ) には、 フィルタ処理制御部 1 1 0は、 最 もフィルタ リング強度が弱いフィルタ D 1 1 4 d ( B s≥ 1 ) を選択す る。
なお、 上記のように Bピクチャのマクロブロックは、 ダイレク トモー ドを用いて予測することができる。 ダイ レク トモードが用いられるとき には、 対象ブロックの動きベク トルは、 第 2参照インデックス Ri dx2が Γ 0 J である参照ピクチャにおける、 対象ブロックと同じ位置に対応す るブロックの有する動きべク トルから導き出される。 この場合、 対象ブ ロックの前方向参照ピクチャは、 対応するブロックの動きべク トルが参 照する参照ピクチャであり、 対象ブロックの後方向参照ピクチャは第 2 参照インデックス R i dx2が Γ 0」 である参照ピクチャである。 よって、 フィルタ処理制御部 1 1 0は、 導き出された動きべク トルおよび参照ピ クチャをフィルタ リングの強度を決定するために用いる。
以上のように、 ブロック p及びブロック qを含むピクチャが Bピクチ ャである場合に、 ブロック p及びブロック qが参照する参照ピクチャの 数が同じであるか否か、 参照する参照ピクチャが全く同じであるか否か の判定を行っているので、 2つのピクチャを参照する予測符号化を用い た場合であっても最適なフィルタ リング強度を決定することができる。 よって、 復号化される動画像の画質を改善するように動画像を符号化す ることができる。
図 7は、 本発明に係るフィルタ リング強度の決定方法を用いた動画像 復号化装置の構成を示すブロック図である。
動画像復号化装置は、 動画像符号化装置が符号化した符号列を復号化 する装置であり、 図 7に示すように符号列解析部 2 0 1 、 予測残差復号 化部 2 0 2、 動き補償復号化部 2 0 3、 動きベク トル記憶部 2 0 4、 フ ィルタ処理制御部 2 0 5、 ピクチャメモリ 2 0 6、 加算演算部 2 0 7、 スィ ッチ 2 0 8、 2 0 9、 および画素間フィルタ 2 1 0を備えている。 符号列解析部 2 0 1 は、 入力された符号列より符号化モー ドの情報、 および符号化時に用いられた動きべク トルの情報等の各種データの抽出 を行う。 予測残差復号化部 2 0 2は、 入力された予測残差符号化データ の復号化を行い、 予測残差画像データを生成する。 動き補償復号化部 2 0 3は、 符号化時の符号化モードの情報、 および動きべク トルの情報等 に基づいて、 ピクチャメモリ 2 0 6に格納された参照ピクチヤから画像 データを取得し、 動き補償画像データを生成する。 動きベク トル記憶部 2 0 4は、 符号列解析部 2 0 1 により抽出された動きべク トルを記憶す る。 加算演算部 2 0 7は、 予測残差復号化部 2 0 2より入力された予測 残差画像データと、 動き補償復号化部 2 0 3よリ入力された動き補償画 像データとを加算し、 復号化画像データを生成する。 ピクチャメモリ 2 0 6は、 フィルタ リングされた復号化画像データを格納する。
フィルタ処理制御部 2 0 5は、 画素間フィルタ 2 1 0のフィルタ リン グ強度、 すなわちフィルタ A 2 1 0 a、 フィルタ B 2 1 0 b、 フィルタ C 2 1 O c、フィルタ D 2 1 O d、およびフィルタ リングを行わなし、（ s k i p ) の中のどれを用いるかを選択し、 スィッチ 2 0 8およびスイツ チ 2 0 9を制御する。 スィ ッチ 2 0 8およびスィ ッチ 2 0 9は、 それぞ れ、 フィルタ処理制御部 2 0 5の制御によリ、 端子 " 1 " 〜端子 " 5 " のいずれかを選択的に接続するスィッチである。 スィッチ 2 0 9は、 加 算演算部 2 0 7の出力端子と、 画素間フィルタ 2 1 0の入力端子との間 に設けられている。 また、 スィッチ 2 0 8は、 ピクチャメモリ 2 0 6の 入力端子と、画素間フィルタ 2 1 0の出力端子との間に設けられている。 画素間フィルタ 2 1 0は、 例えば、 復号化画像データをフィルタ リン グしてブロック間の境界付近における高周波ノイズであるブロック歪み を除去するデブロック ■ フィルタであり、 それぞれフィルタ リング強度 が異なるフィルタ A 2 1 0 a、 フィゾレタ B 2 1 0 b、 フィルタ C 2 1 0 c、およびフィルタ D 2 1 O dを備えている。このフィルタ A 2 1 0 a、 フィルタ B 2 1 0 b、 フィルタ C 2 1 0 c、 およびフィルタ D 2 1 0 d は、 フィルタ A 2 1 0 aが最もフィルタ リング強度が強く、 以下フィル タ B 2 1 O b、 フィルタ C 2 1 0 c、 フィルタ D 2 1 O dと順にフィル タ リング強度が弱くなリ、 フィルタ D 2 1 0 dが最もフィルタ リング強 度が弱い。 また、 フィルタ リング強度に対応して、 フィルタ リングのた めの演算処理量が異なる。 次に、 上記のように構成された動画像復号化装置の動作について説明 する。
符号列解析部 2 0 1 は、 入力された符号列よリ符号化モー ドの情報、 および動きべク トルの情報等の各種データの抽出を行う。 符号列解析部 2 0 1 は、 抽出した符号化モ一ドの情報を動き補償復号化部 2 0 3およ びフィルタ処理制御部 2 0 5へ、 動きべク トルの情報と参照インデック スとを動きべク トル記憶部 2 0 4へ出力する。 また、 符号列解析部 2 0 1 は、 抽出した予測残差符号化データを予測残差復号化部 2 0 2へ出力 する。 予測残差符号化データが入力された予測残差復号化部 2 0 2は、 この予測残差符号化データの復号化を行い、 予測残差画像データを生成 し、 加算演算部 2 0 7へ出力する。
—方、 動き補償復号化部 2 0 3は、 符号列解析部 2 0 1 より入力され た符号化モー ドの情報と参照インデックスの値、 および動きべク トル記 憶部 2 0 4より読み出した動きべク トルの情報に基づいて、 ピクチヤメ モリ 2 0 6に格納された参照ピクチャを参照し、 動き補償画像データを 生成する。 次に、 動き補償復号化部 2 0 3は、 生成した動き補償画像デ ータを加算演算部 2 0 7へ出力し、 参照ピクチャを示す参照インデック スの値をフィルタ処理制御部 2 0 5へ出力する。 加算演算部 2 0 7は、 動き補償画像データと、 予測残差復号化部 2 0 2よリ入力された予測残 差画像データとを加算して復号化画像データを生成し、 スィッチ 2 0 9 を介して画素間フィルタ 2 1 0へ出力する。
復号化画像データが入力された画素間フィルタ 2 1 0は、 復号化画像 データをスィッチ 2 0 8、 2 0 9により選択されたフィルタ A 2 1 O a 、 フィルタ B 2 1 0 b、 フィルタ C 2 1 0 c、 またはフィルタ D 2 1 0 d のいずれかによりフィルタ リングする、 またはフィルタ リングを行わず ( s k i p )、スィッチ 2 0 8を介してピクチャメモリ 2 0 6へ格納する このとき、 スィ ッチ 2 0 8およびスィ ッチ 2 0 9の各端子 " 1 " 〜端子 " 5 " を切り換える制御は、 フィルタ処理制御部 2 0 5により上記動画 像符号化装置のフィルタ処理制御部 1 1 0の動作と同様に行われる。 以上のように、 ブロック p及びブロック qを含むピクチャが Bピクチ ャである場合に、 ブロック p及びブロック qが参照する参照ピクチャの 数が同じであるか否か、 參照する参照ピクチャが全く同じであるか否か の判定を行っているので、 2つのピクチャを参照する予測符号化を用い た場合であっても最適なフィルタリング強度を決定することができる。 よって、 動画像の画質を改善して復号化を行うことができる。
(実施の形態 2 )
本実施の形態では、 上記実施の形態 1 で説明したフィルタ処理制御部 1 1 0におけるフィルタ リング強度の決定方法が一部相違する。 なお、 構成については実施の形態 1 と同様であり、 詳細な説明を省略する。 ま た、 フィルタ処理制御部 1 1 0におけるフィルタ リング強度の決定につ いても実施の形態 1 と同様の部分については、 説明を省略する。 また、 動画像復号化装置の場合は、 フィルタ処理制御部 2 0 5おけるフィルタ リング強度の決定方法である。
図 8は、 実施の形態 2におけるフィルタリング強度の決定方法を示す フロー図である。
フィルタ処理制御部 1 1 0が行つた、 ブロック pまたはブロック qの いずれかが直交変換後の空間周波数成分を示す係数を含むか否かの判定 (ステップ S 3 0 4 ) の結果、 二つのブロックのいずれかが係数を含む 場合 （ステップ S 3 0 4で Y e s ) に、 以下の処理を行っている。 フィルタ処理制御部 1 1 0は、 ブロック p及びブロック qを含むピク チヤが Pピクチャであるか Bピクチャであるかの判定を行う （ステップ S 3 1 1 )。 ここで、 ブロック p及びブロック qを含むピクチャが Pピク チヤである場合には、 フィルタ処理制御部 1 1 0は、 三番目に強いフィ ルタ リングの強度のフィルタ C I 1 4 c ( B s ( p ) ≥ 2 ) を選択する。 —方、 ブロック p及びブロック q を含むピクチャが Bピクチャである場 合には、フィルタ処理制御部 1 1 0は、 Pピクチャである場合の B s ( p ) よりもフィルタリング強度の強い B s ( b ) ( B s ( b ) > B s ( p )) を選択する。
以上のように、 ブロック pまたはブロック qのいずれかが直交変換後 の空間周波数成分を示す係数を含む場合に、 ブロック P及びブロック q を含むピクチャが Pピクチャであるか Bピクチャであるかの判定を行つ ているので、 2つのピクチャを参照する予測符号化を用いた場合であつ ても最適なフィルタ リング強度を決定することができる。 よって、 復号 化される動画像の画質を改善するように動画像を符号化することができ る。
なお、 上記各実施の形態において、 フィルタ処理制御部 1 1 0がフィ ルタ リングを行わない （ B s = 0 ) を選択した場合に、 フィルタリング を行わない （ s k i p ) のではなく、 例えば最もフィルタ リング強度が 弱いフィルタ D 1 1 4 d ( B s ≥ 1 ) よりフィルタ リング強度が弱いフ ィルタを用いても構わない。
また、 上記各実施の形態において、 フィルタ処理制御部 1 1 0は、 図 6または図 9のフローチヤ一卜で示した全てのステップを実行する必要 は無く、 一部のステップの処理を省略しても構わない。 例えば、 ステツ プ S 2 0 7 ( S 3 0 7 ) における判定の結果、 ブロック p及びブロック qが参照する参照ピクチャが全く同じ場合 （ステップ S 2 0 7 ( S 3 0 7 ) で Y e s ) に、 ステップ S 2 0 9 ( S 3 0 9 ) の判定処理を行って いるが、 この処理を行わずにステップ S 2 1 0 ( S 3 1 0 ) の判定処理 を行っても構わない。 また、 各ステップの実行順序が入れ替わつていて も構わない。
また、 上記各実施の形態では、 符号化の単位と してピクチャを用いて 説明したが、 フィール ドまたはフ レームであっても構わない。
(実施の形態 3 )
さらに、 上記各実施の形態で示した動画像符号化方法または動画像復 号化方法の構成を実現するためのプログラムを、 フレキシブルディスク 等の記憶媒体に記録するようにすることにより、 上記各実施の形態で示 した処理を、 独立したコンピュータシステムにおいて簡単に実施するこ とが可能となる。
図 9は、 各実施の形態の動画像符号化方法および動画像復号化方法を コンピュータシステムにより実現するためのプログラムを格納するため の記憶媒体についての説明図である。
図 9 ( b ) は、 フレキシブルディスクの正面からみた外観、断面構造、 及びフレキシブルディスクを示し、 図 9 ( a ) は、 記録媒体本体である フレキシブルディスクの物理フォーマッ トの例を示している。 フレキシ ブルディスク F Dはケース F内に内蔵され、 該ディスクの表面には、 同 心円状に外周からは内周に向かって複数の トラック T rが形成され、 各 トラックは角度方向に 1 6のセクタ S eに分割されている。 従って、 上 記プログラムを格納したフレキシブルディスクでは、 上記フレキシブル ディスク F D上に割り当てられた領域に、 上記プログラムと しての動画 像符号化方法が記録されている。
また、 図 9 ( c ) は、 フレキシブルディスク F Dに上記プログラムの 記録再生を行うための構成を示す。 上記プログラムをフレキシブルディ スク F Dに記録する場合は、 コンピュータシステム C sから上記プログ ラムと しての動画像符号化方法または動画像復号化方法をフレキシブル ディスク ドライブ F D Dを介して書き込む。 また、 フレキシブルデイス ク内のプログラムにより上記動画像符号化方法をコンピュータシステム 中に構築する場合は、 フレキシブルディスク ドライブによりプログラム をフレキシブルディスクから読み出し、 コンピュータシステムに転送す る。
なお、 上記説明では、 記録媒体と してフレキシブルディスクを用いて 説明を行ったが、光ディスクを用いても同様に行うことができる。また、 記録媒体はこれに限らず、 I Cカード、 R OMカセッ ト等、 プログラム を記録できるものであれば同様に実施することができる。
さらにここで、 上記実施の形態で示した動画像符号化方法や動画像復 号化方法の応用例とそれを用いたシステムを説明する。
図 1 0は、 コンテンツ配信サービスを実現するコンテンツ供給システ ム exl 00の全体構成を示すブロック図である。通信サービスの提供ェ リァを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である基 地局 ex 1 0 7〜ex 1 1 0が設置されている。
このコ ンテンツ供給システム ex 1 0 0は、例えば、 インタ一ネッ 卜 ex 1 0 1 にインターネッ トサービスプロバイダ ex 1 0 2および電話網 ex 1 0 4、 および基地局 exl 0 7〜 exl 1 0を介して、 コンピュータ ex 1 1 1 、 P D A (personal digital assistant) ex 1 1 2、 カメラ exl 1 3、 携帯電話 ex 1 1 4、 カメラ付きの携帯電話 e x 1 1 5などの各機 器が接続される。
しかし、 コンテンツ供給システム ex 1 0 0は図 1 0のような組合せに 限定されず、いずれかを組み合わせて接続するようにしてもよい。また、 固定無線局である基地局 ex 1 0 7〜ex1 1 0を介さずに、各機器が電話 網 exl 04に直接接続されてもよい。
カメラ ex 1 1 3はデジタルビデオカメラ等の動画撮影が可能な機器 である。 また、 携帯電話は、 P D C (Personal Digital Commun i cat i ons) 方式、 C DM A (Code Division Multiple Access) 方式、 W— C D MA (Wideband-Code Division Multiple Access) 方式、 若しく は G S M (Global System for Mobi le Communications) 方式の携帯電話機、 また は P H S (Persona I Handyphone System) 等であり、 しゝずれでも構わな い。
また、ス トリーミングサーバ ex 1 0 3は、 カメラ ex 1 1 3から基地局 ex 1 0 9、電話網 ex 1 0 4を通じて接続されておリ、 カメラ ex 1 1 3を 用いてユーザが送信する符号化処理されたデータに基づいたライブ配信 等が可能になる。撮影したデータの符号化処理はカメラ exl 1 3で行つ ても、 データの送信処理をするサーバ等で行ってもよい。 また、 カメラ e 1 1 6で撮影した動画データはコンピュータ ex 1 1 1 を介してス ト リーミングサーバ ex 1 0 3に送信されてもよい。カメラ ex 1 1 6はデジ タルカメラ等の静止画、 動画が撮影可能な機器である。 この場合、 動画 データの符号化はカメラ exl 1 6で行ってもコンピュータ ex l 1 1 で 行ってもどちらでもよい。 また、 符号化処理はコンピュータ ex l 1 1 や カメラ ex 1 1 6が有する L S I ex 1 1 7において処理することになる。 なお、 動画像符号化■復号化用のソフ トウエアをコンピュータ exl 1 1 等で読み取り可能な記録媒体である何らかの蓄積メディア （ C D— R O M、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。 さらに、 カメラ付きの携帯電話 ex 1 1 5で動画データを送信してもよい, このときの動画データは携帯電話 ex l 1 5が有する L S I で符号化処 理されたデータである。
このコンテンツ供給システム ex 1 0 0では、ユーザがカメラ ex 1 1 3 カメラ ex 1 1 6等で撮影しているコンテンツ （例えば、 音楽ライブを撮 影した映像等） を上記実施の形態同様に符号化処理してス トリーミング サーバ ex 1 0 3に送信する一方で、ス トリーミングサーバ ex 1 0 3は要 求のあったクライアン卜に対して上記コンテンツデータをス トリーム配 信する。 クライアン トと しては、 上記符号化処理されたデータを復号化 することが可能な、 コンピュータ exl 1 1 、 P D A ex 1 1 2、 カメラ ex 1 1 3、 携帯電話 ex 1 1 4等がある。 このようにすることでコ ンテンツ 供給システム ex 1 0 0は、 符号化されたデータをクライアン 卜において 受信して再生することができ、 さらにクライアン トにおいてリアルタイ ムで受信して復号化し、 再生することにより、 個人放送をも実現可能に なるシステムである。
このシステムを構成する各機器の符号化、 復号化には上記各実施の形 態で示した動画像符号化装置あるいは動画像復号化装置を用いるように すればよい。
その一例として携帯電話について説明する。
図 1 1 は、 上記実施の形態で説明した動画像符号化方法と動画像復号 化方法を用いた携帯電話 exl 1 5を示す HIである。携帯電話 exl 1 5は. 基地局 exl 1 0との間で電波を送受信するためのアンテナ ex2 0 1 、C C Dカメラ等の映像、 静止画を撮ることが可能なカメラ部 ex 2 0 3、 力 メラ部 ex2 03で撮影した映像、アンテナ ex20 1 で受信した映像等が 復号化されたデータを表示する液晶ディスプレイ等の表示部 ex2 0 2、 操作キー e X 2 0 4群から構成される本体部、 音声出力をするためのス ピー力等の音声出力部 ex 2 0 8、音声入力をするためのマイク等の音声 入力部 ex 2 05、 撮影した動画もしくは静止画のデータ、 受信したメー ルのデータ、 動画のデータもしくは静止画のデータ等、 符号化されたデ —タまたは復号化されたデータを保存するための記録メディア ex 2 0 7、携帯電話 ex 1 1 5に記録メディア ex 2 07を装着可能とするための スロッ 卜部 ex 2 0 6を有している。記録メディア ex 20 7は S Dカード 等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メ モリである E E P R O M ( E I ectr i ca I I y Erasable and Programmab I e Read On I y Memory ) の一種であるフラッシュメモリ素子を格納したものである。
さらに、 携帯電話 ex 1 1 5について図 1 2を用いて説明する。 携帯電 話 ex 1 1 5は表示部 ex2 0 2及び操作キー e x 2 0 4を備えた本体部 の各部を統括的に制御するようになされた主制御部 ex 3 1 1 に対して、 電源回路部 ex 3 1 0、 操作入力制御部 ex 3 0 4、 画像符号化部 ex 3 1 2 、 カ メ ラ イ ンタ ーフ ェース部 ex 3 0 3、 L C D (Liquid Crystal Display) 制御部 ex 3 0 2、 画像復号化部 ex 3 0 9、 多重分離部 ex 3 0 8、 記録再生部 ex3 0 7、 変復調回路部 ex3 0 6及び音声処理部 ex 3 0 5が同期パス ex 3 1 3を介して互いに接続されている。
電源回路部 ex3 1 0は、ユーザの操作によリ終話及び電源キーがオン 状態にされると、 バッテリパックから各部に対して電力を供給すること によリカメラ付ディジタル携帯電話 ex 1 1 5を動作可能な状態に起動 する。
携帯電話 ex 1 1 5は、 C P U、 R O M及び R A M等でなる主制御部 ex 3 1 1 の制御に基づいて、音声通話モード時に音声入力部 ex 2 0 5で集 音した音声信号を音声処理部 ex 3 0 5によってディジタル音声データ に変換し、 これを変復調回路部 ex 3 0 6でスぺク トラム拡散処理し、 送 受信回路部 ex 3 0 1 でディジタルアナログ変換処理及び周波数変換処 理を施した後にアンテナ ex 2 0 1 を介して送信する。また携帯電話機 ex 1 1 5は、音声通話モード時にアンテナ ex2 0 1 で受信した受信データ を増幅して周波数変換処理及びアナログディジタル変換処理を施し、 変 復調回路部 ex 3 0 6でスぺク 卜ラム逆拡散処理し、音声処理部 ex 3 0 5 によってアナログ音声データに変換した後、 これを音声出力部 ex 2 0 8 を介して出力する。
さらに、 データ通信モード時に電子メールを送信する場合、 本体部の 操作キ一 e x 2 0 4の操作によって入力された電子メールのテキス トデ —タは操作入力制御部 ex3 0 4を介して主制御部 ex 3 1 1 に送出され る。主制御部 ex3 1 1 は、 テキス トデータを変復調回路部 ex3 0 6でス ぺク トラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルアナログ変 換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して基 地局 ex 1 1 0へ送信する。
データ通信モード時に画像データを送信する場合、 カメラ部 ex 2 03 で撮像された画像データをカメラインターフェース部 ex 3 0 3を介し て画像符号化部 ex3 1 2に供給する。 また、 画像データを送信しない場 合には、 カメラ部 ex20 3で撮像した画像データをカメラインタ一フエ —ス部 ex 3 0 3及び L C D制御部 ex3 0 2を介して表示部 ex 20 2に 直接表示することも可能である。
画像符号化部 ex3 1 2は、本願発明で説明した動画像符号化装置を備 えた構成であり、 カメラ部 ex 20 3から供給された画像データを上記実 施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符 号化することにより符号化画像データに変換し、 これを多重分離部 ex 3 08に送出する。 また、 このとき同時に携帯電話機 ex 1 1 5は、 カメラ 部 ex 2 03で撮像中に音声入力部 ex 20 5で集音した音声を音声処理 部 ex3 0 5を介してディジタルの音声データとして多重分離部 ex 3 0 8に送出する。
多重分離部 ex3 0 8は、画像符号化部 ex 3 1 2から供給された符号化 画像データと音声処理部 ex3 0 5から供給された音声データとを所定 の方式で多重化し、その結果得られる多重化データを変復調回路部 ex 3 0 6でスぺク トラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルァ ナログ変換処理及び周波数変換処理を施した後にアンテナ ex2 0 1 を 介して送信する。 データ通信モード時にホームページ等にリ ンクされた動画像ファイル のデータを受信する場合、アンテナ ex 2 0 1 を介して基地局 ex 1 1 0か ら受信した受信データを変復調回路部 ex 3 0 6でスぺク トラム逆拡散 処理し、 その結果得られる多重化データを多重分離部 ex 3 0 8に送出す る。
また、 アンテナ ex 2 0 1 を介して受信された多重化データを復号化す るには、 多重分離部 ex 3 0 8は、 多重化データを分離することによリ画 像データのビッ トス トリームと音声データのビッ トス 卜リームとに分け、 同期バス ex 3 1 3を介して当該符号化画像データを画像復号化部 ex 3 0 9に供給すると共に当該音声データを音声処理部 ex 3 0 5に供給す る。
次に、 画像復号化部 ex 3 0 9は、 本願発明で説明した動画像復号化装 置を備えた構成であリ、 画像データのビッ トス トリームを上記実施の形 態で示した符号化方法に対応した復号化方法で復号化することによリ再 生動画像データを生成し、 これを L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に供給し、 これにより、 例えばホームページにリンクされた動 画像ファイルに含まれる動画データが表示される。 このとき同時に音声 処理部 ex 3 0 5は、 音声データをアナログ音声データに変換した後、 こ れを音声出力部 ex 2 0 8に供給し、 これによリ、 例えばホームページに リ ンクされた動画像ファイルに含まる音声データが再生される。
なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディ ジタル放送が話題となっており、 図 1 3に示すようにディジタル放送用 システムにも上記実施の形態の少なく とも動画像符号化装置または動画 像復号化装置のいずれかを組み込むことができる。 具体的には、 放送局 ex 4 0 9では映像情報のビッ トス トリームが電波を介して通信または放 送衛星 ex 4 1 0に伝送される。 これを受けた放送衛星 ex 4 1 0は、放送 用の電波を発信し、 この電波を衛星放送受信設備をもつ家庭のアンテナ ex 4 0 6で受信し、 テレビ （受信機） ex 40 1 またはセッ ト トップポッ クス （S T B) ex 4 07などの装置によりビッ トストリームを復号化し てこれを再生する。 また、 記録媒体である CD や DVD 等の蓄積メディア ex40 2に記録したビッ トス トリームを読み取リ、 復号化する再生装置 ex4 0 3にも上記実施の形態で示した動画像復号化装置を実装すること が可能である。 この場合、 再生された映像信号はモニタ ex404に表示 される。 また、 ケーブルテレビ用のケーブル ex4 05または衛星 Z地上 波放送のアンテナ ex4 0 6に接続されたセッ ト トップボックス ex40 7内に動画像復号化装置を実装し、 これをテレビのモニタ ex 40 8で再 生する構成も考えられる。 このときセッ ト トップボックスではなく、 テ レビ内に動画像復号化装置を組み込んでも良い。 また、 アンテナ ex 4 1 1 を有する車 ex 4 1 2で衛星 ex 4 1 0からまたは基地局 exl 0 7等か ら信号を受信し、車 ex 4 1 2が有する力一ナビゲ一シヨン ex4 1 3等の 表示装置に動画を再生することも可能である。
更に、 画像信号を上記実施の形態で示した動画像符号化装置で符号化 し、 記録媒体に記録することもできる。 具体例と しては、 DVD ディスク e X 4 2 1 に画像信号を記録する DVD レコーダや、 ハー ドディスクに記 録するディスク レコーダなどのレコーダ ex4 2 0がある。 更に SD力一 ド e X 4 2 2に記録することもできる。 レコーダ e x 4 2 0が上記実施 の形態で示した動画像復号化装置を備えていれば、 DVD ディスク e X 4 2 1 や SD力一ド e X 4 2 2に記録した画像信号を再生し、モニタ e x 4 0 8で表示することができる。
なお、 力一ナビゲーシヨ ン ex4 1 3の構成は例えば図 1 2に示す構成 のうち、 カメラ部 ex 20 3 とカメラインタ一フェース部 ex 3 0 3、画像 符号化部 e X 3 1 2を除いた構成が考えられ、 同様なことがコンピュー タ ex 1 1 1 やテレビ （受信機） ex 4 0 1 等でも考えられる。
また、 上記携帯電話 ex 1 1 4等の端末は、 符号化器 .復号化器を両方 持づ送受信型の端末の他に、 符号化器のみの送信端末、 復号化器のみの 受信端末の 3通リの実装形式が考えられる。
このように、 上記実施の形態で示した動画像符号化方法あるいは動画 像復号化方法を上述したいずれの機器 ■ システムに用いることは可能で あり、 そうすることで、 上記実施の形態で説明した効果を得ることがで きる。
また、 本発明はかかる上記実施形態に限定されるものではなく、 本発 明の範囲を逸脱することなく種々の変形または修正が可能である。
以上の説明から明らかなように、 本発明に係るフィルタリング強度の 決定方法よれば、 2つのピクチャを参照する予測符号化を用いた場合で あっても、 復号化画像データをフィルタ リングしてブロック間の境界付 近における高周波ノイズであるブロック歪みを除去するフィルタのフィ ルタ リング強度を最適に決定することができる。 よって、 復号化される 動画像の画質を改善するように動画像を符号化することができる。また、 本発明に係るフィルタ リング強度の決定方法は、 動画像符号化装置およ び動画像復号化装置の両方に適用することができ、 その実用的価値は大 さい。 産業上の利用の可能性
以上のように、 本発明に係るフィルタ リング強度の決定方法、 動画像 符号化方法および動画像復号化方法は、 例えば携帯電話、 D V D装置、 およびパーソナルコンピュータ等で、 動画像を構成する各ピクチャに対 応する画像データを符号化して符号列を生成したり、 生成された符号列 を復号化したりするための方法として有用である。

Claims

5S 求 の 範 囲
1 - ピクチャを構成するブロック間の符号化歪みを除去するフィルタリ ングの強度を決定するフィルタ リング強度の決定方法であって、 符号化済みの対象ブロックおよびこの対象ブロックに隣接する符号化 済みの隣接プロックの符号化時の情報であるパラメータを取得するパラ メータ取得ステップと、
前記対象プロックおよび前記隣接プロックを含むピクチャが 2つのピ クチャを参照するピクチャ間予測符号化を行う ピクチャである場合、 前 記対象プロックおよび前記隣接プロックの前記パラメータを比較する比 較ステップと、
前記比較ステツプによる比較結果に基づいてフィルタ リングの強度を 決定する決定ステップと
を含むことを特徴とするフィルタ リング強度の決定方法。
2 . 前記パラメータは、 ブロックの符号化モードを含み、
前記比較ステツプには、 前記対象プロックおよび前記隣接プロックそ れぞれの前記符号化モー ドに基づいて、 前記対象ブロックおよび前記隣 接ブロックそれぞれが参照する参照ピクチャの数が同じであるか否かを 判定するピクチャ数判定ステップを含み、
前記決定ステツプでは、 前記ピクチャ数判定ステツプでの判定結果に 応じて、 異なるフィルタ リングの強度を決定する
ことを特徴とする請求の範囲 1 記載のフィルタ リング強度の決定方法 3 . 前記パラメータは、 さらに参照ピクチャを一意に識別するための参 照インデックスを含み、 前記比較ステップには、 さらに、 前記対象ブロックおよび前記隣接ブ ロックそれぞれの前記参照ィンデックスに基づいて、 前記対象プロック および前記隣接プロックそれぞれが参照する参照ピクチャが同じである か否かを判定する参照ピクチャ判定ステップを含み、
前記決定ステップでは、 前記参照ピクチャ判定ステップでの判定結果 に応じて、 異なるフィルタ リ ングの強度を決定する
ことを特徴とする請求の範囲 2記載のフィルタ リング強度の決定方法,
4 . 前記参照ピクチャ判定ステップは、 前記ピクチャ数判定ステップで の判定の結果、 前記対象ブロックおよび前記隣接ブロックそれぞれが参 照する参照ピクチャの数が同じである場合に行われる
ことを特徴とする請求の範囲 3記載のフィルタ リング強度の決定方法
5 . 前記パラメータは、 参照ピクチャに対する動きべク トルを含み、 前記比較ステップには、 さらに、 前記対象ブロックおよび前記隣接ブ ロックに含まれる前記動きべク トルに基づいて、 前記対象ブロックの任 意の動きべク トルの水平成分と、 前記隣接ブロックの任意の動きべク 卜 ルの水平成分との差、 または前記対象ブロックの任意の動きべク トルの 垂直成分と、 前記隣接ブロックの任意の動きべク トルの垂直成分との差 の少なく とも 1 つが、 所定値以上であるか否かを判定する動きべク トル 判定ステップを含み、
前記決定ステップでは、 前記動きべク トル判定ステップでの判定結果 に応じて、 異なるフィルタ リングの強度を決定する
ことを特徵とする請求の範囲 3記載のフィルタ リング強度の決定方法,
6 . 前記動きベク トル判定ステップは、 前記参照ピクチャ判定ステップ での判定の結果、 前記対象プロックおよび前記隣接プロックそれぞれが 参照する参照ピクチャが同じである場合に行われる
ことを特徴とする請求の範囲 5記載のフィルタ リング強度の決定方法 c フ . 前記パラメ一タは、 参照ピクチャを一意に識別するための参照イン デックスを含み、
前記比較ステツプには、 前記対象プロックおよび前記隣接プロックそ れぞれの前記参照インデックスに基づいて、 前記対象ブロックおよび前 記隣接ブロックそれぞれが参照する参照ピクチャが同じであるか否かを 判定する参照ピクチャ判定ステップを含み、
前記決定ステツプでは、 前記参照ピクチャ判定ステツプでの判定結果 に応じて、 異なるフィルタ リングの強度を決定する
ことを特徴とする請求の範囲 1記載のフィルタ リ ング強度の決定方法, 8 . 前記参照インデックスは、 第 1参照インデックスおよび第 2参照ィ ンデックスを含み、
前記参照ピクチャ判定ステップでは、 前記対象ブロックおよび前記隣 接ブロックそれぞれが参照する参照ピクチャの数が同じで、 かつ前記対 象ブロックの参照インデックスで示す参照ピクチヤと前記前記隣接プロ ックの参照ィンデックスで示す参照ピクチャとが同じであるか否かを判 定する
ことを特徴とする請求の範囲 7記載のフィルタ リング強度の决定方法
9 . 前記パラメータは、 参照ピクチャに対する動きべク トルを含み、 前記比較ステップには、 前記対象ブロックおよび前記隣接ブロックに 含まれる前記動きべク トルに基づいて、 前記対象ブロックの任意の動き べク トルの水平成分と、 前記隣接ブロックの任意の動きべク トルの水平 成分との差、 または前記対象ブロックの任意の動きべク トルの垂直成分 と、 前記隣接ブロックの任意の動きべク トルの垂直成分との差の少なく とも 1 つが、 所定値以上であるか否かを判定する動きべク トル判定ス亍 ップを含み、
前記決定ステップでは、 前記動きべク トル判定ステップでの判定結果 に応じて、 異なるフィルタ リングの強度を決定する
ことを特徴とする請求の範囲 1 記載のフィルタ リング強度の決定方法 1 0 . 前記動きベク トル判定ステップでは、 前記対象ブロックおよび前 記隣接プロックそれぞれが参照する参照ピクチャの数が同じで、 かつ前 記対象プロックの参照ィンデックスで示す参照ピクチャと前記前記隣接 ブロックの参照インデックスで示す参照ピクチャが同じである場合に、 前記対象ブロックおよび前記隣接ブロックの動きベク トルのそれぞれ差 が、 所定値以上であるか否かを判定する
ことを特徴とする請求の範囲 9記載のフィルタ リング強度の決定方法,
1 1 . 前記パラメータ取得ステップでは、 フィルタ リングが垂直方向で 実行される場合にはピクチャ上垂直に上のブロックを、 フィルタ リング が水平方向で実行される場合にはピクチャ上水平に左のブロックを前記 隣接ブロックとする
ことを特徴とする請求の範囲 1 記載のフィルタ リング強度の決定方法,
1 2 . 前記決定ステップでは、 前記フィルタ リングの強度と してあらか じめ設定される複数の強度より 1 つのフィルタリングの強度を決定する ことを特徴とする請求の範囲 1 記載のフィルタ リング強度の決定方法
1 3 . 前記比較ステップでは、 前記対象ブロックおよび前記隣接ブロッ クの両方がピクチャ内符号化されていない、 かつ直交変換後の空間周波 数成分を示す係数が符号化されていない場合に、 前記対象ブロックおよ び前記隣接プロックを含むピクチャが 2つのピクチャを参照するピクチ ャ間予測符号化を行うピクチャであるか否かを判定する
ことを特徴とする請求の範囲 1記載のフィルタ リング強度の決定方法 (
1 4 . ピクチャを構成するブロック間の符号化歪みを除去するフィルタ リングの強度を決定するフィルタ リング強度の決定方法であって、 符号化済みの対象ブロックおよびこの対象ブロックに隣接する符号化 済みの隣接ブロックを含むピクチャのピクチャタイプを取得するパラメ —タ取得ステップと、
前記パラメータ取得ステップにより取得されたピクチャタイプが 2つ のピクチャを参照するピクチャ間予測符号化を示している場合には、 1 つのピクチャを参照するピクチャ間予測符号化を示している場合より強 く フィルタ リングの強度を決定する決定ステップと
を含むことを特徴とするフィルタ リング強度の決定方法。 1 5 . 動画像を構成する各ピクチャをブロック単位で符号化する動画像 符号化方法であって、
請求の範囲 1 記載のフィルタ リング強度の決定方法によリ決定された フィルタ リ ング強度によリ、 前記対象プロックおよび前記隣接プロック 間にフィルタ リ ングを行うフィルタ リングステップ
を含むことを特徴とする動画像符号化方法。
1 6 . 動画像を構成する各ピクチャがブロック単位で符号化された動画 像符号化データを復号化する動画像復号化方法であって、
請求の範囲 1記載のフィルタ リング強度の決定方法によリ決定された フィルタ リング強度によリ、 前記対象ブロックおよび前記隣接プロック 間にフィルタリングを行うフィルタ リ ングステップ
を含むことを特徴とする動画像復号化方法。
1 7 . ピクチャを構成するプロック間の符号化歪みを除去するフィルタ リングの強度を決定するフィルタリング強度の決定装置であって、 符号化済みの対象ブロックおよびこの対象ブロックに隣接する符号化 済みの隣接ブロックの符号化時の情報であるパラメータを取得するパラ メータ取得手段と、
前記対象プロックおよび前記隣接プロックを含むピクチャが 2つのピ クチャを参照するピクチャ間予測符号化を行う ピクチャである場合、 前 記対象プロックおよび前記隣接プロックの前記パラメータを比較する比 較手段と、
前記比較手段の比較結果に基づいてフィルタ リングの強度を決定する 決定手段と
を備えることを特徴とするフィルタ リング強度の決定装置。
1 8 . ピクチャを構成するプロック間の符号化歪みを除去するフィルタ リングの強度を決定するフィルタリング強度の決定装置であって、 符号化済みの対象ブロックおよびこの対象ブロックに隣接する符号化 済みの隣接ブロックを含むピクチャのピクチャタイプを取得するパラメ ータ取得手段と、
前記パラメータ取得手段が取得したピクチャタイプが 2つのピクチャ を参照するピクチャ間予測符号化を示している場合には、 1 つのピクチ ャを参照するピクチャ間予測符号化を示している場合よリ強く フィルタ リングの強度を決定する決定手段と
を備えることを特徴とするフィルタ リング強度の決定装置。
1 9 . 動画像を構成する各ピクチャをブロック単位で符号化する動画像 符号化装置であって、
請求の範囲 1記載のフィルタ リング強度の决定方法によリ決定された フィルタ リング強度によリ、 前記対象プロックおよび前記隣接ブロック 間にフィルタ リングを行うフィルタ リング手段
を備えることを特徴とする動画像符号化装置。
2 0 . 動画像を構成する各ピクチャがプロック単位で符号化された動画 像符号化データを復号化する動画像復号化装置であって、
請求の範囲 1記載のフィルタ リング強度の決定方法によリ決定された フィルタ リング強度によリ、 前記対象プロックおよび前記隣接ブロック 間にフィルタ リングを行うフィルタ リング手段
を備えることを特徴とする動画像復号化装置。
2 1 . ピクチャを構成するブロック間の符号化歪みを除去するフィルタ リングの強度を決定するためのプログラムであって、
請求の範囲 1 から請求の範囲 1 4のいずれか 1 項に記載のフィルタ リ ング強度の決定方法に含まれるステップをコンピュータに実行させる ことを特徴とするプログラム。
PCT/JP2003/008070 2002-07-11 2003-06-26 フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法 WO2004008773A1 (ja)

Priority Applications (18)

Application Number Priority Date Filing Date Title
BRPI0303901-3A BRPI0303901B1 (pt) 2002-07-11 2003-06-26 “Método de determinação de poder de filtragem para determinar um poder de filtragem para remover uma distorção de codificação entre blocos que constituem uma imagem, método de decodificação de imagem móvel para decodificar os dados de imagem móvel codificados, aparelho de determinação de poder de filtragem, e aparelho de codificação de imagem móvel”
CA2448064A CA2448064C (en) 2002-07-11 2003-06-26 Filtering strength determination method, moving picture coding method and moving picture decoding method
US10/479,958 US7372905B2 (en) 2002-07-11 2003-06-26 Filtering intensity decision method, moving picture encoding method, and moving picture decoding method
AU2003244072A AU2003244072B2 (en) 2002-07-11 2003-06-26 Filtering Strength Determination Method, Moving Picture Coding Method and Moving Picture Decoding Method
BR0303901-3A BR0303901A (pt) 2002-07-11 2003-06-26 Método de determinação de poder de filtragem, método de codificação de imagem móvel e método de decodificação de imagem móvel
MXPA04002265A MXPA04002265A (es) 2002-07-11 2003-06-26 Metodo de determinacion de resistencia de filtracion, metodo de codificacion de pelicula y metodo de decodificacion de pelicula.
EP03749803A EP1408697A4 (en) 2002-07-11 2003-06-26 METHOD FOR DETERMINING THE FILTRATION THICKNESS, METHOD FOR MOVING PICTOR CODING AND METHOD FOR MOVING PICTOR CODING
US11/980,629 US8116384B2 (en) 2002-07-11 2007-10-31 Filtering strength determination method, moving picture coding method and moving picture decoding method
US12/003,484 US7782963B2 (en) 2002-07-11 2007-12-26 Filtering strength determination method, moving picture coding method and moving picture decoding method
US12/722,790 US8085856B2 (en) 2002-07-11 2010-03-12 Filtering strength determination method, moving picture coding method and moving picture decoding method
US13/293,247 US8982965B2 (en) 2002-07-11 2011-11-10 Filtering strength determination method, moving picture coding method and moving picture decoding method
US13/347,766 US8976869B2 (en) 2002-07-11 2012-01-11 Filtering strength determination method, moving picture coding method and moving picture decoding method
US14/618,173 US9386320B2 (en) 2002-07-11 2015-02-10 Filtering strength determination method, moving picture coding method and moving picture decoding method
US14/618,158 US9204164B2 (en) 2002-07-11 2015-02-10 Filtering strength determination method, moving picture coding method and moving picture decoding method
US14/618,149 US9319712B2 (en) 2002-07-11 2015-02-10 Filtering strength determination method, moving picture coding method and moving picture decoding method
US15/097,441 US9888241B2 (en) 2002-07-11 2016-04-13 Filtering strength determination method, moving picture coding method and moving picture decoding method
US15/097,424 US9854240B2 (en) 2002-07-11 2016-04-13 Filtering strength determination method, moving picture coding method and moving picture decoding method
US15/854,949 US10230978B2 (en) 2002-07-11 2017-12-27 Filtering strength determination method, moving picture coding method and moving picture decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002202796 2002-07-11
JP2002-202796 2002-07-11

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US10/479,958 A-371-Of-International US7372905B2 (en) 2002-07-11 2003-06-26 Filtering intensity decision method, moving picture encoding method, and moving picture decoding method
US11/980,629 Continuation US8116384B2 (en) 2002-07-11 2007-10-31 Filtering strength determination method, moving picture coding method and moving picture decoding method
US12/003,484 Continuation US7782963B2 (en) 2002-07-11 2007-12-26 Filtering strength determination method, moving picture coding method and moving picture decoding method

Publications (1)

Publication Number Publication Date
WO2004008773A1 true WO2004008773A1 (ja) 2004-01-22

Family

ID=30112647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/008070 WO2004008773A1 (ja) 2002-07-11 2003-06-26 フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法

Country Status (11)

Country Link
US (12) US7372905B2 (ja)
EP (2) EP1408697A4 (ja)
JP (1) JP2008187734A (ja)
CN (1) CN100358366C (ja)
AU (1) AU2003244072B2 (ja)
BR (2) BRPI0303901B1 (ja)
CA (1) CA2448064C (ja)
MX (1) MXPA04002265A (ja)
MY (1) MY145262A (ja)
TW (2) TWI317107B (ja)
WO (1) WO2004008773A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7441056B2 (en) 2005-05-27 2008-10-21 Samsung Electronics Co., Ltd. Memory device capable of communicating with host at different speeds, and data communication system using the memory device
JP2009528798A (ja) 2006-03-01 2009-08-06 クゥアルコム・インコーポレイテッド アーチファクト評価による向上した画像／ビデオ品質
US8542750B2 (en) 2005-01-04 2013-09-24 Samsung Electronics Co., Ltd. Deblocking control method considering intra BL mode and multilayer video encoder/decoder using the same

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
KR100998906B1 (ko) * 2003-01-20 2010-12-09 엘지전자 주식회사 기록된 정지 영상의 재생을 관리하기 위한 데이터 구조를갖는 기록 매체, 그에 따른 기록 및 재생 방법 및 장치
KR100612849B1 (ko) 2003-07-18 2006-08-14 삼성전자주식회사 영상 부호화 및 복호화 장치 및 방법
US8036271B2 (en) * 2004-02-24 2011-10-11 Lsi Corporation Method and apparatus for determining a second picture for temporal direct-mode block prediction
EP1641274B1 (en) * 2004-09-23 2013-06-05 Panasonic Corporation Video coding employing an image de-graining loop-filter
JP4191729B2 (ja) * 2005-01-04 2008-12-03 三星電子株式会社 イントラｂｌモードを考慮したデブロックフィルタリング方法、及び該方法を用いる多階層ビデオエンコーダ／デコーダ
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
KR100668346B1 (ko) * 2005-10-04 2007-01-12 삼성전자주식회사 멀티 코덱용 필터링 장치 및 방법
JP5535485B2 (ja) * 2006-01-09 2014-07-02 トムソン ライセンシング 削減された分解能更新モードをマルチビュー・ビデオ符号化に提供する方法及び装置
KR100757734B1 (ko) * 2006-03-15 2007-09-11 삼성전자주식회사 비디오 영상 후처리 장치 및 방법
DE602007000224D1 (de) 2006-04-18 2008-12-18 Pioneer Corp Vorrichtung zum Entfernen des Blockrauschens
KR101370287B1 (ko) * 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
WO2008062687A1 (en) * 2006-11-24 2008-05-29 Nec Corporation Coding and decoding device, coding and decoding method and program
KR100922275B1 (ko) * 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
JP5467637B2 (ja) * 2007-01-04 2014-04-09 トムソン ライセンシング マルチビュー・コード化ビデオにおける照度補償および／または色補償についてのコーディング・アーチファクトを低減する方法および装置
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
KR101379255B1 (ko) * 2007-04-06 2014-03-28 삼성전자주식회사 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치
JP2008283341A (ja) * 2007-05-09 2008-11-20 Matsushita Electric Ind Co Ltd 圧縮符号化画像のノイズ除去装置及びノイズ除去方法
WO2009001793A1 (ja) * 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
CN101389016B (zh) * 2007-09-13 2010-10-20 华为技术有限公司 获得块边界强度和去除块效应的方法和装置
US8625672B2 (en) * 2008-01-07 2014-01-07 Thomson Licensing Methods and apparatus for video encoding and decoding using parametric filtering
EP2229782A2 (en) * 2008-01-14 2010-09-22 Thomson Licensing Methods and apparatus for de-artifact filtering using multi-lattice sparsity-based filtering
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US8861586B2 (en) * 2008-10-14 2014-10-14 Nvidia Corporation Adaptive deblocking in a decoding pipeline
US8867605B2 (en) * 2008-10-14 2014-10-21 Nvidia Corporation Second deblocker in a decoding pipeline
US8724694B2 (en) * 2008-10-14 2014-05-13 Nvidia Corporation On-the spot deblocker in a decoding pipeline
US9179166B2 (en) * 2008-12-05 2015-11-03 Nvidia Corporation Multi-protocol deblock engine core system and method
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
US9143803B2 (en) 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
KR20110014000A (ko) * 2009-08-04 2011-02-10 광운대학교 산학협력단 영상 데이터의 디블록킹 필터링 장치 및 방법과 이를 이용한 영상 복호화 장치 및 방법
CN108718413B (zh) * 2010-04-26 2021-12-07 太阳专利托管公司 用于从周围块的统计推断出针对帧内预测的滤波模式
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
US9014271B2 (en) * 2010-07-12 2015-04-21 Texas Instruments Incorporated Method and apparatus for region-based weighted prediction with improved global brightness detection
US9819966B2 (en) 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US9247265B2 (en) 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
WO2012044074A2 (ko) 2010-09-28 2012-04-05 삼성전자 주식회사 적응적 필터링 방법 및 장치
CN103141099B (zh) * 2010-10-01 2016-10-26 杜比实验室特许公司 用于参考图片处理的优化的滤波器的选择
US20120163457A1 (en) * 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
TW201246943A (en) * 2011-01-26 2012-11-16 Panasonic Corp Video image encoding method, video image encoding device, video image decoding method, video image decoding device, and video image encoding and decoding device
RU2594489C2 (ru) 2011-02-22 2016-08-20 Сан Пэтент Траст Способ кодирования изображения, способ декодирования изображения, устройство кодирования изображения, устройство декодирования изображения и устройство кодирования и декодирования изображения
ES2669978T3 (es) 2011-02-22 2018-05-29 Tagivan Ii Llc Método de filtrado, dispositivo de codificación de imágenes dinámicas, dispositivo de decodificación de imágenes dinámicas y dispositivo de codificación/decodificación de imágenes dinámicas
US8989261B2 (en) 2011-02-23 2015-03-24 Qualcomm Incorporated Multi-metric filtering
PL2698999T3 (pl) 2011-04-12 2017-10-31 Sun Patent Trust Sposób kodowania ruchomych obrazów, urządzenie do kodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów, urządzenie do dekodowania ruchomych obrazów, oraz urządzenie do kodowania/dekodowania ruchomych obrazów
EP2717573B1 (en) 2011-05-24 2018-03-28 Velos Media International Limited Image encoding method, image encoding apparatus, image decoding method, image decoding apparatus, and image encoding/decoding apparatus
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
ES2959039T3 (es) 2011-05-27 2024-02-19 Sun Patent Trust Aparato, procedimiento y programa para codificar imágenes en movimiento
MX2013012209A (es) 2011-05-31 2013-11-01 Panasonic Corp Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
EP2728877A4 (en) * 2011-06-30 2014-12-03 Mitsubishi Electric Corp IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD
MY181718A (en) 2011-06-30 2021-01-05 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
EP3661201B1 (en) 2011-07-19 2021-02-17 Tagivan Ii Llc Filtering method, moving image decoding method, moving image encoding method, moving image decoding apparatus, moving image encoding apparatus, and moving image encoding/decoding apparatus
JP5159927B2 (ja) * 2011-07-28 2013-03-13 株式会社東芝 動画像復号装置及び動画像復号方法
PL2739053T3 (pl) 2011-07-29 2020-04-30 Sun Patent Trust Sposób dekodowania wideo, urządzenie do dekodowania wideo
CA2843560C (en) 2011-08-03 2020-09-22 Panasonic Corporation Video encoding method, video encoding apparatus, video decoding method, video decoding apparatus, and video encoding/decoding apparatus
IN2014CN02602A (ja) 2011-10-19 2015-08-07 Panasonic Corp
ES2694301T3 (es) * 2011-10-31 2018-12-19 Hfi Innovation Inc. Procedimiento y aparato de desbloqueo de filtro con decisión de intensidad de límite simplificada
KR20140103903A (ko) * 2012-01-17 2014-08-27 제닙 피티이.엘티디. 복원 영상 후처리 장치
US10390041B2 (en) * 2012-03-30 2019-08-20 Sun Patent Trust Predictive image coding and decoding using two reference pictures
US9270993B2 (en) * 2012-09-10 2016-02-23 Apple Inc. Video deblocking filter strength derivation
CN103945228B (zh) * 2014-03-28 2017-03-15 上海交通大学 基于时空关联性的视频帧内copy‑move篡改检测方法
JP2016066922A (ja) * 2014-09-25 2016-04-28 ソニー株式会社 信号処理装置、撮像装置、および、それらにおける信号処理方法。
KR102579457B1 (ko) 2017-02-24 2023-09-14 삼성전자주식회사 이미지 보정 방법 및 장치
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
CN115623206B (zh) * 2019-10-10 2024-02-27 北京达佳互联信息技术有限公司 利用三角分区的视频编解码方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187400A (ja) * 1997-12-22 1999-07-09 Matsushita Electric Ind Co Ltd 歪除去方法および歪除去フィルタ
JP2000059769A (ja) * 1998-08-01 2000-02-25 Samsung Electronics Co Ltd 映像デ―タル―プフィルタリング方法及び装置
JP2002330436A (ja) * 2001-03-26 2002-11-15 Sharp Corp 選択的な画像フィルタリングを行うための方法、画像の符号化または復号化を実行するための方法およびコーデック

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0214340A (ja) 1988-07-01 1990-01-18 Mitsubishi Electric Corp Ｉｃカードの選択方法
US5010401A (en) 1988-08-11 1991-04-23 Mitsubishi Denki Kabushiki Kaisha Picture coding and decoding apparatus using vector quantization
EP0396846B1 (en) * 1989-05-12 1993-04-28 Rai Radiotelevisione Italiana Improved device for dct encoding of digital video signals
DE69126525T2 (de) 1990-03-15 1997-09-25 Thomson Multimedia Sa Digitale bildverarbeitung mit filterung der blockkanten
JP3015479B2 (ja) * 1991-03-04 2000-03-06 株式会社東芝 画像処理装置
US5600731A (en) 1991-05-09 1997-02-04 Eastman Kodak Company Method for temporally adaptive filtering of frames of a noisy image sequence using motion estimation
JP3365784B2 (ja) 1992-04-30 2003-01-14 オリンパス光学工業株式会社 画像信号復号化装置
US5479211A (en) * 1992-04-30 1995-12-26 Olympus Optical Co., Ltd. Image-signal decoding apparatus
JP2823735B2 (ja) 1992-05-14 1998-11-11 株式会社クボタ 乗用型水田作業機
JP3165296B2 (ja) * 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
US5598514A (en) 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
JP2673778B2 (ja) 1994-02-22 1997-11-05 国際電信電話株式会社 動画像の復号化における雑音低減装置
JP3911035B2 (ja) * 1994-08-31 2007-05-09 ソニー株式会社 動画像符号化方法及び動画像符号化装置
TW293227B (ja) * 1994-11-24 1996-12-11 Victor Company Of Japan
JPH08237669A (ja) * 1995-02-28 1996-09-13 Sony Corp 画像信号処理装置、画像信号処理方法および画像信号復号化装置
DE69601362T2 (de) 1995-05-02 1999-08-26 Innovision Ltd Bewegungskompensierende filterung
JP3466032B2 (ja) 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US6456328B1 (en) * 1996-12-18 2002-09-24 Lucent Technologies Inc. Object-oriented adaptive prefilter for low bit-rate video systems
US6188799B1 (en) 1997-02-07 2001-02-13 Matsushita Electric Industrial Co., Ltd. Method and apparatus for removing noise in still and moving pictures
KR100243225B1 (ko) * 1997-07-16 2000-02-01 윤종용 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터
JPH11177993A (ja) 1997-12-12 1999-07-02 Nec Corp 動画像符号化装置
JP3625136B2 (ja) * 1998-07-10 2005-03-02 シャープ株式会社 フィルタ処理装置、画像符号化装置、画像復号化装置、およびフィルタ処理プログラムを記録した記録媒体
TW373407B (en) 1998-08-18 1999-11-01 Ind Tech Res Inst General use image treating unit
US6753865B1 (en) * 1999-06-30 2004-06-22 Realnetworks, Inc. System and method for generating video frames and post filtering
KR100335055B1 (ko) * 1999-12-08 2002-05-02 구자홍 압축 영상신호의 블럭현상 및 링현상 제거방법
IL134182A (en) * 2000-01-23 2006-08-01 Vls Com Ltd Method and apparatus for visual lossless pre-processing
US7177358B2 (en) * 2000-06-27 2007-02-13 Mitsubishi Denki Kabushiki Kaisha Picture coding apparatus, and picture coding method
US7031393B2 (en) * 2000-10-20 2006-04-18 Matsushita Electric Industrial Co., Ltd. Block distortion detection method, block distortion detection apparatus, block distortion removal method, and block distortion removal apparatus
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
JP2003032685A (ja) 2001-07-16 2003-01-31 Sony Corp ノイズ低減方法および映像処理装置
JP3896814B2 (ja) 2001-10-05 2007-03-22 セイコーエプソン株式会社 動画像復号化方法、動画像復号化装置および動画像復号化処理プログラム
US6950473B2 (en) * 2002-06-21 2005-09-27 Seiko Epson Corporation Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding
US20040252758A1 (en) * 2002-08-14 2004-12-16 Ioannis Katsavounidis Systems and methods for adaptively filtering discrete cosine transform (DCT) coefficients in a video encoder
US6944224B2 (en) * 2002-08-14 2005-09-13 Intervideo, Inc. Systems and methods for selecting a macroblock mode in a video encoder
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
ES2301339B1 (es) * 2006-03-13 2009-05-01 Dalphi Metal España S.A. Volante de automovil con claxon flotante.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187400A (ja) * 1997-12-22 1999-07-09 Matsushita Electric Ind Co Ltd 歪除去方法および歪除去フィルタ
JP2000059769A (ja) * 1998-08-01 2000-02-25 Samsung Electronics Co Ltd 映像デ―タル―プフィルタリング方法及び装置
JP2002330436A (ja) * 2001-03-26 2002-11-15 Sharp Corp 選択的な画像フィルタリングを行うための方法、画像の符号化または復号化を実行するための方法およびコーデック

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"H.26L Test model long term number 6 (TML-6) draft0", VIDEO CODING EXPERTS GROUP (VCEG), 2001, pages 1 - 36, XP002971811, Retrieved from the Internet <URL:http://kbs.cs.tu-berlin.de/~stewe/vceg/archive.htm#TML6> [retrieved on 20030801] *
See also references of EP1408697A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542750B2 (en) 2005-01-04 2013-09-24 Samsung Electronics Co., Ltd. Deblocking control method considering intra BL mode and multilayer video encoder/decoder using the same
US7441056B2 (en) 2005-05-27 2008-10-21 Samsung Electronics Co., Ltd. Memory device capable of communicating with host at different speeds, and data communication system using the memory device
JP2009528798A (ja) 2006-03-01 2009-08-06 クゥアルコム・インコーポレイテッド アーチファクト評価による向上した画像／ビデオ品質

Also Published As

Publication number Publication date
US20080130753A1 (en) 2008-06-05
US7372905B2 (en) 2008-05-13
EP2164261A2 (en) 2010-03-17
US20120106839A1 (en) 2012-05-03
US20180124402A1 (en) 2018-05-03
US8085856B2 (en) 2011-12-27
TWI317107B (en) 2009-11-11
MY145262A (en) 2012-01-13
CN1552161A (zh) 2004-12-01
BR0303901A (pt) 2004-08-10
US20160234493A1 (en) 2016-08-11
US7782963B2 (en) 2010-08-24
AU2003244072B2 (en) 2007-08-16
US20150222924A1 (en) 2015-08-06
US9888241B2 (en) 2018-02-06
US20100172416A1 (en) 2010-07-08
EP2164261A3 (en) 2011-08-17
MXPA04002265A (es) 2004-06-29
US8982965B2 (en) 2015-03-17
TW200643825A (en) 2006-12-16
TW200402663A (en) 2004-02-16
CN100358366C (zh) 2007-12-26
EP1408697A4 (en) 2007-07-25
US20040179620A1 (en) 2004-09-16
US8116384B2 (en) 2012-02-14
CA2448064A1 (en) 2004-01-11
JP2008187734A (ja) 2008-08-14
US9204164B2 (en) 2015-12-01
TWI317108B (en) 2009-11-11
US9386320B2 (en) 2016-07-05
US8976869B2 (en) 2015-03-10
US20150156515A1 (en) 2015-06-04
CA2448064C (en) 2012-08-07
AU2003244072A1 (en) 2004-02-02
CA2448064E (en) 2004-01-11
US9319712B2 (en) 2016-04-19
BRPI0303901B1 (pt) 2018-03-06
US20160227213A1 (en) 2016-08-04
US20150222925A1 (en) 2015-08-06
US9854240B2 (en) 2017-12-26
EP1408697A1 (en) 2004-04-14
US20080069238A1 (en) 2008-03-20
US20120057076A1 (en) 2012-03-08
AU2003244072B8 (en) 2004-02-02
US10230978B2 (en) 2019-03-12

Similar Documents

Publication Publication Date Title
WO2004008773A1 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
KR100976672B1 (ko) 동화상 부호화 방법 및 동화상 복호화 방법
KR100923380B1 (ko) 동화상 부호화 방법 및 동화상 복호화 방법
KR100985366B1 (ko) 움직임 보상 방법, 화상 부호화 방법 및 화상 복호화 방법
KR100656296B1 (ko) 화상 부호화 방법 및 화상 복호화 방법
JP5085671B2 (ja) 復号化システムおよび復号化装置
WO2003098939A1 (en) Moving image encoding method, moving image decoding method, and data recording medium
JP4580626B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
KR100943581B1 (ko) 필터링 강도의 결정 방법, 동화상 부호화 방법 및 동화상복호화 방법
JP4580901B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP4580902B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP4580903B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP4009650B2 (ja) 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム
JP2007235931A (ja) 画像復号化方法及び画像復号化装置
AU2007234501B2 (en) Filtering strength determination method, moving picture coding method and moving picture decoding method
JP4105218B2 (ja) 受信装置及び送信装置
JP2004147305A (ja) 画像符号化装置、画像復号化装置およびこれらの方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2003244072

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2003749803

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020037015027

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2448064

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 10479958

Country of ref document: US

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 20038009595

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: PA/a/2004/002265

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 526/CHENP/2004

Country of ref document: IN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2003749803

Country of ref document: EP