WO2020044985A1 - 画像復号装置、画像符号化装置、画像処理システム及びプログラム - Google Patents

画像復号装置、画像符号化装置、画像処理システム及びプログラム Download PDF

Info

Publication number
WO2020044985A1
WO2020044985A1 PCT/JP2019/030886 JP2019030886W WO2020044985A1 WO 2020044985 A1 WO2020044985 A1 WO 2020044985A1 JP 2019030886 W JP2019030886 W JP 2019030886W WO 2020044985 A1 WO2020044985 A1 WO 2020044985A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
filter processing
threshold
boundary
adjacent
Prior art date
Application number
PCT/JP2019/030886
Other languages
English (en)
French (fr)
Inventor
恭平 海野
圭 河村
佳隆 木谷
内藤　整
Original Assignee
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kddi株式会社 filed Critical Kddi株式会社
Publication of WO2020044985A1 publication Critical patent/WO2020044985A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to an image decoding device, an image encoding device, an image processing system, and a program.
  • a prediction residual signal that is a difference between a prediction signal generated by intra prediction (intra-frame prediction) or inter prediction (inter-frame prediction) and an input image signal is generated, and conversion processing and quantization of the prediction residual signal are performed.
  • a technology for performing processing for example, HEVC; High Efficiency Video Video
  • HEVC High Efficiency Video Video
  • Patent Documents 1 and 2 a technique of changing the strength of a filter process applied to a block boundary according to the size of a block (a prediction block, a transformation block, or the like) has been proposed (for example, Patent Documents 1 and 2). .
  • the block size threshold of the block for determining whether to change the intensity of the filter processing is constant.
  • the present invention has been made to solve the above-described problem, and an image decoding apparatus, an image encoding apparatus, and an image processing system capable of effectively reducing block noise by applying filter processing And to provide programs.
  • An image decoding device wherein a filter processing unit that applies a filter process to a block boundary between a target block and an adjacent block adjacent to the target block, and at least one of the target block and the adjacent block
  • a control unit that sets the intensity of the filtering process based on a comparison result between the block size of the block and a threshold.
  • the control unit sets a first threshold as the threshold when the first condition is satisfied, and sets the first threshold as the threshold when a second condition different from the first condition is satisfied.
  • a second threshold different from the threshold is set.
  • An image encoding device includes a filter processing unit that applies a filter process to a block boundary between a target block and an adjacent block adjacent to the target block, and at least one of the target block and the adjacent block.
  • a control unit that sets the strength of the filtering based on a comparison result between the block size of one block and a threshold. The control unit sets a first threshold as the threshold when the first condition is satisfied, and sets the first threshold as the threshold when a second condition different from the first condition is satisfied. A second threshold different from the threshold is set.
  • the image processing system includes an image encoding device and an image decoding device.
  • the image encoding device and the image decoding device each include a filter processing unit that applies a filtering process to a block boundary between a target block and an adjacent block adjacent to the target block, and at least one of the target block and the adjacent block.
  • a control unit that sets the strength of the filtering based on a comparison result between the block size of one block and a threshold. The control unit sets a first threshold as the threshold when the first condition is satisfied, and sets the first threshold as the threshold when a second condition different from the first condition is satisfied. A second threshold different from the threshold is set.
  • a program includes a step A of applying a filter process to a block boundary between a target block and an adjacent block adjacent to the target block, and at least one of the target block and the adjacent block. Setting the strength of the filtering process based on the comparison result between the block size of the block and the threshold.
  • the step B includes: setting a first threshold as the threshold when the first condition is satisfied; and setting the first threshold as the threshold when a second condition different from the first condition is satisfied. Setting a second threshold different from the first threshold.
  • An image decoding apparatus is characterized in that a filter processing unit that applies a filter process to a block boundary between a target block and an adjacent block adjacent to the target block, and the filter process includes a weak filter process and a strong filter process. And a control unit that determines whether or not to apply the super-strong filter processing with a large degree of smoothness. When the block size of at least one of the target block and the adjacent block is equal to or larger than a threshold, the control unit determines to apply the ultra-strong filter processing, and determines at least the target block and the adjacent block.
  • any one block is an intra prediction block, or when the boundary strength of the boundary portion is equal to or more than a predetermined value, it is determined that the first super strong filter processing is applied as the super strong filter processing,
  • the super strong filter processing has a smoother degree than the first super strong filter processing. Is determined to apply the second super-strong filter processing in which is small.
  • An image coding apparatus is characterized in that a filter processing unit that applies filter processing to a block boundary between a target block and an adjacent block adjacent to the target block, and that the filter processing includes weak filter processing and strong filter processing.
  • a control unit that determines whether or not to apply super-strong filter processing having a greater degree of smoothness. When the block size of at least one of the target block and the adjacent block is equal to or larger than a threshold, the control unit determines to apply the ultra-strong filter processing, and determines at least the target block and the adjacent block.
  • any one block is an intra prediction block, or when the boundary strength of the boundary portion is equal to or more than a predetermined value, it is determined that the first super strong filter processing is applied as the super strong filter processing,
  • the super strong filter processing has a smoother degree than the first super strong filter processing. Is determined to apply the second super-strong filter processing in which is small.
  • the image processing system includes an image encoding device and an image decoding device.
  • the image encoding device and the image decoding device each include a filter processing unit that applies a filter process to a block boundary between a target block and an adjacent block adjacent to the target block, and a weak filter process and a strong filter process as the filter process.
  • a control unit that determines whether or not to apply super-strong filter processing having a greater degree of smoothness. When the block size of at least one of the target block and the adjacent block is equal to or larger than a threshold, the control unit determines to apply the ultra-strong filter processing, and determines at least the target block and the adjacent block.
  • any one block is an intra prediction block, or when the boundary strength of the boundary portion is equal to or more than a predetermined value, it is determined that the first super strong filter processing is applied as the super strong filter processing,
  • the super strong filter processing has a smoother degree than the first super strong filter processing. Is determined to apply the second super-strong filter processing in which is small.
  • a program according to an eighth aspect is a computer, comprising: a step of applying a filtering process to a block boundary between a target block and an adjacent block adjacent to the target block; and the filtering process includes a weak filtering process and a strong filtering process.
  • step B for determining whether or not to apply the super-strong filter processing having a large degree of smoothness.
  • the step B is a step of, when the block size of at least one of the target block and the adjacent block is equal to or larger than a threshold, determining that the super-strong filter processing is applied; When at least one of the blocks is an intra prediction block, or when the boundary strength of the boundary portion is equal to or more than a predetermined value, it is determined to apply the first super strong filter processing as the super strong filter processing.
  • the first super-strong filter processing is performed as the super-strong filter processing.
  • the second super-strong filter processing with a smaller smoothness than Including the step, the.
  • an image decoding device an image encoding device, an image processing system, and a program capable of effectively reducing block noise by applying filter processing.
  • FIG. 1 is a diagram illustrating an image processing system 10 according to the embodiment.
  • FIG. 2 is a diagram illustrating the image encoding device 100 according to the embodiment.
  • FIG. 3 is a diagram illustrating the in-loop filter processing unit 150 according to the embodiment.
  • FIG. 4 is a diagram for explaining a block size according to the embodiment.
  • FIG. 5 is a diagram for describing the filtering process according to the embodiment.
  • FIG. 6 is a diagram illustrating the image decoding device 200 according to the embodiment.
  • FIG. 7 is a diagram illustrating the in-loop filter processing unit 250 according to the embodiment.
  • FIG. 8 is a diagram for explaining a filter application method according to the embodiment.
  • FIG. 9 is a diagram for explaining a filter application method according to the first modification.
  • FIG. 10 is a diagram for explaining a filter application method according to the second modification.
  • FIG. 11 is a diagram for explaining a filter application method according to the third modification.
  • FIG. 12 is a diagram for explaining
  • drawings are schematic and ratios of dimensions may be different from actual ones. Therefore, specific dimensions and the like should be determined in consideration of the following description. Further, it is needless to say that the drawings may include portions having different dimensional relationships or ratios.
  • An image decoding device includes a filter processing unit that applies a filter process to a block boundary between a target block and an adjacent block adjacent to the target block, and at least one block of the target block and the adjacent block And a control unit for setting the strength of the filter processing based on a comparison result between the block size and the threshold.
  • the control unit sets a first threshold as the threshold when the first condition is satisfied, and sets the first threshold as the threshold when a second condition different from the first condition is satisfied. A second threshold different from the threshold is set.
  • the block noise can be effectively reduced by applying the filtering process by properly using the threshold value referred to when setting the intensity of the filtering process applied to the block boundary.
  • An image encoding device includes a filter processing unit that applies a filter process to a block boundary between a target block and an adjacent block adjacent to the target block, and at least one of the target block and the adjacent block.
  • a control unit that sets the intensity of the filtering process based on a comparison result between the block size of the block and a threshold. The control unit sets a first threshold as the threshold when the first condition is satisfied, and sets the first threshold as the threshold when a second condition different from the first condition is satisfied. A second threshold different from the threshold is set.
  • block noise can be effectively reduced by applying the filtering process by properly using the threshold value referred to when setting the intensity of the filtering process applied to the block boundary. .
  • an image decoding method according to the operation of the above-described image decoding device may be provided, or an image encoding method according to the operation of the above-described image encoding device may be provided.
  • an image processing system including the image decoding device and the image encoding device described above may be provided.
  • a program related to the operation of the above-described image decoding device may be provided, or a program related to the operation of the above-described image encoding device may be provided.
  • FIG. 1 is a diagram illustrating an image processing system 10 according to the embodiment according to the embodiment.
  • the image processing system 10 includes an image encoding device 100 and an image decoding device 200.
  • the image encoding device 100 generates encoded data by encoding an input image signal.
  • the image decoding device 200 generates an output image signal by decoding encoded data.
  • the encoded data may be transmitted from the image encoding device 100 to the image decoding device 200 via a transmission path.
  • the encoded data may be provided from the image encoding device 100 to the image decoding device 200 after being stored in the storage medium.
  • FIG. 2 is a diagram illustrating the image encoding device 100 according to the embodiment.
  • the image coding apparatus 100 includes an inter prediction unit 111, an intra prediction unit 112, a subtractor 121, an adder 122, a transform / quantization unit 131, and an inverse transform / inverse quantization.
  • a unit 132, an encoding unit 140, an in-loop filter processing unit 150, and a frame buffer 160 are provided.
  • the inter prediction unit 111 generates a prediction signal by inter prediction (inter-frame prediction). Specifically, the inter prediction unit 111 specifies a reference block included in the reference frame by comparing a frame to be encoded (hereinafter, a target frame) with a reference frame stored in the frame buffer 160. A motion vector for the reference block is determined. The inter prediction unit 111 generates a prediction signal for each prediction block based on the prediction block and the motion vector. The inter prediction unit 111 outputs a prediction signal to the subtractor 121 and the adder 122.
  • the reference frame is a frame different from the target frame.
  • the intra prediction unit 112 generates a prediction signal by intra prediction (intra-frame prediction). Specifically, the intra prediction unit 112 specifies a reference block included in the target frame, and generates a prediction signal for each prediction block based on the specified reference block. Intra prediction section 112 outputs the prediction signal to subtractor 121 and adder 122.
  • the reference block is a block that is referred to for a prediction target block (hereinafter, a target block). For example, the reference block is a block adjacent to the target block.
  • the subtracter 121 subtracts the prediction signal from the input image signal, and outputs the prediction residual signal to the transform / quantization unit 131.
  • the subtracter 121 generates a prediction residual signal that is a difference between a prediction signal generated by intra prediction or inter prediction and an input image signal.
  • Adder 122 adds the prediction signal to the prediction residual signal output from inverse transform / inverse quantization section 132, and outputs the decoded signal before filtering to intra prediction section 112 and in-loop filter processing section 150.
  • the decoded signal before filtering constitutes a reference block used in intra prediction section 112.
  • the conversion / quantization unit 131 performs a conversion process on the prediction residual signal and acquires a coefficient level value. Further, the transform / quantization unit 131 may perform quantization of the coefficient level value.
  • the conversion process is a process of converting the prediction residual signal into a frequency component signal. In the conversion process, a base pattern (conversion matrix) corresponding to a discrete cosine transform (DCT; Discrete Cosine Transform) may be used, and a base pattern (conversion matrix) corresponding to the discrete sine transform (DST) May be used.
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the inverse transform / inverse quantization unit 132 performs an inverse transform process of the coefficient level value output from the transform / quantization unit 131.
  • the inverse transform / inverse quantization unit 132 may perform inverse quantization of the coefficient level value prior to the inverse transform process.
  • the inverse transform process and the inverse quantization are performed in a procedure reverse to the transform process and the quantization performed by the transform / quantization unit 131.
  • Encoding section 140 encodes the coefficient level value output from transform / quantization section 131, and outputs encoded data.
  • coding is entropy coding that assigns codes of different lengths based on the probability of occurrence of coefficient level values.
  • the encoding unit 140 encodes control data used in the decoding process in addition to the coefficient level value.
  • the control data may include size data such as an encoded block size, a predicted block size, and a transformed block size.
  • the in-loop filter processing unit 150 performs the filtering process on the decoded signal before the filtering output from the adder 122, and outputs the decoded signal after the filtering to the frame buffer 160.
  • the filtering process is a deblocking filtering process that reduces distortion generated at a boundary between blocks (encoded block, predicted block, or transformed block).
  • the frame buffer 160 stores reference frames used by the inter prediction unit 111.
  • the decoded signal after filtering constitutes a reference frame used in the inter prediction unit 111.
  • FIG. 3 is a diagram illustrating the in-loop filter processing unit 150 according to the embodiment.
  • the in-loop filter processing unit 150 includes a target block boundary detection unit 151, an adjacent block boundary detection unit 152, a boundary strength determination unit 153, a filter processing determination unit 154, and a filter processing unit 155.
  • the configuration suffixed with “A” is a configuration related to deblocking filter processing for a vertical block boundary
  • the configuration suffixed with “B” is for a horizontal block boundary.
  • This is a configuration related to deblocking filter processing.
  • deblocking filter processing is performed on a horizontal block boundary after deblocking filter processing is performed on a vertical block boundary.
  • the ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ deblocking filter processing may be applied to an encoded block, may be applied to a prediction block, or may be applied to a transform block. That is, the current block and the adjacent block may be an encoded block, a predicted block, or a transformed block.
  • the target block boundary detection unit 151A detects a target block boundary based on control data indicating the block size of the target block.
  • the block size used for the filter determination processing described later can be, for example, a size in a direction orthogonal to the direction of the block boundary.
  • the block size is the horizontal size. For example, in the case shown in FIG. 4, the block size of the target block is “X”.
  • the adjacent block boundary detection unit 152A detects a boundary between adjacent blocks based on control data indicating the block size of the adjacent block.
  • the block size is the horizontal size. For example, in the case shown in FIG. 4, the block size of the adjacent block is “Y”.
  • the block size may be a size in the same direction as the direction of the block boundary. Further, the block size may be the smaller one of the horizontal and vertical sizes, or the larger one.
  • the boundary strength determination unit 153A determines the boundary strength of the block boundary between the target block and the adjacent block.
  • the boundary strength determination unit 153A may determine the boundary strength of the block boundary based on control data indicating whether the target block and the adjacent block are intra prediction blocks.
  • the boundary strength determination unit 153A determines the boundary strength of the block boundary based on control data indicating whether a non-zero orthogonal transform coefficient is included in the target block and the adjacent block and whether the block boundary is a boundary of the transformed block. May be determined.
  • the boundary strength determination unit 153A determines the boundary strength of the block boundary based on control data indicating whether the absolute value of the difference between the predicted motion vector of the target block and the adjacent block is equal to or greater than a threshold (for example, one pixel). You may.
  • the boundary strength determination unit 153A may determine the boundary strength of the block boundary based on control data indicating whether or not reference blocks referred to in prediction of a prediction motion vector of a target block and an adjacent block are different.
  • the boundary strength determination unit 153A may determine the boundary strength of the block boundary based on control data indicating whether the number of predicted motion vectors of the target block and the adjacent block is different.
  • the boundary strength determination unit 153A may determine that the boundary strength of the block boundary is “2”.
  • the boundary strength determination unit 153A determines that the boundary strength of the block boundary is “ 1 "may be determined.
  • the boundary strength determination unit 153A determines that the boundary strength of the block boundary is “1” when the absolute value of the difference between the predicted motion vectors of the target block and the adjacent block is equal to or larger than a threshold (for example, one pixel). Is also good.
  • the boundary strength determination unit 153A may determine that the boundary strength of the block boundary is “1” when the reference block referred to in the prediction of the predicted motion vector of the target block and the adjacent block is different.
  • the boundary strength determination unit 153A may determine that the boundary strength of the block boundary is “1” when the numbers of predicted motion vectors of the target block and the adjacent block are different.
  • the boundary strength determination unit 153A may determine that the boundary strength of the block boundary is “0” when none of the above conditions is satisfied. The larger the value of the boundary strength, the higher the possibility that the block distortion generated at the block boundary is large.
  • the filter processing determining unit 154A determines the type of deblocking filter processing to be applied to a block boundary.
  • deblocking filter processing in addition to the weak filter processing and the strong filter processing known in Non-Patent Document 1, an ultra-strong filter processing having a greater degree of smoothness than the weak filter processing and the strong filter processing is newly introduced. .
  • the filter processing determining unit 154A determines whether to apply the filter processing based on the boundary strength of the block boundary, the quantization parameter included in the target block and the adjacent block, and the like, and selects one of the weak filter processing and the strong filter processing. It may be determined whether to apply the filtering to the boundary block. For example, the filter processing determination unit 154A determines whether or not to apply the filter processing using the quantization parameters of the determination pixels (P00 to P030, P03 to P033, Q00 to Q30, and Q03 to Q33) shown in the upper part of FIG. , Which of the weak filter processing and the strong filter processing is applied to the boundary block may be determined. The filter processing determination unit 154A may determine that the deblocking filter processing is not applied when the boundary strength of the block boundary is “0”.
  • the filter processing determination unit 154A configures a control unit that sets the intensity of the filter processing based on the comparison result between the block size of at least one of the target block and the adjacent block and the threshold. Specifically, the filter processing determination unit 154A determines whether to apply the super-strong filter processing based on a comparison result between the block size of at least one of the target block and the adjacent block and a threshold.
  • the filter processing determination unit 154A sets the first threshold (Th1) as the threshold.
  • the filter processing determination unit 154A sets a second threshold (Th2) different from the first threshold (Th1) as the threshold.
  • the first condition is a condition that at least one of the target block and the adjacent block is an intra prediction block.
  • the second condition is that both the target block and the adjacent block are not intra prediction blocks.
  • the first threshold (Th1) may be smaller than the second threshold (Th2). That is, when at least one of the target block and the adjacent block is an intra prediction block, the super strong filter processing may be easily selected.
  • the filter processing unit 155A performs processing on the pre-deblocking image based on the determination of the filter processing determination unit 154A.
  • the processing for the pre-deblocking image includes no filtering, weak filtering, strong filtering, and super-strong filtering.
  • the filter processing unit 155A when applying filter processing to a block boundary, applies pixels (P00 to P20, P01 to P21, P02 to P22, P03 to P23, Q00 to P00).
  • Q20, Q01 to Q21, Q02 to Q22, and Q03 to Q23) may be subjected to filter processing.
  • FIG. 6 is a diagram illustrating the image decoding device 200 according to the embodiment.
  • the image decoding device 200 includes a decoding unit 210, an inverse transform / inverse quantization unit 220, an adder 230, an inter prediction unit 241, an intra prediction unit 242, and an in-loop filter processing unit. 250 and a frame buffer 260.
  • the decoding unit 210 decodes the encoded data generated by the image encoding device 100, and decodes the coefficient level value.
  • the decoding is entropy decoding in a procedure reverse to the entropy coding performed by the coding unit 140.
  • the decoding unit 210 may obtain the control data by decoding the encoded data.
  • the control data may include size data such as an encoded block size, a predicted block size, and a transformed block size.
  • the control data may include an information element indicating an input source used to generate the predicted sample of the second component.
  • the inverse transform / inverse quantization unit 220 performs an inverse transform process of the coefficient level value output from the decoding unit 210.
  • the inverse transform / inverse quantization unit 220 may perform inverse quantization of the coefficient level value prior to the inverse transform process.
  • the inverse transform process and the inverse quantization are performed in a procedure reverse to the transform process and the quantization performed by the transform / quantization unit 131.
  • Adder 230 adds the prediction signal to the prediction residual signal output from inverse transform / inverse quantization section 220, and outputs the decoded signal before filtering to intra prediction section 262 and in-loop filter processing section 250.
  • the decoded signal before filtering constitutes a reference block used in intra prediction section 262.
  • the inter prediction unit 241 generates a prediction signal by inter prediction (inter-frame prediction), similarly to the inter prediction unit 111. Specifically, the inter prediction unit 241 generates a prediction signal for each prediction block based on the information of the reference frame and the motion vector decoded from the encoded data. The inter prediction unit 241 outputs a prediction signal to the adder 230.
  • inter prediction inter-frame prediction
  • the intra prediction unit 262 generates a prediction signal by intra prediction (intra-frame prediction), similarly to the intra prediction unit 112. Specifically, the intra prediction unit 262 specifies a reference block included in the target frame, and generates a prediction signal for each prediction block based on the specified reference block. Intra prediction section 262 outputs the prediction signal to adder 230.
  • the in-loop filter processing unit 250 performs a filter process on the decoded signal before filtering output from the adder 230 and outputs the decoded signal after filtering to the frame buffer 260.
  • the filtering process is a deblocking filtering process that reduces distortion generated at a boundary between blocks (encoded block, predicted block, or transformed block).
  • the frame buffer 260 accumulates reference frames used by the inter prediction unit 241 in the same manner as the frame buffer 160.
  • the decoded signal after filtering constitutes a reference frame used in the inter prediction unit 241.
  • FIG. 7 is a diagram illustrating the in-loop filter processing unit 250 according to the embodiment.
  • the in-loop filter processing unit 250 includes a target block boundary detection unit 251, an adjacent block boundary detection unit 252, a boundary strength determination unit 253, a filter processing determination unit 254, and a filter processing unit 255.
  • the configuration suffixed with “A” is a configuration related to deblocking filter processing for a vertical block boundary
  • the configuration suffixed with “B” is for a horizontal block boundary.
  • This is a configuration related to deblocking filter processing.
  • deblocking filter processing is performed on a horizontal block boundary after deblocking filter processing is performed on a vertical block boundary.
  • the ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ deblocking filter processing may be applied to an encoded block, may be applied to a prediction block, or may be applied to a transform block. That is, the current block and the adjacent block may be an encoded block, a predicted block, or a transformed block.
  • the target block boundary detection unit 251A detects the boundary of the target block based on control data indicating the block size of the target block, similarly to the target block boundary detection unit 151A.
  • the adjacent block boundary detection unit 252A detects the boundary between adjacent blocks based on control data indicating the block size of the adjacent block, similarly to the adjacent block boundary detection unit 152A.
  • the boundary strength determination unit 253A determines the boundary strength of the block boundary between the target block and the adjacent block, similarly to the boundary strength determination unit 153A.
  • the method of determining the boundary strength of the block boundary is as described above.
  • the filter processing determining unit 254A determines the type of the deblocking filter processing to be applied to the block boundary, similarly to the filter processing determining unit 154A.
  • the method of determining the type of the deblocking filter processing is as described above.
  • the filter processing unit 255A performs processing on the pre-deblocking image based on the determination of the filter processing determination unit 254A, similarly to the filter processing unit 155A.
  • the processing for the pre-deblocking image includes no filtering, weak filtering, strong filtering, and super-strong filtering.
  • FIG. 8 is a diagram illustrating a filter application method according to the embodiment.
  • the filter application method illustrated in FIG. 8 is a method performed by the in-loop filter processing unit 150 and the in-loop filter processing unit 250, and is an example of an image encoding method and an image decoding method.
  • the image decoding device 200 will be described as an example.
  • step S10 the image decoding device 200 determines whether the boundary strength of the block boundary is 1 or more.
  • the determination result is YES
  • the image decoding device 200 performs the process of Step S11.
  • the determination result is NO
  • the image decoding device 200 performs the process of Step S14.
  • step S11 the image decoding device 200 determines whether at least one of the target block and the adjacent block is an intra prediction block.
  • the determination result is YES
  • the image decoding device 200 performs the process of Step S12.
  • the determination result is NO
  • the image decoding device 200 performs the process of Step S13.
  • the case where the determination result is YES is a case where the first condition is satisfied.
  • the case where the determination result is NO is a case where the second condition is satisfied.
  • step S12 the image decoding device 200 determines whether the block sizes of both the target block and the adjacent block are equal to or larger than a first threshold (Th1). If the determination result is YES, the image decoding device 200 performs the process of step S15. When the determination result is NO, the image decoding device 200 performs the process of Step S16.
  • step S13 the image decoding device 200 determines whether the block sizes of both the target block and the adjacent block are equal to or larger than a second threshold (Th2). If the determination result is YES, the image decoding device 200 performs the process of step S15. When the determination result is NO, the image decoding device 200 performs the process of Step S16.
  • the second threshold value (Th2) may be larger than the first threshold value (Th1).
  • step S14 the image decoding device 200 does not apply the filtering process to the block boundary.
  • step S15 the image decoding device 200 applies a super-strong filter process to the block boundary.
  • step S16 the image decoding device 200 performs a conventional process.
  • the conventional processing determines whether or not to apply the filter processing based on the boundary strength of the block boundary, the quantization parameter included in the target block and the adjacent block, and performs any one of the weak filter processing and the strong filter processing on the boundary block. This is a process for determining whether or not to apply.
  • the block noise can be effectively reduced by applying the filtering process by properly using the threshold value referred to when setting the intensity of the filtering process applied to the block boundary. Can be reduced.
  • the first threshold (Th1) is smaller than the second threshold (Th2), and at least one of the target block and the adjacent block is an intra prediction block.
  • the super-strong filter processing may be easily selected. According to such a configuration, block noise can be effectively reduced by appropriately applying the super strong filter processing.
  • the first condition is a condition that at least one of the target block and the adjacent block is an intra prediction block.
  • the second condition is that both the target block and the adjacent block are not intra prediction blocks.
  • the first condition is that the boundary strength of the block boundary is equal to or more than a predetermined value (for example, 2).
  • the second condition is that the boundary strength of the block boundary is less than a predetermined value (for example, 2).
  • FIG. 9 is a diagram illustrating a filter application method according to the first modification.
  • the filter application method illustrated in FIG. 9 is a method performed by the in-loop filter processing unit 150 and the in-loop filter processing unit 250, and is an example of an image encoding method and an image decoding method.
  • the image decoding device 200 will be described as an example.
  • step S21 is performed instead of step S11, and therefore, only step S21 will be described below.
  • step S21 the image decoding device 200 determines whether or not the boundary strength of the block boundary is 2 or more. If the determination result is YES, the image decoding device 200 performs the process of Step S22. When the determination result is NO, the image decoding device 200 performs the process of Step S23.
  • the case where the determination result is YES is a case where the first condition is satisfied.
  • the case where the determination result is NO is a case where the second condition is satisfied.
  • the image encoding device 100 transmits control data including an information element for designating the first threshold to the image decoding device 200. Similarly, the image encoding device 100 transmits to the image decoding device 200 control data including an information element for designating the second threshold. In other words, the image decoding device 200 receives control data including an information element for designating the first threshold from the image encoding device 100. Similarly, the image decoding device 200 receives control data including an information element for designating the second threshold from the image encoding device 100.
  • a header included in a bit stream transmitted from the image encoding device 100 to the image decoding device 200 includes a super-strong filter flag, information elements indicating a first threshold and a second threshold, and a block to which a super-strong filter is to be applied. That is, an information element indicating the type of the target block and the adjacent block) is included.
  • the header may be a sequence header provided for each sequence, a picture header provided for each picture, or a slice header provided for each slice.
  • the super strong filter flag is a flag indicating whether or not there is a block to which the super strong filter processing is applied. When the super strong filter flag is on, there is a block to which the super strong filter processing is applied, and when the super strong filter flag is off, there is no block to which the super strong filter processing is applied.
  • a 1-bit flag for example, “pps_deblocking_filter_disabled_flag” indicating whether to apply a deblocking filter to a picture
  • a 1-bit flag called “pps_stronger_deblocking_filter_disabled_flag” is a very strong filter flag.
  • a 1-bit flag for example, “slice_deblocking_filter_disabled_flag” indicating whether or not a deblocking filter is applied to a slice
  • a 1-bit flag called “slice_stronger_deblocking_filter_disabled_flag” is a very strong filter flag.
  • the information element indicating the first threshold value and the second threshold value is not particularly limited, but may be a value represented by a logarithm having a base of 2, and is represented by a difference from a predetermined minimum value. Value may be used.
  • the information element indicating the first threshold and the second threshold may be omitted.
  • the first threshold is represented by an information element "pps_log2_block_size_th1_minus3"
  • the threshold may be represented by an information element “pps_log2_block_size_th2_minus3”.
  • the first threshold is represented by an information element “slice_log2_block_size_th1_minus3”.
  • the threshold may be represented by an information element “slice_log2_block_size_th2_minus3”.
  • the information element indicating the type of the target block and the adjacent block is an information element indicating the type of the coding block, the prediction block, the transformation block, and the like. Super strong filtering is applied at the block boundary of the block indicated by such an information element.
  • FIG. 10 is a diagram illustrating a filter application method according to the second modification. In the filter application method illustrated in FIG. 10, processing performed in the image encoding device 100 will be described.
  • step S30 the image coding apparatus 100 determines whether to apply the super strong filter processing.
  • the determination result is YES
  • the image coding device 100 performs the process of Step S32.
  • the determination result is NO
  • the image coding device 100 performs the process of Step S31.
  • step S31 the image coding apparatus 100 sets a value indicating OFF to the super strong filter flag.
  • step S32 the image coding apparatus 100 sets a value indicating ON to the super strong filter flag.
  • step S33 the image encoding device 100 sets information elements indicating the first threshold value and the second threshold value.
  • step S34 the image coding apparatus 100 sets an information element indicating the type of a block (a target block and an adjacent block) to which the super-strong filter processing is to be applied.
  • the information element set in steps S33 and S34 may be decoded when the super strong filter flag is on. That is, in the image decoding apparatus 200, when the super strong filter flag is off, decoding of the information elements set in steps S33 and S34 may be omitted.
  • a configuration is also possible in which an information element indicating the type of a block to which the above-described super-strong filtering is to be applied is not transmitted. In this case, it is possible to determine which filter processing is applied to each block boundary by using the determination flow described in FIGS. 8 and 9 instead of step S34.
  • the second super strong filter processing is a filter processing having a smaller degree of smoothness than the first super strong filter processing.
  • the image encoding device 100 and the image decoding device 200 determine to apply the super-strong filter processing when the block size of at least one of the target block and the adjacent block is equal to or larger than the threshold value.
  • the third modification when the block size of both the target block and the adjacent block is equal to or larger than the threshold (Th), it is determined that the strong filter processing is to be applied.
  • the image coding apparatus 100 and the image decoding apparatus 200 perform the first super strong filter processing as the super strong filter processing. Decide to apply processing.
  • the image encoding device 100 and the image decoding device 200 determine to apply the second super strong filter process as the super strong filter process.
  • the threshold value to be compared with the block sizes of the target block and the adjacent block may be one.
  • Such a threshold value may be specified by an information element included in control data (for example, various headers) transmitted from the image encoding device 100 to the image decoding device 200, similarly to the second modification.
  • FIG. 11 is a diagram illustrating a filter application method according to the third modification.
  • the filter application method illustrated in FIG. 11 is a method performed by the in-loop filter processing unit 150 and the in-loop filter processing unit 250, and is an example of an image encoding method and an image decoding method.
  • the image decoding device 200 will be described as an example.
  • step S40 the image decoding device 200 determines whether the boundary strength of the block boundary is 1 or more. If the determination result is YES, the image decoding device 200 performs the process of step S41. When the determination result is NO, the image decoding device 200 performs the process of Step S43.
  • step S41 the image decoding device 200 determines whether the block size of both the target block and the adjacent block is equal to or larger than a threshold (Th).
  • a threshold Th
  • the image decoding device 200 performs the process of Step S42.
  • the determination result is NO
  • the image decoding device 200 performs the process of Step S46.
  • step S42 the image decoding device 200 determines whether at least one of the target block and the adjacent block is an intra prediction block. If the determination result is YES, the image decoding device 200 performs the process of step S44. When the determination result is NO, the image decoding device 200 performs the process of Step S45.
  • the case where the determination result is YES is a case where the first condition is satisfied.
  • the case where the determination result is NO is a case where the second condition is satisfied.
  • step S43 the image decoding device 200 does not apply the filtering process to the block boundary.
  • step S44 the image decoding device 200 applies the first super strong filter processing to the block boundary.
  • step S45 the image decoding device 200 applies the second super strong filter processing to the block boundary.
  • step S46 the image decoding device 200 performs a conventional process.
  • the conventional processing determines whether or not to apply the filter processing based on the boundary strength of the block boundary, the quantization parameter included in the target block and the adjacent block, and performs any one of the weak filter processing and the strong filter processing on the boundary block. This is a process for determining whether or not to apply.
  • the image encoding device 100 and the image decoding device 200 determine whether or not to apply the super-strong filter processing based on the block sizes of the target block and the adjacent block, and then determine whether the target block and the adjacent block are to be applied.
  • the first super strong filter processing and the second super strong filter processing are selectively used depending on whether at least one of the blocks is an intra prediction block. According to such a configuration, block noise can be effectively reduced by applying the filter processing.
  • the first super strong filter processing and the first super strong filter processing are selectively used based on whether at least one of the target block and the adjacent block is an intra prediction block.
  • the first super strong filter processing and the first super strong filter processing are selectively used based on whether or not the boundary strength of the block boundary is equal to or more than a predetermined value (for example, 2).
  • the image encoding device 100 and the image decoding device 200 perform the first super strong filter process as the super strong filter process. Decide to apply.
  • the image encoding device 100 and the image decoding device 200 determine to apply the second super strong filter processing as the super strong filter processing. .
  • FIG. 12 is a diagram illustrating a filter application method according to the fourth modification.
  • the filter application method illustrated in FIG. 12 is a method performed by the in-loop filter processing unit 150 and the in-loop filter processing unit 250, and is an example of an image encoding method and an image decoding method.
  • the image decoding device 200 will be described as an example.
  • step S52 is performed instead of step S42, and therefore, only step S52 will be described below.
  • step S52 the image decoding device 200 determines whether the boundary strength of the block boundary is 2 or more. If the determination result is YES, the image decoding device 200 performs the process of step S54. When the determination result is NO, the image decoding device 200 performs the process of Step S55.
  • the above-described filter processing may be processing applied to a luminance signal.
  • the method of applying the filtering to the luminance signal may be different from the method of applying the filtering to the chrominance signal.
  • the case where the super strong filter processing is applied when the block size of both the target block and the adjacent block is equal to or larger than the first threshold value (Th1) or the second threshold value (Th2) has been exemplified.
  • embodiments are not limited to this.
  • the super-strong filter processing may be applied.
  • the case where the first threshold value (Th1) is smaller than the second threshold value (Th2) has been exemplified.
  • the first threshold (Th1) may be larger than the second threshold (Th2).
  • the first condition is a condition that at least one of the target block and the adjacent block is an intra prediction block.
  • the first condition may include another condition.
  • the other condition may be that the quantization parameter included in the target block and the adjacent block satisfies a predetermined condition, and that the boundary strength of the block boundary is equal to or larger than a threshold (for example, 2).
  • the second condition is that both the target block and the adjacent block are not intra prediction blocks.
  • the first condition may include another condition.
  • the other condition may be that the quantization parameter included in the target block and the adjacent block satisfies a predetermined condition, and that the boundary strength of the block boundary is equal to or larger than a threshold (for example, 2).
  • the first threshold value and the second threshold value are used for determining whether or not to apply the super strong filter processing.
  • embodiments are not limited to this.
  • the first threshold value and the second threshold value may be used for determining whether or not filter processing other than the super strong filter processing can be applied.
  • control data for example, the header
  • the control data may include an information element indicating a threshold other than the default value.
  • the super strong filter flag is a flag indicating whether or not there is a block to which the super strong filter processing is applied.
  • the super strong filter flag may be a flag indicating which one of the first threshold and the second threshold is used.
  • the super strong filter flag when the super strong filter flag is ON, the first threshold value is used, and an information element indicating the first threshold value may be included in the control data.
  • the second threshold when the super strong filter flag is off, the second threshold may be used, and the second threshold may be a default value.
  • the flag (for example, “pps_deblocking_filter_disabled_flag” or “slice_deblocking_filter_disabled_flag”) indicating whether there is a block to which the super-strong filter processing is applied is set to the super-strong filter flag (“pps_frog_fb_f_ger_de_blog_flag_de_blog”).
  • pps_frog_fb_f_ger_de_blog_flag_de_blog The case defined separately is illustrated.
  • Modification 2 is not limited to this.
  • These flags may be integrated into one flag (eg, may be referred to as “deblocking_filter_mode_flag”).
  • One such flag may be a flag that specifies no filtering (for example, 0), conventional processing (for example, 1), and super-strong filtering (for example, 2).
  • a program that causes a computer to execute each processing performed by the image encoding device 100 and the image decoding device 200 may be provided. Further, the program may be recorded on a computer-readable medium. With a computer-readable medium, it is possible to install a program on a computer.
  • the computer-readable medium on which the program is recorded may be a non-transitory recording medium.
  • the non-transitory recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.
  • a chip configured by a memory that stores a program for executing each process performed by the image encoding device 100 and the image decoding device 200 and a processor that executes the program stored in the memory may be provided.

Abstract

画像復号装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備える。前記制御部は、第１条件が満たされている場合に、前記閾値として第１閾値を設定し、前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する。

Description

画像復号装置、画像符号化装置、画像処理システム及びプログラム
　本発明は、画像復号装置、画像符号化装置、画像処理システム及びプログラムに関する。
　従来、イントラ予測（フレーム内予測）又はインター予測（フレーム間予測）によって生成される予測信号と入力画像信号との差分である予測残差信号を生成し、予測残差信号の変換処理及び量子化処理を行う技術（例えば、ＨＥＶＣ；Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）が提案されている（例えば、非特許文献１）。
　このような画像処理技術において、ブロック（予測ブロック、変換ブロックなど）のサイズに応じて、ブロック境界に適用するフィルタ処理の強度を変更する技術も提案されている（例えば、特許文献１、２）。
ＩＴＵ-Ｔ　Ｈ．２６５　Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ
特開２０１１-２２３３０２号公報 特開２０１７-０６９８１０号公報
　上述した画像処理技術では、フィルタ処理の強度を変更するか否かを判定するためのブロックのブロックサイズの閾値が一定である。
　しかしながら、発明者等は、鋭意検討の結果、上述した閾値が一定であるケースよりも、上述した閾値を適切に使い分けたケースの方が効果的にブロックノイズを低減することが可能であることを見出した。
　そこで、本発明は、上述した課題を解決するためになされたものであり、フィルタ処理の適用によってブロックノイズを効果的に低減することを可能とする画像復号装置、画像符号化装置、画像処理システム及びプログラムを提供することを目的とする。
　第１の特徴に係る画像復号装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備える。前記制御部は、第１条件が満たされている場合に、前記閾値として第１閾値を設定し、前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する。
　第２の特徴に係る画像符号化装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備える。前記制御部は、第１条件が満たされている場合に、前記閾値として第１閾値を設定し、前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する。
　第３の特徴に係る画像処理システムは、画像符号化装置及び画像復号装置を備える。前記画像符号化装置及び前記画像復号装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備える。前記制御部は、第１条件が満たされている場合に、前記閾値として第１閾値を設定し、前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する。
　第４の特徴に係るプログラムは、コンピュータに、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するステップＡと、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定するステップＢと、を実行させる。前記ステップＢは、第１条件が満たされている場合に、前記閾値として第１閾値を設定するステップと、前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定するステップと、を含む。
　第５の特徴に係る画像復号装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定する制御部と、を備える。前記制御部は、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定し、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記境界部分の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定し、前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記境界部分の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定する。
　第６の特徴に係る画像符号化装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定する制御部と、を備える。前記制御部は、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定し、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記境界部分の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定し、前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記境界部分の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定する。
　第７の特徴に係る画像処理システムは、画像符号化装置及び画像復号装置を備える。前記画像符号化装置及び前記画像復号装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定する制御部と、を備える。前記制御部は、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定し、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記境界部分の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定し、前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記境界部分の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定する。
　第８の特徴に係るプログラムは、コンピュータに、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するステップＡと、前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定するステップＢと、を実行させる。前記ステップＢは、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定するステップと、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記境界部分の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定するステップと、前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記境界部分の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定するステップと、を含む。
　一態様によれば、フィルタ処理の適用によってブロックノイズを効果的に低減することを可能とする画像復号装置、画像符号化装置、画像処理システム及びプログラムを提供することができる。
図１は、実施形態に係る画像処理システム１０を示す図である。 図２は、実施形態に係る画像符号化装置１００を示す図である。 図３は、実施形態に係るインループフィルタ処理部１５０を示す図である。 図４は、実施形態に係るブロックサイズを説明するための図である。 図５は、実施形態に係るフィルタ処理を説明するための図である。 図６は、実施形態に係る画像復号装置２００を示す図である。 図７は、実施形態に係るインループフィルタ処理部２５０を示す図である。 図８は、実施形態に係るフィルタ適用方法を説明するための図である。 図９は、変更例１に係るフィルタ適用方法を説明するための図である。 図１０は、変更例２に係るフィルタ適用方法を説明するための図である。 図１１は、変更例３に係るフィルタ適用方法を説明するための図である。 図１２は、変更例４に係るフィルタ適用方法を説明するための図である。
　以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。
　但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なる場合があることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係又は比率が異なる部分が含まれている場合があることは勿論である。
　［開示の概要］
　開示の概要に係る画像復号装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備える。前記制御部は、第１条件が満たされている場合に、前記閾値として第１閾値を設定し、前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する。
　開示の概要に係る画像復号装置では、ブロック境界に適用するフィルタ処理の強度を設定する際に参照される閾値を使い分けることによって、フィルタ処理の適用によってブロックノイズを効果的に低減することができる。
　開示の概要に係る画像符号化装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備える。前記制御部は、第１条件が満たされている場合に、前記閾値として第１閾値を設定し、前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する。
　開示の概要に係る画像符号化装置では、ブロック境界に適用するフィルタ処理の強度を設定する際に参照される閾値を使い分けることによって、フィルタ処理の適用によってブロックノイズを効果的に低減することができる。
　開示の概要としては、上述した画像復号装置の動作に係る画像復号方法が提供されてもよく、上述した画像符号化装置の動作に係る画像符号化方法が提供されてもよい。開示の概要としては、上述した画像復号装置及び画像符号化装置を有する画像処理システムが提供されてもよい。開示の概要としては、上述した画像復号装置の動作に係るプログラムが提供されてもよく、上述した画像符号化装置の動作に係るプログラムが提供されてもよい。
　開示の概要では、上述した非特許文献１で知られている弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を新たに導入するにあたって、超強フィルタ処理を適用する際に参照される閾値の使い分けについて主として説明する。すなわち、開示の概要では、超強フィルタ処理を適切に適用することによってブロックノイズを効果的に低減することができる。
　［実施形態］
　（画像処理システム）
　以下において、実施形態に係る画像処理システムについて説明する。図１は、実施形態に係る実施形態に係る画像処理システム１０を示す図である。
　図１に示すように、画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成する。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成する。符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。
　（画像符号化装置）
　以下において、実施形態に係る画像符号化装置について説明する。図２は、実施形態に係る画像符号化装置１００を示す図である。
　図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。
　インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを決定する。インター予測部１１１は、予測ブロック及び動きベクトルに基づいて予測信号を予測ブロック毎に生成する。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力する。参照フレームは、対象フレームとは異なるフレームである。
　イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成する。イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力する。参照ブロックは、予測対象のブロック（以下、対象ブロック）について参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。
　減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力する。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する。
　加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算し、フィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力する。フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。
　変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得する。さらに、変換・量子化部１３１は、係数レベル値の量子化を行ってもよい。変換処理は、予測残差信号を周波数成分信号に変換する処理である。変換処理では、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＳＴ；Ｄｉｓｃｒｅｔｅ　Ｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。
　逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。
　符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力する。例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。
　符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化する。制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズなどのサイズデータを含んでもよい。
　インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力する。例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
　フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積する。フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。
　（インループフィルタ処理部）
　以下において、実施形態に係るインループフィルタ処理部について説明する。図３は、実施形態に係るインループフィルタ処理部１５０を示す図である。
　図３に示すように、インループフィルタ処理部１５０は、対象ブロック境界検出部１５１と、隣接ブロック境界検出部１５２と、境界強度判定部１５３と、フィルタ処理決定部１５４と、フィルタ処理部１５５とを有する。ここで、末尾に“Ａ”が付されている構成は、垂直方向のブロック境界に対するデブロッキングフィルタ処理に関する構成であり、末尾に“Ｂ”が付されている構成は、水平方向のブロック境界に対するデブロッキングフィルタ処理に関する構成である。ここでは、垂直方向のブロック境界に対するデブロッキングフィルタ処理が行われた後に、水平方向のブロック境界に対するデブロッキングフィルタ処理が行われるケースについて例示する。
　デブロッキングフィルタ処理は、上述したように、符号化ブロックに対して適用されてもよく、予測ブロックに対して適用されてもよく、変換ブロックに対して適用されてもよい。すなわち、対象ブロック及び隣接ブロックは、符号化ブロックであってもよく、予測ブロックであってもよく、変換ブロックであってもよい。
　垂直方向のブロック境界に対するデブロッキングフィルタ処理及び水平方向のブロック境界に対するデブロッキングフィルタ処理は同様の処理であるため、以下においては、垂直方向のブロック境界に対するデブロッキングフィルタ処理について説明する。
　対象ブロック境界検出部１５１Ａは、対象ブロックのブロックサイズを示す制御データに基づいて、対象ブロックの境界を検出する。後述するフィルタ決定処理に用いるブロックサイズは、例えばブロック境界の方向と直交する方向のサイズとすることができる。ここでは、垂直方向のブロック境界に対するデブロッキングフィルタ処理について説明しているため、ブロックサイズは、水平方向のサイズである。例えば、図４に示すケースでは、対象ブロックのブロックサイズは“Ｘ”である。
　隣接ブロック境界検出部１５２Ａは、隣接ブロックのブロックサイズを示す制御データに基づいて、隣接ブロックの境界を検出する。ここでは、垂直方向のブロック境界に対するデブロッキングフィルタ処理について説明しているため、ブロックサイズは、水平方向のサイズである。例えば、図４に示すケースでは、隣接ブロックのブロックサイズは“Ｙ”である。
　なお、ブロックサイズについては、本実施形態ではブロック境界の方向と直交する方向のサイズを用いる場合の例を説明するが、予め決めておけばブロック境界の方向とブロックサイズ判定の方法の組み合わせは自由である。例えば、ブロックサイズは、ブロック境界の方向と同じ方向のサイズとすることもできる。また、ブロックサイズは、水平方向及び垂直方向のサイズのうちいずれか小さいほうのサイズ、あるいはいずれか大きい方のサイズ、とすることもできる。
　境界強度判定部１５３Ａは、対象ブロックと隣接ブロックとのブロック境界の境界強度を判定する。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックがイントラ予測ブロックであるか否かを示す制御データに基づいてブロック境界の境界強度を判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックに非零の直交変換係数が含まれるか否か及びブロック境界が変換ブロックの境界であるか否かを示す制御データに基づいてブロック境界の境界強度を判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの予測動きベクトルの差の絶対値が閾値（例えば、１画素）以上であるか否かを示す制御データに基づいてブロック境界の境界強度を判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの予測動きベクトルの予測で参照される参照ブロックが異なるか否かを示す制御データに基づいてブロック境界の境界強度を判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの予測動きベクトルの数が異なるか否かを示す制御データに基づいてブロック境界の境界強度を判定してもよい。
　例えば、境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、ブロック境界の境界強度が“２”であると判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックが非零の直交変換係数を含み、かつ、ブロック境界が変換ブロックの境界である場合に、ブロック境界の境界強度が“１”であると判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの予測動きベクトルの差の絶対値が閾値（例えば、１画素）以上である場合に、ブロック境界の境界強度が“１”であると判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの予測動きベクトルの予測で参照される参照ブロックが異なる場合に、ブロック境界の境界強度が“１”であると判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの予測動きベクトルの数が異なる場合に、ブロック境界の境界強度が“１”であると判定してもよい。境界強度判定部１５３Ａは、上述した条件がいずれも満たされない場合に、ブロック境界の境界強度が“０”であると判定してもよい。境界強度の値が大きいほど、ブロック境界で生じるブロック歪みが大きい可能性が高い。
　フィルタ処理決定部１５４Ａは、ブロック境界に適用するデブロッキングフィルタ処理の種類を決定する。デブロッキングフィルタ処理としては、非特許文献１で知られている弱フィルタ処理及び強フィルタ処理に加えて、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理が新たに導入される。
　例えば、フィルタ処理決定部１５４Ａは、ブロック境界の境界強度、対象ブロック及び隣接ブロックに含まれる量子化パラメータなどに基づいて、フィルタ処理を適用するか否か、弱フィルタ処理及び強フィルタ処理のいずれのフィルタ処理を境界ブロックに適用するかを決定してもよい。例えば、フィルタ処理決定部１５４Ａは、図５の上段に示す判定画素（Ｐ００～Ｐ０３０、Ｐ０３～Ｐ０３３、Ｑ００～Ｑ３０、Ｑ０３～Ｑ３３）の量子化パラメータを用いて、フィルタ処理を適用するか否か、弱フィルタ処理及び強フィルタ処理のいずれのフィルタ処理を境界ブロックに適用するかを決定してもよい。フィルタ処理決定部１５４Ａは、ブロック境界の境界強度が“０”である場合に、デブロッキングフィルタ処理を適用しないと決定してもよい。
　実施形態では、フィルタ処理決定部１５４Ａは、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、フィルタ処理の強度を設定する制御部を構成する。詳細には、フィルタ処理決定部１５４Ａは、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、超強フィルタ処理を適用するか否かを決定する。
　このようなケースにおいて、フィルタ処理決定部１５４Ａは、第１条件が満たされている場合に、閾値として第１閾値（Ｔｈ１）を設定する。フィルタ処理決定部１５４Ａは、第１条件とは異なる第２条件が満たされている場合に、閾値として第１閾値（Ｔｈ１）とは異なる第２閾値（Ｔｈ２）を設定する。実施形態では、第１条件は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるという条件である。第２条件は、対象ブロック及び隣接ブロックの双方がイントラ予測ブロックでないという条件である。このようなケースにおいて、第１閾値（Ｔｈ１）は、第２閾値（Ｔｈ２）よりも小さくてもよい。すなわち、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、超強フィルタ処理が選択されやすくてもよい。
　フィルタ処理部１５５Ａは、フィルタ処理決定部１５４Ａの決定に基づいてデブロッキング前画像に対する処理を行う。デブロッキング前画像に対する処理は、フィルタ処理なし、弱フィルタ処理、強フィルタ処理、超強フィルタ処理などである。
　例えば、フィルタ処理部１５５Ａは、ブロック境界にフィルタ処理を適用する場合には、図５の下段に示すように、適用画素（Ｐ００～Ｐ２０、Ｐ０１～Ｐ２１、Ｐ０２～Ｐ２２、Ｐ０３～Ｐ２３、Ｑ００～Ｑ２０、Ｑ０１～Ｑ２１、Ｑ０２～Ｑ２２、Ｑ０３～Ｑ２３）に対してフィルタ処理を適用してもよい。
　（画像復号装置）
　以下において、実施形態に係る画像復号装置について説明する。図６は、実施形態に係る画像復号装置２００を示す図である。
　図６に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０とを有する。
　復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号する。例えば、復号は、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。
　復号部２１０は、符号化データの復号処理によって制御データを取得してもよい。上述したように、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズなどのサイズデータを含んでもよい。制御データは、第２成分の予測サンプルの生成に用いる入力ソースを示す情報要素を含んでもよい。
　逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。
　加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算し、フィルタ処理前復号信号をイントラ予測部２６２及びインループフィルタ処理部２５０に出力する。フィルタ処理前復号信号は、イントラ予測部２６２で用いる参照ブロックを構成する。
　インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部２４１は、符号化データから復号した動きベクトルと参照フレームの情報に基づいて予測信号を予測ブロック毎に生成する。インター予測部２４１は、予測信号を加算器２３０に出力する。
　イントラ予測部２６２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部２６２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成する。イントラ予測部２６２は、予測信号を加算器２３０に出力する。
　インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力する。例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
　フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積する。フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。
　（インループフィルタ処理部）
　以下において、実施形態に係るインループフィルタ処理部について説明する。図７は、実施形態に係るインループフィルタ処理部２５０を示す図である。
　図７に示すように、インループフィルタ処理部２５０は、対象ブロック境界検出部２５１と、隣接ブロック境界検出部２５２と、境界強度判定部２５３と、フィルタ処理決定部２５４と、フィルタ処理部２５５とを有する。ここで、末尾に“Ａ”が付されている構成は、垂直方向のブロック境界に対するデブロッキングフィルタ処理に関する構成であり、末尾に“Ｂ”が付されている構成は、水平方向のブロック境界に対するデブロッキングフィルタ処理に関する構成である。ここでは、垂直方向のブロック境界に対するデブロッキングフィルタ処理が行われた後に、水平方向のブロック境界に対するデブロッキングフィルタ処理が行われるケースについて例示する。
　デブロッキングフィルタ処理は、上述したように、符号化ブロックに対して適用されてもよく、予測ブロックに対して適用されてもよく、変換ブロックに対して適用されてもよい。すなわち、対象ブロック及び隣接ブロックは、符号化ブロックであってもよく、予測ブロックであってもよく、変換ブロックであってもよい。
　垂直方向のブロック境界に対するデブロッキングフィルタ処理及び水平方向のブロック境界に対するデブロッキングフィルタ処理は同様の処理であるため、以下においては、垂直方向のブロック境界に対するデブロッキングフィルタ処理について説明する。
　対象ブロック境界検出部２５１Ａは、対象ブロック境界検出部１５１Ａと同様に、対象ブロックのブロックサイズを示す制御データに基づいて、対象ブロックの境界を検出する。
　隣接ブロック境界検出部２５２Ａは、隣接ブロック境界検出部１５２Ａと同様に、隣接ブロックのブロックサイズを示す制御データに基づいて、隣接ブロックの境界を検出する。
　境界強度判定部２５３Ａは、境界強度判定部１５３Ａと同様に、対象ブロックと隣接ブロックとのブロック境界の境界強度を判定する。ブロック境界の境界強度の判定方法は上述した通りである。
　フィルタ処理決定部２５４Ａは、フィルタ処理決定部１５４Ａと同様に、ブロック境界に適用するデブロッキングフィルタ処理の種類を決定する。デブロッキングフィルタ処理の種類の決定方法は上述した通りである。
　フィルタ処理部２５５Ａは、フィルタ処理部１５５Ａと同様に、フィルタ処理決定部２５４Ａの決定に基づいてデブロッキング前画像に対する処理を行う。デブロッキング前画像に対する処理は、フィルタ処理なし、弱フィルタ処理、強フィルタ処理、超強フィルタ処理などである。
　（フィルタ適用方法）
　以下において、実施形態に係るフィルタ適用方法について説明する。図８は、実施形態に係るフィルタ適用方法を示す図である。図８に示すフィルタ適用方法は、インループフィルタ処理部１５０及びインループフィルタ処理部２５０によって行われる方法であり、画像符号化方法及び画像復号方法の一例である。ここでは、画像復号装置２００を例に挙げて説明する。
　図８に示すように、ステップＳ１０において、画像復号装置２００は、ブロック境界の境界強度が１以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ１１の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ１４の処理を行う。
　ステップＳ１１において、画像復号装置２００は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ１２の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ１３の処理を行う。ここで、判定結果がＹＥＳであるケースは、第１条件が満たされているケースである。判定結果がＮＯであるケースは、第２条件が満たされているケースである。
　ステップＳ１２において、画像復号装置２００は、対象ブロック及び隣接ブロックの双方のブロックサイズが第１閾値（Ｔｈ１）以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ１５の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ１６の処理を行う。
　ステップＳ１３において、画像復号装置２００は、対象ブロック及び隣接ブロックの双方のブロックサイズが第２閾値（Ｔｈ２）以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ１５の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ１６の処理を行う。ここで、第２閾値（Ｔｈ２）は、第１閾値（Ｔｈ１）よりも大きくてもよい。
　ステップＳ１４において、画像復号装置２００は、ブロック境界に対してフィルタ処理を適用しない。
　ステップＳ１５において、画像復号装置２００は、ブロック境界に対して超強フィルタ処理を適用する。
　ステップＳ１６において、画像復号装置２００は、従来処理を行う。従来処理は、ブロック境界の境界強度、対象ブロック及び隣接ブロックに含まれる量子化パラメータなどに基づいて、フィルタ処理を適用するか否か、弱フィルタ処理及び強フィルタ処理のいずれのフィルタ処理を境界ブロックに適用するかを決定する処理である。
　（作用及び効果）
　開示の概要に係る画像符号化装置１００及び画像復号装置２００では、ブロック境界に適用するフィルタ処理の強度を設定する際に参照される閾値を使い分けることによって、フィルタ処理の適用によってブロックノイズを効果的に低減することができる。
　開示の概要に係る画像符号化装置１００及び画像復号装置２００では、第１閾値（Ｔｈ１）が第２閾値（Ｔｈ２）よりも小さく、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、超強フィルタ処理が選択されやすくてもよい。このような構成によれば、超強フィルタ処理を適切に適用することによってブロックノイズを効果的に低減することができる。
　［変更例１］
　以下において、実施形態の変更例１について説明する。以下においては、実施形態に対する相違点について主として説明する。
　実施形態では、第１条件は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるという条件である。第２条件は、対象ブロック及び隣接ブロックの双方がイントラ予測ブロックでないという条件である。これに対して、変更例１では、第１条件は、ブロック境界の境界強度が所定値（例えば、２）以上であるという条件である。第２条件は、ブロック境界の境界強度が所定値（例えば、２）未満であるという条件である。
　（フィルタ適用方法）
　以下において、変更例１に係るフィルタ適用方法について説明する。図９は、変更例１に係るフィルタ適用方法を示す図である。図９に示すフィルタ適用方法は、インループフィルタ処理部１５０及びインループフィルタ処理部２５０によって行われる方法であり、画像符号化方法及び画像復号方法の一例である。ここでは、画像復号装置２００を例に挙げて説明する。
　図９に示すフローは、ステップＳ１１に代えてステップＳ２１が行われる点を除いて、図８に示すフローと同様であるため、以下においては、ステップＳ２１についてのみ説明する。
　図９に示すように、ステップＳ２１において、画像復号装置２００は、ブロック境界の境界強度が２以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ２２の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ２３の処理を行う。ここで、判定結果がＹＥＳであるケースは、第１条件が満たされているケースである。判定結果がＮＯであるケースは、第２条件が満たされているケースである。
　［変更例２］
　以下において、実施形態の変更例２について説明する。以下においては、実施形態に対する相違点について主として説明する。
　変更例２では、画像符号化装置１００は、第１閾値を指定するための情報要素を含む制御データを画像復号装置２００に送信する。同様に、画像符号化装置１００は、第２閾値を指定するための情報要素を含む制御データを画像復号装置２００に送信する。言い換えると、画像復号装置２００は、第１閾値を指定するための情報要素を含む制御データを画像符号化装置１００から受信する。同様に、画像復号装置２００は、第２閾値を指定するための情報要素を含む制御データを画像符号化装置１００から受信する。
　例えば、画像符号化装置１００から画像復号装置２００に送信されるビットストリームに含まれるヘッダは、超強フィルタフラグ、第１閾値及び第２閾値を示す情報要素、超強フィルタを適用すべきブロック（すなわち、対象ブロック及び隣接ブロック）の種類を示す情報要素を含む。ヘッダは、シーケンス毎に設けられるシーケンスヘッダであってもよく、ピクチャ毎に設けられるピクチャヘッダであってもよく、スライス毎に設けられるスライスヘッダであってもよい。
　超強フィルタフラグは、超強フィルタ処理を適用するブロックが存在するか否かを示すフラグである。超強フィルタフラグがオンである場合に、超強フィルタ処理を適用するブロックが存在しており、超強フィルタフラグがオフである場合に、超強フィルタ処理を適用するブロックが存在していない。
　例えば、ピクチャヘッダにおいて、デブロッキングフィルタをピクチャに適用するか否かを示す１ビットフラグ（例えば、“ｐｐｓ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”）の下位情報要素として、“ｐｐｓ＿ｓｔｒｏｎｇｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”と称される１ビットフラグが超強フィルタフラグとして導入されてもよい。例えば、スライスヘッダにおいて、デブロッキングフィルタをスライスに適用するか否かを示す１ビットフラグ（例えば、“ｓｌｉｃｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”）の下位情報要素として、“ｓｌｉｃｅ＿ｓｔｒｏｎｇｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”と称される１ビットフラグが超強フィルタフラグとして導入されてもよい。
　第１閾値及び第２閾値を示す情報要素は、特に限定されるものではないが、２を底とする対数で表される値であってもよく、予め定められた最小値に対する差分で表される値であってもよい。超強フィルタフラグがオンである場合に、第１閾値及び第２閾値としてデフォルト値が用いられる場合には、第１閾値及び第２閾値を示す情報要素が省略されてもよい。
　例えば、ピクチャヘッダにおいて、“ｐｐｓ＿ｓｔｒｏｎｇｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”が０である場合に、すなわち、超強フィルタ処理が適用されるブロックが存在する場合に、第１閾値は、“ｐｐｓ＿ｌｏｇ２＿ｂｌｏｃｋ＿ｓｉｚｅ＿ｔｈ１＿ｍｉｎｕｓ３”という情報要素で表され、第２閾値は、“ｐｐｓ＿ｌｏｇ２＿ｂｌｏｃｋ＿ｓｉｚｅ＿ｔｈ２＿ｍｉｎｕｓ３”という情報要素で表されてもよい。例えば、スライスヘッダにおいて、“ｓｌｉｃｅ＿ｓｔｒｏｎｇｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”が０である場合に、すなわち、超強フィルタ処理が適用されるブロックが存在する場合に、第１閾値は、“ｓｌｉｃｅ＿ｌｏｇ２＿ｂｌｏｃｋ＿ｓｉｚｅ＿ｔｈ１＿ｍｉｎｕｓ３”という情報要素で表され、第２閾値は、“ｓｌｉｃｅ＿ｌｏｇ２＿ｂｌｏｃｋ＿ｓｉｚｅ＿ｔｈ２＿ｍｉｎｕｓ３”という情報要素で表されてもよい。
　対象ブロック及び隣接ブロックの種類を示す情報要素は、符号化ブロック、予測ブロック及び変換ブロックなどの種類を示す情報要素である。このような情報要素で示されるブロックのブロック境界において超強フィルタ処理が適用される。
　（フィルタ適用方法）
　以下において、変更例２に係るフィルタ適用方法について説明する。図１０は、変更例２に係るフィルタ適用方法を示す図である。図１０に示すフィルタ適用方法は、画像符号化装置１００で行われる処理について説明する。
　ステップＳ３０において、画像符号化装置１００は、超強フィルタ処理を適用するか否かを判定する。画像符号化装置１００は、判定結果がＹＥＳである場合には、ステップＳ３２の処理を行う。画像符号化装置１００は、判定結果がＮＯである場合には、ステップＳ３１の処理を行う。
　ステップＳ３１において、画像符号化装置１００は、超強フィルタフラグにオフを示す値をセットする。
　ステップＳ３２において、画像符号化装置１００は、超強フィルタフラグにオンを示す値をセットする。
　ステップＳ３３において、画像符号化装置１００は、第１閾値及び第２閾値を示す情報要素をセットする。
　ステップＳ３４において、画像符号化装置１００は、超強フィルタ処理を適用すべきブロック（対象ブロック及び隣接ブロック）の種類を示す情報要素をセットする。
　なお、画像復号装置２００においては、超強フィルタフラグがオンである場合に、ステップＳ３３及びステップＳ３４でセットされる情報要素の復号を行えばよい。すなわち、画像復号装置２００においては、超強フィルタフラグがオフである場合に、ステップＳ３３及びステップＳ３４でセットされる情報要素の復号を省略してもよい。
　また、前記の超強フィルタ処理を適用すべきブロックの種類を示す情報要素を伝送しないという構成も可能である。この場合は、前記ステップＳ３４の代わりに、図８や図９で説明した判定フローを用いることで、ブロック境界ごとにどのフィルタ処理を適用するか決定することができる。
　［変更例３］
　以下において、実施形態の変更例３について説明する。以下においては、実施形態に対する相違点について主として説明する。
　変更例３では、超強フィルタ処理として、第１超強フィルタ処理及び第２超強フィルタ処理が導入されるケースについて説明する。第２超強フィルタ処理は、第１超強フィルタ処理よりも平滑度合いが小さいフィルタ処理である。
　画像符号化装置１００及び画像復号装置２００は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上場合に、超強フィルタ処理を適用すると決定する。変更例３では、対象ブロック及び隣接ブロックの双方のブロックサイズが閾値（Ｔｈ）以上である場合に、強フィルタ処理を適用すると決定する。
　このような前提下において、画像符号化装置１００及び画像復号装置２００は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、超強フィルタ処理として第１超強フィルタ処理を適用すると決定する。
　一方で、画像符号化装置１００及び画像復号装置２００は、対象ブロック及び隣接ブロックの双方がイントラ予測ブロックでない場合に、超強フィルタ処理として第２超強フィルタ処理を適用すると決定する。
　変更例３では、対象ブロック及び隣接ブロックのブロックサイズと比較すべき閾値は１種類であってもよい。このような閾値は、変更例２と同様に、画像符号化装置１００から画像復号装置２００に送信される制御データ（例えば、各種ヘッダ）に含まれる情報要素によって指定されてもよい。
　（フィルタ適用方法）
　以下において、変更例３に係るフィルタ適用方法について説明する。図１１は、変更例３に係るフィルタ適用方法を示す図である。図１１に示すフィルタ適用方法は、インループフィルタ処理部１５０及びインループフィルタ処理部２５０によって行われる方法であり、画像符号化方法及び画像復号方法の一例である。ここでは、画像復号装置２００を例に挙げて説明する。
　図１１に示すように、ステップＳ４０において、画像復号装置２００は、ブロック境界の境界強度が１以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ４１の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ４３の処理を行う。
　ステップＳ４１において、画像復号装置２００は、対象ブロック及び隣接ブロックの双方のブロックサイズが閾値（Ｔｈ）以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ４２の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ４６の処理を行う。
　ステップＳ４２において、画像復号装置２００は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ４４の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ４５の処理を行う。ここで、判定結果がＹＥＳであるケースは、第１条件が満たされているケースである。判定結果がＮＯであるケースは、第２条件が満たされているケースである。
　ステップＳ４３において、画像復号装置２００は、ブロック境界に対してフィルタ処理を適用しない。
　ステップＳ４４において、画像復号装置２００は、ブロック境界に対して第１超強フィルタ処理を適用する。
　ステップＳ４５において、画像復号装置２００は、ブロック境界に対して第２超強フィルタ処理を適用する。
　ステップＳ４６において、画像復号装置２００は、従来処理を行う。従来処理は、ブロック境界の境界強度、対象ブロック及び隣接ブロックに含まれる量子化パラメータなどに基づいて、フィルタ処理を適用するか否か、弱フィルタ処理及び強フィルタ処理のいずれのフィルタ処理を境界ブロックに適用するかを決定する処理である。
　（作用及び効果）
　変更例３では、画像符号化装置１００及び画像復号装置２００は、対象ブロック及び隣接ブロックのブロックサイズに基づいて、超強フィルタ処理を適用するか否かを判定した上で、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるか否かに応じて、第１超強フィルタ処理及び第２超強フィルタ処理を使い分ける。このような構成によれば、フィルタ処理の適用によってブロックノイズを効果的に低減することができる。
　［変更例４］
　以下において、実施形態の変更例４について説明する。以下においては、変更例３に対する相違点について主として説明する。
　変更例３では、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるか否かに基づいて、第１超強フィルタ処理及び第１超強フィルタ処理が使い分けられる。これに対して、変更例４では、ブロック境界の境界強度が所定値（例えば、２）以上であるか否かに基づいて、第１超強フィルタ処理及び第１超強フィルタ処理が使い分けられる。
　すなわち、変更例４において、画像符号化装置１００及び画像復号装置２００は、ブロック境界の境界強度が所定値（例えば、２）以上である場合に、超強フィルタ処理として第１超強フィルタ処理を適用すると決定する。
　一方で、画像符号化装置１００及び画像復号装置２００は、ブロック境界の境界強度が所定値（例えば、２）未満である場合に、超強フィルタ処理として第２超強フィルタ処理を適用すると決定する。
　（フィルタ適用方法）
　以下において、変更例４に係るフィルタ適用方法について説明する。図１２は、変更例４に係るフィルタ適用方法を示す図である。図１２に示すフィルタ適用方法は、インループフィルタ処理部１５０及びインループフィルタ処理部２５０によって行われる方法であり、画像符号化方法及び画像復号方法の一例である。ここでは、画像復号装置２００を例に挙げて説明する。
　図１２に示すフローは、ステップＳ４２に代えてステップＳ５２が行われる点を除いて、図１１に示すフローと同様であるため、以下においては、ステップＳ５２についてのみ説明する。
　図１２に示すように、ステップＳ５２において、画像復号装置２００は、ブロック境界の境界強度が２以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ５４の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ５５の処理を行う。
　［その他の実施形態］
　本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
　実施形態では特に触れていないが、上述したフィルタ処理は、輝度信号に適用される処理であってもよい。輝度信号に対するフィルタ処理の適用方法は、色差信号に対するフィルタ処理の適用方法と異なっていてもよい。
　実施形態では、対象ブロック及び隣接ブロックの双方のブロックサイズが第１閾値（Ｔｈ１）又は第２閾値（Ｔｈ２）以上である場合に、超強フィルタ処理が適用されるケースを例示した。しかしながら、実施形態はこれに限定されるものではない。対象ブロック及び隣接ブロックの少なくともいずれか１つブロックのブロックサイズが第１閾値（Ｔｈ１）又は第２閾値（Ｔｈ２）以上である場合に、超強フィルタ処理が適用されてもよい。
　実施形態では、第１閾値（Ｔｈ１）が第２閾値（Ｔｈ２）よりも小さいケースを例示した。しかしながら、実施形態はこれに限定されるものではない。第１閾値（Ｔｈ１）は、第２閾値（Ｔｈ２）よりも大きくてもよい。
　実施形態では、第１条件は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるという条件である。しかしながら、実施形態はこれに限定されるものではない。第１条件は、他の条件を含んでもよい。他の条件は、対象ブロック及び隣接ブロックに含まれる量子化パラメータが所定条件を満たすことであってもよく、ブロック境界の境界強度が閾値（例えば、２）以上であることであってもよい。
　実施形態では、第２条件は、対象ブロック及び隣接ブロックの双方がイントラ予測ブロックでないという条件である。しかしながら、実施形態はこれに限定されるものではない。第１条件は、他の条件を含んでもよい。他の条件は、対象ブロック及び隣接ブロックに含まれる量子化パラメータが所定条件を満たすことであってもよく、ブロック境界の境界強度が閾値（例えば、２）以上であることであってもよい。
　実施形態では、第１閾値及び第２閾値は、超強フィルタ処理の適用可否の判定に用いられる。しかしながら、実施形態はこれに限定されるものではない。第１閾値及び第２閾値は、超強フィルタ処理以外のフィルタ処理の適用可否の判定に用いられてもよい。
　変更例２では、制御データ（例えば、ヘッダ）が第１閾値及び第２閾値を示す情報要素を含むケースについて例示した。しかしながら、変更例２はこれに限定されるものではない。第１閾値及び第２閾値のいずれか１つがデフォルト値である場合には、制御データは、デフォルト値以外の閾値を示す情報要素を含んでいてもよい。
　変更例２では、超強フィルタフラグは、超強フィルタ処理を適用するブロックが存在するか否かを示すフラグであるケースについて例示した。しかしながら、変更例２はこれに限定されるものではない。例えば、超強フィルタフラグは、第１閾値及び第２閾値のいずれの閾値を用いるかを示すフラグであってもよい。このようなケースにおいて、超強フィルタフラグがオンである場合には、第１閾値が用いられ、かつ、第１閾値を示す情報要素が制御データに含まれてもよい。一方で、超強フィルタフラグがオフである場合には、第２閾値が用いられ、かつ、第２閾値はデフォルト値であってもよい。
　変更例２では、超強フィルタ処理が適用されるブロックが存在するか否かを示すフラグ（例えば、“ｐｐｓ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”又は“ｓｌｉｃｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”）は、超強フィルタフラグ（“ｐｐｓ＿ｓｔｒｏｎｇｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”又は“ｓｌｉｃｅ＿ｓｔｒｏｎｇｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”）と別に定義されるケースについて例示した。しかしながら、変更例２はこれに限定されるものではない。これらのフラグは１つのフラグ（例えば、“ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｍｏｄｅ＿ｆｌａｇ”と称してもよい）に統合されてもよい。このような１つのフラグは、フィルタ処理なし（例えば、０）、従来処理（例えば、１）、超強フィルタ処理（例えば、２）を指定するフラグであってもよい。
　実施形態では特に触れていないが、画像符号化装置１００及び画像復号装置２００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。
　或いは、画像符号化装置１００及び画像復号装置２００が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
１０…画像処理システム
１００…画像符号化装置
１１１…インター予測部
１１２…イントラ予測部
１２１…減算器
１２２…加算器
１３１…変換・量子化部
１３２…逆変換・逆量子化部
１４０…符号化部
１５０…インループフィルタ処理部
１５１…対象ブロック境界検出部
１５２…隣接ブロック境界検出部
１５３…境界強度判定部
１５４…フィルタ決定部
１５５…フィルタ処理部
１６０…フレームバッファ
２００…画像復号装置
２１０…復号部
２２０…逆変換・逆量子化部
２３０…加算器
２４１…インター予測部
２４２…イントラ予測部
２５０…インループフィルタ処理部
２５１…対象ブロック境界検出部
２５２…隣接ブロック境界検出部
２５３…境界強度判定部
２５４…フィルタ決定部
２５５…フィルタ処理部
２６０…フレームバッファ

Claims (14)

  1. 　対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、
    　前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備え、
    　前記制御部は、
    　　第１条件が満たされている場合に、前記閾値として第１閾値を設定し、
    　　前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する、画像復号装置。
  2. 　前記第１条件は、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるという条件である、請求項１に記載の画像復号装置。
  3. 　前記第２条件は、前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでないという条件である、請求項２に記載の画像復号装置。
  4. 　前記第１条件は、前記ブロック境界の境界強度が所定値以上であるという条件である、請求項１乃至請求項３のいずれか１項に記載の画像復号装置。
  5. 　前記第２条件は、前記ブロック境界の境界強度が所定値未満であるという条件である、請求項４に記載の画像復号装置。
  6. 　前記第１閾値を指定するための情報要素を含む制御データを受信する受信部を備える、請求項１乃至請求項５のいずれか１項に記載の画像復号装置。
  7. 　前記第２閾値を指定するための情報要素を含む制御データを受信する受信部を備える、請求項６に記載の画像復号装置。
  8. 　対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、
    　前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備え、
    　前記制御部は、
    　　第１条件が満たされている場合に、前記閾値として第１閾値を設定し、
    　　前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する、画像符号化装置。
  9. 　画像符号化装置及び画像復号装置を備える画像処理システムであって、
    　前記画像符号化装置及び前記画像復号装置は、
    　　対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、
    　　前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備え、
    　前記制御部は、
    　　第１条件が満たされている場合に、前記閾値として第１閾値を設定し、
    　　前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する、画像処理システム。
  10. 　プログラムであって、コンピュータに、
    　対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するステップＡと、
    　前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定するステップＢと、を実行させ、
    　前記ステップＢは、
    　　第１条件が満たされている場合に、前記閾値として第１閾値を設定するステップと、
    　　前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定するステップと、を含む、プログラム。
  11. 　対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、
    　前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定する制御部と、を備え、
    　前記制御部は、
    　　前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定し、
    　　前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記境界部分の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定し、
    　　前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記境界部分の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定する、画像復号装置。
  12. 　対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、
    　前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定する制御部と、を備え、
    　前記制御部は、
    　　前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定し、
    　　前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記境界部分の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定し、
    　　前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記境界部分の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定する、画像符号化装置。
  13. 　画像符号化装置及び画像復号装置を備える画像処理システムであって、
    　前記画像符号化装置及び前記画像復号装置は、
    　　対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、
    　　前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定する制御部と、を備え、
    　前記制御部は、
    　　前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定し、
    　　前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記境界部分の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定し、
    　　前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記境界部分の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定する、画像処理システム。
  14. 　プログラムであって、コンピュータに、
    　対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するステップＡと、
    　前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定するステップＢと、を実行させ、
    　前記ステップＢは、
    　　前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定するステップと、
    　　前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記境界部分の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定するステップと、
    　　前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記境界部分の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定するステップと、を含む、プログラム。
PCT/JP2019/030886 2018-08-30 2019-08-06 画像復号装置、画像符号化装置、画像処理システム及びプログラム WO2020044985A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-161923 2018-08-30
JP2018161923A JP6998846B2 (ja) 2018-08-30 2018-08-30 画像復号装置、画像符号化装置、画像処理システム及びプログラム

Publications (1)

Publication Number Publication Date
WO2020044985A1 true WO2020044985A1 (ja) 2020-03-05

Family

ID=69644880

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/030886 WO2020044985A1 (ja) 2018-08-30 2019-08-06 画像復号装置、画像符号化装置、画像処理システム及びプログラム

Country Status (2)

Country Link
JP (1) JP6998846B2 (ja)
WO (1) WO2020044985A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
WO2011145601A1 (ja) * 2010-05-18 2011-11-24 ソニー株式会社 画像処理装置と画像処理方法
US20130294525A1 (en) * 2011-01-14 2013-11-07 Telefonaktiebolaget L M Ericsson (Publ) Method for Filter Control and a Filtering Control Device
WO2014045919A1 (ja) * 2012-09-20 2014-03-27 ソニー株式会社 画像処理装置および方法
WO2017056665A1 (ja) * 2015-09-30 2017-04-06 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
WO2018066241A1 (en) * 2016-10-03 2018-04-12 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
WO2011145601A1 (ja) * 2010-05-18 2011-11-24 ソニー株式会社 画像処理装置と画像処理方法
US20130294525A1 (en) * 2011-01-14 2013-11-07 Telefonaktiebolaget L M Ericsson (Publ) Method for Filter Control and a Filtering Control Device
WO2014045919A1 (ja) * 2012-09-20 2014-03-27 ソニー株式会社 画像処理装置および方法
WO2017056665A1 (ja) * 2015-09-30 2017-04-06 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
WO2018066241A1 (en) * 2016-10-03 2018-04-12 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KYOHEI UNNO ET AL.: "CE11:Extended Deblocking Filter (test 11. 1. 2)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING, 2 January 2019 (2019-01-02), Marrakech, MA, XP030197772 *
KYOHEI UNNO ET AL.: "CE11-related:Improvement of Extended Deblocking Filter", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING, 3 October 2018 (2018-10-03), Macao, CN, XP030191935 *
KYOHEI UNNO ET AL.: "CE2:Extended Deblocking Filter (CE2. 2. 1. 2", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING, 4 July 2018 (2018-07-04), Ljubljana, SI, XP030195988 *

Also Published As

Publication number Publication date
JP2020036223A (ja) 2020-03-05
JP6998846B2 (ja) 2022-01-18

Similar Documents

Publication Publication Date Title
JP4643454B2 (ja) 動画像復号装置及び動画像復号方法
KR101530782B1 (ko) 영상 부호화 및 복호화 방법, 장치 및 시스템
TWI650995B (zh) 視訊解碼裝置、視訊編碼方法及非暫態電腦可讀記錄媒體
JP6620354B2 (ja) 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
JP2008167456A (ja) 画像符号化装置及び画像復号装置
KR101621854B1 (ko) Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치
KR101530774B1 (ko) 영상 부호화 및 복호화 방법, 장치 및 시스템
JP2007013298A (ja) 画像符号化装置
JP2023015241A (ja) 画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラム
JP4643437B2 (ja) 情報処理装置
KR20160068288A (ko) 변환생략을 참조하는 디블록킹 필터링을 이용한 영상의 부호화/복호화 방법 및 이를 이용하는 장치
US20230122782A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and non-transitory computer-readable storage medium
JP2006270851A (ja) 画像符号化装置及び画像復号装置
KR101443865B1 (ko) 인터 예측 방법 및 장치
WO2020044985A1 (ja) 画像復号装置、画像符号化装置、画像処理システム及びプログラム
JP2008005197A (ja) デコード装置およびデコード方法
WO2020059341A1 (ja) 画像復号装置、画像符号化装置、画像処理システム及びプログラム
KR20200030521A (ko) 디블록킹 필터링의 경계 필터링 강도 결정 방법 및 장치
JP5814191B2 (ja) デブロッキング処理方法、デブロッキング処理装置、プログラム、及び記録媒体
JP7109961B2 (ja) 画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラム
JP6480790B2 (ja) 画像判定装置、符号化装置、及びプログラム
JP2019201438A (ja) 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
KR20130070195A (ko) 문맥 기반의 샘플 적응적 오프셋 필터 방향 추론 및 적응적 선택에 대한 비디오 방법 및 장치
JP2021061521A (ja) フィルタ処理方法
JP2009147751A (ja) 画像処理装置、およびそれを搭載した撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19855205

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19855205

Country of ref document: EP

Kind code of ref document: A1