WO2015088284A1 - 비디오 부호화 및 복호화에서의 픽셀 프로세싱 방법 및 장치 - Google Patents

비디오 부호화 및 복호화에서의 픽셀 프로세싱 방법 및 장치 Download PDF

Info

Publication number
WO2015088284A1
WO2015088284A1 PCT/KR2014/012287 KR2014012287W WO2015088284A1 WO 2015088284 A1 WO2015088284 A1 WO 2015088284A1 KR 2014012287 W KR2014012287 W KR 2014012287W WO 2015088284 A1 WO2015088284 A1 WO 2015088284A1
Authority
WO
WIPO (PCT)
Prior art keywords
offset
processing
pixels
unit
classification
Prior art date
Application number
PCT/KR2014/012287
Other languages
English (en)
French (fr)
Inventor
첸지에
알쉬나엘레나
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2015088284A1 publication Critical patent/WO2015088284A1/ko
Priority to US15/180,605 priority Critical patent/US20160286223A1/en
Priority to PH12016501144A priority patent/PH12016501144A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/30—Hydrogen technology
    • Y02E60/36—Hydrogen production from non-carbon containing sources, e.g. by water electrolysis

Definitions

  • the present invention relates to a method and apparatus for pixel processing in video encoding and decoding, in particular video encoding and decoding.
  • HEVC International Video Coding Standard-High Efficiency Video Coding
  • pixels of a particular area are classified by category, and a specific offset value is added to the pixel.
  • the addition process of the classification and offset value of the pixels in this particular area needs to be performed at both the encoder and the decoder.
  • the encoder needs to transmit information of the applied classification method and offset values added to pixels of another category on the bit-stream, but does not need to transmit information of the pixels included in each category.
  • the decoder will use the same classification method as the method used to separate the pixels in the current specific area by the encoder in order to obtain the same classification result as obtained by the encoder.
  • the pixels are offset according to the categories of pixels and the offset value transmitted in the bitstream.
  • edge mode the value of one current pixel is compared with the values of neighboring pixels of the current pixel, and the category of the current pixel is determined according to the comparison result.
  • one pixel has several neighboring pixels. In practice, however, only one part of the neighboring pixels is selected for comparison. If different neighboring pixels are selected, different classification results will be obtained.
  • the edge mode classification method there are several different pixel classification sub-methods corresponding to the specific selection of neighboring pixels for comparison.
  • HEVC employs four types of neighbor pixel selection methods. In the figure, c represents the current pixel and a and b represent selected neighboring pixels. Table 1 shows the classification conditions in the edge mode.
  • c when c is less than a and c is less than b, c belongs to category 1; c is less than a and c is equal to b or c is less than b and c is equal to a, then c belongs to category 2; if c is greater than a and c is equal to b or c is greater than b and c is equal to a, then c belongs to category 3; when c is greater than a and c is greater than b, c belongs to category 4; If c does not satisfy the above four conditions, c belongs to category 0.
  • band mode the current pixel is classified directly according to the value for the current pixel.
  • the entire range of pixel values is divided into several sub-sections (bands named in HEVC), and the index of the sub-section where the current pixel is located is the category number for the current pixel.
  • Table 2 for an 8-bit video sequence in HEVC, the range of pixel values 0-255 is evenly divided into 32 sub-sections of length 8 each of the sub-intervals, and the current category of pixels is It is determined directly by the value of the current pixel.
  • the current pixel is offset according to the category of the current pixel.
  • Offset in this document may be understood to mean adding an offset value. The same offset is added to pixels of the same category.
  • offset values transmitted in the bitstream are added to pixels of category 1, category 2, category 3, and category 4 for pixel value processing, and pixels of category 0 are not added an offset value. Thus, the values of the pixels of category 0 remain unchanged.
  • band mode the encoder specifies four consecutive offset subsections and adds offset values to the pixels of the four consecutive offset subsections to obtain processed pixel values. And for the pixels of the other subsections, the processed pixel values remain unchanged.
  • the information that needs to be transmitted in the bitstream includes classification information and offset information.
  • the classification information includes an indication to indicate whether the edge mode or the band mode is applied and an indication to indicate whether the classification sub-method was used when the edge mode is applied;
  • the offset information includes four offset values when edge mode is applied or an indication to indicate four offset values and start offset sub-section when band mode is applied.
  • AVS2 which is currently being written, also applies the sample adaptive offset technique mentioned above, but there are differences in detail in HEVC.
  • pixels of a designated area are determined as a processing unit to perform a classification and offset operation.
  • the largest coding unit is determined as a processing unit and processed in order. This means that the decoder first processes the pixels in the first largest coding unit according to the first group for the sample adaptive offset information of the bitstream, and the second maximum according to the second group for the sample adaptive offset information of the bitstream. The pixels are processed in the coding unit, and processing continues until the last maximum coding unit. In this way, the boundary of the processing unit processed each time by sample adaptive offset processing is adjusted to the boundary for the maximum coding unit.
  • Deblocking filtering is a technique of processing pixels at the boundary of two neighboring coding processing blocks and cannot be performed until reconstructed values of the pixels are obtained on both sides of the boundary of the two blocks. Therefore, when the restoration of the current encoding process block is completed, the deblocking filter may process only pixels of the upper boundary and pixels of the left boundary of the current encoding process block, but the right neighbor encoding process of the current encoding process block. Since the restoration of the block and the lower neighboring encoding processing block has not yet been completed, the pixels of the lower boundary and the pixels of the right boundary of the current encoding processing block cannot be processed.
  • the deblocking filter when reconstruction of the current encoding process block is completed, not only pixels of the upper boundary and pixels of the left boundary of the current encoding process block, but also the right side of the left neighboring encoding process block. Pixels on the boundary and pixels on the bottom boundary of the upper neighboring coding process block are processed.
  • deblocking filtering cannot be performed for pixels on the lower boundary and pixels on the right boundary of the current encoding processing block. Since sample adaptive offset processing is performed after deblocking filtering, sample adaptive offset processing cannot be performed for any pixels. Therefore, according to the effect of deblocking filtering, the pixel region where the sample adaptive offset processing is actually performed tends to be out of alignment with the coding processing block. For example, as shown in FIG. 2, blocks A, B, C and D are coding units, and block D is a current coding unit.
  • Block E is shown. Obviously, block E is not aligned with block D, but overlaps block A, block B, block C, and block D. The overlapped regions are sub-block a, sub-block b, sub-block c and sub-block d.
  • the maximum coding unit is determined as a sample adaptive offset processing unit. This may have different sample adaptive offset parameters if block A, block B, block C and block D belong to different maximum coding units (sample adaptive offset parameters include classification methods and offset values). .
  • sub-block a, sub-block b, sub-block c and sub-block d may have different sample adaptive offset processing parameters and need to be processed differently. This increases the processing complexity of the codec.
  • the encoder since the values of the pixels on the right border of the block D and the pixels on the bottom border have not yet been deblocked filtered, the encoder will clearly predict the optimal sample adaptive offset parameters for handling those pixels causing coding performance degradation. I can't.
  • sample adaptive offset processing units may have different requirements for sample adaptive offset processing units. For example, for a flat image area, sample adaptive offset processing needs to be performed in a large area; For the region where the value of the pixels changes rapidly, the sample adaptive offset processing needs to be performed in the small region.
  • the characteristics of the input image are not taken into account, while the processing is not flexible because the maximum coding unit is always determined as the sample adaptive offset processing unit.
  • the information of the start offset subsection needs to be transmitted in the bitstream, and then an offset operation is performed for four subsections starting with the start offset subsection. do.
  • the present invention is to provide a video encoding and decoding pixel processing method and apparatus which can improve coding performance and reduce implementation complexity by dividing an image into a sample offset processing region flexibly during processing.
  • the video encoding and decoding pixel processing method performs a spatial position shift operation for a predetermined coding processing unit, and performs a spatial position shift operation on the current sample offset. Determining as a processing region and performing sorting and offset operations for the pixels of the current sample offset processing region.
  • a video encoding and decoding pixel processing method including determining a current sample offset processing region and performing classification and offset operations for pixels of the current sample offset processing region. It may include the step.
  • a method of processing a pixel in video coding and decoding including determining a current sample offset processing region and classifying and offset for pixels of the current sample offset processing region. And performing a classification operation for the pixels, dividing a range of values of pixels into N subsections, and a k subsection in which the value of the current pixel is located. Classifying the current pixel into a category corresponding to, wherein N is a preset positive integer and k is an index of a sub-section; Performing an offset operation for the pixels may include determining M-subsections that need to be offset in accordance with pixels of the current sample offset processing region and offsetting pixels of the M offset subsections. Can be.
  • bit rates are saved and encoding performance is improved.
  • FIG. 1 shows a schematic diagram of positions of a current pixel and selected neighboring pixels for comparison in the edge mode of HEVC.
  • FIG. 2 shows a schematic diagram of a positional relationship between a region where sample offset processing is actually performed and a current coding unit.
  • FIG. 3 shows a basic flow chart of a first kind of pixel processing method according to the present invention.
  • FIG. 4 shows a detailed flowchart of the pixel processing methods of Embodiments 1-4.
  • Fig. 5 shows a schematic diagram of the area where the sample offset processing in Embodiment 1 is performed.
  • FIG. 6 shows a schematic diagram of the position of the current pixel and selected neighboring pixels in the edge mode classification method.
  • FIG. 7 shows a schematic diagram of sample offset processing regions in Example 2.
  • FIG. 8 shows a schematic diagram of sample offset processing regions in Example 3.
  • FIG. 9 shows a schematic diagram of sample offset processing regions in Example 4.
  • FIG. 10 shows a flowchart of a pixel processing method in FIG. 5.
  • FIG. 11 shows a schematic diagram of sample offset processing regions in Example 5.
  • FIG. 12 shows a schematic diagram of a basic flow of a second kind of pixel processing method in accordance with the present invention.
  • FIG. 13 shows a schematic diagram of sample offset processing regions in Example 6.
  • FIG. 14 shows a schematic diagram of sample offset processing regions in Example 7.
  • Fig. 15 shows a schematic diagram of the basic flow of pixel processing methods in Embodiment 8 and Embodiment 9 of the present invention.
  • FIG. 16 shows a schematic diagram of the basic configuration of a pixel processing apparatus according to the present invention.
  • the video encoding and decoding pixel processing method includes performing a spatial position shift operation for a preset coding processing unit, and determining the region as the current sample offset processing region after performing the spatial position shift operation. And performing classification and offset operations for the pixels of the current sample offset processing region.
  • the current sample offset processing area crosses the boundary of the image or slice, the current sample offset processing area is shrunk into the boundary of the image or slice and then sorting and offset operations are performed; And / or
  • the current sample offset processing region is determined to be obtained by moving the coding processing unit inside the image or slice at the boundary of the image or slice, the current sample offset processing region is determined by Extend to boundaries; And / or
  • the current sample offset processing area is obtained by moving the coding processing unit inside the image or slice at the boundary of the image or slice, the current sample offset processing area remains unchanged. Is maintained; The pixel area between the current sample offset processing area and the boundary of the image or slice is determined as the area where classification and offset operations are not performed or as an independent sample offset processing area where classification and offset operations are performed.
  • the preset coding processing unit is a prediction unit, a prediction unit group composed of several neighboring prediction units, a transformation unit, a transmission unit group composed of several neighboring transformation units, a coding unit, and a coding unit composed of several neighboring coding units.
  • a maximum coding unit group consisting of a group, a maximum coding unit, or a maximum coding units.
  • the preset coding processing unit is set by the system or standard or transmitted in the bitstream; And / or the direction of movement in which the spatial position movement operation is performed is set by the system or standard or transmitted in the bitstream; And / or the movement distance at which the spatial position movement operation is performed is set in the system or standard or transmitted in the bitstream.
  • performing a classification operation for the pixels in the current sample offset processing region comprises dividing the range of values of the pixel in the N subsections and the subsection k where the value of the current pixel is located. And classifying current pixels of a category corresponding to N, wherein N is a preset positive integer and k is an index of a sub-section.
  • performing the classification operation for the pixels in the current sample offset processing region may include comparing the value of the current pixel with all or some of the neighboring pixels of the current pixel and the current result according to the comparison result. Determining the category of the pixel.
  • performing an offset operation for the pixels of the current sample offset processing region may include adding an offset value to the pixels of the category according to the category for the pixels.
  • performing the offset operation for the pixels of the current sample offset processing region may include calculating an offset value corresponding to the category according to a preset calculation method based on the reference value of the offset. .
  • the video encoding and decoding pixel processing method may include determining a current sample offset processing region and performing classification and offset operations for pixels of the current sample offset processing region.
  • the current sample offset processing area may be determined according to area information transmitted in the bitstream.
  • the encoder and decoder set several methods of region division for the coding processing unit, and assign an index to each method of region division.
  • the region information transmitted in the bitstream is an index of the region division method selected by the encoder.
  • the coding processing unit is a prediction unit, a prediction unit group composed of several neighboring prediction units, a transformation unit, a transformation unit group composed of several neighboring transformation units, a coding unit, a coding unit group composed of several neighboring coding units, A maximum coding unit group consisting of a maximum coding unit or several maximum coding units.
  • the coding processing unit is set by a system or a standard, or transmitted in a bitstream.
  • the current sample offset processing area when it is determined that the current sample offset processing area crosses the boundary of the image or slice, the current sample offset processing area is reduced inside the image or slice boundary, and then classification or offset operations are performed; And / or if it is determined that the current sample offset processing region is obtained by moving the coding processing unit within the image or slice at the boundary of the image or slice, the current sample offset processing region is extended to the boundary of the image or slice; And / or if the current sample offset processing region is determined to be obtained by moving the coding processing unit into the image or slice at the boundary of the image or slice, the current sample offset processing region remains unchanged;
  • the pixel area between the boundary of the current sample offset processing area and the boundary of the image or slice is determined as the area where no classification and offset operations are performed or as an independent sample offset processing area in which the classification and offset operations are performed.
  • performing the classification operation for the pixels of the current sample offset processing region comprises dividing the range of values of the pixels into N subsections and in the k subsection where the value of the current pixel is located. Classifying the current pixel into a corresponding category, wherein N is a predetermined positive integer and k is an index of a sub-section.
  • performing an offset operation for the pixels of the current sample offset processing region may add an offset to the pixels of the category according to the category of the pixels.
  • the performing of the offset operation for the pixels in the current sample offset processing region may include calculating an offset value corresponding to the category according to a preset calculation method based on the reference value of the offset. .
  • a pixel processing method in video coding and decoding includes determining a current sample offset processing region and performing classification and offset operations for pixels of the current sample offset processing region. can do.
  • performing a classification operation for the pixels comprises dividing a range of values of pixels into N subsections and a current pixel in a category corresponding to a k subsection where the value of the current pixel is located.
  • Performing an offset operation for the pixels may include determining M-subsections that need to be offset in accordance with pixels of the current sample offset processing region and offsetting pixels of the M offset subsections. Can be.
  • the subsections that need to be offset may be determined according to the pixels included in all the subsections after sorting.
  • the step of determining the sub-sections that need to be offset according to the pixels included in all the sub-sections after sorting comprises: M sub-section containing the most pixels of all the sub-sections after sorting. May be selected as offset subsections.
  • the subsections that need to be offset may be determined according to the pixels included in all the subsections after the classification and the information transmitted in the bitstream.
  • the subsections that need to be offset may be determined according to the information on the offset subsection selection method appearing on the bitstream and the subsection containing the most pixels of all the subsections after sorting.
  • a pixel processing apparatus in video encoding and decoding may include a processing region determiner, a classification and offset information acquisition unit, a classification unit and an offset unit;
  • the processing region determiner performs a spatial position movement operation for a preset coding processing unit and determines the region after the spatial position movement operation as the current sample offset processing region;
  • the classification and offset information obtaining unit obtains a pixel classification method and corresponding offset values;
  • the classification unit classifies each pixel of the current sample offset processing area according to a classification method determined by the classification and offset information obtaining unit;
  • the offset unit may characterize the pixels according to the classification result and the offset values of the classifier.
  • the pixel processing apparatus reduces the current sample offset processing region determined by the processing region determining unit when the current sample offset processing region crosses the boundary of the image or slice, into the boundary of the image or slice,
  • the apparatus may further include a processing area correction unit for notifying the classification unit and the offset unit.
  • the pixel processing apparatus the current sample offset determined by the processing region determiner when the current sample offset processing region is obtained by moving the coding processing unit inside the image or slice at the boundary of the image or slice Extend the processing area to the boundaries of the image or slice and notify the classifier and offset; Or the current sample offset processing area determined by the processing area determining unit when the current sample offset processing area is obtained by moving the current sample offset processing area into the image or slice by moving the coding processing unit at the boundary of the image or slice. Keeps this unchanged and informs the classifier and offset unit that the sample offset process is not performed for pixels in the region between the boundary of the current sample offset processing region and the boundary of the image or slice, or the current sample offset processing region. And a processing area correction unit for notifying the classification unit and the offset unit that the area between the and the boundary of the image or slice is determined as an independent sample offset processing area.
  • a pixel processing apparatus in video encoding and decoding includes a processing region determination unit, a classification and offset information acquisition unit, a classification unit and an offset unit, and the processing region determination unit includes a current sample offset processing region. Determining according to area information transmitted in the bitstream; The classification and offset information obtaining unit may be characterized by obtaining a pixel classification method and corresponding offset values; The classification unit may classify each pixel of the current sample offset processing area according to a classification method determined by the classification and offset information acquisition unit; The offset unit may characterize the pixels according to the classification result and the offset values of the classifier.
  • the pixel processing apparatus reduces the current sample offset processing region determined by the processing region determining unit when the current sample offset processing region crosses the boundary of the image or slice, into the boundary of the image or slice,
  • the apparatus may further include a processing area correction unit for notifying the classification unit and the offset unit.
  • the current sample offset processing determined by the processing region determiner when the current sample offset processing region is obtained by moving the coding processing unit inside the image or slice at the boundary of the image or slice Extend the area to the boundaries of the image or slice and notify the classifier and offset; Or when the current sample offset processing region is obtained by moving the coding processing unit from the boundary of the image or slice to the inside of the image or slice, the current sample offset processing region determined by the processing region determining unit Keeps unchanged and informs the classifier and offset unit that the sample offset process is not performed for pixels in the region between the boundary of the current sample offset processing region and the boundary of the image or slice, or
  • the processing unit may further include a processing area correction unit for notifying the classification unit and the offset unit that the area between the boundary and the boundary of the image or slice is obtained as an independent sample offset processing area.
  • the pixel processing apparatus in video encoding and decoding may include a processing region determiner, a classification and offset information acquisition unit, a classification unit, and an offset unit.
  • the processing region determiner may determine the current sample offset processing region.
  • the classification and offset information acquisition unit may be characterized by acquiring a pixel classification method and corresponding offset values.
  • the classifying unit may divide the range of values of the pixels into N subsections, and classify the current pixels into categories corresponding to the subsection k where the value of the pixel is located. May be a predetermined positive integer and k may be an index of a sub-section.
  • the offset unit may be configured to offset the pixels according to a classification result and offset values of the classifier.
  • the method for offsetting the pixels may include first determining an M subsection that needs to be offset according to pixels of the current sample offset processing region and offsetting pixels of the M offset subsections.
  • the offset portion may be further characterized by determining M subsections that need to be offset according to pixels included in all subsections after sorting.
  • the offset portion may be further characterized by selecting M subsections containing the most pixels from all subsections after sorting as offset subsections.
  • the offset unit may be further characterized by determining the M subsections that need to be offset according to the information included in the pixels and the bits included in all the subsections after the classification.
  • the classification and offset information obtaining unit may be further characterized by obtaining information on the offset sub-section selection method from the bitstream;
  • the offset portion may be further characterized by determining sub-sections including the most pixels of all sub-sections after classification and sub-sections that need to be offset according to information on the offset sub-section selection method transmitted in the bitstream. Can be.
  • the coding processing unit preset in the present invention may be moved in the preset movement direction;
  • the area after the spatial position movement operation can be determined as the current sample offset processing area;
  • Classification and offset operations may be performed for all pixels of the current sample offset processing region.
  • the determined sample offset processing region may not be perfectly aligned with the coding processing unit, but there may be a difference in arbitrary positions between the sample offset processing region and the coding processing unit so that the sample offset processing regions are obtained more flexibly.
  • the moving direction and the moving distance can be selected as needed; In particular, in order to improve encoding performance, when moved to the upper left to reduce the execution cost and to improve the prediction accuracy of the sample offset parameters, it may coincide with the deblocking filtering region.
  • sample offset processing regions As an embodiment of the present invention, it is possible to provide a processing method in which the size and shape of the sample offset processing regions are specified in the bitstream transmitted by the encoder; For other image regions, the size and shape of other sample offset processing regions may be adopted to meet the requirements of other sample offset processing units.
  • a new sample offset method may be provided.
  • the encoder does not need to transmit or can transmit less information about offset subsections, and the decoder finally distributes the distribution of the pixels of the current sample processing region to save bitrate and improve encoding performance. According to the information of the offset lower intervals can be derived.
  • the present invention can provide three kinds of methods of pixel processing in video encoding and decoding.
  • a spatial position shifting operation for a coding processing unit may be performed to obtain a current sample offset processing region, and then pixels of the region may be classified and offset.
  • the size and shape of the current sample offset processing region may be specified in the bitstream, and then the pixels of the region may be sorted and offset.
  • the pixels of the current sample offset processing region can be classified by the band mode classification method, and then the sub-sections that need to be offset respectively are It may be determined according to the distribution of the pixels of the lower interval of. The methods will be described in detail below.
  • Figure 3 shows an overall flow diagram of a first kind of pixel processing method in accordance with the present invention. As shown in FIG. 3, the method may include the following process.
  • a spatial position shift operation may be performed for a current encoding processing unit to obtain a current sample offset processing region.
  • the coding processing unit in which the spatial displacement operation is performed includes a prediction unit, a transformation unit, a coding unit, a maximum coding unit, a prediction unit group composed of several neighboring prediction units, a transform unit group composed of several neighboring transformation units, and several neighboring encodings. It may be a coding unit group composed of units or a maximum coding unit group composed of several neighboring maximum coding units.
  • the coding processing unit may be determined according to the settings of the system or the coding standard or may be appropriately selected by the encoder according to the image characteristics and the user requests, and the information of the coding processing unit may be specified in the bitstream.
  • the sample offset processing regions are not limited to the maximum coding units in HEVC, but may have different sizes and shapes according to other requirements and applications.
  • the sample offset processing area does not need to be perfectly aligned with the coding processing unit, thus reducing the complexity of the actual execution. For example, when the coding processing unit is moved to the upper left side, the sample offset processing region may coincide with the region where the deblocking filtering that reduces the complexity of execution is actually performed.
  • the moving direction may be upper left, upper or left and the like.
  • the upper left can mean moving upward and can be specified by the system or basically a specification or can be specified in the bitstream.
  • the current sample offset processing region may be sorted and offset.
  • the existing method can be applied as a classification method and an offset method, and any new classification methods and offset methods, which will be described in detail below, can be provided in the present invention.
  • the maximum coding unit is determined as the coding processing unit and a spatial position shift operation is performed.
  • FIG. 4 shows a flowchart of pixel processing methods according to Embodiments 1 to 4 of the present invention.
  • the flow may include the following process.
  • a spatial movement operation may be performed on an encoding processing unit to determine a current sample offset processing region.
  • the current sample offset processing region may be obtained by moving the current maximum coding unit to the upper left by a distance of N pixels.
  • moving to the upper left by the distance of N pixels may mean moving to the left by the distance of N pixels and then moving to the top by the distance of N pixels, and N may be specified if necessary.
  • N may be four.
  • the sample offset processing regions obtained after the movement operation are shown in FIG. 5, the solid line blocks are the maximum coding units, and the dotted line blocks are the sample offset processing pixel regions.
  • the current sample offset processing pixel region can be obtained directly by moving the maximum coding unit by the distance of four pixels to the top left.
  • block E2 when the region after the moving operation crosses the boundary of the image or slice as shown in block E1; And / or when the area after the move operation is obtained by moving the maximum coding unit from the right boundary or the bottom boundary of the image or slice to the inside of the image or slice, the region is automatically extended to the boundary of the image or slice as shown in block E2.
  • the method may ensure that the number of maximum coding units and the number of sample offset processing regions are the same and one-to-one correspondence.
  • block E2 may be obtained by moving the largest coding unit at the right boundary or the bottom boundary.
  • the same process needs to be performed, which extends the region to the boundary of the image or slice. It may be.
  • the boundary for this process needs to be determined by the direction of movement.
  • step 402 parameters used to process the pixels in the current sample offset processing region may be determined.
  • the parameters may include pixel classification method and offset values.
  • the encoder can determine the classification method and the offset values according to the actual conditions, and can encode the selected parameters into the bitstream.
  • pixels of the current sample offset processing region may be classified.
  • the pixels of the current sample offset processing region may be classified according to the pixel classification method determined in step 402.
  • a possible method for classifying pixels may be an edge mode classification method of the horizontal pattern.
  • 6 shows a schematic diagram of positions of a current pixel and selected neighboring pixels in an edge mode classification method.
  • the sub-drawing a shows the pixel positions in the edge mode classification method of the horizontal pattern in which the current pixel c is compared with the neighboring pixels a and b of the right and left neighbors to obtain a classification result according to Table 1. Show schematic.
  • pixels for processing in the current sample offset processing region may be offset.
  • Offset processing for pixels may be performed by determining a category of pixels as one unit. That is, the same offset value may be added to pixels belonging to the same category according to the classification result of step 403. However, the offset number may be smaller than the number of pixel categories. In this case, only pixels included in some of the pixel categories are offset, and the pixel categories that need to be offset may be specified in the specification or may be specified in the bitstream. Specifically, a possible method for offset processing may add corresponding offset values to pixels belonging to category 1, category 2, category 3, and category 4, and do nothing for pixels belonging to category 0.
  • steps 401 and 402 may be varied.
  • a group of several maximum coding units may be determined as an encoding processing unit, and then a spatial position shift operation may be performed.
  • the flow of a pixel processing method of an embodiment of the present invention may include the following process.
  • a spatial position movement operation may be performed on the coding processing unit to determine a current sample offset processing region.
  • the current sample offset processing region may be obtained by moving a group of several neighboring maximum coding units by a distance of 8 pixels.
  • 7 shows a schematic diagram of sample offset processing regions of the present invention.
  • the solid line blocks may be maximum coding units
  • the dotted line blocks may be sample offset processing regions.
  • Six maximum coding units including three maximum coding units in the horizontal direction and two maximum coding units in the vertical direction may be determined as coding processing units.
  • the coding processing unit may be determined as one unit that is moved upwards by a distance of 8 pixels to obtain a current sample offset processing area.
  • the region after the move operation is obtained by moving the maximum coding unit group inside the image or slice at the bottom boundary of the image or slice, the region may remain unchanged as shown by block E2, In this case, there may be a pixel area between the bottom border of the area after the movement operation and the bottom border of the image or slice in which the sample offset processing is not performed.
  • This method can ensure that the number of pixel regions to be processed and the number of maximum coding unit groups are equal and one-to-one correspond.
  • block E2 may be obtained by moving the largest coding unit group at the bottom boundary of the image or slice.
  • the same processing needs to be performed without being limited to the bottom boundary (ie, expansion).
  • This block is not performed for E2, and sample offset processing need not be performed for the area between the border of the sample offset processing area and the border of the image or slice). And the boundary for this processing needs to be determined by the moving direction.
  • step 402 parameters used to process the pixels of the current sample offset processing region may be determined.
  • the processing of the current step may be the same as the processing of Embodiment 1, and the description thereof will be omitted.
  • pixels of the current sample offset processing region may be classified.
  • the pixels of the current sample offset processing region may be classified according to the pixel classification method determined in step 402.
  • the possible pixel classification method may be an edge mode classification method of a diagonal pattern of a 45 degree angle.
  • the current pixel c may be compared with the neighboring pixel a on the upper left and the adjacent pixel b on the lower right, and the classification result may be obtained according to Table 1.
  • pixels for processing in the current sample offset processing region may be offset.
  • a possible method for adding an offset may be to add corresponding offset values to pixels of category 1, category 2, category 3, and category 4, and do nothing for pixels of category 0.
  • steps 401 and 402 can be varied.
  • the coding unit is determined as the coding processing unit, and the spatial position shifting operation may be performed.
  • the flow of the pixel processing method may include the following process.
  • the current sample offset processing region moves the current coding unit by a distance of 2 pixels to the top left, for example, by a distance of 2 pixels to the left and a distance of 2 pixels to the top. Can be obtained.
  • 8 shows a schematic diagram of sample offset processing regions in one embodiment of the present invention. As shown in FIG. 8, the solid line blocks are coding units, and the dotted line blocks are sample offset processing regions. The current sample offset processing region can be obtained directly by moving the current coding unit by a distance of 2 pixels to the top left, as shown in block E0.
  • encoding and decoding processing for different slices are generally independent of each other, and thus, preferably, in block E1, when the region after the moving operation crosses the boundary of the image or slice, As shown, it can be automatically reduced within the boundaries of the image or slice; And / or when the region after the move operation is obtained by moving the coding unit at the right boundary or the bottom boundary of the image or slice, the region after the move operation is automatically reduced inside the boundary of the image or slice as shown in block E2. Can be. In this way, it can be ensured that the number of sample offset processing regions and the number of coding units correspond one-to-one. In this case, the size of each sample offset processing region may be different.
  • step 402 parameters for processing the pixels in the current sample offset processing region may be determined.
  • the processing in the present step may be the same as the processing in Embodiment 1 and will not be described here.
  • step 403 pixels of the current sample offset processing region may be classified.
  • Pixels in the current offset processing region may be classified according to the pixel classification method determined in step 402.
  • the possible pixel classification method may be a band mode classification method.
  • the possible band mode classification method may include dividing a range of values of pixels uniformly into N subsections and determining a section to which the current pixel belongs according to the value of the current pixel. Assuming that the range of values of the pixels is from 0 to max-1, the range of k ⁇ th sub-sections is from kxmax / N to (k + 1) xmax / N-1.
  • the N value can be specified by the system or specification. For example N may be 16.
  • pixels for processing in the current sample offset processing region may be offset.
  • an offset value may be added to the pixels of the sub-section corresponding to the offset. In this way, N offset values need to be transmitted in the bitstream.
  • steps 401 and 402 can be varied.
  • a group of several maximum coding units may be determined as a coding processing unit, and then a spatial position shifting operation may be performed.
  • the flow of the pixel processing method may include the following process.
  • a spatial position shift operation may be performed on an encoding processing unit to determine a current sample offset processing region.
  • the current sample offset processing region may be obtained by moving a maximum coding unit group consisting of two neighboring maximum coding units to the left by a distance of 16 pixels in the horizontal direction.
  • 9 shows a schematic diagram of sample offset processing regions in Example 4.
  • the solid line blocks may be maximum coding units
  • the dotted line blocks may be sample coding process pixel regions.
  • E0 the current sample offset processing pixel region can be obtained directly by moving the two largest coding units to the left by a distance of 16 pixels.
  • the general encoding and decoding processing for different slices can be independent of each other, so preferably, in block E1, if the area after the moving operation crosses the boundary of the image or slice, As shown, it will automatically shrink inside the boundaries of the image or slice; And / or the area after the moving operation may be obtained by moving the maximum coding unit group at the right boundary of the image or slice to move inward of the image or slice.
  • the pixel area between the right border of the area after the movement operation and the right border of the slice is determined as an independent sample offset processing area in which sample offset processing is performed, as shown in block E3. The method can ensure that all pixels of the image can be processed.
  • the moving direction and moving distance of the current sample offset processing region need to be decoded in the bitstream.
  • parameters used to process the pixels of the current sample offset processing region may be determined.
  • the processing in the present step may be the same as the processing in Embodiment 1, and will not be described herein.
  • step 403 pixels of the current sample offset processing region may be classified.
  • the pixels of the current sample offset processing region may be classified according to the pixel classification method determined in step 402.
  • the possible pixel classification method may be a band mode classification method.
  • a possible band mode classification method may include uniformly dividing a range of values of pixels into 32 sub-sections and determining a section to which the current pixel belongs according to the value of the current pixel. Assuming that the range of values of the pixels is from 0 to max-1, the range of k ⁇ th sub-sections is kxmax / 32 to (k + 1) xmax / 32-1. If the value of the current pixel is greater than or equal to kxmax / 32 and less than or equal to (k + 1) xmax / 32-1, then the current pixel may belong to a sub-section k, for example category k.
  • pixels for processing in the current sample offset processing region may be offset.
  • a possible method for offset processing may be the step of first determining a subsection that needs to be offset and then adding an offset value corresponding to the offset subsection to the pixels of the subsection. .
  • a possible method for determining the offset subsections may classify the 32 subsections obtained in step 403 into center subsections and neighboring subsections, the center subsections being the eighth subsection. - May include a 23rd sub-section, the neighboring sub-sections may include the 0th sub-section to the 7th sub-section, and the 24th sub-section to the 31st sub-section, and the center subsection.
  • One of the sections or neighboring sections may be selected as offset subsections.
  • An indication that indicates whether the center subsections or neighboring sections are selected as offset subsections may be specified in the bitstream.
  • the encoder can select the offset subsections according to encoding performance or cost.
  • steps 401 and 402 can be varied.
  • a spatial position shift operation may be performed on the coding processing unit to obtain a sample offset processing region.
  • Various spatial position shift methods, pixel classification methods, and pixel offset methods may be arbitrarily combined, and the above embodiments are described by way of example only and do not limit the method of combination.
  • the shifting operation may not actually be performed in some cases for simplicity, as shown in the fifth embodiment.
  • the size of the coding processing unit may be extended to avoid the complexity caused by executing the sample offset processing after the deblocking filtering.
  • FIG. 10 shows a detailed flowchart of the pixel processing method of Embodiment 5. As shown in FIG. 10, the method may include the following process.
  • step 1001 the whole slice or the whole image may be determined as the current sample offset processing area.
  • the current sample offset processing region may be an entire slice or an entire image, and no movement operation may be performed.
  • the entire slice may be determined as the current offset processing region.
  • 11 shows a schematic diagram of sample offset processing regions. As shown in FIG. 11, the current sample offset processing region may be viewed as E0 which is the whole of slice 2. FIG. In this kind of sample offset processing region determination method, the size and shape of each region determined may be different depending on how the current image is divided into slices as shown by E1, E2 and E0. Therefore, when one slice is determined as the sample offset processing region, the problem caused by the mismatch of the deblocking filtering region and the sample offset processing region will no longer exist.
  • step 1002 parameters used to process the pixels of the current sample offset processing region may be determined.
  • the processing in the present step may be the same as the processing in Embodiment 1, and will not be described herein.
  • step 1003 the pixels of the current sample offset processing region may be classified.
  • Pixels of the current offset processing region may be classified according to the pixel classification method determined in step 1002.
  • the possible pixel classification method may be an edge mode classification method of any pattern.
  • the current pixel c can be compared with neighbor pixel a, neighbor pixel b, neighbor pixel d and neighbor pixel e.
  • the current pixel c belongs to category 1 Can be; If the value of c is less than the value of a, the value of c is less than the value of b, the value of c is less than the value of d, and the value of c is less than the value of e, then the current pixel c belongs to category 1 Can be; If the value of c is less than the value of a, the value of c is less than the value of b, the value of c is less than the value of d, and the value of c is less than the value of e, then the current pixel c will belong to category 2 Can be; Otherwise, current pixel c may belong to category 3.
  • pixels for processing in the current sample offset processing region may be offset.
  • a possible method for offset processing is: the absolute value of the offset is subtracted from the pixels belonging to category 1; The absolute value of the offset is added to the pixels belonging to category 2; No processing may be performed for pixels belonging to category 3.
  • this kind of offset method only the absolute values of the offsets need to be transmitted in the bitstream.
  • steps 1001 and 1002 can be varied.
  • FIG. 12 shows a schematic diagram of a second kind of flow of the pixel processing method of the present invention. As shown in FIG. 12, the method may include the following process.
  • a current sample offset processing region may be determined.
  • the size and shape of the current sample offset processing region may be determined according to actual needs, and may be specified in the bitstream as sample offset processing region information.
  • the current sample offset processing region may be determined according to the sample offset processing region information decoded from the bitstream.
  • the size and shape of the sample offset processing region are specified in the bit strem, it can be completely explained by the sample offset processing region information transmitted in the bitstream.
  • the possible size and shape of the sample offset treatment area can be predefined and aligned accordingly;
  • the corresponding index may be transmitted in the bitstream.
  • the parameters used to process the pixels of the current sample offset processing region may be determined.
  • the processing of the current step may be the same as the processing of Embodiment 1, and will not be described herein.
  • step 1203 the pixels of the current sample offset processing region may be classified.
  • the current step may use the methods of Examples 1-5 and will not be described.
  • pixels for processing in the current sample offset processing region may be offset.
  • the current step may use the methods of Examples 1-5 and will not be described.
  • steps 1201 and 1202 can be varied.
  • FIG. 12 The detailed flow of the pixel processing method of the present invention is described by FIG. As shown in FIG. 12, the method may include the following process.
  • a current sample offset processing region may be determined.
  • the possible method of step 1201 is that the encoder transmits the size and region information of the current sample offset processing region in the bitstream, and the decoder can determine the current sample offset processing region according to the bitstream.
  • Figure 13 shows a schematic diagram of sample offset processing regions in one embodiment of the present invention.
  • the current sample offset processing region may be a square region of N ⁇ N pixels, eg, E0; Or rectangular areas of N ⁇ M pixels, for example E1, E2 and E3, or other shapes, for example E4.
  • the start point of each sample offset processing region may be determined according to the end point of the most recent region or information about the start point may be transmitted on the bitstream.
  • the parameters used to process the pixels of the current sample offset processing region may be determined.
  • the processing of the current step is the same as the processing of Embodiment 1, and will not be described here.
  • pixels of the current sample offset processing region may be classified.
  • a possible pixel classification method is a band mode classification method.
  • the possible band mode classification method may include dividing a range of values of pixels into 32 subsections and determining a subsection to which the current pixel belongs according to the value of the current pixel. Assuming that the range of values of the pixels is from 0 to max-1, the range of k ⁇ th sub-sections is kxmax / 32 to (k + 1) xmax / 32-1. If the value of the current pixel is greater than or equal to kxmax / 32 and less than or equal to (k + 1) xmax / 32-1, then the current pixel may belong to a sub-section k, for example category k.
  • pixels for processing in the current sample offset processing region may be offset.
  • a possible method for offset processing may include first determining the subsections that need to be offset and adding an offset value corresponding to the offset subsection to the pixels of the subsection.
  • a possible method for determining offset subsections is to first determine a starting subsection and then to determine N consecutive subsections starting at the starting subsection as offset subsections. Can be. After the offset subsections have been determined, the offset values may be added to the pixels of the corresponding offset subsections.
  • the start offset subsection may be specified in the bitstream. In this offset method, the bitstream needs to send the index of the N offset values and the start offset sub-section.
  • steps 1201 and 1202 can be varied.
  • FIG. 12 shows a detailed flow of a pixel processing method of an embodiment of the present invention. As shown in FIG. 12, the method may include the following process.
  • a current sample offset processing region may be determined.
  • a possible method of determining the current sample offset processing region in step 1201 may be that the encoder transmits an index of the size and shape information of the current sample offset processing region in the bitstream to the decoder.
  • the encoder and the decoder may preset various region classification methods for dividing the coding processing unit into at least one sample offset processing regions, and thus may assign an index to each region division method. The index of the region segmentation method selected by the encoder will be transmitted in the bitstream.
  • the coding processing unit may be the same as the coding processing unit of the first kind of the pixel processing method, the prediction unit, the prediction unit group composed of several neighboring prediction units, the transformation unit, and the transformation unit group composed of several neighboring transformation units , A coding unit, a coding unit group composed of several neighboring coding units, a maximum coding unit, and a maximum coding unit group composed of several maximum coding units.
  • the coding processing unit used for division of the region may be preset by the system or the standard, or transmitted in the bitstream.
  • 14 shows a schematic diagram of sample offset processing regions of the present invention. As an embodiment in FIG. 14, a maximum coding unit may be determined as a coding processing unit, and a sample offset processing region may be obtained by dividing the maximum coding unit.
  • the index in the bitstream may indicate that the current sample offset processing region is the largest maximum coding unit;
  • the index value may indicate that the maximum coding unit is equally divided into the upper sample offset processing region and the lower sample offset processing region;
  • the index value is 2 or 3, it may indicate that the maximum coding unit is not equally divided into the upper sample offset processing region and the lower sample offset processing region and is horizontally divided;
  • the index value is 4, 5 or 6, it may indicate that the maximum coding unit is vertically divided into two identical or unequal sample offset processing regions on the left and right sides;
  • the maximum coding unit may indicate splitting into four sample offset processing regions.
  • each sample offset unit may be different.
  • step 1202 the parameters used to process the pixel in the current sample offset processing region may be determined.
  • the processing of the current step is the same as the processing of Embodiment 1, and will not be described here.
  • pixels of the current sample offset processing region may be classified.
  • a possible pixel classification method is a band mode classification method.
  • the possible band mode classification method may be a step of uniformly dividing a range of values of pixels into N subsections and determining a section to which the current pixel belongs according to the value of the current pixel. Details of the division may be specified by system or specification. The range may be divided into N subsections uniformly or may be divided non-uniformly. If non-uniform splitting is adopted, the start pixel and end pixel of each sub-section may be specified by the system or specification.
  • pixels for processing in the current sample offset processing region may be offset.
  • the possible methods for offset processing may be the steps of first determining the subsections that need to be offset and adding an offset value corresponding to the offset subsection to the pixels of the subsection.
  • a possible way to determine the offset subsections may be to specify the subsections for which the encoder needs to be offset directly in the bitstream. After the offset subsections have been determined, the offsets are added to the pixels of the corresponding offset subsections. In this offset method, the bitstream needs to send M offset values and M offset subsection intervals, where M can be a preset positive integer.
  • steps 1201 and 1202 can be varied.
  • the processing may be two detailed implementations of the pixel processing method provided in the present invention. In this way, a more flexible sample offset processing region can be obtained.
  • the sample offset processing region is not limited to the maximum coding unit to be applied to other applications.
  • the sample offset processing region obtained by moving the coding processing unit to the upper left side may coincide with the actual deblocking filtering region, which avoids implementation complexity caused by mismatch with the actual deblocking filtering region.
  • the present invention determines the sub-sections that the decoder needs to offset directly according to the pixels of all the sub-sections after classification or sub-sections that need to be offset. Can be determined directly according to pixels and other information of all subsections after classification. In this way, less information of offset subsections is transmitted in the bitstream, thus bit rates are saved and coding performance can be improved.
  • a new offset method corresponding to the band mode classification method may be provided.
  • a new offset method can be provided while the method of determining the sample offset area is not limited, and any method before the present invention or the methods mentioned in the present invention can be used.
  • the encoder and decoder may first determine the sub-sections that need to be offset according to the pixels of each sub-section after classification, and then perform an offset operation. In this way, less information of the offset subsections can be transmitted in the bitstream. In particular, not all information of the offset subsections may be transmitted.
  • Three kinds of methods will be described by using the following two embodiments.
  • FIG. 15 shows a basic flow diagram of an embodiment of the invention. As shown in FIG. 15, the flow includes the following process.
  • a current sample offset processing region may be determined.
  • Embodiments 1-7 may be used, and methods of existing techniques that will not be described herein may also be used.
  • step 1502 parameters used to process the pixels of the current sample offset processing region may be determined.
  • the parameters may include pixel classification method and offset values.
  • the encoder can select the pixel classification method and offset values according to actual needs and can specify corresponding adoption parameters in the bitstream.
  • the decoder may decode the corresponding classification method and offset values from the bitstream.
  • pixels of the current sample offset processing region may be classified according to the band mode classification method.
  • the pixels of the current sample offset processing region may be classified according to the pixel classification method determined in step 1502. And this is a band mode classification method.
  • the possible band mode classification method may be dividing a range of values of pixels into N subsections and determining a sub-section to which the current pixel belongs according to the value of the current pixels. Assuming that the range of values of the pixels is from 0 to max-1, the range of k ⁇ th sub-sections is from kxmax / N to (k + 1) xmax / N-1.
  • the current pixel may belong to a sub-section k, for example category k.
  • step 1504 the subsections that need to be offset are determined according to the pixels of each subsection after the classification, and the pixels of the subsections that need to be offset are offset.
  • a possible method includes selecting four subsections including the most pixels of N subsections as subsections that need to be offset, an offset corresponding to the pixels of the four subsections. Adding values and keeping the pixels unchanged. In this way, only four offset values need to be transmitted in the bitstream, and information of offset subsections need not be transmitted.
  • steps 1501 and 1502 can be varied.
  • FIG. 15 illustrates the basic flow of an embodiment of the present invention. As shown in FIG. 15, the method of the embodiment of the present invention may include the following process.
  • step 1501 the current sample offset processing region may be determined.
  • Embodiments 1-7 may be used, and other methods of existing techniques, which will not be described herein, may be used.
  • step 1502 parameters used to process the pixels of the current sample offset processing region may be determined.
  • the parameters may include pixel classification method and offset values.
  • the encoder can select the pixel classification method and offset values according to actual needs and can specify corresponding adoption parameters in the bitstream.
  • the decoder may decode the corresponding classification method and offset values from the bitstream.
  • pixels of the current sample offset processing region may be classified according to the band mode classification method.
  • the pixels of the current sample offset processing region may be classified according to the pixel classification method determined in step 1502. And this is a band mode classification method.
  • the possible band mode classification method may be dividing a range of values of pixels into N subsections and determining a sub-section to which the current pixel belongs according to the value of the current pixels.
  • the range can be divided uniformly or unevenly into N subsections and the partitioning method adopted can be specified in the system or specification.
  • step 1504 the subsections that need to be offset are determined according to the pixels of each subsection after the classification, and the pixels of the subsections that need to be offset are offset.
  • a possible method may include determining the subsections that need to be offset according to the pixels of the N subsections after sorting.
  • the method used in an embodiment of the present invention comprises the steps of selecting a sub-section L containing the most pixels from N subsections, determining offset subsections according to Table 3, the bitstream. Transmitting an indication indicative of the offset subsections, offsetting the pixels of the offset subsections, and keeping the remaining pixels unchanged. In this way, the information of the offset sub-section is transmitted in the bitstream, but the number of the information only bits is drastically reduced.
  • steps 1501 and 1502 can be varied.
  • the present invention also provides three kinds of pixel processing apparatus for implementing three kinds of pixel processing methods of the present invention.
  • the detailed structures of the three kinds of pixel processing apparatuses are basically the same, but the functions of some modules are different.
  • Figure 16 shows a schematic diagram of the basic structure of the device. As shown in Fig. 16, the apparatus includes a processing area determiner 1601, a classification and offset information acquisition unit 1602, a classification unit 1603, and an offset unit 1604.
  • the processing region determiner 1601 determines the current sample offset processing according to the specifications and / or the specifications in the bitstream.
  • the classification and offset information acquisition unit 1602 determines the information that needs to classify and offset the pixels of the current sample offset region. Specifically, in the decoder, the classification and offset information obtaining unit 1602 obtains pixel classification information and offset information from the bitstream; In the encoder, pixel classification information and offset information can be determined according to actual needs. Preferably, the encoder can calculate the ratio-distortion cost and offset values according to the values of the reconstructed pixels of the current sample offset processing region and the values of the original pixels to select a pixel classification method.
  • the classifying unit 1603 classifies the pixels of the current offset processing region.
  • the classification unit 1603 classifies the pixels of the area determined by the processing area determination unit 1601 according to the classification information obtained by the classification and offset information acquisition unit 1602. More specifically, values of pixels (including pixels of the current area and neighboring pixels) that need to be classified in a specific classification method are first obtained and a classification operation is performed according to the classification method.
  • the offset unit 1604 is used to offset the pixels to be processed in the current sample offset processing area.
  • the offset unit 1604 may process the processing region determiner 1601 according to the classification information obtained by the offset information obtainer 1602 and the classification result obtained by the classification unit 1603 to obtain processed pixel values. Perform an offset operation for the pixels in the area determined by.
  • the processing region determiner 1601 performs a spatial position shifting operation for preset coding processing units and moves. The area after the operation is determined as the current sample offset processing area;
  • the processing region determiner 1601 determines the current sample offset processing region according to the region information transmitted in the bitstream.
  • any methods for the current sample offset processing region can be adopted, and no specification is made in the present invention.
  • the classifying unit 1630 and the offset unit 1604 execute the sorting operation and the offset operation in the third type of the pixel processing method.
  • the classification unit 1603 performs a classification operation according to the band mode classification method;
  • the offset unit 1604 determines M subsections that need to be offset according to the pixels of the current sample offset processing region, and performs an offset operation for the pixels of the M subsections.
  • the offset unit 1604 can be further used to determine the M sub-sections that need to be offset in accordance with the pixels included in the respective sub-sections after sorting.
  • the M subsections that contain the most pixels of all subsections after sorting may be selected as M subsections that require an offset.
  • the offset unit 1604 may be further used to determine the M subsections that need to be offset according to offset sub-section selection information specified in the bitstream and pixels included in each sub-section after classification. have.
  • the sub-sections that need to be offset may be determined according to the sub-section including the most pixels of all sub-sections after sorting and the offset sub-section selection information specified in the bitstream.
  • the third kind of the pixel processing method of the present invention can save bitrate and improve coding performance, compared with existing techniques.
  • the sample offset processing regions may be hot and elastic.
  • the sample offset processing regions may be prediction units, prediction unit groups, transform units, transform unit groups, coding units, coding unit groups, maximum coding units, maximum coding unit groups, slices or images, or shifted prediction units, shifted predictions. It may be a unit group, a shifted transform unit, a shifted transform unit group, a shifted coding unit, a shifted coding unit group, a shifted maximum coding unit, a shifted maximum coding unit group, or an arbitrary region.
  • the present invention fully takes into account boundary problems of an image or slice. For example, if the sample offset processing region crosses the boundaries of the image or slice, it will automatically be shrunk into the image or slice; For areas not covered by any sample offset processing area, merge them into adjacent sample offset processing areas, e.g., sample offset processing obtained by moving the coding processing unit inside the image or slice at the boundary of the image or slice.
  • the area may be extended to the boundaries of the image or slice or the sample offset processing area may constitute a new processing area or pixels of the sample offset processing area are not processed.
  • the right boundary pixels and the bottom boundary pixels of the current block are not filtered during the filtering process of the current block.
  • the region obtained by moving the various pixels of the current block to the upper left side can be determined as the current sample offset processing region that matches the deblocking filtering region of the current block. This can greatly reduce the complexity of the implementation, while useful for improving the coding performance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 비디오 부호화 및 복호화에서의 픽셀을 처리하는 방법으로서, 현재의 샘플 오프셋 처리 영역을 결정하는 단계 및 현재의 샘플 오프셋 처리 영역의 픽셀들에 분류 및 오프셋 동작들을 수행하는 단계를 포함하며, 현재 샘플 오프셋 처리 영역을 결정하는 단계는 미리 결정된 부호화 처리 단위에 공간적 위치 이동 동작을 수행하는 단계 및 공간적 위치 이동 동작 후의 영역을 현재의 샘플 오프셋 처리 영역으로서 결정하는 단계를 포함하는 픽셀 처리 방법이 개시된다. 본 발명을 사용함으로써, 샘플 오프셋 처리 영역들은 유연하게 획득될 수 있고 부호화 성능이 개선될 수 있다.

Description

비디오 부호화 및 복호화에서의 픽셀 프로세싱 방법 및 장치
본 발명은 비디오 부호화 및 복호화, 특히 비디오 부호화 및 복호화 에서의 픽셀 프로세싱 방법 및 장치와 관련된다.
국제적 비디오 부호화 표준-고효율 비디오 부호화(High Efficiency Video Coding, 이하 HEVC)은 복원된 픽셀들과 원래의 픽셀들 간의 왜곡을 줄이기 위한 샘플 적응적 오프셋 기술(a sample adaptive offset technology)가 적용된다. 기술에서, 특정 영역의 픽셀들은 카테고리 별로 분류되고, 특정 오프셋 값이 픽셀에 부가된다. 이러한 특정 영역에서의 픽셀들의 분류 및 오프셋 값의 부가 프로세스는 인코더 및 디코더 모두에서 수행될 필요가 있다. 게다가, 인코더는 적용된 분류 방법 및 비트스트림(bit-stream)상에서의 다른 카테고리의 픽셀들에 부가되는 오프셋 값들의 정보를 전송할 필요가 있으나, 각각의 카테고리에 포함된 픽셀들의 정보를 전송할 필요는 없다. 디코더는 현재의 분류 방법을 획득한 후, 인코더에 의해 획득되는 것과 동일한 분류 결과를 얻기 위해, 인코더에 의해 현재의 특정 영역에서의 픽셀들을 분리하기 위해 사용되는 방법과 동일한 분류 방법을 사용할 것이다. 다음으로, 픽셀들은 픽셀들의 카테고리들 및 비트스트림에서 전송되는 오프셋 값에 따라 오프셋 된다. 픽셀 분류 방법에는 에지(edge) 모드 및 밴드(band) 모드인 두 개의 모드가 있다.
에지 모드에서, 하나의 현재의 픽셀의 값이 현재의 픽셀의 이웃 픽셀들의 값들과 비교되고, 현재의 픽셀의 카테고리는 비교 결과에 따라 결정된다. 이미지에서, 한 픽셀은 여러 이웃 픽셀들을 가진다. 그러나, 실제적으로, 이웃 픽셀들 중 오직 한 부분만 비교를 위해 선택된다. 다른 이웃 픽셀들이 선택되는 경우, 다른 분류 결과가 얻어질 것이다. 따라서, 에지 모드 분류 방법에서는 비교를 위한 이웃 픽셀들의 특정의 선택에 대응하는 여러 가지 다른 픽셀 분류 하위 방법이 있다. 도 1에서처럼, HEVC는 4가지 종류의 이웃 픽셀 선택 방법들을 채택한다. 도면에서, c는 현재의 픽셀을 나타내고, a 및 b는 선택된 이웃 픽셀들을 나타낸다. 표 1은 에지 모드에서의 분류 조건을 보여준다. 표 1에서 보듯이, c가 a보다 작고, c가 b보다 작은 경우, c는 카테고리 1에 속하고; c가 a보다 작고 c가 b와 같거나 c가 b보다 작고 c가 a와 같은 경우, c는 카테고리 2에 속하고; c가 a보다 크고 c가 b와 같거나 c가 b보다 크고 c가 a와 같은 경우, c는 카테고리 3에 속하고; c가 a보다 크고 c가 b보다 큰 경우, c는 카테고리 4에 속하고; c가 상기 4가지 조건을 만족하지 못하는 경우, c는 카테고리 0에 속한다.
표 1
Figure PCTKR2014012287-appb-T000001
밴드 모드에서, 현재 픽셀은 현재의 픽셀에 대한 값에 따라 직접적으로 분류된다. 밴드 모드에서, 픽셀 값들의 전체 범위는 여러 하위-구간(HEVC에서 명명된 밴드들)으로 나눠지고, 현재의 픽셀이 위치하는 하위-구간의 인덱스(index)는 현재의 픽셀에 대한 카테고리 번호이다. 표 2에서 보듯이, HEVC에서 8비트의 비디오 시퀀스를 위해, 픽셀 값들의 범위 0~255가 서브-인터벌 각각의 길이가 8인 32개의 하위-구간으로 균일하게 나눠지고, 현재의 픽셀의 카테고리는 현재의 픽셀의 값에 따라 직접적으로 결정된다.
표 2
Figure PCTKR2014012287-appb-T000002
픽셀 분류 결과가 획득된 후, 현재의 픽셀은 현재의 픽셀의 카테고리에 따라 오프셋 된다. 본 문서에서 오프셋 된다는 것은 오프셋 값을 더한다는 의미로 이해될 수 있다. 동일한 오프셋이 동일 카테고리의 픽셀들에 부가된다. 에지 모드에서, 비트스트림에서 전송되는 오프셋 값들은 픽셀 값 처리를 위해 카테고리 1, 카테고리 2, 카테고리 3 및 카테고리 4의 픽셀들에 부가되고, 카테고리 0의 픽셀들은 오프셋 값이 부가되지 않는다. 따라서, 카테고리 0의 픽셀들의 값들은 변화되지 않은 상태로 유지된다. 밴드 모드에서, 인코더는 4개의 연속적인 오프셋 하위-구간들을 지정하고, 처리된 픽셀 값들을 얻기 위해 4개의 연속적인 오프셋 하위-구간들의 픽셀들에 오프셋 값들을 부가한다. 그리고, 다른 하위-구간들의 픽셀들을 위해, 처리된 픽셀 값들은 변화되지 않은 상태로 유지된다.
이러한 기술이 적용된 경우, 비트스트림에서 전송될 필요가 있는 정보는 분류 정보 및 오프셋 정보를 포함한다. 분류 정보는 에지 모드 또는 밴드 모드가 적용된 것인지 나타내기 위한 표시 및 에지 모드가 적용된 경우 분류 하위-방법이 사용되었는지 나타내기 위한 표시를 포함하고; 오프셋 정보는 에지 모드가 적용된 경우 4개의 오프셋 값을 포함하거나 또는 밴드 모드가 적용된 경우 4개의 오프셋 값 및 시작 오프셋 하위-구간을 나타내기 위한 표시를 포함한다.
현재 작성되고 있는 AVS2 또한 상기 언급된 샘플 적응적 오프셋 기술을 적용하지만, HEVC에서의 세밀한 점에서 차이가 있다.
샘플 적응적 오프셋 기술에서, 지정된 영역의 픽셀들은 분류 및 오프셋 동작을 수행하기 위해 처리 단위으로서 결정된다. HEVC에서 가장 큰 부호화 단위가 처리 단위로서 결정되고, 차례대로 처리된다. 이는, 디코더가 비트스트림의 샘플 적응적 오프셋 정보에 대한 제1 그룹에 따라 제1 최대 부호화 단위에서 픽셀들을 처음으로 처리되고, 비트스트림의 샘플 적응적 오프셋 정보에 대한 제2 그룹에 따라 제2 최대 부호화 단위에서 픽셀들이 처리되고, 마지막 최대 부호화 단위까지 처리가 계속된다. 이러한 방법으로, 샘플 적응적 오프셋 처리에 의해 각각의 시간마다 처리되는 처리 단위의 경계는 최대 부호화 단위에 대한 경계에 맞게 조정된다.
그러나, 비디오 부호화 및 복호화 처리에서, 샘플 적응적 오프셋 처리는 디블로킹 필터링(deblocking filtering) 후에 수행된다. 디블로킹 필터링은 두 개의 이웃 부호화 처리 블록들의 경계에서 픽셀들을 처리하는 기술이고, 두 개의 블록들의 경계의 양쪽 측면 상에서 픽셀들의 복원된 값들이 얻어질 때까지 수행될 수 없다. 따라서, 현재의 부호화 처리 블록의 복원이 완료된 경우, 디블로킹 필터는 현재의 부호화 처리 블록의 상단 경계의 픽셀들 및 좌측 경계의 픽셀들만을 처리할 수 있으나, 현재의 부호화 처리 블록의 우측 이웃 부호화 처리 블록 및 하단 이웃 부호화 처리 블록의 복원이 아직 완료되지 않았기 때문에, 현재의 부호화 처리 블록의 하단 경계의 픽셀들 및 우측 경계의 픽셀들은 처리할 수 없다. 따라서, 실제적 디블로킹 필터링 처리에서, 현재의 부호화 처리 블록의 복원이 완료된 경우, 디블록킹 필터는 현재의 부호화 처리 블록의 상단 경계의 픽셀 및 좌측 경계의 픽셀들뿐만 아니라, 좌측 이웃 부호화 처리 블록의 우측 경계 상의 픽셀들 및 상단 이웃 부호화 처리 블록의 하단 경계 상의 픽셀들을 처리한다.
앞서 언급한 현재의 부호화 처리 블록의 복원이 완료된 경우처럼, 디블록킹 필터링은 현재의 부호화 처리 블록의 하단 경계 상의 픽셀들 및 우측 경계 상의 픽셀들을 위해 수행될 수 없다. 샘플 적응적 오프셋 처리가 디블록킹 필터링 후에 수행되기 때문에, 샘플 적응적 오프셋 처리는 어떠한 픽셀들을 위해서도 수행될 수 없다. 따라서, 디블록킹 필터링의 효과에 따라, 샘플 적응적 오프셋 처리가 실제적으로 수행되는 픽셀 영역은 부호화 처리 블록과 정렬되지 않는 경향이 있다. 예를 들면, 도 2에서 보듯이, 블록 A, 블록 B, 블록 C 및 블록 D는 부호화 단위들이고, 블록 D가 현재의 부호화 단위다. 블록 D가 복원된 경우 블록 D의 하단 경계 상의 픽셀들 및 우측 경계 상의 픽셀들을 위해 샘플 적응적 오프셋 처리가 수행될 수 없기 때문에, 현재의 샘플 적응적 오프셋 처리가 진행되는 영역은 도 2에서 점선으로 보여지는 블록 E이다. 명백하게, 블록 E는 블록 D와 정렬되지 않지만, 블록 A, 블록 B, 블록 C 및 블록 D와 중첩된다. 중첩된 영역들은 하위-블록 a, 하위-블록 b, 하위-블록 c 및 하위-블록 d이다. HEVC 표준에서, 최대 부호화 단위가 샘플 적응적 오프셋 처리 단위로서 결정된다. 이는, 블록 A, 블록 B, 블록 C 및 블록 D가 다른 최대 코딩 단위들에 속하는 경우, 다른 샘플 적응적 오프셋 파라미터들을 가질 수 있다(샘플 적응적 오프셋 파라미터들은 분류 방법들 및 오프셋 값들을 포함한다). 이는, 하위-블록 a, 하위-블록 b, 하위-블록 c 및 하위-블록 d는 다른 샘플 적응적 오프셋 처리 파라미터들을 가질 수 있고, 다르게 처리될 필요가 있다. 이는 코덱의 처리 복잡함을 증가시킨다. 한편, 블록 D의 우측 경계 상의 픽셀들 및 하단 경계상의 픽셀들의 값들이 아직 디블로킹 필터링이 되지 않았기 때문에, 인코더는 부호화 성능 저하를 일으키는 이러한 픽셀들을 처리하기 위한 최적의 샘플 적응적 오프셋 파라미터들을 명확히 예측할 수가 없다.
게다가, 다른 특성을 가지는 이미지 영역들은 샘플 적응적 오프셋 처리 단위에 대한 다른 요구를 가질 수 있다. 예를 들면, 편평한 이미지 영역을 위해, 샘플 적응적 오프셋 처리가 큰 영역에서 수행될 필요가 있고; 급격하게 픽셀들의 값이 변화하는 영역을 위해, 샘플 적응적 오프셋 처리가 작은 영역에서 수행될 필요가 있다. HEVC의 샘플 적응적 오프셋 처리에서, 입력 이미지의 특성이 고려되지 않은 반면, 최대 부호화 단위는 항상 샘플 적응적 오프셋 처리 단위로서 결정되기 때문에 처리가 유연하지 않다.
한편, 현재 HEVC에서는, 밴드 모드가 적용된 경우, 시작 오프셋 하위-구간의 정보가 비트스트림에서 전송될 필요가 있고, 그 후 시작 오프셋 하위-구간으로 시작하는 4개의 하위-구간을 위해 오프셋 동작이 수행된다.
본 발명은 처리 과정에서 이미지를 유연하게 샘플 오프셋 처리 영역으로 분할함으로써 코딩 성능을 개선하고 구현의 복잡성을 줄일 수 있는 비디오 부호화 및 복호화 픽셀 처리 방법 및 장치를 제공하기 위한 발명이다.
이러한 과제를 해결하기 위해 본 발명의 일 실시예에 따른 비디오 부호화 및 복호화 픽셀 처리 방법은 미리 설정된 부호화 처리 단위를 위한 공간적 위치 이동 동작을 수행하고, 공간적 위치 이동 동작을 수행 후 영역을 현재의 샘플 오프셋 처리 영역으로서 결정하는 단계 및 현재의 샘플 오프셋 처리 영역의 픽셀들을 위해 분류 및 오프셋 동작들을 수행하는 단계를 포함할 수 있다.
과제를 해결하기 위한 본 발명의 다른 일 실시예에 따른 비디오 부호화 및 복호화 픽셀 처리 방법은, 현재의 샘플 오프셋 처리 영역을 결정하는 단계 및 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 분류 및 오프셋 동작들을 수행하는 단계를 포함할 수 있다.
과제를 해결하기 위한 본 발명의 또 다른 일 실시예에 따른 비디오 코딩 및 디코딩에서의 픽셀 처리 방법은, 현재의 샘플 오프셋 처리 영역을 결정하는 단계 및 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 분류 및 오프셋 동작들을 수행하는 단계를 포함할 수 있고, 상기 픽셀들을 위한 분류 동작을 수행하는 단계는, 픽셀들의 값들의 범위를 N 하위-구간들로 나누는 단계 및 현재의 픽셀의 값이 위치하는 k 하위-구간에 대응하는 카테고리로 현재의 픽셀을 분류하는 단계를 포함할 수 있고, 상기 N은 미리 설정된 양의 정수이고 k는 하위-구간의 인덱스인 것을 특징으로 할 수 있고; 픽셀들을 위한 오프셋 동작을 수행하는 단계는, 현재의 샘플 오프셋 처리 영역의 픽셀들에 따라 오프셋 될 필요가 있는 M-하위 구간들을 결정하는 단계 및 M 오프셋 하위-구간들의 픽셀들을 오프셋 하는 단계를 포함할 수 있다.
본 발명에 의해 제안된 새로운 오프셋 방법을 이용함으로써 비트 전송률(bit rates)이 절약되고 부호화 성능이 개선된다.
도 1은 HEVC의 에지 모드에서의 비교를 위해 현재의 픽셀 및 선택된 이웃 픽셀들의 위치들의 개략도를 도시한다.
도 2는 샘플 오프셋 처리가 실제적으로 수행된 영역과 현재의 부호화 단위 간의 위치 관계에 대한 개략도를 도시한다.
도 3은 본 발명에 따라 픽셀 처리 방법의 제1 종류의 기본적 흐름도를 도시한다.
도 4는 실시예 1 내지 실시예 4의 픽셀 처리 방법들의 상세 흐름도를 도시한다.
도 5는 실시예 1에서의 샘플 오프셋 처리가 수행되는 영역의 개략도를 도시한 것이다.
도 6은 에지 모드 분류 방법에서 현재의 픽셀 및 선택된 이웃 픽셀들의 위치의 개략도를 도시한다.
도 7은 실시예 2에서의 샘플 오프셋 처리 영역들의 개략도를 도시한다.
도 8은 실시예 3에서의 샘플 오프셋 처리 영역들의 개략도를 도시한다.
도 9는 실시예 4에서의 샘플 오프셋 처리 영역들의 개략도를 도시한다.
도 10은 도 5에서의 픽셀 처리 방법의 흐름도를 도시한다.
도 11은 실시예 5에서의 샘플 오프셋 처리 영역들의 개략도를 도시한다.
도 12는 본 발명에 따라 픽셀 처리 방법의 제2 종류의 기본적 흐름의 개략도를 도시한다.
도 13은 실시예 6에서의 샘플 오프셋 처리 영역들의 개략도를 도시한다.
도 14는 실시예 7에서의 샘플 오프셋 처리 영역들의 개략도를 도시한다.
도 15는 본 발명의 실시예 8 및 실시예 9에서의 픽셀 처리 방법들의 기본적 흐름의 개략도를 도시한다.
도 16은 본 발명에 따라 픽셀 처리 장치의 기본적 구성의 개략도를 도시한다.
본 발명의 일 실시예로서, 비디오 부호화 및 복호화 픽셀 처리 방법은 미리 설정된 부호화 처리 단위를 위한 공간적 위치 이동 동작을 수행하고, 공간적 위치 이동 동작을 수행 후 영역을 현재의 샘플 오프셋 처리 영역으로서 결정하는 단계 및 현재의 샘플 오프셋 처리 영역의 픽셀들을 위해 분류 및 오프셋 동작들을 수행하는 단계를 포함할 수 있다.
바람직하게는,
현재의 샘플 오프셋 처리 영역은 이미지 또는 슬라이스(slice)의 경계를 넘어서는 경우, 현재의 샘플 오프셋 처리 영역은 이미지 또는 슬라이스의 경계 내부로 축소되고 그 후 분류 및 오프셋 동작들이 수행되고; 및/또는
현재의 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계에서 부호화 처리 단위를 이미지 또는 슬라이스의 내부로 이동함으로써 현재의 샘플 오프셋 처리 영역이 획득되는 것으로 결정되는 경우, 현재의 샘플 오프셋 처리 영역은 이미지 또는 슬라이스의 경계로 확장되고; 및/또는
현재의 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계에서 부호화 처리 단위를 이미지 또는 슬라이스의 내부로 이동함으로써 현재의 샘플 오프셋 처리 영역이 획득되는 것으로 결정되는 경우, 현재의 샘플 오프셋 처리 영역은 변화되지 않은 상태로 유지되고; 현재의 샘플 오프셋 처리 영역 및 이미지 또는 슬라이스의 경계 사이의 픽셀 영역은 분류 및 오프셋 동작들이 수행되지 않는 영역으로 결정되거나 또는 분류 및 오프셋 동작들이 수행되는 독립된 샘플 오프셋 처리 영역으로서 결정된다.
바람직하게는, 미리 설정된 부호화 처리 단위는 예측 단위, 여러 이웃 예측 단위들로 구성된 예측 단위 그룹, 변환 단위, 여러 이웃 변환 단위들로 구성된 전송 단위 그룹, 부호화 단위, 여러 이웃 부호화 단위들로 구성된 부호화 단위 그룹, 최대 코딩 단위 또는 최대 코딩 단위들로 구성된 최대 코딩 단위 그룹이다.
바람직하게는, 미리 설정된 부호화 처리 단위는 시스템 또는 규격에 의해 설정되거나 또는 비트스트림에서 전송되고; 및/또는 공간적 위치 이동 동작이 수행되는 이동 방향은 시스템 또는 규격에 의해 설정되거나 또는 비트스트림에서 전송되고; 및/또는 공간적 위치 이동 동작이 수행되는 이동 거리는 시스템 또는 규격에서 설정되거나 또는 비트스트림에서 전송된다.
바람직하게는, 현재의 샘플 오프셋 처리 영역에서의 픽셀들을 위한 분류 동작을 수행하는 단계는 N 하위-구간들에서의 픽셀의 값들의 범위를 나누는 단계 및 현재의 픽셀의 값이 위치하는 하위-구간 k에 대응하는 카테고리의 현재의 픽셀들을 분류하는 단계를 포함할 수 있고, N은 미리 설정된 양의 정수이고 k는 하위-구간의 인덱스인 것을 특징으로 한다.
바람직하게는, 현재의 샘플 오프셋 처리 영역에서의 픽셀들을 위한 분류 동작을 수행하는 단계는, 현재의 픽셀의 값과 현재의 픽셀의 이웃 픽셀들 전부 또는 일부를 비교하는 단계 및 비교 결과에 따라 현재의 픽셀의 카테고리를 결정하는 단계를 포함할 수 있다.
바람직하게는, 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 오프셋 동작을 수행하는 단계는, 카테고리의 픽셀들에 오프셋 값을 픽셀들에 대한 카테고리에 따라 부가하는 단계를 포함할 수 있다.
바람직하게는, 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 오프셋 동작을 수행하는 단계는, 오프셋의 참조 값에 기초하여 미리 설정된 계산 방법에 따라 카테고리에 대응하는 오프셋 값을 계산하는 단계를 포함할 수 있다.
비디오 부호화 및 복호화 픽셀 처리 방법은, 현재의 샘플 오프셋 처리 영역을 결정하는 단계 및 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 분류 및 오프셋 동작들을 수행하는 단계를 포함할 수 있다.
상기 방법에서, 현재의 샘플 오프셋 처리 영역은 비트스트림에서 전송되는 영역 정보에 따라 결정될 수 있다.
바람직하게는, 인코더 및 디코더는 부호화 처리 단위를 위한 영역 분할의 여러 방법들을 설정하고, 영역 분할의 각각의 방법에 인덱스를 할당한다. 비트스트림에서 전송되는 영역 정보는 인코더에 의해 선택된 영역 분할 방법의 인덱스 이다.
바람직하게는, 부호화 처리 단위는 예측 단위, 여러 이웃 예측 단위들로 구성된 예측 단위 그룹, 변환 단위, 여러 이웃 변환 단위들로 구성된 변환 단위 그룹, 부호화 단위, 여러 이웃 부호화 단위들로 구성된 부호화 단위 그룹, 최대 부호화 단위 또는 여러 최대 부호화 단위들로 구성된 최대 부호화 단위 그룹이다.
바람직하게는, 부호화 처리 단위는 시스템 또는 규격에 의해 설정되거나, 또는 비트스트림에서 전송된다.
바람직하게는, 현재의 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계를 넘어가는 것으로 결정되는 경우, 현재의 샘플 오프셋 처리 영역은 이미지 또는 슬라이스 경계 내부로 축소되고, 그 다음 분류 또는 오프셋 동작들이 수행되고; 및/또는 현재의 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계에서 부호화 처리 단위를 이미지 또는 슬라이스 내부로 이동함으로써 획득되는 것으로 결정되는 경우, 현재의 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계로 확장되고; 및/또는 현재의 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계에서 부호화 처리 단위를 이미지 또는 슬라이스 내부로 이동함으로써 획득되는 것으로 결정되는 경우, 현재의 샘플 오프셋 처리 영역은 변화되지 않은 상태로 유지되고; 현재의 샘플 오프셋 처리 영역의 경계와 이미지 또는 슬라이스의 경계 사이의 픽셀 영역이 분류 및 오프셋 동작을 수행되지 않는 영역으로서 결정되거나 또는 분류 및 오프셋 동작들이 수행되는 독립된 샘플 오프셋 처리 영역으로서 결정된다.
바람직하게는, 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 분류 동작을 수행하는 단계는, N 하위-구간들로 픽셀들의 값들의 범위를 나누는 단계 및 현재의 픽셀의 값이 위치하는 k 하위-구간에 대응하는 카테고리로 현재의 픽셀을 분류하는 단계를 포함할 수 있고, N은 미리 설정된 양의 정수이고 k는 하위-구간의 인덱스인 것을 특징으로 할 수 있다.
바람직하게는, 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 분류 동작을 수행하는 단계는, 현재의 픽셀의 값과 현재의 픽셀의 이웃 픽셀들 전부 또는 일부를 비교하는 단계 및 비교 결과에 따라 현재의 픽셀의 카테고리를 결정하는 단계를 포함할 수 있다.
바람직하게는, 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 오프셋 동작을 수행하는 단계는, 픽셀들의 카테고리에 따라 카테고리의 픽셀들에 오프셋을 부가할 수 있다.
바람직하게는, 현재의 샘플 오프셋 처리 영역은 픽셀들을 위한 오프셋 동작을 수행하는 단계는, 오프셋의 참조 값에 기초하여 미리 설정된 계산 방법에 따라 카테고리에 대응하는 오프셋 값을 계산하는 단계를 포함할 수 있다.
본 발명의 일 실시예로서, 비디오 코딩 및 디코딩에서의 픽셀 처리 방법은, 현재의 샘플 오프셋 처리 영역을 결정하는 단계 및 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 분류 및 오프셋 동작들을 수행하는 단계를 포함할 수 있다. 상기 방법에서, 픽셀들을 위한 분류 동작을 수행하는 단계는, 픽셀들의 값들의 범위를 N 하위-구간들로 나누는 단계 및 현재의 픽셀의 값이 위치하는 k 하위-구간에 대응하는 카테고리로 현재의 픽셀을 분류하는 단계를 포함할 수 있고, 상기 N은 미리 설정된 양의 정수이고 k는 하위-구간의 인덱스인 것을 특징으로 할 수 있고; 픽셀들을 위한 오프셋 동작을 수행하는 단계는, 현재의 샘플 오프셋 처리 영역의 픽셀들에 따라 오프셋 될 필요가 있는 M-하위 구간들을 결정하는 단계 및 M 오프셋 하위-구간들의 픽셀들을 오프셋 하는 단계를 포함할 수 있다.
바람직하게는, 오프셋 될 필요가 있는 하위-구간들이 분류 후의 모든 하위-구간들에 포함된 픽셀들에 따라 결정될 수 있다.
바람직하게는, 오프셋 될 필요가 있는 하위-구간들이 분류 후의 모든 하위-구간들에 포함된 픽셀들에 따라 결정되는 단계는, 분류 후의 모든 하위-구간들 중 가장 많은 픽셀들을 포함하는 M 하위-구간들을 오프셋 하위-구간들로 선택하는 단계를 포함할 수 있다.
바람직하게는, 오프셋 될 필요가 있는 하위-구간들은 분류 후의 모든 하위 구간들에 포함되는 픽셀들 및 비트스트림에서 전송되는 정보에 따라 결정될 수 있다.
바람직하게는, 오프셋 될 필요가 있는 하위-구간들은 분류 후의 모든 하위-구간들의 가장 많은 픽셀들을 포함하는 하위-구간 및 비트스트림 상에 나타나게 되는 오프셋 하위-구간 선택 방법 상의 정보에 따라 결정될 수 있다.
본 발명의 일 실시예로서, 비디오 부호화 및 복호화에서의 픽셀 처리 장치는, 처리 영역 결정부, 분류 및 오프셋 정보 획득부, 분류부 및 오프셋부를 포함할 수 있고;
처리 영역 결정부는 미리 설정된 부호화 처리 단위를 위한 공간적 위치 이동 동작을 수행하고 공간적 위치 이동 동작 이후의 영역을 현재의 샘플 오프셋 처리 영역으로서 결정하는 것을 특징으로 하고; 분류 및 오프셋 정보 획득부는 픽셀 분류 방법 및 대응하는 오프셋 값들을 획득하는 것을 특징으로 하고; 분류부는 분류 및 오프셋 정보 획득부에 의해 결정되는 분류 방법에 따라 현재의 샘플 오프셋 처리 영역의 각각의 픽셀을 분류하는 것을 특징으로 하고; 오프셋부는 분류부의 분류 결과 및 오프셋 값들에 따라 픽셀들을 오프셋 하는 것을 특징으로 할 수 있다.
바람직하게는, 상기 픽셀 처리 장치는, 현재의 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계를 넘어서는 경우 처리 영역 결정부에 의해 결정되는 현재의 샘플 오프셋 처리 영역을 이미지 또는 슬라이스의 경계 내부로 축소하고, 분류부 및 오프셋부에 알리기 위한 처리 영역 수정부를 더 포함할 수 있다.
바람직하게는, 상기 픽셀 처리 장치는, 이미지 또는 슬라이스의 경계에서 부호화 처리 단위를 이미지 또는 슬라이스의 내부로 이동함으로써 현재의 샘플 오프셋 처리 영역이 획득되는 경우 처리 영역 결정부에 의해 결정되는 현재의 샘플 오프셋 처리 영역을 이미지 또는 슬라이스의 경계로 확장하고, 분류부 및 오프셋부에 알리거나; 또는 현재의 샘플 오프셋 처리 영역을 이미지 또는 슬라이스의 경계에서의 부호화 처리 단위가 이미지 또는 슬라이스 내부로 이동함으로써 현재의 샘플 오프셋 처리 영역이 획득되는 경우 처리 영역 결정부에 의해 결정되는 현재의 샘플 오프셋 처리 영역이 변하지 않도록 유지하고, 현재의 샘플 오프셋 처리 영역의 경계와 이미지 또는 슬라이스의 경계 사이의 영역의 픽셀들을 위해 샘플 오프셋 처리를 수행하지 않는다는 것을 분류부 및 오프셋부에 알리거나 또는 현재의 샘플 오프셋 처리 영역과 이미지 또는 슬라이스의 경계 사이의 영역을 독립된 샘플 오프셋 처리 영역으로서 결정한다는 것을 분류부 및 오프셋부에 알리는, 처리 영역 수정부를 더 포함할 수 있다.
본 발명의 일 실시예로서, 비디오 부호화 및 복호화에서의 픽셀 처리 장치는, 처리 영역 결정부, 분류 및 오프셋 정보 획득부, 분류부 및 오프셋부를 포함하며, 처리 영역 결정부는 현재의 샘플 오프셋 처리 영역을 비트스트림에서 전송되는 영역 정보에 따라 결정하는 것을 특징으로 할 수 있고; 분류 및 오프셋 정보 획득부는 픽셀 분류 방법 및 대응하는 오프셋 값들을 획득하는 것을 특징으로 할 수 있고; 분류부는 현재의 샘플 오프셋 처리 영역의 각각의 픽셀을 분류 및 오프셋 정보 획득부에 의해 결정되는 분류 방법에 따라 분류하는 것을 특징으로 할 수 있고; 오프셋부는 분류부의 분류 결과 및 오프셋 값들에 따라 픽셀들을 오프셋 하는 것을 특징으로 할 수 있다.
바람직하게는, 상기 픽셀 처리 장치는, 현재의 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계를 넘어서는 경우 처리 영역 결정부에 의해 결정되는 현재의 샘플 오프셋 처리 영역을 이미지 또는 슬라이스의 경계 내부로 축소하고, 분류부 및 오프셋부에 알리기 위한 처리 영역 수정부를 더 포함할 수 있다.
바람직하게, 상기 픽셀 처리 장치는, 이미지 또는 슬라이스의 경계에서 부호화 처리 단위를 이미지 또는 슬라이스의 내부로 이동함으로써 현재의 샘플 오프셋 처리 영역이 획득되는 경우 처리 영역 결정부에 의해 결정되는 현재의 샘플 오프셋 처리 영역을 이미지 또는 슬라이스의 경계로 확장하고, 분류부 및 오프셋부에 알리거나; 또는 현재의 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계에서 부호화 처리 단위가 이미지 또는 슬라이스 내부로 이동함으로써 현재의 샘플 오프셋 처리 영역이 획득되는 경우 처리 영역 결정부에 의해 결정되는 현재의 샘플 오프셋 처리 영역이 변하지 않도록 유지하고, 현재의 샘플 오프셋 처리 영역의 경계와 이미지 또는 슬라이스의 경계 사이의 영역의 픽셀들을 위해 샘플 오프셋 처리를 수행하지 않는다는 것을 분류부 및 오프셋부에 알리거나 또는 현재의 샘플 오프셋 처리 영역의 경계와 이미지 또는 슬라이스의 경계 사이의 영역을 독립된 샘플 오프셋 처리 영역으로서 획득한다는 것을 분류부 및 오프셋부에 알리는, 처리 영역 수정부를 더 포함할 수 있다.
본 발명의 일 실시예로서, 비디오 부호화 및 복호화에서의 픽셀 처리 장치는, 처리 영역 결정부, 분류 및 오프셋 정보 획득부, 분류부 및 오프셋부를 포함하는 것을 특징으로 할 수 있다. 처리 영역 결정부는 현재의 샘플 오프셋 처리 영역을 결정하는 것을 특징으로 할 수 있다. 분류 및 오프셋 정보 획득부는 픽셀 분류 방법 및 대응하는 오프셋 값들을 획득하는 것을 특징으로 할 수 있다. 분류부는 픽셀들의 값들의 범위를 N 하위-구간들로 나누고, 현재의 픽셀들을 픽셀의 값이 위치하는 하위-구간 k에 대응하는 카테고리로 현재의 픽셀을 분류하는 것을 특징으로 할 수 있고, N은 미리 설정된 양의 정수이고, k는 하위-구간의 인덱스일 수 있다. 그리고 오프셋부는 분류부의 분류 결과 및 오프셋 값들에 따라 픽셀들을 오프셋 하는 것을 특징으로 할 수 있다. 그리고 픽셀들을 오프셋 하기 위한 방법은 현재의 샘플 오프셋 처리 영역의 픽셀들에 따라 오프셋 될 필요가 있는 M 하위 구간을 먼저 결정하는 단계 및 M 오프셋 하위-구간들의 픽셀들을 오프셋하는 단계를 포함할 수 있다.
바람직하게는, 오프셋부는 분류 후의 모든 하위-구간들에 포함되는 픽셀들에 따라 오프셋 될 필요가 있는 M 하위-구간들을 결정하는 것을 더 특징으로 할 수 있다.
바람직하게는, 오프셋부는 분류 후의 모든 하위-구간들로부터 가장 많은 픽셀들을 포함하고 있는 M 하위-구간들을 오프셋 하위-구간들로서 선택하는 것을 더 특징으로 할 수 있다.
바람직하게는, 오프셋부는 오프셋 될 필요가 있는 M 하위-구간들을 분류 후의 모든 하위-구간들에 포함되는 픽셀들 및 비트스트림에서 전송되는 정보에 따라 결정하는 것을 더 특징으로 할 수 있다.
바람직하게는, 분류 및 오프셋 정보 획득부는 오프셋 하위-구간 선택 방법에 대한 정보를 비트스트림으로부터 획득하는 것을 더 특징으로 할 수 있고; 오프셋부는 분류 후의 모든 하위-구간들의 가장 많은 픽셀들을 포함하는 하위-구간 및 비트스트림에서 전송되는 오프셋 하위-구간 선택 방법에 대한 정보에 따라 오프셋 될 필요가 있는 하위 구간들을 결정하는 것을 더 특징으로 할 수 있다.
상기 기술적 해결 관점에서, 본 발명에서 미리 설정된 부호화 처리 단위는 미리 설정된 이동 방향으로 이동될 수 있고; 공간적 위치 이동 동작 이후의 영역이 현재의 샘플 오프셋 처리 영역으로서 결정될 수 있고; 분류 및 오프셋 동작들이 현재의 샘플 오프셋 처리 영역의 모든 픽셀들을 위해 수행될 수 있다. 상기 방법과 함께, 결정된 샘플 오프셋 처리 영역은 부호화 처리 단위와 완벽히 나란히 정렬되지 않을 수 있으나, 샘플 오프셋 처리 영역들은 좀더 유연하기 획득되도록 샘플 오프셋 처리 영역과 부호화 처리 단위 간의 임의의 위치의 차이가 있을 수 있고; 이동 방향 및 이동 거리는 필요에 따라 선택될 수 있고; 특히, 부호화 성능 개선을 위해, 실행 비용을 줄이고 샘플 오프셋 파라미터들의 예측 정확도를 개선하기 위하여 상단 좌측으로 이동된 경우에는 디블로킹 필터링 영역과 일치할 수 있다.
본 발명의 일 실시예로서 샘플 오프셋 처리 영역들을 설정하기 위하여, 샘플 오프셋 처리 영역들의 크기 및 모양이 인코더에 의해 전송되는 비트스트림에서 특정되는 처리 방법을 제공할 수 있고; 다른 이미지 영역들을 위해, 다른 샘플 오프셋 처리 단위의 요건을 만족하도록 다른 샘플 오프셋 처리 영역들의 사이즈 및 모양이 채택될 수 있다.
본 발명의 일 실시예로서 새로운 샘플 오프셋 방법을 제공할 수 있다. 상기 방법에서, 인코더는 전송할 필요가 없거나 오프셋 하위-구간들에 대한 더 적은 정보를 전송할 수 있고, 디코더는 최종적으로 비트레이트를 절약하고 부호화 성능을 개선하기 위해, 현재의 샘플 처리 영역의 픽셀들의 분포에 따라 오프셋 하위 구간들의 정보를 도출할 수 있다.
본 발명의 객체들, 기술적 수단들 및 장점들을 명확하고 이해하기 쉽게 하기 위해, 본 발명의 부가적인 설명이 첨부된 도면과 조합할 것이다.
본 발명은 비디오 부호화 및 복호화에서의 픽셀 처리의 3가지 종류의 방법을 제공할 수 있다. 상기 방법의 제1 종류에서, 현재의 샘플 오프셋 처리 영역을 획득하기 위해 부호화 처리 단위를 위한 공간적 위치 이동 동작이 수행될 수 있고, 그 다음 상기 영역의 픽셀들이 분류 되고 오프셋 될 수 있다. 상기 방법의 제2 종류에서, 현재의 샘플 오프셋 처리 영역의 크기 및 모양이 비트스트림에서 특정되고, 그 다음 상기 영역의 픽셀들이 분류되고 오프셋 될 수 있다. 상기 방법의 제3 종류에서, 현재의 샘플 오프셋 처리 영역이 결정된 후, 현재의 샘플 오프셋 처리 영역의 픽셀들이 밴드 모드 분류 방법에 의해 분류될 수 있고, 그 다음 오프셋 될 필요가 있는 하위-구간들이 각각의 하위 구간의 픽셀들의 분포에 따라 결정될 수 있다. 상기 방법들은 이하에서 자세히 설명될 것이다.
도 3은 본 발명에 따라 픽셀 처리 방법의 제1 종류의 전체적인 흐름도를 도시한다. 도 3에서 보듯이, 상기 방법은 이하의 과정을 포함할 수 있다.
단계 301에서, 현재의 샘플 오프셋 처리 영역을 획득하기 위해, 공간적인 위치 이동 동작이 현재의 부호화 처리 단위를 위해 수행될 수 있다.
공간적 위치 이동 동작이 수행되는 부호화 처리 단위는 예측 단위, 변환 단위, 부호화 단위, 최대 부호화 단위, 여러 이웃 예측 단위들로 구성되는 예측 단위 그룹, 여러 이웃 변환 단위들로 구성된 변환 단위 그룹 및 여러 이웃 부호화 단위들로 구성된 부호화 단위 그룹 또는 여러 이웃 최대 부호화 단위들로 구성된 최대 부호화 단위 그룹일 수 있다. 부호화 처리 단위는 시스템의 설정들 또는 부호화 규격에 따라 결정될 수 있거나 또는 이미지 특성들 및 사용자 요청들에 따라 적절하게 인코더에 의해 선택될 수 있고, 부호화 처리 단위의 정보는 비트스트림에서 특정될 수 있다. 이러한 방법으로, 샘플 오프셋 처리 영역들은 HEVC에서 최대 부호화 단위들로 한정되지 않으나, 다른 요건들 및 어플리케이션들(applications)에 따라 다른 크기 및 모양을 가질 수 있다. 한편, 부호화 처리 단위를 위한 공간적 위치 이동 동작을 수행함으로써, 샘플 오프셋 처리 영역은 상기 부호화 처리 단위와 완벽히 나란히 정렬될 필요는 없으며, 따라서 실제적 실행의 복잡성이 줄어든다. 예를 들면, 부호화 처리 단위가 상단 좌측으로 이동되는 경우, 샘플 오프셋 처리 영역은 실행의 복잡성이 줄어드는 디블록킹 필터링이 실제적으로 수행되는 영역과 일치할 수 있다.
공간적 위치 이동 동작이 수행되는 경우, 미리 설정된 이동 방향 및 이동 거리에 따라 수행될 수 있다. 이동 방향은 상단 좌측, 상단 또는 좌측 등 일 수 있다. 상단 좌측은 위쪽으로 이동되는 것을 의미할 수 있고 시스템 또는 기본적으로 규격에 의해 특정될 수 있고 또는 비트스트림에서 특정될 수 있다.
단계 302에서, 현재의 샘플 오프셋 처리 영역은 분류되고 오프셋 될 수 있다.
기존의 방법이 분류 방법 및 오프셋 방법으로서 적용될 수 있고, 이하에서 자세히 설명될 임의의 새로운 분류 방법들 및 오프셋 방법들이 본 발명에서 제공될 수 있다.
지금까지는, 본 발명에 따른 픽셀 처리 방법의 제1 종류의 흐름이 끝난다.
도 3에 개시된 흐름의 자세한 실행은 이하에서 여러 실시예들을 통해 설명될 것이다.
실시예 1:
본 발명의 일 실시예로서, 최대 부호화 단위는 부호화 처리 단위로서 결정되고 공간적 위치 이동 동작이 수행된다.
도 4는 본 발명의 실시예 1 내지 실시예 4에 따른 픽셀 처리 방법들의 흐름도를 도시한다. 흐름은 이하의 과정을 포함할 수 있다.
단계 401에서, 공간적 이동 동작은 현재의 샘플 오프셋 처리 영역을 결정하기 위해 부호화 처리 단위에 수행될 수 있다.
본 발명의 일 실시예에서, 현재의 샘플 오프셋 처리 영역은 현재의 최대 부호화 단위를 N 픽셀의 거리만큼 상단 좌측으로 이동함으로서 획득될 수 있다. 여기서, N 픽셀의 거리만큼 상단 좌측으로 이동됨은 N 픽셀의 거리만큼 좌측으로 이동되고 그 다음 N 픽셀의 거리만큼 상단으로 이동됨을 의미할 수 있고, N은 필요한 경우 특정될 수 있다. 예를 들면, N은 4일 수 있다. 구체적으로, 이동 동작 후 획득되는 샘플 오프셋 처리 영역들은 도 5에서 도시되며, 실선 블록들은 최대 부호화 단위들이고 점선 블록들은 샘플 오프셋 처리 픽셀 영역들이다. 블록 E0에서 보여지는 것처럼, 현재의 샘플 오프셋 처리 픽셀 영역은 상단 좌측으로 4개의 픽셀의 거리만큼 최대 부호화 단위를 이동함으로써 직접적으로 획득될 수 있다. 부호화 및 복호화 처리의 일반적인 원리를 고려하면, 블록 E1에서 보여지듯이 이동 동작 후 영역이 이미지 또는 슬라이스의 경계를 넘어서는 경우; 및/또는 이동 동작 후의 영역이 이미지 또는 슬라이스의 우측 경계 또는 하단 경계에서 최대 부호화 단위가 이미지 또는 슬라이스의 내부로 이동함으로써 획득되는 경우, 영역은 블록 E2에서 보여지듯이 이미지 또는 슬라이스의 경계로 자동적으로 확장될 수 있다. 이러한 방법으로, 상기 방법은 최대 부호화 단위의 숫자와 샘플 오프셋 처리 영역들의 숫자가 동일하다는 것과 일대일(one-to-one) 대응한다는 것을 보장할 수 있다. 본 발명의 일 실시예에서, 블록 E2는 우측 경계 또는 하단 경계에서 최대 부호화 단위를 이동함으로써 획득될 수 있다. 사실, 이미지 또는 슬라이스의 임의의 경계에서 부호화 처리 단위를 이미지 또는 슬라이스의 내부로 이동함으로써 획득되는 샘플 오프셋 처리 영역을 위해, 동일한 과정이 수행될 필요가 있으며, 이는 이미지 또는 슬라이스의 경계로 영역을 확장하는 것일 수 있다. 이러한 처리를 위한 경계는 이동 방향에 의해 결정될 필요가 있다.
단계 402에서, 현재의 샘플 오프셋 처리 영역에서 픽셀들을 처리하기 위하여 사용되는 파라미터들이 결정될 수 있다.
상기 파라미터들은 픽셀 분류 방법 및 오프셋 값들을 포함할 수 있다. 인코더는 분류 방법 및 오프셋 값들을 실제적 상태들에 따라 결정할 수 있고, 선택된 파라미터들을 비트스트림에 부호화할 수 있다. 단계 403에서, 현재의 샘플 오프셋 처리 영역의 픽셀들은 분류될 수 있다.
현재의 샘플 오프셋 처리 영역의 픽셀들은 단계 402에서 결정된 픽셀 분류 방법에 따라 분류될 수 있다. 구체적으로, 픽셀들을 분류하기 위한 가능한 방법은 수평 패턴의 에지 모드 분류 방법일 수 있다. 도 6은 에지 모드 분류 방법에서 현재의 픽셀의 위치들 및 선택된 이웃 픽셀들의 개략도를 도시한다. 도 6에서, 하위-도면 a는 표 1에 따라 분류 결과를 획득하기 위해, 현재의 픽셀 c가 우측 및 좌측의 이웃 픽셀들인 a 및 b와 비교되는 수평 패턴의 에지 모드 분류 방법에서의 픽셀 위치들의 개략도를 보여준다.
단계 404에서, 현재의 샘플 오프셋 처리 영역에서 처리되기 위한 픽셀들이 오프셋 될 수 있다.
픽셀들을 위한 오프셋 처리는 픽셀들의 카테고리를 하나의 단위로서 결정함으로써 수행될 수 있다. 즉, 동일한 오프셋 값이 단계 403의 분류 결과에 따라 동일한 카테고리에 속하는 픽셀들에 부가될 수 있다. 그러나 오프셋 수는 픽셀 카테고리의 수보다 작을 수 있다. 이러한 경우, 픽셀 카테고리들의 일부에 포함된 픽셀들만이 오프셋 되고, 오프셋 될 필요가 있는 픽셀 카테고리들은 규격에서 특정될 수 있거나 또는 비트스트림에서 특정될 수 있다. 구체적으로, 오프셋 처리를 위한 가능한 방법은 대응하는 오프셋 값들을 카테고리 1, 카테고리 2, 카테고리 3 및 카테고리 4에 속하는 픽셀들에 부가할 수 있으며, 카테고리 0에 속하는 픽셀들을 위해서 아무것도 하지 않을 수 있다.
단계401 및 단계 402의 순서는 변동될 수 있다.
실시예 2:
본 발명의 일 실시예로서, 여러 최대 부호화 단위들의 그룹이 부호화 처리 단위로서 결정될 수 있고, 그 다음으로서 공간적 위치 이동 동작이 수행될 수 있다.
도 4를 참조하면, 본 발명의 일 실시예의 픽셀 처리 방법의 흐름은 아래와 같은 과정을 포함할 수 있다.
단계 401에서, 공간적 위치 이동 동작이 현재의 샘플 오프셋 처리 영역을 결정하기 위해 부호화 처리 단위에 수행될 수 있다.
본 발명의 일 실시예에서, 현재의 샘플 오프셋 처리 영역은 여러 이웃 최대 부호화 단위들의 그룹을 8 픽셀의 거리만큼 이동함으로써 획득될 수 있다. 도 7은 본 발명의 샘플 오프셋 처리 영역들의 개략도를 도시한다. 도 7에서 보여진 것처럼, 실선 블록들은 최대 부호화 단위들이고, 점선 블록들은 샘플 오프셋 처리 영역들 일 수 있다. 수평 방향의 3개의 최대 부호화 단위들 및 수직 방향의 2개의 최대 부호화 단위들로 이루어진 6개의 최대 부호화 단위들은 부호화 처리 단위로서 결정될 수 있다. 블록 E0에 의해 보여지는 것과 같이, 부호화 처리 단위는 현재의 샘플 오프셋 처리 영역을 획득하기 위해 8 픽셀의 거리만큼 상단으로 이동되는 하나의 단위로서 결정될 수 있다. 비디오 부호화 및 복호화의 일반적인 원리를 고려하면, 바람직하게는, 이동 동작 후 영역이 이미지 또는 슬라이스의 경계를 넘어서는 경우, 블록 E1에서 보여지는 것처럼 이미지 또는 슬라이스의 경계로 자동적으로 축소되어야 한다; 및/또는 이동 동작 후 영역이 이미지 또는 슬라이스의 하단 경계에서 최대 부호화 단위 그룹이 이미지 또는 슬라이스의 내부로 이동함으로써 획득되는 경우, 블록 E2에 의해 보여지는 것처럼 영역은 변하지 않은 상태로 유지될 수 있고, 이러한 경우 이동 동작 후의 상기 영역의 하단 경계와 샘플 오프셋 처리가 수행되지 않은 이미지 또는 슬라이스의 하단 경계 사이에 픽셀 영역이 있을 수 있다. 이러한 방법은 처리되는 픽셀 영역들의 수와 최대 부호화 단위 그룹들의 수가 동일하다는 것과 일대일 대응한다는 것을 보장할 수 있다.
게다가, 실시예 1과 비슷하게, 본 실시예에서 블록 E2는 이미지 또는 슬라이스의 하단 경계에서 최대 부호화 단위 그룹이 이동함으로써 획득될 수 있다. 실제적으로, 이미지 또는 슬라이스의 임의의 경계에서 부호화 처리 단위를 이미지 또는 슬라이스 내부를 향해 이동함으로써 획득되는 샘플 오프셋 처리 영역을 위해, 동일한 처리가 하단 경계로 한정되지 않고 수행될 필요가 있다(즉, 확장이 블록 E2를 위해 수행되지 않고, 샘플 오프셋 처리가 샘플 오프셋 처리 영역의 경계 및 이미지 또는 슬라이스의 경계 사이의 영역을 위해 수행될 필요가 없다). 그리고, 이러한 처리를 위한 경계는 이동 방향에 의해 결정될 필요가 있다.
단계 402에서 현재의 샘플 오프셋 처리 영역의 픽셀들을 처리하기 위해 사용되는 파라미터들이 결정될 수 있다.
현재의 단계의 처리는 실시예 1의 처리와 동일한 것일 수 있고, 여기에서의 설명은 생략될 것이다.
단계 403에서 현재의 샘플 오프셋 처리 영역의 픽셀들이 분류될 수 있다.
현재의 샘플 오프셋 처리 영역의 픽셀들은 단계 402에서 결정된 픽셀 분류 방법에 따라 분류될 수 있다. 구체적으로, 가능한 픽셀 분류 방법은 45도 각도의 대각선 패턴의 에지 모드 분류 방법일 수 있다. 도 6의 하위-도면 d에서 표시된 것처럼, 현재의 픽셀 c는 상단 좌측의 이웃 픽셀 a 및 하단 우측의 근접 픽셀 b와 비교될 수 있고, 표 1에 따라 분류 결과가 획득될 수 있다.
단계 404에서, 현재의 샘플 오프셋 처리 영역에서 처리되기 위한 픽셀들이 오프셋 될 수 있다.
구체적으로, 오프셋을 부가하기 위한 가능한 방법은 대응하는 오프셋 값들을 카테고리 1, 카테고리 2, 카테고리 3 및 카테고리 4의 픽셀들에 부가하고, 카테고리 0의 픽셀들을 위해 아무것도 하지 않는 것일 수 있다.
단계 401 및 단계 402의 순서는 변동될 수 있다.
실시예 3:
본 발명의 일 실시예에서, 부호화 단위는 부호화 처리 단위로서 결정되고, 공간적 위치 이동 동작이 수행될 수 있다.
도 4에서 보여지는 것처럼, 현재의 실시예에서 픽셀 처리 방법의 흐름은 이하의 과정을 포함할 수 있다.
본 발명의 일 실시예에서, 현재의 샘플 오프셋 처리 영역은 상단 좌측으로 2픽셀의 거리만큼 현재의 부호화 단위를 이동, 예를 들면 좌측으로 2 픽셀의 거리만큼 이동하고 상단으로 2픽셀의 거리만큼 이동함으로써 획득될 수 있다. 도 8은 본 발명의 일 실시예에서 샘플 오프셋 처리 영역들의 개략도를 도시한다. 도 8에서 보여지는 것처럼, 실선 블록들은 부호화 단위들이고, 점선 블록들은 샘플 오프셋 처리 영역들이다. 현재의 샘플 오프셋 처리 영역은 블록 E0에서 보여지는 것처럼, 상단 좌측으로 2 픽셀의 거리만큼 현재의 부호화 단위를 이동함으로써 직접적으로 획득될 수 있다. 비디오 부호화 및 복호화 처리의 일반적인 원리를 고려하면, 일반적으로 다른 슬라이스들을 위한 부호화 및 복호화 처리는 각각 서로 독립적이고, 따라서 바람직하게는, 이동 동작 후의 영역이 이미지 또는 슬라이스의 경계를 넘어서는 경우, 블록 E1에서 보여지듯이 이미지 또는 슬라이스의 경계 내부로 자동적으로 축소될 수 있다; 및/또는 이동 동작 후 영역이 이미지 또는 슬라이스의 우측 경계 또는 하단 경계에서의 부호화 단위를 이동함으로써 획득되는 경우, 블록 E2에서 보여지는 것처럼 이동 동작 후 영역은 이미지 또는 슬라이스의 경계 내부로 자동적으로 축소될 수 있다. 이러한 방법으로, 샘플 오프셋 처리 영역들의 수와 부호화 단위들의 수가 동일하다는 것과 일대일 대응한다는 것을 보장할 수 있다. 이러한 경우 각각의 샘플 오프셋 처리 영역의 크기는 다를 수 있다.
단계 402에서, 현재의 샘플 오프셋 처리 영역에서 픽셀들을 처리하기 위한 파라미터들이 결정될 수 있다.
현재의 단계에서 처리는 실시예 1에서의 처리와 동일한 것일 수 있고 여기서 설명하지 않을 것이다.
단계 403에서, 현재의 샘플 오프셋 처리 영역의 픽셀들은 분류될 수 있다.
현재의 오프셋 처리 영역에서의 픽셀들은 단계 402에서 결정된 픽셀 분류 방법에 따라 분류될 수 있다. 구체적으로, 가능한 픽셀 분류 방법은 밴드 모드 분류 방법일 수 있다. 구체적으로, 가능한 밴드 모드 분류 방법은 픽셀들의 값들의 범위를 균일하게 N 하위-구간들로 나누는 단계 및 현재의 픽셀의 값에 따라 현재의 픽셀이 속하는 구간을 결정하는 단계일 수 있다. 픽셀들의 값들의 범위가 0부터 max-1까지라고 가정하면, k^th 하위-구간의 범위는 k×max/N 에서 (k+1)×max/N-1까지이다. N 값은 시스템 또는 규격에 의해 특정될 수 있다. 예를 들면 N은 16일 수 있다.
단계 404에서, 현재의 샘플 오프셋 처리 영역에서 처리되기 위한 픽셀들이 오프셋 될 수 있다. 본 발명의 일 실시예에서, 단계 403에서 사용된 분류 방법에 기초하여, 현재의 단계에서 픽셀들이 오프셋 되는 경우, 오프셋 값은 오프셋에 대응하는 하위-구간의 픽셀들에 부가될 수 있다. 이러한 방법에서, N 오프셋 값들은 비트스트림에서 전송될 필요가 있다.
단계 401 및 단계 402의 순서는 변동될 수 있다.
실시예 4:
본 발명의 일 실시예에서, 여러 최대 부호화 단위들의 그룹이 부호화 처리 단위로서 결정될 수 있고, 그 다음에 공간적 위치 이동 동작이 수행될 수 있다.
도 4에서 보여지는 것처럼, 본 발명의 일 실시예에서 픽셀 처리 방법의 흐름은 이하의 과정을 포함할 수 있다.
단계 401에서, 현재의 샘플 오프셋 처리 영역을 결정하기 위해 공간적 위치 이동 동작이 부호화 처리 단위에 수행될 수 있다.
본 발명의 일 실시예에서, 현재의 샘플 오프셋 처리 영역은 2개의 이웃 최대 부호화 단위들로 구성된 최대 부호화 단위 그룹을 수평 방향으로 16 픽셀의 거리만큼 좌측으로 이동함으로써 획득될 수 있다. 도 9는 실시예 4에서의 샘플 오프셋 처리 영역들의 개략도를 도시한다. 도 9에서 보여지는 것처럼, 실선 블록들은 최대 부호화 단위들이고 점선 블록들은 샘플 부호화 처리 픽셀 영역들일 수 있다. E0에 의해 보여지는 것처럼, 현재의 샘플 오프셋 처리 픽셀 영역은 16 픽셀의 거리만큼 좌측으로 2개의 최대 부호화 단위들을 이동함으로써 직접적으로 획득될 수 있다. 부호화 및 복호화의 일반적인 원리를 고려하면, 다른 슬라이스들을 위한 일반적인 부호화 및 복호화 처리는 서로 각각 독립적일 수 있고, 따라서 바람직하게는, 이동 동작 이후의 영역은 이미지 또는 슬라이스의 경계를 넘어서는 경우, 블록 E1에서 보여지는 것처럼, 이미지 또는 슬라이스의 경계 내부로 자동적으로 축소될 것이다; 및/또는 이동 동작 이후의 영역은 이미지 또는 슬라이스의 우측 경계에서 최대 부호화 단위 그룸이 이미지 또는 슬라이스의 안쪽으로 이동함으로써 획득될 수 있다. 이러한 경우, 이동 동작 이후의 영역의 우측 경계와 슬라이스의 우측 경계 사이의 픽셀 영역은, 블록 E3에서 보여지는 것처럼, 샘플 오프셋 처리가 수행되는 독립된 샘플 오프셋 처리 영역으로서 결정된다. 상기 방법은 이미지의 모든 픽셀이 처리될 수 있음을 보장할 수 있다.
본 발명의 일 실시예에서, 디코더로서, 현재의 샘플 오프셋 처리 영역의 이동 방향 및 이동 거리는 비트스트림에서 복호화 될 필요가 있다.
블록 402에서, 현재의 샘플 오프셋 처리 영역의 픽셀들을 처리하기 위해 사용되는 파라미터들이 결정될 수 있다.
현재의 단계에서의 처리는 실시예 1에서의 처리와 동일할 수 있고, 여기서 설명하지 않을 것이다.
단계 403에서, 현재의 샘플 오프셋 처리 영역의 픽셀들이 분류될 수 있다.
현재의 샘플 오프셋 처리 영역의 픽셀들은 단계 402 에서 결정된 픽셀 분류 방법에 따라 분류될 수 있다. 구체적으로, 가능한 픽셀 분류 방법은 밴드 모드 분류 방법일 수 있다. 구체적으로, 가능한 밴드 모드 분류 방법은 픽셀들의 값들의 범위를 32 하위-구간들로 균일하게 나누는 단계 및 현재의 픽셀의 값에 따라 현재의 픽셀이 속하는 구간을 결정하는 단계를 포함할 수 있다. 픽셀들의 값들의 범위가 0부터 max-1까지라고 가정하면, k^th 하위-구간의 범위는 k×max/32 에서 (k+1)×max/32-1까지이다. 현재의 픽셀의 값이 k×max/32 이상 및 (k+1)×max/32-1 이하인 경우, 현재의 픽셀은 하위-구간 k, 예를 들면 카테고리 k 에 속할 수 있다.
단계 404에서, 현재의 샘플 오프셋 처리 영역에서 처리되기 위한 픽셀들이 오프셋 될 수 있다.
구체적으로, 오프셋 처리를 위해 가능한 방법은 오프셋 될 필요가 있는 하위-구간을 먼저 결정하는 단계 및 그 다음으로서 오프셋 하위-구간에 대응하는 오프셋 값을 하위-구간의 픽셀들에 부가하는 단계일 수 있다. 구체적으로는, 오프셋 하위-구간들을 결정하기 위한 가능한 방법은 단계 403에서 획득된 32 하위-구간들을 중앙 하위-구간들 및 이웃 하위-구간들로 분류할 수 있고, 중앙 하위-구간들은 8번째 하위-구간부터 23번째 하위-구간을 포함할 수 있고, 이웃 하위-구간들은 0번째 하위-구간부터 7번째 하위-구간 및 24번째 하위-구간부터 31번째 하위-구간을 포함할 수 있고, 중앙 하위-구간들 또는 이웃 구간들 중 하나는 오프셋 하위-구간들로서 선택될 수 있다. 중앙 하위-구간들 또는 이웃 구간들이 오프셋 하위-구간들로서 선택되었는지를 나타내는 표시는 비트스트림에서 특정될 수 있다. 바람직하게는, 인코더는 부호화 성능 또는 비용에 따라 오프셋 하위-구간들을 선택할 수 있다.
단계 401 및 단계 402의 순서는 변동될 수 있다.
상기 4개의 실시예들은 본 발명의 픽셀 처리 방법의 제1 종류에 대응하는 상세한 구현들을 제공할 수 있다. 샘플 오프셋 처리 영역을 획득하기 위해 공간적 위치 이동 동작이 부호화 처리 단위에 수행될 수 있다. 다양한 공간적 위치 이동 방법들, 픽셀 분류 방법들 및 픽셀 오프셋 방법들이 임의적으로 조합될 수 있고, 상기 실시예들은 단지 예로서 설명된 것이고 조합의 방법을 제한하지 않는다.
게다가, 샘플 오프셋 처리 영역이 부호화 처리 단위에 공간적 위치 이동 동작을 수행함으로써 획득될 수 있는 것 외에도, 간단하게 되기 위해 이동 동작은 실제적으로 일부 경우에서 수행되지 않을 수 있으나, 실시예 5에서 보여지는 것처럼, 디블로킹 필터링 후에 샘플 오프셋 처리를 실행함으로써 야기되는 복잡함을 피하기 위해 부호화 처리 단위의 크기가 확장될 수 있다.
실시예 5:
도 10은 실시예 5의 픽셀 처리 방법의 상세한 흐름도를 도시한다. 도 10에서 보여지는 것처럼, 상기 방법은 이하의 과정을 포함할 수 있다.
단계 1001에서, 전체 슬라이스 또는 전체 이미지는 현재의 샘플 오프셋 처리 영역으로서 결정될 수 있다.
구체적으로, 현재의 샘플 오프셋 처리 영역은 전체 슬라이스 또는 전체 이미지일 수 있고, 이동 동작이 수행되지 않을 수 있다. 예를 들면, 전체 슬라이스가 현재의 오프셋 처리 영역으로 결정될 수 있다. 도 11은 샘플 오프셋 처리 영역들의 개략도를 도시한다. 도 11에서 보여지는 것처럼, 현재의 샘플 오프셋 처리 영역은 슬라이스 2의 전체인 E0로서 보여질 수 있다. 이러한 종류의 샘플 오프셋 처리 영역 결정 방법은, E1, E2 및 E0로 보여지는 것처럼 어떻게 현재의 이미지가 슬라이스들로 분할되는지에 따라 결정되는 각 영역의 크기 및 모양은 다를 수 있다. 따라서, 하나의 슬라이스가 샘플 오프셋 처리 영역으로서 결정되는 경우, 디블로킹 필터링 영역과 샘플 오프셋 처리 영역의 불일치에 의해 야기되는 문제는 더 이상 존재하지 않을 것이다.
단계 1002에서, 현재의 샘플 오프셋 처리 영역의 픽셀들을 처리하기 위해 사용되는 파라미터들이 결정될 수 있다.
현재의 단계에서의 처리는 실시예 1에서의 처리와 동일할 수 있고, 여기서 설명하지 않을 것이다.
단계 1003에서, 현재의 샘플 오프셋 처리 영역의 픽셀들이 분류될 수 있다.
현재의 오프셋 처리 영역의 픽셀들은 단계 1002에서 결정된 픽셀 분류 방법에 따라 분류될 수 있다. 구체적으로, 가능한 픽셀 분류 방법은 임의의 패턴의 에지 모드 분류 방법일 수 있다. 도 6의 하위-도면 e에 의해 보여지는 것처럼, 현재의 픽셀 c는 이웃 픽셀 a, 이웃 픽셀b, 이웃 픽셀 d 및 이웃 픽셀 e와 비교될 수 있다. c의 값이 a의 값보다 크고, c의 값이 b의 값보다 크고, c의 값이 d의 값보다 크고, c의 값이 e의 값 보다 큰 경우, 현재의 픽셀 c는 카테고리 1에 속할 수 있다; c의 값이 a의 값보다 작고, c의 값이 b의 값보다 작고, c의 값이 d의 값보다 작고, c의 값이 e의 값 보다 작은 경우, 현재의 픽셀 c는 카테고리 2에 속할 수 있다; 그 외에는, 현재의 픽셀 c는 카테고리 3에 속할 수 있다.
단계 1004에서, 현재의 샘플 오프셋 처리 영역에서 처리되기 위한 픽셀들이 오프셋 될 수 있다.
구체적으로, 오프셋 처리를 위해 가능한 방법은: 오프셋의 절대값이 카테고리 1에 속하는 픽셀들로부터 감산되고; 오프셋의 절대값이 카테고리 2에 속하는 픽셀들에 가산되고; 카테고리 3에 속하는 픽셀들을 위해 아무런 처리가 수행되지 않을 수 있다. 오프셋 방법의 이러한 종류에서, 오로지 오프셋들의 절대값들만이 비트스트림에서 전송될 필요가 있다.
단계 1001 및 단계 1002의 순서는 변동될 수 있다.
본 발명의 픽셀 처리 방법의 제2 종류는 이하에서 소개될 것이다. 도 12는 본 발명의 픽셀 처리 방법의 제2 종류의 흐름에 대한 개략도를 도시한다. 도 12에서 보여지는 것처럼, 상기 방법은 이하의 과정을 포함할 수 있다.
단계 1201에서, 현재의 샘플 오프셋 처리 영역이 결정될 수 있다.
부호화 측면에서, 현재의 샘플 오프셋 처리 영역의 크기 및 모양은 실제적 필요들에 따라 결정될 수 있고, 샘플 오프셋 처리 영역 정보로서 비트스트림에서 특정될 수 있다. 디코딩 측면에서, 현재의 샘플 오프셋 처리 영역은 비트스트림으로부터 복호화된 샘플 오프셋 처리 영역 정보에 따라 결정될 수 있다. 게다가, 샘플 오프셋 처리 영역의 크기 및 모양이 비트스트렘에서 특정되는 경우, 비트스트림에서 전송되는 샘플 오프셋 처리 영역 정보에 의해 완벽히 설명될 수 있다.
또는 샘플 오프셋 처리 영역의 가능한 크기 및 모양은 기 정의될 수 있고 그에 따라 정렬될 수 있고; 채택된 크기 및 모양을 나타내기 위해, 대응하는 인덱스가 비트스트림에서 전송될 수 있다.
단계 1202에서, 현재의 샘플 오프셋 처리 영역의 픽셀들을 처리하기 위해 사용되는 파라미터들이 결정될 수 있다.
현재의 단계의 처리는 실시예 1의 처리와 동일할 수 있고, 여기서 설명되지 않을 것이다.
단계 1203에서, 현재의 샘플 오프셋 처리 영역의 픽셀들은 분류될 수 있다.
현재의 단계는 실시예 1 내지 실시예 5의 방법들을 사용할 수 있고, 설명되지 않을 것이다.
단계 1204에서, 현재의 샘플 오프셋 처리 영역에서 처리되기 위한 픽셀들이 오프셋 될 수 있다.
현재의 단계는 실시예 1 내지 실시예 5의 방법들을 사용할 수 있고, 설명되지 않을 것이다.
단계 1201 및 단계 1202의 순서는 변동될 수 있다.
이하는 픽셀 처리 방법의 제2 종류의 상세한 실시예이다.
실시예 6
본 발명의 픽셀 처리 방법의 상세한 흐름이 도 12에 의해 설명된다. 도 12에서 보여지는 것처럼, 상기 방법은 이하의 과정을 포함할 수 있다.
단계 1201에서, 현재의 샘플 오프셋 처리 영역이 결정될 수 있다.
구체적으로, 단계 1201의 가능한 방법은 인코더가 현재의 샘플 오프셋 처리 영역의 크기 및 영역 정보를 비트스트림에서 전송하고, 디코더가 비트스트림에 따라 현재의 샘플 오프셋 처리 영역을 결정할 수 있다. 도 13은 본 발명의 일 실시예에서 샘플 오프셋 처리 영역들의 개략도를 도시한다. 도 13에서 보여지는 것처럼, 현재의 샘플 오프셋 처리 영역은 N×N 픽셀들의 정사각형 영역, 예를 들면 E0 일 수 있거나; 또는 N×M 픽셀들의 직사각형 영역, 예를 들면 E1, E2 및 E3 일 수 있거나 또는 다른 모양들, 예를 들면 E4 일 수 있다. 각각의 샘플 오프셋 처리 영역의 시작 지점은 최근의 영역의 종료 지점에 따라 결정될 수 있거나 또는 상기 시작 지점에 대한 정보가 비트스트림 상에서 전송될 수 있다.
단계 1202에서, 현재의 샘플 오프셋 처리 영역의 픽셀들을 처리하기 위해 사용되는 파라미터들이 결정될 수 있다.
현재의 단계의 처리는 실시예 1의 처리와 동일하고, 여기서 설명하지 않을 것이다.
단계 1203에서, 현재의 샘플 오프셋 처리 영역의 픽셀들이 분류될 수 있다.
현재의 샘플 오프셋 처리 영역의 픽셀들은 단계 1202에서 결정된 픽셀 분류 방법에 따라 분류될 수 있다. 구체적으로, 가능한 픽셀 분류 방법은 밴드 모드 분류 방법이다. 구체적으로, 가능한 밴드 모드 분류 방법은 픽셀들의 값들의 범위를 32 하위-구간들로 나누는 단계 및 현재의 픽셀이 속하는 하위 구간을 현재의 픽셀의 값에 따라 결정하는 단계를 포함할 수 있다. 픽셀들의 값들의 범위가 0부터 max-1까지라고 가정하면, k^th 하위-구간의 범위는 k×max/32 에서 (k+1)×max/32-1까지이다. 현재의 픽셀의 값이 k×max/32 이상 및 (k+1)×max/32-1 이하인 경우, 현재의 픽셀은 하위-구간 k, 예를 들면 카테고리 k 에 속할 수 있다.
단계 1204에서, 현재의 샘플 오프셋 처리 영역에서 처리되기 위한 픽셀들이 오프셋 될 수 있다.
구체적으로, 오프셋 처리를 위해 가능한 방법은 오프셋 될 필요가 있는 하위-구간들을 먼저 결정하는 단계 및 오프셋 하위-구간에 대응하는 오프셋 값을 하위-구간의 픽셀들에 부가하는 단계를 포함할 수 있다. 구체적으로는, 오프셋 하위-구간들을 결정하기 위한 가능한 방법은 시작 하위-구간을 먼저 결정하는 단계 및 그 다음으로서, 시작 하위-구간에서 시작하는 N 연속적 하위-구간들을 오프셋 하위-구간들로서 결정하는 단계일 수 있다. 오프셋 하위-구간들이 결정된 후, 오프셋 값들은 대응하는 오프셋 하위-구간들의 픽셀들에 부가될 수 있다. 시작 오프셋 하위-구간은 비트스트림에서 특정될 수 있다. 이러한 오프셋 방법에서, 비트스트림은 N 오프셋 값들 및 시작 오프셋 하위-구간의 인덱스를 전송할 필요가 있다.
단계 1201 및 단계 1202의 순서는 변동될 수 있다.
실시예 7
도 12는 본 발명의 일 실시예의 픽셀 처리 방법의 상세한 흐름을 도시한다. 도 12에서 보여지는 것처럼, 상기 방법은 이하의 과정을 포함할 수 있다.
단계 1201에서, 현재의 샘플 오프셋 처리 영역이 결정될 수 있다.
구체적으로, 단계 1201에서 현재의 샘플 오프셋 처리 영역의 결정하는 가능한 방법은 인코더가 비트스트림에서 현재의 샘플 오프셋 처리 영역의 크기 및 모양 정보의 인덱스를 디코더로 전송하는 것일 수 있다. 구체적으로, 인코더 및 디코더는 부호화 처리 단위를 적어도 하나의 샘플 오프셋 처리 영역들로 분할하기 위한 여러 가지의 영역 분류 방법을 미리 설정할 수 있고, 그에 따라 각 영역 분할 방법에 인덱스를 할당할 수 있다. 인코더에 의해 선택된 영역 분할 방법의 인덱스는 비트스트림에서 전송될 것이다. 부호화 처리 단위는 픽셀 처리 방법의 제1 종류의 부호화 처리 단위와 동일할 수 있기 때문에 예측 단위, 여러 이웃 예측 단위들로 구성되는 예측 단위 그룹, 변환 단위, 여러 이웃 변환 단위들로 구성되는 변환 단위 그룹, 부호화 단위, 여러 이웃 부호화 단위들로 구성되는 부호화 단위 그룹, 최대 부호화 단위, 여러 최대 부호화 단위들로 구성된 최대 부호화 단위 그룹 등일 수 있다. 영역의 분할을 위해 사용되는 부호화 처리 단위는 시스템 또는 규격에 의해 미리 설정될 수 있거나 비트스트림에서 전송될 수 있다. 도 14는 본 발명의 샘플 오프셋 처리 영역들의 개략도를 도시한다. 도 14에서 실시예로서, 최대 부호화 단위가 부호화 처리 단위로서 결정될 수 있고, 샘플 오프셋 처리 영역은 최대 부호화 단위를 분할함으로써 획득될 수 있다. 예를 들면, 비트스트림에서의 인덱스가 0인 경우, 이는 현재의 샘플 오프셋 처리 영역이 전체의 최대 부호화 단위인 것을 가리킬 수 있고; 인덱스 값이 1인 경우, 최대 부호화 단위가 상단 샘플 오프셋 처리 영역 및 하단 샘플 오프셋 처리 영역으로 동일하게 분할되는 것을 가리킬 수 있고; 인덱스 값이 2 또는 3인 경우, 최대 부호화 단위가 상단 샘플 오프셋 처리 영역 및 하단 샘플 오프셋 처리 영역으로 동일하지 않고 수평적으로 분할되는 것을 가리킬 수 있고; 인덱스 값이 4, 5 또는 6인 경우, 최대 부호화 단위가 좌측 및 우측에 두 개의 동일한 또는 동일하지 않은 샘플 오프셋 처리 영역들로 수직적으로 분할되는 것을 가리킬 수 있고; 그리고 인덱스 값이 7인 경우, 최대 부호화 단위는 4개의 샘플 오프셋 처리 영역들로 분할되는 것을 가리킬 수 있다.
더 일반적으로, 영역 분할의 다른 방법들이 있을 수 있고, 한편 다른 미리 설정된 부호화 처리 단위들은 현재의 샘플 오프셋 처리 영역을 얻기 위해 분할될 수 있다.
이러한 방법에서, 각각의 샘플 오프셋 단위의 크기 및 모양은 다를 수 있는 것으로 보일 수 있다.
단계 1202에서, 현재의 샘플 오프셋 처리 영역에서 픽셀이 처리되기 위하여 사용되는 파라미터들이 결정될 수 있다.
현재의 단계의 처리는 실시예 1의 처리와 동일하고, 여기서 설명하지 않을 것이다.
단계 1203에서, 현재의 샘플 오프셋 처리 영역의 픽셀들이 분류될 수 있다.
현재의 샘플 오프셋 처리 영역의 픽셀들은 단계 1202에서 결정된 픽셀 분류 방법을 이용함으로써 분류될 수 있다. 구체적으로, 가능한 픽셀 분류 방법은 밴드 모드 분류 방법이다. 구체적으로, 가능한 밴드 모드 분류 방법은 픽셀들의 값들의 범위를 균일하게 N 하위-구간들로 분할하는 단계 및 현재의 픽셀의 값에 따라 현재의 픽셀이 속하는 구간을 결정하는 단계일 수 있다. 분할의 상세한 내용들은 시스템 또는 규격에 의해 특정될 수 있다. 상기 범위는 균일하게 N 하위-구간들로 분할될 수 있거나 또는 균일하지 않게 분할될 수 있다. 불균일 분할 분할이 채택된 경우, 각각의 하부-구간의 시작 픽셀 및 종료 픽셀은 시스템 또는 규격에 의해 특정될 수 있다.
단계 1204에서, 현재의 샘플 오프셋 처리 영역에서 처리되기 위한 픽셀들이 오프셋 될 수 있다.
구체적으로, 오프셋 처리를 위해 가능한 방법은 오프셋 될 필요가 있는 하위-구간들을 먼저 결정하는 단계 및 하부-구간의 픽셀들에 오프셋 하위-구간에 대응하는 오프셋 값을 부가하는 단계일 수 있다. 나아가, 오프셋 하위-구간들을 결정하기 위해 가능한 방법은 인코더가 비트스트림에서 직접적으로 오프셋 될 필요가 있는 하위-구간들을 특정하는 것일 수 있다. 오프셋 하위-구간들이 결정된 후, 오프셋들이 대응하는 오프셋 하위-구간들의 픽셀들에 부가된다. 이러한 오프셋 방법에서, 비트스트림은 M 오프셋 값들 및 M 오프셋 하위-구간 인덱스들을 전송할 필요가 있고, M은 미리 설정된 양의 정수일 수 있다.
단계 1201 및 단계 1202의 순서는 변동될 수 있다.
상기 처리는 본 발명에서 제공되는 픽셀 처리 방법 2 가지의 상세한 구현일 수 있다. 이러한 방법에서, 보다 유연한 샘플 오프셋 처리 영역이 획득될 수 있다. 다른 어플리케이션들에 적용되도록 샘플 오프셋 처리 영역이 최대 부호화 단위로 한정되지 않는다. 한편, 상단 좌측으로 부호화 처리 단위를 이동함으로써 획득되는 샘플 오프셋 처리 영역은 실제적 디블로킹 필터링 영역과 일치할 수 있으며, 이는 실제적 디블로킹 필터링 영역와의 불일치에서 야기되는 구현의 복잡성을 피한다.
상기에서 설명된 것처럼, HEVC의 현재의 밴드 모드 분류 방법에서, 시작 오프셋 하부-구간의 정보는 비트스트림에서 전송될 필요가 있고, 이는 상당한 양의 비트레이트를 요한다. 비트레이트를 절약하고 부호화 성능을 개선하기 위해, 본 발명은 디코더가 오프셋 될 필요가 있는 하위-구간들을 분류 후의 모든 하위-구간들의 픽셀들에 따라 직접적으로 결정하거나 또는 오프셋 될 필요가 있는 하위-구간들을 분류 후의 모든 하위-구간들의 픽셀들 및 다른 정보에 따라 직접적으로 결정할 수 있다. 이러한 방법으로, 오프셋 하위-구간들의 적은 정보가 비트스트림에서 전송되고, 따라서 비트 레이트들은 절약되고 부호화 성능은 개선될 수 있다.
구체적으로, 픽셀 처리 방법의 3 가지 종류에서, 샘플 오프셋 영역이 결정된 후, 밴드 모드 분류 방법에 대응하는 새로운 오프셋 방법이 제공될 수 있다. 여기서, 샘플 오프셋 영역을 결정하는 방법이 제한되지 않은 상태에서 새로운 오프셋 방법이 제공될 수 있고, 본 발명 이전의 임의의 방법 또는 본 발명에서 언급된 방법들이 사용될 수 있다. 픽셀들이 밴드 모드 분류 방법에 의해 분류되는 경우 새로운 오프셋 방법이 채택될 수 있다. 새로운 오프셋 방법이 사용되는 경우, 인코더 및 디코더는 분류 후 각각의 하위-구간의 픽셀들에 따라 오프셋 될 필요가 있는 하위-구간들을 먼저 결정하고, 그 다음으로 오프셋 동작을 수행할 수 있다. 이러한 방법으로, 오프셋 하위-구간들의 적은 정보가 비트스트림에서 전송될 수 있다. 특히, 오프셋 하위-구간들의 정보는 모두 전송되는 것은 아닐 수 있다. 방법의 3 가지 종류는 이하의 2 가지의 실시예들을 사용함으로써 설명될 것이다.
실시예 8
도 15는 본 발명의 실시예의 기본적 흐름도를 도시한다. 도 15에서 보여지는 것처럼, 흐름은 이하의 과정을 포함한다.
단계 1501은 현재의 샘플 오프셋 처리 영역이 결정될 수 있다.
실시예 1 내지 실시예 7의 방법들이 사용될 수 있고, 여기서 설명되지 않을 기존의 기술의 방법들이 역시 사용될 수도 있다.
단계 1502에서, 현재의 샘플 오프셋 처리 영역의 픽셀들을 처리하기 위해 사용되는 파라미터들이 결정될 수 있다.
파라미터들은 픽셀 분류 방법 및 오프셋 값들을 포함할 수 있다. 인코더는 픽셀 분류 방법 및 오프셋 값들을 실제적 필요들에 따라 선택할 수 있고, 대응하는 채택 파라미터들을 비트스트림에서 특정할 수 있다. 디코더는 대응하는 분류 방법 및 오프셋 값들을 비트스트림으로부터 복호화 할 수 있다.
단계 1503에서, 현재의 샘플 오프셋 처리 영역의 픽셀들이 밴드 모드 분류 방법에 따라 분류될 수 있다.
현재의 샘플 오프셋 처리 영역의 픽셀들은 단계 1502에서 결정된 픽셀 분류 방법에 따라 분류될 수 있다. 그리고 이는 밴드 모드 분류 방법이다. 구체적으로, 가능한 밴드 모드 분류 방법은 픽셀들의 값들의 범위를 N 하위-구간들로 나누는 단계 및 현재의 픽셀들의 값에 따라 현재의 픽셀이 속하는 하위-구간을 결정하는 단계일 수 있다. 픽셀들의 값들의 범위가 0부터 max-1까지라고 가정하면, k^th 하위-구간의 범위는 k×max/N 에서 (k+1)×max/N-1까지이다. 그리고 현재의 픽셀의 값이 k×max/N 이상 및 (k+1)×max/N-1 이하인 경우, 현재의 픽셀은 하위-구간 k, 예를 들면 카테고리 k 에 속할 수 있다.
단계 1504에서, 오프셋 될 필요가 있는 하위-구간들은 분류 후의 각각의 하위-구간의 픽셀들에 따라 결정되고, 오프셋 될 필요가 있는 하위-구간들의 픽셀들이 오프셋 된다.
구체적으로, 가능한 방법은 오프셋 될 필요가 있는 하위-구간들로서 N 하위-구간들 중 가장 많은 픽셀들을 포함하는 4 개의 하위-구간들을 선택하는 단계, 상기 4 개의 하위-구간들의 픽셀들에 대응하는 오프셋 값들을 부가하는 단계 및 픽셀들이 변하지 않은 상태로 유지하는 단계일 수 있다. 이러한 방법으로, 단지 4개의 오프셋 값들이 비트스트림에서 전송될 필요가 있고, 오프셋 하위-구간들의 정보가 전송될 필요가 없다.
단계 1501 및 단계 1502의 순서는 변동될 수 있다.
실시예 9
도 15에 의해 본 발명의 실시예의 기본적 흐름이 설명된다. 도 15에서 보여지는 것처럼, 본 발명의 실시예의 방법은 이하의 과정을 포함할 수 있다.
단계 1501에서, 현재의 샘플 오프셋 처리 영역이 결정될 수 있따.
실시예 1 내지 실시예 7의 방법들이 사용될 수 있고, 여기서 설명되지 않을 기존의 기술의 다른 방법들이 사용될 수도 있다.
단계 1502에서, 현재의 샘플 오프셋 처리 영역의 픽셀들을 처리하기 위해 사용되는 파라미터들이 결정될 수 있다.
파라미터들은 픽셀 분류 방법 및 오프셋 값들을 포함할 수 있다. 인코더는 픽셀 분류 방법 및 오프셋 값들을 실제적 필요들에 따라 선택할 수 있고, 대응하는 채택 파라미터들을 비트스트림에서 특정할 수 있다. 디코더는 대응하는 분류 방법 및 오프셋 값들을 비트스트림으로부터 복호화 할 수 있다.
단계 1503에서, 현재의 샘플 오프셋 처리 영역의 픽셀들이 밴드 모드 분류 방법에 따라 분류될 수 있다.
현재의 샘플 오프셋 처리 영역의 픽셀들은 단계 1502에서 결정된 픽셀 분류 방법에 따라 분류될 수 있다. 그리고 이는 밴드 모드 분류 방법이다. 구체적으로, 가능한 밴드 모드 분류 방법은 픽셀들의 값들의 범위를 N 하위-구간들로 나누는 단계 및 현재의 픽셀들의 값에 따라 현재의 픽셀이 속하는 하위-구간을 결정하는 단계일 수 있다. 상기 범위는 N 하위-구간들로 균일하게 또는 불균일하게 나눠질 수 있고 채택된 분할 방법은 시스템 또는 규격에서 특정될 수 있다.
단계 1504에서, 오프셋 될 필요가 있는 하위-구간들은 분류 후의 각각의 하위-구간의 픽셀들에 따라 결정되고, 오프셋 될 필요가 있는 하위-구간들의 픽셀들이 오프셋 된다.
구체적으로, 가능한 방법은 오프셋될 필요가 있는 하위-구간들을 분류 후의 N 하위-구간들의 픽셀들에 따라 결정하는 단계를 포함할 수 있다. 구체적으로, 본 발명의 일 실시예에서 사용되는 방법은 가장 많은 픽셀들을 포함하는 하위-구간 L을 N 하위-구간들로부터 선택하는 단계, 표 3에 따라 오프셋 하위-구간들을 결정하는 단계, 비트스트림에서 오프셋 하위-구간들을 나타내는 표시를 전송하는 단계, 오프셋 하위-구간들의 픽셀들을 오프셋 하는 단계 및 남아있는 픽셀들을 변하지 않은 상태로 유지하는 단계를 포함할 수 있다. 이러한 방법으로, 오프셋 하위-구간의 정보는 비트스트림에서 전송되지만, 상기 정보 전용 비트들의 수는 급격히 감소한다.
단계 1501 및 단계 1502의 순서는 변동될 수 있다.
표 3
Figure PCTKR2014012287-appb-T000003
본 발명은 또한 본 발명의 픽셀 처리 방법들의 3 가지 종류들을 구현하기 위한 픽셀 처리 장치의 3 가지 종류를 제공한다. 픽셀 처리 장치의 3 가지 종류들의 상세한 구조들은 기본적으로 동일하나, 일부 모듈의 기능들이 다르다. 도 16은 상기 장치의 기본적 구조의 개략도를 도시한다. 도 16에서 보여지는 것처럼, 상기 장치는 처리 영역 결정부(1601), 분류 및 오프셋 정보 획득부(1602), 분류부(1603) 및 오프셋부(1604)를 포함한다.
처리 영역 결정부(1601)는 규격들 및/또는 비트스트림에서의 사양들에 따라 현재의 샘플 오프셋 처리를 결정한다.
분류 및 오프셋 정보 획득부(1602)는 현재의 샘플 오프셋 영역의 픽셀들을 분류 및 오프셋 할 필요가 있는 정보를 결정한다. 구체적으로, 디코더에서, 상기 분류 및 오프셋 정보 획득부(1602)는 비트스트림으로부터 픽셀 분류 정보 및 오프셋 정보를 획득하고; 인코더에서, 픽셀 분류 정보 및 오프셋 정보는 실제적 필요들에 따라 결정될 수 있다. 바람직하게는, 인코더는 픽셀 분류 방법을 선택하기 위해, 현재의 샘플 오프셋 처리 영역의 복원된 픽셀들의 값 및 원래의 픽셀들의 값들에 따라 비율-왜곡 비용 및 오프셋 값들을 계산할 수 있다.
분류부(1603)는 현재의 오프셋 처리 영역의 픽셀들을 분류한다. 상기 분류부(1603)는 처리 영역 결정부(1601)에 의해 결정된 영역의 픽셀들을 분류 및 오프셋 정보 획득부(1602)에 의해 획득된 분류 정보에 따라 분류한다. 보다 구체적으로는, 특정의 분류 방법에서 분류가 필요한 (현재의 영역의 픽셀들 및 이웃 픽셀들을 포함하는) 픽셀들의 값들이 먼저 획득되고 분류 동작이 상기 분류 방법에 따라 수행된다.
오프셋부(1604)는 현재의 샘플 오프셋 처리 영역에서 처리되기 위한 픽셀들을 오프셋 하기 위해 사용된다. 상기 오프셋부(1604)는 처리된 픽셀 값들을 획득하기 위해, 오프셋 정보 획득부(1602)에 의해 획득된 분류 정보 및 분류부(1603)에 의해 획득된 분류 결과에 따라 처리 영역 결정부(1601)에 의해 결정된 영역의 픽셀들을 위해 오프셋 동작을 수행한다.
보다 구체적으로, 상기 언급된 픽셀 처리 방법의 제1 종류에 대응하는 처리 영역 결정부(1601)에서, 처리 영역 결정부(1601)는 공간적 위치 이동 동작을 미리 설정된 부호화 처리 단위들을 위해 수행하고, 이동 동작 후의 영역을 현재의 샘플 오프셋 처리 영역으로서 결정한다; 또는 상기 언급된 픽셀 처리 방법의 제2 종류에 대응하는 처리 영역 결정부(1601)에서, 처리 영역 결정부(1601)는 비트스트림에서 전송되는 영역 정보에 따라 현재의 샘플 오프셋 처리 영역을 결정한다. 그리고, 상기 언급된 픽셀 처리 방법의 제3 종류를 위해, 현재의 샘플 오프셋 처리 영역을 위한 임의의 방법들이 채택될 수 있고, 본 발명에서 어떠한 사양이 이루어지지는 않는다.
상기 언급된 픽셀 처리 방법들의 제1 종류 및 제2 종류에 대응하는 분류 및 오프셋 정보 획득부(1602), 분류부(1603) 및 오프셋부(1604)를 위해, 상기 언급된 임의의 분류 및 오프셋 방법이 사용될 수 있거나 또는 다른 실현 가능한 분류 및 오프셋 방법들이 사용될 수 있고, 본 발명은 이에 한정되지는 않는다.
상기 픽셀 처리 방법의 제3 종류에 대응하여, 분류부(1630) 및 오프셋부(1604)는 상기 픽셀 처리 방법의 제3 종류에서 분류 동작 및 오프셋 동작을 실행한다. 구체적으로, 분류부(1603)는 밴드 모드 분류 방법에 따라 분류 동작을 수행하고; 오프셋부(1604)는 현재의 샘플 오프셋 처리 영역의 픽셀들에 따라 오프셋 될 필요가 있는 M 하위-구간들을 결정하고, M 하위-구간들의 픽셀들을 위해 오프셋 동작을 수행한다.
보다 구체적으로는, 오프셋부(1604)는 분류 후의 각각의 하위-구간들에 포함된 픽셀들에 따라 오프셋 될 필요가 있는 M 하위-구간들을 결정하기 위해 더 사용될 수 있다. 바람직하게는, 분류 후 모든 하위-구간들의 가장 많은 픽셀들을 포함하는 M 하위-구간들은 오프셋이 필요한 M 하위-구간들로서 선택될 수 있다.
또는, 오프셋부(1604)는 오프셋 될 필요가 있는 M 하위-구간들을 분류 후 각각의 하위-구간에 포함된 픽셀들 및 비트스트림에서 특정되는 오프셋 하위-구간 선택 정보에 따라 결정하기 위해 더 사용될 수 있다. 바람직하게는, 분류 후 모든 하위-구간들의 가장 많은 픽셀들을 포함하는 하위-구간 및 비트스트림에서 특정되는 오프셋 하위-구간 선택 정보에 따라 오프셋 될 필요가 있는 하위-구간들이 결정될 수 있다.
본 발명의 상기 픽셀 처리 방법의 제3 종류가 사용되는 경우, HEVC에서의 방법과 비교하여, 비트스트림에서 전송될 필요가 있는 오프셋 하위-구간들의 정보가 급격하게 절약되고, 한편, 모든 하위-구간들이 오프셋 되는 방법과 비교하면 오프셋 값들의 정보가 절약된다. 따라서 본 발명의 픽셀 처리 방법의 제3 종류는 기존의 기술들과 비교하여, 비트레이트를 절약할 수 있고 부호화 성능을 개선할 수 있다.
본 발명의 처리 방법들의 제1 종류 및 제2 종류가 사용되는 경우, 샘플 오프셋 처리 영역들이 더운 탄력적일 수 있다. 샘플 오프셋 처리 영역들은 예측 단위, 예측 단위 그룹, 변환 단위, 변환 단위 그룹, 부호화 단위, 부호화 단위 그룹, 최대 부호화 단위, 최대 부호화 단위 그룹, 슬라이스 또는 이미지일 수 있거나 또는 이동된 예측 단위, 이동된 예측 단위 그룹, 이동된 변환 단위, 이동된 변환 단위 그룹, 이동된 부호화 단위, 이동된 부호화 단위 그룹, 이동된 최대 부호화 단위, 이동된 최대 부호화 단위 그룹이 될 수 있거나 또는 임의의 영역이 될 수도 있다.
이동에 의해 획득되는 샘플 오프셋 처리 영역들을 위해, 본 발명은 이미지 또는 슬라이스의 경계 문제들을 충분히 고려한다. 예를 들면, 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계들을 넘어서는 경우, 자동적으로 이미지 또는 슬라이스 내부로 축소될 것이다; 임의의 샘플 오프셋 처리 영역에 의해 포함되지 않는 영역을 위해, 인접한 샘플 오프셋 처리 영역으로 병합, 예를 들면, 이미지 또는 슬라이스의 경계에서 부호화 처리 단위를 이미지 또는 슬라이스의 내부로 이동함으로써 획득되는 샘플 오프셋 처리 영역을 이미지 또는 슬라이스의 경계로 확장하거나 또는 샘플 오프셋 처리 영역은 새로운 처리 영역을 구성할 수 있거나 또는 샘플 오프셋 처리 영역의 픽셀들은 처리되지 않는다.
디블로킹 필터링 과정에서, 현재의 블록의 우측 경계 픽셀들 및 하단 경계 픽셀들은 현재의 블록의 필터링 과정에서 필터링 되지 않는다. 따라서, 현재의 블록의 여러 픽셀들이 상단 좌측으로 이동함으로써 획득되는 영역은 현재의 블록의 디블로킹 필터링 영역과 일치하는 현재의 샘플 오프셋 처리 영역으로서 결정될 수 있다. 이는 구현의 복잡함을 크게 감소시킬 수 있고, 한편 부호화 성능의 개선에 유용하다.
상기에 설명된 것들은 오로지 본 발명의 바람직한 실시예들에 해당하고, 본 발명의 사상 및 원리 내에서 이루어진 임의의 수정, 균등물 치환, 개량 등이 본 발명의 범위 내에 포함되어야 하는 것으로 본 발명을 제한하지 않는다.

Claims (33)

  1. 비디오 부호화 및 복호화에서의 픽셀을 처리하는 방법으로서,
    미리 결정된 부호화 처리 단위를 위한 공간적 위치 이동 동작을 수행하고, 상기 공간적 위치 이동 동작을 현재의 샘플 오프셋 처리 영역으로서 결정하는 단계; 및
    상기 현재의 샘플 오프셋 처리 영역의 픽셀들을 위해 분류 및 오프셋 동작을 수행하는 단계를 포함하는, 픽셀 처리 방법.
  2. 제 1 항에 있어서,
    상기 현재의 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계를 넘어서는 경우, 상기 현재의 샘플 오프셋 처리 영역은 상기 이미지 또는 슬라이스의 경계 내부로 축소되고, 상기 분류 및 오프셋 동작들이 수행되고; 및/또는
    상기 현재의 오프셋 처리 영역이 상기 이미지 또는 슬라이스의 경계의 부호화 처리 단위를 상기 이미지 또는 슬라이스의 내부로 이동함으로써 획득되는 것으로 결정되는 경우, 상기 현재의 샘플 오프셋 처리 영역은 상기 이미지 또는 슬라이스의 경계로 확장되고; 및/또는
    상기 현재의 오프셋 처리 영역이 상기 이미지 또는 슬라이스의 경계의 부호화 처리 단위를 상기 이미지 또는 슬라이스의 상기 내부로 이동함으로써 획득되는 것으로 결정되는 경우, 상기 현재의 샘플 오프셋 처리 영역은 변화되지 않은 상태로 유지되고; 상기 현재의 샘플 오프셋 처리 영역 및 상기 이미지 또는 슬라이스의 경계 사이의 픽셀 영역은 상기 분류 및 오프셋 동작들이 수행되지 않는 영역 또는 상기 분류 또는 오프셋 동작들이 수행되는 독립된 샘플 오프셋 처리 영역으로서 결정되는 것을 특징으로 하는, 픽셀 처리 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 미리 설정된 부호화 처리 단위는 예측 단위 그룹, 변환 단위, 여러 이웃 변환 단위들로 구성된 전송 단위 그룹, 부호화 단위, 여러 이웃 부호화 단위들로 구성된 부호화 단위 그룹, 최대 코딩 단위 또는 최대 코딩 단위들로 구성된 최대 코딩 단위인 것을 특징으로 하는, 픽셀 처리 방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 미리 설정된 부호화 처리 단위는 시스템 또는 규격에 의해 설정되거나 또는 비트스트림에서 전송되고; 및/또는
    상기 공간적 위치 이동 동작이 수행되는 이동 방향은 상기 시스템 또는 상기 표준에 의해 설정되거나 또는 상기 비트스트림에서 전송되고; 및/또는
    상기 공간적 위치 이동 동작이 수행되는 이동 거리는 사이 시스템 또는 상기 규격에서 설정되거나 또는 상기 비트스트림에서 전송되는 것을 특징으로 하는, 픽셀 처리 방법.
  5. 제 1 항 또는 제 2 항에 있어서, 상기 현재의 샘플 오프셋 처리 영역의 픽셀들을 위해 상기 분류 동작을 수행하는 단계는,
    N 하위-구간들에서의 픽셀 값들의 범위를 나누는 단계; 및
    상기 현재의 픽셀의 값이 위치하는 하위-구간 k에 대응하는 카테고리의 현재의 픽셀들을 분류하는 단계를 포함할 수 있고,
    N은 미리 설정된 양의 정수이고 k는 하위-구간의 인덱스인 것을 특징으로 하는, 픽셀 처리 방법.
  6. 제 1 항 또는 제 2 항에 있어서, 상기 현재의 샘플 오프셋 처리 영역 의 픽셀들을 위해 상기 분류 동작을 수행하는 단계는,
    현재의 픽셀의 값과 상기 현재의 픽셀의 이웃 픽셀들 전부 또는 일부를 비교하는 단계; 및
    비교 결과에 따라 상기 현재의 픽셀의 카테고리를 결정하는 단계를 포함하는, 픽셀 처리 방법.
  7. 제 1 항 또는 제 2 항에 있어서, 상기 현재의 샘플 오프셋 처리 영역의 픽셀들을 위해 상기 오프셋 동작을 수행하는 단계는,
    카테고리의 픽셀들에 오프셋 값을 상기 픽셀들의 상기 카테고리에 따라 부가하는 단계를 포함하는, 픽셀 처리 방법.
  8. 제 7 항에 있어서, 상기 현재의 샘플 오프셋 처리 영역의 픽셀들을 위해 상기 오프셋 동작을 수행하는 단계는,
    오프셋의 참조 값에 기초하여 미리 설정된 계산 방법에 따라 상기 카테고리에 대응하는 상기 오프셋 값을 계산하는 단계를 포함하는, 픽셀 처리 방법.
  9. 비디오 부호화 및 복호화에서의 픽셀을 처리하는 방법에 있어서,
    현재의 샘플 오프셋 처리 영역을 결정하는 단계; 및
    상기 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 분류 및 오프셋 동작들을 수행하는 단계를 포함하고,
    상기 현재의 샘플 오프셋 처리 영역은 비트스트림에서 전송되는 영역 정보에 따라 결정되는 것을 특징으로 하는, 픽셀 처리 방법.
  10. 제 9 항에 있어서, 인코더 및 디코더는 부호화 처리 단위를 위한 영역 분할의 여러 방법들을 설정하고, 영역 분할의 각각의 방법에 인덱스(index)를 할당하고, 상기 비트스트림에서 전송되는 상기 영역 정보는 상기 인코더에 의해 선택된 영역분할의 방법의 인덱스인 것을 특징으로 하는, 픽셀 처리 방법.
  11. 제 10 항에 있어서, 상기 부호화 처리 단위는 예측 단위, 여러 이웃 예측 단위들로 구성된 예측 단위 그룹, 변환 단위, 여러 이웃 변환 단위들로 구성된 변환 단위 그룹, 부호화 단위, 여러 부호화 단위들로 구성된 부호화 단위 그룹, 최대 부호화 단위 또는 여러 최대 부호화 단위들로 구성된 최대 부호화 단위 그룹인 것을 특징으로 하는, 픽셀 처리 방법.
  12. 제 10 항 또는 제 11 항에 있어서, 상기 부호화 처리 단위는 시스템 또는 규격에 의해 설정되거나 또는 비트스트림에서 전송되는 것을 특징으로 하는, 픽셀 처리 방법.
  13. 제 9 항에 있어서,
    상기 현재의 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계를 넘어서는 것으로 결정되는 경우, 상기 현재의 샘플 오프셋 처리 영역이 상기 이미지 또는 슬라이스의 경계의 내부로 축소되고 상기 분류 및 오프셋 동작들이 수행되고; 및/또는
    상기 현재의 샘플 오프셋 처리 영역이 상기 이미지 또는 슬라이스의 경계에서 부호화 처리 단위를 상기 이미지 또는 슬라이스 내부로 이동함으로써 획득되는 것으로 결정되는 경우, 상기 현재의 샘플 오프셋 처리 영역은 상기 이미지 또는 슬라이스의 경계로 확장되고; 및/또는
    상기 현재의 샘플 오프셋 처리 영역이 상기 이미지 또는 슬라이스의 경계에서 부호화 처리 단위를 상기 이미지 또는 슬라이스 상기 내부로 이동함으로써 획득되는 것으로 결정되는 경우, 상기 현재의 샘플 오프셋 처리 영역은 변화되지 않은 상태로 유지되고; 상기 현재의 샘플 오프셋 처리 영역의 경계와 상기 이미지 또는 슬라이스의 경계 사이의 픽셀 영역이 상기 분류 및 오프셋 동작이 수행되지 않는 영역 또는 분류 및 오프셋 동작들이 수행되는 독립된 샘플 오프셋 처리 영역으로서 결정되는 것을 특징으로 하는, 픽셀 처리 방법.
  14. 제 9 항 내지 제 13항 중 어느 한 항에 있어서, 상기 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 상기 분류 동작을 수행하는 단계는,
    N 하위-구간들로 픽셀들의 값들의 범위를 나누는 단계; 및
    현재의 픽셀을 상기 현재의 픽셀의 값이 위치하는 k 하위-구간에 대응하는 카테고리로 분류하는 단계를 포함하고,
    N은 미리 설정된 양의 정수이고 k는 상기 하위-구간의 인덱스인 것을 특징으로 하는, 픽셀 처리 방법.
  15. 제 9 항 내지 제 13항 중 어느 한 항에 있어서, 상기 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 상기 분류 동작을 수행하는 단계는,
    현재의 픽셀의 값과 상기 현재의 픽셀의 이웃 픽셀들 전부 또는 일부를 비교하는 단계; 및
    비교 결과에 따라 상기 현재의 픽셀의 카테고리를 결정하는 단계를 포함하는, 픽셀 처리 방법.
  16. 제 9 항 내지 제 13항 중 어느 한 항에 있어서, 상기 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 상기 오프셋 동작을 수행하는 단계는,
    카테고리의 픽셀들의 오프셋 값을 상기 픽셀들의 상기 카테고리에 따라 부가하는 단계를 포함하는, 픽셀 처리 방법.
  17. 제 16 항에 있어서, 상기 현재의 샘플 오프셋 처리 영역의 픽셀들을 위한 상기 오프셋 동작을 수행하는 단계는,
    오프셋의 참조 값에 기초하여 미리 설정된 계산 방법에 따라 상기 카테고리에 대응하는 상기 오프셋 값을 계산하는 단계를 포함하는, 픽셀 처리 방법.
  18. 비디오 부호화 및 복호화에서의 픽셀을 처리하는 방법에 있어서,
    현재의 샘플 오프셋 처리 영역을 결정하는 단계; 및
    상기 현재의 샘플 오프셋 처리 영역의 픽셀들에 대한 분류 및 오프셋 동작들을 수행하는 단계를 포함하고,
    상기 분류 동작을 수행하는 단계는 픽셀들의 값들의 범위를 N 하위-구간들로 나누는 단계 및 현재의 픽셀을 상기 현재의 픽셀의 값이 위치하는 k 하위-구간에 대응하는 카테고리로 분류하는 단계를 포함하고, N은 미리 설정된 양의 정수이고, k는 상기 하위-구간의 인덱스인 것을 특징으로 하고;
    상기 오프셋 동작을 수행하는 단계는 상기 현재의 샘플 오프셋 처리 영역의 상기 픽셀들에 따라 오프셋 될 필요가 있는 M-하위 구간들을 결정하는 단계 및 상기 M 오프셋 하위-구간들의 상기 픽셀들을 오프셋 하는 단계를 포함하는, 픽셀 처리 방법.
  19. 제 18 항에 있어서,
    오프셋 될 필요가 있는 상기 하위-구간들은 상기 분류 후의 모든 상기 하위-구간들에 포함된 상기 픽셀들에 따라 결정되는 것을 특징으로 하는, 픽셀 처리 방법.
  20. 제 19 항에 있어서,
    오프셋 될 필요가 있는 상기 하위-구간들이 상기 분류 후의 모든 상기 하위-구간들에 포함된 상기 픽셀들에 따라 결정되는 단계는, 모든 상기 하위-구간들 중 상기 분류 후의 가장 많은 픽셀들을 포함하는 M 하위-구간들을 상기 오프셋 하위-구간들로 선택하는 단계를 포함하는, 픽셀 처리 장치.
  21. 제 18 항에 있어서,
    오프셋 될 필요가 있는 상기 하위-구간들은, 상기 분류 후의 모든 상기 하위-구간들에 포함된 상기 픽셀들 및 비트스트림에서 전송되는 정보에 따라 결정되는 것을 특징으로 하는, 픽셀 처리 방법.
  22. 제 21 항에 있어서,
    오프셋 될 필요가 있는 하위-구간들은, 분류 후의 모든 상기 하위-구간들의 가장 많은 픽셀들을 포함하는 하위-구간 및 상기 비트스트림 상에 나타나게 되는 오프셋 하위-구간 선택 방법 상의 정보에 따라 결정되는 것을 특징으로 하는, 픽셀 처리 방법.
  23. 비디오 부호화 및 복호화에서의 픽셀을 처리하는 장치에 있어서,
    미리 설정된 부호화 처리 단위를 위한 공간적 위치 이동 동작을 수행하고, 상기 공간적 위치 이동 동작 후 영역을 현재의 샘플 오프셋 처리 영역으로서 결정하는 처리 영역 결정부;
    픽셀 분류 방법 및 대응하는 오프셋 값들을 획득하는 분류 및 오프셋 정보 획득부;
    상기 분류 및 오프셋 정보 획득부에 의해 결정되는 상기 픽셀 분류 방법에 따라 현재의 샘플 오프셋 처리 영역의 각각의 픽셀을 분류하는 분류부; 및
    상기 분류부의 분류 결과 및 상기 오프셋 값들에 따라 상기 픽셀들을 오프셋 하는 오프셋부를 포함하는, 픽셀 처리 장치.
  24. 제 23 항에 있어서, 상기 픽셀 처리 장치는
    상기 현재의 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계를 넘어서는 경우, 상기 처리 영역 결정부에 의해 결정되는 상기 현재의 샘플 오프셋 처리 영역을 상기 이미지 또는 슬라이스의 경계 내부로 축소하고, 상기 분류부 및 오프셋부에 알리는 처리 영역 수정부를 더 포함하는, 픽셀 처리 장치.
  25. 제 23 항에 있어서, 상기 픽셀 처리 장치는
    이미지 또는 슬라이스의 경계에서의 부호화 처리 단위를 상기 이미지 또는 슬라이스의 내부로 이동함으로써 상기 현재의 샘플 오프셋 처리 영역이 획득되는 경우, 상기 처리 영역 결정부에 의해 결정되는 상기 현재의 샘플 오프셋 처리 영역을 상기 이미지 또는 슬라이스의 경계로 확장하고, 상기 분류부 및 오프셋부에 알리거나; 또는
    상기 이미지 또는 슬라이스의 경계에서의 상기 부호화 처리 단위를 상기 이미지 또는 슬라이스 상기 내부로 이동함으로써 상기 현재의 샘플 오프셋 처리 영역이 획득되는 경우 상기 처리 영역 결정부에 의해 결정되는 상기 현재의 샘플 오프셋 처리 영역이 변화되지 않도록 유지하고, 상기 현재의 샘플 오프셋 처리 영역의 경계와 상기 이미지 또는 슬라이스의 경계 사이의 영역의 픽셀들을 위해 샘플 오프셋 처리를 수행하지 않는다는 것을 상기 분류부 및 오프셋부에 알리거나 또는 상기 현재의 샘플 오프셋 처리 영역과 상기 이미지 또는 슬라이스의 경계 사이의 상기 영역을 독립된 샘플 오프셋 처리 영역으로서 결정한다는 것을 상기 분류부 및 오프셋부에 알리는 처리 영역 수정부를 더 포함하는, 픽셀 처리 장치.
  26. 비디오 부호화 및 복호화에서의 픽셀을 처리하는 장치에 있어서,
    현재의 샘플 오프셋 처리 영역을 비트스트림에서 전송되는 영역 정보에 따라 결정하는 처리 영역 결정부;
    픽셀 분류 방법 및 대응하는 오프셋 값들을 획득하는 분류 및 오프셋 정보 획득부;
    상기 현재의 샘플 오프셋 처리 영역의 각각의 픽셀을 상기 분류 및 오프셋 정보 획득부에 의해 결정되는 상기 픽셀 분류 방법에 따라 분류하는 분류부; 및
    상기 분류부의 분류 결과 및 상기 오프셋 값들에 따라 상기 픽셀들을 오프셋 하는 오프셋부를 포함하는, 픽셀 처리 장치.
  27. 제 26 항에 있어서, 상기 픽셀 처리 장치는,
    상기 현재의 샘플 오프셋 처리 영역이 이미지 또는 슬라이스의 경계를 넘어서는 경우 상기 처리 영역 결정부에 의해 결정되는 상기 현재의 샘플 오프셋 처리 영역을 상기 이미지 또는 슬라이스의 경계의 내부로 축소하고, 상기 분류부 및 상기 오프셋부에 알리는 처리 영역 수정부를 더 포함하는, 픽셀 처리 장치.
  28. 제 26 항에 있어서, 상기 픽셀 처리 장치는,
    이미지 또는 슬라이스의 경계에서 부호화 처리 단위를 상기 이미지 또는 슬라이스의 내부로 이동함으로써 상기 현재의 샘플 오프셋 처리 영역이 획득되는 경우 상기 처리 영역 결정부에 의해 결정되는 상기 현재의 샘플 오프셋 처리 영역을 상기 이미지 또는 슬라이스의 경계로 확장하고, 상기 분류부 및 상기 오프셋부에 알리거나; 또는
    상기 이미지 또는 슬라이스의 경계에서 부호화 처리 단위를 상기 이미지 또는 슬라이스의 상기 내부로 이동함으로써 상기 현재의 샘플 오프셋 처리 영역이 획득되는 경우 상기 처리 영역 결정부에 의해 결정되는 상기 현재의 샘플 오프셋 처리 영역이 변화되지 않도록 유지하고, 상기 현재의 샘플 오프셋 처리 영역의 경계와 상기 이미지 또는 슬라이스의 경계 사이의 영역의 픽셀들을 위해 샘플 오프셋 처리를 수행하지 않는다는 것을 상기 분류부 및 상기 오프셋부에 알리거나 또는 상기 현재의 샘플 오프셋 처리 영역의 경계와 상기 이미지 또는 슬라이스의 경계 사이의 상기 영역을 독립된 샘플 오프셋 처리 영역으로서 결정한다는 것을 상기 분류부 및 상기 오프셋부에 알리는, 처리 영역 수정부를 더 포함하는, 픽셀 처리 장치.
  29. 비디오 부호화 및 복호화에서의 픽셀을 처리하는 장치에 있어서,
    현재의 샘플 오프셋 처리 영역을 결정하는 처리 영역 결정부;
    픽셀 분류 방법 및 대응하는 오프셋 값들을 획득하는 분류 및 오프셋 정보 획득부;
    픽셀들의 값들의 범위를 N 하위-구간들로 나누고, 현재의 픽셀을 상기 픽셀의 값이 위치하는 하위-구간 k에 대응하는 카테고리로 분류하고, N은 양의 정수이고 k는 상기 하위-구간의 인덱스인 것을 특징으로 하는, 분류부;
    상기 분류 부의 분류 결과 및 상기 오프셋 값들에 따라 상기 픽셀들을 오프셋 하는 오프셋부를 포함하고, 상기 픽셀을 오프셋 하는 방법은 상기 현재의 샘플 오프셋 처리 영역의 상기 픽셀들에 따라 오프셋 될 필요가 있는 M 하위-구간들을 결정하는 단계 및 상기 M 오프셋 하위-구간들의 픽셀들을 오프셋 하는 단계를 포함하는, 픽셀 처리 장치.
  30. 제 29 항에 있어서,
    상기 오프셋부는 상기 분류 후의 모든 상기 하위-구간들에 포함되는 상기 픽셀들에 따라 오프셋 될 필요가 있는 상기 M 하위-구간들을 결정하는 것을 더 특징으로 하는, 픽셀 처리 장치.
  31. 제 30 항에 있어서,
    상기 오프셋부는 상기 분류 후의 모든 상기 하위-구간들 중 가장 많은 픽셀들을 포함하는 M 하위-구간들을 상기 오프셋 하위-구간들로서 선택하는 것을 더 특징으로 하는, 픽셀 처리 장치.
  32. 제 29 항에 있어서,
    상기 오프셋부는 상기 분류 후의 모든 상기 하위-구간들에 포함되는 상기 픽셀들 및 비트스트림에서 전송되는 정보에 따라 오프셋 될 필요가 있는 M 하위-구간들을 결정하는 것을 더 특징으로 하는, 픽셀 처리 장치.
  33. 제 32 항에 있어서,
    상기 분류 및 오프셋 정보 획득부는 상기 오프셋 하위-구간 선택 방법에 대한 정보를 상기 비트스트림으로부터 획득하는 것을 더 특징으로 하고;
    상기 오프셋부는 분류 후의 모든 상기 하위-구간들의 가장 많은 픽셀들을 포함하는 하위-구간 및 상기 비트스트림에서 전송되는 상기 오프셋 하위-구간 선택 방법에 대한 상기 정보에 따라 오프셋 될 필요가 있는 상기 하위 구간들을 결정하는 것을 더 특징으로 하는, 픽셀 처리 장치.
PCT/KR2014/012287 2013-12-13 2014-12-12 비디오 부호화 및 복호화에서의 픽셀 프로세싱 방법 및 장치 WO2015088284A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/180,605 US20160286223A1 (en) 2013-12-13 2016-06-13 Method and apparatus for processing pixels in video encoding and decoding
PH12016501144A PH12016501144A1 (en) 2013-12-13 2016-06-13 Method and apparatus for processing pixels in video encoding and decoding

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310684138.3 2013-12-13
CN201310684138.3A CN104717506B (zh) 2013-12-13 2013-12-13 视频编解码中像素处理的方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/180,605 Continuation US20160286223A1 (en) 2013-12-13 2016-06-13 Method and apparatus for processing pixels in video encoding and decoding

Publications (1)

Publication Number Publication Date
WO2015088284A1 true WO2015088284A1 (ko) 2015-06-18

Family

ID=53371505

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/012287 WO2015088284A1 (ko) 2013-12-13 2014-12-12 비디오 부호화 및 복호화에서의 픽셀 프로세싱 방법 및 장치

Country Status (5)

Country Link
US (1) US20160286223A1 (ko)
KR (1) KR101631946B1 (ko)
CN (3) CN110213578B (ko)
PH (1) PH12016501144A1 (ko)
WO (1) WO2015088284A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177283B (zh) * 2014-04-04 2021-08-03 北京三星通信技术研究有限公司 对像素标识进行处理的方法和装置
WO2018070742A1 (ko) 2016-10-11 2018-04-19 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3349459A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing A method and a device for image encoding and decoding
CN113489984A (zh) * 2021-05-25 2021-10-08 杭州博雅鸿图视频技术有限公司 Avs3的样点自适应补偿方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070047523A (ko) * 2005-11-02 2007-05-07 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치
WO2012092777A1 (en) * 2011-01-09 2012-07-12 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
WO2012176964A1 (ko) * 2011-06-24 2012-12-27 엘지전자 주식회사 영상 정보 부호화 및 복호화 방법
KR20130069452A (ko) * 2011-12-14 2013-06-26 연세대학교 산학협력단 적응적 밴드 오프셋 구간을 이용한 인-루프 필터링 방법 및 장치, 그리고 적응적 밴드 오프셋 구간을 이용한 부호화 및 복호화 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363978B2 (en) * 2009-03-03 2013-01-29 Samsung Electronics Co., Ltd. System and method for block edge location with varying block sizes and offsets in compressed digital video
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
ES2715782T3 (es) * 2011-04-21 2019-06-06 Hfi Innovation Inc Procedimiento y aparato para un filtrado en bucle mejorado
US10382753B2 (en) * 2011-06-20 2019-08-13 Sun Patent Trust Simplified pipeline for filtering
EP2728865A4 (en) * 2011-06-28 2016-03-16 Samsung Electronics Co Ltd VIDEO CODING METHOD WITH ADJUSTED ADJUSTMENTS ACCORDING TO PIXEL CLASSIFICATION AND DEVICE THEREFOR, VIDEO CODING METHOD AND DEVICE THEREFOR
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US9253482B2 (en) * 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
US9277194B2 (en) * 2011-11-08 2016-03-01 Texas Instruments Incorporated Method and apparatus for image and video coding using hierarchical sample adaptive band offset
US9380302B2 (en) * 2012-02-27 2016-06-28 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
CN103338374B (zh) * 2013-06-21 2016-07-06 华为技术有限公司 图像处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070047523A (ko) * 2005-11-02 2007-05-07 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치
WO2012092777A1 (en) * 2011-01-09 2012-07-12 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
WO2012176964A1 (ko) * 2011-06-24 2012-12-27 엘지전자 주식회사 영상 정보 부호화 및 복호화 방법
KR20130069452A (ko) * 2011-12-14 2013-06-26 연세대학교 산학협력단 적응적 밴드 오프셋 구간을 이용한 인-루프 필터링 방법 및 장치, 그리고 적응적 밴드 오프셋 구간을 이용한 부호화 및 복호화 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHIH-MING FU ET AL.: "CE13: Sample Adaptive Offset with LCU-Independent Decoding.", DOCUMENT: JCTVC-E049, 6 December 2011 (2011-12-06), Retrieved from the Internet <URL:http://wftp3.itu.int/av-arch/jctvc-site/2011_03_E_Geneva> *

Also Published As

Publication number Publication date
KR101631946B1 (ko) 2016-06-24
CN110072106A (zh) 2019-07-30
CN110213578A (zh) 2019-09-06
PH12016501144A1 (en) 2016-07-25
KR20150069567A (ko) 2015-06-23
CN110213578B (zh) 2021-10-01
CN104717506B (zh) 2019-07-05
CN110072106B (zh) 2022-06-07
CN104717506A (zh) 2015-06-17
US20160286223A1 (en) 2016-09-29

Similar Documents

Publication Publication Date Title
WO2020050684A1 (ko) 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2018088805A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018097691A2 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2017188652A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2018070790A1 (ko) 영상의 부호화/복호화 방법 및 장치
WO2016200242A1 (ko) 적응적인 디블록킹 필터링을 이용하는 영상 부호화 방법과 영상 복호화 방법 및 장치
WO2018212577A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017164645A2 (ko) 비디오 신호 부호화/복호화 방법 및 장치
WO2016195460A1 (ko) 화면 내 예측에 대한 부호화/복호화 방법 및 장치
WO2012148138A2 (ko) 인트라 예측 방법과 이를 이용한 부호화기 및 복호화기
WO2017039256A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014171713A1 (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
WO2019194568A1 (ko) 어파인 모델 기반의 영상 부호화/복호화 방법 및 장치
WO2013154366A1 (ko) 블록 정보에 따른 변환 방법 및 이러한 방법을 사용하는 장치
WO2017086740A1 (ko) 인루프 필터를 이용한 비디오 복호화 방법 및 이를 위한 장치
WO2016048092A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016159610A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018044089A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019143103A1 (ko) 다양한 변환 기술을 사용하는 비디오 코딩 방법 및 장치
WO2016114583A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019245261A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2016064123A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019194484A1 (ko) 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2016122253A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020013609A1 (ko) 화면내 예측 기반의 비디오 코딩 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14870586

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12016501144

Country of ref document: PH

122 Ep: pct application non-entry in european phase

Ref document number: 14870586

Country of ref document: EP

Kind code of ref document: A1