WO2025005681A1 - 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체 - Google Patents

영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체 Download PDF

Info

Publication number
WO2025005681A1
WO2025005681A1 PCT/KR2024/008958 KR2024008958W WO2025005681A1 WO 2025005681 A1 WO2025005681 A1 WO 2025005681A1 KR 2024008958 W KR2024008958 W KR 2024008958W WO 2025005681 A1 WO2025005681 A1 WO 2025005681A1
Authority
WO
WIPO (PCT)
Prior art keywords
output
picture
nnpfc
information
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2024/008958
Other languages
English (en)
French (fr)
Inventor
탄헨드리
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to KR1020267002584A priority Critical patent/KR20260033551A/ko
Priority to EP24832459.2A priority patent/EP4738831A1/en
Priority to CN202480042773.8A priority patent/CN121399953A/zh
Publication of WO2025005681A1 publication Critical patent/WO2025005681A1/ko
Priority to MX2025015767A priority patent/MX2025015767A/es
Priority to US19/427,435 priority patent/US20260113443A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the present disclosure relates to a video encoding/decoding method, a method for transmitting a bitstream, and a recording medium storing the bitstream, and more particularly, to a video encoding/decoding method related to a neural-network post-filter, a method for transmitting a bitstream, and a recording medium storing the bitstream.
  • HD High Definition
  • UHD Ultra High Definition
  • the present disclosure aims to provide a video encoding/decoding method and device with improved encoding/decoding efficiency.
  • the present disclosure aims to provide a method for processing NNPF related SEI messages (NNPFC SEI and NNPFA SEI).
  • the present disclosure aims to more clearly specify the output picture of NNPF by NNPF related SEI messages.
  • the present disclosure aims to clarify the meaning of information related to the output picture of NNPF.
  • the present disclosure aims to reduce decoder errors by clarifying the meaning of information related to the output picture of NNPF.
  • the present disclosure aims to improve coding quality and efficiency by making NNPF clear the meaning of information related to an output picture.
  • the present disclosure aims to improve coding efficiency by determining whether to output an output picture when an input picture does not exist.
  • the present disclosure aims to provide a non-transitory computer-readable recording medium storing a bitstream generated by an image encoding method according to the present disclosure.
  • the present disclosure aims to provide a non-transitory computer-readable recording medium that stores a bitstream received and decoded by an image decoding device according to the present disclosure and used for restoring an image.
  • the present disclosure aims to provide a method for transmitting a bitstream generated by an image encoding method according to the present disclosure.
  • An image decoding method performed by an image decoding device includes the steps of obtaining post-filter-based output picture information for an input picture from a neural-network post-filter (NNPF) related SEI (supplemental enhancement information) message, and obtaining an output picture for the input picture based on the output picture information, wherein the output picture information may include output picture output information that is information indicating whether an output picture for the input picture is output.
  • NPF neural-network post-filter
  • the value of the output picture output information may be determined based on whether the input picture exists.
  • the value of the output picture output information may be determined further based on output picture presence information, which is information indicating whether the output picture exists for the input picture.
  • the output picture output information may indicate that the output picture is not output based on the fact that the input picture does not exist and the output picture existence information indicates that the output picture exists.
  • the number of output picture output information may be determined as a value within a specific range.
  • the specific range may be determined based on an index value of a specific input picture.
  • the number of output picture output information may be determined to always be greater than a specific value.
  • the output of the output picture for the non-existent input picture may be excluded.
  • the output picture existence information can be obtained from the NNPFC SEI message.
  • the output picture output information can be obtained from the NNPFA SEI message.
  • An image encoding method performed by an image encoding device includes a step of determining output picture information based on a post-filter for an input picture, and a step of signaling the output picture information as a neural-network post-filter (NNPF) related supplemental enhancement information (SEI) message, wherein the output picture information may include output picture output information that is information indicating whether an output picture for the input picture is output.
  • NPF neural-network post-filter
  • SEI supplemental enhancement information
  • a non-transitory computer-readable recording medium storing a bitstream generated by an image encoding method according to the present disclosure can be provided.
  • a non-transitory computer-readable recording medium can be provided that stores a bitstream received and decoded by an image decoding device according to the present disclosure and used for restoring an image.
  • a method for transmitting a bitstream generated by an image encoding method can be provided.
  • a video encoding/decoding method and device with improved encoding/decoding efficiency can be provided.
  • the semantics of information within NNPF-related SEI messages can be modified to enable clearer meaning delivery.
  • the error of the decoder can be reduced by modifying the semantics of the information in the NNPF related SEI message.
  • efficiency can be improved by clarifying the output of an output picture with an NNPF-related SEI message.
  • efficiency can be improved by more clearly specifying information about the output picture of the NNPF by the NNPF-related SEI message.
  • NNPF can improve coding quality and efficiency by clarifying the meaning of information related to an output picture.
  • a non-transitory computer-readable recording medium storing a bitstream generated by an image encoding method according to the present disclosure can be provided.
  • a non-transitory computer-readable recording medium can be provided that stores a bitstream received and decoded by an image decoding device according to the present disclosure and used for restoring an image.
  • a method for transmitting a bitstream generated by an image encoding method can be provided.
  • FIG. 1 is a diagram schematically illustrating a video coding system to which an embodiment according to the present disclosure can be applied.
  • FIG. 2 is a drawing schematically showing an image encoding device to which an embodiment according to the present disclosure can be applied.
  • FIG. 3 is a diagram schematically illustrating an image decoding device to which an embodiment according to the present disclosure can be applied.
  • Figure 4 is a diagram explaining an interleaved method for deriving a luma channel.
  • FIG. 5 is a flowchart for explaining an image decoding method to which an embodiment according to the present disclosure can be applied.
  • FIG. 6 is a flowchart for explaining an image encoding method to which an embodiment according to the present disclosure can be applied.
  • FIG. 7 is a drawing exemplarily showing a content streaming system to which an embodiment according to the present disclosure can be applied.
  • a component when a component is said to be “connected,” “coupled,” or “connected” to another component, this may include not only a direct connection relationship, but also an indirect connection relationship in which another component exists in between.
  • a component when a component is said to "include” or “have” another component, this does not exclude the other component unless specifically stated otherwise, but means that the other component may be included.
  • first, second, etc. are used only for the purpose of distinguishing one component from another component, and do not limit the order or importance among the components unless specifically stated otherwise. Accordingly, within the scope of this disclosure, a first component in one embodiment may be referred to as a second component in another embodiment, and similarly, a second component in one embodiment may be referred to as a first component in another embodiment.
  • the components that are distinguished from each other are intended to clearly explain the characteristics of each, and do not necessarily mean that the components are separated. That is, a plurality of components may be integrated to form a single hardware or software unit, or a single component may be distributed to form a plurality of hardware or software units. Accordingly, even if not mentioned separately, such integrated or distributed embodiments are also included in the scope of the present disclosure.
  • the components described in various embodiments do not necessarily mean essential components, and some may be optional components. Accordingly, an embodiment that consists of a subset of the components described in one embodiment is also included in the scope of the present disclosure. In addition, an embodiment that includes other components in addition to the components described in various embodiments is also included in the scope of the present disclosure.
  • the present disclosure relates to encoding and decoding of images, and terms used in the present disclosure may have their usual meanings used in the technical field to which the present disclosure belongs, unless newly defined in the present disclosure.
  • a "picture” generally means a unit representing one image of a specific time period
  • a slice/tile is a coding unit constituting a part of a picture
  • one picture may be composed of one or more slices/tiles.
  • a slice/tile may include one or more CTUs (coding tree units).
  • pixel or “pel” may mean the smallest unit that constitutes a picture (or image).
  • sample may be used as a term corresponding to a pixel.
  • a sample may generally represent a pixel or a pixel value, and may represent only a pixel/pixel value of a luma component, or only a pixel/pixel value of a chroma component.
  • a "unit” may represent a basic unit of image processing.
  • a unit may include at least one of a specific region of a picture and information related to the region.
  • the unit may be used interchangeably with terms such as “sample array", “block” or “area” as the case may be.
  • an MxN block may include a set (or array) of samples (or sample array) or transform coefficients consisting of M columns and N rows.
  • the "current block” may mean one of the “current coding block", the “current coding unit”, the “encoding target block”, the “decoding target block” or the “processing target block”.
  • the “current block” may mean the “current prediction block” or the “prediction target block”.
  • transformation inverse transformation
  • quantization inverse quantization
  • the "current block” may mean the “current transformation block” or the “transformation target block”.
  • filtering is performed, the "current block” may mean the "filtering target block”.
  • a "current block” may mean a block including both a luma component block and a chroma component block, or a "luma block of the current block” unless explicitly described as a chroma block.
  • the luma component block of the current block may be explicitly expressed by including an explicit description of the luma component block, such as “luma block” or “current luma block”.
  • the chroma component block of the current block may be explicitly expressed by including an explicit description of the chroma component block, such as "chroma block” or "current chroma block”.
  • FIG. 1 is a diagram schematically illustrating a video coding system to which an embodiment according to the present disclosure can be applied.
  • a video coding system may include an encoding device (10) and a decoding device (20).
  • the encoding device (10) may transmit encoded video and/or image information or data to the decoding device (20) in the form of a file or streaming through a digital storage medium or a network.
  • An encoding device (10) may include a video source generating unit (11), an encoding unit (12), and a transmitting unit (13).
  • a decoding device (20) may include a receiving unit (21), a decoding unit (22), and a rendering unit (23).
  • the encoding unit (12) may be called a video/image encoding unit, and the decoding unit (22) may be called a video/image decoding unit.
  • the transmitting unit (13) may be included in the encoding unit (12).
  • the receiving unit (21) may be included in the decoding unit (22).
  • the rendering unit (23) may include a display unit, and the display unit may be configured as a separate device or an external component.
  • the video source generation unit (11) can obtain a video/image through a process of capturing, synthesizing, or generating a video/image.
  • the video source generation unit (11) can include a video/image capture device and/or a video/image generation device.
  • the video/image capture device can include, for example, one or more cameras, a video/image archive including previously captured video/image, etc.
  • the video/image generation device can include, for example, a computer, a tablet, a smartphone, etc., and can (electronically) generate a video/image.
  • a virtual video/image can be generated through a computer, etc., and in this case, the video/image capture process can be replaced with a process of generating related data.
  • the encoding unit (12) can encode input video/image.
  • the encoding unit (12) can perform a series of procedures such as prediction, transformation, and quantization for compression and encoding efficiency.
  • the encoding unit (12) can output encoded data (encoded video/image information) in the form of a bitstream.
  • the transmission unit (13) can obtain encoded video/image information or data output in the form of a bitstream, and can transmit it to the reception unit (21) of the decoding device (20) or another external object through a digital storage medium or a network in the form of a file or streaming.
  • the digital storage medium can include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD, etc.
  • the transmission unit (13) can include an element for generating a media file through a predetermined file format, and can include an element for transmission through a broadcasting/communication network.
  • the transmission unit (13) can be provided as a separate transmission device from the encoding device (12), and in this case, the transmission device can include at least one processor for obtaining encoded video/image information or data output in the form of a bitstream, and a transmission unit for transmitting it in the form of a file or streaming.
  • the reception unit (21) can extract/receive the bitstream from the storage medium or the network and transmit it to the decoding unit (22).
  • the decoding unit (22) can decode video/image by performing a series of procedures such as inverse quantization, inverse transformation, and prediction corresponding to the operation of the encoding unit (12).
  • the rendering unit (23) can render the decrypted video/image.
  • the rendered video/image can be displayed through the display unit.
  • FIG. 2 is a diagram schematically illustrating an image encoding device to which an embodiment according to the present disclosure can be applied.
  • the image encoding device (100) may include an image segmentation unit (110), a subtraction unit (115), a transformation unit (120), a quantization unit (130), an inverse quantization unit (140), an inverse transformation unit (150), an addition unit (155), a filtering unit (160), a memory (170), an inter prediction unit (180), an intra prediction unit (185), and an entropy encoding unit (190).
  • the inter prediction unit (180) and the intra prediction unit (185) may be collectively referred to as a “prediction unit.”
  • the transformation unit (120), the quantization unit (130), the inverse quantization unit (140), and the inverse transformation unit (150) may be included in a residual processing unit.
  • the residual processing unit may further include a subtraction unit (115).
  • All or at least some of the plurality of components constituting the video encoding device (100) may be implemented as a single hardware component (e.g., an encoder or a processor) according to an embodiment.
  • the memory (170) may include a DPB (decoded picture buffer) and may be implemented by a digital storage medium.
  • the image segmentation unit (110) can segment an input image (or, picture, frame) input to the image encoding device (100) into one or more processing units.
  • the processing unit may be called a coding unit (CU).
  • the coding unit may be obtained by recursively segmenting a coding tree unit (CTU) or a largest coding unit (LCU) according to a QT/BT/TT (Quad-tree/binary-tree/ternary-tree) structure.
  • CTU coding tree unit
  • LCU largest coding unit
  • QT/BT/TT Quad-tree/binary-tree/ternary-tree
  • one coding unit may be segmented into a plurality of coding units of deeper depth based on a quad-tree structure, a binary-tree structure, and/or a ternary-tree structure.
  • the quad-tree structure may be applied first, and the binary-tree structure and/or the ternary-tree structure may be applied later.
  • the coding procedure according to the present disclosure may be performed based on a final coding unit that is no longer segmented.
  • the maximum coding unit can be used as the final coding unit, and the coding unit of the lower depth obtained by dividing the maximum coding unit can be used as the final coding unit.
  • the coding procedure can include procedures such as prediction, transformation, and/or restoration described below.
  • the processing unit of the coding procedure can be a prediction unit (PU) or a transform unit (TU).
  • the prediction unit and the transform unit can be divided or partitioned from the final coding unit, respectively.
  • the prediction unit can be a unit of sample prediction
  • the transform unit can be a unit for deriving a transform coefficient and/or a unit for deriving a residual signal from a transform coefficient.
  • the prediction unit can perform prediction on a block to be processed (current block) and generate a predicted block including prediction samples for the current block.
  • the prediction unit can determine whether intra prediction or inter prediction is applied to the current block or CU unit.
  • the prediction unit can generate various information about the prediction of the current block and transfer it to the entropy encoding unit (190).
  • the information about the prediction can be encoded by the entropy encoding unit (190) and output in the form of a bitstream.
  • the intra prediction unit (185) can predict the current block by referring to samples in the current picture.
  • the referenced samples may be located in the neighborhood of the current block or may be located away from it depending on the intra prediction mode and/or the intra prediction technique.
  • the intra prediction modes may include a plurality of non-directional modes and a plurality of directional modes.
  • the non-directional mode may include, for example, a DC mode and a planar mode.
  • the directional mode may include, for example, 33 directional prediction modes or 65 directional prediction modes depending on the degree of detail of the prediction direction. However, this is only an example, and a number of directional prediction modes greater or less than that may be used depending on the setting.
  • the intra prediction unit (185) may also determine the prediction mode applied to the current block by using the prediction mode applied to the neighboring block.
  • the inter prediction unit (180) can derive a predicted block for a current block based on a reference block (reference sample array) specified by a motion vector on a reference picture.
  • the motion information can be predicted in units of blocks, subblocks, or samples based on the correlation of motion information between neighboring blocks and the current block.
  • the motion information can include a motion vector and a reference picture index.
  • the motion information can further include information on an inter prediction direction (such as L0 prediction, L1 prediction, or Bi prediction).
  • neighboring blocks can include spatial neighboring blocks existing in the current picture and temporal neighboring blocks existing in the reference picture.
  • the reference picture including the reference block and the reference picture including the temporal neighboring block may be the same or different from each other.
  • the temporal neighboring blocks may be called collocated reference blocks, collocated CUs (colCUs), etc.
  • the reference picture including the above temporal neighboring blocks may be called a collocated picture (colPic).
  • the inter prediction unit (180) may construct a motion information candidate list based on the neighboring blocks, and generate information indicating which candidate is used to derive the motion vector and/or reference picture index of the current block. Inter prediction may be performed based on various prediction modes, and for example, in the case of the skip mode and the merge mode, the inter prediction unit (180) may use the motion information of the neighboring blocks as the motion information of the current block.
  • the motion vector of the current block may be signaled by using the motion vector of the neighboring blocks as a motion vector predictor, and encoding an indicator for the motion vector difference and the motion vector predictor.
  • Motion vector difference can mean the difference between the motion vector of the current block and the motion vector predictor.
  • the prediction unit can generate a prediction signal based on various prediction methods and/or prediction techniques described below.
  • the prediction unit can apply intra prediction or inter prediction for prediction of the current block, and can also apply intra prediction and inter prediction at the same time.
  • a prediction method that applies intra prediction and inter prediction at the same time for prediction of the current block can be called combined inter and intra prediction (CIIP).
  • the prediction unit can perform intra block copy (IBC) for prediction of the current block.
  • Intra block copy can be used for content image/video coding such as games, such as screen content coding (SCC).
  • IBC is a method of predicting the current block using a restored reference block in the current picture at a location a predetermined distance away from the current block.
  • the location of the reference block in the current picture can be encoded as a vector (block vector) corresponding to the predetermined distance.
  • IBC basically performs prediction within the current picture, but can be performed similarly to inter prediction in that it derives reference blocks within the current picture. That is, IBC can utilize at least one of the inter prediction techniques described in the present disclosure.
  • the prediction signal generated through the prediction unit can be used to generate a restoration signal or to generate a residual signal.
  • the subtraction unit (115) can generate a residual signal (residual block, residual sample array) by subtracting the prediction signal (predicted block, predicted sample array) output from the prediction unit from the input image signal (original block, original sample array).
  • the generated residual signal can be transmitted to the conversion unit (120).
  • the transform unit (120) can apply a transform technique to the residual signal to generate transform coefficients.
  • the transform technique can include at least one of a Discrete Cosine Transform (DCT), a Discrete Sine Transform (DST), a Karhunen-Loeve Transform (KLT), a Graph-Based Transform (GBT), or a Conditionally Non-linear Transform (CNT).
  • DCT Discrete Cosine Transform
  • DST Discrete Sine Transform
  • KLT Karhunen-Loeve Transform
  • GBT Graph-Based Transform
  • CNT Conditionally Non-linear Transform
  • GBT means a transform obtained from a graph when the relationship information between pixels is expressed as a graph.
  • CNT means a transform obtained based on generating a prediction signal using all previously reconstructed pixels.
  • the transform process can be applied to a pixel block having a square equal size, or can be applied to a block of a non-square variable size.
  • the quantization unit (130) can quantize the transform coefficients and transmit them to the entropy encoding unit (190).
  • the entropy encoding unit (190) can encode the quantized signal (information about the quantized transform coefficients) and output it as a bitstream.
  • the information about the quantized transform coefficients can be called residual information.
  • the quantization unit (130) can rearrange the quantized transform coefficients in a block form into a one-dimensional vector form based on the coefficient scan order, and can also generate information about the quantized transform coefficients based on the quantized transform coefficients in the one-dimensional vector form.
  • the entropy encoding unit (190) can perform various encoding methods such as, for example, exponential Golomb, context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding (CABAC).
  • the entropy encoding unit (190) can also encode, together or separately, information necessary for video/image restoration (for example, values of syntax elements, etc.) in addition to quantized transform coefficients.
  • the encoded information (for example, encoded video/image information) can be transmitted or stored in the form of a bitstream in the form of a network abstraction layer (NAL) unit.
  • NAL network abstraction layer
  • the video/image information may further include information on various parameter sets such as an adaptation parameter set (APS), a picture parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS).
  • the video/image information may further include general constraint information.
  • the signaling information, transmitted information and/or syntax elements mentioned in the present disclosure may be encoded through the encoding procedure described above and included in the bitstream.
  • the above bitstream may be transmitted through a network or stored in a digital storage medium.
  • the network may include a broadcasting network and/or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD, etc.
  • a transmission unit (not shown) for transmitting a signal output from an entropy encoding unit (190) and/or a storage unit (not shown) for storing the signal may be provided as an internal/external element of the video encoding device (100), or the transmission unit may be provided as a component of the entropy encoding unit (190).
  • the quantized transform coefficients output from the quantization unit (130) can be used to generate a residual signal. For example, by applying inverse quantization and inverse transformation to the quantized transform coefficients through the inverse quantization unit (140) and inverse transformation unit (150), the residual signal (residual block or residual samples) can be restored.
  • the addition unit (155) can generate a reconstructed signal (reconstructed picture, reconstructed block, reconstructed sample array) by adding the reconstructed residual signal to the prediction signal output from the inter prediction unit (180) or the intra prediction unit (185).
  • the predicted block can be used as the reconstructed block.
  • the addition unit (155) can be called a reconstructed unit or a reconstructed block generation unit.
  • the generated reconstructed signal can be used for intra prediction of the next processing target block in the current picture, and can also be used for inter prediction of the next picture after filtering as described below.
  • the filtering unit (160) can apply filtering to the restoration signal to improve subjective/objective picture quality.
  • the filtering unit (160) can apply various filtering methods to the restoration picture to generate a modified restoration picture and store the modified restoration picture in the memory (170), specifically, in the DPB of the memory (170).
  • the various filtering methods may include, for example, deblocking filtering, sample adaptive offset, adaptive loop filter, bilateral filter, etc.
  • the filtering unit (160) can generate various information regarding filtering and transmit it to the entropy encoding unit (190), as described below in the description of each filtering method.
  • the information regarding filtering can be encoded in the entropy encoding unit (190) and output in the form of a bitstream.
  • the modified restored picture transmitted to the memory (170) can be used as a reference picture in the inter prediction unit (180).
  • the image encoding device (100) can avoid prediction mismatch between the image encoding device (100) and the image decoding device when inter prediction is applied, and can also improve encoding efficiency.
  • the DPB in the memory (170) can store a modified restored picture for use as a reference picture in the inter prediction unit (180).
  • the memory (170) can store motion information of a block from which motion information in the current picture is derived (or encoded) and/or motion information of blocks in a picture that has already been restored.
  • the stored motion information can be transferred to the inter prediction unit (180) to be used as motion information of a spatial neighboring block or motion information of a temporal neighboring block.
  • the memory (170) can store restored samples of restored blocks in the current picture and transfer them to the intra prediction unit (185).
  • FIG. 3 is a diagram schematically illustrating an image decoding device to which an embodiment according to the present disclosure can be applied.
  • the image decoding device (200) may be configured to include an entropy decoding unit (210), an inverse quantization unit (220), an inverse transformation unit (230), an adding unit (235), a filtering unit (240), a memory (250), an inter prediction unit (260), and an intra prediction unit (265).
  • the inter prediction unit (260) and the intra prediction unit (265) may be collectively referred to as a “prediction unit.”
  • the inverse quantization unit (220) and the inverse transformation unit (230) may be included in a residual processing unit.
  • All or at least some of the plurality of components constituting the video decoding device (200) may be implemented as a single hardware component (e.g., a decoder or a processor) according to an embodiment.
  • the memory (170) may include a DPB and may be implemented by a digital storage medium.
  • the image decoding device (200) that receives the bitstream including video/image information can restore the image by performing a process corresponding to the process performed in the image encoding device (100) of FIG. 2.
  • the image decoding device (200) can perform decoding using a processing unit applied in the image encoding device. Therefore, the processing unit of the decoding can be, for example, a coding unit.
  • the coding unit can be a coding tree unit or can be obtained by dividing a maximum coding unit. Then, the restored image signal decoded and output by the image decoding device (200) can be reproduced through a reproduction device (not shown).
  • the image decoding device (200) can receive a signal output from the image encoding device of FIG. 2 in the form of a bitstream.
  • the received signal can be decoded through the entropy decoding unit (210).
  • the entropy decoding unit (210) can parse the bitstream to derive information (e.g., video/image information) necessary for image restoration (or picture restoration).
  • the video/image information may further include information on various parameter sets, such as an adaptation parameter set (APS), a picture parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS).
  • the video/image information may further include general constraint information.
  • the image decoding device may additionally use information on the parameter set and/or the general constraint information to decode the image.
  • the signaling information, received information, and/or syntax elements mentioned in the present disclosure can be obtained from the bitstream by being decoded through the decoding procedure.
  • the entropy decoding unit (210) can decode information in the bitstream based on a coding method such as exponential Golomb coding, CAVLC, or CABAC, and output the values of syntax elements necessary for image restoration and the quantized values of transform coefficients for residuals.
  • the CABAC entropy decoding method receives a bin corresponding to each syntax element in the bitstream, determines a context model by using information of the syntax element to be decoded and the decoding information of the surrounding block and the decoding target block or the information of the symbol/bin decoded in the previous step, and predicts the occurrence probability of the bin according to the determined context model to perform arithmetic decoding of the bin to generate a symbol corresponding to the value of each syntax element.
  • the CABAC entropy decoding method can update the context model by using the information of the decoded symbol/bin for the context model of the next symbol/bin after the context model is determined.
  • Information about prediction among the information decoded by the entropy decoding unit (210) is provided to the prediction unit (inter prediction unit (260) and intra prediction unit (265)), and the residual value on which entropy decoding is performed by the entropy decoding unit (210), that is, quantized transform coefficients and related parameter information, can be input to the dequantization unit (220).
  • information about filtering among the information decoded by the entropy decoding unit (210) can be provided to the filtering unit (240).
  • a receiving unit (not shown) for receiving a signal output from an image encoding device may be additionally provided as an internal/external element of the image decoding device (200), or the receiving unit may be provided as a component of an entropy decoding unit (210).
  • the video decoding device may be called a video/video/picture decoding device.
  • the video decoding device may include an information decoder (video/video/picture information decoder) and/or a sample decoder (video/video/picture sample decoder).
  • the information decoder may include an entropy decoding unit (210), and the sample decoder may include at least one of an inverse quantization unit (220), an inverse transformation unit (230), an adding unit (235), a filtering unit (240), a memory (250), an inter prediction unit (260), and an intra prediction unit (265).
  • the inverse quantization unit (220) can inverse quantize the quantized transform coefficients and output the transform coefficients.
  • the inverse quantization unit (220) can rearrange the quantized transform coefficients into a two-dimensional block form. In this case, the rearrangement can be performed based on the coefficient scan order performed in the image encoding device.
  • the inverse quantization unit (220) can perform inverse quantization on the quantized transform coefficients using quantization parameters (e.g., quantization step size information) and obtain transform coefficients.
  • the transform coefficients can be inversely transformed to obtain a residual signal (residual block, residual sample array).
  • the prediction unit can perform a prediction on the current block and generate a predicted block including prediction samples for the current block.
  • the prediction unit can determine whether intra prediction or inter prediction is applied to the current block based on the information about the prediction output from the entropy decoding unit (210), and can determine a specific intra/inter prediction mode (prediction technique).
  • the prediction unit can generate a prediction signal based on various prediction methods (techniques) described later, which is the same as what was mentioned in the description of the prediction unit of the image encoding device (100).
  • the intra prediction unit (265) can predict the current block by referring to samples within the current picture.
  • the description of the intra prediction unit (185) can be equally applied to the intra prediction unit (265).
  • the inter prediction unit (260) can derive a predicted block for a current block based on a reference block (reference sample array) specified by a motion vector on a reference picture.
  • the motion information can be predicted in units of blocks, subblocks, or samples based on the correlation of motion information between neighboring blocks and the current block.
  • the motion information can include a motion vector and a reference picture index.
  • the motion information can further include information on an inter prediction direction (L0 prediction, L1 prediction, Bi prediction, etc.).
  • the neighboring block can include a spatial neighboring block existing in the current picture and a temporal neighboring block existing in the reference picture.
  • the inter prediction unit (260) can configure a motion information candidate list based on neighboring blocks, and derive a motion vector and/or a reference picture index of the current block based on the received candidate selection information.
  • Inter prediction can be performed based on various prediction modes (techniques), and the information about the prediction can include information indicating the mode (technique) of inter prediction for the current block.
  • the addition unit (235) can generate a restoration signal (restored picture, restoration block, restoration sample array) by adding the acquired residual signal to the prediction signal (predicted block, prediction sample array) output from the prediction unit (including the inter prediction unit (260) and/or the intra prediction unit (265)).
  • the predicted block can be used as the restoration block.
  • the description of the addition unit (155) can be equally applied to the addition unit (235).
  • the addition unit (235) can be called a restoration unit or a restoration block generation unit.
  • the generated restoration signal can be used for intra prediction of the next target block to be processed in the current picture, and can also be used for inter prediction of the next picture after filtering as described below.
  • the filtering unit (240) can improve subjective/objective image quality by applying filtering to the restoration signal.
  • the filtering unit (240) can apply various filtering methods to the restoration picture to generate a modified restoration picture, and store the modified restoration picture in the memory (250), specifically, in the DPB of the memory (250).
  • the various filtering methods can include, for example, deblocking filtering, sample adaptive offset, adaptive loop filter, bilateral filter, etc.
  • the (corrected) reconstructed picture stored in the DPB of the memory (250) can be used as a reference picture in the inter prediction unit (260).
  • the memory (250) can store motion information of a block from which motion information in the current picture is derived (or decoded) and/or motion information of blocks in a picture that has already been reconstructed.
  • the stored motion information can be transferred to the inter prediction unit (260) to be used as motion information of a spatial neighboring block or motion information of a temporal neighboring block.
  • the memory (250) can store reconstructed samples of reconstructed blocks in the current picture and transfer them to the intra prediction unit (265).
  • the embodiments described in the filtering unit (160), the inter prediction unit (180), and the intra prediction unit (185) of the image encoding device (100) can be applied identically or correspondingly to the filtering unit (240), the inter prediction unit (260), and the intra prediction unit (265) of the image decoding device (200), respectively.
  • NNPFC Neural-network post-filter characteristics
  • the NNPFC syntax structures of Tables 1 to 3 can be signaled in the form of a supplemental enhancement information (SEI) message.
  • SEI Supplemental Enhancement Information
  • An SEI message signaling the NNPFC syntax structures of Tables 1 to 3 can be referred to as an NNPFC SEI message.
  • the NNPFC SEI message can specify a neural network that can be used as a post-processing filter.
  • the use of specific post-processing filters for specific pictures can be indicated using neural-network post-filter activation (NNPFA) SEI messages.
  • NNPFA neural-network post-filter activation
  • 'post-processing filter' and 'post filter' can have the same meaning.
  • SEI messages may require defining the following variables:
  • the width and height of the input picture can be cropped in luma sample units, and this width and height can be expressed as CroppedWidth and CroppedHeight, respectively.
  • CroppedYPic[idx] which is an array of luma samples of input pictures
  • CroppedCbPic[idx] and CroppedCrPic[idx] which are arrays of chroma samples
  • the index idx can have a range from 0 to numInputPics-1.
  • BitDepth Y can represent the bit depth of the luma sample array of input pictures.
  • BitDepth C can indicate the bit depth of the chroma sample arrays of the input pictures, if they exist.
  • ChromaFormatIdc can represent a chroma format identifier.
  • nnpfc_auxiliary_inp_idc When the value of nnpfc_auxiliary_inp_idc is 1, the array of filtering strength control values for input pictures, StrengthControlVal[idx], must contain real numbers in the range of 0 to 1, and the index idx can have a range of 0 to numInputPics-1.
  • An input picture having index 0 may correspond to a picture whose NNPF defined by the NNPFC SEI message is activated by the NNPFA SEI message.
  • An input picture whose index i is in the range of 1 to numInputPics - 1 may have precedence over an input picture having index i-1 in the output order.
  • nnpfc_purpose may indicate a purpose of the NNPF as shown in Table 4.
  • a non-zero ( nnpfc_purpose & bitMask ) may indicate that the NNPF in Table 4 has a purpose associated with the bitMask value. If nnpfc_purpose is greater than 0 and ( nnpfc_purpose & bitMask ) is equal to 0, the purpose associated with the bitMask value may not be applicable to the NNPF. If nnpfc_purpose is equal to 0, the NNPF may be used at the discretion of the application.
  • the value of nnpfc_purpose may be constrained to be in the range of 0 to 63 in the bitstream. The values in the range of 64 to 65 535 for nnpfc_purpose may be reserved for future use. Decoders shall ignore NNPFC SEI messages with nnpfc_purpose in the range of 64 to 65 535.
  • variable chromaUpsamplingFlag indicating whether the purpose of the NNPF indicated by nnpfc_purpose is chroma upsampling
  • variable resolutionResamplingFlag indicating whether the purpose of the NNPF indicated by nnpfc_purpose is resolution resampling
  • variable pictureRateUpsamplingFlag indicating whether the purpose of the NNPF indicated by nnpfc_purpose is picture rate upsampling
  • the variable bitDepthUpsamplingFlag indicating whether the purpose of the NNPF indicated by nnpfc_purpose is bit depth upsampling
  • variable colourizationFlag indicating whether the purpose of the NNPF indicated by nnpfc_purpose is colourization
  • ChromaFormatIdc When ChromaFormatIdc is equal to 3, chromaUpsamplingFlag may be constrained to be equal to 0. When ChromaFormatIdc or chromaUpsamplingFlag is not equal to 0, colourizationFlag may be constrained to be equal to 0.
  • pictureRateUpsamplingFlag is equal to 1 and the input picture with index 0 is associated with a frame packing array SEI message with fp_arrangement_type equal to 5
  • all input pictures may be associated with frame packing array SEI messages with fp_arrangement_type equal to 5 and fp_current_frame_is_frame0_flag equal to 0.
  • nnpfc_id may contain an identification number that can be used to identify the NNPF.
  • the nnpfc_id value must be in the range of 0 to 2 32 - 2, inclusive.
  • the nnpfc_id values in the range of 256 to 511 and in the range of 2 31 to 2 32 - 2 may be reserved for future use. Decoders should ignore NNPFC SEI messages with nnpfc_id in the range of 256 to 511 or in the range of 2 31 to 2 32 - 2.
  • the NNPFC SEI message is the first NNPFC SEI message in decoding order with a particular nnpfc_id value within the current CLVS, the following may apply:
  • the above SEI message can represent a base NNPF.
  • the above SEI message can be associated with the current decoded picture and all subsequent decoded pictures of the current layer until the end of the current CLVS, in output order.
  • An NNPFC SEI message may be a repetition of a previous NNPFC SEI message within the current CLVS in decoding order, and subsequent semantics may apply as if this SEI message were the only NNPFC SEI message with identical content within the current CLVS.
  • a value of nnpfc_mode_idc of 0 indicates that the SEI message may contain a bitstream representing the default NNPF, or may represent an update relative to the default NNPF with the same nnpfc_id value.
  • a value of 1 in nnpfc_mode_idc may indicate that the underlying NNPF associated with the nnpfc_id value is a neural network, wherein the neural network may be a neural network identified by a URI denoted by nnpfc_uri using a format identified by a tag URI nnpfc_tag_uri.
  • nnpfc_mode_idc 1 can indicate that updates relative to the underlying NNPF with the same nnpfc_id value are defined by a URI denoted by nnpfc_uri using a format identified by a tag URI nnpfc_tag_uri.
  • a value of nnpfc_base_flag of 1 can indicate that the SEI message represents a base NNPF.
  • a value of nnpfc_base_flag of 0 can indicate that the SEI message represents an update related to the base NNPF.
  • nnpfc_base_flag nnpfc_base_flag
  • nnpfc_base_flag may be equal to 1.
  • the NNPFC SEI message may correspond to a repetition of the first NNPFC SEI message nnpfcA with the same nnpfc_id in decoding order. That is, the payload content of nnpfcB may be identical to the payload content of nnpfcA.
  • nnpfc_base_flag 0
  • This SEI message can define updates relative to a primary NNPF preceding it in decoding order using the same nnpfc_id value.
  • the updates are not cumulative, but each update can be applied to the primary NNPF, which is the NNPF specified in the first NNPFC SEI message in decoding order with the given nnpfc_id value within the current CLVS.
  • An NNPF defined by this SEI message can be obtained by applying updates defined by SEI messages relative to a primary NNPF with the same nnpfc_id value.
  • This SEI message may be associated with the current decoded picture and all subsequent decoded pictures up to the end of the current CLVS in output order of the current layer, excluding decoded pictures that follow the current decoded picture in output order within the current CLVS.
  • This SEI message may be associated with a subsequent NNPFC SEI message in decoding order that has nnpfc_base_flag equal to 0 and has an earlier value of a particular nnpfc_id within the current CLVS.
  • a value of nnpfc_mode_idc of 0 may indicate that the SEI message contains a bitstream representing a base NNPF (if the value of nnpfc_base_flag is 1) or an update to a base NNPF with the same nnpfc_id value (if the value of nnpfc_base_flag is 0).
  • an nnpfc_mode_idc may indicate that the base NNPF associated with the value of nnpfc_id is associated with a neural network identified by a URI, where the URI may be indicated by nnpfc_uri in a format indicated by a tag URI nnpfc_tag_uri.
  • nnpfc_mode_idc 1 may indicate that the update associated with the base NNPF of the same nnpfc_id value is defined by a URI, where the URI may be indicated by an nnpfc_uri in the format indicated by the tag URI nnpfc_tag_uri.
  • nnpfc_mode_idc may be constrained to the range 0 to 1 in the bitstream. Values for nnpfc_mode_idc in the range 2 to 255 are reserved for future use and may not be present in the bitstream. Decoders must ignore NNPFC SEI messages with nnpfc_mode_idc in the range 2 to 255. Values of nnpfc_mode_idc greater than 255 are not present in the bitstream and may not be reserved for future use.
  • nnpfc_reserved_zero_bit_a may be restricted to have a value equal to 0 due to bitstream restrictions. Decoders may be restricted to ignore NNPFC SEI messages with a non-zero value of nnpfc_reserved_zero_bit_a.
  • the nnpfc_tag_uri can contain a tag URI with syntax and semantics specified in IETF RFC 4151 that identifies a neural network that serves as the primary NNPF, or an update to the primary NNPF using the nnpfc_id value specified by the nnpfc_uri.
  • the nnpfc_tag_uri allows for uniquely identifying the format of the neural network data specified by the nnrpf_uri without the need for a central registry authority.
  • An nnpfc_tag_uri equal to "tag:iso.org,2023:15938-17" can indicate that the neural network data identified by the nnpfc_uri complies with ISO/IEC 15938-17.
  • nnpfc_uri MAY contain a URI with syntax and semantics specified in IETF Internet Standard 66 that identifies a neural network that is used as the primary NNPF, or an update related to the primary NNPF that uses the same nnpfc_id value.
  • a value of nnpfc_property_present_flag of 1 may indicate the presence of syntax elements related to filter purpose, input formatting, output formatting and complexity.
  • a value of nnpfc_property_present_flag of 0 may indicate the absence of syntax elements related to filter purpose, input formatting, output formatting and complexity. If the value of nnpfc_base_flag is 1, nnpfc_property_present_flag may be constrained to have a value of 1.
  • nnpfc_property_present_flag 0
  • the values of all syntax elements that can be present only when the value of nnpfc_property_present_flag is 1 may be inferred to be equal to the values of their corresponding syntax elements in the NNPFC SEI message containing the base NNPF to which the SEI message provides an update.
  • nnpfcCurr is not the first NNPFC SEI message with a particular nnpfc_id value within the current CLVS in decoding order, is not a repeat of the first NNPFC SEI message with a particular nnpfc_id value (i.e., nnpfc_base_flag is 0), and nnpfc_property_present_flag is 1, the following restrictions may apply:
  • nnpfc_purpose in a NNPFC SEI message must be identical to the value of nnpfc_purpose in the first NNPFC SEI message with a particular nnpfc_id value within the current CLVS in decoding order.
  • nnpfc_base_flag and preceding nnpfc_complexity_info_present_flag in the NNPFC SEI message must be identical to the values of the corresponding syntax elements in the first NNPFC SEI message with a particular nnpfc_id value within the current CLVS in decoding order.
  • the nnpfc_complexity_info_present_flag in the first NNPFC SEI message with a specific nnpfc_id value within the current CLVS must be equal to 0 or all 1s, and the following may apply:
  • nnpfc_parameter_parameter_type_idc in nnpfcCurr must be identical to nnpfc_parameter_parameter_type_idc in nnpfcBase.
  • nnpfc_log2_parameter_bit_length_minus3 exists in nnpfcCurr
  • nnpfc_log2_parameter_bit_length_minus3 in nnpfcCurr must be less than or equal to nnpfc_log2_parameter_bit_length_minus3 in nnpfcBase.
  • nnpfc_num_parameters_idc in nnpfcBase is equal to 0, nnpfc_num_parameters_idc in nnpfcCurr must be equal to 0.
  • nnpfc_num_parameters_idc in nnpfcBase is greater than 0
  • nnpfc_num_parameters_idc in nnpfcCurr must be greater than 0 or less than or equal to nnpfc_num_parameters_idc in nnpfcBase.
  • nnpfc_num_kmac_operations_idc in nnpfcBase is equal to 0
  • nnpfc_num_kmac_operations_idc in nnpfcCurr must be equal to 0.
  • nnpfc_num_kmac_operations_idc in nnpfcBase is greater than 0
  • nnpfc_num_kmac_operations_idc in nnpfcCurr must be greater than 0 and less than or equal to nnpfc_num_kmac_operations_idc in nnpfcBase.
  • nnpfc_total_kilobyte_size in nnpfcBase is equal to 0, nnpfc_total_kilobyte_size in nnpfcCurr must be equal to 0.
  • nnpfc_total_kilobyte_size in nnpfcBase is greater than 0
  • nnpfc_total_kilobyte_size in nnpfcCurr must be greater than 0 or less than or equal to nnpfc_total_kilobyte_size in nnpfcBase.
  • nnpfc_num_input_pics_minus1 + 1 may represent the number of decoded output pictures used as input of NNPF.
  • the value of nnpfc_num_input_pics_minus1 may be constrained to be in the range of 0 to 63.
  • the value of pictureRateUpsamplingFlag is 1, the value of nnpfc_num_input_pics_minus1 may be constrained to be greater than 0.
  • variable numInputPics which represents the number of pictures used as input to NNPF, can be derived as in mathematical expression 1.
  • nnpfc_input_pic_output_flag[ i ] may indicate that NNPF generates the corresponding output picture for the i-th input picture.
  • the value 0 of nnpfc_input_pic_output_flag[ i ] may indicate that NNPF does not generate the corresponding output picture for the i-th input picture. If the value of nnpfc_num_input_pics_minus1 is 0, the value of nnpfc_input_pic_output_flag[ 0 ] may be inferred as 1.
  • nnpfc_input_pic_output_flag[ i ] may be constrained to be equal to 1 for at least one value of i in the range from 0 to nnpfc_num_input_pics_minus1.
  • nnpfc_input_pic_output_flag[ i ] may be referred to as nnpfc_input_pic_filtering_flag[ i ].
  • a value of nnpfc_absent_input_pic_zero_flag of 1 can indicate that NNPF expects that an input picture that is not present in the bitstream is represented by sample arrays having sample values of 0.
  • a value of nnpfc_absent_input_pic_zero_flag of 0 can indicate that NNPF expects that an input picture that is not present in the bitstream is represented by the input picture that is closest in output order in the bitstream.
  • nnpfc_out_sub_c_flag can indicate the values of variables outSubWidthC and outSubHeightC when the value of chromaUpsamplingFlag is 0.
  • the value 1 of nnpfc_out_sub_c_flag can indicate that the value of outSubWidthC is 1 and the value of outSubHeightC is 1.
  • the value 0 of nnpfc_out_sub_c_flag can indicate that the value of outSubWidthC is 2 and the value of outSubHeightC is 1.
  • nnpfc_out_colour_format_idc can represent the color format of the NNPF output and the values of the variables outSubWidthC and outSubHeightC accordingly when the value of colourizationFlag is 1.
  • the value 1 of nnpfc_out_colour_format_idc can indicate that the color format of the NNPF output is a 4:2:0 format and that outSubWidthC and outSubHeightC are both equal to 2.
  • the value 2 of nnpfc_out_colour_format_idc can indicate that the color format of the NNPF output is a 4:2:2 format, that outSubWidthC is 2, and that outSubHeightC is 1.
  • nnpfc_out_colour_format_idc can indicate that the color format of the NNPF output is a 4:4:4 format and that outSubWidthC and outSubHeightC are both 1.
  • the value of nnpfc_out_colour_format_idc may be constrained to not be equal to 0. If both chromaUpsamplingFlag and colourizationFlag are equal to 0, then outSubWidthC and outSubHeightC may be inferred to be equal to SubWidthC and SubHeightC, respectively.
  • nnpfc_pic_width_num_minus1+1 and nnpfc_pic_width_denom_minus1+1 can represent the numerator and denominator for the resampling ratio of the NNPF output picture width for CroppedWidth, respectively.
  • ( nnpfc_pic_width_num_minus1 + 1 ) divided by ( nnpfc_pic_width_denom_minus1 + 1 ) must be in the range of 1/16 to 16, inclusive.
  • nnpfc_pic_width_num_minus1 and nnpfc_pic_width_denom_minus1 do not exist, both nnpfc_pic_width_num_minus1 and nnpfc_pic_width_denom_minus1 can be inferred to be 0.
  • variable nnpfcOutputPicWidth represents the width of the luma sample arrays of the picture(s) corresponding to the result of applying the NNPF identified by nnpfc_id to the input picture(s), and can be derived as in mathematical expression 2.
  • nnpfcOutputPicWidth The remainder of nnpfcOutputPicWidth divided by outSubWidthC must be 0.
  • nnpfc_pic_height_num_minus1+1 and nnpfc_pic_height_denom_minus1+1 can represent the numerator and denominator for the resampling ratio of the NNPF output picture height with respect to CroppedHeight, respectively.
  • the value of ( nnpfc_pic_height_num_minus1 + 1 ) divided by ( nnpfc_pic_height_denom_minus1 + 1 ) must be in the range of 1/16 to 16, inclusive.
  • nnpfc_pic_height_num_minus1 and nnpfc_pic_height_denom_minus1 do not exist, both nnpfc_pic_height_num_minus1 and nnpfc_pic_height_denom_minus1 can be inferred to be 0.
  • variable nnpfcOutputPicHeight represents the height of the luma sample arrays of the picture(s) corresponding to the result of applying the NNPF identified by nnpfc_id to the input picture(s), and can be derived as in mathematical expression 3.
  • nnpfcOutputPicHeight The remainder of nnpfcOutputPicHeight divided by outSubHeightC must be equal to 0.
  • nnpfc_pic_width_num_minus1, nnpfc_pic_width_denom_minus1, nnpfc_pic_height_num_minus1, and nnpfc_pic_height_denom_minus1 exist, at least one of the following constraints must be true:
  • nnpfcOutputPicWidth is not equal to CroppedWidth
  • nnpfcOutputPicHeight is not equal to CroppedHeight
  • nnpfc_interpolated_pics[ i ] may represent the number of interpolated pictures generated by NNPF between the i-th picture used as input of NNPF and the (i + 1)-th picture.
  • the value of nnpfc_interpolated_pics[ i ] may be constrained to be within the range of 0 to 63.
  • the value of nnpfc_interpolated_pics[ i ] may be constrained to be greater than 0 for at least one i within the range of 0 to nnpfc_num_input_pics_minus1 - 1.
  • a variable NumInpPicsInOutputTensor representing the number of pictures that have corresponding input pictures and exist in the output tensor of NNPF, a variable InpIdx[ idx ] representing the input picture index of the idx-th picture that has corresponding input pictures and exists in the output tensor of NNPF, and a variable numOutputPics representing the total number of pictures that exist in the output tensor of NNPF can be derived as shown in Table 6.
  • nnpfc_component_last_flag 1 can indicate that the last dimension of the input tensor inputTensor for NNPF and the output tensor outputTensor which is the result of NNPF are used for the current channel.
  • the value of nnpfc_component_last_flag 0 can indicate that the third dimension of the input tensor inputTensor for NNPF and the output tensor outputTensor which is the result of NNPF are used for the current channel.
  • the first dimensions of the input tensor and the output tensor can be used for the batch index used in some neural network frameworks.
  • the formula in the semantics of this SEI message uses the batch size corresponding to the batch index equal to 0, but it can be determined by the implementation of the postprocessing to determine the batch size used as input for neural network inference. For example, when the value of nnpfc_inp_order_idc is 3 and the value of nnpfc_auxiliary_inp_idc is 1, the input tensor can have 7 channels, including 4 luma matrices, 2 chroma matrices, and 1 auxiliary input matrix. In this case, the DeriveInputTensors() process can derive each of the 7 channels of the input tensor one by one, and when a particular channel among these channels is processed, that channel can be referred to as the current channel during the process.
  • nnpfc_inp_format_idc can indicate how to convert the sample values of the input picture into the input values of NNPF.
  • the input values of NNPF can be real numbers, and the functions InpY( ) and InpC( ) can be expressed as in mathematical expression 4.
  • nnpfc_inp_format_idc the input values of NNPF are unsigned integer numbers, and the functions InpY() and InpC() can be derived as shown in Table 7.
  • variable inpTensorBitDepth Y can be derived from the syntax element nnpfc_inp_tensor_luma_bitdepth_minus8 described below.
  • inpTensorBitDepth C can be derived from the syntax element nnpfc_inp_tensor_chroma_bitdepth_minus8 described below.
  • Values of nnpfc_inp_format_idc greater than 1 are reserved for future use and must not be present in the bitstream. Decoders must ignore NNPFC SEI messages containing reserved values of nnpfc_inp_format_idc.
  • a nnpfc_auxiliary_inp_idc greater than 0 may indicate the presence of auxiliary input data in the input tensor of NNPF.
  • a value of 0 for nnpfc_auxiliary_inp_idc may indicate that the auxiliary input data is not present in the input tensor.
  • a value of 1 for nnpfc_auxiliary_inp_idc may indicate that the auxiliary input data is derived by the methods shown in Tables 10 to 12.
  • the value of nnpfc_auxiliary_inp_idc shall be in the range of 0 to 1 in the bitstream.
  • the values 2 to 255 for nnpfc_auxiliary_inp_idc are reserved for future use and shall not be present in the bitstream.
  • Decoders shall ignore NNPFC SEI messages with nnpfc_auxiliary_inp_idc in the range of 2 to 255. Values of nnpfc_auxiliary_inp_idc greater than 255 are not present in the bitstream and are reserved for future use.
  • nnpfc_inp_order_idc may indicate how to order the sample arrays of an input picture to form an input tensor for NNPF.
  • the value of nnpfc_inp_order_idc shall be in the range of 0 to 3 in the bitstream.
  • the values of nnpfc_inp_order_idc in the range of 4 to 255 may be reserved for future use and may not be present in the bitstream. Decoders shall ignore NNPFC SEI messages with nnpfc_inp_order_idc in the range of 4 to 255.
  • the values of nnpfc_inp_order_idc greater than 255 are not present in the bitstream and are not reserved for future use.
  • nnpfc_inp_order_idc shall not be 3 if the value of ChromaFormatIdc is not 1. If the value of ChromaFormatIdc is 0, the value of nnpfc_inp_order_idc must be 3. If the value of chromaUpsamplingFlag is 1, the value of nnpfc_inp_order_idc must not be 0.
  • Table 8 describes the nnpfc_inp_order_idc values.
  • nnpfc_inp_tensor_luma_bitdepth_minus8+8 can represent the bit depth of luma sample values in the input integer tensor.
  • inpTensorBitDepth Y can be derived as shown in Equation 5.
  • nnpfc_inp_tensor_luma_bitlength_minus8 may be constrained to be in the range of 0 to 24.
  • nnpfc_inp_tensor_chroma_bitdepth_minus8+8 can represent the bit depth of chroma sample values in the input integer tensor.
  • the value of inpTensorBitDepthC can be derived as in mathematical expression 6.
  • nnpfc_inp_tensor_chroma_bitdepth_minus8 may be constrained to be in the range of 0 to 24.
  • variable strengthControlScaledVal can be derived as shown in Table 9.
  • a patch may be a rectangular array of samples from components of a picture (e.g., luma or chroma components).
  • the process DeriveInputTensors() for deriving an input tensor inputTensor for given vertical sample coordinates cTop and horizontal sample coordinates cLeft, which represent the upper-left sample location of the sample patch contained in the input tensor, can be represented as a combination of Tables 10 to 12.
  • a value of nnpfc_out_format_idc of 0 can indicate that the sample values output by NNPF are real numbers whose value range from 0 to 1 is linearly mapped to an unsigned integer value range from 0 to (1 ⁇ bitDepth) - 1, for the bit depth bitDepth required for subsequent postprocessing or display.
  • a value of nnpfc_out_format_idc of 1 can indicate that the luma sample values output by the NNPF are unsigned integers in the range 0 to (1 ⁇ outTensorBitDepth Y ) - 1, and that the chroma sample values output by the NNPF are unsigned integers in the range 0 to (1 ⁇ (1 ⁇ outTensorBitDepth C ) - 1.
  • Values of nnpfc_out_format_idc greater than 1 are reserved for future use and shall not be present in the bitstream. Decoders should ignore NNPFC SEI messages containing reserved values of nnpfc_out_format_idc.
  • nnpfc_out_order_idc can indicate the output order of samples output from the NNPF.
  • the value of nnpfc_out_order_idc must be in the range of 0 to 3 in the bitstream. Values of nnpfc_out_order_idc in the range of 4 to 255 are reserved for future use and may not be present in the bitstream. Decoders must ignore NNPFC SEI messages with nnpfc_out_order_idc in the range of 4 to 255. Values of nnpfc_out_order_idc greater than 255 are not present in the bitstream and are not reserved for future use.
  • chromaUpsamplingFlag 1
  • nnpfc_out_order_idc 1
  • colourizationFlag 1
  • Table 13 describes the values of nnpfc_out_order_idc.
  • nnpfc_out_tensor_luma_bitdepth_minus8+8 can represent the bit depth of luma sample values in the output integer tensor.
  • the value of nnpfc_out_tensor_luma_bitdepth_minus8 must be in the range of 0 to 24.
  • the value of outTensorBitDepth Y can be derived as shown in Equation 7.
  • nnpfc_out_tensor_chroma_bitdepth_minus8+8 can represent the bit depth of chroma sample values in the output integer tensor.
  • the value of nnpfc_out_tensor_chroma_bitdepth_minus8 must be in the range of 0 to 24.
  • the value of outTensorBitDepth C can be derived as shown in Equation 8.
  • bitDepthUpsamplingFlag 1
  • bitDepthUpsamplingFlag 1
  • bitDepthUpsamplingFlag 1
  • nnpfc_out_format_idc 1
  • outTensorBitDepth Y is greater than inpTensorBitDepth Y , then outTensorBitDepth C must not be less than inpTensorBitDepth C.
  • outTensorBitDepth C is greater than inpTensorBitDepth C , then outTensorBitDepth Y must not be less than inpTensorBitDepth Y.
  • StoreOutputTensors( ) can be represented as a combination of Tables 14 and 15.
  • a value of 1 for nnpfc_separate_colour_description_present_flag may indicate that a distinct combination of colour primaries, transform characteristics, matrix coefficients, and scaling and offset values for a picture due to NNPF is specified in the SEI message syntax structure.
  • a value of 0 for nnfpc_separate_colour_description_present_flag may indicate that the combination of colour primaries, transform characteristics, matrix coefficients, and scaling and offset values for a picture due to NNPF is the same as indicated in the VUI parameters for CLVS.
  • nnpfc_colour_primaries may have the same semantics as defined for the vui_colour_primaries syntax element, except that:
  • - nnpfc_colour_primaries can represent the primary colors of a picture that result from applying NNPF specified in the SEI message, rather than the primary colors used in CLVS.
  • nnpfc_colour_primaries does not exist in the NNPFC SEI message, the value of nnpfc_colour_primaries can be inferred to be equal to the value of vui_colour_primaries.
  • nnpfc_transfer_characteristics can have the same semantics as defined for the vui_transfer_characteristics syntax element, except that:
  • - nnpfc_transfer_characteristics can indicate the transfer characteristics of a picture that results from applying NNPF specified in the SEI message, rather than the transfer characteristics used in CLVS.
  • nnpfc_transfer_characteristics If nnpfc_transfer_characteristics does not exist in the NNPFC SEI message, the value of nnpfc_transfer_characteristics can be inferred to be the same as the value of vui_transfer_characteristics.
  • nnpfc_matrix_coeffs can describe the equations used to derive luma and chroma signals from green, blue and red or Y, Z and X primaries.
  • the semantics of nnpfc_matrix_coeffs can be applied to pictures resulting from applying NNPF specified in the SEI message, and BitDepth Y and BitDepth C can be equal to outTensorBitDepth Y and outTensorBitDepth C respectively as indicated for MatrixCoefficients.
  • nnpfc_matrix_coeffs If nnpfc_matrix_coeffs is not present in the NNPFC SEI message, the value of nnpfc_matrix_coeffs can be inferred equal to vui_matrix_coeffs.
  • nnpfc_matrix_coeffs must not be equal to 0 unless the following conditions are met:
  • nnpfc_out_tensor_chroma_bitdepth_minus8 is equivalent to nnpfc_out_tensor_luma_bitdepth_minus8
  • outSubHeightC is equal to 1
  • outSubWidthC is equal to 1.
  • nnpfc_matrix_coeffs must not be equal to 8 unless one of the following conditions is met:
  • nnpfc_out_tensor_chroma_bitdepth_minus8 is equivalent to nnpfc_out_tensor_luma_bitdepth_minus8
  • nnpfc_out_tensor_chroma_bitdepth_minus8 is equal to nnpfc_out_tensor_luma_bitdepth_minus8+1
  • nnpfc_out_order_idc is equal to 2
  • outSubHeightC is equal to 2
  • outSubWidthC is equal to 1.
  • nnpfc_full_range_flag can indicate scaling and offset values applied with respect to matrix coefficients as specified by nnpfc_matrix_coeffs.
  • the semantics of nnpfc_full_range_flag can be the same as specified for VideoFullRangeFlag. If nnpfc_full_range_flag is not present, the value of nnpfc_full_range_flag can be inferred to be equal to 0.
  • a value of nnpfc_chroma_loc_info_present_flag of 1 may indicate that the nnpfc_chroma_sample_loc_type_frame syntax element is present in the NNPFC SEI message.
  • a value of nnpfc_chroma_loc_info_present_flag of 0 may indicate that the nnpfc_chroma_sample_loc_type_frame syntax element is not present in the NNPFC SEI message.
  • the value of nnpfc_chroma_loc_info_present_flag may be constrained to be equal to 0 when the value of colourizationFlag is 0 or nnpfc_out_colour_format_idc is not 1.
  • nnpfc_chroma_sample_loc_type_frame may indicate the locations of chroma samples of the output pictures. If nnpfc_chroma_sample_loc_type_frame is equal to 6 and nnpfc_out_colour_format_idc is equal to 1, it may indicate that the locations of the chroma samples are unknown, unspecified, or otherwise specified.
  • the value of nnpfc_chroma_sample_loc_type_frame must be in the range 0 to 6, inclusive.
  • nnpfc_overlap can indicate the number of overlapping horizontal and vertical samples of adjacent input tensors of NNPF.
  • the value of nnpfc_overlap must be in the range of 0 to 16 383.
  • a value of nnpfc_constant_patch_size_flag of 1 can indicate that NNPF takes as input exactly the patch size indicated by nnpfc_patch_width_minus1 and nnpfc_patch_height_minus1.
  • a value of nnpfc_constant_patch_size_flag of 0 can indicate that NNPF takes as input an arbitrary patch size with width inpPatchWidth and height inpPatchHeight.
  • the width of the extended patch (i.e., the patch plus the overlapping area) equal to inpPatchWidth+2*nnpfc_overlap is a positive integer multiple of nnpfc_extended_patch_width_cd_delta_minus1+1+2*nnpfc_overlap
  • the height of the extended patch equal to inpPatchHeight+2*nnpfc_overlap is a positive integer multiple of nnpfc_extended_patch_height_cd_delta_minus1+1+2*nnpfc_overlap.
  • npfc_patch_width_minus1+1 can represent the number of horizontal samples of the patch size required for the input of NNPF when the value of nnpfc_constant_patch_size_flag is 1.
  • the value of nnpfc_patch_width_minus1 must be in the range of 0 to Min(32 766, CroppedWidth - 1).
  • npfc_patch_height_minus1+1 can represent the number of vertical samples of the patch size required for the input of NNPF when the value of nnpfc_constant_patch_size_flag is 1.
  • the value of nnpfc_patch_height_minus1 must be in the range of 0 to Min(32 766, CroppedHeight - 1).
  • nnpfc_extended_patch_width_cd_delta_minus1+1+2*nnpfc_overlap can represent the common divisor of the allowed values of extended patch widths required to be input to NNPF when the value of nnpfc_constant_patch_size_flag is 0.
  • the value of nnpfc_extended_patch_width_cd_delta_minus1 must be in the range of 0 to Min(32 766, CroppedWidth - 1).
  • nnpfc_extended_patch_height_cd_delta_minus1+1+2*nnpfc_overlap can represent the common divisor of the allowed values of extended patch heights required to be input to NNPF when the value of nnpfc_constant_patch_size_flag is 0.
  • the value of nnpfc_extended_patch_height_cd_delta_minus1 must be in the range of 0 to Min(32 766, CroppedHeight - 1).
  • inpPatchWidth and inpPatchHeight can be set to the patch size width and patch size height respectively.
  • nnpfc_constant_patch_size_flag 0
  • inpPatchWidth and inpPatchHeight can be provided by external means or set by the post-processor.
  • inpPatchWidth+2*nnpfc_overlap must be a positive integer multiple of nnpfc_extended_patch_width_cd_delta_minus1+1+2*nnpfc_overlap, and inpPatchWidth must be less than or equal to CroppedWidth.
  • the value of inpPatchHeight+2*nnpfc_overlap must be a positive integer multiple of nnpfc_extended_patch_height_cd_delta_minus1+1+2*nnpfc_overlap, and inpPatchHeight must be less than or equal to CroppedHeight.
  • the value of inpPatchWidth may be set equal to nnpfc_patch_width_minus1+1, and the value of inpPatchHeight may be set equal to nnpfc_patch_height_minus1+1.
  • outPatchWidth, outPatchHeight, horCScaling, verCScaling, outPatchCWidth, and outPatchCHeight can be derived as shown in Table 16.
  • outPatchWidth * CroppedWidth must equal nnpfcOutputPicWidth * inpPatchWidth
  • outPatchHeight * CroppedHeight must equal nnpfcOutputPicHeight * inpPatchHeight.
  • nnpfc_padding_type can indicate the padding process when referencing sample positions outside the boundary of the input picture as described in Table 17.
  • the value of nnpfc_padding_type shall be in the range of 0 to 4, inclusive.
  • the values 5 to 15 for nnpfc_padding_type may be reserved for future use and may not be present in the bitstream.
  • a decoder shall ignore NNPFC SEI messages with nnpfc_padding_type in the range of 5 to 15.
  • the values of nnpfc_padding_type exceeding 15 shall not be present in the bitstream and may not be reserved for future use.
  • nnpfc_luma_padding_val can indicate the luma value to use for padding when the value of nnpfc_padding_type is 4.
  • the value of nnpfc_luma_padding_val must be in the range of 0 to (1 ⁇ BitDepthY) - 1.
  • nnpfc_cb_padding_val can indicate the Cb value to be used for padding when the value of nnpfc_padding_type is 4.
  • the value of nnpfc_cb_padding_val must be in the range of 0 to (1 ⁇ BitDepthC) - 1.
  • nnpfc_cr_padding_val can indicate the Cr value to use for padding when the value of nnpfc_padding_type is 4.
  • the value of nnpfc_cr_padding_val must be in the range of 0 to (1 ⁇ BitDepthC) - 1.
  • NNPF PostProcessingFilter( ) may be a target NNPF derived from the semantics of the NNPFA SEI message.
  • the process of Table 19 can be used to filter in a patch-wise manner using NNPF PostProcessingFilter() to generate a filtered and/or interpolated picture, wherein the filtered and/or interpolated picture can include a Y sample array FilteredYPic, a Cb sample array FilteredCbPic and a Cr sample array FilteredCrPic as indicated by nnpfc_out_order_idc.
  • An NNPF-generated picture with index i may contain sample arrays FilteredYPic[ i ], FilteredCbPic[ i ] and FilteredCrPic[ i ], if any.
  • An NNPF-generated picture may not contain overlapping regions.
  • the NNPF process consists of outputting NNPF generated pictures in the order of increasing indices according to the process defined in Table 19, where all NNPF generated pictures interpolated by the NNPF are output and all NNPF generated pictures corresponding to pictures input to the NNPF can be output as specified in the semantics of the NNPFA SEI message.
  • a value of 1 for nnpfc_complexity_info_present_flag may indicate the presence of one or more syntax elements indicating the complexity of the NNPF associated with the nnpfc_id.
  • a value of 0 for nnpfc_complexity_info_present_flag may indicate that no syntax elements indicating the complexity of the NNPF associated with the nnpfc_id are present.
  • a value of nnpfc_parameter_type_idc of 0 can indicate that the network uses only integer parameters.
  • a value of nnpfc_parameter_type_flag of 1 can indicate that the network can use either floating-point or integer parameters.
  • a value of nnpfc_parameter_type_idc of 2 can indicate that the network uses only binary parameters.
  • a value of nnpfc_parameter_type_idc of 3 is reserved for future use and is not present in the bitstream. Decoders should ignore NNPFC SEI messages with a value of nnpfc_parameter_type_idc of 3.
  • nnpfc_log2_parameter_bit_length_minus3 can indicate that the neural network does not use parameters with bit length greater than 8, 16, 32, and 64, respectively. If nnpfc_parameter_type_idc exists and nnpfc_log2_parameter_bit_length_minus3 does not exist, the neural network may not use parameters with bit length greater than 1.
  • nnpfc_num_parameters_idc can represent the maximum number of neural network parameters for NNPF in units of powers of 2 048.
  • a value of nnpfc_num_parameters_idc of 0 can indicate that the maximum number of neural network parameters is unknown.
  • the value of nnpfc_num_parameters_idc must be in the range of 0 to 52. Values of nnpfc_num_parameters_idc greater than 52 must not be present in the bitstream. Decoders should ignore NNPFC SEI messages with nnpfc_num_parameters_idc greater than 52.
  • variable maxNumParameters can be derived as in mathematical expression 9.
  • the number of neural network parameters in NNPF can be limited to be less than or equal to maxNumParameters.
  • a value of nnpfc_num_kmac_operations_idc greater than 0 may indicate that the maximum number of multiply-accumulate operations per sample of the NNPF is less than or equal to nnpfc_num_kmac_operations_idc * 1 000.
  • a value of nnpfc_num_kmac_operations_idc of 0 may indicate that the maximum number of multiply-accumulate operations of the network is not known.
  • the value of nnpfc_num_kmac_operations_idc must be in the range of 0 to 2 32 - 2, inclusive.
  • a value of nnpfc_total_kilobyte_size greater than 0 can indicate the total size (in kilobytes) required to store the uncompressed parameters of the neural network.
  • the total size in bits can be a number greater than or equal to the sum of the bits used to store each parameter.
  • nnpfc_total_kilobyte_size can be the total size (in bits) divided by 8 000, rounded up.
  • a value of nnpfc_total_kilobyte_size of 0 can indicate that the total size required to store the parameters for the neural network is not known.
  • the value of nnpfc_total_kilobyte_size must be in the range 0 to 2 32 - 2, inclusive.
  • a value of nnpfc_metadata_extension_num_bits of 0 can indicate that no nnpfc_reserved_metadata_extension exists.
  • a value of nnpfc_metadata_extension_num_bits greater than 0 can indicate the length (in bits) of the nnpfc_reserved_metadata_extension.
  • nnpfc_metadata_extension_num_bits must be equal to 0. Values in the range 1 to 2 048 for nnpfc_metadata_extension_num_bits are reserved for future use and may not be present in the bitstream.
  • Decoders may accept any value of nnpfc_metadata_extension_num_bits in the range 0 to 2 048. Values of nnpfc_metadata_extension_num_bits greater than 2 048 are not present in the bitstream and are reserved for future use.
  • nnpfc_reserved_metadata_extension is not present in the bitstream. However, decoders MUST ignore the presence and value of nnpfc_reserved_metadata_extension. When nnpfc_reserved_metadata_extension is present, the length of nnpfc_reserved_metadata_extension can be equal to nnpfc_metadata_extension_num_bits.
  • nnpfc_reserved_zero_bit_b must be equal to 0 in the bitstream. Decoders must ignore NNPFC SEI messages where nnpfc_reserved_zero_bit_b is not 0.
  • nnpfc_payload_byte[ i ] may contain the ith byte of the bitstream. For all existing values of i, the byte sequence nnpfc_payload_byte[ i ] must be a complete bitstream conforming to ISO/IEC 15938-17.
  • NPFPA Neural-network post-filter activation
  • the syntax structure for NNFPA is shown in Table 20.
  • the NNPFA syntax structure of Table 20 can be signaled in the form of an SEI message.
  • An SEI message signaling the NNPFA syntax structure of Table 20 may be referred to as an NNPFA SEI message.
  • the NNPFA SEI message can enable or disable the possible use of a target neural network post-processing filter (NNPF) identified by nnpfa_target_id for post-processing filtering of a picture set.
  • NNPF neural network post-processing filter
  • the target NNPF can be derived as follows:
  • the target NNPF can be a base NNPF with nnpfc_id equal to nnpfa_target_id.
  • the target NNPF can be the NNPF specified by the last NNPFC SEI message with nnpfc_id equal to nnpfa_target_id, where the last NNPFC SEI message precedes the first VCL NAL unit of the current picture in decoding order and may not be a repeat of the NNPFC SEI message containing the base NNPF.
  • NNPFA SEI messages There may be multiple NNPFA SEI messages for the same picture if NNPF is used for other purposes or filters other color components.
  • nnpfa_target_id may indicate a target NNPF associated with the current picture and specified by one or more NNPFC SEI messages having an nnpfc_id equal to nnfpa_target_id.
  • the value of nnpfa_target_id must be in the range 0 to 232 - 2, inclusive.
  • NNPFA SEI message with an nnpfa_target_id of a particular value shall not be present on the current PU unless one or both of the following conditions are true:
  • NNPFC SEI message with nnpfc_id equal to the nnpfa_target_id of a specific value of the current PU.
  • a PU contains both an NNPFC SEI message with an nnpfc_id of a particular value and an NNPFA SEI message with an nnpfa_target_id equal to the nnpfc_id of a particular value, the NNPFC SEI message shall precede the NNPFA SEI message in decoding order.
  • a value of nnpfa_cancel_flag of 1 may indicate that the persistence of the target NNPF established by any previous NNPFA SEI message with the same nnpfa_target_id as the current SEI message is canceled. That is, the target NNPF is no longer used unless it is activated by another NNPFA SEI message with the same nnpfa_target_id as the current SEI message and an nnpfa_cancel_flag equal to 0.
  • a value of nnpfa_cancel_flag of 0 may indicate that npfa_target_base_flag, nnpfa_persistence_flag and nnpfa_num_output_entries follow.
  • a value of nnpfa_target_base_flag of 1 may indicate that the target NNPF is a base NNPF having nnpfc_id equal to nnpfa_target_id.
  • a value of nnpfa_target_base_flag of 0 may indicate that the target NNPF is an NNPF specified by the last NNPFC SEI message having nnpfc_id equal to nnpfa_target_id, where the last NNPFC SEI message may not correspond to a repetition of an NNPFC SEI message that precedes the first VCL NAL unit of the current picture in decoding order and contains the base NNPF.
  • nnpfa_persistence_flag can indicate the persistence of the target NNPF for the current layer.
  • a value of nnpfa_persistence_flag of 0 can indicate that the target NNPF can only be used for post-processing filtering for the current picture.
  • a value of nnpfa_persistence_flag of 1 can indicate that the target NNPF can be used for post-processing filtering for the current picture and all subsequent pictures in the current layer in output order until one or more of the following conditions are true:
  • the target NNPF does not apply to subsequent pictures within the current layer associated with an NNPFA SEI message that has the same nnpfa_target_id as the current SEI message and an nnpfa_cancel_flag equal to 1.
  • nnpfcTargetPictures can be a set of pictures associated with the last NNPFC SEI message that precedes the current NNPFA SEI message in decoding order and has an nnpfc_id equal to nnpfa_target_id.
  • nnpfaTargetPictures can be a set of pictures for which the target NNPF is activated by the current NNPFA SEI message. Any picture included in nnpfaTargetPictures must also be included in nnpfcTargetPictures.
  • nnpfa_num_output_entries can indicate the number of nnpfa_output_flag[ i ] syntax elements in the NNPFA SEI message.
  • the value of nnpfa_output_flag[ i ] must be in the range 0 to NumInpPicsInOutputTensor.
  • a value of 1 of nnpfa_output_flag[ i ] may indicate that an NNPF generated picture corresponding to an input picture having an index InpIdx[ i ] is output by an NNPF process activated by the NNPFA SEI message.
  • the NNPF process may be specified by the semantics of the NNPFC SEI message.
  • a value of 0 of nnpfa_output_flag[ i ] may indicate that an NNPF generated picture corresponding to an input picture having an index InpIdx[ i ] is not output by the NNPF process activated by the NNPFA SEI message.
  • nnpfa_num_output_entries is less than NumInpPicsInOutputTensor
  • nnpfa_output_flag[ i ] can be inferred to be 1 for each value of i in the range nnpfa_num_output_entries to NumInpPicsInOutputTensor - 1.
  • the post-filter hint syntax structure of Table 21 can be signaled in the form of an SEI message.
  • An SEI message signaling the post-filter hint syntax structure of Table 21 may be referred to as a post-filter hint SEI message.
  • the post-filter hint SEI message can provide post-filter coefficients or correlation information for the design of a post-filter, potentially allowing the decoded and output picture set to be post-processed to achieve improved display quality.
  • a value of 1 for filter_hint_cancel_flag may indicate that the SEI message cancels the persistence of a previous post-filter hint SEI message in the output order applied to the current layer.
  • a value of 0 for filter_hint_cancel_flag may indicate that post-filter hint information follows.
  • filter_hint_persistence_flag may indicate the persistence of the post-filter hint SEI message for the current layer.
  • a value of filter_hint_persistence_flag of 0 may indicate that the post-filter hint applies only to the currently decoded picture.
  • a value of filter_hint_persistence_flag of 1 may indicate that the post-filter hint SEI message applies to the currently decoded picture and persists for all subsequent pictures in the current layer in output order until one or more of the following conditions are true:
  • filter_hint_size_y can indicate the vertical size of the filter coefficients or correlation array.
  • the value of filter_hint_size_y must be in the range of 1 to 15.
  • filter_hint_size_x can indicate the horizontal size of the filter coefficients or correlation array.
  • the value of filter_hint_size_x must be in the range of 1 to 15.
  • filter_hint_type can indicate the type of filter hint transmitted as shown in Table 22.
  • the value of filter_hint_type must be in the range of 0 to 2.
  • a filter_hint_type value equal to 3 is reserved for future use and shall not be present in the bitstream. Decoders must ignore post-filter hint SEI messages with filter_hint_type equal to 3.
  • a value of 1 for filter_hint_chroma_coeff_present_flag can indicate that filter coefficients for chroma exist.
  • a value of 0 for filter_hint_chroma_coeff_present_flag can indicate that filter coefficients for chroma do not exist.
  • filter_hint_value[ cIdx ][ cy ][ cx ] can represent filter coefficients or cross-correlation matrix elements between the original signal and the decoded signal with 16-bit precision.
  • the value of filter_hint_value[ cIdx ][ cy ][ cx ] must be in the range of -2 31 + 1 to 2 31 - 1.
  • cIdx represents a related color element
  • cy represents a vertical counter
  • cx represents a horizontal counter. The following can be applied depending on the value of filter_hint_type.
  • filter_hint_type If the value of filter_hint_type is 0, the coefficients of a two-dimensional FIR (Finite Impulse Response) filter of the size of filter_hint_size_y * filter_hint_size_x can be transmitted.
  • FIR Finite Impulse Response
  • filter_hint_type if the value of filter_hint_type is 1, the filter coefficients of two 1-dimensional FIR filters can be transmitted. In this case, the value of filter_hint_size_y must be 2.
  • An index cy of 0 can represent the filter coefficients of the horizontal filter, and a cy of 1 can represent the filter coefficients of the vertical filter.
  • the horizontal filter In the filtering process, the horizontal filter can be applied first and the result can be filtered by the vertical filter.
  • the transmitted hint may represent the cross-correlation matrix between the original signal s and the decoded signal s'.
  • the normalized cross-correlation matrix for the relevant color components identified by cIdx of the size of filter_hint_size_y * filter_hint_size_x can be defined as in Equation 10.
  • s represents a sample array of the color component cIdx of the original picture
  • s' represents an array of the corresponding decoded picture
  • h represents a vertical height of the related color component
  • w represents a horizontal width of the related color component
  • bitDepth represents a bit depth of the color component.
  • OffsetY is equal to ( filter_hint_size_y >> 1 )
  • OffsetX is equal to ( filter_hint_size_x >> 1 )
  • the decoder can derive a Wiener post-filter from the cross-correlation matrix of the original signal and the decoded signal and the auto-cross-correlation matrix of the decoded signal.
  • NNPF related messages e.g., Neural-network post-filter characteristics (NNPFC) SEI (Supplemental Enhancement Information) and/or Neural-network post-filter activation (NNPFA) SEI, etc.
  • NNPFC Neural-network post-filter characteristics
  • NNPFA Neural-network post-filter activation
  • multiple input pictures can be used for an activated NNPF, and one or more of the input pictures may be unavailable (e.g., the input picture is not present in the bitstream).
  • the case where one or more of the input pictures is unavailable may include the case where NNPF is activated in a picture at the very beginning of the bitstream.
  • a flag may be provided to indicate whether the unavailable (e.g., missing) picture is to be replaced with a duplicate of the last available input picture or a picture having a zero value pixel.
  • the flag may be nnpfc_absent_input_pic_zero_flag as a flag signaled in the NNPFC SEI message.
  • information about whether the filtering process using the NNPF outputs an output picture associated with the input picture for each input picture to the NNPF or not may be signaled.
  • the signaling of the output picture associated with the input picture may be included in the NNPFC SEI message, and this signaling may be updated by the signaling in the NNPFA SEI message associated with the NNPFC SEI message, and in some examples, the output of the picture may be canceled (CANCEL).
  • the present disclosure proposes various embodiments that can solve the problems of the conventional design including the above.
  • the following embodiments can be used independently or in combination with each other or other embodiments, and this will also be considered to be included in the present disclosure.
  • an NNPFA SEI message can activate an NNPFC SEI message for a target NNPF (i.e., a target NNPF) that can input multiple input pictures, wherein one or more of the input pictures are not available (e.g., not present in the bitstream, etc.), and there are associated output pictures for the unavailable input pictures (e.g., the value of nnpfc_input_pic_output_flag[ i ] of the input pictures is 1), and for each of the input pictures that have associated output pictures but are not available, nnpfa_output_flag[ i ] must be present, and the value of the corresponding syntax may be a specific value (e.g., 0).
  • the NNPFA SEI message may activate an NNPFC SEI message for a target NNPF (i.e., a target NNPF) that can take multiple input pictures as input, and if one or more of the input pictures are not available (e.g., are not present in the bitstream), and there are associated output pictures for the unavailable input pictures (e.g., the value of nnpfc_input_pic_output_flag[ i ] of the input pictures is 1), the following may apply:
  • nnpfa_num_output_entries may be required to be greater than a certain value (e.g. 0).
  • the values of certain syntaxes may be constrained to be within a certain range.
  • the values of certain syntaxes may not be less than a certain value (e.g., X+1), where X may be the index of the last input picture that has an associated output picture (e.g., the picture furthest from the current picture).
  • nnpfa_output_flag[ i ], etc. The values of specific syntaxes (e.g., nnpfa_output_flag[ i ], etc.) for input images that are signaled to have associated output images in NNPFC but are not available may be restricted to specific values (e.g., 0).
  • the NNPFA SEI message activates an NNPFC SEI message for a target NNPF (i.e., the target NNPF) that can take multiple input pictures as input, and one or more of the input pictures are not available (e.g., are not present in the bitstream), and there are related output pictures for the unavailable input pictures (e.g., the value of nnpfc_input_pic_output_flag[ i ] of the input pictures is 1)
  • the NNPF-based filtering process can be restricted not to output output pictures related to these input pictures.
  • VVC Versatile Video Coding
  • VSEI Versatile Supplemental Enhancement Information Messages for Coded Video Bitstreams
  • the NNPF (Neural-network post-filter) SEI message or the NNPF-related SEI message may include an NNPFC (Neural-network post-filter Characteristic) SEI message and/or an NNPFA (Neural-network post-filter activation) SEI message.
  • NNPFC Neuronal-network post-filter Characteristic
  • NNPFA Neuronal-network post-filter activation
  • Example 1 the embodiment of Table of Contents 1 described in the above-mentioned embodiment outline is described in detail. Below, the VSEI message syntax and semantics are described.
  • NNPF Neuro-network post-filter
  • SEI message e.g., NNPFA SEI message, etc.
  • the NNPFA SEI message syntax can be signaled as shown in the following table.
  • nnpfa_target_id which is information related to the target id disclosed in the embodiment of Table 23
  • nnpfa_cancel_flag which is information related to cancellation of NNPF persistence
  • nnpfa_target_base_flag which is information related to base NNPF
  • nnpfa_persistence_flag which is information related to NNPF persistence
  • nnpfa_output_flag[i] which is information related to the output of an NNPF generated picture, i.e., an output picture corresponding to an NNPF-based input picture
  • nnpfa_num_output_entries which is information related to the number of nnpfa_output_flag[i]
  • nnpfa_output_flag[ i ] which may be included in information about the output of an output picture (e.g., an NNPF generated picture, etc.) corresponding to an input picture (e.g., output picture output information, etc.), may exist for each input picture, but if the target NNPF (target NNPF) requires multiple input pictures and one or more input pictures do not exist in the bitstream (e.g., are unavailable, etc.), but there is a related output picture for an unavailable input picture (e.g., the value of the related nnpfc_input_pic_output_flag[ i ] of the NNPFC SEI message is 1, etc.), the value of the syntax may be restricted to a specific value. For example, nnpfa_output_flag[ i ] must exist for each unavailable input picture having a related output picture, but the value of the syntax may be restricted to 0.
  • Example 2 the embodiment of Table of Contents 2 described in the above embodiment outline is described in detail. Below, the VSEI message syntax and semantics are described.
  • syntax such as nnpfa_target_id can be signaled in a VSEI message according to Table 23, and nnpfa_output_flag[ i ] can be included in the SEI message.
  • nnpfa_output_flag[ i ] which may be included in information about the output of an output picture (e.g., an NNPF generated picture, etc.) corresponding to an input picture (e.g., output picture output information, etc.), may exist for each input picture, but if a target NNPF (target NNPF) requires multiple input pictures and one or more input pictures do not exist in the bitstream (e.g., are unavailable, etc.) but a related output picture exists for an unavailable input picture (e.g., the value of the related nnpfc_input_pic_output_flag[ i ] of the NNPFC SEI message is 1, etc.), there may be restrictions on nnpfa_output_flag
  • nnpfa_num_output_entries which is information related to the number of nnpfa_output_flag[ i ] may be restricted.
  • the value of the nnpfa_num_output_entries syntax could be restricted to be less than a certain value (e.g., X+1), where X is the index of the last input picture for which a related output picture exists (e.g., the index of the picture furthest from the current picture).
  • the value of the nnpfa_output_flag of input pictures that are not available but are signaled to be included in the NNPFC for a related output picture could be set to a certain value (e.g., 0).
  • Example 3 the embodiment of Table of Contents 3 described in the above-mentioned embodiment outline is described in detail. Below, the VSEI message syntax and semantics are described.
  • nnpfc_num_input_pics_minus1 which is information related to the number of pictures input to NNPF
  • nnpfc_input_pic_output_flag[ i ] which is information related to whether output pictures are generated (e.g., output picture existence information)
  • nnpfc_absent_input_pic_zero_flag which is information related to the method of expressing sample values of input pictures that do not exist in the bitstream
  • the filtering process should not output the output pictures related to these input pictures.
  • the filtering process may be an NNPF-based filtering process, and the output pictures may not exist, i.e., the output pictures may not be generated.
  • the image decoding method of FIG. 5 can be performed by an image decoding device (200), and the image encoding method of FIG. 6 can be performed by an image encoding device (100).
  • the image decoding and encoding methods of FIG. 5 and FIG. 6 can be based on the embodiments described above (including embodiments 1 to 3), respectively.
  • FIG. 5 is a diagram for explaining an image decoding method that can be performed by an image decoding device according to one embodiment of the present disclosure.
  • (corresponding) output picture information for an input picture can be obtained (S510) as a neural-network post-filter (NNPF) related SEI (supplemental enhancement information) message (e.g., neural-network post-filter characteristics (NNPFC) message and/or neural-network post-filter activation (NNPFA) message, etc.).
  • the post-filter-based (corresponding) output picture information can include NNPF related information.
  • the NNPF related information can include information described with reference to the table, etc. above.
  • a (corresponding) output picture for the input picture can be acquired (S520).
  • the output picture information may include output picture output information, which is information indicating whether the output picture for the input picture is output.
  • the output picture output information may have its value determined based on other information, and there may be a constraint for determining the value of the information.
  • the output picture output information may include, for example, nnpfa_output_flag[ i ].
  • the value of the output picture output information may be determined based on whether the input picture is available (e.g., whether the input picture exists in the bitstream).
  • the availability of the input picture may be determined based on input picture presence information, which is information indicating whether the input picture is available.
  • the input picture presence information may include inputPresentFlag, and the input picture presence information may be derived based on other information or other syntax.
  • the case where the input picture is not available may include the case where the input picture does not exist in the bitstream.
  • the output picture output information may indicate that the output picture for the corresponding input picture is not output.
  • the number of output picture output information may be determined as a value within a specific range.
  • the number of output picture output information may always be determined to be a value greater than a specific value (e.g., 0). Including such a case, certain constraints may exist on the number of output picture output information. For example, the value of nnpfa_num_output_entries, which is information that can indicate the number of output picture output information, may be determined to be a value within a specific range.
  • the specific range may be determined based on an index value of a specific input picture
  • the specific input picture may be a picture that is farthest from a specific picture, that is, a last input picture.
  • the value of the output picture output information may be determined based on output picture existence information (i.e., output picture generation information), which is information that indicates whether an output picture exists for an input picture (i.e., whether an output picture is generated).
  • output picture existence information i.e., output picture generation information
  • the value of the output picture output information may be determined based on whether an output picture exists and/or whether an input picture exists.
  • the value of the output picture output information can be determined based on the output picture existence information and/or the input picture existence information.
  • the output picture may not be output. More specifically, the output picture output information may indicate that the output picture is not output based on the input picture existence information indicating that the input picture is not available (e.g., the input picture does not exist in the bitstream, etc.) and the output picture existence information (for the input picture) indicating that the output picture exists (e.g., the value of nnpfc_input_pic_output_flag[ i ] is 1, etc.).
  • the fact that the output picture is not output can be expressed by the value of the output picture output information being a specific value (e.g., 0).
  • the output of the corresponding output picture may be excluded from the filtering process based on NNPF.
  • the output picture existence information may be signaled with the NNPFC SEI message, and the output picture output information may be signaled with the NNPFA SEI message.
  • the picture may be restored based on the (corresponding) output picture information, although it is not expressed in the drawing.
  • FIG. 6 is a drawing for explaining an image encoding method that can be performed by an image encoding device according to one embodiment of the present disclosure.
  • post-filter-based output picture information for an input picture can be determined (S610).
  • the post-filter-based output picture information can include NNPF-related information, and the NNPF-related information can be the same as described above with reference to the table, etc.
  • the output picture information may be signaled (S620) as an NNPF (neural-network post-filter) related SEI (supplemental enhancement information) message.
  • the NNPF related SEI message may include an NNPFC SEI message and/or an NNPFA SEI message. Meanwhile, it may be possible that an output picture for an input picture does not exist (is not generated) or an output picture exists (is generated) but the output picture is not output. Meanwhile, if an output picture for an input picture exists and it is determined that the output picture is to be output, the output picture may be output as is.
  • output picture existence information which is information indicating whether the output picture for the input picture is output
  • input picture existence information may be included in the output picture information and signaled, but may also be derived as a specific value by another syntax. For example, there may be certain constraints in determining the value of the output picture output information. For example, the value of the output picture output information may be determined based on whether the input picture is available (i.e., whether the input picture exists in the bitstream or whether it will be encoded).
  • the value of the output picture output information may be determined to a specific value (e.g., 0) based on, for example, whether the input picture is determined not to exist in the bitstream (i.e., not available on the decoder side). In addition, as an example, whether the input picture exists in the bitstream may be determined based on other information. Meanwhile, an output picture generated based on the determination that the input picture does not exist in the bitstream (a result picture corresponding to the input picture) may not be output, and the output picture output information may indicate this.
  • the output picture output information may include, for example, nnpfa_output_flag[ i ].
  • the case where the input picture is unavailable may include the case where the input picture does not exist in the bitstream.
  • the number of output picture output information may be determined as a value within a specific range.
  • the number of output picture output information may always be determined as a value greater than a specific value (e.g., 0). Including such a case, certain constraints may exist on the number of output picture output information. For example, the value of nnpfa_num_output_entries, which is information that may indicate the number of output picture output information, may be determined as a value within a specific range.
  • the specific range may be determined based on an index value of a specific input picture, for example, the specific input picture may be the picture furthest from the specific picture, that is, the last input picture.
  • the value of the output picture output information may be determined based on whether an output picture exists for the input picture (i.e., whether an output picture is generated). More specifically, the value of the output picture output information may be determined to a specific value based on whether an output picture for the input picture exists. As an example, the value of the output picture output information may be determined based on whether an output picture exists and/or whether an input picture exists.
  • whether an input picture exists in a bitstream may be expressed as information on whether an input picture exists and may be expressed as inputPresentFlag.
  • the output picture information may include output picture output information, which is information indicating whether an output picture for the input picture is output.
  • the output picture output information may have its value determined based on other information, and there may be constraints for determining the value of the information.
  • the output picture output information may include, for example, nnpfa_output_flag[ i ].
  • the value of the output picture output information may be determined based on whether an input picture is available (for example, whether the input picture exists in a bitstream).
  • the availability of the input picture may be determined based on input picture presence information, which is information indicating whether the input picture is available.
  • the input picture presence information may include inputPresentFlag, and the input picture presence information may be derived based on other information or other syntax.
  • the case where the input picture is not available may include the case where the input picture does not exist in the bitstream.
  • the output picture output information may be determined to indicate that the output picture for the corresponding input picture is not output.
  • the number of output picture output information may be determined as a value within a specific range.
  • the number of output picture output information may be always determined as a value greater than a specific value (for example, 0). Including such a case, certain constraints may exist on the number of output picture output information.
  • the value of nnpfa_num_output_entries which is information that may indicate the number of output picture output information, may be determined as a value within a specific range.
  • the specific range may be determined based on an index value of a specific input picture, for example, the specific input picture may be a picture farthest from a specific picture, that is, the last input picture.
  • the value of the output picture output information may be determined based on whether the output picture exists for the input picture (i.e., whether the output picture is generated).
  • the value of the output picture output information may be determined based on whether the output picture exists and/or whether the input picture exists.
  • the value of the output picture output information may be determined based on what value the output picture existence information (i.e., output picture generation information) is determined to indicate and/or what value the input picture existence information is determined to indicate. As an example, if the input picture is not available (e.g., the input picture does not exist in the bitstream, etc.) and the output picture (for the input picture) nevertheless exists, the output picture may not be output.
  • the output picture existence information i.e., output picture generation information
  • the output picture output information may indicate that the output picture is not output based on the fact that the input picture presence information is determined to indicate that the input picture is not available (e.g., that the input picture is determined not to exist in the bitstream, or that the input picture is not encoded in the bitstream, etc.), and that the output picture presence information (for the input picture) is determined to indicate that the output picture exists (e.g., that the value of nnpfc_input_pic_output_flag[ i ] is determined to be 1, etc.).
  • the fact that the output picture is not output may be expressed as the value of the output picture output information being a specific value (e.g., 0). In this case, as an example, the output of the corresponding output picture may be excluded in a filtering process based on NNPF.
  • output picture presence information can be signaled with the NNPFC SEI message, and output picture output information can be signaled with the NNPFA SEI message.
  • the picture may be restored based on the output picture information, although it is not expressed in the drawing.
  • a computer-readable medium recording a bitstream generated by an image encoding method may be provided, and a method of transmitting a bitstream generated by the image encoding method may be provided.
  • the meaning of information that can be included in VSEI can be clarified, thereby reducing decoder errors and expressing more accurate scenarios, thereby improving coding quality.
  • coding efficiency can be improved.
  • FIG. 7 is a diagram exemplifying a content streaming system to which an embodiment according to the present disclosure can be applied.
  • a content streaming system to which an embodiment of the present disclosure is applied may largely include an encoding server, a streaming server, a web server, a media storage, a user device, and a multimedia input device.
  • the encoding server compresses content input from multimedia input devices such as smartphones, cameras, camcorders, etc. into digital data to generate a bitstream and transmits it to the streaming server.
  • multimedia input devices such as smartphones, cameras, camcorders, etc. directly generate a bitstream
  • the encoding server may be omitted.
  • the above bitstream can be generated by an image encoding method and/or an image encoding device to which an embodiment of the present disclosure is applied, and the streaming server can temporarily store the bitstream during the process of transmitting or receiving the bitstream.
  • the above streaming server transmits multimedia data to a user device based on a user request via a web server, and the web server can act as an intermediary that informs the user of any available services.
  • the web server transmits it to the streaming server, and the streaming server can transmit multimedia data to the user.
  • the content streaming system may include a separate control server, and in this case, the control server may perform a role of controlling commands/responses between each device within the content streaming system.
  • the above streaming server can receive content from a media storage and/or an encoding server. For example, when receiving content from the encoding server, the content can be received in real time. In this case, in order to provide a smooth streaming service, the streaming server can store the bitstream for a certain period of time.
  • Examples of the user devices may include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation devices, slate PCs, tablet PCs, ultrabooks, wearable devices (e.g., smartwatches, smart glasses, HMDs (head mounted displays)), digital TVs, desktop computers, digital signage, etc.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • navigation devices slate PCs
  • tablet PCs tablet PCs
  • ultrabooks ultrabooks
  • wearable devices e.g., smartwatches, smart glasses, HMDs (head mounted displays)
  • digital TVs desktop computers, digital signage, etc.
  • Each server within the above content streaming system can be operated as a distributed server, in which case data received from each server can be distributedly processed.
  • the scope of the present disclosure includes software or machine-executable instructions (e.g., an operating system, an application, firmware, a program, etc.) that cause operations according to various embodiments of the present disclosure to be executed on a device or a computer, and a non-transitory computer-readable medium having such software or instructions stored thereon and being executable on the device or the computer.
  • software or machine-executable instructions e.g., an operating system, an application, firmware, a program, etc.
  • Embodiments according to the present disclosure can be used to encode/decode images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

영상 부호화/복호화 방법, 비트스트림 전송 방법 및 비트스트림을 저장하는 컴퓨터 판독 가능한 기록 매체가 제공된다. 본 개시에 따른 영상 복호화 방법은, 입력 픽처에 대한 포스트 필터 기반의 출력 픽처 정보를 NNPF (neural-network post-filter) 관련 SEI(supplemental enhancement information) 메시지로부터 획득하는 단계 및 상기 출력 픽처 정보에 기반하여, 상기 입력 픽처에 대한 출력 픽처를 획득하는 단계를 포함하되, 상기 출력 픽처 정보는 상기 입력 픽처에 대한 출력 픽처가 출력되는지 여부를 나타내는 정보인 출력 픽처 출력 정보를 포함할 수 있다.

Description

영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
본 개시는 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체에 관한 것으로서, 신경망 후처리 필터(neural-network post-filter)와 관련된 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 전송되는 정보량 또는 비트량이 증가하게 된다. 전송되는 정보량 또는 비트량의 증가는 전송 비용과 저장 비용의 증가를 초래한다.
이에 따라, 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위한 고효율의 영상 압축 기술이 요구된다.
본 개시는 부호화/복호화 효율이 향상된 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 NNPF 관련 SEI 메시지(NNPFC SEI 및 NNPFA SEI)를 처리하는 방법을 제공하는 것을 목적으로 한다.
또한, 본 개시는 NNPF 관련 SEI 메시지에 의해 NNPF의 출력 픽처를 보다 명확히 특정하는 것을 목적으로 한다.
또한, 본 개시는 NNPF의 출력 픽처와 관련된 정보의 의미를 명확히 하는 것을 목적으로 한다.
또한, 본 개시는 NNPF의 출력 픽처와 관련된 정보의 의미를 명확히 함으로써 디코더의 오차를 줄이는 것을 목적으로 한다.
또한, 본 개시는 NNPF가 출력 픽처와 관련된 정보의 의미를 명확히 함으로써 코딩 품질 및 효율을 향상시키는 것을 목적으로 한다.
또한, 본 개시는 입력 픽처가 존재하지 않는 경우의 출력 픽처의 출력 여부를 결정하여 코딩 효율을 향상시키는 것을 목적으로 한다.
또한, 본 개시는 본 개시에 따른 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
또한, 본 개시는 본 개시에 따른 영상 복호화 장치에 의해 수신되고 복호화되어 영상의 복원에 이용되는 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
또한, 본 개시는 본 개시에 따른 영상 부호화 방법에 의해 생성된 비트스트림을 전송하는 방법을 제공하는 것을 목적으로 한다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에 따른 영상 복호화 장치에 의해 수행되는 영상 복호화 방법은 입력 픽처에 대한 포스트 필터 기반의 출력 픽처 정보를 NNPF (neural-network post-filter) 관련 SEI(supplemental enhancement information) 메시지로부터 획득하는 단계 및 상기 출력 픽처 정보에 기반하여, 상기 입력 픽처에 대한 출력 픽처를 획득하는 단계 포함하되, 상기 출력 픽처 정보는 상기 입력 픽처에 대한 출력 픽처가 출력되는지 여부를 나타내는 정보인 출력 픽처 출력 정보를 포함할 수 있다.
한편, 일 실시예로서, 상기 출력 픽처 출력 정보의 값은 상기 입력 픽처의 존재 여부에 기반하여 결정될 수 있다.
한편, 일 실시예로서, 상기 출력 픽처 출력 정보의 값은 상기 입력 픽처에 대한 상기 출력 픽처의 존재 여부를 나타내는 정보인 출력 픽처 존재 정보에 더 기반하여 결정될 수 있다.
한편, 일 실시예로서, 상기 입력 픽처가 존재하지 않고 상기 출력 픽처 존재 정보가 상기 출력 픽처가 존재함을 나타냄에 기반하여 상기 출력 픽처 출력 정보는 상기 출력 픽처가 출력되지 않음을 나타낼 수 있다.
한편, 일 실시예로서, 상기 출력 픽처 출력 정보의 개수는 특정 범위 내의 값으로 결정될 수 있다.
한편, 일 실시예로서, 상기 특정 범위는 특정 입력 픽처의 인덱스 값에 기반하여 결정될 수 있다.
한편, 일 실시예로서, 상기 출력 픽처 출력 정보의 개수는 특정 값보다 항상 큰 값으로 결정될 수 있다.
한편, 일 실시예로서, 상기 NNPF에 기반한 필터링 프로세스에서 상기 존재하지 않는 입력 픽처에 대한 상기 출력 픽처의 출력이 제외될 수 있다.
한편, 일 실시예로서, 상기 출력 픽처 존재 정보는 NNPFC SEI 메시지에서 획득될 수 있다.
한편, 일 실시예로서, 상기 출력 픽처 출력 정보는 NNPFA SEI 메시지에서 획득될 수 있다.
본 개시의 일 실시예에 따른 영상 부호화 장치에 의해 수행되는 영상 부호화 방법은 입력 픽처에 대한 포스트 필터 기반의 출력 픽처 정보를 결정하는 단계 및 상기 출력 픽처 정보를 NNPF(neural-network post-filter) 관련 SEI(supplemental enhancement information) 메시지로 시그널링하는 단계를 포함하되, 상기 출력 픽처 정보는 상기 입력 픽처에 대한 출력 픽처가 출력되는지 여부를 나타내는 정보인 출력 픽처 출력 정보를 포함할 수 있다.
또한, 본 개시에 따르면, 본 개시에 따른 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.
또한, 본 개시에 따르면, 본 개시에 따른 영상 복호화 장치에 의해 수신되고 복호화되어 영상의 복원에 이용되는 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.
또한, 본 개시에 따르면, 영상 부호화 방법에 의해 생성된 비트스트림을 전송하는 방법이 제공될 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 부호화/복호화 효율이 향상된 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, NNPF 관련 SEI 메시지 내의 정보의 시맨틱스를 수정하여 보다 명확한 의미 전달이 가능해질 수 있다.
또한, 본 개시에 따르면, NNPF 관련 SEI 메시지 내의 정보의 시맨틱스를 수정하여 디코더의 오차를 줄일 수 있다.
또한, 본 개시에 따르면, NNPF 관련 SEI 메시지로 출력 픽처의 출력을 명확히 함으로써 효율을 향상시킬 수 있다.
또한, 본 개시에 따르면, NNPF 관련 SEI 메시지에 의해 NNPF의 출력 픽처에 대한 정보를 보다 명확히 특정함으로써 효율을 향상시킬 수 있다.
또한, 본 개시에 따르면, NNPF가 출력 픽처와 관련된 정보의 의미를 명확히 함으로써 코딩 품질 및 효율을 향상시킬 수 있다.
또한, 본 개시에 따르면, 본 개시에 따른 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.
또한, 본 개시에 따르면, 본 개시에 따른 영상 복호화 장치에 의해 수신되고 복호화되어 영상의 복원에 이용되는 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.
또한, 본 개시에 따르면, 영상 부호화 방법에 의해 생성된 비트스트림을 전송하는 방법이 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시에 따른 실시예가 적용될 수 있는 비디오 코딩 시스템을 개략적으로 나타내는 도면이다.
도 2는 본 개시에 따른 실시예가 적용될 수 있는 영상 부호화 장치를 개략적으로 나타내는 도면이다.
도 3은 본 개시에 따른 실시예가 적용될 수 있는 영상 복호화 장치를 개략적으로 나타내는 도면이다.
도 4는 루마 채널의 유도를 위한 인터리브(interleaved) 방식을 설명하기 위한 도면이다.
도 5는 본 개시에 따른 실시예가 적용될 수 있는 영상 복호화 방법을 설명하기 위한 순서도이다.
도 6은 본 개시에 따른 실시예가 적용될 수 있는 영상 부호화 방법을 설명하기 위한 순서도이다.
도 7은 본 개시에 따른 실시예가 적용될 수 있는 컨텐츠 스트리밍 시스템을 예시적으로 나타내는 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 개시의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들 간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 개시의 범위에 포함된다.
본 개시는 영상의 부호화 및 복호화에 관한 것으로서, 본 개시에서 사용되는 용어는, 본 개시에서 새롭게 정의되지 않는 한 본 개시가 속한 기술 분야에서 통용되는 통상의 의미를 가질 수 있다.
본 개시에서 "픽처(picture)"는 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미하며, 슬라이스(slice)/타일(tile)은 픽처의 일부를 구성하는 부호화 단위로서, 하나의 픽처는 하나 이상의 슬라이스/타일로 구성될 수 있다. 또한, 슬라이스/타일은 하나 이상의 CTU(coding tree unit)를 포함할 수 있다.
본 개시에서 "픽셀(pixel)" 또는 "펠(pel)"은 하나의 픽처(또는 영상)를 구성하는 최소의 단위를 의미할 수 있다. 또한, 픽셀에 대응하는 용어로서 "샘플(sample)"이 사용될 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 루마(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 크로마(chroma) 성분의 픽셀/픽셀값만을 나타낼 수도 있다.
본 개시에서 "유닛(unit)"은 영상 처리의 기본 단위를 나타낼 수 있다. 유닛은 픽처의 특정 영역 및 해당 영역에 관련된 정보 중 적어도 하나를 포함할 수 있다. 유닛은 경우에 따라서 "샘플 어레이", "블록(block)" 또는 "영역(area)" 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들(또는 샘플 어레이) 또는 변환 계수(transform coefficient)들의 집합(또는 어레이)을 포함할 수 있다.
본 개시에서 "현재 블록"은 "현재 코딩 블록", "현재 코딩 유닛", "부호화 대상 블록", "복호화 대상 블록" 또는 "처리 대상 블록" 중 하나를 의미할 수 있다. 예측이 수행되는 경우, "현재 블록"은 "현재 예측 블록" 또는 "예측 대상 블록"을 의미할 수 있다. 변환(역변환)/양자화(역양자화)가 수행되는 경우, "현재 블록"은 "현재 변환 블록" 또는 "변환 대상 블록"을 의미할 수 있다. 필터링이 수행되는 경우, "현재 블록"은 "필터링 대상 블록"을 의미할 수 있다.
본 개시에서 "현재 블록"은 크로마 블록이라는 명시적인 기재가 없는 한 루마 성분 블록과 크로마 성분 블록을 모두 포함하는 블록 또는 "현재 블록의 루마 블록"을 의미할 수 있다. 현재 블록의 루마 성분 블록은 명시적으로 "루마 블록" 또는 "현재 루마 블록"과 같이 루마 성분 블록이라는 명시적인 기재를 포함하여 표현될 수 있다. 또한, 현재 블록의 크로마 성분 블록은 명시적으로 "크로마 블록" 또는 "현재 크로마 블록"과 같이 크로마 성분 블록이라는 명시적인 기재를 포함하여 표현될 수 있다.
본 개시에서 "/"와 ","는 "및/또는"으로 해석될 수 있다. 예를 들어, "A/B"와 "A, B"는 "A 및/또는 B"로 해석될 수 있다. 또한, "A/B/C"와 "A, B, C"는 "A, B 및/또는 C 중 적어도 하나"를 의미할 수 있다.
본 개시에서 "또는"은 "및/또는"으로 해석될 수 있다. 예를 들어, "A 또는 B"는, 1) "A" 만을 의미하거나 2) "B" 만을 의미하거나, 3) "A 및 B"를 의미할 수 있다. 또는, 본 개시에서 "또는"은 "추가적으로 또는 대체적으로(additionally or alternatively)"를 의미할 수 있다.
비디오 코딩 시스템 개요
도 1은 본 개시에 따른 실시예가 적용될 수 있는 비디오 코딩 시스템을 개략적으로 나타내는 도면이다.
일 실시예에 따른 비디오 코딩 시스템은 부호화 장치(10) 및 복호화 장치(20)를 포함할 수 있다. 부호화 장치(10)는 부호화된 비디오(video) 및/또는 영상(image) 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 복호화 장치(20)로 전달할 수 있다.
일 실시예에 따른 부호화 장치(10)는 비디오 소스 생성부(11), 부호화부(12), 전송부(13)를 포함할 수 있다. 일 실시예에 따른 복호화 장치(20)는 수신부(21), 복호화부(22) 및 렌더링부(23)를 포함할 수 있다. 상기 부호화부(12)는 비디오/영상 부호화부라고 불릴 수 있고, 상기 복호화부(22)는 비디오/영상 복호화부라고 불릴 수 있다. 전송부(13)는 부호화부(12)에 포함될 수 있다. 수신부(21)는 복호화부(22)에 포함될 수 있다. 렌더링부(23)는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다.
비디오 소스 생성부(11)는 비디오/영상의 캡쳐, 합성 또는 생성 과정 등을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스 생성부(11)는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 예를 들어, 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브 등을 포함할 수 있다. 비디오/영상 생성 디바이스는 예를 들어 컴퓨터, 타블렛 및 스마트폰 등을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터 등을 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.
부호화부(12)는 입력 비디오/영상을 부호화할 수 있다. 부호화부(12)는 압축 및 부호화 효율을 위하여 예측, 변환, 양자화 등 일련의 절차를 수행할 수 있다. 부호화부(12)는 부호화된 데이터(부호화된 비디오/영상 정보)를 비트스트림(bitstream) 형태로 출력할 수 있다.
전송부(13)는 비트스트림 형태로 출력된 부호화된 비디오/영상 정보 또는 데이터를 획득할 수 있으며, 이를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 복호화 장치(20)의 수신부(21) 또는 다른 외부 객체로 전달할 수 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 전송부(13)는 미리 정해진 파일 포맷을 통하여 미디어 파일을 생성하기 위한 엘리먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘리먼트를 포함할 수 있다. 전송부(13)는 부호화 장치(12)와는 별개의 전송 장치로 구비될 수 있으며, 이 경우 전송 장치는 비트스트림 형태로 출력된 부호화된 비디오/영상 정보 또는 데이터를 획득하는 적어도 하나의 프로세서와 이를 파일 또는 스트리밍 형태로 전달하는 전송부를 포함할 수 있다. 수신부(21)는 상기 저장매체 또는 네트워크로부터 상기 비트스트림을 추출/수신하여 복호화부(22)로 전달할 수 있다.
복호화부(22)는 부호화부(12)의 동작에 대응하는 역양자화, 역변환, 예측 등 일련의 절차를 수행하여 비디오/영상을 복호화할 수 있다.
렌더링부(23)는 복호화된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.
영상 부호화 장치 개요
도 2는 본 개시에 따른 실시예가 적용될 수 있는 영상 부호화 장치를 개략적으로 도시한 도면이다.
도 2에 도시된 바와 같이, 영상 부호화 장치(100)는 영상 분할부(110), 감산부(115), 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150), 가산부(155), 필터링부(160), 메모리(170), 인터 예측부(180), 인트라 예측부(185) 및 엔트로피 인코딩부(190)를 포함할 수 있다. 인터 예측부(180) 및 인트라 예측부(185)는 합쳐서 "예측부"라고 지칭될 수 있다. 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150)는 레지듀얼(residual) 처리부에 포함될 수 있다. 레지듀얼 처리부는 감산부(115)를 더 포함할 수도 있다.
영상 부호화 장치(100)를 구성하는 복수의 구성부들의 전부 또는 적어도 일부는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어, 인코더 또는 프로세서)로 구현될 수 있다. 또한 메모리(170)는 DPB(decoded picture buffer)를 포함할 수 있고, 디지털 저장 매체에 의하여 구현될 수 있다.
영상 분할부(110)는 영상 부호화 장치(100)에 입력된 입력 영상(또는, 픽쳐, 프레임)을 하나 이상의 처리 유닛(processing unit)으로 분할할 수 있다. 일 예로, 상기 처리 유닛은 코딩 유닛(coding unit, CU)이라고 불릴 수 있다. 코딩 유닛은 코딩 트리 유닛(coding tree unit, CTU) 또는 최대 코딩 유닛(largest coding unit, LCU)을 QT/BT/TT (Quad-tree/binary-tree/ternary-tree) 구조에 따라 재귀적으로(recursively) 분할함으로써 획득될 수 있다. 예를 들어, 하나의 코딩 유닛은 쿼드 트리 구조, 바이너리 트리 구조 및/또는 터너리 트리 구조를 기반으로 하위(deeper) 뎁스의 복수의 코딩 유닛들로 분할될 수 있다. 코딩 유닛의 분할을 위해, 쿼드 트리 구조가 먼저 적용되고 바이너리 트리 구조 및/또는 터너리 트리 구조가 나중에 적용될 수 있다. 더 이상 분할되지 않는 최종 코딩 유닛을 기반으로 본 개시에 따른 코딩 절차가 수행될 수 있다. 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있고, 최대 코딩 유닛을 분할하여 획득한 하위 뎁스의 코딩 유닛이 최종 코딩 유닛으로 사용될 수도 있다. 여기서 코딩 절차라 함은 후술하는 예측, 변환 및/또는 복원 등의 절차를 포함할 수 있다. 다른 예로, 상기 코딩 절차의 처리 유닛은 예측 유닛(PU: Prediction Unit) 또는 변환 유닛(TU: Transform Unit)일 수 있다. 상기 예측 유닛 및 상기 변환 유닛은 각각 상기 최종 코딩 유닛으로부터 분할 또는 파티셔닝될 수 있다. 상기 예측 유닛은 샘플 예측의 단위일 수 있고, 상기 변환 유닛은 변환 계수를 유도하는 단위 및/또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 단위일 수 있다.
예측부(인터 예측부(180) 또는 인트라 예측부(185))는 처리 대상 블록(현재 블록)에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 현재 블록 또는 CU 단위로 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있다. 예측부는 현재 블록의 예측에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(190)로 전달할 수 있다. 예측에 관한 정보는 엔트로피 인코딩부(190)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
인트라 예측부(185)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 상기 참조되는 샘플들은 인트라 예측 모드 및/또는 인트라 예측 기법에 따라 상기 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 떨어져서 위치할 수도 있다. 인트라 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 비방향성 모드는 예를 들어 DC 모드 및 플래너 모드(Planar 모드)를 포함할 수 있다. 방향성 모드는 예측 방향의 세밀한 정도에 따라, 예를 들어 33개의 방향성 예측 모드 또는 65개의 방향성 예측 모드를 포함할 수 있다. 다만, 이는 예시로서 설정에 따라 그 이상 또는 그 이하의 개수의 방향성 예측 모드들이 사용될 수 있다. 인트라 예측부(185)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(180)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기반하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 상기 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 상기 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측의 경우, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 상기 참조 블록을 포함하는 참조 픽처와 상기 시간적 주변 블록을 포함하는 참조 픽처는 동일할 수도 있고, 서로 다를 수도 있다. 상기 시간적 주변 블록은 동일 위치 참조 블록(collocated reference block), 동일 위치 CU(colCU) 등의 이름으로 불릴 수 있다. 상기 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)라고 불릴 수 있다. 예를 들어, 인터 예측부(180)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 상기 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출하기 위하여 어떤 후보가 사용되는지를 지시하는 정보를 생성할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예를 들어 스킵 모드와 머지 모드의 경우에, 인터 예측부(180)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 레지듀얼 신호가 전송되지 않을 수 있다. 움직임 정보 예측(motion vector prediction, MVP) 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하고, 움직임 벡터 차분(motion vector difference) 및 움직임 벡터 예측자에 대한 지시자(indicator)를 부호화함으로써 현재 블록의 움직임 벡터를 시그널링할 수 있다. 움직임 벡터 차분은 현재 블록의 움직임 벡터와 움직임 벡터 예측자 간의 차이를 의미할 수 있다.
예측부는 후술하는 다양한 예측 방법 및/또는 예측 기법을 기반으로 예측 신호를 생성할 수 있다. 예를 들어, 예측부는 현재 블록의 예측을 위해 인트라 예측 또는 인터 예측을 적용할 수 있을 뿐 아니라, 인트라 예측과 인터 예측을 동시에 적용할 수 있다. 현재 블록의 예측을 위해 인트라 예측과 인터 예측을 동시에 적용하는 예측 방법은 combined inter and intra prediction (CIIP)라고 불릴 수 있다. 또한, 예측부는 현재 블록의 예측을 위해 인트라 블록 카피(intra block copy, IBC)를 수행할 수도 있다. 인트라 블록 카피는 예를 들어 SCC(screen content coding) 등과 같이 게임 등의 컨텐츠 영상/동영상 코딩을 위하여 사용될 수 있다. IBC는 현재 블록으로부터 소정의 거리만큼 떨어진 위치의 현재 픽처 내 기복원된 참조 블록을 이용하여 현재 블록을 예측하는 방법이다. IBC가 적용되는 경우, 현재 픽처 내 참조 블록의 위치는 상기 소정의 거리에 해당하는 벡터(블록 벡터)로서 부호화될 수 있다. IBC는 기본적으로 현재 픽처 내에서 예측을 수행하나, 현재 픽처 내에서 참조 블록을 도출하는 점에서, 인터 예측과 유사하게 수행될 수 있다. 즉 IBC는 본 개시에서 설명되는 인터 예측 기법들 중 적어도 하나를 이용할 수 있다.
예측부를 통해 생성된 예측 신호는 복원 신호를 생성하기 위해 이용되거나 레지듀얼 신호를 생성하기 위해 이용될 수 있다. 감산부(115)는 입력 영상 신호(원본 블록, 원본 샘플 어레이)로부터 예측부에서 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)를 감산하여 레지듀얼 신호(residual signal, 잔여 블록, 잔여 샘플 어레이)를 생성할 수 있다. 생성된 레지듀얼 신호는 변환부(120)로 전송될 수 있다.
변환부(120)는 레지듀얼 신호에 변환 기법을 적용하여 변환 계수들(transform coefficients)을 생성할 수 있다. 예를 들어, 변환 기법은 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen-Loeve Transform), GBT(Graph-Based Transform), 또는 CNT(Conditionally Non-linear Transform) 중 적어도 하나를 포함할 수 있다. 여기서, GBT는 픽셀 간의 관계 정보를 그래프로 표현한다고 할 때 이 그래프로부터 얻어진 변환을 의미한다. CNT는 이전에 복원된 모든 픽셀(all previously reconstructed pixel)을 이용하여 예측 신호를 생성하고 그에 기반하여 획득되는 변환을 의미한다. 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수도 있고, 정사각형이 아닌 가변 크기의 블록에도 적용될 수 있다.
양자화부(130)는 변환 계수들을 양자화하여 엔트로피 인코딩부(190)로 전송할 수 있다. 엔트로피 인코딩부(190)는 양자화된 신호(양자화된 변환 계수들에 관한 정보)를 인코딩하여 비트스트림으로 출력할 수 있다. 상기 양자화된 변환 계수들에 관한 정보는 레지듀얼 정보라고 불릴 수 있다. 양자화부(130)는 계수 스캔 순서(scan order)를 기반으로 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있고, 상기 1차원 벡터 형태의 양자화된 변환 계수들을 기반으로 상기 양자화된 변환 계수들에 관한 정보를 생성할 수도 있다.
엔트로피 인코딩부(190)는 예를 들어 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding) 등과 같은 다양한 인코딩 방법을 수행할 수 있다. 엔트로피 인코딩부(190)는 양자화된 변환 계수들 외 비디오/이미지 복원에 필요한 정보들(예를 들어 신택스 요소들(syntax elements)의 값 등)을 함께 또는 별도로 인코딩할 수도 있다. 인코딩된 정보(ex. 인코딩된 비디오/영상 정보)는 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 상기 비디오/영상 정보는 어댑테이션 파라미터 세트(APS), 픽처 파라미터 세트(PPS), 시퀀스 파라미터 세트(SPS) 또는 비디오 파라미터 세트(VPS) 등 다양한 파라미터 세트에 관한 정보를 더 포함할 수 있다. 또한 상기 비디오/영상 정보는 일반 제한 정보(general constraint information)를 더 포함할 수 있다. 본 개시에서 언급된 시그널링 정보, 전송되는 정보 및/또는 신택스 요소들은 상술한 인코딩 절차를 통하여 인코딩되어 상기 비트스트림에 포함될 수 있다.
상기 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 디지털 저장매체에 저장될 수 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다. 엔트로피 인코딩부(190)로부터 출력된 신호를 전송하는 전송부(미도시) 및/또는 저장하는 저장부(미도시)가 영상 부호화 장치(100)의 내/외부 엘리먼트로서 구비될 수 있고, 또는 전송부는 엔트로피 인코딩부(190)의 구성요소로서 구비될 수도 있다.
양자화부(130)로부터 출력된 양자화된 변환 계수들은 레지듀얼 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 변환 계수들에 역양자화부(140) 및 역변환부(150)를 통해 역양자화 및 역변환을 적용함으로써 레지듀얼 신호(레지듀얼 블록 or 레지듀얼 샘플들)를 복원할 수 있다.
가산부(155)는 복원된 레지듀얼 신호를 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호에 더함으로써 복원(reconstructed) 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다. 가산부(155)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다.
필터링부(160)는 복원 신호에 필터링을 적용하여 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(160)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 상기 수정된 복원 픽처를 메모리(170), 구체적으로 메모리(170)의 DPB에 저장할 수 있다. 상기 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter) 등을 포함할 수 있다. 필터링부(160)는 각 필터링 방법에 대한 설명에서 후술하는 바와 같이 필터링에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(190)로 전달할 수 있다. 필터링에 관한 정보는 엔트로피 인코딩부(190)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
메모리(170)에 전송된 수정된 복원 픽처는 인터 예측부(180)에서 참조 픽처로 사용될 수 있다. 영상 부호화 장치(100)는 이를 통하여 인터 예측이 적용되는 경우, 영상 부호화 장치(100)와 영상 복호화 장치에서의 예측 미스매치를 피할 수 있고, 부호화 효율도 향상시킬 수 있다.
메모리(170) 내 DPB는 인터 예측부(180)에서의 참조 픽처로 사용하기 위해 수정된 복원 픽처를 저장할 수 있다. 메모리(170)는 현재 픽처 내 움직임 정보가 도출된(또는 인코딩된) 블록의 움직임 정보 및/또는 이미 복원된 픽처 내 블록들의 움직임 정보를 저장할 수 있다. 상기 저장된 움직임 정보는 공간적 주변 블록의 움직임 정보 또는 시간적 주변 블록의 움직임 정보로 활용하기 위하여 인터 예측부(180)에 전달될 수 있다. 메모리(170)는 현재 픽처 내 복원된 블록들의 복원 샘플들을 저장할 수 있고, 인트라 예측부(185)에 전달할 수 있다.
영상 복호화 장치 개요
도 3은 본 개시에 따른 실시예가 적용될 수 있는 영상 복호화 장치를 개략적으로 도시한 도면이다.
도 3에 도시된 바와 같이, 영상 복호화 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 가산부(235), 필터링부(240), 메모리(250), 인터 예측부(260) 및 인트라 예측부(265)를 포함하여 구성될 수 있다. 인터 예측부(260) 및 인트라 예측부(265)를 합쳐서 "예측부"라고 지칭될 수 있다. 역양자화부(220), 역변환부(230)는 레지듀얼 처리부에 포함될 수 있다.
영상 복호화 장치(200)를 구성하는 복수의 구성부들의 전부 또는 적어도 일부는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 디코더 또는 프로세서)로 구현될 수 있다. 또한 메모리(170)는 DPB를 포함할 수 있고, 디지털 저장 매체에 의하여 구현될 수 있다.
비디오/영상 정보를 포함하는 비트스트림을 수신한 영상 복호화 장치(200)는 도 2의 영상 부호화 장치(100)에서 수행된 프로세스에 대응하는 프로세스를 수행하여 영상을 복원할 수 있다. 예를 들어, 영상 복호화 장치(200)는 영상 부호화 장치에서 적용된 처리 유닛을 이용하여 디코딩을 수행할 수 있다. 따라서 디코딩의 처리 유닛은 예를 들어 코딩 유닛일 수 있다. 코딩 유닛은 코딩 트리 유닛이거나 또는 최대 코딩 유닛을 분할하여 획득될 수 있다. 그리고, 영상 복호화 장치(200)를 통해 디코딩 및 출력된 복원 영상 신호는 재생 장치(미도시)를 통해 재생될 수 있다.
영상 복호화 장치(200)는 도 2의 영상 부호화 장치로부터 출력된 신호를 비트스트림 형태로 수신할 수 있다. 수신된 신호는 엔트로피 디코딩부(210)를 통해 디코딩될 수 있다. 예를 들어, 엔트로피 디코딩부(210)는 상기 비트스트림을 파싱하여 영상 복원(또는 픽처 복원)에 필요한 정보(예를 들어, 비디오/영상 정보)를 도출할 수 있다. 상기 비디오/영상 정보는 어댑테이션 파라미터 세트(APS), 픽처 파라미터 세트(PPS), 시퀀스 파라미터 세트(SPS) 또는 비디오 파라미터 세트(VPS) 등 다양한 파라미터 세트에 관한 정보를 더 포함할 수 있다. 또한 상기 비디오/영상 정보는 일반 제한 정보(general constraint information)를 더 포함할 수 있다. 영상 복호화 장치는 영상을 디코딩하기 위해 상기 파라미터 세트에 관한 정보 및/또는 상기 일반 제한 정보를 추가적으로 이용할 수 있다. 본 개시에서 언급된 시그널링 정보, 수신되는 정보 및/또는 신택스 요소들은 상기 디코딩 절차를 통하여 디코딩됨으로써 상기 비트스트림으로부터 획득될 수 있다. 예를 들어, 엔트로피 디코딩부(210)는 지수 골롬 부호화, CAVLC 또는 CABAC 등의 코딩 방법을 기초로 비트스트림 내 정보를 디코딩하고, 영상 복원에 필요한 신택스 엘리먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값들을 출력할 수 있다. 보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈을 수신하고, 디코딩 대상 구문 요소 정보와 주변 블록 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥(context) 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)을 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다. 엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측에 관한 정보는 예측부(인터 예측부(260) 및 인트라 예측부(265))로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수들 및 관련 파라미터 정보는 역양자화부(220)로 입력될 수 있다. 또한, 엔트로피 디코딩부(210)에서 디코딩된 정보 중 필터링에 관한 정보는 필터링부(240)로 제공될 수 있다. 한편, 영상 부호화 장치로부터 출력된 신호를 수신하는 수신부(미도시)가 영상 복호화 장치(200)의 내/외부 엘리먼트로서 추가적으로 구비될 수 있고, 또는 수신부는 엔트로피 디코딩부(210)의 구성요소로서 구비될 수도 있다.
한편, 본 개시에 따른 영상 복호화 장치는 비디오/영상/픽처 복호화 장치라고 불릴 수 있다. 상기 영상 복호화 장치는 정보 디코더(비디오/영상/픽처 정보 디코더) 및/또는 샘플 디코더(비디오/영상/픽처 샘플 디코더)를 포함할 수도 있다. 상기 정보 디코더는 엔트로피 디코딩부(210)를 포함할 수 있고, 상기 샘플 디코더는 역양자화부(220), 역변환부(230), 가산부(235), 필터링부(240), 메모리(250), 인터 예측부(260) 및 인트라 예측부(265) 중 적어도 하나를 포함할 수 있다.
역양자화부(220)에서는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 출력할 수 있다. 역양자화부(220)는 양자화된 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 이 경우 상기 재정렬은 영상 부호화 장치에서 수행된 계수 스캔 순서에 기반하여 수행될 수 있다. 역양자화부(220)는 양자화 파라미터(예를 들어 양자화 스텝 사이즈 정보)를 이용하여 양자화된 변환 계수들에 대한 역양자화를 수행하고, 변환 계수들(transform coefficient)을 획득할 수 있다.
역변환부(230)에서는 변환 계수들을 역변환하여 레지듀얼 신호(레지듀얼 블록, 레지듀얼 샘플 어레이)를 획득할 수 있다.
예측부는 현재 블록에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 엔트로피 디코딩부(210)로부터 출력된 상기 예측에 관한 정보를 기반으로 상기 현재 블록에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 구체적인 인트라/인터 예측 모드(예측 기법)를 결정할 수 있다.
예측부가 후술하는 다양한 예측 방법(기법)을 기반으로 예측 신호를 생성할 수 있음은 영상 부호화 장치(100)의 예측부에 대한 설명에서 언급된 바와 동일하다.
인트라 예측부(265)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 인트라 예측부(185)에 대한 설명은 인트라 예측부(265)에 대해서도 동일하게 적용될 수 있다.
인터 예측부(260)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기반하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 상기 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 상기 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측의 경우에, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 예를 들어, 인터 예측부(260)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 수신한 후보 선택 정보를 기반으로 상기 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출할 수 있다. 다양한 예측 모드(기법)를 기반으로 인터 예측이 수행될 수 있으며, 상기 예측에 관한 정보는 상기 현재 블록에 대한 인터 예측의 모드(기법)를 지시하는 정보를 포함할 수 있다.
가산부(235)는 획득된 레지듀얼 신호를 예측부(인터 예측부(260) 및/또는 인트라 예측부(265) 포함)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)에 더함으로써 복원 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다. 가산부(155)에 대한 설명은 가산부(235)에 대해서도 동일하게 적용될 수 있다. 가산부(235)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다.
필터링부(240)는 복원 신호에 필터링을 적용하여 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(240)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 상기 수정된 복원 픽처를 메모리(250), 구체적으로 메모리(250)의 DPB에 저장할 수 있다. 상기 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter) 등을 포함할 수 있다.
메모리(250)의 DPB에 저장된 (수정된) 복원 픽처는 인터 예측부(260)에서 참조 픽쳐로 사용될 수 있다. 메모리(250)는 현재 픽처 내 움직임 정보가 도출된(또는 디코딩된) 블록의 움직임 정보 및/또는 이미 복원된 픽처 내 블록들의 움직임 정보를 저장할 수 있다. 상기 저장된 움직임 정보는 공간적 주변 블록의 움직임 정보 또는 시간적 주변 블록의 움직임 정보로 활용하기 위하여 인터 예측부(260)에 전달할 수 있다. 메모리(250)는 현재 픽처 내 복원된 블록들의 복원 샘플들을 저장할 수 있고, 인트라 예측부(265)에 전달할 수 있다.
본 명세서에서, 영상 부호화 장치(100)의 필터링부(160), 인터 예측부(180) 및 인트라 예측부(185)에서 설명된 실시예들은 각각 영상 복호화 장치(200)의 필터링부(240), 인터 예측부(260) 및 인트라 예측부(265)에도 동일 또는 대응되도록 적용될 수 있다.
신경망 포스트 필터 특성(Neural-network post-filter characteristics, NNPFC)
표 1 내지 표 3의 결합은 NNPFC 신택스 구조를 나타낸다.
Figure PCTKR2024008958-appb-img-000001
Figure PCTKR2024008958-appb-img-000002
Figure PCTKR2024008958-appb-img-000003
표 1 내지 표 3의 NNPFC 신택스 구조는 SEI(supplemental enhancement information) 메시지 형태로 시그널링될 수 있다. 표 1 내지 표 3의 NNPFC 신택스 구조를 시그널링하는 SEI 메시지는 NNPFC SEI 메시지라고 지칭될 수 있다.
NNPFC SEI 메시지는 후처리(post-processing) 필터로 이용될 수 있는 신경망을 특정할 수 있다. 특정 픽처들에 대해 특정된 후처리 필터들의 사용은 신경망 포스트 필터 활성화(neural-network post-filter activation, NNPFA) SEI 메시지들을 이용하여 나타낼 수 있다. 여기서, '후처리 필터'와 '포스트 필터'는 동일한 의미를 가질 수 있다.
이러한 SEI 메시지들을 사용하려면 아래와 같은 변수들의 정의가 필요할 수 있다.
- 입력 픽처의 너비와 높이는 루마 샘플 단위로 잘릴 수 있으며, 이 너비와 높이는 각각 CroppedWidth 및 CroppedHeight로 나타낼 수 있다.
- 입력 픽처들의 루마 샘플 어레이인 CroppedYPic[idx]와, 크로마 샘플 어레이인 CroppedCbPic[idx] 및 CroppedCrPic[idx]는 이들이 존재하는 경우에 NNPF에 대한 입력으로 이용될 수 있으며, 인덱스인 idx는 0 내지 numInputPics-1의 범위를 가질 수 있다.
- BitDepthY는 입력 픽처들의 루마 샘플 어레이에 대한 비트 뎁스를 나타낼 수 있다.
- BitDepthC는 이들이 존재하는 경우에 입력 픽처들의 크로마 샘플 어레이들의 비트 뎁스를 나타낼 수 있다.
- ChromaFormatIdc는 크로마 포맷 식별자를 나타낼 수 있다.
- nnpfc_auxiliary_inp_idc의 값이 1인 경우, 입력 픽처들의 필터링 강도 제어 값 어레이인 StrengthControlVal[idx]는 0 내지 1 범위의 실수들을 포함해야 하며, 인덱스인 idx는 0 내지 numInputPics-1의 범위를 가질 수 있다.
인덱스 0을 가지는 입력 픽처는 NNPFC SEI 메시지에 의해 정의된 NNPF가 NNPFA SEI 메시지에 의해 활성화된 픽처에 해당할 수 있다. 인덱스 i가 1 내지 numInputPics - 1 범위 내에 존재하는 입력 픽처는 출력 순서에서 인덱스 i-1을 가지는 입력 픽처에 우선할 수 있다.
nnpfc_purpose는 표 4에 나타낸 NNPF의 목적을 나타낼 수 있다. 표 4에서, 0이 아닌 ( nnpfc_purpose & bitMask )은 표 4의 NNPF가 bitMask 값에 연관된 목적을 가짐을 나타낼 수 있다. nnpfc_purpose가 0보다 크고 ( nnpfc_purpose & bitMask )이 0과 동일한 경우, bitMask 값에 연관된 목적은 NNPF에 적용 가능하지 않을 수 있다. nnpfc_purpose가 0과 동일한 경우, NNPF는 애플리케이션에 의한 결정에 따라 사용될 수 있다. nnpfc_purpose의 값은 비트스트림에서 0 내지 63의 범위 내에 존재하도록 제한될 수 있다. nnpfc_purpose에 대한 64 내지 65 535 범위의 값은 향후 사용을 위해 예약될 수 있다. 디코더들은 64 내지 65 535 범위의 nnpfc_purpose를 가진 NNPFC SEI 메시지를 무시해야 한다.
Figure PCTKR2024008958-appb-img-000004
nnpfc_purpose가 나타내는 NNPF의 목적이 크로마 업샘플링인지 여부를 나타내는 변수 chromaUpsamplingFlag, nnpfc_purpose가 나타내는 NNPF의 목적이 해상도 리샘플링인지 여부를 나타내는 변수 resolutionResamplingFlag, nnpfc_purpose가 나타내는 NNPF의 목적이 픽처 레이트(rate) 업샘플링인지 여부를 나타내는 변수 pictureRateUpsamplingFlag, nnpfc_purpose가 나타내는 NNPF의 목적이 비트 뎁스 업샘플링인지 여부를 나타내는 변수 bitDepthUpsamplingFlag, 및 nnpfc_purpose가 나타내는 NNPF의 목적이 컬러라이제이션(colourization)인지 여부를 나타내는 변수 colourizationFlag는 아래의 표 5와 같이 유도될 수 있다.
Figure PCTKR2024008958-appb-img-000005
ChromaFormatIdc가 3과 동일한 경우, chromaUpsamplingFlag는 0과 동일하도록 제한될 수 있다. ChromaFormatIdc 또는 chromaUpsamplingFlag가 0과 동일하지 않은 경우, colourizationFlag는 0과 동일하도록 제한될 수 있다. pictureRateUpsamplingFlag가 1과 동일하고 인덱스 0을 가지는 입력 픽처가 fp_arrangement_type의 값이 5인 프레임 패킹 배열 SEI 메시지와 연관된 경우, 모든 입력픽처들은 fp_arrangement_type의 값이 5이고 및 fp_current_frame_is_frame0_flag의 값이 동일한 프레임 패킹 배열 SEI 메시지와 연관될 수 있다.
nnpfc_id는 NNPF를 식별하는 데 사용할 수 있는 식별 번호를 포함할 수 있다. nnpfc_id 값은 0 내지 232 - 2의 범위에 존재해야 한다. 256 내지 511 범위 및 231 내지 232 - 2 범위의 nnpfc_id 값은 향후 사용을 위해 예약될 수 있다. 디코더들은 256 내지 511 범위 또는 231 내지 232 - 2 범위의 nnpfc_id를 가진 NNPFC SEI 메시지를 무시해야 한다.
NNPFC SEI 메시지가 현재 CLVS 내에서 특정 nnpfc_id 값을 가지는 디코딩 순서 상 첫 번째 NNPFC SEI 메시지인 경우에는 다음이 적용될 수 있다.
- 상기 SEI 메시지는 기본(base) NNPF를 나타낼 수 있다.
- 상기 SEI 메시지는, 출력 순서에서, 현재 CLVS가 종료될 때까지 현재 디코딩된 픽처 및 현재 레이어의 모든 후속하는 디코딩된 픽처들과 관련될 수 있다.
NNPFC SEI 메시지는 디코딩 순서에서 현재 CLVS 내 이전 NNPFC SEI 메시지의 반복일 수 있으며, 후속하는 시멘틱스들은 이 SEI 메시지가 현재 CLVS 내에서 동일한 내용을 가진 유일한 NNPFC SEI 메시지인 것처럼 적용될 수 있다.
nnpfc_mode_idc의 값 0은 SEI 메시지가 기본 NNPF를 나타내는 비트스트림을 포함하거나 또는 동일한 nnpfc_id 값을 가진 기본 NNPF에 관련된 업데이트를 나타낼 수 있다.
NNPFC SEI 메시지가 현재 CLVS 내에서 특정 nnpfc_id 값을 가지는 디코딩 순서 상 첫 번째 NNPFC SEI 메시지인 경우, nnpfc_mode_idc의 값 1은 nnpfc_id 값에 관련된 기본 NNPF가 신경망임을 나타낼 수 있으며, 상기 신경망은 태그 URI nnpfc_tag_uri로 식별되는 형식을 사용하여 nnpfc_uri로 표시된 URI에 의해 식별되는 신경망일 수 있다.
NNPFC SEI 메시지가 현재 CLVS 내에서 특정 nnpfc_id 값을 가지는 디코딩 순서 상 첫 번째 NNPFC SEI 메시지가 아니고 첫 번째 NNPFC SEI 메시지의 반복도 아닌 경우, nnpfc_mode_idc의 값 1은 동일한 nnpfc_id 값을 가진 기본 NNPF에 관련된 업데이트가 태그 URI nnpfc_tag_uri로 식별되는 형식을 사용하여 nnpfc_uri로 표시된 URI로 정의됨을 나타낼 수 있다.
nnpfc_base_flag의 값 1은 SEI 메시지가 기본 NNPF를 나타냄을 나타낼 수 있다. nnpfc_base_flag의 값 0은 SEI 메시지가 기본 NNPF에 관련된 업데이트를 나타냄을 나타낼 수 있다.
아래와 같은 제한들이 nnpfc_base_flag의 값에 적용될 수 있다.
- NNPFC SEI 메시지가 디코딩 순서상 현재 CLVS 내에서 특정 nnpfc_id 값을 갖는 첫 번째 NNPFC SEI 메시지인 경우, nnpfc_base_flag의 값은 1과 같아야 할 수 있다.
- NNPFC SEI 메시지 nnpfcB가 디코딩 순서상 현재 CLVS 내에서 특정 nnpfc_id 값을 갖는 첫 번째 NNPFC SEI 메시지가 아니고 nnpfc_base_flag의 값이 1과 같은 경우, NNPFC SEI 메시지는 동일한 nnpfc_id를 가지는 디코딩 순서 상 첫 번째 NNPFC SEI 메시지 nnpfcA의 반복에 해당할 수 있다. 즉, nnpfcB의 페이로드 콘텐트는 nnpfcA의 페이로드 콘텐트와 동일해야 할 수 있다.
nnpfc_base_flag의 값이 0인 경우, 다음의 제한들이 적용될 수 있다.
- 이 SEI 메시지는 동일한 nnpfc_id 값을 사용하여 디코딩 순서 상 선행하는 기본 NNPF와 관련된 업데이트를 정의할 수 있다. 업데이트는 누적되지 않지만 각 업데이트는 현재 CLVS 내에서 특정 nnpfc_id 값을 갖는 디코딩 순서 상 첫 번째 NNPFC SEI 메시지에 지정된 NNPF인 기본 NNPF에 적용될 수 있다. 이 SEI 메시지에 의해 정의된 NNPF는 동일한 nnpfc_id 값을 가진 기본 NNPF에 관련된 SEI 메시지에 의해 정의된 업데이트를 적용함으로써 획득될 수 있다.
- 이 SEI 메시지는 현재 디코딩된 픽처와 현재 레이어의 출력 순서 상 현재 CLVS의 끝까지의 모든 후속하는 디코딩된 픽처들에 관련될 수 있다. 여기서, 현재 CLVS 내에서 출력 순서 상 현재 디코딩된 픽처를 따르는 디코딩된 픽처는 제외될 수 있다. 이 SEI 메시지는 nnpfc_base_flag가 0이고 현재 CLVS 내의 특정 nnpfc_id 값 중 더 빠른 값을 갖는 디코딩 순서 상 후속하는 NNPFC SEI 메시지에 연관될 수 있다.
nnpfc_mode_idc의 값 0은 SEI 메시지가 기본 NNPF를 나타내는 비트스트림을 포함하거나 (nnpfc_base_flag의 값이 1인 경우), 동일한 nnpfc_id 값을 가지는 기본 NNPF에 대한 업데이트 (nnpfc_base_flag의 값이 0인 경우)임을 나타낼 수 있다. nnpfc_base_flag의 값이 1인 경우, 1과 동일한 nnpfc_mode_idc는 nnpfc_id의 값에 연관된 기본 NNPF가 URI에 의해 식별되는 신경망에 연관됨을 나타낼 수 있다. 여기서, URI는 태그 URI nnpfc_tag_uri에 의해 지시되는 포맷의 nnpfc_uri에 의해 지시될 수 있다. nnpfc_base_flag의 값이 0인 경우, 1과 동일한 nnpfc_mode_idc는 동일한 nnpfc_id 값의 기본 NNPF에 연관된 업데이트가 URI에 의해 정의됨을 나타낼 수 있다. 여기서, URI는 태그 URI nnpfc_tag_uri에 의해 지시되는 포맷의 nnpfc_uri에 의해 지시될 수 있다.
nnpfc_mode_idc의 값은 비트스트림에서 0 내지 1의 범위를 가지도록 제한될 수 있다. nnpfc_mode_idc에 대한 2 내지 255 범위의 값은 향후 사용을 위해 예약될 수 있으며, 비트스트림에 존재하지 않을 수 있다. 디코더들은 2 내지 255 범위의 nnpfc_mode_idc를 가지는 NNPFC SEI 메시지를 무시해야 한다. 255 보다 큰 nnpfc_mode_idc의 값들은 비트스트림에 존재하지 않으며, 향후 사용을 위해 예약되지 않을 수 있다.
nnpfc_reserved_zero_bit_a는 비트스트림 제한에 의해 0과 동일한 값을 가지도록 제한될 수 있다. 디코더들은 nnpfc_reserved_zero_bit_a의 값이 0이 아닌 NNPFC SEI 메시지들을 무시하도록 제한될 수 있다.
nnpfc_tag_uri는 기본 NNPF로 이용되는 신경망 또는 nnpfc_uri에 의해 특정되는 nnpfc_id 값을 사용한 기본 NNPF에 대한 업데이트를 식별하는 IETF RFC 4151에 특정된 신택스 및 시멘틱스를 가지는 태그 URI를 포함할 수 있다. nnpfc_tag_uri를 사용하면 중앙 등록 기관 없이도 nnrpf_uri가 지정한 신경망 데이터의 형식을 고유하게 식별할 수 있다. "tag:iso.org,2023:15938-17"과 동일한 nnpfc_tag_uri는 nnpfc_uri로 식별된 신경망 데이터가 ISO/IEC 15938-17을 준수함을 나타낼 수 있다.
nnpfc_uri는 기본 NNPF로 사용되는 신경망 또는 동일한 nnpfc_id 값을 사용하는 기본 NNPF에 관련된 업데이트를 식별하는 IETF Internet Standard 66에 지정된 신택스 및 시멘틱스를 가지는 URI를 포함할 수 있다.
nnpfc_property_present_flag의 값 1은 필터 목적, 입력 포맷팅, 출력 포맷팅 및 복잡성과 관련된 신택스 엘리먼트들이 존재함을 나타낼 수 있다. nnpfc_property_present_flag의 값 0은 필터 목적, 입력 포맷팅, 출력 포맷팅 및 복잡성과 관련된 신택스 엘리먼트들이 존재하지 않음을 나타낼 수 있다. nnpfc_base_flag의 값이 1이면, nnpfc_property_present_flag는 1의 값을 가지도록 제한될 수 있다. nnpfc_property_present_flag의 값이 0이면, nnpfc_property_present_flag의 값이 1인 경우에만 존재할 수 있는 모든 신택스 엘리먼트들의 값들은 SEI 메시지가 업데이트를 제공하는 기본 NNPF를 포함하는 NNPFC SEI 메시지 내에서 그들의 대응하는 신택스 엘리먼트들의 값과 동일하게 추론될 수 있다.
NNPFC SEI 메시지 nnpfcCurr이 디코딩 순서 상 현재 CLVS 내에서 특정한 nnpfc_id 값을 가지는 첫 번째 NNPFC SEI 메시지가 아니고, 특정한 nnpfc_id 값을 가지는 첫 번째 NNPFC SEI 메시지의 반복이 아니며(즉, nnpfc_base_flag의 값이 0인 경우), nnpfc_property_present_flag의 값이 1인 경우, 아래와 같은 제한들이 적용될 수 있다.
- NNPFC SEI 메시지 내 nnpfc_purpose의 값은 디코딩 순서 상 현재 CLVS 내에서 특정한 nnpfc_id 값을 가지는 첫 번째 NNPFC SEI 메시지 내 nnpfc_purpose의 값과 동일해야 한다.
- NNPFC SEI 메시지 내 신택스 요소들인 nnpfc_base_flag 및 preceding nnpfc_complexity_info_present_flag의 값은 디코딩 순서 상 현재 CLVS 내에서 특정한 nnpfc_id 값을 가지는 첫 번째 NNPFC SEI 메시지 내 대응하는 신택스 요소들의 값과 동일해야 한다.
- 디코딩 순서 상 현재 CLVS 내에서 특정한 nnpfc_id 값을 가지는 첫 번째 NNPFC SEI 메시지 내 nnpfc_complexity_info_present_flag는 0과 같거나 모두 1과 같아야 하며, 아래와 같은 내용들이 적용될 수 있다
(1) nnpfcCurr 내 nnpfc_parameter_parameter_type_idc은 nnpfcBase 내 nnpfc_parameter_parameter_type_idc와 동일해야 한다.
(2) nnpfcCurr 내 nnpfc_log2_parameter_bit_length_minus3가 존재하는 경우, nnpfcCurr 내 nnpfc_log2_parameter_bit_length_minus3은 nnpfcBase 내 nnpfc_log2_parameter_bit_length_minus3 이하이어야 한다.
(3) nnpfcBase 내 nnpfc_num_parameters_idc가 0과 동일한 경우, nnpfcCurr 내 nnpfc_num_parameters_idc는 0과 동일해야 한다.
(4) 그렇지 않은 경우(nnpfcBase 내 nnpfc_num_parameters_idc가 0보다 큰 경우), nnpfcCurr 내 nnpfc_num_parameters_idc는 0보다 크거나 nnpfcBase 내 nnpfc_num_parameters_idc 이하이어야 한다.
(5) nnpfcBase 내 nnpfc_num_kmac_operations_idc가 0과 동일한 경우, nnpfcCurr 내 nnpfc_num_kmac_operations_idc은 0과 동일해야 한다.
(6) 그렇지 않은 경우(nnpfcBase 내 nnpfc_num_kmac_operations_idc가 0보다 큰 경우), nnpfcCurr 내 nnpfc_num_kmac_operations_idc는 0보다 크고 nnpfcBase 내 nnpfc_num_kmac_operations_idc 이하이어야 한다.
(7) nnpfcBase 내 nnpfc_total_kilobyte_size가 0과 동일한 경우, nnpfcCurr 내 nnpfc_total_kilobyte_size은 0과 동일해야 한다.
(8) 그렇지 않은 경우(nnpfcBase 내 nnpfc_total_kilobyte_size가 0보다 큰 경우), nnpfcCurr 내 nnpfc_total_kilobyte_size는 0보다 크거나 nnpfcBase 내 nnpfc_total_kilobyte_size 이하이어야 한다.
nnpfc_num_input_pics_minus1 + 1은 NNPF의 입력으로 사용되는 디코딩된 출력 픽처의 수를 나타낼 수 있다. nnpfc_num_input_pics_minus1의 값은 0 내지 63 범위 내에 존재하도록 제한될 수 있다. pictureRateUpsamplingFlag의 값이 1인 경우, nnpfc_num_input_pics_minus1의 값은 0보다 크도록 제한될 수 있다.
NNPF에 대한 입력으로 이용되는 픽처들의 수를 나타내는 변수 numInputPics은 수학식 1 같이 유도될 수 있다.
Figure PCTKR2024008958-appb-img-000006
nnpfc_input_pic_output_flag[ i ]의 값 1은 i-번째 입력 픽처에 대해 NNPF가 대응하는 출력 픽처를 생성함을 나타낼 수 있다. nnpfc_input_pic_output_flag[ i ]의 값 0은 i-번째 입력 픽처에 대해 NNPF가 대응하는 출력 픽처를 생성하지 않음을 나타낼 수 있다. nnpfc_num_input_pics_minus1의 값이 0이면 nnpfc_input_pic_output_flag[ 0 ]의 값으 1로 추론될 수 있다. pictureRateUpsamplingFlag의 값이 0과 같고 nnpfc_num_input_pics_minus1의 값이 0보다 큰 경우, nnpfc_input_pic_output_flag[ i ]는 0 내지 nnpfc_num_input_pics_minus1 사이의 범위 내의 i의 적어도 하나의 값에 대해 1과 같도록 제한될 수 있다. nnpfc_input_pic_output_flag[ i ]는 nnpfc_input_pic_filtering_flag[ i ]로 지칭될 수 있다.
nnpfc_absent_input_pic_zero_flag의 값 1은 비트스트림에 존재하지 않는 입력 픽처가 0의 샘플 값을 가지는 샘플 어레이들로 표현되는 것을 NNPF가 기대함을 나타낼 수 있다. nnpfc_absent_input_pic_zero_flag의 값 0은 비트스트림에 존재하지 않는 입력 픽처가 비트스트림 내에서 출력 순서 상 최인접한 입력 픽처에 의해 표현되는 것을 NNPF가 기대함을 나타낼 수 있다.
nnpfc_out_sub_c_flag는 chromaUpsamplingFlag의 값이 0인 경우에 변수들 outSubWidthC 및 outSubHeightC의 값들을 나타낼 수 있다. nnpfc_out_sub_c_flag의 값 1은 outSubWidthC의 값이 1이고 outSubHeightC의 값이 1임을 나타낼 수 있다. nnpfc_out_sub_c_flag의 값 0은 outSubWidthC의 값이 2이고 outSubHeightC의 값이 1임을 나타낼 수 있다. ChromaFormatIdc의 값이 2이고 nnpfc_out_sub_c_flag가 존재하는 경우, nnpfc_out_sub_c_flag의 값은 1과 같아야 한다.
nnpfc_out_colour_format_idc는 colourizationFlag의 값이 1인 경우에 NNPF 출력의 컬러 포맷 및 그에 따른 변수들 outSubWidthC 및 outSubHeightC의 값들을 나타낼 수 있다. nnpfc_out_colour_format_idc의 값 1은 NNPF 출력의 컬러 포맷이 4:2:0 포맷이고 outSubWidthC 및 outSubHeightC가 모두 2와 동일함을 나타낼 수 있다. nnpfc_out_colour_format_idc의 값 2는 NNPF 출력의 컬러 포맷이 4:2:2 포맷이고 outSubWidthC가 2이며 outSubHeightC가 1임을 나타낼 수 있다. nnpfc_out_colour_format_idc의 값 3은 NNPF 출력의 컬러 포맷이 4:4:4 포맷이고 outSubWidthC 및 outSubHeightC가 모두 1임을 나타낼 수 있다. nnpfc_out_colour_format_idc의 값은 0과 동일하지 않도록 제한될 수 있다. chromaUpsamplingFlag 및 colourizationFlag가 모두 0과 동일한 경우, outSubWidthC 및 outSubHeightC 각각은 SubWidthC 및 SubHeightC와 동일한 것으로 추론될 수 있다.
nnpfc_pic_width_num_minus1+1 및 nnpfc_pic_width_denom_minus1+1은 각각 CroppedWidth에 대한 NNPF 출력 픽처 너비의 리샘플링 비율에 대한 분자와 분모를 나타낼 수 있다. ( nnpfc_pic_width_num_minus1 + 1 )을 ( nnpfc_pic_width_denom_minus1 + 1 )으로 나눈 값은 1/16 내지 16의 범위 내에 존재해야 한다. nnpfc_pic_width_num_minus1 및 nnpfc_pic_width_denom_minus1이 존재하지 않는 경우, nnpfc_pic_width_num_minus1 및 nnpfc_pic_width_denom_minus1 모두는 0으로 추론될 수 있다.
변수 nnpfcOutputPicWidth는 nnpfc_id에 의해 식별되는 NNPF를 입력 픽처(들)에 적용한 결과에 해당하는 픽처(들)의 루마 샘플 어레이들의 너비를 나타내며, 수학식 2와 같이 유도될 수 있다.
Figure PCTKR2024008958-appb-img-000007
nnpfcOutputPicWidth를 outSubWidthC로 나눈 나머지는 0과 같아야 한다.
nnpfc_pic_height_num_minus1+1 및 nnpfc_pic_height_denom_minus1+1은 각각 CroppedHeight에 대한 NNPF 출력 픽처 높이의 리샘플링 비율에 대한 분자와 분모를 나타낼 수 있다. ( nnpfc_pic_height_num_minus1 + 1 )을 ( nnpfc_pic_height_denom_minus1 + 1 )으로 나눈 값은 1/16 내지 16의 범위 내에 존재해야 한다. nnpfc_pic_height_num_minus1 및 nnpfc_pic_height_denom_minus1이 존재하지 않는 경우, nnpfc_pic_height_num_minus1 및 nnpfc_pic_height_denom_minus1 모두는 0으로 추론될 수 있다.
변수 nnpfcOutputPicHeight는 nnpfc_id에 의해 식별되는 NNPF를 입력 픽처(들)에 적용한 결과에 해당하는 픽처(들)의 루마 샘플 어레이들의 높이를 나타내며, 수학식 3과 같이 유도될 수 있다.
Figure PCTKR2024008958-appb-img-000008
nnpfcOutputPicHeight를 outSubHeightC로 나눈 나머지는 0과 같아야 한다.
nnpfc_pic_width_num_minus1, nnpfc_pic_width_denom_minus1, nnpfc_pic_height_num_minus1, 및 nnpfc_pic_height_denom_minus1이 존재하는 경우, 아래의 제한들 중 적어도 하나가 참(true)일 수 있다.
- nnpfcOutputPicWidth의 값은 CroppedWidth와 동일하지 않음
- nnpfcOutputPicHeight의 값은 CroppedHeight와 동일하지 않음
nnpfc_interpolated_pics[ i ]는 NNPF의 입력으로 사용되는 i번째 픽처와 (i + 1)번째 픽처 사이에서 NNPF에 의해 생성된 보간 픽처의 수를 나타낼 수 있다. nnpfc_interpolated_pics[ i ]의 값은 0 내지 63 범위 내로 제한될 수 있다. nnpfc_interpolated_pics[ i ]의 값은 0 내지 nnpfc_num_input_pics_minus1 - 1 범위 내의 적어도 하나의 i에 대해 0보다 크도록 제한될 수 있다.
대응하는 입력 픽처를 가지며 NNPF의 출력 텐서(tensor) 내에 존재하는 픽처들의 수를 나타내는 변수 NumInpPicsInOutputTensor, 대응하는 입력 픽처를 가지며 NNPF의 출력 텐서 내에 존재하는 idx-번째 픽처의 입력 픽처 인덱스를 나타내는 변수 InpIdx[ idx ], 및 NNPF의 출력 텐서 내에 존재하는 픽처들의 전체 개수를 나타내는 변수 numOutputPics는 표 6에 나타낸 바와 같이 유도될 수 있다.
Figure PCTKR2024008958-appb-img-000009
nnpfc_component_last_flag의 값 1은 NNPF에 대한 입력 텐서 inputTensor의 마지막 차원과 NNPF의 결과인 출력 텐서 outputTensor가 현재 채널에 사용됨을 나타낼 수 있다. nnpfc_component_last_flag의 값 0은 NNPF에 대한 입력 텐서 inputTensor의 세 번째 차원과 NNPF의 결과인 출력 텐서 outputTensor가 현재 채널에 사용됨을 나타낼 수 있다. 입력 텐서와 출력 텐서의 첫 번째 차원은 일부 신경망 프레임워크에서 사용되는 배치 인덱스(batch index)에 사용될 수 있다. 이 SEI 메시지의 시멘틱스 내 공식은 0과 같은 배치 인덱스에 해당하는 배치 크기를 사용하지만, 신경망 추론에 대한 입력으로 사용되는 배치 크기를 결정하는 것은 후처리의 구현에 의해 결정될 수 있다. 예를 들어, nnpfc_inp_order_idc의 값이 3과 같고 nnpfc_auxiliary_inp_idc의 값이 1과 같을 때, 입력 텐서에는 4개의 루마 행렬, 2개의 크로마 행렬 및 1개의 보조 입력 행렬을 포함하여 7개의 채널들이 존재할 수 있다. 이 경우 DeriveInputTensors() 프로세스는 입력 텐서의 7개 채널 각각을 하나씩 유도할 수 있으며, 이러한 채널 중 특정 채널이 처리될 때 해당 채널은 프로세스 중 현재 채널이라고 지칭될 수 있다.
nnpfc_inp_format_idc는 입력 픽처의 샘플 값을 NNPF의 입력 값으로 변환하는 방법을 나타낼 수 있다. nnpfc_inp_format_idc의 값이 1인 경우, NNPF의 입력 값들은 실수일 수 있으며, 함수들 InpY( ) 및 InpC( )는 수학식 4와 같이 나타낼 수 있다.
Figure PCTKR2024008958-appb-img-000010
nnpfc_inp_format_idc의 값이 1이면 NNPF의 입력 값들은 부호 없는 정수들(unsigned integer numbers)이며, 함수들 InpY() 및 InpC()은 표 7과 같이 유도될 수 있다.
Figure PCTKR2024008958-appb-img-000011
변수 inpTensorBitDepthY는 아래에서 설명되는 신택스 요소 nnpfc_inp_tensor_luma_bitdepth_minus8로부터 유도될 수 있다. inpTensorBitDepthC는 아래에서 설명되는 신택스 요소 nnpfc_inp_tensor_chroma_bitdepth_minus8로부터 유도될 수 있다. 1보다 큰 nnpfc_inp_format_idc의 값은 향후 사용을 위해 예약될 수 있으며, 비트스트림에는 존재하지 않아야 한다. 디코더들은 nnpfc_inp_format_idc의 예약된 값들을 포함하는 NNPFC SEI 메시지를 무시해야 한다.
0보다 큰 nnpfc_auxiliary_inp_idc는 NNPF의 입력 텐서에 보조 입력 데이터가 존재함을 나타낼 수 있다. nnpfc_auxiliary_inp_idc의 값 0은 보조 입력 데이터가 입력 텐서에 존재하지 않음을 나타낼 수 있다. nnpfc_auxiliary_inp_idc의 값 1은 보조 입력 데이터가 표 10 내지 표 12에 나타낸 방법을 통해 유도됨을 나타낼 수 있다. nnpfc_auxiliary_inp_idc의 값은 비트스트림에서 0 내지 1의 범위에 존재해야 한다. nnpfc_auxiliary_inp_idc에 대한 2 내지 255의 값들은 향후 사용을 위해 예약될 수 있으며, 비트스트림에는 존재하지 않는다. 디코더들은 2 내지 255의 범위의 nnpfc_auxiliary_inp_idc를 가지는 NNPFC SEI 메시지를 무시해야 한다. 255보다 큰 nnpfc_auxiliary_inp_idc의 값은 비트스트림에 존재하지 않으며 향후 사용을 위해 예약되지 않는다.
nnpfc_inp_order_idc는 NNPF에 대한 입력 텐서를 형성하기 위해 입력 픽처의 샘플 어레이들을 정렬하는 방법을 나타낼 수 있다. nnpfc_inp_order_idc의 값은 비트스트림에서 0 내지 3의 범위에 존재해야 한다. nnpfc_inp_order_idc에 대한 4 내지 255의 값은 향후 사용을 위해 예약될 수 있으며, 비트스트림에 존재하지 않는다. 디코더들은 4 내지 255의 범위에 존재하는 nnpfc_inp_order_idc를 가지는 NNPFC SEI 메시지를 무시해야 한다. 255보다 큰 nnpfc_inp_order_idc의 값은 비트스트림에 존재하지 않으며 향후 사용을 위해 예약되지 않는다. ChromaFormatIdc의 값이 1이 아닌 경우, nnpfc_inp_order_idc의 값은 3이 아니어야 한다. ChromaFormatIdc의 값이 0인 경우, nnpfc_inp_order_idc의 값은 3이어야 한다. chromaUpsamplingFlag의 값이 1인 경우, nnpfc_inp_order_idc의 값은 0이 아니어야 한다.
표 8에는 nnpfc_inp_order_idc 값에 대한 설명이 나타나 있다.
Figure PCTKR2024008958-appb-img-000012
nnpfc_inp_tensor_luma_bitdepth_minus8+8은 입력 정수 텐서 내 루마 샘플 값들의 비트 뎁스를 나타낼 수 있다. inpTensorBitDepthY는 수학식 5와 같이 유도될 수 있다.
Figure PCTKR2024008958-appb-img-000013
nnpfc_inp_tensor_luma_bitlength_minus8의 값은 0 내지 24의 범위에 존재해야 하는 것으로 제한될 수 있다.
nnpfc_inp_tensor_chroma_bitdepth_minus8+8은 입력 정수 텐서 내 크로마 샘플 값들의 비트 뎁스를 나타낼 수 있다. inpTensorBitDepthC의 값은 수학식 6과 같이 유도될 수 있다.
Figure PCTKR2024008958-appb-img-000014
nnpfc_inp_tensor_chroma_bitdepth_minus8의 값은 0 내지 24의 범위에 존재해야 하는 것으로 제한될 수 있다.
nnpfc_auxiliary_inp_idc의 값이 1과 동일한 경우, 변수 strengthControlScaledVal은 표 9와 같이 유도될 수 있다.
Figure PCTKR2024008958-appb-img-000015
패치는 픽처의 성분(e.g., 루마 또는 크로마 성분)으로부터의 샘플들의 직사각형 어레이일 수 있다.
입력 텐서에 포함된 샘플 패치의 좌상단 샘플 위치를 나타내는 주어진 수직 샘플 좌표 cTop 및 수평 샘플 좌표 cLeft에 대한 입력 텐서 inputTensor를 유도하는 프로세스 DeriveInputTensors()는 표 10 내지 표 12의 결합과 같이 나타낼 수 있다.
Figure PCTKR2024008958-appb-img-000016
Figure PCTKR2024008958-appb-img-000017
Figure PCTKR2024008958-appb-img-000018
nnpfc_out_format_idc의 값 0은 후속하는 후처리 또는 디스플레이를 위해 요구되는 비트 뎁스 bitDepth에 대해, NNPF에 의해 출력된 샘플 값이 0 내지 1의 값 범위가 0 내지 (1 << bitDepth) - 1의 부호 없는 정수 값 범위에 선형적으로 매핑되는 실수임을 나타낼 수 있다. nnpfc_out_format_idc의 값 1은 NNPF에 의해 출력된 루마 샘플 값이 0 내지 ( 1 << outTensorBitDepthY ) - 1 범위의 부호 없는 정수임을 나타낼 수 있으며, NNPF에 의해 출력된 크로마 샘플 값이 0 내지 ( 1 << ( 1 << outTensorBitDepthC ) - 1 범위의 부호 없는 정수임을 나타낼 수 있다. 1보다 큰 nnpfc_out_format_idc의 값은 향후 사용을 위해 예약될 수 있으며 비트스트림에는 존재하지 않는다. 디코더들은 nnpfc_out_format_idc의 예약된 값을 포함하는 NNPFC SEI 메시지를 무시해야 한다.
nnpfc_out_order_idc는 NNPF로부터 출력되는 샘플들의 출력 순서를 나타낼 수 있다. nnpfc_out_order_idc의 값은 비트스트림에서 0 내지 3의 범위에 존재해야 한다. nnpfc_out_order_idc에 대한 4 내지 255의 값들은 향후 사용을 위해 예약될 수 있으며, 비트스트림에는 존재하지 않는다. 디코더들은 4 내지 255의 범위에 존재하는 nnpfc_out_order_idc를 가지는 NNPFC SEI 메시지를 무시해야 한다. 255보다 큰 nnpfc_out_order_idc의 값은 비트스트림에 존재하지 않으며 향후 사용을 위해 예약되지 않는다. chromaUpsamplingFlag의 값이 1인 경우, nnpfc_out_order_idc의 값은 0 또는 3과 같지 않아야 한다. colourizationFlag의 값이 1인 경우, nnpfc_out_order_idc의 값은 0과 같지 않아야 한다.
표 13에는 nnpfc_out_order_idc의 값에 대한 설명이 나타나 있다.
Figure PCTKR2024008958-appb-img-000019
nnpfc_out_tensor_luma_bitdepth_minus8+8은 출력 정수 텐서 내 루마 샘플 값들의 비트 뎁스를 나타낼 수 있다. nnpfc_out_tensor_luma_bitdepth_minus8의 값은 0 내지 24의 범위에 존재해야 한다. outTensorBitDepthY의 값은 수학식 7과 같이 유도될 수 있다.
Figure PCTKR2024008958-appb-img-000020
nnpfc_out_tensor_chroma_bitdepth_minus8+8은 출력 정수 텐서 내 크로마 샘플 값들의 비트 뎁스를 나타낼 수 있다. nnpfc_out_tensor_chroma_bitdepth_minus8의 값은 0 내지 24의 범위에 존재해야 한다. outTensorBitDepthC의 값은 수학식 8과 같이 유도될 수 있다.
Figure PCTKR2024008958-appb-img-000021
bitDepthUpsamplingFlag의 값이 1인 경우, nnpfc_out_format_idc의 값은 1과 동일해야 하며, 아래의 제한들 중에서 적어도 하나가 참일 수 있다.
- nnpfc_out_tensor_luma_bitdepth_minus8+8이 존재하며, outTensorBitDepthY이 BitDepthY보다 큼
- nnpfc_out_tensor_chroma_bitdepth_minus8+8이 존재하며, outTensorBitDepthC이 BitDepthC보다 큼
nnpfc_inp_tensor_luma_bitdepth_minus8, nnpfc_inp_tensor_chroma_bitdepth_minus8, nnpfc_out_tensor_luma_bitdepth_minus8, 및 nnpfc_out_tensor_chroma_bitdepth_minus8이 존재하고 outTensorBitDepthY이 inpTensorBitDepthY보다 크면, outTensorBitDepthC는 inpTensorBitDepthC보다 작지 않아야 한다. nnpfc_inp_tensor_luma_bitdepth_minus8, nnpfc_inp_tensor_chroma_bitdepth_minus8, nnpfc_out_tensor_luma_bitdepth_minus8, 및 nnpfc_out_tensor_chroma_bitdepth_minus8이 존재하고, outTensorBitDepthC이 inpTensorBitDepthC보다 크면, outTensorBitDepthY은 inpTensorBitDepthY보다 작지 않아야 한다.
입력 텐서에 포함된 샘플 패치의 좌상단 샘플 위치를 나타내는 주어진 수직 샘플 좌표 cTop 및 수평 샘플 좌표 cLeft에 대한 출력 텐서로부터 필터링된 샘플 어레이들인 FilteredYPic, FilteredCbPic, 및 FilteredCrPic 내 샘플 값들을 유도하는 프로세스 StoreOutputTensors( )는 표 14 및 표 15의 결합과 같이 나타낼 수 있다.
Figure PCTKR2024008958-appb-img-000022
Figure PCTKR2024008958-appb-img-000023
nnpfc_separate_colour_description_present_flag의 값 1은 NNPF로 인한 픽처에 대한 기본 색상(colour primaries), 변환 특성들, 행렬 계수들, 및 스케일링 및 오프셋 값들의 고유한 조합(distinct combination)이 SEI 메시지 신택스 구조에 지정됨을 나타낼 수 있다. nnfpc_separate_colour_description_present_flag의 값 0은 NNPF로 인한 픽처의 기본 색상, 변환 특성들, 행렬 계수들, 및 스케일링 및 오프셋 값들의 조합이 CLVS에 대한 VUI 파라미터들에 표시된 것과 동일함을 나타낼 수 있다.
nnpfc_colour_primaries는 다음을 제외하고 vui_colour_primaries 신택스 요소에 대해 정의된 것과 동일한 시멘틱스를 가질 수 있다.
- nnpfc_colour_primaries는 CLVS에 사용되는 기본 색상이 아닌, SEI 메시지에 지정된 NNPF를 적용한 결과로 나타나는 픽처의 기본 색상을 나타낼 수 있다.
- NNPFC SEI 메시지에 nnpfc_colour_primaries가 존재하지 않으면, nnpfc_colour_primaries의 값은 vui_colour_primaries의 값과 동일한 것으로 추론될 수 있다.
nnpfc_transfer_characteristics는 다음을 제외하고 vui_transfer_characteristics 신택스 요소에 대해 정의된 것과 동일한 시멘틱스를 가질 수 있다.
- nnpfc_transfer_characteristics는 CLVS에 사용되는 변환 특성이 아닌, SEI 메시지에 지정된 NNPF를 적용한 결과로 나타나는 픽처의 변환 특성을 나타낼 수 있다.
- NNPFC SEI 메시지에 nnpfc_transfer_characteristics가 존재하지 않으면, nnpfc_transfer_characteristics의 값은 vui_transfer_characteristics의 값과 동일한 것으로 추론될 수 있다.
nnpfc_matrix_coeffs는 그린, 블루 및 레드 또는 Y, Z 및 X 프라이머리들로부터 루마 및 크로마 신호들을 유도하기 위해 이용되는 수식들(equations)을 설명할 수 있다. nnpfc_matrix_coeffs의 시멘틱스는 SEI 메시지에 지정된 NNPF를 적용한 결과로 나타나는 픽처들에 적용될 수 있으며, MatrixCoefficients에 대해 나타낸 바와 같이 BitDepthY 및 BitDepthC 각각은 outTensorBitDepthY 및 outTensorBitDepthC와 동일할 수 있다. nnpfc_matrix_coeffs가 NNPFC SEI 메시지에 존재하지 않는 경우, nnpfc_matrix_coeffs의 값은 vui_matrix_coeffs와 동일하게 추론될 수 있다.
아래의 조건들이 만족하는 경우를 제외하면, nnpfc_matrix_coeffs은 0과 동일하지 않아야 한다.
- nnpfc_out_tensor_chroma_bitdepth_minus8이 nnpfc_out_tensor_luma_bitdepth_minus8와 동일함
- nnpfc_out_order_idc이 2와 동일하고, outSubHeightC이 1과 동일하며, outSubWidthC이 1과 동일함
아래의 조건들 중 어느 하나가 만족하는 경우를 제외하면, nnpfc_matrix_coeffs은 8과 동일하지 않아야 한다.
- nnpfc_out_tensor_chroma_bitdepth_minus8이 nnpfc_out_tensor_luma_bitdepth_minus8와 동일함
- nnpfc_out_tensor_chroma_bitdepth_minus8는 nnpfc_out_tensor_luma_bitdepth_minus8+1과 동일하며, nnpfc_out_order_idc는 2와 동일하고, outSubHeightC는 2와 동일하며, outSubWidthC는 1과 동일함.
nnpfc_full_range_flag는 nnpfc_matrix_coeffs에 의해 특정된 것과 같이 행렬 계수들과 관련하여 적용된 스케일링 및 오프셋 값들을 나타낼 수 있다. nnpfc_full_range_flag의 시멘틱스는 VideoFullRangeFlag에 대해 특정된 것과 같을 수 있다. nnpfc_full_range_flag이 존재하지 않는 경우, nnpfc_full_range_flag의 값은 0과 동일하게 추론될 수 있다.
nnpfc_chroma_loc_info_present_flag의 값 1은 NNPFC SEI 메시지 내에 nnpfc_chroma_sample_loc_type_frame 신택스 요소가 존재함을 나타낼 수 있다. nnpfc_chroma_loc_info_present_flag의 값 0은 NNPFC SEI 메시지 내에 nnpfc_chroma_sample_loc_type_frame 신택스 요소가 존재하지 않음을 나타낼 수 있다. colourizationFlag의 값이 0이거나 nnpfc_out_colour_format_idc가 1이 아닌 경우, nnpfc_chroma_loc_info_present_flag의 값은 0과 동일하게 제한될 수 있다.
nnpfc_chroma_sample_loc_type_frame이 6과 동일하지 않고 nnpfc_out_colour_format_idc가 1과 동일한 경우, nnpfc_chroma_sample_loc_type_frame는 출력 픽처들의 크로마 샘플들의 위치를 나타낼 수 있다. nnpfc_chroma_sample_loc_type_frame이 6과 동일하고 nnpfc_out_colour_format_idc가 1과 동일한 경우는 크로마 샘플들의 위치를 알 수 없거나 이 크로마 샘플들의 위치가 지정되지 않았거나 다른 방법으로 지정되었음을 나타낼 수 있다. nnpfc_chroma_sample_loc_type_frame의 값은 0 내지 6의 범위 내에 존재해야 한다.
nnpfc_overlap은 NNPF의 인접한 입력 텐서들의 오버랩핑(overlapping) 수평 및 수직 샘플 수를 나타낼 수 있다. nnpfc_overlap의 값은 0 내지 16 383 범위 내에 존재해야 한다.
nnpfc_constant_patch_size_flag의 값 1은 NNPF가 nnpfc_patch_width_minus1 및 nnpfc_patch_height_minus1에 의해 표시된 패치 크기를 입력으로 정확히 받아들인다는 것을 나타낼 수 있다. nnpfc_constant_patch_size_flag의 값 0은 NNPF가 너비 inpPatchWidth 및 높이 inpPatchHeight를 가지는 임의의 패치 크기를 입력으로 받아들인다는 것을 나타낼 수 있다. 여기서, inpPatchWidth+2*nnpfc_overlap와 동일한 확장된 패치의 너비(즉, 패치와 오버랩핑 영역을 더한 것)는 nnpfc_extended_patch_width_cd_delta_minus1+1+2*nnpfc_overlap의 양의 정수배이며, inpPatchHeight+2*nnpfc_overlap와 동일한 확장된 패치의 높이는 nnpfc_extended_patch_height_cd_delta_minus1+1+2*nnpfc_overlap의 양의 정수배이다.
npfc_patch_width_minus1+1은 nnpfc_constant_patch_size_flag의 값이 1일 때 NNPF의 입력에 필요한 패치 크기의 수평 샘플 수를 나타낼 수 있다. nnpfc_patch_width_minus1의 값은 0 내지 Min(32 766, CroppedWidth - 1)의 범위에 존재해야 한다.
npfc_patch_height_minus1+1은 nnpfc_constant_patch_size_flag의 값이 1일 때 NNPF의 입력에 필요한 패치 크기의 수직 샘플 수를 나타낼 수 있다. nnpfc_patch_height_minus1의 값은 0 내지 Min(32 766, CroppedHeight - 1)의 범위에 존재해야 한다.
nnpfc_extended_patch_width_cd_delta_minus1+1+2*nnpfc_overlap은 nnpfc_constant_patch_size_flag의 값이 0일 때, NNPF에 입력하는 데 요구되는 확장된 패치의 너비의 허용된 값의 공통 제수(common divisor)를 나타낼 수 있다. nnpfc_extended_patch_width_cd_delta_minus1의 값은 0 내지 Min(32 766, CroppedWidth - 1)의 범위에 존재해야 한다.
nnpfc_extended_patch_height_cd_delta_minus1+1+2*nnpfc_overlap은 nnpfc_constant_patch_size_flag의 값이 0일 때 NNPF에 입력하는 데 요구되는 확장된 패치의 높이의 허용된 값의 공통 제수(common divisor)를 나타낼 수 있다. nnpfc_extended_patch_height_cd_delta_minus1의 값은 0 내지 Min(32 766, CroppedHeight - 1)의 범위에 존재해야 한다.
변수들 inpPatchWidth 및 inpPatchHeight 각각은 패치 크기 너비와 패치 크기 높이로 설정될 수 있다.
nnpfc_constant_patch_size_flag의 값이 0이면 다음이 적용될 수 있다.
- inpPatchWidth 및 inpPatchHeight의 값은 외부 수단에 의해 제공되거나 포스트-프로세서에 의해 설정될 수 있다.
- inpPatchWidth+2*nnpfc_overlap의 값은 nnpfc_extended_patch_width_cd_delta_minus1+1+2*nnpfc_overlap의 양의 정수배이어야 하며, inpPatchWidth는 CroppedWidth보다 작거나 같아야 한다. inpPatchHeight+2*nnpfc_overlap의 값은 nnpfc_extended_patch_height_cd_delta_minus1+1+2*nnpfc_overlap의 양의 정수배이어야 하며, inpPatchHeight는 CroppedHeight보다 작거나 같아야 한다.
그렇지 않으면(nnpfc_constant_patch_size_flag의 값이 1이면), inpPatchWidth의 값은 nnpfc_patch_width_minus1+1과 동일하게 설정되고 inpPatchHeight의 값은 nnpfc_patch_height_minus1+1과 동일하게 설정될 수 있다.
변수들 outPatchWidth, outPatchHeight, horCScaling, verCScaling, outPatchCWidth 및 outPatchCHeight는 표 16와 같이 유도될 수 있다.
Figure PCTKR2024008958-appb-img-000024
outPatchWidth * CroppedWidth는 nnpfcOutputPicWidth * inpPatchWidth와 같아야 하며, outPatchHeight * CroppedHeight는 nnpfcOutputPicHeight * inpPatchHeight와 같아야 한다.
nnpfc_padding_type은 표 17에 설명된 대로 입력 픽처의 경계 외부에 있는 샘플 위치를 참조할 때의 패딩 프로세스를 나타낼 수 있다. nnpfc_padding_type의 값은 0 내지 4의 범위에 존재해야 한다. nnpfc_padding_type에 대한 5 내지 15의 값은 향후 사용을 위해 예약될 수 있으며, 비트스트림에는 존재하지 않는다. 디코더는 5 내지 15 범위의 nnpfc_padding_type을 가지는 NNPFC SEI 메시지를 무시해야 한다. 15를 초과하는 nnpfc_padding_type의 값은 비트스트림에 존재하지 않아야 하며 향후 사용을 위해 예약될 수 없다.
Figure PCTKR2024008958-appb-img-000025
nnpfc_luma_padding_val은 nnpfc_padding_type의 값이 4일 때 패딩에 사용할 루마 값을 나타낼 수 있다. nnpfc_luma_padding_val의 값은 0 내지 ( 1 << BitDepthY ) - 1의 범위 내에 존재해야 한다.
nnpfc_cb_padding_val은 nnpfc_padding_type의 값이 4일 때 패딩에 사용할 Cb 값을 나타낼 수 있다. nnpfc_cb_padding_val의 값은 0 내지 ( 1 << BitDepthC ) - 1의 범위 내에 존재해야 한다.
nnpfc_cr_padding_val은 nnpfc_padding_type의 값이 4일 때 패딩에 사용할 Cr 값을 나타낼 수 있다. nnpfc_cr_padding_val의 값은 0 내지 ( 1 << BitDepthC ) - 1의 범위 내에 존재해야 한다.
수직 샘플 위치 y, 수평 샘플 위치 x, 픽처 높이 picHeight, 픽처 너비 picWidth, 샘플 어레이 CroppedPic 및 공통 인덱스 cIdx(루마에 대해 0, Cb에 대해 1 및 Cr에 대해 2)의 입력을 가지는 함수 InpSampleVal( y, x, picHeight, picWidth, croppedPic, cIdx )는 표 18과 같이 유도된 SampleVal의 값을 반환할 수 있다.
Figure PCTKR2024008958-appb-img-000026
NNPF PostProcessingFilter( )는 NNPFA SEI 메시지의 시멘틱스들에서 유도된 대상 NNPF일 수 있다.
표 19의 프로세스는 NNPF PostProcessingFilter()를 사용하여 패치 방식으로 필터링하여 필터링된 및/또는 보간된 픽처를 생성하는 데 사용될 수 있으며, 필터링된 및/또는 보간된 픽처는 nnpfc_out_order_idc에 의해 표시된 바와 같이 Y 샘플 어레이 FilteredYPic, Cb 샘플 어레이 FilteredCbPic 및 Cr 샘플 어레이 FilteredCrPic을 포함할 수 있다.
Figure PCTKR2024008958-appb-img-000027
인덱스 i를 가지는 NNPF 생성(NNPF-generated) 픽처는 존재하는 경우에 샘플 어레이들인 FilteredYPic[ i ], FilteredCbPic[ i ] 및 FilteredCrPic[ i ]를 포함할 수 있다. NNPF 생성 픽처는 오버랩 영역들을 포함하지 않을 수 있다.
NNPF 프로세스는 표 19에 정의된 프로세스에 따라 NNPF 생성 픽처를 인덱스가 증가하는 순서대로 출력하는 것으로 구성되며, 여기서 NNPF에 의해 보간된 모든 NNPF 생성 픽처들이 출력되고 NNPFA SEI 메시지의 시멘틱스에 지정된 대로 NNPF에 입력된 픽처에 해당하는 모든 NNPF 생성 픽처들이 출력될 수 있다.
nnpfc_complexity_info_present_flag의 값 1은 nnpfc_id와 연관된 NNPF의 복잡도를 나타내는 하나 이상의 신택스 요소가 존재함을 나타낼 수 있다. nnpfc_complexity_info_present_flag의 값 0은 nnpfc_id와 연관된 NNPF의 복잡도를 나타내는 신택스 요소가 존재하지 않음을 나타낼 수 있다.
nnpfc_parameter_type_idc의 값 0은 신경망이 정수 파라미터들만을 사용함을 나타낼 수 있다. nnpfc_parameter_type_flag의 값 1은 신경망이 부동 소수점 또는 정수 파라미터들을 사용할 수 있음을 나타낼 수 있다. nnpfc_parameter_type_idc의 값 2는 신경망이 이진 파라미터들만을 사용함을 나타낼 수 있다. nnpfc_parameter_type_idc의 값 3은 향후 사용을 위해 예약될 수 있으며, 비트스트림에는 존재하지 않는다. 디코더들은 nnpfc_parameter_type_idc의 값이 3인 NNPFC SEI 메시지를 무시해야 한다.
nnpfc_log2_parameter_bit_length_minus3의 값 0, 1, 2 및 3은 신경망이 각각 8, 16, 32 및 64보다 큰 비트 길이의 파라미터들을 사용하지 않음을 나타낼 수 있다. nnpfc_parameter_type_idc가 존재하고 nnpfc_log2_parameter_bit_length_minus3이 존재하지 않으면 신경망은 1보다 큰 비트 길이의 파라미터들을 사용하지 않을 수 있다.
nnpfc_num_parameters_idc는 NNPF에 대한 신경망 파라미터들의 최대 수를 2 048의 거듭제곱 단위로 나타낼 수 있다. nnpfc_num_parameters_idc의 값 0은 신경망 파라미터들의 최대 수를 알 수 없음을 나타낼 수 있다. nnpfc_num_parameters_idc의 값은 0 내지 52 범위에 존재해야 한다. 52보다 큰 nnpfc_num_parameters_idc의 값은 비트스트림에는 존재하지 않는다. 디코더들은 52보다 큰 nnpfc_num_parameters_idc를 가진 NNPFC SEI 메시지를 무시해야 한다.
nnpfc_num_parameters_idc의 값이 0보다 큰 경우, 변수 maxNumParameters는 수학식 9와 같이 유도될 수 있다.
Figure PCTKR2024008958-appb-img-000028
NNPF의 신경망 파라미터들의 수는 maxNumParameters 보다 작거나 같도록 제한될 수 있다.
0보다 큰 nnpfc_num_kmac_operations_idc는 NNPF의 샘플 당 곱누산 작업의 최대 수(the maximum number of multiply-accumulate operations per sample)가 nnpfc_num_kmac_operations_idc * 1 000보다 작거나 같음을 나타낼 수 있다. nnpfc_num_kmac_operations_idc의 값 0은 상기 네트워크의 곱누산 연산의 최대 수를 알 수 없음을 나타낼 수 있다. nnpfc_num_kmac_operations_idc의 값은 0 내지 232 - 2의 범위에 존재해야 한다.
0보다 큰 nnpfc_total_kilobyte_size는 신경망의 압축되지 않은 파라미터들을 저장하는 데 필요한 총 크기(kilobytes)를 나타낼 수 있다. 비트 단위의 총 크기는 각 파라미터를 저장하는 데 사용된 비트의 합보다 크거나 같은 숫자일 수 있다. nnpfc_total_kilobyte_size는 총 크기(비트)를 8 000으로 나누고 반올림한 것일 수 있다. nnpfc_total_kilobyte_size의 값 0은 신경망에 대한 파라미터들을 저장하는 데 필요한 전체 크기를 알 수 없음을 나타낼 수 있다. nnpfc_total_kilobyte_size의 값은 0 내지 232 - 2의 범위에 존재해야 한다.
nnpfc_metadata_extension_num_bits의 값 0은 nnpfc_reserved_metadata_extension이 존재하지 않음을 나타낼 수 있다. 0보다 큰 nnpfc_metadata_extension_num_bits은 nnpfc_reserved_metadata_extension의 길이(비트)를 나타낼 수 있다. nnpfc_metadata_extension_num_bits은 0과 동일해야 한다. nnpfc_metadata_extension_num_bits에 대한 1 내지 2 048 범위 내 값들은 향후 사용을 위해 예약되며, 비트스트림에 존재하지 않는다. 디코더들은 0 내지 2 048 범위의 nnpfc_metadata_extension_num_bits의 임의의 값을 허용할 수 있다. 2 048보다 큰 nnpfc_metadata_extension_num_bits의 값은 비트스트림에 존재하지 않으며, 향후 사용을 위해 예약될 수 없다.
nnpfc_reserved_metadata_extension는 비트스트림에 존재하지 않는다. 그러나, 디코더들은 nnpfc_reserved_metadata_extension의 존재와 그 값을 무시해야 한다. nnpfc_reserved_metadata_extension이 존재하는 경우, nnpfc_reserved_metadata_extension의 길이는 nnpfc_metadata_extension_num_bits이 동일할 수 있다.
nnpfc_reserved_zero_bit_b는 비트스트림에서 0과 동일해야 한다. 디코더들은 nnpfc_reserved_zero_bit_b가 0이 아닌 NNPFC SEI 메시지를 무시해야 한다.
nnpfc_payload_byte[ i ]는 비트스트림의 i번째 바이트를 포함할 수 있다. i의 모든 존재하는 값에 대한 바이트 시퀀스 nnpfc_payload_byte[ i ]는 ISO/IEC 15938-17을 준수하는 완전한 비트스트림이어야 한다.
신경망 포스트-필터 활성화(Neural-network post-filter activation, NNFPA)
NNFPA에 대한 신택스 구조가 표 20에 나타나 있다.
Figure PCTKR2024008958-appb-img-000029
표 20의 NNPFA 신택스 구조는 SEI 메시지 형태로 시그널링될 수 있다. 표 20의 NNPFA 신택스 구조를 시그널링하는 SEI 메시지는 NNPFA SEI 메시지라고 지칭될 수 있다.
NNPFA SEI 메시지는 픽처 세트의 후처리 필터링을 위해 nnpfa_target_id에 의해 식별되는 대상 신경망 후처리 필터(NNPF)의 가능한 사용을 활성화하거나 비활성화할 수 있다. NNPF가 활성화된 특정 픽처에 대해, 대상 NNPF는 다음과 같이 유도될 수 있다.
- nnpfa_target_base_flag가 1이면, 대상 NNPF는 nnpfa_target_id와 동일한 nnpfc_id를 가지는 기본 NNPF일 수 있다.
- 그렇지 않으면(nnpfa_target_base_flag가 0이면), 대상 NNPF는 nnpfa_target_id와 동일한 nnpfc_id를 가지는 마지막 NNPFC SEI 메시지에 의해 특정되는 NNPF일 수 있다. 여기서, 마지막 NNPFC SEI 메시지는 디코딩 순서 상 현재 픽처의 첫 번째 VCL NAL 유닛에 선행하면서 기본 NNPF를 포함하는 NNPFC SEI 메시지의 반복에 해당하지 않을 수 있다.
NNPF가 다른 목적을 위해 사용되거나 다른 색상 성분을 필터링하는 경우에, 동일한 픽처에 대해 여러 개의 NNPFA SEI 메시지가 존재할 수 있다.
nnpfa_target_id는 현재 픽처와 관련되고 nnfpa_target_id와 동일한 nnpfc_id를 갖는 하나 이상의 NNPFC SEI 메시지에 의해 지정되는 대상 NNPF를 나타낼 수 있다. nnpfa_target_id의 값은 0 내지 232 - 2의 범위에 존재해야 한다.
특정 값의 nnpfa_target_id를 가진 NNPFA SEI 메시지는 다음 조건 중 하나 또는 둘 모두가 참이 아닌 한 현재 PU에 존재하지 않아야 한다.
- 현재 CLVS 내에서, 디코딩 순서에서 현재 PU에 우선하는 PU 내에 존재하는 특정 값의 nnpfa_target_id와, 동일한 nnpfc_id를 갖는 NNPFC SEI 메시지가 존재함
- 현재 PU의 특정 값의 nnpfa_target_id와 동일한 nnpfc_id를 갖는 NNPFC SEI 메시지가 존재함
PU가 특정 값의 nnpfc_id를 갖는 NNPFC SEI 메시지와, 특정 값의 nnpfc_id와 동일한 nnpfa_target_id를 갖는 NNPFA SEI 메시지를 모두 포함하는 경우, NNPFC SEI 메시지는 디코딩 순서에서 NNPFA SEI 메시지보다 선행해야 한다.
nnpfa_cancel_flag의 값 1은 현재 SEI 메시지와 동일한 nnpfa_target_id를 갖는 임의의 이전 NNPFA SEI 메시지에 의해 설정된 대상 NNPF의 지속성이 취소됨을 나타낼 수 있다. 즉, 대상 NNPF는 현재 SEI 메시지와 동일한 nnpfa_target_id 및 0과 동일한 nnpfa_cancel_flag를 갖는 다른 NNPFA SEI 메시지에 의해 활성화되지 않는 한, 더 이상 사용되지 않는다. nnpfa_cancel_flag의 값 0은 nnpfa_target_base_flag, nnpfa_persistence_flag 및 nnpfa_num_output_entries가 뒤따른다는 것을 나타낼 수 있다.
nnpfa_target_base_flag의 값 1은 대상 NNPF가 nnpfa_target_id와 동일한 nnpfc_id를 가지는 기본 NNPF임을 나타낼 수 있다. nnpfa_target_base_flag의 값 0은 대상 NNPF가 nnpfa_target_id와 동일한 nnpfc_id를 가지는 마지막 NNPFC SEI 메시지에 의해 특정되는 NNPF임을 나타낼 수 있다. 여기서, 마지막 NNPFC SEI 메시지는 디코딩 순서 상 현재 픽처의 첫 번째 VCL NAL 유닛에 선행하면서 기본 NNPF를 포함하는 NNPFC SEI 메시지의 반복에 해당하지 않을 수 있다.
nnpfa_persistence_flag는 현재 레이어에 대한 대상 NNPF의 지속성을 나타낼 수 있다. nnpfa_persistence_flag의 값 0은 대상 NNPF가 현재 픽처에 대한 후처리 필터링에만 사용될 수 있음을 나타낼 수 있다. nnpfa_persistence_flag의 값 1은 대상 NNPF가 다음 조건 중 하나 이상이 참일 때까지 출력 순서 상 현재 픽처와 현재 레이어 내 모든 후속 픽처들에 대한 후처리 필터링에 사용될 수 있음을 나타낼 수 있다.
- 현재 레이어의 새로운 CLVS가 시작됨
- 비트스트림이 종료됨
- 현재 SEI 메시지와 동일한 nnpfa_target_id 및 1과 동일한 nnpfa_cancel_flag를 갖는 NNPFA SEI 메시지와 연관된 현재 레이어 내 픽처가 출력 순서에서 현재 픽처 다음에 출력됨
대상 NNPF는 현재 SEI 메시지와 동일한 nnpfa_target_id 및 1과 동일한 nnpfa_cancel_flag를 갖는 NNPFA SEI 메시지와 연관된 현재 레이어 내 후속 픽처에는 적용되지 않는다.
nnpfcTargetPictures는 디코딩 순서 상 현재 NNPFA SEI 메시지에 선행하면서 nnpfa_target_id와 동일한 nnpfc_id를 가지는 마지막 NNPFC SEI 메시지에 관련된 픽처들의 세트일 수 있다. nnpfaTargetPictures는 현재 NNPFA SEI 메시지에 의해 대상 NNPF가 활성화되는 픽처들의 세트일 수 있다. nnpfaTargetPictures에 포함된 모든 임의의 픽처는 nnpfcTargetPictures에도 포함되어야 한다.
nnpfa_num_output_entries는 NNPFA SEI 메시지 내 nnpfa_output_flag[ i ] 신택스 요소들의 개수를 나타낼 수 있다. nnpfa_output_flag[ i ]의 값은 0 내지 NumInpPicsInOutputTensor 범위 내에 존재해야 한다.
nnpfa_output_flag[ i ]의 값 1은 인덱스 InpIdx[ i ]를 가지는 입력 픽처에 대응하는 NNPF 생성 픽처가 NNPFA SEI 메시지에 의해 활성화된 NNPF 프로세스에 의해 출력됨을 나타낼 수 있다. 여기서, NNPF 프로세스는 NNPFC SEI 메시지의 시멘틱스들에 의해 특정될 수 있다. nnpfa_output_flag[ i ]의 값 0은 인덱스 InpIdx[ i ]를 가지는 입력 픽처에 대응하는 NNPF 생성 픽처가 NNPFA SEI 메시지에 의해 활성화된 NNPF 프로세스에 의해 출력되지 않음을 나타낼 수 있다. nnpfa_num_output_entries가 NumInpPicsInOutputTensor보다 작은 경우, nnpfa_output_flag[ i ]은 nnpfa_num_output_entries 내지 NumInpPicsInOutputTensor - 1 범위 내 i의 각 값에 대해 1로 추론될 수 있다.
포스트-필터 힌트(Post-filter hint)
포스트-필터 힌트에 대한 신택스 구조가 표 21에 나타나 있다.
Figure PCTKR2024008958-appb-img-000030
표 21의 포스트-필터 힌트 신택스 구조는 SEI 메시지 형태로 시그널링될 수 있다. 표 21의 포스트-필터 힌트 신택스 구조를 시그널링하는 SEI 메시지는 포스트-필터 힌트 SEI 메시지라고 지칭될 수 있다.
포스트-필터 힌트 SEI 메시지는 향상된 디스플레이 품질을 얻기 위해 디코딩 및 출력된 픽처 세트를 후처리에 잠재적으로 사용할 수 있도록 포스트-필터의 설계에 대한 포스트-필터 계수 또는 상관 정보를 제공할 수 있다.
filter_hint_cancel_flag의 값 1은 SEI 메시지가 현재 레이어에 적용되는 출력 순서 상 이전의 포스트-필터 힌트 SEI 메시지의 지속성을 취소함을 나타낼 수 있다. filter_hint_cancel_flag의 값 0은 포스트-필터 힌트 정보가 후속함을 나타낼 수 있다.
filter_hint_persistence_flag는 현재 레이어에 대한 포스트-필터 힌트 SEI 메시지의 지속성을 나타낼 수 있다. filter_hint_persistence_flag의 값 0은 포스트-필터 힌트가 현재 디코딩된 픽처에만 적용됨을 나타낼 수 있다. filter_hint_persistence_flag의 값 1은 포스트-필터 힌트 SEI 메시지가 현재 디코딩된 픽처에 적용되고 다음 조건 중 하나 이상이 참일 때까지 출력 순서에 따라 현재 레이어 내 모든 후속 픽처들에 대해 지속됨을 나타낼 수 있다.
- 현재 레이어의 새로운 CLVS가 시작됨
- 비트스트림이 종료됨
- 포스트-필터 힌트 SEI 메시지와 연관된 AU의 현재 레이어 내 픽처는 출력 순서에서 현재 픽처 다음에 출력됨
filter_hint_size_y는 필터 계수 또는 상관 어레이의 수직 크기를 나타낼 수 있다. filter_hint_size_y의 값은 1 내지 15의 범위에 존재해야 한다.
filter_hint_size_x는 필터 계수 또는 상관 어레이의 수평 크기를 나타낼 수 있다. filter_hint_size_x의 값은 1 내지 15의 범위에 존재해야 한다.
filter_hint_type은 표 22에 나타낸 바와 같이 전송된 필터 힌트의 유형을 나타낼 수 있다. filter_hint_type의 값은 0 내지 2의 범위에 존재해야 한다. 3과 동일한 filter_hint_type 값은 향후 사용을 위해 예약될 수 있으며, 비트스트림에는 존재하지 않는다. 디코더들은 filter_hint_type이 3인 포스트-필터 힌트 SEI 메시지를 무시해야 한다.
Figure PCTKR2024008958-appb-img-000031
filter_hint_chroma_coeff_present_flag의 값 1은 크로마에 대한 필터 계수들이 존재함을 나타낼 수 있다. filter_hint_chroma_coeff_present_flag의 값 0은 크로마에 대한 필터 계수들이 존재하지 않음을 나타낼 수 있다.
filter_hint_value[ cIdx ][ cy ][ cx ]는 필터 계수, 또는 원본 신호와 디코딩된 신호 간의 상호 상관 행렬 요소를 16비트 정밀도로 나타낼 수 있다. filter_hint_value[ cIdx ][ cy ][ cx ]의 값은 -231 + 1 내지 231 - 1 범위에 존재해야 한다. cIdx는 관련 색상 요소를 나타내며, cy는 수직 방향의 카운터를 나타내고, cx는 수평 방향의 카운터를 나타낼 수 있다. filter_hint_type의 값에 따라 다음이 적용될 수 있다.
- filter_hint_type의 값이 0이면, filter_hint_size_y * filter_hint_size_x 크기의 2차원 FIR(Finite Impulse Response) 필터의 계수들이 전송될 수 있다.
- 그렇지 않고, filter_hint_type의 값이 1이면, 2개의 1차원 FIR 필터의 필터 계수들이 전송될 수 있다. 이 경우, filter_hint_size_y의 값은 2가 되어야 한다. 0인 인덱스 cy는 수평 필터의 필터 계수들을 나타내며, 1인 cy는 수직 필터의 필터 계수를 나타낼 수 있다. 필터링 과정에서는 수평 필터가 먼저 적용되고 그 결과는 수직 필터에 의해 필터링될 수 있다.
- 그렇지 않으면(filter_hint_type의 값이 2이면), 전송된 힌트는 원래 신호 s와 디코딩된 신호 s' 사이의 상호 상관 행렬을 나타낼 수 있다.
filter_hint_size_y * filter_hint_size_x 크기의 cIdx로 식별된 관련 색상 성분에 대한 정규화된 상호 상관 행렬은 수학식 10과 같이 정의될 수 있다.
Figure PCTKR2024008958-appb-img-000032
수학식 10에서, s는 원본 픽처의 색상 성분 cIdx의 샘플 어레이를 나타내며, s'는 이에 대응하는 디코딩된 픽처의 어레이를 나타내고, h는 관련 색상 성분의 수직 높이는 나타내며, w는 관련 색상 성분의 수평 너비를 나타내고, bitDepth는 색상 성분의 비트 뎁스를 나타낸다. 또한, OffsetY는 ( filter_hint_size_y >> 1 )와 동일하고, OffsetX는 ( filter_hint_size_x >> 1 )와 동일하고, cy의 범위는 0 <= cy < filter_hint_size_y이고, cx의 범위는 0 <= cx < filter_hint_size_x이다.
디코더는 원본 신호와 디코딩된 신호의 cross-correlation matrix 및 디코딩된 신호의 auto-cross-correlation matrix로부터 Wiener 포스트-필터를 유도할 수 있다.
종래 기술의 문제점
NNPF 관련 메시지(예를 들어, NNPFC(Neural-network post-filter characteristics) SEI(Supplemental Enhancement Information) 및/혹은 NNPFA(Neural-network post-filter activation) SEI 등)에 대한 현재 설계에서는 활성된(activated) NNPF에 복수의 입력 픽처가 이용 될 수 있는데, 입력 픽처 중 하나 이상이 사용 가능하지 않을(unavailable) 수 있다(예를 들어, 입력 픽처가 비트스트림에 존재하지 않음 등). 예를 들어, 입력 픽처 중 하나 이상이 사용 가능하지 않은 경우란, 비트스트림의 첫 시작부의 픽처에서 NNPF가 활성화 되는 경우 등이 포함될 수 있다. 한편, 하나 이상의 입력 픽처가 사용 가능하지 않은 경우, 사용 가능한(available) 마지막 입력 픽처의 복제본(duplicate) 혹은 0 값 픽셀(zero value pel)을 갖는 픽처로, 사용 가능하지 않은(unavailable)(예를 들어, 손실(missing)된) 픽처를 대체할 것인지를 지시하는 플래그가 제공될 수 있다. 이 때, 해당 플래그는 NNPFC SEI 메시지에서 시그널링되는 플래그로서, nnpfc_absent_input_pic_zero_flag일 수 있다. 또한, NNPF에 대한 각각의 입력 픽처에 대해 NNPF를 사용하는 필터링 프로세스가 입력 픽처와 연관된 출력 픽처를 출력하는지 혹은 아닌지에 대한 정보가 시그널링 될 수 있다. 입력 픽처와 연관된 출력 픽처의 시그널링은 NNPFC SEI 메시지에 포함될 수 있는데, 이러한 시그널링은 NNPFC SEI 메시지와 연관된 NNPFA SEI 메시지에서의 시그널링으로 업데이트될 수 있으며, 일부 예에서는 픽처의 출력이 취소(CANCEL)될 수 있다.
한편, 이 경우, 사용 가능하지 않은 입력 픽처와 연관된 출력 픽처와 관련하여 문제가 발생할 수 있다. 사용 가능하지 않은 입력 픽처와 연관된 출력 픽처가 존재하지 않는 것이 바람직할 수 있으나, NNPFC 및 NNPFA SEI 메시지에 대한 현재 설계에서는 이를 방지할 수 있는 방법이 명확하지 않다.
실시예 개요
본 개시에서는 상기를 포함한 종래 설계의 문제점을 해결할 수 있는 다양한 실시예를 제안한다. 하기의 실시예는 독립적으로 이용되거나, 서로 혹은 다른 실시예와 조합되어 이용될 수 있으며, 이 또한 본 개시에 포함된다고 할 것이다.
1. 일 실시예로서, NNPFA SEI 메시지는 복수의 입력 픽처를 입력으로 할 수 있는 타겟 NNPF(즉, 대상 NNPF)에 대한 NNPFC SEI 메시지를 활성화할 수 있는데, 하나 이상의 입력 픽처가 사용 가능하지 않으며(예를 들어, 비트스트림에 존재하지 않음 등), 사용 가능하지 않은 입력 픽처에 대한 관련 출력 픽처가 존재하는 경우(예를 들어, 입력 픽처의 nnpfc_input_pic_output_flag[ i ]의 값이 1), 관련 출력 픽처를 갖지만 사용 가능한하지 않은 입력 픽처 각각에 대해, nnpfa_output_flag[ i ]가 존재해야 하며, 해당 신택스의 값은 특정 값(예를 들어, 0)이여야 할 수 있다.
2. 혹은, NNPFA SEI 메시지는 복수의 입력 픽처를 입력으로 할 수 있는 타겟 NNPF(즉, 대상 NNPF)에 대한 NNPFC SEI 메시지를 활성화할 수 있는데, 하나 이상의 입력 픽처가 사용 가능하지 않으며(예를 들어, 비트스트림에 존재하지 않음 등), 사용 가능하지 않은 입력 픽처에 대한 관련 출력 픽처가 존재하는 경우(예를 들어, 입력 픽처의 nnpfc_input_pic_output_flag[ i ]의 값이 1 등), 다음이 적용될 수 있다:
o 특정 신택스(예를 들어 ,nnpfa_num_output_entries 등)의 값은 특정 값(예를 들어, 0)보다 커야 할 수 있다.
- 혹은, 특정 신택스(예를 들어, nnpfa_num_output_entries 등)의 값은 특정 범위 내의 값으로 제한될 수 있다. 예를 들어, 특정 신택스의 값은 특정 값(예를 들어, X+1)보다 작지 않아야 하며, 여기서 X는 관련 출력 픽처를 갖는 마지막 입력 픽처의 인덱스(예를 들어, 현재 픽처에서 가장 먼 픽처) 값일 수 있다.
o 사용 가능하지 않지만 NNPFC에서 관련 출력 영상을 갖도록 시그널링 된 입력 영상에 대한 특정 신택스(예를 들어, nnpfa_output_flag[ i ] 등)의 값은 특정 값으로 제한될 수 있다(예를 들어, 0).
3. 혹은, NNPFA SEI메시지가 복수의 입력 픽처를 입력으로 할 수 있는 타겟 NNPF(즉, 대상 NNPF)에 대한 NNPFC SEI 메시지를 활성화하고, 하나 이상의 입력 픽처가 사용 가능하지 않으며(예를 들어, 비트스트림에 존재하지 않음 등), 사용 가능하지 않은 입력 픽처에 대한 관련 출력 픽처가 존재하는 경우(예를 들어, 입력 픽처의 nnpfc_input_pic_output_flag[ i ]의 값이 1 등), NNPF 기반의 필터링 프로세스는 이러한 입력 픽처와 관련된 출력 픽처를 출력하지 않도록 제한될 수 있다.
하기에서는 상기의 실시예를 포함한 다양한 실시예에 대하여 보다 상세하게 설명하며, 코딩된 비디오 비트스트림의 NNPF(neural-network post-filter) 관련 SEI 메시지에서의 입력 픽처 및 출력 픽처에 대한 개선을 제시한다. 하기에서 설명되는 실시예들은 표준 비디오 코덱(예를 들어, VVC(Versatile Video Coding) 등) 및 VSEI(Versatile Supplemental Enhancement Information Messages for Coded Video Bitstreams)를 기반으로 작성되었지만 다른 비디오 코딩 기술에도 적용될 수 있음은 자명하여, 이 또한 본 개시의 내용에 포함된다 할 것이다.
한편, 하기에서 실시예를 설명함에 있어서 NNPF(Neural-network post-filter) SEI 메시지 혹은 NNPF 관련 SEI 메시지란 NNPFC(Neural-network post-filter Characteristic) SEI 메시지 및/혹은 NNPFA(Neural-network post-filter activation) SEI 메시지 등을 포함할 수 있다.
한편, 하기에서 실시예를 설명함에 있어서 사용되는 신택스의 명칭은 설명의 명료함을 위해 임의로 지정한 것이므로, 신택스의 명칭이 변경될 수 있음은 자명하며, 신택스의 명칭이 변경되더라도 본 개시에 포함된다 할 것이다.
이하, 도면을 참조하여 본원의 실시예에 대하여 상세하게 설명한다.
실시예 1
실시예 1에서는 상기 실시예 개요에서 설명한 목차 1의 실시예에 대하여 상세히 설명한다. 하기에서는 VSEI 메시지 신택스 및 시맨틱스에 대하여 설명한다.
일 예로서, NNPF(Neural-network post-filter) 관련 SEI 메시지(예를 들어, NNPFA SEI 메시지 등)의 신택스 및 시맨틱스는 아래와 같이 수정될 수 있다. NNPFA SEI 메시지 신택스는 다음 표와 같이 시그널링될 수 있다.
Figure PCTKR2024008958-appb-img-000033
일 예로서, 표 23의 실시예에 개시된 타겟 id와 관련된 정보인 nnpfa_target_id, NNPF 지속성 취소에 관련된 정보인 nnpfa_cancel_flag, 기본 NNPF에 관련된 정보인 nnpfa_target_base_flag, NNPF 지속성에 관련된 정보인 nnpfa_persistence_flag, NNPF 생성 픽처, 즉 NNPF 기반의 입력 픽처에 대응되는 출력 픽처의 출력과 관련된 정보인 nnpfa_output_flag[ i ]와, nnpfa_output_flag[ i ]의 개수와 관련된 정보인 nnpfa_num_output_entries에 대하여는 상기에서 설명한 바와 같으므로, 중복 설명은 생략한다. 한편, 입력 픽처에 대응되는 출력 픽처(예를 들어, NNPF 생성 픽처 등)의 출력에 관한 정보(예를 들어, 출력 픽처 출력 정보 등)에 포함될 수 있는 nnpfa_output_flag[ i ]는, 입력 픽처 별로 존재할 수 있으나, 타겟 NNPF(대상 NNPF)가 복수의 입력 픽처를 필요로 하고 하나 이상의 입력 픽처가 비트스트림에 존재하지 않으나(예를 들어, 사용 불가능함 등) 사용 가능하지 않은 입력 픽처에 대한 관련 출력 픽처가 존재하는 경우(예를 들어, NNPFC SEI 메시지의 관련 nnpfc_input_pic_output_flag[ i ]의 값이 1임 등), 해당 신택스의 값은 특정 값으로 제한될 수 있다. 예를 들어, nnpfa_output_flag[ i ]는 관련 출력 픽처를 갖는 사용 가능하지 않은 입력 픽처 각각에 대한 nnpfa_output_flag[ i ]가 존재해야 하나, 해당 신택스의 값은 0으로 제한될 수 있다.
실시예 2
실시예 2에서는 상기 실시예 개요에서 설명한 목차 2의 실시예에 대하여 상세히 설명한다. 하기에서는 VSEI 메시지 신택스 및 시맨틱스에 대하여 설명한다.
일 예로서, 표 23에 따라 VSEI 메시지에 nnpfa_target_id 등의 신택스가 포함되어 시그널링될 수 있으며, nnpfa_output_flag[ i ]가 SEI 메시지에 포함될 수 있다. 한편, 입력 픽처에 대응되는 출력 픽처(예를 들어, NNPF 생성 픽처 등)의 출력에 관한 정보(예를 들어, 출력 픽처 출력 정보 등)에 포함될 수 있는 nnpfa_output_flag[ i ]는, 입력 픽처 별로 존재할 수 있으나, 타겟 NNPF(대상 NNPF)가 복수의 입력 픽처를 필요로 하고 하나 이상의 입력 픽처가 비트스트림에 존재하지 않으나(예를 들어, 사용 불가능함 등) 사용 가능하지 않은 입력 픽처에 대한 관련 출력 픽처가 존재하는 경우(예를 들어, NNPFC SEI 메시지의 관련 nnpfc_input_pic_output_flag[ i ]의 값이 1임 등), nnpfa_output_flag[ i ] 및/혹은 nnpfa_num_output_entries에 대한 제약이 존재할 수 있다. 예를 들어, nnpfa_output_flag[ i ]의 개수와 관련된 정보인 nnpfa_num_output_entries의 값이 제한될 수 있다. 일 예로서, nnpfa_num_output_entries 신택스의 값은 특정 값(예를 들어, X+1)보다 작은 값이여야 한다는 제약이 적용될 수 있으며, X는 관련 출력 픽처가 존재하는 마지막 입력 픽처의 인덱스(예를 들어, 현재 픽처에서 가장 먼 픽처의 인덱스)일 수 있다. 또한, 사용 가능하지 않지만 NNPFC에 관련 출력 픽처가 포함되어 시그널링되는 입력 픽처의 nnpfa_output_flag의 값은 특정 값(예를 들어, 0)으로 정해질 수 있다.
실시예 3
실시예 3에서는 상기 실시예 개요에서 설명한 목차 3의 실시예에 대하여 상세히 설명한다. 하기에서는 VSEI 메시지 신택스 및 시맨틱스에 대하여 설명한다.
일 예로서, NNPF에 입력되는 픽처의 수에 관련된 정보인 nnpfc_num_input_pics_minus1, 출력 픽처 생성 여부와 관련된 정보(예를 들어, 출력 픽처 존재 정보 등)인 nnpfc_input_pic_output_flag[ i ], 비트스트림에 존재하지 않는 입력 픽처의 샘플 값의 표현 방법에 관련된 정보인 nnpfc_absent_input_pic_zero_flag 등의 정보가 NNPF 관련 메시지에 포함되어 시그널링될 수 있다.
한편, NNPFC SEI 메시지가 복수의 입력 픽처를 입력으로 하는 타겟 NNPF에 대한 NNPFA SEI 메시지에 의해 활성화되고, 하나 이상의 입력 픽처가 사용 가능하지 않으며(예를 들어, 비트스트림에 존재하지 않음 등), 사용 가능하지 않은 입력 픽처에 대한 관련 출력 픽처가 존재하는 경우(예를 들어, 입력 픽처의 nnpfc_input_pic_output_flag[ i ]의 값이 1임 등), 필터링 프로세스는 이러한 입력 픽처와 관련된 출력 픽처를 출력하지 않아야 한다. 일 예로서, 이 경우, 필터링 프로세스는 NNPF 기반의 필터링 프로세스일 수 있으며, 출력 픽처가 존재하지 않게, 즉 출력 픽처가 생성되지 않을 수 있다.
본 개시에서 설명한 상기 실시예에 의하면, 상기에서 설명한 종래 기술의 문제점을 해결할 수 있을 뿐만 아니라 정보의 신택스 및/혹은 시맨틱스를 다각화하거나 정보에 대한 제약 조건을 명확히 하거나 정보의 시맨틱스를 명확히 함으로써 디코더의 오차를 줄이고 코딩 품질과 효율을 향상시킬 수 있다.
영상 복호화 방법의 실시예
이하에서는, 본원의 다양한 실시예들에 따른 영상 부호화 방법과 영상 복호화 방법을 설명하도록 한다. 도 5의 영상 복호화 방법은 영상 복호화 장치(200)에 의해 수행될 수 있으며, 도 6의 영상 부호화 방법은 영상 부호화 장치(100)에 의해 수행될 수 있다. 또한, 도 5 및 도 6의 영상 복호화 및 부호화 방법은 각각 상기에서 설명한 실시예(실시예 1-3을 포함)를 기반으로 할 수 있다.
도 5는 본 개시의 일 실시예에 따른 영상 복호화 장치에 의해 수행될 수 있는 영상 복호화 방법을 설명하기 위한 도면이다.
먼저, 일 예로서, 입력 픽처에 대한 (대응) 출력 픽처 정보가 NNPF(neural-network post-filter) 관련 SEI(supplemental enhancement information) 메시지(예를 들어, NNPFC(neural-network post-filter characteristics) 메시지 및/혹은 NNPFA(neural-network post-filter activation) 메시지 등)가 획득(S510)될 수 있다. 포스트 필터 기반 (대응) 출력 픽처 정보란 NNPF 관련 정보를 포함할 수 있다. NNPF 관련 정보는 상기에서 표 등을 참조하여 설명한 정보를 포함할 수 있다.
이후, 획득된 (대응) 출력 픽처 정보에 기반하여, 입력 픽처에 대한 (대응) 출력 픽처가 획득(S520)될 수 있다. 이 경우, 입력 픽처에 대한 출력 픽처가 존재하지 않거나(생성되지 않거나) 입력 픽처에 대한 출력 픽처가 존재하나 출력 픽처가 출력되지 않는 경우 출력 픽처는 획득되지 않을 수 있다. 한편, 입력 픽처에 대한 출력 픽처가 존재하고 입력 픽처에 대한 출력 픽처가 출력되는 것으로 결정되는 경우 출력 픽처가 획득될 수 있다. 여기서, 출력 픽처 정보는 입력 픽처에 대한 출력 픽처가 출력되는지 여부를 나타내는 정보인 출력 픽처 출력 정보를 포함할 수 있다. 일 예로서, 출력 픽처 출력 정보는 다른 정보에 기반하여 해당 값이 결정될 수 있으며, 해당 정보의 값을 결정하기 위한 제약 조건이 존재할 수 있다. 일 예로서, 출력 픽처 출력 정보는, 예를 들어, nnpfa_output_flag[　i　]를 포함할 수 있다. 일 예로서, 출력 픽처 출력 정보의 값은 입력 픽처의 사용 가능 여부(예를 들어, 입력 픽처의 비트스트림 내 존재 여부)에 기반하여 결정될 수 있다. 일 예로서, 입력 픽처의 사용 가능 여부는 입력 픽처가 사용 가능한지 여부를 나타내는 정보인 입력 픽처 존재 정보에 기반하여 결정될 수 있다. 일 예로서, 입력 픽처 존재 정보는 inputPresentFlag를 포함할 수 있으며, 입력 픽처 존재 정보는 다른 정보나 다른 신택스에 기반하여 유도될 수 있다. 예를 들어, 입력 픽처가 사용 가능 하지 않은 경우란 입력 픽처가 비트스트림에 존재하지 않는 경우를 포함할 수 있다. 또한, 일 예로서, 입력 픽처가 사용 가능하지 않은 경우(예를 들어, 입력 픽처 존재 정보가 입력 픽처가 사용 가능하지 않음을 나타내는 경우) 출력 픽처 출력 정보는 해당 입력 픽처에 대한 출력 픽처가 출력되지 않음을 나타낼 수 있다. 또한, 일 예로서, 출력 픽처 출력 정보의 개수는 특정 범위 내의 값으로 결정될 수 있다. 또한, 일 예로서, 출력 픽처 출력 정보의 개수는 항상 특정 값(예를 들어, 0)보다 큰 값으로 결정될 수 있다. 이와 같은 경우를 포함하여, 출력 픽처 출력 정보의 개수에 대하여 일정 제약 조건이 존재할 수 있다. 예를 들어, 출력 픽처 출력 정보의 개수를 나타낼 수 있는 정보인 nnpfa_num_output_entries의 값은 특정 범위 내의 값으로 결정될 수 있다. 또한, 일 예로서, 특정 범위는 특정 입력 픽처의 인덱스 값에 기반하여 결정될 수 있는데, 일 예로서, 특정 입력 픽처는 특정 픽처에서 가장 먼 픽처, 즉 마지막 입력 픽처일 수 있다. 한편, 일 예로서, 출력 픽처 출력 정보의 값은 입력 픽처에 대한 출력 픽처의 존재 여부(즉, 출력 픽처의 생성 여부)를 나타내는 정보인 출력 픽처 존재 정보(즉, 출력 픽처 생성 정보)에 기반하여 결정될 수 있다. 일 예로서, 출력 픽처 출력 정보의 값은 출력 픽처 존재 여부 및/혹은 입력 픽처 존재 여부에 기반하여 결정될 수 있다. 일 예로서, 출력 픽처 출력 정보의 값은 출력 픽처 존재 정보 및/혹은 입력 픽처 존재 정보에 기반하여 결정될 수 있다. 일 예로서, 입력 픽처가 사용 가능 하지 않고(예를 들어, 입력 픽처가 비트스트림에 존재하지 않음 등) 그럼에도 (입력 픽처에 대한) 출력 픽처가 존재하는 경우 출력 픽처는 출력되지 않을 수 있다. 보다 상세하게는, 입력 픽처 존재 정보가 입력 픽처가 사용 가능하지 않음(예를 들어, 입력 픽처가 비트스트림에 존재하지 않음 등)을 나타내고 (입력 픽처에 대한) 출력 픽처 존재 정보가 출력 픽처가 존재함을 나타냄(예를 들어, nnpfc_input_pic_output_flag[ i ]의 값이 1임 등)에 기반하여 출력 픽처 출력 정보는 출력 픽처가 출력되지 않음을 나타낼 수 있다. 일 예로서, 출력 픽처가 출력되지 않음은 출력 픽처 출력 정보의 값이 특정 값(예를 들어, 0)인 것으로 표현될 수 있다. 이 경우, 일 예로서, NNPF에 기반한 필터링 프로세스에서 해당 출력 픽처의 출력이 제외될 수 있다. 한편, 일 예로서, 출력 픽처 존재 정보는 NNPFC SEI 메시지로 시그널링 될 수 있으며, 출력 픽처 출력 정보는 NNPFA SEI 메시지로 시그널링될 수 있다.
이후, 도면에는 표현되지 않았으나 (대응) 출력 픽처 정보를 기반으로 픽처가 복원될 수도 있다.
한편, 도 5의 영상 복호화 방법은 본 개시의 일 실시예에 해당하므로, 일정 단계가 변경되거나 단계의 순서가 변경되거나 일부 단계가 추가 혹은 삭제될 수도 있으며, 이러한 수정이 있는 경우도 본 개시에 포함됨은 자명하다 할 것이다.
영상 부호화 방법의 실시예
도 6은 본 개시의 일 실시예에 따른 영상 부호화 장치에 의해 수행될 수 있는 영상 부호화 방법을 설명하기 위한 도면이다.
먼저 입력 픽처에 대한 포스트 필터 기반 출력 픽처 정보가 결정(S610)될 수 있다. 포스트 필터 기반 출력 픽처 정보란 NNPF 관련 정보를 포함할 수 있으며, NNPF 관련 정보는 상기에서 표 등을 참조하여 설명한 바와 동일할 수 있다.
이후, 출력 픽처 정보는 NNPF(neural-network post-filter) 관련 SEI(supplemental enhancement information) 메시지로 시그널링(S620)될 수 있다. 상기에서 설명한 바와 같이, NNPF 관련 SEI 메시지는 NNPFC SEI 메시지 및/혹은 NNPFA SEI 메시지 등을 포함할 수 있다. 한편, 입력 픽처에 대한 출력 픽처가 존재하지 않거나(생성되지 않았거나) 출력 픽처가 존재하나(생성되었으나) 출력 픽처가 출력되지 않는 것도 가능할 수 있다. 한편, 입력 픽처에 대한 출력 픽처가 존재하고, 출력 픽처가 출력되는 것으로 결정된 경우에는 출력 픽처가 그대로 출력될 수도 있다. 이와 관련하여, 출력 픽처 존재 정보, 입력 픽처에 대한 출력 픽처가 출력되는지 여부를 나타내는 정보인 출력 픽처 출력 정보, 및/혹은 입력 픽처 존재 정보 등이 출력 픽처 정보에 포함되어 시그널링될 수도 있으나, 다른 신택스에 의해 특정 값으로 유도될 수도 있다. 일 예로서, 출력 픽처 출력 정보의 값을 결정함에 있어서, 특정 제약 조건이 있을 수 있다. 일 예로서, 출력 픽처 출력 정보의 값은 입력 픽처가 사용 가능한지 여부(즉, 비트스트림에 입력 픽처의 존재 여부 혹은 부호화될지 여부)에 기반하여 결정될 수 있다. 보다 상세하게는, 출력 픽처 출력 정보의 값은, 예를 들어, 입력 픽처가 비트스트림에 존재하지 않도록 결정됨(즉, 디코더 측에서 사용 가능하지 않게 됨)에 기반하여 특정 값(예를 들어, 0)으로 결정될 수 있다. 또한, 일 예로서, 입력 픽처의 비트스트림 내 존재 여부는 다른 정보에 기반하여 결정될 수도 있다. 한편, 입력 픽처가 비트스트림에 존재하지 않도록 결정됨에 기반하여 생성된 출력 픽처(입력 픽처에 대응되는 결과 픽처)가 출력되지 않을 수 있는데, 이를 출력 픽처 출력 정보가 나타낼 수 있다. 일 예로서, 출력 픽처 출력 정보는, 예를 들어, nnpfa_output_flag[　i　]를 포함할 수 있다. 예를 들어, 입력 픽처가 사용 불가능한 경우란 입력 픽처가 비트스트림에 존재하지 않게 되는 경우를 포함할 수 있다. 또한, 일 예로서, 출력 픽처 출력 정보의 개수는 특정 범위 내의 값으로 결정될 수 있다. 또한, 일 예로서, 출력 픽처 출력 정보의 개수는 항상 특정 값(예를 들어, 0)보다 큰 값으로 결정될 수 있다. 이와 같은 경우를 포함하여, 출력 픽처 출력 정보의 개수에 대하여 일정 제약 조건이 존재할 수 있다. 예를 들어, 출력 픽처 출력 정보의 개수를 나타낼 수 있는 정보인 nnpfa_num_output_entries의 값은 특정 범위 내의 값으로 결정될 수 있다. 또한, 일 예로서, 특정 범위는 특정 입력 픽처의 인덱스 값에 기반하여 결정될 수 있는데, 일 예로서, 특정 입력 픽처는 특정 픽처에서 가장 먼 픽처, 즉 마지막 입력 픽처일 수 있다. 한편, 일 예로서, 출력 픽처 출력 정보의 값은 입력 픽처에 대한 출력 픽처의 존재 여부(즉, 출력 픽처의 생성 여부)에 기반하여 결정될 수 있다. 보다 상세하게는, 출력 픽처 출력 정보의 값은 입력 픽처에 대한 출력 픽처가 존재함에 기반하여 특정 값으로 결정될 수 있다. 일 예로서, 출력 픽처 출력 정보의 값은 출력 픽처가 존재하는지 여부 및/혹은 입력 픽처가 존재하는지 여부에 기반하여 결정될 수 있다. 일 예로서, 입력 픽처가 비트스트림에 존재할지는 입력 픽처 존재 여부에 대한 정보로 표현될 수 있으며, inputPresentFlag로 표현될 수 있다. 일 예로서, 이 경우, 입력 픽처에 대한 출력 픽처가 존재하지 않거나(생성되지 않거나) 입력 픽처에 대한 출력 픽처가 존재하나 출력 픽처가 출력되지 않는 경우 출력 픽처는 획득되지 않을 수 있다. 한편, 입력 픽처에 대한 출력 픽처가 존재하고 입력 픽처에 대한 출력 픽처가 출력되는 것으로 결정되는 경우 출력 픽처가 획득될 수 있다. 여기서, 출력 픽처 정보는 입력 픽처에 대한 출력 픽처가 출력되는지 여부를 나타내는 정보인 출력 픽처 출력 정보를 포함할 수 있다. 일 예로서, 출력 픽처 출력 정보는 다른 정보에 기반하여 해당 값이 결정될 수 있으며, 해당 정보의 값을 결정하기 위한 제약 조건이 존재할 수 있다. 일 예로서, 출력 픽처 출력 정보는, 예를 들어, nnpfa_output_flag[　i　]를 포함할 수 있다. 일 예로서, 출력 픽처 출력 정보의 값은 입력 픽처의 사용 가능 여부(예를 들어, 입력 픽처의 비트스트림 내 존재 여부)에 기반하여 결정될 수 있다. 일 예로서, 입력 픽처의 사용 가능 여부는 입력 픽처가 사용 가능한지 여부를 나타내는 정보인 입력 픽처 존재 정보에 기반하여 결정될 수 있다. 일 예로서, 입력 픽처 존재 정보는 inputPresentFlag를 포함할 수 있으며, 입력 픽처 존재 정보는 다른 정보나 다른 신택스에 기반하여 유도될 수 있다. 예를 들어, 입력 픽처가 사용 가능 하지 않은 경우란 입력 픽처가 비트스트림에 존재하지 않는 경우를 포함할 수 있다. 또한, 일 예로서, 입력 픽처가 사용 가능하지 않은 경우(예를 들어, 입력 픽처 존재 정보가 입력 픽처가 사용 가능하지 않음, 즉 비트스트림에 존재하지 않음 등을 나타내게 되는 경우) 출력 픽처 출력 정보는 해당 입력 픽처에 대한 출력 픽처가 출력되지 않음을 나타내도록 결정될 수 있다. 또한, 일 예로서, 출력 픽처 출력 정보의 개수는 특정 범위 내의 값으로 결정될 수 있다. 또한, 일 예로서, 출력 픽처 출력 정보의 개수는 항상 특정 값(예를 들어, 0)보다 큰 값으로 결정될 수 있다. 이와 같은 경우를 포함하여, 출력 픽처 출력 정보의 개수에 대하여 일정 제약 조건이 존재할 수 있다. 예를 들어, 출력 픽처 출력 정보의 개수를 나타낼 수 있는 정보인 nnpfa_num_output_entries의 값은 특정 범위 내의 값으로 결정될 수 있다. 또한, 일 예로서, 특정 범위는 특정 입력 픽처의 인덱스 값에 기반하여 결정될 수 있는데, 일 예로서, 특정 입력 픽처는 특정 픽처에서 가장 먼 픽처, 즉 마지막 입력 픽처일 수 있다. 한편, 일 예로서, 출력 픽처 출력 정보의 값은 입력 픽처에 대한 출력 픽처의 존재 여부(즉, 출력 픽처의 생성 여부)에 기반하여 결정될 수 있다. 일 예로서, 출력 픽처 출력 정보의 값은 출력 픽처 존재 여부 및/혹은 입력 픽처 존재 여부에 기반하여 결정될 수 있다. 일 예로서, 출력 픽처 출력 정보의 값은 출력 픽처 존재 정보(즉, 출력 픽처 생성 정보)가 어떤 값을 나타내도록 결정되었는지 및/혹은 입력 픽처 존재 정보가 어떤 값을 나타내도록 결정되었는지에 기반하여 결정될 수 있다. 일 예로서, 입력 픽처가 사용 가능 하지 않고(예를 들어, 입력 픽처가 비트스트림에 존재하지 않음 등) 그럼에도 (입력 픽처에 대한) 출력 픽처가 존재하는 경우 출력 픽처는 출력되지 않을 수 있다. 보다 상세하게는, 입력 픽처 존재 정보가 입력 픽처가 사용 가능하지 않음을 나타내도록 결정되고(예를 들어, 입력 픽처가 비트스트림에 존재하지 않도록 결정됨 혹은 입력 픽처가 비트스트림에 부호화되지 않음 등), (입력 픽처에 대한) 출력 픽처 존재 정보가 출력 픽처가 존재함을 나타내도록 결정됨(예를 들어, nnpfc_input_pic_output_flag[ i ]의 값이 1이도록 결정됨 등)에 기반하여 출력 픽처 출력 정보는 출력 픽처가 출력되지 않음을 나타낼 수 있다. 일 예로서, 출력 픽처가 출력되지 않음은 출력 픽처 출력 정보의 값이 특정 값(예를 들어, 0)인 것으로 표현될 수 있다. 이 경우, 일 예로서, NNPF에 기반한 필터링 프로세스에서 해당 출력 픽처의 출력이 제외될 수 있다.
한편, 일 예로서, 출력 픽처 존재 정보는 NNPFC SEI 메시지로 시그널링 될 수 있으며, 출력 픽처 출력 정보는 NNPFA SEI 메시지로 시그널링될 수 있다.
이후, 도면에는 표현되지 않았으나 출력 픽처 정보를 기반으로 픽처가 복원될 수도 있다.
또한, 일 예로서, 영상 부호화 방법에 의해 생성된 비트스트림을 기록한 컴퓨터 판독 가능한 매체가 제공될 수 있으며, 영상 부호화 방법에 의해 생성된 비트스트림을 전송하는 방법이 제공될 수도 있다.
한편, 도 6의 영상 부호화 방법은 본 개시의 일 실시예에 해당하므로, 일정 단계가 변경되거나 단계의 순서가 변경되거나 일부 단계가 추가 혹은 삭제될 수도 있으며, 이러한 수정이 있는 경우도 본 개시에 포함됨은 자명하다 할 것이다.
본원에 의하면, VSEI에 포함될 수 있는 정보의 의미를 명확히 할 수 있어 디코더의 오차를 줄이고 보다 정확한 시나리오를 표현할 수 있으며, 이에 따라 코딩 품질을 향상시킬 수 있다. 뿐만 아니라, 본원에 의하면, 대응 출력 픽처가 생성되었으나 입력 픽처가 존재하지 않는 경우에 대한 명확한 처리가 가능하므로, 코딩 효율을 향상시킬 수 있다.
도 7은 본 개시에 따른 실시예가 적용될 수 있는 컨텐츠 스트리밍 시스템을 예시적으로 나타낸 도면이다.
도 7에 도시된 바와 같이, 본 개시의 실시예가 적용된 컨텐츠 스트리밍 시스템은 크게 인코딩 서버, 스트리밍 서버, 웹 서버, 미디어 저장소, 사용자 장치 및 멀티미디어 입력 장치를 포함할 수 있다.
상기 인코딩 서버는 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 상기 스트리밍 서버로 전송하는 역할을 한다. 다른 예로, 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들이 비트스트림을 직접 생성하는 경우, 상기 인코딩 서버는 생략될 수 있다.
상기 비트스트림은 본 개시의 실시예가 적용된 영상 부호화 방법 및/또는 영상 부호화 장치에 의해 생성될 수 있고, 상기 스트리밍 서버는 상기 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 상기 비트스트림을 저장할 수 있다.
상기 스트리밍 서버는 웹 서버를 통한 사용자 요청에 기반하여 멀티미디어 데이터를 사용자 장치에 전송하고, 상기 웹 서버는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 할 수 있다. 사용자가 상기 웹 서버에 원하는 서비스를 요청하면, 상기 웹 서버는 이를 스트리밍 서버에 전달하고, 상기 스트리밍 서버는 사용자에게 멀티미디어 데이터를 전송할 수 있다. 이때, 상기 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 상기 제어 서버는 상기 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 수행할 수 있다.
상기 스트리밍 서버는 미디어 저장소 및/또는 인코딩 서버로부터 컨텐츠를 수신할 수 있다. 예를 들어, 상기 인코딩 서버로부터 컨텐츠를 수신하는 경우, 상기 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 상기 스트리밍 서버는 상기 비트스트림을 일정 시간동안 저장할 수 있다.
상기 사용자 장치의 예로는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등이 있을 수 있다.
상기 컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.
본 개시의 범위는 다양한 실시예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
본 개시에 따른 실시예는 영상을 부호화/복호화하는데 이용될 수 있다.

Claims (13)

  1. 영상 복호화 장치에 의해 수행되는 영상 복호화 방법으로서,
    입력 픽처에 대한 포스트 필터 기반의 출력 픽처 정보를 NNPF (neural-network post-filter) 관련 SEI(supplemental enhancement information) 메시지로부터 획득하는 단계; 및
    상기 출력 픽처 정보에 기반하여, 상기 입력 픽처에 대한 출력 픽처를 획득하는 단계;를 포함하되,
    상기 출력 픽처 정보는 상기 입력 픽처에 대한 출력 픽처가 출력되는지 여부를 나타내는 정보인 출력 픽처 출력 정보를 포함하는, 영상 복호화 방법.
  2. 제1 항에 있어서,
    상기 출력 픽처 출력 정보의 값은 상기 입력 픽처의 존재 여부에 기반하여 결정되는, 영상 복호화 방법.
  3. 제2 항에 있어서,
    상기 출력 픽처 출력 정보의 값은 상기 입력 픽처에 대한 상기 출력 픽처의 존재 여부를 나타내는 정보인 출력 픽처 존재 정보에 더 기반하여 결정되는, 영상 복호화 방법.
  4. 제3 항에 있어서,
    상기 입력 픽처가 존재하지 않고 상기 출력 픽처 존재 정보가 상기 출력 픽처가 존재함을 나타냄에 기반하여 상기 출력 픽처 출력 정보는 상기 출력 픽처가 출력되지 않음을 나타내는, 영상 복호화 방법.
  5. 제4 항에 있어서,
    상기 출력 픽처 출력 정보의 개수는 특정 범위 내의 값으로 결정되는, 영상 복호화 방법.
  6. 제5 항에 있어서,
    상기 특정 범위는 특정 입력 픽처의 인덱스 값에 기반하여 결정되는, 영상 복호화 방법.
  7. 제4 항에 있어서,
    상기 출력 픽처 출력 정보의 개수는 특정 값보다 항상 큰 값으로 결정되는, 영상 복호화 방법.
  8. 제4 항에 있어서,
    상기 NNPF에 기반한 필터링 프로세스에서 상기 존재하지 않는 입력 픽처에 대한 상기 출력 픽처의 출력이 제외되는, 영상 복호화 방법.
  9. 제3 항에 있어서,
    상기 출력 픽처 존재 정보는 NNPFC SEI 메시지에서 획득되는, 영상 복호화 방법.
  10. 제1 항에 있어서,
    상기 출력 픽처 출력 정보는 NNPFA SEI 메시지에서 획득되는, 영상 복호화 방법.
  11. 영상 부호화 장치에 의해 수행되는 영상 부호화 방법으로서,
    입력 픽처에 대한 포스트 필터 기반의 출력 픽처 정보를 결정하는 단계; 및
    상기 출력 픽처 정보를 NNPF(neural-network post-filter) 관련 SEI(supplemental enhancement information) 메시지로 시그널링하는 단계;를 포함하되,
    상기 출력 픽처 정보는 상기 입력 픽처에 대한 출력 픽처가 출력되는지 여부를 나타내는 정보인 출력 픽처 출력 정보를 포함하는, 영상 부호화 방법.
  12. 제11 항의 영상 부호화 방법에 의해 생성된 비트스트림을 기록한 컴퓨터 판독 가능한 매체.
  13. 영상 부호화 방법에 의해 생성된 비트스트림을 전송하는 방법에 있어서, 상기 영상 부호화 방법은,
    입력 픽처에 대한 포스트 필터 기반의 출력 픽처 정보를 결정하는 단계; 및
    상기 출력 픽처 정보를 NNPF(neural-network post-filter) 관련 SEI(supplemental enhancement information) 메시지로 시그널링하는 단계;를 포함하되,
    상기 출력 픽처 정보는 상기 입력 픽처에 대한 출력 픽처가 출력되는지 여부를 나타내는 정보인 출력 픽처 출력 정보를 포함하는, 방법.
PCT/KR2024/008958 2023-06-27 2024-06-27 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체 Ceased WO2025005681A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020267002584A KR20260033551A (ko) 2023-06-27 2024-06-27 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
EP24832459.2A EP4738831A1 (en) 2023-06-27 2024-06-27 Image encoding/decoding method, method for transmitting bitstream, and recording medium having stored bitstream therein
CN202480042773.8A CN121399953A (zh) 2023-06-27 2024-06-27 图像编码/解码方法、用于发送比特流的方法以及其中存储有比特流的记录介质
MX2025015767A MX2025015767A (es) 2023-06-27 2025-12-19 Metodo de codificacion/decodificacion de imagenes, metodo para transmitir flujo de bits, y medio de grabacion que tiene flujo de bits almacenado en el mismo
US19/427,435 US20260113443A1 (en) 2023-06-27 2025-12-19 Image encoding/decoding method, method for transmitting bitstream, and recording medium having stored bitstream therein

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202363523373P 2023-06-27 2023-06-27
US63/523,373 2023-06-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/427,435 Continuation US20260113443A1 (en) 2023-06-27 2025-12-19 Image encoding/decoding method, method for transmitting bitstream, and recording medium having stored bitstream therein

Publications (1)

Publication Number Publication Date
WO2025005681A1 true WO2025005681A1 (ko) 2025-01-02

Family

ID=93939314

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2024/008958 Ceased WO2025005681A1 (ko) 2023-06-27 2024-06-27 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Country Status (6)

Country Link
US (1) US20260113443A1 (ko)
EP (1) EP4738831A1 (ko)
KR (1) KR20260033551A (ko)
CN (1) CN121399953A (ko)
MX (1) MX2025015767A (ko)
WO (1) WO2025005681A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017152905A (ja) * 2016-02-24 2017-08-31 沖電気工業株式会社 符号化装置及びプログラム、復号装置及びプログラム、並びに、配信システム
KR101776448B1 (ko) * 2013-01-07 2017-09-07 퀄컴 인코포레이티드 비디오 코딩에 있어서의 비-네스팅된 ｓｅｉ 메시지들
KR20200140096A (ko) * 2019-06-05 2020-12-15 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR20220137552A (ko) * 2021-04-02 2022-10-12 현대자동차주식회사 전처리 및 후처리를 이용하는 비디오 코딩방법 및 장치
KR20230010259A (ko) * 2021-05-27 2023-01-18 텐센트 아메리카 엘엘씨 사후-필터링을 위한 콘텐츠-적응형 온라인 트레이닝 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4695997A1 (en) * 2023-04-11 2026-02-18 Nokia Technologies Oy Signaling information about multiple post processing filters

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101776448B1 (ko) * 2013-01-07 2017-09-07 퀄컴 인코포레이티드 비디오 코딩에 있어서의 비-네스팅된 ｓｅｉ 메시지들
JP2017152905A (ja) * 2016-02-24 2017-08-31 沖電気工業株式会社 符号化装置及びプログラム、復号装置及びプログラム、並びに、配信システム
KR20200140096A (ko) * 2019-06-05 2020-12-15 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR20220137552A (ko) * 2021-04-02 2022-10-12 현대자동차주식회사 전처리 및 후처리를 이용하는 비디오 코딩방법 및 장치
KR20230010259A (ko) * 2021-05-27 2023-01-18 텐센트 아메리카 엘엘씨 사후-필터링을 위한 콘텐츠-적응형 온라인 트레이닝 방법 및 장치

Also Published As

Publication number Publication date
US20260113443A1 (en) 2026-04-23
KR20260033551A (ko) 2026-03-10
EP4738831A1 (en) 2026-05-06
MX2025015767A (es) 2026-02-03
CN121399953A (zh) 2026-01-23

Similar Documents

Publication Publication Date Title
WO2021172912A1 (ko) 사인 데이터 하이딩 관련 영상 디코딩 방법 및 그 장치
WO2021201549A1 (ko) 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
WO2020251278A1 (ko) 크로마 양자화 파라미터 데이터 기반 영상 디코딩 방법 및 그 장치
WO2020256485A1 (ko) 크로마 블록의 적응적 크기 제한을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020246790A1 (ko) 맵핑된 루마 성분 및 스케일링된 크로마 성분 기반 비디오 또는 영상 코딩
WO2020184928A1 (ko) 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
WO2021060845A1 (ko) 사용자 정의 팔레트 엔트리를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021182816A1 (ko) 직사각형 슬라이스의 크기 정보를 선택적으로 부호화 하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021158051A1 (ko) 레지듀얼 코딩과 관련한 영상 디코딩 방법 및 그 장치
WO2021194229A1 (ko) 비디오 또는 이미지 코딩 시스템에서 디블록킹 필터 파라미터 정보를 시그널링하는 방법
WO2021182802A1 (ko) 비디오 또는 영상 코딩 시스템에서의 타일과 관련된 정보 및 슬라이스와 관련된 정보에 기반한 영상 코딩 방법
WO2021015536A1 (ko) 팔레트 모드의 적용 여부에 따라 디블로킹 필터링을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021112479A1 (ko) 비디오 또는 영상 코딩 시스템에서의 서브 픽처와 관련된 정보 및 직사각형 슬라이스와 관련된 정보에 기반한 영상 코딩 방법
WO2021201548A1 (ko) 영상 디코딩 방법 및 그 장치
WO2025005681A1 (ko) 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2021158048A1 (ko) Tsrc 가용 플래그의 시그널링 관련 영상 디코딩 방법 및 그 장치
WO2025005640A1 (ko) 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2024210651A2 (ko) 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2024210612A1 (ko) 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2024210598A2 (ko) 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2025071318A1 (en) Method and apparatus for handling intermediary pictures output in a neural-network post-filter group in sei message for coded bitstream
WO2025071301A1 (en) Method and apparatus for signaling purpose for neural-network post-filter grouping characteristic sei message for coded bitstream
WO2024107028A1 (ko) 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2025071276A1 (ko) 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2025075376A1 (ko) 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24832459

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: MX/A/2025/015767

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 2501008818

Country of ref document: TH

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112025029049

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: 202617002376

Country of ref document: IN

WWP Wipo information: published in national office

Ref document number: 202617002376

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 1020267002584

Country of ref document: KR

Free format text: ST27 STATUS EVENT CODE: A-0-1-A10-A15-NAP-PA0105 (AS PROVIDED BY THE NATIONAL OFFICE)

WWE Wipo information: entry into national phase

Ref document number: 2024832459

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024832459

Country of ref document: EP

Effective date: 20260127

WWP Wipo information: published in national office

Ref document number: MX/A/2025/015767

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 2024832459

Country of ref document: EP

Effective date: 20260127