WO2026005289A1 - 딥페이크 탐지 방법 및 장치 - Google Patents

딥페이크 탐지 방법 및 장치

Info

Publication number
WO2026005289A1
WO2026005289A1 PCT/KR2025/006891 KR2025006891W WO2026005289A1 WO 2026005289 A1 WO2026005289 A1 WO 2026005289A1 KR 2025006891 W KR2025006891 W KR 2025006891W WO 2026005289 A1 WO2026005289 A1 WO 2026005289A1
Authority
WO
WIPO (PCT)
Prior art keywords
deepfake
unreliability
video
detection method
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/006891
Other languages
English (en)
French (fr)
Inventor
최정아
허진
박승욱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Corp filed Critical Hyundai Motor Co
Publication of WO2026005289A1 publication Critical patent/WO2026005289A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present disclosure relates to a method and device for detecting deepfakes. Specifically, the present disclosure relates to a method and device for detecting deepfakes based on syntactic element information in a bitstream.
  • Deepfake refers to a technology that uses deep learning technology to create manipulated videos by superimposing other images on top of video. Deepfake can be used in industries such as film, television, and television shows to create creative works by recreating actors' performances or the appearance of specific individuals. Recently, virtual YouTubers have emerged, livestreaming with a virtual face that resembles a real person's body and voice but lacks a real face.
  • the present disclosure aims to provide a deepfake detection method and device to solve the above problems.
  • a deepfake detection method includes the steps of receiving a bitstream of an image, obtaining syntax information from the bitstream, calculating an unreliability measurement value based on the syntax information, and determining whether the image is a deepfake based on the unreliability measurement value, wherein the syntax information may be at least one of a quantization parameter, a transform coefficient, a bit rate, a motion vector, a reference picture index, or a boundary strength of a deblocking filter.
  • the step of obtaining the syntax information may obtain syntax information of a region of interest within the current picture.
  • the region of interest can be determined as a region in which a motion vector exceeding a predefined value exists.
  • the region of interest can be determined as a region in which a transformation coefficient greater than a predefined value exists.
  • the region of interest can be determined based on object detection.
  • whether the video is a deepfake can be determined based on multiple unreliability measurement values calculated based on multiple pieces of syntax information.
  • whether the video is a deepfake can be determined based on a distrust score derived by applying a weight to each of a plurality of distrust measurement values.
  • the distrust score can be derived by normalizing each of the plurality of distrust measurement values and applying the weight.
  • whether the image is a deepfake can be determined based on the unreliability measurement value and spatial domain information.
  • the spatial domain information may be at least one of illumination change information, sharpness information, contrast information, or blinking information.
  • whether the image is a deepfake can be determined based on an unreliability score derived by applying a weight to each of the unreliability measurement value and the spatial domain information.
  • a deepfake detection device includes a receiving unit that receives a bitstream of an image, and a detection unit that obtains syntax information from the bitstream, calculates an unreliability measurement value based on the syntax information, and determines whether the image is a deepfake based on the unreliability measurement value, wherein the syntax information may be at least one of a quantization parameter, a transform coefficient, a bit rate, a motion vector, a reference picture index, or a deblocking filter boundary strength.
  • a deepfake detection method and device with improved deepfake detection efficiency can be provided.
  • FIG. 1 is a block diagram showing a configuration according to one embodiment of an encoding device to which the present disclosure is applied.
  • FIG. 2 is a block diagram showing a configuration according to one embodiment of a decryption device to which the present disclosure is applied.
  • FIG. 3 is a diagram schematically illustrating a video coding system to which the present disclosure can be applied.
  • FIG. 4 is a flowchart illustrating a deepfake detection method according to an embodiment of the present disclosure.
  • FIGS. 5 and 6 are drawings for explaining conversion coefficients for calculating unreliable measurement values according to one embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a deepfake detection method using multiple syntax elements according to one embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating a deepfake detection method using an unreliability score according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating a deepfake detection method based on a normalized unreliability measurement value according to one embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating a deepfake detection method according to an embodiment of the present disclosure.
  • FIG. 11 is a block diagram illustrating a deepfake detection device according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram exemplifying a content streaming system to which an embodiment according to the present disclosure can be applied.
  • a deepfake detection method includes the steps of receiving a bitstream of an image, obtaining syntax information from the bitstream, calculating an unreliability measurement value based on the syntax information, and determining whether the image is a deepfake based on the unreliability measurement value, wherein the syntax information may be at least one of a quantization parameter, a transform coefficient, a bit rate, a motion vector, a reference picture index, or a boundary strength of a deblocking filter.
  • first and second may be used herein to describe various components, these components should not be limited by these terms. These terms are used solely to distinguish one component from another. For example, without departing from the scope of the present disclosure, a first component may be referred to as a "second component,” and similarly, a second component may also be referred to as a "first component.”
  • the term “and/or” includes a combination of multiple related items described herein or any of multiple related items described herein.
  • each component shown in the embodiments of the present disclosure are independently depicted to represent different characteristic functions, and do not imply that each component is composed of separate hardware or a single software component. That is, each component is listed and included as a separate component for convenience of explanation, and at least two components among each component may be combined to form a single component, or a single component may be divided into multiple components to perform a function, and such integrated and separate embodiments of each component are also included in the scope of the present disclosure as long as they do not deviate from the essence of the present disclosure.
  • the term "at least one” may mean one of a number greater than or equal to 1, such as 1, 2, 3, and 4.
  • the term "a plurality of” may mean one of a number greater than or equal to 2, such as 2, 3, and 4.
  • video may mean a single picture constituting a video, or may refer to the video itself.
  • encoding and/or decoding of a video may mean “encoding and/or decoding of a video,” or may mean “encoding and/or decoding of one of the videos constituting the video.”
  • the target image may be an encoding target image, which is the target of encoding, and/or a decoding target image, which is the target of decoding.
  • the target image may be an input image input to an encoding device, or an input image input to a decoding device.
  • the target image may have the same meaning as the current image.
  • encoder and image encoding device may be used interchangeably and have the same meaning.
  • decoder and image decoding device may be used interchangeably and have the same meaning.
  • image may be used with the same meaning and may be used interchangeably.
  • target block may refer to an encoding target block, which is the target of encoding, and/or a decoding target block, which is the target of decoding.
  • target block may refer to a current block, which is the target of current encoding and/or decoding.
  • current block may be used interchangeably and have the same meaning.
  • a coding tree unit may be composed of one luma component (Y) coding tree block (CTB) and two chroma component (Cb, Cr) coding tree blocks associated with it.
  • sample may represent a basic unit that constitutes a block.
  • FIG. 1 is a block diagram showing a configuration according to one embodiment of an encoding device to which the present disclosure is applied.
  • the encoding device (100) may be an encoder, a video encoding device, or an image encoding device.
  • a video may include one or more images.
  • the encoding device (100) may sequentially encode one or more images.
  • the encoding device (100) may include an image segmentation unit (110), an intra prediction unit (120), a motion prediction unit (121), a motion compensation unit (122), a switch (115), a subtractor (113), a transformation unit (130), a quantization unit (140), an entropy encoding unit (150), an inverse quantization unit (160), an inverse transformation unit (170), an adder (117), a filter unit (180), and a reference picture buffer (190).
  • the encoding device (100) can generate a bitstream including encoded information through encoding an input image and output the generated bitstream.
  • the generated bitstream can be stored in a computer-readable recording medium or can be streamed via a wired/wireless transmission medium.
  • the video segmentation unit (110) can segment the input video into various forms to increase the efficiency of video encoding/decoding. That is, the input video is composed of multiple pictures, and one picture can be hierarchically segmented and processed for compression efficiency, parallel processing, etc. For example, one picture can be segmented into one or more tiles or slices, which can then be segmented into multiple Coding Tree Units (CTUs). Alternatively, one picture can first be segmented into multiple sub-pictures defined as groups of rectangular slices, and each sub-picture can then be segmented into the tiles/slices. Here, the sub-pictures can be utilized to support the function of partially independently encoding/decoding and transmitting the picture.
  • CTUs Coding Tree Unit
  • a brick can be utilized as the basic unit of intra-picture parallel processing.
  • one CTU can be recursively split into a quadtree (QT), and the terminal node of the split can be defined as a coding unit (CU).
  • the CU can be split into a prediction unit (PU) and a transformation unit (TU), and prediction and splitting can be performed.
  • the CU can be utilized as a prediction unit and/or a transformation unit itself.
  • each CTU can be recursively split into a multi-type tree (MTT) as well as a quadtree (QT).
  • MTT multi-type tree
  • QT quadtree
  • Splitting of a CTU into a multi-type tree can start from the terminal node of a QT, and the MTT can be composed of a binary tree (BT) and a triple tree (TT).
  • BT binary tree
  • TT triple tree
  • the MTT structure can be divided into vertical binary split mode (SPLIT_BT_VER), horizontal binary split mode (SPLIT_BT_HOR), vertical ternary split mode (SPLIT_TT_VER), and horizontal ternary split mode (SPLIT_TT_HOR).
  • the minimum block size (MinQTSize) of the quad tree of the luma block during splitting can be set to 16x16
  • the maximum block size (MaxBtSize) of the binary tree can be set to 128x128, and the maximum block size (MaxTtSize) of the triple tree can be set to 64x64.
  • the minimum block size (MinBtSize) of the binary tree and the minimum block size (MinTtSize) of the triple tree can be set to 4x4
  • the maximum depth (MaxMttDepth) of the multi-type tree can be set to 4.
  • a dual tree that uses different CTU split structures for luma and chrominance components can be applied.
  • the luminance and chrominance CTBs (Coding Tree Blocks) within the CTU can be split into a single tree that shares the coding tree structure.
  • the encoding device (100) may perform encoding on the input image in intra mode and/or inter mode.
  • the encoding device (100) may perform encoding on the input image in a third mode (e.g., IBC mode, Palette mode, etc.) other than the intra mode and inter mode.
  • a third mode e.g., IBC mode, Palette mode, etc.
  • the third mode may be classified as intra mode or inter mode for convenience of explanation. In the present disclosure, the third mode will be classified and described separately only when a specific description is required.
  • the switch (115) can be switched to intra, and when the inter mode is used as the prediction mode, the switch (115) can be switched to inter.
  • the intra mode can mean an intra-screen prediction mode
  • the inter mode can mean an inter-screen prediction mode.
  • the encoding device (100) can generate a prediction block for an input block of an input image.
  • the encoding device (100) can encode a residual block using a residual of the input block and the prediction block.
  • the input image can be referred to as a current image that is currently a target of encoding.
  • the input block can be referred to as a current block that is currently a target of encoding or an encoding target block.
  • the intra prediction unit (120) can use samples of blocks already encoded/decoded around the current block as reference samples.
  • the intra prediction unit (120) can perform spatial prediction on the current block using the reference samples, and can generate prediction samples for the input block through spatial prediction.
  • intra prediction can mean prediction within the screen.
  • non-directional prediction modes such as DC mode and Planar mode, as well as directional prediction modes (e.g., 65 directions) can be applied.
  • the intra prediction method can be expressed as an intra prediction mode or an intra-screen prediction mode.
  • the motion prediction unit (121) can search for an area that best matches the input block from the reference image during the motion prediction process and derive a motion vector using the searched area. At this time, the area can be used as a search area.
  • the reference image can be stored in the reference picture buffer (190).
  • it when encoding/decoding for the reference image is processed, it can be stored in the reference picture buffer (190).
  • the motion compensation unit (122) can generate a prediction block for the current block by performing motion compensation using a motion vector.
  • inter prediction may mean inter-screen prediction or motion compensation.
  • the above motion prediction unit (121) and motion compensation unit (122) can generate a prediction block by applying an interpolation filter to a portion of an area within a reference image when the value of the motion vector does not have an integer value.
  • the AFFINE mode of sub-PU based prediction the SbTMVP (Subblock-based Temporal Motion Vector Prediction) mode, and the MMVD (Merge with MVD) mode and the GPM (Geometric Partitioning Mode) mode of PU based prediction can be applied.
  • the SbTMVP Subblock-based Temporal Motion Vector Prediction
  • MMVD Merge with MVD
  • GPM Gateometric Partitioning Mode
  • the HMVP History based MVP
  • the PAMVP Positionwise Average MVP
  • the CIIP Combined Intra/Inter Prediction
  • the AMVR Adaptive Motion Vector Resolution
  • the BDOF Bi-Directional Optical-Flow
  • the BCW Bi-predictive with CU Weights
  • the LIC Lical Illumination Compensation
  • the TM Tempolate Matching
  • the OBMC Overlapped Block Motion Compensation
  • AFFINE mode is a technology that is used in both AMVP and MERGE modes and also has high encoding efficiency.
  • MC Motion Compensation
  • a 4-parameter affine motion model using two control point motion vectors (CPMV) and a 6-parameter affine motion model using three control point motion vectors can be applied to inter prediction.
  • CPMV is a vector representing the affine motion model of one of the upper left, upper right, and lower left of the current block.
  • the subtractor (113) can generate a residual block using the difference between the input block and the predicted block.
  • the residual block may also be referred to as a residual signal.
  • the residual signal may refer to the difference between the original signal and the predicted signal.
  • the residual signal may be a signal generated by transforming, quantizing, or transforming and quantizing the difference between the original signal and the predicted signal.
  • the residual block may be a residual signal in block units.
  • the transform unit (130) can perform a transform on the residual block to generate a transform coefficient and output the generated transform coefficient.
  • the transform coefficient may be a coefficient value generated by performing a transform on the residual block.
  • the transform unit (130) may also skip the transform on the residual block.
  • Quantized levels can be generated by applying quantization to transform coefficients or residual signals.
  • quantized levels may also be referred to as transform coefficients.
  • a 4x4 luminance residual block generated through intra prediction can be transformed using a basis vector based on DST (Discrete Sine Transform), and the remaining residual blocks can be transformed using a basis vector based on DCT (Discrete Cosine Transform).
  • DST Discrete Sine Transform
  • DCT Discrete Cosine Transform
  • RQT Residual Quad Tree
  • the transform block is divided into a quad tree shape for one block, and after performing transformation and quantization on each transform block divided through RQT, a coded block flag (cbf) can be transmitted to increase encoding efficiency when all coefficients become 0.
  • MTS Multiple Transform Selection
  • SBT Sub-block Transform
  • a Sub-block Transform (SBT) technology can perform a function similar to TU division.
  • SBT is applied only to inter-screen prediction blocks, and unlike RQT, it can divide the current block into 1 ⁇ 2 or 1 ⁇ 4 blocks vertically or horizontally, and then perform transformation on only one of the blocks. For example, in a vertically divided block, the transformation can be performed on the leftmost or rightmost block, and in a horizontally divided block, the transformation can be performed on the topmost or bottommost block.
  • LFNST Low Frequency Non-Separable Transform
  • a secondary transform technique that further transforms the residual signal converted to the frequency domain through DCT or DST
  • LFNST additionally performs a transform on the low-frequency region of 4x4 or 8x8 in the upper left, which allows the residual coefficients to be concentrated in the upper left.
  • the quantization unit (140) can generate a quantized level by quantizing a transform coefficient or residual signal according to a quantization parameter (QP), and can output the generated quantized level. At this time, the quantization unit (140) can quantize the transform coefficient using a quantization matrix.
  • QP quantization parameter
  • a quantizer with QP values of 0 to 51 can be used.
  • a QP of 0 to 63 can be used.
  • a Dependent Quantization (DQ) method that uses two quantizers instead of a single quantizer can be applied. DQ performs quantization using two quantizers (e.g., Q0 and Q1), but even without signaling information about the use of a specific quantizer, the quantizer to be used for the next transform coefficient can be selected based on the current state through a state transition model.
  • the entropy encoding unit (150) can generate a bitstream by performing entropy encoding according to a probability distribution on values produced by the quantization unit (140) or coding parameter values produced during the encoding process, and can output the bitstream.
  • the entropy encoding unit (150) can perform entropy encoding on information about image samples and information for decoding the image.
  • the information for decoding the image can include syntax elements, etc.
  • the entropy encoding unit (150) can use an encoding method such as exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), or Context-Adaptive Binary Arithmetic Coding (CABAC) for entropy encoding.
  • CAVLC Context-Adaptive Variable Length Coding
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the entropy encoding unit (150) can perform entropy encoding using a Variable Length Coding/Code (VLC) table.
  • VLC Variable Length Coding/Code
  • the entropy encoding unit (150) may perform arithmetic encoding using the binarization method, probability model, and context model derived from the binarization method of the target symbol and the probability model of the target symbol/bin.
  • the table probability update method when applying CABAC, can be changed to a simple formula-based table update method to reduce the size of the probability table stored in the decryption device. Furthermore, two different probability models can be used to obtain more accurate symbol probability values.
  • the entropy encoding unit (150) can change a two-dimensional block form coefficient into a one-dimensional vector form through a transform coefficient scanning method to encode a transform coefficient level (quantized level).
  • Coding parameters may include not only information (flags, indexes, etc.) encoded in an encoding device (100) and signaled to a decoding device (200), such as syntax elements, but also information derived during an encoding process or a decoding process, and may mean information necessary when encoding or decoding an image.
  • signaling a flag or index may mean that the encoder entropy encodes the flag or index and includes it in the bitstream, and that the decoder entropy decodes the flag or index from the bitstream.
  • the encoded current image can be used as a reference image for other images to be processed later. Accordingly, the encoding device (100) can reconstruct or decode the encoded current image again and store the reconstructed or decoded image as a reference image in the reference picture buffer (190).
  • the quantized level can be dequantized in the dequantization unit (160) and inversely transformed in the inverse transformation unit (170).
  • the dequantized and/or inversely transformed coefficients can be combined with a prediction block through an adder (117), and a reconstructed block can be generated by combining the dequantized and/or inversely transformed coefficients and the prediction block.
  • the dequantized and/or inversely transformed coefficients refer to coefficients on which at least one of dequantization and inverse transformation has been performed, and may refer to a reconstructed residual block.
  • the dequantization unit (160) and the inverse transformation unit (170) can be performed in the reverse process of the quantization unit (140) and the transformation unit (130).
  • the restoration block may pass through a filter unit (180).
  • the filter unit (180) may apply a deblocking filter, a sample adaptive offset (SAO), an adaptive loop filter (ALF), a bilateral filter (BIF), a Luma Mapping with Chroma Scaling (LMCS), etc. as a filtering technique, in whole or in part, to the restoration sample, restoration block, or restoration image.
  • the filter unit (180) may also be referred to as an in-loop filter. In this case, the in-loop filter is also used as a name excluding LMCS.
  • a deblocking filter can remove block distortion that occurs at the boundaries between blocks. Whether to apply a deblocking filter to the current block can be determined based on the samples contained in several columns or rows within the block. When applying a deblocking filter to a block, different filters can be applied depending on the required deblocking filtering strength.
  • Sample adaptive offset can be used to compensate for encoding errors by adding an appropriate offset value to sample values.
  • Sample adaptive offset can compensate for the offset from the original image on a sample-by-sample basis for deblocked images. This can be done by dividing the samples contained in the image into a fixed number of regions, determining the regions to be offset, and applying the offset to those regions. Alternatively, the offset can be applied by considering the edge information of each sample.
  • Bilateral filter can also compensate for the offset from the original image on a sample-by-sample basis for the deblocked image.
  • An adaptive loop filter can perform filtering based on a comparison between a reconstructed image and the original image. By dividing the samples contained in the image into predetermined groups and determining the filter to be applied to each group, filtering can be performed differentially for each group. Information regarding whether to apply an adaptive loop filter can be signaled for each coding unit (CU), and the shape and filter coefficients of the adaptive loop filter applied to each block can vary.
  • CU coding unit
  • LMCS Luma Mapping with Chroma Scaling
  • LM luma mapping
  • CS chroma scaling
  • LMCS can be utilized as an HDR correction technique that reflects the characteristics of HDR (High Dynamic Range) images.
  • the restored block or restored image that has passed through the filter unit (180) may be stored in the reference picture buffer (190).
  • the restored block that has passed through the filter unit (180) may be a part of the reference image.
  • the reference image may be a restored image composed of restored blocks that have passed through the filter unit (180).
  • the stored reference image may be used for inter-screen prediction or motion compensation thereafter.
  • FIG. 2 is a block diagram showing a configuration according to one embodiment of a decryption device to which the present disclosure is applied.
  • the decoding device (200) may be a decoder, a video decoding device, or an image decoding device.
  • the decoding device (200) may include an entropy decoding unit (210), an inverse quantization unit (220), an inverse transformation unit (230), an intra prediction unit (240), a motion compensation unit (250), an adder (201), a switch (203), a filter unit (260), and a reference picture buffer (270).
  • an entropy decoding unit (210) may include an entropy decoding unit (210), an inverse quantization unit (220), an inverse transformation unit (230), an intra prediction unit (240), a motion compensation unit (250), an adder (201), a switch (203), a filter unit (260), and a reference picture buffer (270).
  • the decoding device (200) can receive a bitstream output from the encoding device (100).
  • the decoding device (200) can receive a bitstream stored in a computer-readable recording medium, or a bitstream streamed through a wired/wireless transmission medium.
  • the decoding device (200) can perform decoding on the bitstream in intra mode or inter mode.
  • the decoding device (200) can generate a restored image or a decoded image through decoding, and can output the restored image or the decoded image.
  • the switch (203) can be switched to intra. If the prediction mode used for decryption is inter mode, the switch (203) can be switched to inter.
  • the decoding device (200) can decode the input bitstream to obtain a reconstructed residual block and generate a prediction block. Once the reconstructed residual block and the prediction block are obtained, the decoding device (200) can generate a reconstructed block to be decoded by adding the reconstructed residual block and the prediction block.
  • the block to be decoded may be referred to as a current block.
  • the entropy decoding unit (210) can generate symbols by performing entropy decoding according to a probability distribution for the bitstream.
  • the generated symbols may include symbols in the form of quantized levels.
  • the entropy decoding method may be the reverse process of the entropy encoding method described above.
  • the entropy decoding unit (210) can change a one-dimensional vector-shaped coefficient into a two-dimensional block-shaped coefficient through a transform coefficient scanning method to decode a transform coefficient level (quantized level).
  • the quantized level can be inversely quantized in the inverse quantization unit (220) and inversely transformed in the inverse transformation unit (230).
  • the quantized level can be generated as a restored residual block as a result of performing inverse quantization and/or inverse transformation.
  • the inverse quantization unit (220) can apply a quantization matrix to the quantized level.
  • the inverse quantization unit (220) and inverse transformation unit (230) applied to the decoding device can apply the same technology as the inverse quantization unit (160) and inverse transformation unit (170) applied to the encoding device described above.
  • the intra prediction unit (240) can generate a predicted block by performing spatial prediction on the current block using sample values of already decoded blocks surrounding the block to be decoded.
  • the intra prediction unit (240) applied to the decoding device can apply the same technology as the intra prediction unit (120) applied to the encoding device described above.
  • the motion compensation unit (250) can generate a prediction block by performing motion compensation using a motion vector and a reference image stored in the reference picture buffer (270) on the current block.
  • the motion compensation unit (250) can generate a prediction block by applying an interpolation filter to a portion of the reference image when the value of the motion vector does not have an integer value.
  • the motion compensation unit (250) applied to the decoding device can apply the same technology as the motion compensation unit (122) applied to the encoding device described above.
  • the adder (201) can add the restored residual block and the predicted block to generate a restored block.
  • the filter unit (260) can apply at least one of an Inverse-LMCS, a deblocking filter, a sample adaptive offset, and an adaptive loop filter to the restored block or restored image.
  • the filter unit (260) applied to the decoding device can apply the same filtering technology as that applied to the filter unit (180) applied to the encoding device described above.
  • the filter unit (260) can output a restored image.
  • the restored block or restored image can be stored in the reference picture buffer (270) and used for inter prediction.
  • the restored block that has passed through the filter unit (260) can be a part of the reference image.
  • the reference image can be a restored image composed of restored blocks that have passed through the filter unit (260).
  • the stored reference image can be used for inter-screen prediction or motion compensation thereafter.
  • FIG. 3 is a diagram schematically illustrating a video coding system to which the present disclosure can be applied.
  • a video coding system may include an encoding device (10) and a decoding device (20).
  • the encoding device (10) may transmit encoded video and/or image information or data to the decoding device (20) in the form of a file or streaming through a digital storage medium or a network.
  • An encoding device (10) may include a video source generation unit (11), an encoding unit (12), and a transmission unit (13).
  • a decoding device (20) may include a reception unit (21), a decoding unit (22), and a rendering unit (23).
  • the encoding unit (12) may be referred to as a video/image encoding unit, and the decoding unit (22) may be referred to as a video/image decoding unit.
  • the transmission unit (13) may be included in the encoding unit (12).
  • the reception unit (21) may be included in the decoding unit (22).
  • the rendering unit (23) may include a display unit, and the display unit may be configured as a separate device or an external component.
  • the video source generation unit (11) can obtain video/images through a process of capturing, synthesizing, or generating video/images.
  • the video source generation unit (11) can include a video/image capture device and/or a video/image generation device.
  • the video/image capture device can include, for example, one or more cameras, a video/image archive including previously captured video/images, etc.
  • the video/image generation device can include, for example, a computer, a tablet, a smartphone, etc., and can (electronically) generate video/images.
  • a virtual video/image can be generated through a computer, etc., in which case the video/image capture process can be replaced with a process of generating related data.
  • the encoding unit (12) can encode the input video/image.
  • the encoding unit (12) can perform a series of procedures such as prediction, transformation, and quantization for compression and encoding efficiency.
  • the encoding unit (12) can output encoded data (encoded video/image information) in the form of a bitstream.
  • the detailed configuration of the encoding unit (12) can also be configured in the same manner as the encoding device (100) of FIG. 1 described above.
  • the transmission unit (13) can transmit encoded video/image information or data output in the form of a bitstream to the reception unit (21) of the decoding device (20) via a digital storage medium or a network in the form of a file or streaming.
  • the digital storage medium can include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD, etc.
  • the transmission unit (13) can include an element for generating a media file through a predetermined file format and can include an element for transmission via a broadcasting/communication network.
  • the reception unit (21) can extract/receive the bitstream from the storage medium or network and transmit it to the decoding unit (22).
  • the decoding unit (22) can decode video/image by performing a series of procedures such as inverse quantization, inverse transformation, and prediction corresponding to the operation of the encoding unit (12).
  • the detailed configuration of the decoding unit (22) can also be configured in the same manner as the decoding device (200) of FIG. 2 described above.
  • the rendering unit (23) can render the decrypted video/image.
  • the rendered video/image can be displayed through the display unit.
  • deepfake refers to a technology that uses deep learning technology to create manipulated images by superimposing other images on top of an image.
  • a “deepfake video” may refer to a video manipulated using deepfake technology.
  • deepfake detection refers to detecting whether deepfake technology has been applied to a video, and may be synonymous with “detecting whether a video is deepfake,” “detecting deepfake videos,” “determining whether a video is deepfake,” or “determining whether a video is deepfake.”
  • syntactic information may be referred to as syntactic information.
  • FIG. 4 is a diagram illustrating a deepfake detection method using syntactic elements of a bitstream according to an embodiment of the present disclosure.
  • the deepfake detection method of FIG. 4 may be performed by a deepfake detection device.
  • the deepfake detection device may be a video decoding device or a part of a video decoding device. Additionally, the deepfake detection device may be a separate device connected to the video decoding device.
  • the deepfake detection device can receive a bitstream of a video from a video encoding device or a streaming server (S410).
  • the deepfake detection device can obtain a syntax element used to decode an image from the received bitstream (S420) and calculate an unreliability measurement value based on the obtained syntax element (S430).
  • the deepfake detection device can detect deepfake based on the calculated unreliability measurement value (S440).
  • syntax elements for deepfake detection can be any one of quantization parameters, transformed coefficients, bit rate, intra prediction mode, motion vector, block vector, reference frame index, and boundary strength of a deblocking filter.
  • the quantization parameters for a predetermined region within the current frame can be used for deepfake detection.
  • the predetermined region can be a region of interest (ROI) or the entire frame.
  • the unreliability measure can be calculated based on the difference between the quantization parameters within a predetermined region. Specifically, the unreliability measure can be calculated in proportion to the difference between the quantization parameters within the predetermined region, and if the unreliability measure is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • an unreliability measure can be calculated based on the difference between these two values. Then, if the calculated unreliability measure is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • any of the following values can be used: median, mode, minimum, or maximum.
  • M can be an integer less than N, and when M is 1, the quantization parameter value for the corresponding block can be used for comparison.
  • the quantization parameters of frames in a predetermined section from a received video bitstream can be used for deepfake detection.
  • the predetermined section can be a frame interval of interest (FOI) or an entire video frame.
  • the unreliability measure can be calculated based on the difference in the quantization parameters of frames within a predetermined interval. Specifically, the unreliability measure can be calculated in proportion to the difference in the quantization parameters within the predetermined interval, and if the unreliability measure is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • the average value of the quantization parameter values for N frames constituting a predetermined section can be compared with the average value of the quantization parameter values for some M frames included in the predetermined section, and an unreliability measurement value can be calculated based on the difference between these two values. Then, if the calculated unreliability measurement value is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • any of the following values can be used: median, mode, minimum, or maximum, in addition to the mean.
  • M can be an integer less than N.
  • bit rates of frames in a predetermined section from a received video bitstream can be used for deepfake detection.
  • the predetermined section can be a frame section of interest or an entire video frame.
  • the unreliability measurement value can be calculated based on the difference in bitrates of frames within a predetermined interval. Specifically, the unreliability measurement value can be calculated in proportion to the difference in bitrates within the predetermined interval, and if the unreliability measurement value is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • the average bit rates of N frames constituting a predetermined section can be compared with the average bit rates of some M frames included in the predetermined section, and an unreliability measure can be calculated based on the difference between these two values. If the calculated unreliability measure is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • any of the following values can be used: median, mode, minimum, or maximum, in addition to the mean.
  • M can be an integer less than N.
  • the syntax element for deepfake detection is a motion vector
  • motion vectors for a predetermined region within the current frame can be used for deepfake detection.
  • the predetermined region can be a region of interest or the entire frame.
  • the unreliability measure can be calculated based on the difference in quantization parameters within a predetermined region. Specifically, the unreliability measure can be calculated in proportion to the difference in motion vectors within a predetermined region, and if the unreliability measure is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • an unreliability measure can be calculated based on the difference between these two values. Then, if the calculated unreliability measure is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • M can be an integer smaller than N, and if M is 1, the motion vector value for the corresponding block can be used for comparison. At this time, the x-direction motion vector and the y-direction motion vector can be compared respectively.
  • the unreliability measure can be calculated based on the motion vector obtained in units of minimum blocks or blocks of a predetermined size.
  • the unreliability measure can be calculated based on the difference between the motion vectors within a predetermined region and the motion vectors of co-located regions (i.e., temporally neighboring regions) of this region. Then, if the calculated unreliability measure is greater than or equal to a predetermined value, the current video can be determined as a deepfake video. For example, when comparing the average value of the motion vectors for blocks constituting a predetermined region with the average value of the motion vectors of co-located blocks of these blocks, the unreliability measure can be calculated based on the difference between these two values. Then, if the calculated unreliability measure is greater than or equal to a predetermined value, the current video can be determined as a deepfake video. Meanwhile, when calculating the unreliability measure, in addition to the average value, any one of the median, mode, minimum, and maximum values can be used. At this time, the x-direction motion vector and the y-direction motion vector can be compared respectively.
  • the motion vector when calculating the unreliability measurement value, may be a value processed by any one of mathematical formulas 1 to 4.
  • the above motion vector embodiment can be equally applied even when the syntax element for deepfake detection is a block vector.
  • motion vectors smaller than a certain block size can be excluded from the measurement (e.g., 4x4 blocks). This is because smaller blocks may not follow the overall motion flow of a specific object and may exhibit significant fluctuations in difference values, similar to noise.
  • the transformation coefficients for a predetermined region within the current frame can be used for deepfake detection.
  • the predetermined region can be a region of interest or the entire frame, and the transformation coefficients can be obtained in transformation units.
  • the unreliability measure can be calculated based on the difference between the transformation coefficients within a predetermined region. Specifically, the unreliability measure can be calculated in proportion to the difference between the transformation coefficients within a predetermined region, and if the unreliability measure is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • an unreliability measure can be calculated based on the difference between these two values. Then, if the calculated unreliability measure is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • any of the median, mode, minimum, or maximum values can be used.
  • M can be an integer less than N, and when M is 1, the transformation coefficient value for the corresponding transformation block can be used for comparison.
  • the unreliability measure can be calculated based on the transform coefficient obtained in units of transform blocks for each frame.
  • the unreliability measure can be calculated based on the difference between the average value of the transform coefficients at a specific location within the transform blocks constituting a predetermined region and the average value of the transform coefficients at a specific location within the co-located transform blocks of these transform blocks (i.e., temporally neighboring transform blocks). Then, if the calculated unreliability measure is greater than a predetermined value, the current video can be determined to be a deepfake video. Meanwhile, when calculating the unreliability measure, in addition to the average value, any one of the median, mode, minimum, and maximum values can be used. At this time, the x-direction motion vector and the y-direction motion vector can be compared respectively.
  • intra-blocks and inter-blocks can be compared separately. Because the absolute value of the change coefficients of intra-blocks is relatively larger than that of inter-blocks, the two prediction types can be separated and the differences in their transformation coefficients compared.
  • a specific location of a transformation block can be determined based on the scan order of the transformation coefficients.
  • Figure 5 shows an example of a transform coefficient at a specific location within a transform block when the size of the transform block is 4x4 and the scan order of the transform coefficients is a diagonal scan order.
  • six transform coefficients (C10 to C15) can be used in the reverse order of the diagonal scan order, starting from C15 located at the lower right of the transform block.
  • Figure 6 shows an example of a transform coefficient at a specific location within a transform block when the size of the transform block is 4x4 and the scan order of the transform coefficients is a horizontal scan order.
  • six transform coefficients (C10 to C15) can be used in the reverse order of the horizontal scan order, starting from C15 located at the lower right of the transform block.
  • reference frame indices for a predetermined region within the current frame can be used for deepfake detection.
  • the predetermined region can be a region of interest or the entire frame, and the reference frame indices can be obtained in units of minimum blocks or blocks of a predetermined size.
  • the unreliability measure can be calculated based on the difference between reference frame indices within a predetermined region. Specifically, the unreliability measure can be calculated in proportion to the difference between reference frame indices within a predetermined region, and if the unreliability measure is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • an unreliability measure can be calculated based on the difference between these two values. Then, if the calculated unreliability measure is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • any of the following values can be used: median, mode, minimum, or maximum.
  • M can be an integer less than N, and if M is 1, the reference frame index for the corresponding block can be used for comparison.
  • the reference frame indices can be compared only when they are in the same reference direction.
  • the reference frame indices in the L0 direction and the reference frame indices in the L1 direction can be compared respectively.
  • L0 means a list of reference pictures preceding the current picture in playback order
  • L1 means a list of reference pictures following the current picture in playback order.
  • boundary strengths of the deblocking filter for a predetermined region within the current frame can be used for deepfake detection.
  • the predetermined region can be a region of interest or the entire frame
  • the boundary strength of the deblocking filter can be obtained in units of minimum blocks or blocks of a predetermined size.
  • the unreliability measurement value can be calculated based on the difference in the boundary strengths of the deblocking filter within a predetermined area. Specifically, the unreliability measurement value can be calculated in proportion to the difference in the boundary strengths of the deblocking filter within a predetermined area, and if the unreliability measurement value is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • an unreliability measure can be calculated based on the difference between these two values. Then, if the calculated unreliability measure is greater than a predetermined value, the current video can be determined to be a deepfake video.
  • any of the following values can be used: median, mode, minimum, or maximum.
  • M can be an integer less than N, and when M is 1, the boundary strength of the deblocking filter for the corresponding block can be used for comparison.
  • the unreliability measurement value can be calculated based on the boundary strength of the deblocking filter obtained in units of minimum blocks or blocks of a predetermined size.
  • the unreliability measure can be calculated based on the difference between the edge intensities of the deblocking filter within a predetermined region and the edge intensities of the deblocking filter in co-located regions (i.e., temporally neighboring regions) of this region. Then, if the calculated unreliability measure is greater than or equal to a predetermined value, the current video can be determined as a deepfake video. For example, when comparing the average value of the edge intensities of the deblocking filter for blocks constituting the predetermined region with the average value of the edge intensities of the deblocking filters of blocks co-located with these blocks, the unreliability measure can be calculated based on the difference between these two values.
  • the current video can be determined as a deepfake video.
  • the unreliability measure in addition to the average value, any one of the median, the mode, the minimum, and the maximum values can be used.
  • a deepfake detection method may utilize multiple syntactic elements rather than one syntactic element.
  • FIG. 7 is a diagram illustrating a deepfake detection method using multiple syntax elements according to one embodiment of the present disclosure.
  • the deepfake detection device can receive a bitstream of a video from a video encoding device or a streaming server (S710).
  • the deepfake detection device can obtain a first syntax element and a second syntax element used to decode an image from a received bitstream (S720), calculate a first unreliability measurement value based on the obtained first syntax element, and calculate a second unreliability measurement value based on the second syntax element (S730).
  • the deepfake detection device can detect deepfake based on the first unreliability measurement value and the second unreliability measurement value produced (S740).
  • X syntax elements may be used.
  • X may be an integer greater than or equal to 2.
  • deepfakes when detecting deepfakes using multiple syntactic elements, deepfakes can be detected using multiple syntactic elements in a predetermined order.
  • a deepfake detection device can calculate a first unreliability measurement value using a first syntax element, and detect whether a deepfake is present based on the calculated first unreliability measurement value. If the deepfake detection device determines that the video is a deepfake, the detection ends, and if the video is not determined to be a deepfake, the detection process continues. Next, the deepfake detection device can calculate a second unreliability measurement value using the acquired second syntax element, and detect whether a deepfake is present based on the calculated second unreliability measurement value.
  • the detection process can continue up to a detection step using the Xth unreliability measurement value.
  • a deepfake detection method may utilize an unreliability score calculated by weighting multiple unreliability measurements.
  • FIG. 8 is a diagram illustrating a deepfake detection method using an unreliability score according to an embodiment of the present disclosure.
  • the deepfake detection device can receive a bitstream of a video from a video encoding device or a streaming server (S810).
  • the deepfake detection device can obtain a first syntax element and a second syntax element used to decode an image from a received bitstream (S820), calculate a first unreliability measurement value based on the obtained first syntax element, and calculate a second unreliability measurement value based on the second syntax element (S830).
  • the deepfake detection device can calculate a distrust score by weighting the calculated first distrust measurement value and the calculated second distrust measurement value (S840).
  • the weight of the weighted sum may be a weight preset for the deepfake detection device.
  • the deepfake detection device can detect deepfake based on the calculated unreliability score (S850).
  • Y syntax elements may be used.
  • Y may be an integer greater than or equal to 2.
  • the preset weights (w 1 , w 2 ..., w Y ) can be applied to the unreliability measurement values to calculate the unreliability score (UR Score ) of the image.
  • a deepfake detection method may utilize an unreliability score calculated by normalizing a plurality of unreliability measurements.
  • FIG. 9 is a diagram illustrating a deepfake detection method based on a normalized unreliability measurement value according to one embodiment of the present disclosure.
  • the deepfake detection device can receive a bitstream of a video from a video encoding device or a streaming server (S910).
  • the deepfake detection device can obtain a first syntax element and a second syntax element used to decode an image from a received bitstream (S920), calculate a first unreliability measurement value based on the obtained first syntax element, and calculate a second unreliability measurement value based on the second syntax element (S930).
  • the deepfake detection device can normalize the first unreliable measurement value and the second unreliable measurement value produced (S940).
  • the deepfake detection device can calculate a distrust score by weighting the normalized first distrust measurement value and the second distrust measurement value (S950).
  • the weight of the weighted sum may be a weight preset for the deepfake detection device.
  • the deepfake detection device can detect deepfake based on the calculated unreliability score (S960).
  • Fig. 9 an embodiment using the first syntax element and the second syntax element is described, but Z syntax elements may be used.
  • Z may be an integer greater than or equal to 2.
  • a deepfake detection method may utilize syntactic elements of a region of interest (ROI).
  • ROI region of interest
  • the region of interest may be specified in advance, or a process for determining the region of interest may be additionally performed.
  • a region in which a motion vector exceeds a predefined value or/and a region in which a transform coefficient exceeds a predefined value can be determined as a region of interest.
  • object detection can be performed on the decrypted image to determine the region of interest, after which deepfake detection methods can be performed.
  • Object detection can target the facial region.
  • a deepfake detection method can utilize spatial domain information of an image in addition to syntactic element information of a bitstream.
  • spatial domain information refers to information obtainable from the spatial domain of an image, and may include the degree of illumination variation, sharpness, contrast, flickering, and the like.
  • the deepfake detection device can simultaneously obtain a number of spatial domain information pieces from the decrypted image, while calculating the unreliability measurement value according to the previously described embodiment, and calculate the image's unreliability score by applying preset weights to the unreliability measurement values and spatial domain information pieces. Even in this case, the unreliability measurement values and spatial domain information pieces can be normalized and utilized prior to calculating the unreliability score.
  • FIG. 10 is a flowchart illustrating a deepfake detection method according to an embodiment of the present disclosure.
  • the deepfake detection method of FIG. 10 can be performed by a deepfake detection device.
  • the deepfake detection device can receive a bitstream of a video from a video encoding device or a streaming server (S1010).
  • the deepfake detection device can obtain syntax information from the received bitstream (S1020).
  • the syntax information may be at least one of a quantization parameter, a transform coefficient, a bit rate, a motion vector, a reference picture index, or a boundary strength of a deblocking filter.
  • the deepfake detection device can obtain syntactic information of the region of interest within the current picture.
  • a region of interest may be determined as a region in which a motion vector exceeding a predefined value exists.
  • the region of interest may be determined as a region in which a transformation coefficient greater than a predefined value exists.
  • the region of interest may be determined based on object detection.
  • the deepfake detection device can calculate a distrust measurement value based on the acquired syntax information (S1030).
  • the deepfake detection device can determine whether the video is a deepfake based on the calculated unreliability measurement value (S1040).
  • Whether the video is a deepfake can be determined based on multiple unreliability measures calculated based on multiple pieces of syntactic information. In this case, whether the video is a deepfake can be determined based on a reliability score derived by applying a weight to each of the multiple unreliability measures.
  • the reliability score can be derived by normalizing each of the multiple unreliability measures and applying the weight.
  • whether the video is a deepfake can be determined based on the unreliability measurement value and spatial domain information.
  • whether the video is a deepfake can be determined based on an unreliability score derived by applying weights to each of the unreliability measurement value and the spatial domain information.
  • the spatial domain information may be at least one of illumination change information, sharpness information, contrast information, or blinking information.
  • FIG. 11 is a block diagram illustrating a deepfake detection device according to an embodiment of the present disclosure.
  • a deepfake detection device (1100) may include a receiving unit (1110) and a detection unit (1120).
  • the receiving unit (1110) can receive a bitstream of an image.
  • the detection unit (1120) can obtain syntax information from the bitstream, calculate an unreliability measurement value based on the syntax information, and determine whether the image is a deepfake based on the unreliability measurement value.
  • the syntax information can be at least one of a quantization parameter, a transform coefficient, a bit rate, a motion vector, a reference picture index, or a deblocking filter boundary strength.
  • the deepfake detection device (1100) may be a part included in the decryption device (200) of FIG. 2.
  • the deepfake detection device (1100) may be included in the decryption device (20) of FIG. 3.
  • the receiving unit (21) of FIG. 3 has the same configuration as the receiving unit (1110) of the deepfake detection device (1100), and the detection unit (1120) of the deepfake detection device (1100) may be configured to be separately connected to the decryption unit (22) of FIG. 3.
  • FIG. 12 is a drawing exemplifying a content streaming system to which an embodiment according to the present disclosure can be applied.
  • a content streaming system to which an embodiment of the present disclosure is applied may largely include an encoding server, a streaming server, a web server, a media storage, a user device, and a multimedia input device.
  • the encoding server compresses content input from multimedia input devices such as smartphones, cameras, and CCTVs into digital data, generates a bitstream, and transmits it to the streaming server.
  • multimedia input devices such as smartphones, cameras, and CCTVs directly generate bitstreams
  • the encoding server may be omitted.
  • the above bitstream can be generated by a video encoding method and/or a video encoding device, and the streaming server can temporarily store the bitstream during the process of transmitting or receiving the bitstream.
  • the streaming server transmits multimedia data to a user device based on a user request via a web server, and the web server can act as an intermediary to inform the user of available services.
  • the web server transmits the request to the streaming server, and the streaming server can transmit multimedia data to the user.
  • the content streaming system may include a separate control server, and in this case, the control server may play a role in controlling commands/responses between each device within the content streaming system.
  • the streaming server can receive content from a media repository and/or encoding server. For example, when receiving content from the encoding server, the content can be received in real time. In this case, to provide a smooth streaming service, the streaming server can store the bitstream for a certain period of time.
  • Examples of the user devices may include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation devices, slate PCs, tablet PCs, ultrabooks, wearable devices (e.g., smartwatches, smart glasses, HMDs), digital TVs, desktop computers, digital signage, etc.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • navigation devices slate PCs
  • tablet PCs tablet PCs
  • ultrabooks ultrabooks
  • wearable devices e.g., smartwatches, smart glasses, HMDs
  • digital TVs desktop computers, digital signage, etc.
  • Each server within the above content streaming system can be operated as a distributed server, in which case data received from each server can be processed in a distributed manner.
  • the above embodiments can be performed for each of the luminance and chrominance signals. Alternatively, the above embodiments can be performed identically for the luminance and chrominance signals.
  • the methods are described based on a flowchart as a series of steps or units.
  • the present disclosure is not limited to the order of the steps, and some steps may occur in a different order or simultaneously with other steps described above.
  • those skilled in the art will understand that the steps depicted in the flowchart are not exclusive, and that other steps may be included, or one or more steps in the flowchart may be deleted without affecting the scope of the present disclosure.
  • the above embodiments may be implemented in the form of program commands that can be executed by various computer components and recorded on a computer-readable recording medium.
  • the computer-readable recording medium may include program commands, data files, data structures, etc., either singly or in combination.
  • the program commands recorded on the computer-readable recording medium may be those specifically designed and configured for the present disclosure, or may be known and usable by those skilled in the art of computer software.
  • the bitstream generated by the encoding method according to the above embodiment can be stored in a non-transitory computer-readable recording medium.
  • the bitstream stored in the non-transitory computer-readable recording medium can be decoded by the decoding method according to the above embodiment.
  • examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and hardware devices specifically configured to store and execute program instructions such as ROMs, RAMs, and flash memories.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices may be configured to operate as one or more software modules to perform processing according to the present disclosure, and vice versa.
  • the present invention can be used in a device for encoding/decoding an image, a deepfake detection device, and a recording medium storing a bitstream.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

딥페이크 탐지 방법 및 장치가 제공된다. 딥페이크 탐지 방법은 영상의 비트스트림을 수신하는 단계, 상기 비트스트림으로부터 구문 정보를 획득하는 단계, 상기 구문 정보를 기초로 비신뢰도 측정값을 산출하는 단계, 상기 비신뢰도 측정값을 기초로 상기 영상의 딥페이크 여부를 판단하는 단계를 포함하고, 상기 구문 정보는 양자화 파라미터, 변환 계수, 비트율, 움직임 벡터, 참조 픽처 인덱스 또는 디블록킹 필터의 경계 강도 중 적어도 하나일 수 있다.

Description

딥페이크 탐지 방법 및 장치
본 개시는 딥페이크 탐지 방법 및 장치에 관한 것이다. 구체적으로, 본 개시는 비트스트림의 구문 요소 정보를 기초로 딥페이크를 탐지하는 방법 및 장치에 관한 것이다.
딥페이크는 딥러닝 기술을 이용해 동영상 위에 다른 이미지를 중첩하여 조작된 영상을 만들어내는 기술을 의미한다. 딥페이크는 영화나 TV, 쇼 등의 산업에서 배우의 연기나 특정 인물의 모습을 재현하여 창의적인 작품을 만드는데 사용될 수 있다. 최근에는 몸과 목소리는 실제 사람이지만, 딥페이크로 얼굴만 존재하지 않는 가상 얼굴로 바꾼 후 실시간 스트리밍(live streaming)을 하는 버츄얼 유튜버(virtual Youtuber)도 등장했다.
다양한 분야에서 딥페이크가 사용됨에 따라 이 기술에 대한 우려가 커지고 있다. 과거의 동영상 조작은 많은 시간과 비용이 필요했으나, 딥페이크의 등장으로 누구나 손쉽게 동영상을 조작할 수 있게 되었고 이를 악용할 수 있기 때문이다.
본 개시는 위와 같은 문제점을 해결하기 위한 딥페이크 탐지 방법 및 장치를 제공하는 것을 목적으로 한다.
본 개시의 일 실시예에 따른 딥페이크 탐지 방법은, 영상의 비트스트림을 수신하는 단계, 상기 비트스트림으로부터 구문 정보를 획득하는 단계, 상기 구문 정보를 기초로 비신뢰도 측정값을 산출하는 단계 및 상기 비신뢰도 측정값을 기초로 상기 영상의 딥페이크 여부를 판단하는 단계를 포함하고, 상기 구문 정보는 양자화 파라미터, 변환 계수, 비트율, 움직임 벡터, 참조 픽처 인덱스 또는 디블록킹 필터의 경계 강도 중 적어도 하나일 수 있다.
상기 딥페이크 탐지 방법에 있어서, 상기 구문 정보를 획득하는 단계는, 현재 픽처 내의 관심 영역의 구문 정보를 획득할 수 있다.
상기 딥페이크 탐지 방법에 있어서, 상기 관심 영역은, 기 정의된 값 이상의 움직임 벡터가 존재하는 영역으로 결정될 수 있다.
상기 딥페이크 탐지 방법에 있어서, 상기 관심 영역은, 기 정의된 값 이상의 변환 계수가 존재하는 영역으로 결정될 수 있다.
상기 딥페이크 탐지 방법에 있어서, 상기 관심 영역은, 객체 탐지에 기초하여 결정될 수 있다.
상기 딥페이크 탐지 방법에 있어서, 상기 영상의 딥페이크 여부는, 복수의 구문 정보에 기초하여 산출된 복수의 비신뢰도 측정값에 기초하여 판단될 수 있다.
상기 딥페이크 탐지 방법에 있어서, 상기 영상의 딥페이크 여부는, 복수의 비신뢰도 측정값 각각에 가중치를 적용하여 유도된 비신뢰도 점수에 기초하여 판단될 수 있다.
상기 딥페이크 탐지 방법에 있어서, 상기 비신뢰도 점수는, 상기 복수의 비신뢰도 측정값 각각을 정규화하고 상기 가중치를 적용하여 유도될 수 있다.
상기 딥페이크 탐지 방법에 있어서, 상기 영상의 딥페이크 여부는, 상기 비신뢰도 측정값 및 공간 영역 정보에 기초하여 판단될 수 있다.
상기 딥페이크 탐지 방법에 있어서, 상기 공간 영역 정보는, 조명 변화 정보, 선예도 정보, 대비 정보 또는 깜빡임 정보 중 적어도 하나일 수 있다.
상기 딥페이크 탐지 방법에 있어서, 상기 영상의 딥페이크 여부는, 상기 비신뢰도 측정값 및 상기 공간 영역 정보 각각에 가중치를 적용하여 유도된 비신뢰도 점수에 기초하여 판단될 수 있다.
본 개시의 일 실시예에 따른 딥페이크 탐지 장치는, 영상의 비트스트림을 수신하는 수신부 및 상기 비트스트림으로부터 구문 정보를 획득하고, 상기 구문 정보를 기초로 비신뢰도 측정값을 산출하고, 상기 비신뢰도 측정값을 기초로 상기 영상의 딥페이크 여부를 판단하는 탐지부를 포함하고, 상기 구문 정보는 양자화 파라미터, 변환 계수, 비트율, 움직임 벡터, 참조 픽처 인덱스 또는 디블록킹 필터 경계 강도 중 적어도 하나일 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 딥페이크 탐지 효율이 향상된 딥페이크 탐지 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시가 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 개시가 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 개시가 적용될 수 있는 비디오 코딩 시스템을 개략적으로 나타내는 도면이다.
도 4는 본 개시의 일 실시 예에 따른 딥페이크 탐지 방법을 설명하기 위한 흐름도이다.
도 5 및 6은 본 개시의 일 실시 예에 따른 비신뢰도 측정값 산출을 위한 변환 계수를 설명하기 위한 도면들이다.
도 7은 본 개시의 일 실시 예에 따른 복수 구문 요소를 이용한 딥페이크 탐지 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 비신뢰도 점수를 이용한 딥페이크 탐지 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 정규화된 비신뢰도 측정값에 기초한 딥페이크 탐지 방법을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 딥페이크 탐지 방법을 설명하기 위한 흐름도이다.
도 11은 본 개시의 일 실시 예에 따른 딥페이크 탐지 장치를 설명하기 위한 블록도이다.
도 12는 본 개시에 따른 실시예가 적용될 수 있는 컨텐츠 스트리밍 시스템을 예시적으로 나타내는 도면이다.
본 개시의 일 실시예에 따른 딥페이크 탐지 방법은, 영상의 비트스트림을 수신하는 단계, 상기 비트스트림으로부터 구문 정보를 획득하는 단계, 상기 구문 정보를 기초로 비신뢰도 측정값을 산출하는 단계 및 상기 비신뢰도 측정값을 기초로 상기 영상의 딥페이크 여부를 판단하는 단계를 포함하고, 상기 구문 정보는 양자화 파라미터, 변환 계수, 비트율, 움직임 벡터, 참조 픽처 인덱스 또는 디블록킹 필터의 경계 강도 중 적어도 하나일 수 있다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 예시적으로 제공될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 개시의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
본 개시에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 개시의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 개시의 본질에서 벗어나지 않는 한 본 개시의 권리범위에 포함된다.
본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 개시의 일부의 구성 요소는 본 개시에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 개시는 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 개시의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 개시의 권리범위에 포함된다.
실시예에서 용어 "적어도 하나(at least one)"는 1, 2, 3 및 4와 같은 1 이상의 개수들 중 하나를 의미할 수 있다. 실시예에서 용어 "복수(a plurality of)"는 2, 3 및 4와 같은 2 이상의 개수들 중 하나를 의미할 수 있다.
이하, 도면을 참조하여 본 개시의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
용어 설명
이하에서, “영상”은 동영상(video)을 구성하는 하나의 픽처(picture)를 의미할 수 있으며, 동영상 자체를 나타낼 수도 있다. 예를 들면, "영상의 부호화 및/또는 복호화"는 "동영상의 부호화 및/또는 복호화"를 의미할 수 있으며, "동영상을 구성하는 영상들 중 하나의 영상의 부호화 및/또는 복호화"를 의미할 수도 있다.
이하에서, "동영상" 및 "비디오"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또한, 대상 영상은 부호화의 대상인 부호화 대상 영상 및/또는 복호화의 대상인 복호화 대상 영상일 수 있다. 또한, 대상 영상은 부호화 장치로 입력된 입력 영상일 수 있고, 복호화 장치로 입력된 입력 영상일 수 있다. 여기서, 대상 영상은 현재 영상과 동일한 의미를 가질 수 있다.
이하에서, 부호화기 및 영상 부호화 장치는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 복호화기 및 영상 복호화 장치는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, "영상(image)", "픽처(picture)", "프레임(frame)" 및 "스크린(screen)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, “대상 블록”은 부호화의 대상인 부호화 대상 블록 및/또는 복호화의 대상인 복호화 대상 블록일 수 있다. 또한, 대상 블록은 현재 부호화 및/또는 복호화의 대상인 현재 블록일 수 있다. 예를 들면, "대상 블록" 및 "현재 블록"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, "블록" 및 "유닛"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또한, “유닛”은 블록과 구분하여 지칭하기 위해 휘도(Luma) 성분 블록과 그에 대응하는 색차(Chroma) 성분 블록을 포함한 것을 의미할 수 있다. 일 예로, 부호화 트리 유닛(Coding Tree Unit, CTU)은 하나의 휘도 성분(Y) 부호화 트리 블록(Coding Tree Block, CTB)과 관련된 두 색차 성분(Cb, Cr) 부호화 트리 블록들로 구성될 수 있다.
이하에서, “샘플”, “화소” 및 “픽셀”은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 여기서, 샘플은 블록을 구성하는 기본 단위를 나타낼 수 있다.
이하에서, “인터” 및 “화면 간”은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, “인트라” 및 “화면 내”는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
도 1은 본 개시가 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
부호화 장치(100)는 인코더, 비디오 부호화 장치 또는 영상 부호화 장치일 수 있다. 비디오는 하나 이상의 영상들을 포함할 수 있다. 부호화 장치(100)는 하나 이상의 영상들을 순차적으로 부호화할 수 있다.
도 1을 참조하면, 부호화 장치(100)는 영상 분할부(110), 인트라 예측부(120), 움직임 예측부(121), 움직임 보상부(122), 스위치(115), 감산기(113), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(117), 필터부(180) 및 참조 픽처 버퍼(190)를 포함할 수 있다.
또한, 부호화 장치(100)는 입력 영상에 대한 부호화를 통해 부호화된 정보를 포함하는 비트스트림을 생성할 수 있고, 생성된 비트스트림을 출력할 수 있다. 생성된 비트스트림은 컴퓨터 판독가능한 기록 매체에 저장될 수 있거나, 유/무선 전송 매체를 통해 스트리밍될 수 있다.
영상 분할부(110)는 동영상 부호화/복호화의 효율을 높이기 위해, 입력 영상을 다양한 형태로 분할할 수 있다. 즉, 입력 동영상은 다수의 픽처로 구성되어 있고 하나의 픽처는 압축 효율, 병렬처리 등을 위하여 계층적으로 분할되어 처리될 수 있다. 예를 들어, 하나의 픽처를 하나 또는 다수개의 타일(tile) 또는 슬라이스(slice)로 분할하고 다시 다수개의 CTU (Coding Tree Unit)로 분할할 수 있다. 또 다른 방식으로, 먼저 하나의 픽처를 직사각형 모양의 슬라이스의 그룹으로 정의되는 다수개의 서브픽처(sub-picture)로 분할하고, 각 서브픽처를 상기 타일/슬라이스로 분할할 수도 있다. 여기서, 서브픽처는 픽처를 부분적으로 독립 부호화/복호화 및 전송하는 기능을 지원하기 위하여 활용될 수 있다. 여러 개의 서브픽처는 각각 개별적으로 복원 가능하기에 멀티 채널 입력을 하나의 픽처로 구성하는 응용에 있어서 편집이 용이하다는 장점을 가지게 된다. 또한, 타일을 횡방향으로 분할하여 브릭(brick)을 생성할 수도 있다. 여기서, 브릭(brick)은 픽처내 병렬처리의 기본 단위로 활용할 수 있다. 또한, 하나의 CTU는 쿼드 트리(QT: Quadtree)로 재귀적으로 분할될 수 있고, 분할의 말단 노드를 CU (Coding Unit)라고 정의할 수 있다. CU는 예측 단위인 PU(Prediction Unit)와 변환 단위인 TU (Transform Unit)로 분할되어 예측과 분할이 수행될 수 있다. 한편, CU는 예측 단위 및/또는 변환 단위 그 자체로 활용할 수 있다. 여기서, 유연한 분할을 위하여 각 CTU는 쿼드 트리(QT) 뿐만 아니라 멀티타입 트리(MTT: Multi-Type Tree)로 재귀적으로 분할될 수도 있다. CTU는 QT의 말단 노드에서 멀티타입 트리로 분할이 시작될 수 있으며 MTT는 BT(Binary Tree)와 TT(Triple Tree)로 구성될 수 있다. 예를 들어, MTT구조에는 수직 이진 분할모드(SPLIT_BT_VER), 수평 이진 분할모드(SPLIT_BT_HOR), 수직 삼항 분할모드(SPLIT_TT_VER), 수평 삼항 분할모드(SPLIT_TT_HOR)로 구분될 수 있다. 또한, 분할 시 휘도 블록의 쿼드 트리의 최소 블록 크기(MinQTSize)는 16x16이고 바이너리 트리의 최대블록 크기(MaxBtSize)는 128x128, 트리플 트리의 최대 블록 크기(MaxTtSize)는 64x64로 설정할 수 있다. 또한, 바이너리 트리의 최소 블록 크기(MinBtSize)와 트리플 트리의 최소 블록 크기(MinTtSize)는 4x4, 멀티 타입 트리의 최대 깊이(MaxMttDepth)는 4로 지정할 수 있다. 또한 I 슬라이스의 부호화 효율을 높이기 위하여 휘도와 색차성분의 CTU 분할 구조를 서로 다르게 사용하는 듀얼 트리(dual tree)를 적용할 수도 있다. 반면 P와 B슬라이스에서는 CTU 내의 휘도와 색차 CTB (Coding Tree Block)들이 코딩 트리 구조를 공유하는 싱글 트리(single tree)로 분할할 수 있다.
부호화 장치(100)는 입력 영상에 대해 인트라 모드 및/또는 인터 모드로 부호화를 수행할 수 있다. 또는, 부호화 장치(100)는 입력 영상에 대해 상기 인트라 모드 및 인터 모드가 아닌 제3의 모드 (예, IBC 모드, Palette 모드 등)로 부호화를 수행할 수도 있다. 단, 상기 제3의 모드가 인트라 모드 또는 인터 모드와 유사한 기능적 특징을 가지는 경우, 설명의 편의를 위해 인트라 모드 또는 인터 모드로 분류하기도 한다. 본 개시에서는 상기 제3의 모드에 대한 구체적인 설명이 필요한 경우에만 이를 별도로 분류하여 기술할 것이다.
예측 모드로 인트라 모드가 사용되는 경우 스위치(115)는 인트라로 전환될 수 있고, 예측 모드로 인터 모드가 사용되는 경우 스위치(115)는 인터로 전환될 수 있다. 여기서 인트라 모드는 화면 내 예측 모드를 의미할 수 있으며, 인터 모드는 화면 간 예측 모드를 의미할 수 있다. 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성할 수 있다. 또한, 부호화 장치(100)는 예측 블록이 생성된 후, 입력 블록 및 예측 블록의 차분(residual)을 사용하여 잔여 블록을 부호화할 수 있다. 입력 영상은 현재 부호화의 대상인 현재 영상으로 칭해질 수 있다. 입력 블록은 현재 부호화의 대상인 현재 블록 혹은 부호화 대상 블록으로 칭해질 수 있다.
예측 모드가 인트라 모드인 경우, 인트라 예측부(120)는 현재 블록의 주변에 이미 부호화/복호화된 블록의 샘플을 참조 샘플로서 이용할 수 있다. 인트라 예측부(120)는 참조 샘플을 이용하여 현재 블록에 대한 공간적 예측을 수행할 수 있고, 공간적 예측을 통해 입력 블록에 대한 예측 샘플들을 생성할 수 있다. 여기서 인트라 예측은 화면 내 예측을 의미할 수 있다.
인트라 예측 방식으로, DC 모드, Planar 모드와 같은 무방향성 예측 모드와 방향성 예측 모드 (예, 65개 방향)가 적용될 수 있다. 여기서, 인트라 예측 방식은 인트라 예측 모드 또는 화면 내 예측 모드로 표현될 수 있다.
예측 모드가 인터 모드인 경우, 움직임 예측부(121)는, 움직임 예측 과정에서 참조 영상으로부터 입력 블록과 가장 매치가 잘 되는 영역을 검색할 수 있고, 검색된 영역을 이용하여 움직임 벡터를 도출할 수 있다. 이때, 상기 영역으로 탐색 영역을 사용할 수 있다. 참조 영상은 참조 픽처 버퍼(190)에 저장될 수 있다. 여기서, 참조 영상에 대한 부호화/복호화가 처리되었을 때 참조 픽처 버퍼(190)에 저장될 수 있다.
움직임 보상부(122)는 움직임 벡터를 이용하는 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다. 여기서 인터 예측은 화면 간 예측 혹은 움직임 보상을 의미할 수 있다.
상기 움직임 예측부(121)와 움직임 보상부(122)는 움직임 벡터의 값이 정수 값을 가지지 않을 경우에 참조 영상 내의 일부 영역에 대해 보간 필터(Interpolation Filter)를 적용하여 예측 블록을 생성할 수 있다. 화면 간 예측 혹은 움직임 보상을 수행하기 위해 부호화 유닛을 기준으로 해당 부호화 유닛에 포함된 예측 유닛의 움직임 예측 및 움직임 보상 방법이 스킵 모드(Skip Mode), 머지 모드(Merge Mode), 향상된 움직임 벡터 예측(Advanced Motion Vector Prediction; AMVP) 모드, 인트라 블록 카피(Intra Block Copy; IBC) 모드 중 어떠한 방법인지 여부를 판단할 수 있고, 각 모드에 따라 화면 간 예측 혹은 움직임 보상을 수행할 수 있다.
또한, 상기 화면 간 예측 방법을 기초로, sub-PU 기반 예측의 AFFINE 모드, SbTMVP (Subblock-based Temporal Motion Vector Prediction) 모드, 및 PU 기반 예측의 MMVD(Merge with MVD) 모드, GPM(Geometric Partitioning Mode) 모드를 적용할 수도 있다. 또한, 각 모드의 성능 향상을 위하여 HMVP(History based MVP), PAMVP(Pairwise Average MVP), CIIP(Combined Intra/Inter Prediction), AMVR(Adaptive Motion Vector Resolution), BDOF(Bi-Directional Optical-Flow), BCW(Bi-predictive with CU Weights), LIC (Local Illumination Compensation), TM(Template Matching), OBMC(Overlapped Block Motion Compensation) 등을 적용할 수도 있다.
이 중, AFFINE 모드는 AMVP와 MERGE 모드에서 모두 사용되고 부호화 효율 또한 높은 기술이다. 종래 동영상 코딩 표준에서는 블록의 평행이동만을 고려하여 MC(Motion Compensation)를 수행하기 때문에 줌 인/아웃(zoom in/out), 회전(rotation)과 같이 현실에서 발생하는 움직임을 제대로 보상하지 못하는 단점이 있었다. 이를 보완하여, 두 개의 컨트롤 포인트 움직임 벡터(control point motion vector, CPMV)를 사용하는 4 파라미터 어파인 움직임 모델과 세 개의 컨트롤 포인트 움직임 벡터를 사용하는 6 파라미터 어파인 움직임 모델을 사용하여 인터 예측에 적용할 수 있다. 여기서, CPMV는 현재 블록의 왼쪽 상단, 오른쪽 상단, 왼쪽 하단 중 어느 하나의 어파인 움직임 모델을 표현하는 벡터이다.
감산기(113)는 입력 블록 및 예측 블록의 차분을 사용하여 잔여 블록을 생성할 수 있다. 잔여 블록은 잔여 신호로 칭해질 수도 있다. 잔여 신호는 원 신호 및 예측 신호 간의 차이(difference)를 의미할 수 있다. 또는, 잔여 신호는 원신호 및 예측 신호 간의 차이를 변환(transform)하거나, 양자화하거나, 또는 변환 및 양자화함으로써 생성된 신호일 수 있다. 잔여 블록은 블록 단위의 잔여 신호일 수 있다.
변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 생성할 수 있고, 생성된 변환 계수를 출력할 수 있다. 여기서, 변환 계수는 잔여 블록에 대한 변환을 수행함으로써 생성된 계수 값일 수 있다. 변환 생략(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔여 블록에 대한 변환을 생략할 수도 있다.
변환 계수 또는 잔여 신호에 양자화를 적용함으로써 양자화된 레벨(quantized level)이 생성될 수 있다. 이하, 실시예들에서는 양자화된 레벨도 변환 계수로 칭해질 수 있다.
일 예로, 인트라 예측을 통해 생성된 4x4 휘도 잔차 블록은 DST(Discrete Sine Transform) 기반 기저 벡터를 통해 변환하며, 나머지 잔차 블록에 대해서는 DCT(Discrete Cosine Transform) 기반의 기저 벡터를 사용하여 변환을 수행할 수 있다. 또한 RQT(Residual Quad Tree) 기술을 통하여 하나의 블록에 대하여 변환 블록을 쿼드 트리 형태로 분할하며 RQT를 통해 분할된 각 변환 블록에 대하여 변환과 양자화를 수행하고 난 후 모든 계수가 0이 되는 경우의 부호화 효율을 높이기 위해 cbf(coded block flag)를 전송할 수 있다.
또 다른 대안으로는, 여러 변환 기저를 선택적으로 사용하여 변환을 수행하는 MTS(Multiple Transform Selection) 기술을 적용할 수도 있다. 즉, CU를 RQT를 통해 TU로 분할하지 않고, SBT(Sub-block Transform) 기술을 통해 TU분할과 유사한 기능을 수행할 수 있다. 구체적으로, SBT는 화면 간 예측 블록에만 적용되며 RQT와 달리 현재 블록을 수직 혹은 수평 방향으로 ½ 혹은 ¼ 크기로 분할한 뒤 그 중 하나의 블록에 대해서만 변환을 수행할 수 있다. 예를 들어, 수직으로 분할된 경우 맨 왼쪽 혹은 맨 오른쪽 블록에 대해 변환을 수행하고, 수평으로 분할된 경우 맨 위쪽 혹은 맨 아래쪽 블록에 대하여 변환을 수행할 수 있다.
또한 DCT 또는 DST를 통해 주파수 영역으로 변환된 잔차 신호를 추가 변환하는 2차 변환 (secondary transform) 기술인 LFNST(Low Frequency Non-Separable Transform)를 적용할 수도 있다. LFNST는 좌측 상단의 4x4 또는 8x8의 저주파수 영역에 대해서 변환을 추가적으로 수행하여 잔차 계수를 좌측 상단으로 집중시킬 수 있게 된다.
양자화부(140)는 변환 계수 또는 잔여 신호를 양자화 매개변수 (QP, Quantization parameter)에 따라 양자화함으로써 양자화된 레벨을 생성할 수 있고, 생성된 양자화된 레벨을 출력할 수 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 변환 계수를 양자화할 수 있다.
일 예로, 0~51 QP 값을 사용하는 양자화기를 사용할 수 있다. 또는, 영상의 크기가 보다 크고 높은 부호화 효율이 요구되는 경우에는, 0~63 QP를 사용할 수도 있다. 또한 하나의 양자화기를 사용하는 것이 아닌 두 개의 양자화기를 사용하는 DQ(Dependent Quantization) 방법을 적용할 수도 있다. DQ는 두개의 양자화기(예, Q0, Q1)를 사용하여 양자화를 수행하되, 특정 양자화기 사용에 대한 정보를 시그널링 하지 않더라도, 상태 전이 모델을 통해 현재 상태에 기반하여 다음 변환 계수에 사용할 양자화기가 선택되도록 적용할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터(Coding Parameter) 값들 등에 대하여 확률 분포에 따른 엔트로피 부호화를 수행함으로써 비트스트림(bitstream)을 생성할 수 있고, 비트스트림을 출력할 수 있다. 엔트로피 부호화부(150)는 영상의 샘플에 관한 정보 및 영상의 복호화를 위한 정보에 대한 엔트로피 부호화를 수행할 수 있다. 예를 들면, 영상의 복호화를 위한 정보는 구문 요소(syntax element) 등을 포함할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골롬(exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다. 예를 들면, 엔트로피 부호화부(150)는 가변 길이 부호화(Variable Length Coding/Code; VLC) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법, 확률 모델, 문맥 모델(Context Model)을 사용하여 산술 부호화를 수행할 수도 있다.
관련하여, CABAC을 적용함에 있어서, 복호화 장치에서 저장되는 확률 테이블의 크기를 줄이고자, 테이블 확률 업데이트 방식을 간단한 수식을 통한 테이블 업데이트 방식으로 변경하여 적용할 수도 있다. 또한 더 정확한 심볼의 확률 값을 얻기 위하여 2개의 서로 다른 확률 모델을 사용할 수도 있다.
엔트로피 부호화부(150)는 변환 계수 레벨(양자화된 레벨)을 부호화하기 위해 변환 계수 스캐닝(Transform Coefficient Scanning) 방법을 통해 2차원의 블록 형태(form) 계수를 1차원의 벡터 형태로 변경할 수 있다.
부호화 파라미터(Coding Parameter)는 구문 요소 (syntax element)와 같이 부호화 장치(100)에서 부호화되어 복호화 장치(200)로 시그널링되는 정보(플래그, 색인 등)뿐만 아니라, 부호화 과정 혹은 복호화 과정에서 유도되는 정보를 포함할 수 있으며, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미할 수 있다.
여기서, 플래그 혹은 색인을 시그널링(signaling)한다는 것은 인코더에서는 해당 플래그 혹은 색인을 엔트로피 부호화(Entropy Encoding)하여 비트스트림(Bitstream)에 포함하는 것을 의미할 수 있고, 디코더에서는 비트스트림으로부터 해당 플래그 혹은 색인을 엔트로피 복호화(Entropy Decoding)하는 것을 의미할 수 있다.
부호화된 현재 영상은 이후에 처리되는 다른 영상에 대한 참조 영상으로서 사용될 수 있다. 따라서, 부호화 장치(100)는 부호화된 현재 영상을 다시 복원 또는 복호화할 수 있고, 복원 또는 복호화된 영상을 참조 영상으로 참조 픽처 버퍼(190)에 저장할 수 있다.
양자화된 레벨은 역양자화부(160)에서 역양자화(dequantization)될 수 있고. 역변환부(170)에서 역변환(inverse transform)될 수 있다. 역양자화 및/또는 역변환된 계수는 가산기(117)를 통해 예측 블록과 합해질 수 있다, 역양자화 및/또는 역변환된 계수와 예측 블록을 합함으로써 복원 블록(reconstructed block)이 생성될 수 있다. 여기서, 역양자화 및/또는 역변환된 계수는 역양자화 및 역변환 중 적어도 하나 이상이 수행된 계수를 의미하며, 복원된 잔여 블록을 의미할 수 있다. 상기 역양자화부(160) 및 역변환부(170)는 양자화부(140) 및 변환부(130)의 역과정으로 수행될 수 있다.
복원 블록은 필터부(180)를 거칠 수 있다. 필터부(180)는 디블록킹 필터(deblocking filter), 샘플 적응적 오프셋(Sample Adaptive Offset; SAO), 적응적 루프 필터(Adaptive Loop Filter; ALF), 양방향 필터 (Bilateral filter; BIF), LMCS (Luma Mapping with Chroma Scaling) 등을 복원 샘플, 복원 블록 또는 복원 영상에, 전부 또는 일부 필터링 기술로 적용할 수 있다. 필터부(180)는 인-루프 필터(in-loop filter)로 칭해질 수도 있다. 이때, 인-루프 필터(in-loop filter)는 LMCS를 제외하는 명칭으로 사용하기도 한다.
디블록킹 필터는 블록들 간의 경계에서 발생한 블록 왜곡을 제거할 수 있다. 디블록킹 필터를 수행할지 여부를 판단하기 위해 블록에 포함된 몇 개의 열 또는 행에 포함된 샘플을 기초로 현재 블록에 디블록킹 필터 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용하는 경우 필요한 디블록킹 필터링 강도에 따라 서로 다른 필터를 적용할 수 있다.
샘플 적응적 오프셋을 이용하여 부호화 에러를 보상하기 위해 샘플 값에 적정 오프셋(offset) 값을 더할 수 있다. 샘플 적응적 오프셋은 디블록킹을 수행한 영상에 대해 샘플 단위로 원본 영상과의 오프셋을 보정할 수 있다. 영상에 포함된 샘플을 일정한 수의 영역으로 구분한 후 오프셋을 수행할 영역을 결정하고 해당 영역에 오프셋을 적용하는 방법 또는 각 샘플의 에지 정보를 고려하여 오프셋을 적용하는 방법을 사용할 수 있다.
양방향 필터 (Bilateral filter; BIF) 또한 디블록킹을 수행한 영상에 대해 샘플 단위로 원본 영상과의 오프셋을 보정할 수 있다.
적응적 루프 필터는 복원 영상 및 원래의 영상을 비교한 값에 기반하여 필터링을 수행할 수 있다. 영상에 포함된 샘플을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. 적응적 루프 필터를 적용할지 여부에 관련된 정보는 부호화 유닛(Coding Unit, CU) 별로 시그널링될 수 있고, 각각의 블록에 따라 적용될 적응적 루프 필터의 모양 및 필터 계수는 달라질 수 있다.
LMCS(Luma Mapping with Chroma Scaling)에서, 루마 매핑(LM, Luma-mapping)은 piece-wise 선형 모델을 통해 휘도 값을 재맵핑 하는 것을 의미하고, 크로마 스케일링(CS, Chroma scaling)은 예측 신호의 평균 휘도 값에 따라 색차 성분의 잔차 값을 스케일링해주는 기술을 의미한다. 특히, LMCS는 HDR(High Dynamic Range) 영상의 특성을 반영한 HDR 보정 기술로 활용될 수 있다.
필터부(180)를 거친 복원 블록 또는 복원 영상은 참조 픽처 버퍼(190)에 저장될 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상의 일부일 수 있다. 말하자면, 참조 영상은 필터부(180)를 거친 복원 블록들로 구성된 복원 영상일 수 있다. 저장된 참조 영상은 이후 화면 간 예측 혹은 움직임 보상에 사용될 수 있다.
도 2는 본 개시가 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
복호화 장치(200)는 디코더, 비디오 복호화 장치 또는 영상 복호화 장치일 수 있다.
도 2를 참조하면, 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(201), 스위치 (203), 필터부(260) 및 참조 픽처 버퍼(270)를 포함할 수 있다.
복호화 장치(200)는 부호화 장치(100)에서 출력된 비트스트림을 수신할 수 있다. 복호화 장치(200)는 컴퓨터 판독가능한 기록 매체에 저장된 비트스트림을 수신하거나, 유/무선 전송 매체를 통해 스트리밍되는 비트스트림을 수신할 수 있다. 복호화 장치(200)는 비트스트림에 대하여 인트라 모드 또는 인터 모드로 복호화를 수행할 수 있다. 또한, 복호화 장치(200)는 복호화를 통해 복원된 영상 또는 복호화된 영상을 생성할 수 있고, 복원된 영상 또는 복호화된 영상을 출력할 수 있다.
복호화에 사용되는 예측 모드가 인트라 모드인 경우 스위치(203)가 인트라로 전환될 수 있다. 복호화에 사용되는 예측 모드가 인터 모드인 경우 스위치(203)가 인터로 전환될 수 있다.
복호화 장치(200)는 입력된 비트스트림을 복호화하여 복원된 잔여 블록(reconstructed residual block)을 획득할 수 있고, 예측 블록을 생성할 수 있다. 복원된 잔여 블록 및 예측 블록이 획득되면, 복호화 장치(200)는 복원된 잔여 블록과 및 예측 블록을 더함으로써 복호화 대상이 되는 복원 블록을 생성할 수 있다. 복호화 대상 블록은 현재 블록으로 칭해질 수 있다.
엔트로피 복호화부(210)는 비트스트림에 대한 확률 분포에 따른 엔트로피 복호화를 수행함으로써 심볼들을 생성할 수 있다. 생성된 심볼들은 양자화된 레벨 형태의 심볼을 포함할 수 있다. 여기에서, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법의 역과정일 수 있다.
엔트로피 복호화부(210)는 변환 계수 레벨(양자화된 레벨)을 복호화하기 위해 변환 계수 스캐닝 방법을 통해 1차원의 벡터 형태 계수를 2차원의 블록 형태로 변경할 수 있다.
양자화된 레벨은 역양자화부(220)에서 역양자화될 수 있고, 역변환부(230)에서 역변환될 수 있다. 양자화된 레벨은 역양자화 및/또는 역변환이 수행된 결과로서, 복원된 잔여 블록으로 생성될 수 있다. 이때, 역양자화부(220)는 양자화된 레벨에 양자화 행렬을 적용할 수 있다. 복호화 장치에 적용되는 역양자화부(220) 및 역변환부(230)는 전술한 부호화 장치에 적용되는 역양자화부(160) 및 역변환부(170)와 동일한 기술을 적용할 수 있다.
인트라 모드가 사용되는 경우, 인트라 예측부(240)는 복호화 대상 블록 주변의 이미 복호화된 블록의 샘플 값을 이용하는 공간적 예측을 현재 블록에 대해 수행함으로써 예측 블록을 생성할 수 있다. 복호화 장치에 적용되는 인트라 예측부(240)는 전술한 부호화 장치에 적용되는 인트라 예측부(120)와 동일한 기술을 적용할 수 있다.
인터 모드가 사용되는 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하는 움직임 보상을 현재 블록에 대해 수행함으로써 예측 블록을 생성할 수 있다. 상기 움직임 보상부(250)는 움직임 벡터의 값이 정수 값을 가지지 않을 경우에 참조 영상 내의 일부 영역에 대해 보간 필터를 적용하여 예측 블록을 생성할 수 있다. 움직임 보상을 수행하기 위해 부호화 유닛을 기준으로 해당 부호화 유닛에 포함된 예측 유닛의 움직임 보상 방법이 스킵 모드, 머지 모드, AMVP 모드, 현재 픽처 참조 모드 중 어떠한 방법인지 여부를 판단할 수 있고, 각 모드에 따라 움직임 보상을 수행할 수 있다. 복호화 장치에 적용되는 움직임 보상부(250)는 전술한 부호화 장치에 적용되는 움직임 보상부(122)와 동일한 기술을 적용할 수 있다.
가산기(201)는 복원된 잔여 블록 및 예측 블록을 가산하여 복원 블록을 생성할 수 있다. 필터부(260)는 Inverse-LMCS, 디블록킹 필터, 샘플 적응적 오프셋 및 적응적 루프 필터 등 적어도 하나를 복원 블록 또는 복원 영상에 적용할 수 있다. 복호화 장치에 적용되는 필터부(260)는 전술한 부호화 장치에 적용되는 필터부(180)에 적용된 필터링 기술과 동일한 기술을 적용할 수 있다.
필터부(260)는 복원 영상을 출력할 수 있다. 복원 블록 또는 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다. 필터부(260)를 거친 복원 블록은 참조 영상의 일부일 수 있다. 말하자면, 참조 영상은 필터부(260)를 거친 복원 블록들로 구성된 복원 영상일 수 있다. 저장된 참조 영상은 이후 화면 간 예측 혹은 움직임 보상에 사용될 수 있다.
도 3은 본 개시가 적용될 수 있는 비디오 코딩 시스템을 개략적으로 나타내는 도면이다.
일 실시예에 따른 비디오 코딩 시스템은 부호화 장치(10) 및 복호화 장치(20)를 포함할 수 있다. 부호화 장치(10)는 부호화된 비디오(video) 및/또는 영상(image) 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 복호화 장치(20)로 전달할 수 있다.
일 실시예에 따른 부호화 장치(10)는 비디오 소스 생성부(11), 부호화부(12), 전송부(13)를 포함할 수 있다. 일 실시예에 따른 복호화 장치(20)는 수신부(21), 복호화부(22) 및 렌더링부(23)를 포함할 수 있다. 상기 부호화부(12)는 비디오/영상 부호화부라고 불릴 수 있고, 상기 복호화부(22)는 비디오/영상 복호화부라고 불릴 수 있다. 전송부(13)는 부호화부(12)에 포함될 수 있다. 수신부(21)는 복호화부(22)에 포함될 수 있다. 렌더링부(23)는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다.
비디오 소스 생성부(11)는 비디오/영상의 캡쳐, 합성 또는 생성 과정 등을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스 생성부(11)는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 예를 들어, 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브 등을 포함할 수 있다. 비디오/영상 생성 디바이스는 예를 들어 컴퓨터, 타블렛 및 스마트폰 등을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터 등을 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.
부호화부(12)는 입력 비디오/영상을 부호화할 수 있다. 부호화부(12)는 압축 및 부호화 효율을 위하여 예측, 변환, 양자화 등 일련의 절차를 수행할 수 있다. 부호화부(12)는 부호화된 데이터(부호화된 비디오/영상 정보)를 비트스트림(bitstream) 형태로 출력할 수 있다. 상기 부호화부(12)의 상세 구성은 전술한 도 1의 부호화 장치(100)와 동일하게 구성하는 것도 가능하다.
전송부(13)는 비트스트림 형태로 출력된 부호화된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 복호화 장치(20)의 수신부(21)로 전달할 수 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 전송부(13)는 미리 정해진 파일 포맷을 통하여 미디어 파일을 생성하기 위한 엘리먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘리먼트를 포함할 수 있다. 수신부(21)는 상기 저장매체 또는 네트워크로부터 상기 비트스트림을 추출/수신하여 복호화부(22)로 전달할 수 있다.
복호화부(22)는 부호화부(12)의 동작에 대응하는 역양자화, 역변환, 예측 등 일련의 절차를 수행하여 비디오/영상을 복호화할 수 있다. 상기 복호화부(22)의 상세 구성은 전술한 도 2의 복호화 장치(200)와 동일하게 구성하는 것도 가능하다.
렌더링부(23)는 복호화된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.
이하, 도 4 내지 도 10을 참고하여, 본 개시의 일 실시 예에 따른 딥페이크(deep fake) 탐지 방법에 대해 설명하도록 한다.
본 명세서에서, 딥페이크는 딥러닝 기술을 이용해 영상 위에 다른 이미지를 중첩하여 조작된 영상을 만들어내는 기술을 의미한다. 딥페이크 영상은 딥페이크 기술이 적용되어 조작된 영상을 의미할 수 있다. 그리고, 딥페이크 탐지는 영상에 딥페이크 기술이 적용되었는지 여부를 탐지하는 것으로, 딥페이크 여부 탐지, 딥페이크 영상 탐지, 딥페이크 영상 판단 또는 딥페이크 여부 판단과 동일한 의미일 수 있다.
또한, 본 명세서에서, 구문 요소는 구문 정보로 칭할 수 있다.
다양한 분야에서 딥페이크가 사용됨에 따라 이 기술에 대한 우려가 커지고 있다. 과거의 동영상 조작은 많은 시간과 비용이 필요했으나, 딥페이크의 등장으로 누구나 손쉽게 동영상을 조작할 수 있게 되었고 이를 악용할 수 있기 때문이다. 구체적으로, 딥페이크로 조작된 영상은 사회적 혼란을 야기하거나, 허위 정보를 만들어내어 사회적 불안정을 유발할 수 있다. 그리고, 누군가의 얼굴을 사용하여 가짜 영상을 만든 경우, 피해자에게 큰 정신적 고통을 줄 수도 있으며, 금전적 이득을 노릴 수도 있다. 따라서, 딥페이크 영상을 탐지해 위와 같은 악용을 예방하는 것이 필요하다.
도 4는 본 개시의 일 실시 예에 따른 비트스트림의 구문 요소를 이용한 딥페이크 탐지 방법을 설명하기 위한 도면이다. 도 4의 딥페이크 탐지 방법은 딥페이크 탐지 장치에 의해 수행될 수 있다. 여기서, 딥페이크 탐지 장치는 영상 복호화 장치이거나, 영상 복호화 장치의 일 부분일 수 있다. 또한, 딥페이크 탐지 장치는 영상 복호화 장치와 연결되는 별도의 장치일 수 있다.
도 4를 참고하면, 딥페이크 탐지 장치는 영상 부호화 장치 또는 스트리밍 서버로부터 영상의 비트스트림을 수신할 수 있다(S410).
그리고, 딥페이크 탐지 장치는 수신된 비트스트림으로부터 영상을 복호화하는데 이용되는 구문 요소(Syntax element)를 획득하고(S420), 획득된 구문 요소를 기초로 비신뢰도 측정값(unreliability measurement value)을 산출할 수 있다(S430).
그리고, 딥페이크 탐지 장치는 산출된 비신뢰도 측정값을 기초로 딥페이크를 탐지할 수 있다(S440).
여기서, 딥페이크 탐지를 위한 구문 요소는 양자화 파라미터(quantization parameter), 변환 계수(transformed coefficients), 비트율(bit rate), 인트라 예측 모드(intra prediction mode), 움직임 벡터(motion vector), 블록 벡터(block vector), 참조 프레임 인덱스 (reference frame index), 디블록킹 필터의 경계 강도 (boundary strength) 중 어느 하나일 수 있다.
본 개시의 일 실시 예에 따른 딥페이크 탐지를 위한 구문 요소가 양자화 파라미터인 경우, 현재 프레임내의 기 정해진 영역에 대한 양자화 파라미터들이 딥페이크 탐지에 이용될 수 있다. 여기서, 기 정해진 영역은 관심 영역 (region of interest, ROI) 또는 프레임 전체일 수 있다.
한편, 딥페이크 탐지를 위한 구문 요소가 양자화 파라미터인 경우, 비신뢰도 측정값은 기 정해진 영역내 양자화 파라미터들의 차이에 기초하여 산출될 수 있다. 구체적으로, 기 정해진 영역내의 양자화 파라미터들의 차이에 비례하여 비신뢰도 측정값이 산출될 수 있고, 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
예를 들어, 기 정해진 영역을 구성하는 N개의 블록들에 대한 양자화 파라미터 값들의 평균 값(average)과 기 정해진 영역에 포함된 일부 M개의 블록들의 양자화 파라미터 값들의 평균 값을 비교했을 때, 이 두 값의 차이에 기초하여 비신뢰도 측정값을 산출할 수 있다. 그리고, 산출된 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
한편, 비신뢰도 측정값을 산출할 때, 평균 값 외에 중앙 값(median), 최빈값, 최소값, 최대값 중 어느 하나가 사용될 수 있다. 여기서, M은 N보다 작은 정수일 수 있으며 M이 1인 경우 해당 블록에 대한 양자화 파라미터 값을 비교에 사용할 수 있다.
본 개시의 다른 실시 예에 따른 딥페이크 탐지를 위한 구문 요소가 양자화 파라미터인 경우, 수신한 영상 비트스트림으로부터 기 정해진 구간의 프레임들의 양자화 파라미터들 이 딥페이크 탐지에 이용될 수 있다. 여기서, 기 정해진 구간은 관심 프레임 구간(frame interval of interest, FOI) 또는 영상 프레임 전체일 수 있다.
한편, 딥페이크 탐지를 위한 구문 요소가 양자화 파라미터인 경우, 비신뢰도 측정값은 기 정해진 구간의 프레임들의 양자화 파라미터들의 차이에 기초하여 산출될 수 있다. 구체적으로, 기 정해진 구간내의 양자화 파라미터들의 차이에 비례하여 비신뢰도 측정값이 산출될 수 있고, 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
예를 들어, 기 정해진 구간을 구성하는 N개의 프레임들에 대한 양자화 파라미터 값들의 평균 값과 기 정해진 구간에 포함된 일부 M개의 프레임들의 양자화 파라미터 값들의 평균 값을 비교하고, 이 두 값의 차이에 기초하여 비신뢰도 측정값을 산출할 수 있다. 그리고, 산출된 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
한편, 비신뢰도 측정값을 산출할 때, 평균 값 외에 중앙 값, 최빈값, 최소값, 최대값 중 어느 하나가 사용될 수 있다. 여기서, M은 N보다 작은 정수일 수 있다.
본 개시의 일 실시 예에 따른 딥페이크 탐지를 위한 구문 요소가 비트율인 경우, 수신한 영상 비트스트림으로부터 기 정해진 구간의 프레임들의 비트율들 이 딥페이크 탐지에 이용될 수 있다. 여기서, 기 정해진 구간은 관심 프레임 구간 또는 영상 프레임 전체일 수 있다.
한편, 딥페이크 탐지를 위한 구문 요소가 비트율인 경우, 비신뢰도 측정값은 기 정해진 구간의 프레임들의 비트율들의 차이에 기초하여 산출될 수 있다. 구체적으로, 기 정해진 구간내의 비트율들의 차이에 비례하여 비신뢰도 측정값이 산출될 수 있고, 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
예를 들어, 기 정해진 구간을 구성하는 N개의 프레임들에 대한 비트율들의 평균 값과 기 정해진 구간에 포함된 일부 M개의 프레임들의 비트율들의 평균 값을 비교하고, 이 두 값의 차이에 기초하여 비신뢰도 측정값을 산출할 수 있다. 그리고, 산출된 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
한편, 비신뢰도 측정값을 산출할 때, 평균 값 외에 중앙 값, 최빈값, 최소값, 최대값 중 어느 하나가 사용될 수 있다. 여기서, M은 N보다 작은 정수일 수 있다.
본 개시의 일 실시 예에 따른 딥페이크 탐지를 위한 구문 요소가 움직임 벡터인 경우, 현재 프레임내의 기 정해진 영역에 대한 움직임 벡터들이 딥페이크 탐지에 이용될 수 있다. 여기서, 기 정해진 영역은 관심 또는 프레임 전체일 수 있다.
한편, 딥페이크 탐지를 위한 구문 요소가 움직임 벡터인 경우, 비신뢰도 측정값은 기 정해진 영역내 양자화 파라미터들의 차이에 기초하여 산출될 수 있다. 구체적으로, 기 정해진 영역내의 움직임 벡터들의 차이에 비례하여 비신뢰도 측정값이 산출될 수 있고, 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
예를 들어, 기 정해진 영역을 구성하는 N개의 블록들에 대한 움직임 벡터 값들의 평균 값(average)과 기 정해진 영역에 포함된 일부 M개의 블록들의 움직임 벡터 값들의 평균 값을 비교했을 때, 이 두 값의 차이에 기초하여 비신뢰도 측정값을 산출할 수 있다. 그리고, 산출된 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
한편, 비신뢰도 측정값을 산출할 때, 평균 값 외에 중앙 값(median), 최빈값, 최소값, 최대값 중 어느 하나가 사용될 수 있다. 여기서, M은 N보다 작은 정수일 수 있으며 M이 1인 경우 해당 블록에 대한 움직임 벡터 값을 비교에 사용할 수 있다. 이 때, x방향 움직임 벡터와 y방향 움직임 벡터를 각각 비교할 수 있다.
본 개시의 다른 실시 예에 따른 딥페이크 탐지를 위한 구문 요소가 움직임 벡터인 경우, 비신뢰도 측정값은 최소 블록 단위 또는 미리 정해진 크기의 블록 단위로 획득된 움직임 벡터에 기초하여 산출될 수 있다.
구체적으로, 비신뢰도 측정값은 기 정해진 영역내 움직임 벡터들과 이 영역의 co-located 영역(즉, 시간적으로 이웃하는 영역)의 움직임 벡터들의 차이에 기초하여 산출될 수 있다. 그리고, 산출된 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다. 예를 들어, 기 정해진 영역을 구성하는 블록들에 대한 움직임 벡터들의 평균 값과 이 블록들의 co-located 블록들의 움직임 벡터들의 평균 값을 비교했을 때 이 두 값의 차이에 기초하여 비신뢰도 측정값을 산출할 수 있다. 그리고, 산출된 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다. 한편, 비신뢰도 측정값을 산출할 때, 평균 값 외에 중앙 값(median), 최빈값, 최소값, 최대값 중 어느 하나가 사용될 수 있다. 이 때, x방향 움직임 벡터와 y방향 움직임 벡터를 각각 비교할 수 있다.
한편, 비신뢰도 측정값 산출시 움직임 벡터는 수학식 1 내지 수학식 4 중 어느 하나의 수학식에 의해 가공된 값이 이용될 수 있다.
그리고, 상기 움직임 벡터 실시 예는, 딥페이크 탐지를 위한 구문 요소가 블록 벡터인 경우에도 동일하게 적용될 수 있다.
수학식 1
min(mvx, mvy)
수학식 2
max(mvx, mvy)
수학식 3
mvx 2 _ mvy 2
수학식 4
|mvx| + |mvy|
한편, 움직임 벡터를 이용한 비신뢰도 측정값 산출 시 특정 블록크기 이하의 움직임 벡터들은 측정에서 제외시킬 수 있다(일 예로, 4x4 블록은 제외). 그 이유는 작은 크기의 블록 일수록 특정 객체의 전반적인 움직임의 흐름을 따르지 않고 노이즈와 같이 차이 값의 변동이 클 수 있기 때문이다.
본 개시의 일 실시 예에 딥페이크 탐지를 위한 구문 요소가 변환 계수인 경우, 현재 프레임내의 기 정해진 영역에 대한 변환 계수들이 딥페이크 탐지에 이용될 수 있다. 여기서, 기 정해진 영역은 관심 영역 또는 프레임 전체일 수 있고, 변환 계수는 변환 단위로 획득될 수 있다.
한편, 딥페이크 탐지를 위한 구문 요소가 변환 계수인 경우, 비신뢰도 측정값은 기 정해진 영역내 변환 계수들의 차이에 기초하여 산출될 수 있다. 구체적으로, 기 정해진 영역내의 변환 계수들의 차이에 비례하여 비신뢰도 측정값이 산출될 수 있고, 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
예를 들어, 기 정해진 영역을 구성하는 N개의 블록들에 대한 변환 계수 값들의 평균 값(average)과 기 정해진 영역에 포함된 일부 M개의 블록들의 변환 계수 값들의 평균 값을 비교했을 때, 이 두 값의 차이에 기초하여 비신뢰도 측정값을 산출할 수 있다. 그리고, 산출된 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
한편, 비신뢰도 측정값을 산출할 때, 평균 값 외에 중앙 값(median), 최빈값, 최소값, 최대값 중 어느 하나가 사용될 수 있다. 여기서, M은 N보다 작은 정수일 수 있으며 M이 1인 경우 해당 변환 블록에 대한 변환 계수 값을 비교에 사용할 수 있다.
본 개시의 다른 실시 예에 따른 딥페이크 탐지를 위한 구문 요소가 변환 계수인 경우, 비신뢰도 측정값은 각 프레임들에 대해 변환 블록 단위로 획득된 변환 계수에 기초하여 산출될 수 있다.
구체적으로, 비신뢰도 측정값은 기 정해진 영역을 구성하는 변환 블록들 내 특정 위치의 변환 계수들의 평균 값과 이 변환 블록들의 co-located 변환 블록들(즉, 시간적으로 이웃하는 변환 블록들)의 특정 위치의 변환 계수들의 평균 값의 차이에 기초하여 산출될 수 있다. 그리고, 산출된 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다. 한편, 비신뢰도 측정값을 산출할 때, 평균 값 외에 중앙 값(median), 최빈값, 최소값, 최대값 중 어느 하나가 사용될 수 있다. 이 때, x방향 움직임 벡터와 y방향 움직임 벡터를 각각 비교할 수 있다.
여기서, 변환 블록들의 변환 계수를 기반으로 비신뢰도를 측정할 때 인트라 블록, 인터 블록들은 서로 구분하여 비교를 할 수 있다. 인터 블록 대비 인트라 블록의 변화 계수의 절대값의 크기가 비교적 크기 때문에 두 예측 타입은 서로 분리하여 변환 계수들의 차이를 비교할 수 있다.
한편, 변환 블록의 특정 위치는 변환 계수의 스캔 순서(Scan order)에 기초하여 결정될 수 있다.
도 5는 변환 블록의 크기가 4x4이고, 변환 계수의 스캔 순서가 대각 스캔 순서(diagonal scan order)일 때, 변환 블록 내 특정 위치의 변환 계수의 예를 보여준다. 도 5를 참고하면, 6개의 고주파 변환 계수를 딥페이크 탐지에 사용하는 경우, 변환 블록의 우하단에 위치한 C15에서부터 대각 스캔 순서의 역순으로 6개의 변환 계수(C10~C15)를 사용할 수 있다.
도 6은 변환 블록의 크기가 4x4이고, 변환 계수의 스캔 순서가 수평 스캔 순서(horizontal scan order)일 때, 변환 블록 내 특정 위치의 변환 계수의 예를 보여준다. 도 6을 참고하면, 6개의 고주파 변환 계수를 딥페이크 탐지에 사용하는 경우, 변환 블록의 우하단에 위치한 C15에서부터 수평 스캔 순서의 역순으로 6개의 변환 계수(C10~C15)를 사용할 수 있다.
본 개시의 일 실시 예에 따른 딥페이크 탐지를 위한 구문 요소가 참조 프레임 인덱스인 경우, 현재 프레임내의 기 정해진 영역에 대한 참조 프레임 인덱스들이 딥페이크 탐지에 이용될 수 있다. 여기서, 기 정해진 영역은 관심 영역 또는 프레임 전체일 수 있고, 참조 프레임 인덱스는 최소 블록 단위 또는 미리 정해진 크기의 블록 단위로 획득될 수 있다.
한편, 딥페이크 탐지를 위한 구문 요소가 참조 프레임 인덱스인 경우, 비신뢰도 측정값은 기 정해진 영역내 참조 프레임 인덱스들의 차이에 기초하여 산출될 수 있다. 구체적으로, 기 정해진 영역내의 참조 프레임 인덱스들의 차이에 비례하여 비신뢰도 측정값이 산출될 수 있고, 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
예를 들어, 기 정해진 영역을 구성하는 N개의 블록들에 대한 참조 프레임 인덱스들의 평균 값(average)과 기 정해진 영역에 포함된 일부 M개의 블록들의 참조 프레임 인덱스들의 평균 값을 비교했을 때, 이 두 값의 차이에 기초하여 비신뢰도 측정값을 산출할 수 있다. 그리고, 산출된 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
한편, 비신뢰도 측정값을 산출할 때, 평균 값 외에 중앙 값(median), 최빈값, 최소값, 최대값 중 어느 하나가 사용될 수 있다. 여기서, M은 N보다 작은 정수일 수 있으며 M이 1인 경우 해당 블록에 대한 참조 프레임 인덱스를 비교에 사용할 수 있다.
이 때, 참조 방향을 나타내는 구문요소를 함께 고려해, 동일한 참조 방향일 때에만 참조 프레임 인덱스를 비교할 수 있다. 양방향 예측인 경우 L0 방향의 참조 프레임 인덱스와 L1 방향의 참조 프레임 인덱스를 각각 비교할 수 있다. 여기서, L0는 재생 순서 상 현재 픽처 이전인 참조 픽처들의 리스트, L1는 재생 순서 상 현재 픽처 이후인 참조 픽처들의 리스트를 의미한다.
본 개시의 일 실시 예에 따른 딥페이크 탐지를 위한 구문 요소가 디블록킹 필터의 경계 강도인 경우, 현재 프레임내의 기 정해진 영역에 대한 디블록킹 필터의 경계 강도들이 딥페이크 탐지에 이용될 수 있다. 여기서, 기 정해진 영역은 관심 영역 또는 프레임 전체일 수 있고, 디블록킹 필터의 경계 강도는 최소 블록 단위 또는 미리 정해진 크기의 블록 단위로 획득될 수 있다.
한편, 딥페이크 탐지를 위한 구문 요소가 디블록킹 필터의 경계 강도인 경우, 비신뢰도 측정값은 기 정해진 영역내 디블록킹 필터의 경계 강도들의 차이에 기초하여 산출될 수 있다. 구체적으로, 기 정해진 영역내의 디블록킹 필터의 경계 강도들의 차이에 비례하여 비신뢰도 측정값이 산출될 수 있고, 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
예를 들어, 기 정해진 영역을 구성하는 N개의 블록들에 대한 디블록킹 필터의 경계 강도들의 평균 값(average)과 기 정해진 영역에 포함된 일부 M개의 블록들의 디블록킹 필터의 경계 강도들의 평균 값을 비교했을 때, 이 두 값의 차이에 기초하여 비신뢰도 측정값을 산출할 수 있다. 그리고, 산출된 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다.
한편, 비신뢰도 측정값을 산출할 때, 평균 값 외에 중앙 값(median), 최빈값, 최소값, 최대값 중 어느 하나가 사용될 수 있다. 여기서, M은 N보다 작은 정수일 수 있으며 M이 1인 경우 해당 블록에 대한 디블록킹 필터의 경계 강도를 비교에 사용할 수 있다.
본 개시의 다른 실시 예에 따른 딥페이크 탐지를 위한 구문 요소가 디블록킹 필터의 경계 강도인 경우, 비신뢰도 측정값은 최소 블록 단위 또는 미리 정해진 크기의 블록 단위로 획득된 디블록킹 필터의 경계 강도에 기초하여 산출될 수 있다.
구체적으로, 비신뢰도 측정값은 기 정해진 영역내 디블록킹 필터의 경계 강도들과 이 영역의 co-located 영역(즉, 시간적으로 이웃하는 영역)의 디블록킹 필터의 경계 강도들의 차이에 기초하여 산출될 수 있다. 그리고, 산출된 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다. 예를 들어, 기 정해진 영역을 구성하는 블록들에 대한 디블록킹 필터의 경계 강도들의 평균 값과 이 블록들의 co-located 블록들의 디블록킹 필터의 경계 강도들의 평균 값을 비교했을 때 이 두 값의 차이에 기초하여 비신뢰도 측정값을 산출할 수 있다. 그리고, 산출된 비신뢰도 측정값이 소정의 값 이상인 경우, 현재 영상은 딥페이크 영상으로 판단될 수 있다. 한편, 비신뢰도 측정값을 산출할 때, 평균 값 외에 중앙 값(median), 최빈값, 최소값, 최대값 중 어느 하나가 사용될 수 있다.
본 개시의 일 실시 예에 따른 딥페이크 탐지 방법은 하나의 구문 요소가 아닌 복수의 구문 요소를 이용할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 복수의 구문 요소를 이용한 딥페이크 탐지 방법을 설명하기 위한 도면이다.
도 7을 참고하면, 딥페이크 탐지 장치는 영상 부호화 장치 또는 스트리밍 서버로부터 영상의 비트스트림을 수신할 수 있다(S710).
그리고, 딥페이크 탐지 장치는 수신된 비트스트림으로부터 영상을 복호화하는데 이용되는 제1 구문 요소 및 제2 구문 요소를 획득하고(S720), 획득된 제1 구문 요소를 기초로 제1 비신뢰도 측정값을 산출하고 제2 구문 요소를 기초로 제2 비신뢰도 측정값을 산출할 수 있다(S730).
그리고, 딥페이크 탐지 장치는 산출된 제1 비신뢰도 측정값 및 제2 비신뢰도 측정값을 기초로 딥페이크를 탐지할 수 있다(S740).
도 7에서는 제1 구문 요소 및 제2 구문 요소를 이용하는 실시 예를 설명하였으나, X개의 구문 요소를 이용할 수 있다. 여기서, X는 2 이상의 정수일 수 있다.
한편, 복수의 구문 요소를 이용하여 딥페이크 탐지하는 경우, 기정해진 순서에 따라 복수의 구문요소를 이용하여 딥페이크가 탐지될 수 있다.
일 예로, 딥페이크 탐지 장치는 제1 구문요소를 이용해 제1 비신뢰도 측정값을 산출하고, 산출한 제1 비신뢰도 측정값에 기초해 딥페이크 여부를 탐지할 수 있다. 딥페이크 탐지 장치는 딥페이크 영상으로 판별되면 탐지를 종료하고, 딥페이크 영상으로 판별되지 않은 경우 탐지 과정을 계속한다. 다음, 딥페이크 탐지 장치는 획득한 제2 구문요소를 이용해 제2 비신뢰도 측정값을 산출하고, 산출한 제2 비신뢰도 측정값에 기초해 딥페이크 여부를 탐지할 수 있다. 딥페이크 탐지 장치는 딥페이크 영상으로 판별되면 탐지를 종료하고, 딥페이크 영상으로 판별되지 않은 경우 탐지 과정을 계속한다. 이 과정을 제X 비신뢰도 측정값을 이용한 탐지 단계까지 탐지 과정을 계속할 수 있다.
본 개시의 일 실시 예에 따른 딥페이크 탐지 방법은 복수의 비신뢰도 측정값을 가중합하여 산출되는 비신뢰도 점수(unreliability score)를 이용할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 비신뢰도 점수를 이용한 딥페이크 탐지 방법을 설명하기 위한 도면이다.
도 8을 참고하면, 딥페이크 탐지 장치는 영상 부호화 장치 또는 스트리밍 서버로부터 영상의 비트스트림을 수신할 수 있다(S810).
그리고, 딥페이크 탐지 장치는 수신된 비트스트림으로부터 영상을 복호화하는데 이용되는 제1 구문 요소 및 제2 구문 요소를 획득하고(S820), 획득된 제1 구문 요소를 기초로 제1 비신뢰도 측정값을 산출하고 제2 구문 요소를 기초로 제2 비신뢰도 측정값을 산출할 수 있다(S830).
그리고, 딥페이크 탐지 장치는 산출된 제1 비신뢰도 측정값 및 제2 비신뢰도 측정값을 가중합하여 비신뢰도 점수를 산출할 수 있다(S840). 여기서, 가중합의 가중치는 딥페이크 탐지 장치에 기설정된 가중치일 수 있다.
그리고, 딥페이크 탐지 장치는 산출된 비신뢰도 점수를 기초로 딥페이크를 탐지할 수 있다(S850).
도 8에서는 제1 구문 요소 및 제2 구문 요소를 이용하는 실시 예를 설명하였으나, Y개의 구문 요소를 이용할 수 있다. 여기서, Y는 2 이상의 정수일 수 있다.
수학식 5와 같이 기설정된 가중치(w1, w2 …, wY)를 비신뢰도 측정값에 적용하여 영상의 비신뢰도 점수(URScore)를 산출할 수 있다.
수학식 5
URScore = w1*x1 + w2*x2 + … + wY*xY
본 개시의 일 실시 예에 따른 딥페이크 탐지 방법은 복수의 비신뢰도 측정값을 정규화하여 산출되는 비신뢰도 점수(unreliability score)를 이용할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 정규화된 비신뢰도 측정값에 기초한 딥페이크 탐지 방법을 설명하기 위한 도면이다.
도 9를 참고하면, 딥페이크 탐지 장치는 영상 부호화 장치 또는 스트리밍 서버로부터 영상의 비트스트림을 수신할 수 있다(S910).
그리고, 딥페이크 탐지 장치는 수신된 비트스트림으로부터 영상을 복호화하는데 이용되는 제1 구문 요소 및 제2 구문 요소를 획득하고(S920), 획득된 제1 구문 요소를 기초로 제1 비신뢰도 측정값을 산출하고 제2 구문 요소를 기초로 제2 비신뢰도 측정값을 산출할 수 있다(S930).
그리고, 딥페이크 탐지 장치는 산출된 제1 비신뢰도 측정값 및 제2 비신뢰도 측정값을 정규화할 수 있다(S940).
그리고, 딥페이크 탐지 장치는 정규화된 제1 비신뢰도 측정값 및 제2 비신뢰도 측정값을 가중합하여 비신뢰도 점수를 산출할 수 있다(S950). 여기서, 가중합의 가중치는 딥페이크 탐지 장치에 기설정된 가중치일 수 있다.
그리고, 딥페이크 탐지 장치는 산출된 비신뢰도 점수를 기초로 딥페이크를 탐지할 수 있다(S960).
도 9에서는 제1 구문 요소 및 제2 구문 요소를 이용하는 실시 예를 설명하였으나, Z개의 구문 요소를 이용할 수 있다. 여기서, Z는 2 이상의 정수일 수 있다.
본 개시의 일 실시 예에 따른 딥페이크 탐지 방법은 관심 영역(ROI)의 구문 요소를 이용할 수 있다.
여기서, 관심 영역은 사전에 지정되거나, 또는 관심 영역을 결정하는 과정이 추가되어 수행될 수 있다.
일 예로, 영상 복호화를 수행하며 기 정의된 값 이상의 움직임 벡터가 존재하는 영역 또는/및 기 정의된 값 이상의 변환 계수가 존재하는 영역을 관심 영역으로 결정될 수 있다.
다른 예로, 복호화된 영상에 객체 탐지(object detection)를 수행하여 관심 영역이 결정되고, 그 이후에 딥페이크 탐지 방법이 수행될 수 있다. 객체 탐지는 얼굴 영역을 대상으로 수행될 수 있다.
본 개시의 일 실시 예에 따른 딥페이크 탐지 방법은 비트스트림의 구문 요소 정보 외에도 영상의 공간 영역 정보를 더 이용할 수 있다. 여기서, 공간 영역 정보란, 영상의 공간 영역에서 얻을 수 있는 정보로서, 조명 변화 정도, 선예도(sharpness), 대비(contrast), 깜빡임 정도(flickering) 등을 포함할 수 있다.
딥페이크 탐지 장치는 앞에서 설명한 실시예에 따라 비신뢰도 측정값을 산출하는 동시에 획득한 복호화된 영상을 통해 다수의 공간 영역 정보를 획득하고, 비신뢰도 측정값과 공간 영역 정보들에 미리 설정된 가중치를 적용하여 영상의 비신뢰도 점수를 산출할 수 있다. 이 경우에도, 비신뢰도 점수 산출에 앞서 각 비신뢰도 측정값들과 공간 영역 정보들을 정규화하여 이용할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 딥페이크 탐지 방법을 설명하기 위한 흐름도이다. 도 10의 딥페이크 탐지 방법은 딥페이크 탐지 장치에 의해 수행될 수 있다.
도 10을 참고하면, 딥페이크 탐지 장치는 영상 부호화 장치 또는 스트리밍 서버로부터 영상의 비트스트림을 수신할 수 있다(S1010).
그리고, 딥페이크 탐지 장치는 수신된 비트스트림으로부터 구문 정보를 획득할 수 있다(S1020). 여기서, 상기 구문 정보는 양자화 파라미터, 변환 계수, 비트율, 움직임 벡터, 참조 픽처 인덱스 또는 디블록킹 필터의 경계 강도 중 적어도 하나일 수 있다.
한편, 딥페이크 탐지 장치는 현재 픽처 내의 관심 영역의 구문 정보를 획득할 수 있다.
일 실시 예에 따른 관심 영역은, 기 정의된 값 이상의 움직임 벡터가 존재하는 영역으로 결정될 수 있다.
다른 실시 예에 따른 관심 영역은, 기 정의된 값 이상의 변환 계수가 존재하는 영역으로 결정될 수 있다.
또 다른 실시 예에 따른 관심 영역은, 객체 탐지에 기초하여 결정될 수 있다.
그리고, 딥페이크 탐지 장치는 획득된 구문 정보를 기초로 비신뢰도 측정값을 산출할 수 있다(S1030).
그리고, 딥페이크 탐지 장치는 산출된 비신뢰도 측정값을 기초로 영상의 딥페이크 여부를 판단할 수 있다(S1040).
상기 영상의 딥페이크 여부는, 복수의 구문 정보에 기초하여 산출된 복수의 비신뢰도 측정값에 기초하여 판단될 수 있다. 이 경우, 상기 영상의 딥페이크 여부는, 복수의 비신뢰도 측정값 각각에 가중치를 적용하여 유도된 비신뢰도 점수에 기초하여 판단될 수 있다. 여기서, 상기 비신뢰도 점수는, 상기 복수의 비신뢰도 측정값 각각을 정규화하고 상기 가중치를 적용하여 유도될 수 있다.
한편, 상기 영상의 딥페이크 여부는, 상기 비신뢰도 측정값 및 공간 영역 정보에 기초하여 판단될 수 있다. 이 경우, 상기 영상의 딥페이크 여부는, 상기 비신뢰도 측정값 및 상기 공간 영역 정보 각각에 가중치를 적용하여 유도된 비신뢰도 점수에 기초하여 판단될 수 있다. 여기서. 상기 공간 영역 정보는, 조명 변화 정보, 선예도 정보, 대비 정보 또는 깜빡임 정보 중 적어도 하나일 수 있다.
도 11은 본 개시의 일 실시 예에 따른 딥페이크 탐지 장치를 설명하기 위한 블록도이다.
도 11을 참고하면, 딥페이크 탐지 장치(1100)는 수신부(1110) 및 탐지부(1120)를 포함할 수 있다.
수신부(1110)는 영상의 비트스트림을 수신할 수 있다.
그리고, 탐지부(1120)는 비트스트림으로부터 구문 정보를 획득하고, 상기 구문 정보를 기초로 비신뢰도 측정값을 산출하고, 상기 비신뢰도 측정값을 기초로 상기 영상의 딥페이크 여부를 판단할 수 있다. 여기서, 구문 정보는 양자화 파라미터, 변환 계수, 비트율, 움직임 벡터, 참조 픽처 인덱스 또는 디블록킹 필터 경계 강도 중 적어도 하나일 수 있다.
딥페이크 탐지 장치(1100)는 도 2의 복호화 장치(200)에 포함되는 일 부분일 수 있다.
또는, 딥페이크 탐지 장치(1100)는 도 3의 복호화 장치(20)에 포함될 수 있다. 구체적으로, 도 3의 수신부(21)은 딥페이크 탐지 장치(1100)의 수신부(1110)과 동일한 구성이며, 딥페이크 탐지 장치(1100)의 탐지부(1120)는 도 3의 복호화부(22)에 별도로 연결되어 구성될 수 있다.
도 12은 본 개시에 따른 실시예가 적용될 수 있는 컨텐츠 스트리밍 시스템을 예시적으로 나타내는 도면이다.
도 12에 도시된 바와 같이, 본 개시의 실시예가 적용된 컨텐츠 스트리밍 시스템은 크게 인코딩 서버, 스트리밍 서버, 웹 서버, 미디어 저장소, 사용자 장치 및 멀티미디어 입력 장치를 포함할 수 있다.
상기 인코딩 서버는 스마트폰, 카메라, CCTV 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 상기 스트리밍 서버로 전송하는 역할을 한다. 다른 예로, 스마트폰, 카메라, CCTV 등과 같은 멀티미디어 입력 장치들이 비트스트림을 직접 생성하는 경우, 상기 인코딩 서버는 생략될 수도 있다.
상기 비트스트림은 영상 부호화 방법 및/또는 영상 부호화 장치에 의해 생성될 수 있고, 상기 스트리밍 서버는 상기 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 상기 비트스트림을 저장할 수 있다.
상기 스트리밍 서버는 웹 서버를 통한 사용자 요청에 기반하여 멀티미디어 데이터를 사용자 장치에 전송하고, 상기 웹 서버는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 할 수 있다. 사용자가 상기 웹 서버에 원하는 서비스를 요청하면, 상기 웹 서버는 이를 스트리밍 서버에 전달하고, 상기 스트리밍 서버는 사용자에게 멀티미디어 데이터를 전송할 수 있다. 이때, 상기 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 상기 제어 서버는 상기 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 수행할 수 있다.
상기 스트리밍 서버는 미디어 저장소 및/또는 인코딩 서버로부터 컨텐츠를 수신할 수 있다. 예를 들어, 상기 인코딩 서버로부터 컨텐츠를 수신하는 경우, 상기 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 상기 스트리밍 서버는 상기 비트스트림을 일정 시간동안 저장할 수 있다.
상기 사용자 장치의 예로는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등이 있을 수 있다.
상기 컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.
상기 실시예들 중 적어도 하나 혹은 적어도 하나의 조합을 이용해서 영상의 딥페이크 여부를 탐지할 수 있다.
상기 실시예들은 휘도 및 색차 신호 각각에 대하여 수행될 수 있다. 또는, 휘도 및 색차 신호에 대한 상기 실시예들이 동일하게 수행될 수 있다.
상기 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 개시는 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 개시의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상기 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
상기 실시예에 따른 부호화 방법에 의해 생성된 비트스트림은 비 일시적인 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다. 또한, 상기 비 일시적인 컴퓨터 판독 가능한 기록 매체에 저장되는 비트스트림은 상기 실시예에 따른 복호화 방법에 의해 복호화될 수 있다.
여기서, 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 개시에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 개시가 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 개시의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 개시가 상기 실시예들에 한정되는 것은 아니며, 본 개시가 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 개시의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 개시의 사상의 범주에 속한다고 할 것이다.
본 발명은 영상을 부호화/복호화하는 장치, 딥페이크 탐지 장치 및 비트스트림을 저장한 기록 매체에 이용될 수 있다.

Claims (12)

  1. 영상의 비트스트림을 수신하는 단계;
    상기 비트스트림으로부터 구문 정보를 획득하는 단계;
    상기 구문 정보를 기초로 비신뢰도 측정값을 산출하는 단계; 및
    상기 비신뢰도 측정값을 기초로 상기 영상의 딥페이크 여부를 판단하는 단계를 포함하고,
    상기 구문 정보는 양자화 파라미터, 변환 계수, 비트율, 움직임 벡터, 참조 픽처 인덱스 또는 디블록킹 필터의 경계 강도 중 적어도 하나인 것을 특징으로 하는 딥페이크 탐지 방법.
  2. 제1항에 있어서,
    상기 구문 정보를 획득하는 단계는, 현재 픽처 내의 관심 영역의 구문 정보를 획득하는 것을 특징으로 하는 딥페이크 탐지 방법.
  3. 제2항에 있어서,
    상기 관심 영역은, 기 정의된 값 이상의 움직임 벡터가 존재하는 영역으로 결정되는 것을 특징으로 하는 딥페이크 탐지 방법.
  4. 제2항에 있어서,
    상기 관심 영역은, 기 정의된 값 이상의 변환 계수가 존재하는 영역으로 결정되는 것을 특징으로 하는 딥페이크 탐지 방법.
  5. 제2항에 있어서,
    상기 관심 영역은, 객체 탐지에 기초하여 결정되는 것을 특징으로 하는 딥페이크 탐지 방법.
  6. 제1항에 있어서,
    상기 영상의 딥페이크 여부는, 복수의 구문 정보에 기초하여 산출된 복수의 비신뢰도 측정값에 기초하여 판단되는 것을 특징으로 하는 딥페이크 탐지 방법.
  7. 제6항에 있어서,
    상기 영상의 딥페이크 여부는, 복수의 비신뢰도 측정값 각각에 가중치를 적용하여 유도된 비신뢰도 점수에 기초하여 판단되는 것을 특징으로 하는 딥페이크 탐지 방법.
  8. 제7항에 있어서,
    상기 비신뢰도 점수는, 상기 복수의 비신뢰도 측정값 각각을 정규화하고 상기 가중치를 적용하여 유도되는 것을 특징으로 하는 딥페이크 탐지 방법.
  9. 제1항에 있어서,
    상기 영상의 딥페이크 여부는, 상기 비신뢰도 측정값 및 공간 영역 정보에 기초하여 판단되는 것을 특징으로 하는 딥페이크 탐지 방법.
  10. 제9항에 있어서,
    상기 공간 영역 정보는, 조명 변화 정보, 선예도 정보, 대비 정보 또는 깜빡임 정보 중 적어도 하나인 것을 특징으로 하는 딥페이크 탐지 방법.
  11. 제9항에 있어서,
    상기 영상의 딥페이크 여부는, 상기 비신뢰도 측정값 및 상기 공간 영역 정보 각각에 가중치를 적용하여 유도된 비신뢰도 점수에 기초하여 판단되는 것을 특징으로 하는 딥페이크 탐지 방법.
  12. 영상의 비트스트림을 수신하는 수신부; 및
    상기 비트스트림으로부터 구문 정보를 획득하고,
    상기 구문 정보를 기초로 비신뢰도 측정값을 산출하고,
    상기 비신뢰도 측정값을 기초로 상기 영상의 딥페이크 여부를 판단하는 탐지부를 포함하고,
    상기 구문 정보는 양자화 파라미터, 변환 계수, 비트율, 움직임 벡터, 참조 픽처 인덱스 또는 디블록킹 필터 경계 강도 중 적어도 하나인 것을 특징으로 하는 딥페이크 탐지 장치.
PCT/KR2025/006891 2024-06-26 2025-05-21 딥페이크 탐지 방법 및 장치 Pending WO2026005289A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20240083720 2024-06-26
KR10-2024-0083720 2024-06-26

Publications (1)

Publication Number Publication Date
WO2026005289A1 true WO2026005289A1 (ko) 2026-01-02

Family

ID=98222380

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/006891 Pending WO2026005289A1 (ko) 2024-06-26 2025-05-21 딥페이크 탐지 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2026005289A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102138142B1 (ko) * 2018-05-18 2020-07-30 대한민국 인코딩 파라미터 예측을 통한 동영상 위변조 검출 방법
KR102463353B1 (ko) * 2020-05-21 2022-11-07 경일대학교산학협력단 페이크 얼굴 검출 장치 및 검출 방법
KR20220159104A (ko) * 2021-05-25 2022-12-02 삼성에스디에스 주식회사 딥페이크 이미지 판별 장치 및 그 학습 방법
KR20230114693A (ko) * 2022-01-25 2023-08-01 주식회사 아틴스 영상 분석 방법 및 장치
KR20240016026A (ko) * 2022-07-28 2024-02-06 동국대학교 산학협력단 생성적 적대 신경망 기반 위조 이미지를 이용한 위조 공격 판별 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102138142B1 (ko) * 2018-05-18 2020-07-30 대한민국 인코딩 파라미터 예측을 통한 동영상 위변조 검출 방법
KR102463353B1 (ko) * 2020-05-21 2022-11-07 경일대학교산학협력단 페이크 얼굴 검출 장치 및 검출 방법
KR20220159104A (ko) * 2021-05-25 2022-12-02 삼성에스디에스 주식회사 딥페이크 이미지 판별 장치 및 그 학습 방법
KR20230114693A (ko) * 2022-01-25 2023-08-01 주식회사 아틴스 영상 분석 방법 및 장치
KR20240016026A (ko) * 2022-07-28 2024-02-06 동국대학교 산학협력단 생성적 적대 신경망 기반 위조 이미지를 이용한 위조 공격 판별 장치 및 방법

Similar Documents

Publication Publication Date Title
WO2019235822A1 (ko) 어파인 움직임 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2023200206A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024053963A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2023239147A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2023200214A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2026005289A1 (ko) 딥페이크 탐지 방법 및 장치
WO2019231256A1 (ko) 어파인 움직임 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2026054290A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2026054352A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2025178381A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2025178438A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024248598A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024210624A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2025048441A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2025042121A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2026019034A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2025084770A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2026005570A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024144118A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024191219A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024147600A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2026063623A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024191221A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024181820A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2025029091A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25827153

Country of ref document: EP

Kind code of ref document: A1