WO2018199459A1 - 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법 - Google Patents

압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법 Download PDF

Info

Publication number
WO2018199459A1
WO2018199459A1 PCT/KR2018/002470 KR2018002470W WO2018199459A1 WO 2018199459 A1 WO2018199459 A1 WO 2018199459A1 KR 2018002470 W KR2018002470 W KR 2018002470W WO 2018199459 A1 WO2018199459 A1 WO 2018199459A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
machine learning
learning algorithm
reconstructed
Prior art date
Application number
PCT/KR2018/002470
Other languages
English (en)
French (fr)
Inventor
강현인
강지홍
Original Assignee
강현인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강현인 filed Critical 강현인
Publication of WO2018199459A1 publication Critical patent/WO2018199459A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to a machine learning algorithm for image reconstruction using compression parameters and an image reconstruction method using the same. Specifically, the present invention reconstructs an image by using compression information during image encoding and decoding, and simultaneously machine learning. It is to provide a machine learning algorithm that can improve the image resilience and compression rate by being configured to learn and derive the optimal reconstruction method corresponding to the compressed information through the self and to provide an image reconstruction method using the same.
  • compression standards include JPEG, H.264, MPEG2, and HEVC.
  • the image is divided into blocks of a certain size, and then quantized and predicted by each block. Compress the data through.
  • an image filter should be applied with optimal parameter values according to various conditions such as compression method, block size and quantity, and set values.
  • various conditions such as compression method, block size and quantity, and set values.
  • a reconstructed image is conventionally used.
  • the quality of the falling has a structural limit.
  • 1 is a block diagram illustrating a decoding structure diagram of H. 264.
  • the H. 264 (100) of FIG. 1 processes data in units of macroblocks having a width of 16 ⁇ 16 pixels, and receives a bitstream and decodes the data in an intra mode or an inter mode. The reconstructed image is output.
  • the switch In the intra mode, the switch is switched to intra, and in the inter mode, the switch is switched to inter.
  • the main flow of the decoding process is to first generate a prediction block, and then decode the input bitstream to add a block and a prediction block to generate a reconstructed block.
  • generation of the prediction block of the H.264 100 is performed according to the intra mode and the inter mode.
  • the H.264 100 In the intra mode, the H.264 100 generates a prediction block by performing spatial prediction using the neighboring pixel values of the current block in the intra prediction process, and uses the motion vector in the inter mode.
  • a prediction block is generated by searching for an area in the reference picture stored in the reference picture buffer and performing motion compensation.
  • the input bitstream is subjected to entropy decoding according to a probability distribution to output quantized coefficients, and an inverse quantization process and an inverse transform are performed on the quantized coefficients to be reconstructed through a predictive image and an adder.
  • a blocking phenomenon is removed through a deblocking filter and then stored in a reference picture buffer.
  • the deblocking filter applied to remove the blocking artifact performs the image reconstruction using only a small number of preset parameters, various conditions of compression and deteriorated image are performed. It has a structural limitation that does not correspond to its characteristics.
  • the present invention has been made to solve such a problem, and the problem of the present invention is to use the machine learning algorithm which aims to restore the original image, which is the image before compression is degraded by compression information and deteriorated image as input data.
  • Machine learning algorithm and image restoration method that can significantly improve image reconstruction power by applying the compressed information input to the trained model when reconstructing the image. It is to provide.
  • Another problem of the present invention is to construct a loss function, which is a function for obtaining a difference value between the reconstructed image and the original image during learning, in units of blocks according to the size of the block, the inter / intra prediction mode of the block, the quantization parameter, and the like.
  • Another object of the present invention is to provide a machine learning algorithm capable of precisely restoring an image on a specific region by assigning different weights and an image restoring method using the same.
  • another object of the present invention is to be applied to the image encoding step in consideration of the characteristic that the image quality of the reconstructed image is improved by the machine learning algorithm, so that the reconstructed image of the improved image quality is used for prediction of the adjacent frame image during image encoding. Therefore, it is to provide a machine learning algorithm that can increase the compression rate and an image restoration method using the same.
  • an image restoration method for restoring an image deteriorated by image compression.
  • the image restoration method may include compression information using a predetermined machine learning algorithm, A training step of deriving an optimal set of machine learning parameter values for improving image quality from the deteriorated image and the original image; And an inference step of restoring image quality by applying a set of parameter values determined in the learning step by using the deteriorated image and the compressed information reconstructed in the process of decoding from the compressed data as input values of the machine learning algorithm.
  • the machine learning algorithm has applied a loss function for reducing the difference calculated after calculating the difference between the deteriorated image and the original image
  • the object function is an image in the compressed information It is preferable to calculate a difference value after assigning different weights according to at least one or more information among image segmentation information, quantization parameter, intra prediction information, and inter prediction information which are units of coding.
  • the objective function is preferably defined by Equation 1 below.
  • L objective function
  • w image width
  • h image height
  • D degraded image
  • G original image
  • Mi matrix of image sizes with values of '0' or '1'
  • Wi weight
  • the machine learning algorithm is applied to a video encoder that is used as a compression standard of H.262, HEVC, and the like. It is preferable to replace any one so that the reconstructed image is used for prediction of the adjacent frame image.
  • the machine learning algorithm is applied to an image encoder to be used as post-processing of an image reconstructed in a predetermined manner so that the reconstructed image is used for prediction of an adjacent frame image.
  • the image encoder may include image segmentation information, which is structural information of a block that is a unit for encoding an image, and intra prediction information determined in units of blocks in an intra prediction mode, and an inter prediction mode ( It is preferable to extract compressed information including at least one of motion vector information determined in an inter prediction mode and quantization parameter information for generating quantization parameter information applied during quantization.
  • the present invention having the above-mentioned problems and solving means, by using the compressed information and deteriorated image as input data, by using a machine learning algorithm aiming to restore the original image, by learning the optimal model corresponding to various compressed information It is configured to derive the image reconstruction power and compression ratio can be significantly improved by applying the optimal model corresponding to the compressed information when the image is reconstructed.
  • a loss function that is a function for obtaining a difference value between a reconstructed image and an original image during learning
  • different weights are provided in units of blocks according to the size of the block, inter / intra prediction mode of the block, quantization parameter, and the like.
  • the present invention is configured to be applied to the image encoding step in consideration of the characteristic that the image quality of the reconstructed image is improved by the machine learning algorithm. It can increase.
  • 1 is a block diagram illustrating a decoding structure diagram of H. 264.
  • FIG. 2 is a block diagram illustrating a typical video encoding apparatus for explaining the present invention.
  • FIG. 3 is a block diagram illustrating a process of extracting compressed information by the subtractor of FIG. 2.
  • FIG. 4 is a flowchart showing an image restoration method according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram for describing formatting of block structure information (CU) which is one of image segmentation information of HEVC among the image segmentation information in the learning step of FIG. 4, wherein (a) is obtained by dividing an input image into block sizes.
  • (B) is an illustration which shows the image which marked the specific value on the boundary surface of the image of (a).
  • FIG. 6 (a) is an exemplary diagram showing an input image divided into blocks according to CU information, and (b) shows a weight '1' in an area divided into 32 ⁇ 32 blocks in the image of (a) by the objective function.
  • (C) is an exemplary diagram showing when the weight '1' is assigned to an area divided into 32 ⁇ 32 blocks in the image of (a) by the objective function,
  • (d) ) Is an exemplary diagram showing when a weight '1' is assigned to an area divided into 32 ⁇ 32 blocks in the image of (a) by the objective function.
  • FIG. 7 is an exemplary diagram showing an original image
  • (b) is an exemplary diagram showing an image degraded during image compression
  • (c) is a deblocking filter of a known HEVC and an image reconstructed by SAO.
  • (D) is an illustration showing an image reconstructed by the present invention.
  • FIG. 2 is a block diagram illustrating a typical video encoding apparatus for explaining the present invention.
  • the image encoding apparatus 200 needs to be decoded and stored in order to be used as a reference image by performing inter prediction encoding, that is, inter-frame prediction encoding.
  • the quantized coefficients are inversely quantized by the inverse quantizer 260 and inversely transformed by the inverse transformer 270.
  • the inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 275, and a reconstruction block is generated.
  • the reconstruction block passes through the filter unit 280, and the filter unit 280 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstruction block or the reconstruction picture.
  • a deblocking filter e.g., a sample adaptive offset (SAO), and an adaptive loop filter (ALF)
  • SAO sample adaptive offset
  • ALF adaptive loop filter
  • the filter unit 280 may be called an adaptive in-loop filter.
  • the deblocking filter may remove block distortion or blocking artifacts generated at the boundary between blocks.
  • the subtractor 225, the transformer 235, and the quantizer 245 compress an image by detecting a difference value due to a difference between an input block and a generated prediction block, and then quantizing and storing the detected difference value.
  • compressed information (information on a difference value and a difference value) is stored in a stream in which the compressed image is stored.
  • FIG. 3 is a block diagram illustrating a process of extracting compressed information by the subtractor of FIG. 2.
  • the subtractor 225 extracts the compressed information through the compressed information extraction step (S220).
  • the compressed information extracting step S220 includes an image segmentation information extracting step 2210, an intra prediction information extracting step S2220, an inter prediction information extracting step S2230, and a quantization parameter information extracting step ( S2230) at least one or more.
  • the image segmentation information extraction step S2210 extracts the image segmentation information that is the structure information of the block which is the unit for encoding the image during the image compression by the compression step S210.
  • the image segmentation information includes a coding unit (CU), a prediction unit (PU), and a transform unit (TU) information.
  • the known image encoder 200 encodes an image in units of blocks during image compression, a blocking artifact occurs on the boundary of the block during the compression process. Accordingly, in the present invention, the image segmentation information, which is the structure information of the block, is extracted in consideration of the characteristics indicating the position of the boundary surfaces of the blocks. The image segmentation information may be utilized when the image is restored by the restoration method S1.
  • the intra prediction information extraction step (S2220) is a step of extracting the intra prediction information determined in each image segmentation information unit in the intra prediction mode in the compression step S210.
  • the inter prediction information extraction step S2230 is a step of extracting motion vector information determined in an inter prediction mode in the compression step S220.
  • the quantization parameter information extraction step S2230 is a step of extracting quantization parameter information applied when quantization is performed in the compression step S220.
  • the quantization parameter is important information for determining how much the original image is to be compressed.
  • the quantization parameter value is large, the compression ratio increases, but the compressed image quality decreases. In other words, there is a close relationship between the quantization parameter and the degree of degradation of the compressed image.
  • the information including at least one or more of the image segmentation information, the intra prediction information, the inter prediction information, and the quantization parameter information extracted by the compressed information extraction step S220 is called compressed information.
  • FIG. 4 is a flowchart showing an image restoration method according to an embodiment of the present invention.
  • an image reconstruction method uses compressed information, a decoded image (input image, a degraded image), or a reconstructed image as input data, and machine learning using the original image as output data. It is to improve the image resilience and compression rate by filtering the image based on the optimal filter value by improving the filtering technique of the in-loop filter used in the image reconstruction using the machine algorithm. .
  • various algorithms such as a linear regression artificial neural network and a support vector machine can be applied to the machine learning algorithm.
  • the machine learning algorithm may be used to detect the degraded region in the image or to restore the image from the compressed information input together with the degraded image.
  • the information output to the machine learning algorithm may be an image of which image quality is restored, or a feature vector for restoring image quality, or a residual image added to a deteriorated image.
  • the image restoration method S1 includes a learning step S10, an image decoding limit S20, an input step S30, and an inference step S40.
  • the compressed information, the degraded image, and the original projection are extracted in advance from a large amount of image data and used as input data.
  • the learning step S10 is a separate process not included in the image encoding and decoding process.
  • the compressed information and the deteriorated image are input data, and a model, which is a mapping relation between the compressed information and a given image, is given using a predetermined machine learning algorithm aimed at restoring the original image.
  • the machine learning algorithm trains the model so that the input image is output as close as possible to the target image.
  • FIG. 5 is an exemplary diagram for describing formatting of block structure information (CU) which is one of image segmentation information of HEVC among the image segmentation information in the learning step of FIG. 4, and (a) divides an input image into the size of a CU block.
  • CU block structure information
  • B is an illustration which shows the image which marked the specific value on the boundary surface of the image of (a).
  • the block structure information (CU) which is one of the image segmentation information included in the compressed information, may indicate location information at which a blocking artifact occurs, as shown in FIG.
  • CU block structure information
  • the machine learning algorithm finds the difference between the image reconstructed by the model and the original image, and then defines the loss function in the direction of reducing the difference.
  • the loss function applied to the machine learning algorithm of the present invention is a modification of the Mean Squared Error function, which is a loss function that is generally used for image reconstruction.
  • a coding unit is used. It can be configured to give a greater weight to the area determined by the small block in.
  • a region having a small size of the block structure information (CU), which is image segmentation information, has many characteristics in the image encoding process, so that when a difference value is calculated, a larger weight is given to a region having many high frequency components. It is possible to calculate a precise difference value for the component, and accordingly, the machine learning algorithm can improve the image quality of the reconstructed image by learning in a direction in which the reconstruction of the small area of the block structure information CU is better.
  • the objective function of the present invention is defined by the following equation.
  • L is the objective function
  • w is the image width
  • h is the image height
  • D is the degraded image
  • G is the original image
  • Mi is a matrix of image sizes with values of '0' or '1'
  • Wi is a weight.
  • the loss function applied to the learning step (S10) of the present invention assigns different weight (Wi) values only to a specific area so as to give different weights according to the size of the block.
  • the difference value can be calculated with different weights when calculating the difference value of each block area.
  • FIG. 6 (a) is an exemplary diagram illustrating an input image divided into blocks according to a CU, and (b) is a weight '1' in an area divided into 32 ⁇ 32 blocks in the image of (a) by an objective function.
  • (C) is an exemplary diagram showing when the weight '1' is assigned to a region divided into 32x32 blocks in the image of (a) by the objective function,
  • (d) Is an exemplary diagram showing when a weight '1' is assigned to a region divided into 32x32 blocks in the image of (a) by the objective function.
  • the objective function applied to the learning step (S10) of the present invention assumes that the CU is partitioned as shown in (a) of FIG. 6, the region M_0 divided into 32 ⁇ 32 blocks as shown in (b). A weight of 1 'may be given, and a weight of' 0 'may be given to the remaining area.
  • the objective function may assign a weight of '2' to the region M_1 divided into 16 ⁇ 16 blocks, and give a weight of '0' to the remaining regions.
  • the objective function may assign a weight of '3' to the region M_2 divided into 8 ⁇ 8 blocks, and may assign a weight of '0' to the remaining regions.
  • the learning step (S10) of the present invention uses the compressed information and the deteriorated image as input data, and learns the mapping relationship between the input image and the target image by using a machine learning algorithm aiming to restore the original image.
  • it is configured to calculate the difference value by assigning different weights according to the block size, thereby effectively removing the blocking artifact during image reconstruction, thereby maximizing image resilience.
  • the image decoding step S20 is a step of reconstructing the image by releasing the compressed data that has already been compressed.
  • the image decoding step S20 inputs the reconstructed image (degraded image) and the compressed information included in the compressed data into the input step S30.
  • the input step S30 is a step of receiving the deteriorated image and the compressed information restored from the image decoding step S20.
  • the inference step S40 is a step of reconstructing the image by performing image filtering by applying the input data input from the input step S30 to the model learned by the learning step S10.
  • FIG. 7 is an exemplary diagram showing an original image
  • (b) is an exemplary diagram showing an image degraded during image compression
  • (c) is a deblocking filter of a known HEVC and an image reconstructed by SAO.
  • (D) is an illustration showing an image reconstructed by the present invention.
  • the deblocking filter of the known HEVC and the image reconstructed by SAO show that the blocking phenomenon is partially removed compared to the deteriorated image of (b), but compared with the original image of (a). It can be seen that not only the image quality deteriorates but also a lot of blocking and wave-like artifacts are formed.
  • the reconstructed image to which the image reconstruction method (S1) of the present invention is applied not only has improved image quality when compared with (b) and (c), but also significantly reduces blocking and wave-like artifacts. It can be seen that.
  • Table 1 below is an experimental value to indicate the case of using the CU information as in the present invention, and the case of not using.
  • the residual block is a value proportional to the number of layers of the neural network in the neural network algorithm.
  • the average PSNR of the input image (deteriorated image) used in the experiment is 30.247 (db)
  • the PSNR of the image reconstructed by the in-loop filter (deblocking filter and SAI) of HEVC is 30.517 (db).
  • the signal-to-noise ratio (PSNR) is '31 .151 (db) 'when the number of residual blocks is five.
  • the gain is measured as' 0.905 (db) 'and the CU information is used under the same conditions, the signal-to-noise ratio (PSNR) is '31 .233 (db)' and the gain is' 0.986 '. (db) 'can be seen.
  • the signal-to-noise ratio (PSNR) is '31 .222 (db) 'for 15 residual blocks, and the PSNR gain (0.9) (0.9) compared to the input image is 0.97 (db).
  • PSNR signal-to-noise ratio
  • the signal-to-noise ratio (PSNR) and the PSNR gain compared to the input image are improved by '0.081 (db)'.
  • the machine learning algorithm of the present invention is applied to the image encoding step, and in detail, to the filter unit 260 of the image encoder 100 of FIG. 2, and thus, a conventional deblocking filter and a sample adaptive offset. ) Can be configured to replace
  • the machine learning algorithm of the present invention is applied to the filter unit 260 of the image encoder, as described above with reference to FIGS. 4 to 6, as the image quality of the reconstructed image is improved, the reconstructed portion is used to predict the image of the adjacent frame. Due to the excellent image quality, the compression rate can be significantly increased.
  • the machine learning algorithm may be configured to be applied to post-processing of the reconstructed image according to a conventionally known method and to utilize the reconstructed image for prediction of adjacent frame images.
  • the machine learning algorithm of the present invention may be configured to be applied only to an image decoder or 2) to both an image decoder and an image encoder. Objectives and effects can be expected, and if applied to the composition 2) can not only improve the image resilience but also can be expected to achieve the purpose and effect of increasing the compression ratio.
  • the image restoration method S1 uses compressed information and a degraded image as input data, and an optimal model corresponding to various compressed information using a machine learning algorithm aiming to restore the original image. It is configured to learn and derive by itself, so that the image resilience and compression rate can be remarkably improved by applying an optimal model corresponding to the compressed information during image reconstruction.
  • the image restoration method (S1) of the present invention in the configuration of a loss function that is a function for obtaining the difference between the restored image and the original image during learning, restoring the image for a specific region by assigning different weights according to the size of the block Can be performed precisely.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 압축정보 및 열화 영상을 입력데이터로 하며, 원본 영상으로의 복원을 목표로 하는 머신러닝 알고리즘을 이용하여 다양한 압축정보에 대응되는 최적의 모델을 스스로 학습하여 도출하도록 구성됨으로써 영상 복원 시 압축정보에 대응되는 최적의 모델을 적용하여 영상 복원력 및 압축률을 현저히 개선시킬 수 있고, 학습 시 복원된 영상과 원본 영상의 차이값을 구하기 위한 함수인 loss function을 구성하는데 있어서, 압축정보에 따라 서로 다른 가중치를 부여함으로써 특정영역에 대한 영상복원을 정밀하게 수행할 수 있는 머신러닝 알고리즘 및 이를 이용한 영상 복원방법을 제공하기 위한 것이다.

Description

압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법
본 발명은 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법에 관한 것으로서, 상세하게로는 영상 부호화 및 복호화 과정에서 압축정보를 활용하여 영상을 복원함과 동시에 머신러닝(Machine learning)을 통해 압축정보에 대응되는 최적의 복원방법을 스스로 학습하여 도출하도록 구성됨으로써 영상 복원력 및 압축률을 개선시킬 수 있는 머신러닝 알고리즘 및 이를 이용한 영상 복원방법을 제공하기 위한 것이다.
콘텐츠 산업이 확장되고, 디스플레이 기술이 발달함에 따라 영상 압축기술에 대한 연구가 활발하게 진행되고 있다.
특히 최근 들어 HD(High Definition) 해상도를 갖는 방송 서비스가 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있고, 이에 따라 높은 해상도, 고화질 영상을 구축하기 위한 차세대 영상기기 및 고화질 영상 압축기술에 대한 관심이 급증하고 있다.
현재 압축표준으로는 JPEG, H.264, MPEG2, HEVC 등이 있고, 이러한 압축표준의 압축과정을 살펴보면, 영상을 일정한 크기의 블록들로 분할한 후 분할된 각 블록 단위로 양자화(Quantization) 및 예측을 통해 데이터를 압축한다.
그러나 현재 압축표준은 분할된 블록들을 기준으로 영상 예측 및 양자화가 이루어지기 때문에 압축 시 블록들 사이의 경계면이 열화되는 현상이 발생한다.
이러한 문제점을 해결하기 위한 방안으로는 루프필터, Adaptive deblocking filter, Sample adaptive offset filter 기술이 연구되어 사용되고 있으나, 이러한 종래의 방안은 단순히 다양한 연구 및 실험에 의해 결정된 소수의 파라미터만을 이용하여 영상필터를 수행하도록 구성된다.
일반적으로 영상 필터는 압축방식, 블록 크기 및 수량, 설정값 등의 다양한 조건에 따라 최적의 파라미터 값이 적용되어야 하나, 종래에는 고정된 소수의 파라미터 값들만을 이용하여 영상 복원이 이루어지기 때문에 복원 영상의 화질이 떨어지는 구조적 한계를 갖는다.
특히 HEVC(High Efficiency Video Coding) 등의 비디오 압축의 경우 복원영상을 인접한 프레임에서 참조 영상으로 활용하여 부호화하기 때문에 복원 영상의 화질이 떨어질수록 압축률이 낮아지게 된다.
도 1은 H. 264의 복호화 구조도를 나타내는 블록도이다.
도 1의 H. 264(100)는 가로 세로 16×16 화소 크기의 매크로블록(Macroblock)을 단위로 데이터를 처리하며, 비트스트림을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 복호화가 수행되어 재구성된 영상을 출력한다.
또한 인트라 모드일 경우, 스위치가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치가 인터로 전환이 된다.
또한 복호화 과정의 주요한 흐름은 먼저 예측 블록을 생성한 후, 입력 받은 비트스트림을 복호화한 결과 블록과 예측블록을 더하여 재구성된 블록을 생성하는 것이다.
또한 H.264(100)의 예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행된다.
또한 H.264(100)는 인트라 모드일 경우에는 인트라 예측 과정에서 현재 블록의 이미 부호화된 주변 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성하며, 인터 모드일 경우에는 움직임 벡터를 이용하여 참조 영상 버퍼에 저장되어 있는 참조 영상에서 영역을 찾아 움직임 보상을 수행함으로써 예측 블록을 생성한다.
또한 엔트로피 복호화 과정에서는 입력된 비트스트림을 확률 분포에 따른 엔트로피 복호화를 수행하여 양자화된 계수(Quantized Coefficient)를 출력하고, 양자화된 계수를 역양자화과정과 역변환을 수행하여 예측 영상과 가산기를 통해 재구성된 블록을 생성한 다음 디블록킹 필터를 통해 블록킹 현상(Blocking Artifact)을 제거한 후, 참조 영상 버퍼에 저장한다.
그러나 종래의 H.264(100)에서, 블록킹 현상(Blocking Artifact)을 제거하기 위해 적용된 디블록킹 필터는 기 설정된 소수의 파라미터 값들만을 이용하여 영상 복원을 수행하기 때문에 압축의 다양한 조건 및 열화된 영상의 특성에 대응하지 못하는 구조적 한계를 갖는다.
본 발명은 이러한 문제를 해결하기 위한 것으로서, 본 발명의 해결과제는 압축정보 및 열화 영상을 입력데이터로 하며, 압축으로 훼손되기 이전의 영상인 원본 영상으로의 복원을 목표로 하는 머신러닝 알고리즘을 이용하여 다양한 압축정보에 대응되는 최적의 모델을 스스로 학습하여 도출하도록 구성됨으로써 영상 복원 시 학습된 모델에 입력된 압축정보를 적용하여 영상 복원력을 현저히 개선시킬 수 있는 머신러닝 알고리즘 및 이를 이용한 영상 복원방법을 제공하기 위한 것이다.
또한 본 발명의 다른 해결과제는 학습 시 복원된 영상과 원본 영상의 차이값을 구하기 위한 함수인 loss function을구성하는데 있어서, 블록의 크기, 블록의 인터/인트라 예측 모드, 양자화 파라미터 등에 따라 블록단위로 서로 다른 가중치를 부여함으로써 특정 영역에 대한 영상복원을 정밀하게 수행할 수 있는 머신러닝 알고리즘 및 이를 이용한 영상 복원방법을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 머신러닝 알고리즘에 의하여 복원 영상의 화질이 개선되는 특성을 감안하여 영상 부호화 단계에도 적용되도록 구성됨으로써 영상 부호화 시 개선된 화질의 복원 영상이 인접 프레임 영상의 예측에 활용되기 때문에 압축률을 높일 수 있는 머신러닝 알고리즘 및 이를 이용한 영상 복원방법을 제공하기 위한 것이다.
상기 과제를 해결하기 위한 본 발명의 해결수단은 영상 압축에 의해 열화된 영상을 복원시키기 위한 영상 복원방법에 있어서: 상기 영상 복원방법은 기 설정된 머신러닝 알고리즘(Machine learning algorithm)을 이용하여 압축정보, 열화영상 및 원본영상으로부터 영상 화질을 향상시키기 위한 최적의 머신러닝 파라미터 값들의 집합을 도출하는 학습(Training) 단계; 압축된 데이터로부터 복호화하는 과정에서 재구성되는 열화영상 및 압축정보를 상기 머신러닝 알고리즘의 입력값으로 하여 상기 학습단계에서 결정된 파라미터 값들의 집합을 적용하여 영상 화질을 복원하는 추론(Inference) 단계를 포함하는 것이다.
또한 본 발명에서 상기 머신러닝 알고리즘은 상기 열화 영상과 상기 원본 영상 사이의 차이값을 산출한 후 산출된 차이값을 줄이기 위한 목적 함수(loss function)를적용하였고, 상기 목적함수는 상기 압축정보에서 영상 부호화의 단위인 영상분할 정보, 양자화 파라미터, 인트라 예측정보 및 인터 예측정보 중 적어도 하나 이상의 정보에 따라 서로 다른 가중치를 부여한 후 차이값을 산출하는 것이 바람직하다.
또한 본 발명에서 상기 목적 함수는 다음의 수학식 1로 정의되는 것이 바람직하다.
Figure PCTKR2018002470-appb-M000001
L:목적함수, w:영상 폭, h:영상 높이, D:열화 영상, G:원본영상, Mi:‘0’ 또는 ‘1’의 값을 갖는 영상 크기의 행렬, Wi:가중치
또한 본 발명에서 상기 머신러닝 알고리즘은 공지된 H.262, HEVC의 압축표준으로 운용되는 영상 부호화기에 적용되어 공지된 디블록킹 필터(Deblocking Filter), SAO(Sample AdaptiveOffset), ALF(Adaptive Loop Filter) 중 어느 하나를 대체하여 복원된 영상을 인접 프레임 영상의 예측에 활용되도록 하는 것이 바람직하다.
또한 본 발명에서 상기 머신러닝 알고리즘은 영상 부호화기에 적용되어 기 설정된 방식으로 복원된 영상의 후처리로 적용되어 복원된 영상을 인접 프레임 영상의 예측에 활용되도록 하는 것이 바람직하다.
또한 본 발명에서 상기 영상 부호화기는 영상 압축 시 영상을 부호화하는 단위인 블록의 구조정보인 영상분할 정보와, 인트라 예측모드(Intra prediction mode)에서 각 블록 단위로 결정된 인트라 예측정보와, 인터 예측 모드(Inter prediction mode)에서 결정된 움직임벡터(Motion vector) 정보와, 양자화 시 적용된 양자화 파라미터 정보를 생성하는 양자화 파라미터 정보 중 적어도 하나 이상을 포함하는 압축정보를 추출하는 것이 바람직하다.
상기 과제와 해결수단을 갖는 본 발명에 따르면 압축정보 및 열화 영상을 입력데이터로 하며, 원본 영상으로의 복원을 목표로 하는 머신러닝 알고리즘을 이용하여 다양한 압축정보에 대응되는 최적의 모델을 스스로 학습하여 도출하도록 구성됨으로써 영상 복원 시 압축정보에 대응되는 최적의 모델을 적용하여 영상 복원력 및 압축률을 현저히 개선시킬 수 있다.
또한 본 발명에 의하면 학습 시 복원된 영상과 원본 영상의 차이값을 구하기 위한 함수인 loss function을구성하는데 있어서, 블록의 크기, 블록의 인터/인트라 예측 모드, 양자화 파라미터 등에 따라 블록단위로 서로 다른 가중치를 부여함으로써 특정 영역에 대한 영상복원을 정밀하게 수행할 수 있게 된다.
또한 본 발명에 의하면 머신러닝 알고리즘에 의하여 복원 영상의 화질이 개선되는 특성을 감안하여 영상 부호화 단계에도 적용되도록 구성됨으로써 영상 부호화 시 개선된 화질의 복원 영상이 인접 프레임 영상의 예측에 활용되기 때문에 압축률을 높일 수 있다.
도 1은 H. 264의 복호화 구조도를 나타내는 블록도이다.
도 2는 본 발명을 설명하기 위한 통상적인 영상 부호화 장치를 나타내는 블록도이다.
도 3은 도 2의 감산기에 의해 압축정보가 추출되는 과정을 나타내는 블록도이다.
도 4는 본 발명의 일실시예인 영상 복원방법을 나타내는 플로차트이다.
도 5의 도 4의 학습단계에서 영상분할정보 중 HEVC의 영상분할 정보 중 하나인 블록 구조정보(CU)의 포맷팅을 설명하기 위한 예시도로서, (a)는 입력영상을 블록의 크기로 분할한 이미지를 나타내는 예시도이고, (b)는 (a)의 이미지의 경계면에 특정값을 마킹한 이미지를 나타내는 예시도이다.
도 6의 (a)는 CU 정보에 따라 블록들로 분할된 입력영상을 나타내는 예시도이고, (b)는 목적함수에 의하여 (a)의 영상에서 32×32 블록으로 분할된 영역에 가중치 ‘1’이 부여되었을 때를 나타내는 예시도이도, (c)는 목적함수에 의하여 (a)의 영상에서 32×32 블록으로 분할된 영역에 가중치 ‘1’이 부여되었을 때를 나타내는 예시도이도, (d)는 목적함수에 의하여 (a)의 영상에서 32×32 블록으로 분할된 영역에 가중치 ‘1’이 부여되었을 때를 나타내는 예시도이다.
도 7의 (a)는 원본 영상을 나타내는 예시도이고, (b)는 영상 압축과정에서 열화된 영상을 나타내는 예시도이고, (c)는 공지된 HEVC의 deblocking 필터 및 SAO로 복원된 영상을 나타내는 예시도이고, (d)는 본 발명에 의해 복원된 영상을 나타내는 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.
도 2는 본 발명을 설명하기 위한 통상적인 영상 부호화 장치를 나타내는 블록도이다.
영상 부호화 장치(200)는 인터 예측 부호화, 즉 화면 간(inter-frame) 예측 부호화를 수행함으로써 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다.
따라서 양자화된 계수는 역양자화부(260)에서 역양자화되고 역변환부(270)에서 역변환되고, 역양자화 및 역변환된 계수는 가산기(275)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.
복원 블록은 필터부(280)를 거치고, 필터부(280)는 디블록킹 필터(deblocking filter), SAO(Sample AdaptiveOffset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다.
필터부(280)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡 또는 블록킹 아티팩트(blocking artifact)를 제거할 수 있다.
또한 감산기(225), 변환부(235) 및 양자화부(245)는 입력 블록과 생성된 예측블록의 차분에 의한 차이값을 검출한 후 검출된 차이값을 양자화하여 저장하는 방식으로 영상을 압축한다. 이때 압축된 영상이 저장되는 스트림에는 압축정보(차이값 및 차이값에 대한 정보)가 저장된다.
도 3은 도 2의 감산기에 의해 압축정보가 추출되는 과정을 나타내는 블록도이다.
감산기(225)는 압축정보 추출단계(S220)를 통해 압축정보를 추출한다.
압축정보 추출단계(S220)는 도 3에 도시된 바와 같이, 영상분할 정보 추출단계(2210)와, 인트라 예측정보 추출단계(S2220), 인터 예측정보 추출단계(S2230), 양자화 파라미터 정보 추출단계(S2230) 중 적어도 하나 이상을 포함한다.
영상분할 정보 추출단계(S2210)는 압축단계(S210)에 의한 영상 압축 시 영상을 부호화하는 단위인 블록의 구조정보인 영상분할 정보를 추출한다. 이때 영상분할 정보로는 CU(Coding Unit), PU(Prediction Unit), TU(Transform Unit) 정보 등을 포함한다.
이때 공지된 영상 부호화기(200)는 영상 압축 시 블록단위로 영상을 부호화하기 때문에 압축하는 과정 중 블록의 경계면에 블록킹 현상(Blocking Artifact)이 발생하는 문제점을 갖게 된다. 이에 따라 본 발명에서는 블록의 구조정보인 영상분할 정보가 블록들의 경계면의 위치를 나타내는 특성을 감안하여 영상 압축 시 영상분할 정보 추출단계(S2210)를 통해 영상분할 정보를 추출함으로써 후술되는 도 4의 영상 복원방법(S1)에 의한 영상 복원 시 영상분할 정보가 활용될 수 있도록 한다.
인트라 예측정보 추출단계(S2220)는 압축단계(S210) 시 인트라 예측 모드(Intra prediction mode)에서 각 영상분할 정보 단위로 결정된 인트라 예측정보를 추출하는 단계이다.
인터 예측정보 추출단계(S2230)는 압축단계(S220) 시 인터 예측 모드(Inter prediction mode)에서 결정된 움직임 벡터(Motion vector) 정보를 추출하는 단계이다.
양자화 파라미터 정보 추출단계(S2230)는 압축단계(S220)에서 양자화를 수행할 때 적용된 양자화 파라미터 정보를 추출하는 단계이다.
이때 양자화 파라미터는 원본 영상을 얼마나 큰 비율로 압축을 할지를 정하는 중요한 정보로서, 일반적으로 양자화 파라미터 값이 크면, 압축률이 증가하되, 압축된 화질이 떨어지게 된다. 즉 양자화 파라미터와 압축 영상의 열화 정도 사이에는 긴밀한 연관관계가 있다.
즉 압축정보 추출단계(S220)에 의해 추출되는 영상분할 정보, 인트라 예측정보, 인터 예측정보 및 양자화 파라미터 정보 중 적어도 하나 이상을 포함하는 정보를 압축정보라고 한다.
도 4는 본 발명의 일실시예인 영상 복원방법을 나타내는 플로차트이다.
본 발명의 일실시예인 영상 복원방법(S1)은 압축정보, 복호화된 영상(입력영상, 열화된 영상) 또는 재구성된 영상(Reconstructed image)을 입력데이터로 하며, 원본 영상을 출력데이터로 하는 머신러닝 알고리즘(Machine algorithm)을 이용하여 영상 복원 시 사용되는 인루프 필터의 필터링 기술을 개선하여 압축의 다양한 조건에 대응하여 최적의 필터값을 기반으로 영상을 필터링 시킴으로써 영상 복원력 및 압축률을 획기적으로 높이기 위한 것이다.
이때 사용되는 머신러닝 알고리즘에는 선형회귀 인공신경망, 서포트 벡터 머신 등의 다양한 알고리즘이 적용 가능하다.
또한 머신러닝 알고리즘은 열화된 영상과 함께 입력된 압축정보를 영상 내 열하된 영역을 검출하거나 영상을 복원하는데 활용될 수 있다.
이때 머신러닝 알고리즘에 출력되는 정보는 화질이 복원된 영상이거나 또는 화질 복원을 위한 특징벡터(Feature vector), 열화영상에 더해지는 잔차영상(Residual image)일 수 있다.
또한 영상 복원방법(S1)은 도 4에 도시된 바와 같이, 학습단계(S10)와, 영상 복호화한계(S20), 입력단계(S30), 추론단계(S40)로 이루어진다.
학습단계(S10)는 대량의 영상데이터로부터 압축 정보, 열화영상 및 원본영사을 미리 추출해 놓고 입력데이터로 활용한다. 이때 학습단계(S10)는 영상부호화 및 복호화 과정에는 포함되지 않는 별도의 과정이다.
또한 학습단계(S10)는 압축정보 및 열화 영상을 입력데이터로 하되, 원본 영상으로의 복원을 목표로 하는 기 설정된 머신러닝 알고리즘(Machine learning Algorithm)을 이용하여 압축정보와 사이의 맵핑 관계인 모델을 주어진 다수의 데이터로부터 학습한다. 이때 머신러닝 알고리즘은 입력 영상이 타겟 영상과 최대한 가깝게 출력되도록 모델을 학습한다.
이때 학습단계(S10)에서 압축정보를 머신러닝 모델에 입력데이터로 사용하기 위한 포맷팅(formatting) 방법으로는 다양한 방법 및 기술이 적용될 수 있으나, 본 발명에서는 후술되는 도 5로 예를 들어 포맷팅 방법을 설명하기로 한다.
도 5의 도 4의 학습단계에서 영상분할정보 중 HEVC의 영상분할 정보 중 하나인 블록 구조정보(CU)의 포맷팅을 설명하기 위한 예시도로서, (a)는 입력영상을 CU 블록의 크기로 분할한 이미지를 나타내는 예시도이고, (b)는 (a)의 이미지의 경계면에 특정값을 마킹한 이미지를 나타내는 예시도이다.
일반적으로 영상 압축은 영상을 블록 단위로 분할한 후 분할된 블록 단위로 압축이 이루어지기 때문에 블록마다 서로 다른 압축 파라미터가 사용되어, 블록의 경계면에 부자연스러운 단층면이 발생하는 블록킹 현상(Blocking Artifact)이 나타나게 된다.
본 발명은 압축정보에 포함된 영상분할 정보 중 하나인 블록 구조정보(CU)가 블록킹 현상(Blocking Artifact)이 발생하는 위치 정보를 나타낼 수 있는 특성을 감안하여, 도 5의 (a)에서와 같이 입력 영상과 동일한 크기의 행렬을 생성한 후, (b)에서와 같이 블록 구조정보를 통해 검출된 블록의 경계면을 특정값으로 마킹하여 모델의 입력값으로 사용한다.
머신러닝 알고리즘은 모델에 의해 복원된 영상과 원본 영상 사이의 차이값을 구한 후 그 차이값을 줄이는 방향으로 목적 함수(loss function)를정의한다.
본 발명의 머신러닝 알고리즘에 적용되는 목적 함수(loss function)는통상적으로 영상 복원에 사용되는 목적 함수(loss function)인Mean Squared Error 함수를 변형한 것으로서, 그 한 실시예로 코딩 유닛(Coding Unit)에서 작은 블록으로 결정된 영역에 더 큰 가중치를 부여하도록 구성될 수 있다.
그 이유는, 영상 부호화 과정에서 영상분할 정보인 블록 구조정보(CU)의 크기가 작은 영역은 고주파 성분이 많은 특성을 갖기 때문에 차이값 산출 시 고주파 성분이 많은 영역에 더 큰 가중치를 부여하는 경우 고주파 성분에 대하여 정밀한 차이값을 산출할 수 있게 되고, 이에 따라 머신러닝 알고리즘은 블록 구조정보(CU)의 크기가 작은 영역의 복원이 더 잘되는 방향으로 학습을 하여 복원 영상의 화질을 개선시킬 수 있는 것이다.
이러한 본 발명의 학습단계(S10)에 적용되는 목적 함수는 다음의 수학식들을 참조하여 상세하게 설명하기로 한다.
본 발명의 목적 함수는 다음의 수학식 1로 정의된다.
[수학식 1]
Figure PCTKR2018002470-appb-I000001
이때 L은 목적 함수이고, w는 영상 폭이고, h는 영상 높이이고, D는 열화 영상이고, G는 원본영상이고, Mi는 ‘0’ 또는 ‘1’의 값을 갖는 영상 크기의 행렬이고, Wi는 가중치이다.
즉 본 발명의 학습단계(S10)에 적용되는 목적함수(loss function)는블록의 크기에 따라 서로 다른 가중치를 부여하도록, 특정 영역에만 다른 weight(Wi) 값을 할당하되, 나머지 영역의 weight 값을 ‘0’으로 할당함으로써 각 블록 영역의 차이값을 계산할 때 서로 다른 가중치를 부여한 상태로 차이값을 산출할 수 있게 된다.
도 6의 (a)는 CU에 따라 블록들로 분할된 입력영상을 나타내는 예시도이고, (b)는 목적함수에 의하여 (a)의 영상에서 32×32 블록으로 분할된 영역에 가중치 ‘1’이 부여되었을 때를 나타내는 예시도이도, (c)는 목적함수에 의하여 (a)의 영상에서 32×32 블록으로 분할된 영역에 가중치 ‘1’이 부여되었을 때를 나타내는 예시도이도, (d)는 목적함수에 의하여 (a)의 영상에서 32×32 블록으로 분할된 영역에 가중치 ‘1’이 부여되었을 때를 나타내는 예시도이다.
본 발명의 학습단계(S10)에 적용되는 목적함수는 도 6의 (a)에서와 같이 CU가 분할되었다고 가정할 때, (b)에서와 같이 32×32 블록으로 분할된 영역(M_0)에 ‘1’의 가중치를 부여하되, 나머지 영역에는 ‘0’의 가중치를 부여할 수 있다.
또한 목적함수는 (c)에서와 같이 16×16 블록으로 분할된 영역(M_1)에 ‘2’의 가중치를 부여하되, 나머지 영역에는 ‘0’의 가중치를 부여할 수 있다.
또한 목적함수는 (d)에서와 같이 8×8 블록으로 분할된 영역(M_2)에 ‘3’의 가중치를 부여하되, 나머지 영역에는 ‘0’의 가중치를 부여할 수 있다.
블록 크기가 가장 작은 영역(고주파 성분이 많은 영역)(M_2)에는 가중치 ‘3’을 부여함으로써 고주파 성분에 대하여 정밀한 차이값을 산출하게 되고, 이에 따라 복원 영상의 화질을 현저히 개선시킬 수 있게 된다.
이와 같이 본 발명의 학습단계(S10)는 압축정보 및 열화 영상을 입력데이터로 하며, 원본 영상으로의 복원을 목표로 하는 머신러닝 알고리즘을 이용하여 입력영상과 타겟영상 사이의 맵핑 관계를 학습함과 동시에 블록 크기에 따라 서로 다른 가중치를 부여하여 차이값을 산출하도록 구성됨으로써 영상 복원 시 블록킹 현상(Blocking Artifact)을 효율적으로 제거하여 영상 복원력을 극대화시킬 수 있게 된다.
다시 도 4로 돌아가서 영상 복호화단계(S20)를 살펴보면, 영상 복호화단계(S20)는 이미 압축된 압축데이터를 해제하여 영상을 복원하는 단계이다.
이때 영상 복호화단계(S20)는 재구성된 영상(열화 영상)과, 압축데이터에 포함된 압축정보를 입력단계(S30)로 입력한다.
입력단계(S30)는 영상 복호화단계(S20)로부터 복원된 열화 영상과 압축정보를 입력받는 단계이다.
추론단계(S40)는 학습단계(S10)에 의해 학습된 모델에, 입력단계(S30)로부터 입력된 입력데이터를 적용하여 영상 필터링을 수행함으로써 영상을 복원하는 단계이다.
도 7의 (a)는 원본 영상을 나타내는 예시도이고, (b)는 영상 압축과정에서 열화된 영상을 나타내는 예시도이고, (c)는 공지된 HEVC의 deblocking 필터 및 SAO로 복원된 영상을 나타내는 예시도이고, (d)는 본 발명에 의해 복원된 영상을 나타내는 예시도이다.
도 7을 참조하여 본 발명을 살펴보면, (b)의 열화된 영상은 (a)의 원본 영상에 비교하여 영상화질이 떨어질 뿐만 아니라 블록킹 현상이 남아있으며, 물결 형태의 artifact가 형성되는 것을 알 수 있다.
또한 (c)에서와 같이, 공지된 HEVC의 deblocking 필터 및 SAO로 복원된 영상은 (b)의 열화된 영상에 비교하면 블록킹 현상이 일부 제거되었음을 알 수 있으나, (a)의 원본 영상과 비교하였을 때 영상화질이 떨어질 분만 아니라 블록킹 현상 및 물결 형태의 artifact가 많이 형성되는 것을 알 수 있다.
또한 (d)에서와 같이 본 발명의 영상 복원방법(S1)이 적용된 복원된 영상은 (b), (c)와 비교하였을 때 영상화질이 개선되었을 뿐만 아니라 블록킹 현상 및 물결형태의 artifact가 현저히 줄어들었음을 알 수 있다.
다음의 표 1은 본 발명에서와 같이 CU 정보를 사용한 경우와, 사용하지 않은 경우를 나타내기 위한 실험값이다.
[규칙 제91조에 의한 정정 09.05.2018]　
Figure WO-DOC-TABLE-1
표 1에서 Residual Block은 뉴럴네트워크 알고리즘에서 뉴럴 네트워크의 계층수와 비례하는 값이다.
또한 실험에 사용된 입력영상(열화된 영상)의 평균 PSNR은 30.247(db)이고, 이를 HEVC의 인루프 필터(디블록킹 필터 및 SAI)로 복원한 영상의 PSNR은 30.517(db)이다.
표 1에서와 같이, 영상분할 정보 중 하나인 CU 정보를 활용하지 않고 영상복원을 수행하였을 때, 레지듀얼 블록이 5개인 경우 신호대잡음비(PSNR)가 ‘31.151(db)’로, 입력영상 대비 PSNR 개선량(gain)이 ‘0.905(db)’로 측정되었고, 동일한 조건 하에서 CU 정보를 활용하였을 때를 살펴보면, 신호대잡음비(PSNR)가 ‘31.233(db)’로, 개선량(gain)이 ‘0.986(db)’로 측정되었음을 알 수 있다.
즉 CU 정보를 활용하였을 때 신호대잡음비(PSNR) 및 개선량(gain)이 ‘0.081(db)’ 개선되었다.
또한 CU 정보를 활용하지 않고 영상복원을 수행하였을 때, 레지듀얼 블록이 15개인 경우 신호대잡음비(PSNR)가 ‘31.222(db)’로, 입력영상 대비 PSNR 개선량(gain)이 ‘0.975(db)’로 측정되었고, 동일한 조건 하에서 CU 정보를 활용하였을 때를 살펴보면, 신호대잡음비(PSNR)가 ‘31.303(db)’로, 개선량(gain)이 ‘1.056(db)’로 측정되었음을 알 수 있다.
즉 CU 정보를 활용하였을 때 신호대잡음비(PSNR) 및 입력영상 대비 PSNR 개선량(gain)이 ‘0.081(db)’ 개선되었다.
또한 본 발명의 머신러닝 알고리즘은 영상 부호화 단계에 적용, 상세하게로는 도 2의 영상 부호화기(100)의 필터부(260)에 적용되어 종래의 디블록킹 필터(Deblocking Filter), SAO(Sample Adaptive Offset)를 대체하도록 구성될 수 있다.
만약 영상 부호화기의 필터부(260)로 본 발명의 머신러닝 알고리즘이 적용되는 경우, 도 4 내지 6에서 전술하였던 바와 같이 복원되는 영상의 화질이 개선됨에 따라 인접 프레임의 영상의 예측에 활용되는 복원된 영상의 우수한 화질로 인해 압축률을 현저히 높일 수 있게 된다.
또한 머신러닝 알고리즘은 종래의 공지된 방식에 따라 복원된 영상의 후처리로 적용되어 복원된 영상을 인접 프레임 영상의 예측에 활용되도록 구성될 수 있다.
다시 말하면, 본원 발명의 머신러닝 알고리즘은 1)영상 복호화기에만 적용되거나 또는 2)영상 복호화기 및 영상 부호화기에 모두 적용되는 것으로 구성될 수 있고, 만약 구성1)로 적용되는 경우 영상 복원력을 개선시키는 목적 및 효과를 기대할 수 있으며, 만약 구성2)로 적용되는 경우 영상 복원력을 개선시킬 수 있을 뿐만 아니라 압축률을 높일 수 있는 목적 및 효과를 기대할 수 있게 된다.
이와 같이 본 발명의 일실시예인 영상 복원방법(S1)은 압축정보 및 열화 영상을 입력데이터로 하며, 원본 영상으로의 복원을 목표로 하는 머신러닝 알고리즘을 이용하여 다양한 압축정보에 대응되는 최적의 모델을 스스로 학습하여 도출하도록 구성됨으로써 영상 복원 시 압축정보에 대응되는 최적의 모델을 적용하여 영상 복원력 및 압축률을 현저히 개선시킬 수 있게 된다.
또한 본 발명의 영상 복원방법(S1)은 학습 시 복원된 영상과 원본 영상의 차이값을 구하기 위한 함수인 loss function을구성하는데 있어서, 블록의 크기에 따라 다른 가중치를 부여함으로써 특정영역에 대한 영상복원을 정밀하게 수행할 수 있게 된다.

Claims (6)

  1. 영상 압축에 의해 열화된 영상을 복원시키기 위한 영상 복원방법에 있어서:
    상기 영상 복원방법은
    기 설정된 머신러닝 알고리즘(Machine learning algorithm)을 이용하여 압축정보, 열화영상 및 원본영상으로부터 영상 화질을 향상시키기 위한 최적의 머신러닝 파라미터 값들의 집합을 도출하는 학습(Training) 단계;
    압축된 데이터로부터 복호화하는 과정에서 재구성되는 열화영상 및 압축정보를 상기 머신러닝 알고리즘의 입력값으로 하여 상기 학습단계에서 결정된 파라미터 값들의 집합을 적용하여 영상 화질을 복원하는 추론(Inference) 단계를 포함하는 것을 특징으로 하는 영상 복원방법.
  2. 청구항 제1항에 있어서, 상기 머신러닝 알고리즘은
    상기 열화 영상과 상기 원본 영상 사이의 차이값을 산출한 후 산출된 차이값을 줄이기 위한 목적 함수(loss function)를적용하였고,
    상기 목적함수는 상기 압축정보에서 영상 부호화의 단위인 영상분할 정보, 양자화 파라미터, 인트라 예측정보 및 인터 예측정보 중 적어도 하나 이상의 정보에 따라 서로 다른 가중치를 부여한 후 차이값을 산출하는 것을 특징으로 하는 영상 복원방법.
  3. 청구항 제2항에 있어서, 상기 목적 함수는 다음의 수학식 1로 정의되는 것을 특징으로 하는 영상 복원 방법.
    [수학식 1]
    Figure PCTKR2018002470-appb-I000002
    L:목적함수, w:영상 폭, h:영상 높이, D:열화 영상, G:원본영상, Mi:‘0’ 또는 ‘1’의 값을 갖는 영상 크기의 행렬, Wi:가중치
  4. 청구항 제3항에 있어서, 상기 머신러닝 알고리즘은 공지된 H.262, HEVC의 압축표준으로 운용되는 영상 부호화기에 적용되어 공지된 디블록킹 필터(Deblocking Filter), SAO(Sample AdaptiveOffset), ALF(Adaptive Loop Filter) 중 어느 하나를 대체하여 복원된 영상을 인접 프레임 영상의 예측에 활용되도록 하는 것을 특징으로 하는 영상 복원 방법.
  5. 청구항 제3항에 있어서, 상기 머신러닝 알고리즘은 영상 부호화기에 적용되어 기 설정된 방식으로 복원된 영상의 후처리로 적용되어 복원된 영상을 인접 프레임 영상의 예측에 활용되도록 하는 것을 특징으로 하는 영상 복원 방법.
  6. 청구항 제5항에 있어서, 상기 영상 부호화기는
    영상 압축 시 영상을 부호화하는 단위인 블록의 구조정보인 영상분할 정보와, 인트라 예측모드(Intra prediction mode)에서 각 블록 단위로 결정된 인트라 예측정보와, 인터 예측 모드(Inter prediction mode)에서 결정된 움직임벡터(Motion vector) 정보와, 양자화 시 적용된 양자화 파라미터 정보를 생성하는 양자화 파라미터 정보 중 적어도 하나 이상을 포함하는 압축정보를 추출하는 것을 특징으로 하는 영상 복원방법.
PCT/KR2018/002470 2017-04-26 2018-02-28 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법 WO2018199459A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170053284A KR102053242B1 (ko) 2017-04-26 2017-04-26 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법
KR10-2017-0053284 2017-04-26

Publications (1)

Publication Number Publication Date
WO2018199459A1 true WO2018199459A1 (ko) 2018-11-01

Family

ID=63920310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/002470 WO2018199459A1 (ko) 2017-04-26 2018-02-28 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법

Country Status (2)

Country Link
KR (1) KR102053242B1 (ko)
WO (1) WO2018199459A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020159154A1 (en) * 2018-02-08 2020-08-06 Samsung Electronics Co., Ltd. Method for encoding images and corresponding terminals
CN112004088A (zh) * 2020-08-06 2020-11-27 杭州当虹科技股份有限公司 一种适用于avs2编码器的cu级qp分配算法
CN113033582A (zh) * 2019-12-09 2021-06-25 杭州海康威视数字技术股份有限公司 模型训练方法、特征提取方法及装置
CN114827630A (zh) * 2022-03-11 2022-07-29 华南理工大学 基于频域分布学习cu深度划分方法、系统、装置及介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102212442B1 (ko) * 2018-12-13 2021-02-04 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
KR102192980B1 (ko) 2018-12-13 2020-12-18 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
KR20200084516A (ko) * 2019-01-03 2020-07-13 삼성전자주식회사 디스플레이장치, 영상공급장치, 및 그 제어방법
KR102154424B1 (ko) 2019-01-18 2020-09-10 한국항공대학교산학협력단 개선된 영상 압축 시스템 및 방법
KR20200127766A (ko) 2019-05-03 2020-11-11 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR102652117B1 (ko) 2019-07-10 2024-03-27 삼성전자주식회사 이미지 보정 방법 및 이미지 보정 시스템
KR102245682B1 (ko) 2019-11-11 2021-04-27 연세대학교 산학협력단 영상 압축 장치, 이의 학습 장치 및 방법
KR102322125B1 (ko) * 2020-05-19 2021-11-04 국방과학연구소 압축 데이터의 압축 해제를 위한 파라미터 추정 방법
WO2022065977A1 (ko) * 2020-09-28 2022-03-31 현대자동차주식회사 가변계수 딥러닝 기반 인터 예측 방법
KR102593489B1 (ko) 2021-04-29 2023-10-24 주식회사 딥브레인에이아이 기계 학습을 이용한 데이터 생성 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102604657B1 (ko) 2022-03-30 2023-11-20 연세대학교 산학협력단 영상 압축 성능 개선 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010514246A (ja) * 2006-12-18 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像圧縮及び伸張
KR20120034042A (ko) * 2010-09-30 2012-04-09 한국전자통신연구원 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
KR20120036847A (ko) * 2009-07-01 2012-04-18 소니 주식회사 화상 처리 장치 및 방법
KR20130030254A (ko) * 2010-03-09 2013-03-26 톰슨 라이센싱 분류-기반 루프 필터에 대한 방법들 및 장치
KR20130085838A (ko) * 2012-01-20 2013-07-30 에스케이텔레콤 주식회사 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010514246A (ja) * 2006-12-18 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像圧縮及び伸張
KR20120036847A (ko) * 2009-07-01 2012-04-18 소니 주식회사 화상 처리 장치 및 방법
KR20130030254A (ko) * 2010-03-09 2013-03-26 톰슨 라이센싱 분류-기반 루프 필터에 대한 방법들 및 장치
KR20120034042A (ko) * 2010-09-30 2012-04-09 한국전자통신연구원 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
KR20130085838A (ko) * 2012-01-20 2013-07-30 에스케이텔레콤 주식회사 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020159154A1 (en) * 2018-02-08 2020-08-06 Samsung Electronics Co., Ltd. Method for encoding images and corresponding terminals
US11297319B2 (en) 2018-02-08 2022-04-05 Samsung Electronics Co., Ltd Method for encoding images and corresponding terminals
CN113033582A (zh) * 2019-12-09 2021-06-25 杭州海康威视数字技术股份有限公司 模型训练方法、特征提取方法及装置
CN113033582B (zh) * 2019-12-09 2023-09-26 杭州海康威视数字技术股份有限公司 模型训练方法、特征提取方法及装置
CN112004088A (zh) * 2020-08-06 2020-11-27 杭州当虹科技股份有限公司 一种适用于avs2编码器的cu级qp分配算法
CN112004088B (zh) * 2020-08-06 2024-04-16 杭州当虹科技股份有限公司 一种适用于avs2编码器的cu级qp分配算法
CN114827630A (zh) * 2022-03-11 2022-07-29 华南理工大学 基于频域分布学习cu深度划分方法、系统、装置及介质
CN114827630B (zh) * 2022-03-11 2023-06-06 华南理工大学 基于频域分布学习cu深度划分方法、系统、装置及介质

Also Published As

Publication number Publication date
KR20180119753A (ko) 2018-11-05
KR102053242B1 (ko) 2019-12-06

Similar Documents

Publication Publication Date Title
WO2018199459A1 (ko) 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법
WO2022022297A1 (zh) 视频解码方法、视频编码方法、装置、设备及存储介质
CA2614016C (en) Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
WO2013062196A1 (ko) 영상 복호화 장치
WO2013062197A1 (ko) 영상 복호화 장치
WO2012134085A2 (ko) 인트라 예측 모드에서의 영상 복호화 방법
WO2013062191A1 (ko) 인트라 예측 모드에서의 영상 부호화 방법 및 장치
JP2003244702A (ja) ブロッキング効果を除去するためのフィルタリング方法及びその装置
WO2013062198A1 (ko) 영상 복호화 장치
JP2007300676A (ja) デジタル画像をフィルタリングする方法およびフィルタリング装置
KR20060109290A (ko) 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램
JP2008503177A (ja) 色差デブロッキングのための方法
KR20030086903A (ko) 페이딩 추정/보정
WO2013062194A1 (ko) 복원 블록을 생성하는 방법 및 장치
KR100708202B1 (ko) 블록킹 효과를 제거하기 위한 필터링 방법
WO2010147429A2 (ko) 의사 난수 필터를 이용한 영상 필터링 방법 및 장치
KR101345294B1 (ko) 영상의 양자화 장치 및 방법
JP5362723B2 (ja) 圧縮画像ノイズ除去装置と再生装置
CN115209157A (zh) 视频编解码方法、装置、计算机可读介质及电子设备
WO2018074617A1 (ko) 화면 내 예측에 대한 참조 모드 리스트를 사용하는 비디오 코딩 방법 및 장치
CN109547791B (zh) 图像帧内预测方法及其装置
WO2011059219A9 (ko) 동영상 압축 효율을 높이기 위한 변환블록의 부호화 장치와 방법
KR20060034294A (ko) 엔코딩 방법 및 디바이스
JP3985567B2 (ja) 符号化装置、および符号化方法
CN115209141A (zh) 视频编解码方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18792070

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18792070

Country of ref document: EP

Kind code of ref document: A1