WO2023214633A1 - 초해상도 신경망을 기반으로 한 화질개선 방법 및 장치 - Google Patents

초해상도 신경망을 기반으로 한 화질개선 방법 및 장치 Download PDF

Info

Publication number
WO2023214633A1
WO2023214633A1 PCT/KR2022/019384 KR2022019384W WO2023214633A1 WO 2023214633 A1 WO2023214633 A1 WO 2023214633A1 KR 2022019384 W KR2022019384 W KR 2022019384W WO 2023214633 A1 WO2023214633 A1 WO 2023214633A1
Authority
WO
WIPO (PCT)
Prior art keywords
distortion
data set
neural network
learning
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/019384
Other languages
English (en)
French (fr)
Inventor
황문경
김효성
허재호
김준호
김형덕
나태영
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority to CN202280097559.3A priority Critical patent/CN119452391A/zh
Publication of WO2023214633A1 publication Critical patent/WO2023214633A1/ko
Priority to US18/938,248 priority patent/US20250061547A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • This disclosure relates to a method and device for improving image quality based on a super-resolution neural network.
  • low-quality images can be converted into high-quality images.
  • a picture quality improvement model can be learned based on machine learning based on artificial neural networks.
  • sufficient supervised learning data for distortion is required.
  • distortion refers to blur and noise found in low-quality images.
  • As a method of collecting supervised learning data there is a method of manually converting low-quality data into high-quality data. This method consumes considerable cost. Meanwhile, depending on the service environment that provides video, there are cases where the supervised learning data itself cannot be collected.
  • the prior art collected supervised learning data by randomly adding distortions such as blur, noise, and compression to the target image.
  • This method is a universal method that can be applied to all images, but it has the problem of generating supervised learning data that does not focus on the distortion characteristics reflected only in the target image.
  • the image quality improvement model learned based on a data set reflecting many distortion characteristics has a problem in that it is not optimized for converting the target image into a high-definition image because it does not sufficiently learn the distortion characteristics reflected only in the target image.
  • the image quality improvement device calculates the similarity between the distortion characteristic value of the learning data set and the distortion characteristic value of the service data set, thereby generating the distortion most similar to the distortion characteristic of the service data set of the target image. You can select the added learning data set.
  • an image quality improvement apparatus may select a super-resolution neural network optimized for specific distortion characteristics based on similarity between distortion characteristic values.
  • an image quality improvement method optimized for the distortion characteristics of a target image includes the process of generating one or more training data sets to which one or more distortions are added; Inputting the one or more learning data sets into a Degradation Encoder Neural Network (DEN) to obtain each learning distortion characteristic value; Inputting a service data set consisting of image patches of the target image into the distortion coding neural network to obtain service distortion characteristic values; A process of calculating similarity between each learning distortion characteristic value and the service distortion characteristic value; and a process of selecting a learning data set with the highest similarity to the service distortion characteristic value.
  • DEN Degradation Encoder Neural Network
  • one or more super resolution neural networks are each used using learning data sets with different distortions added.
  • a process of learning to optimize for specific distortion A process of calculating similarity between a learning data set and a service data set applied to each of the one or more super-resolution neural networks using a distortion encoding neural network (DEN);
  • DEN distortion encoding neural network
  • a process of selecting a super-resolution neural network learned from a learning data set with the highest similarity among the one or more super-resolution neural networks and a method of improving image quality including a process of converting a target image into a high-definition image using a selected super-resolution neural network.
  • an image quality improvement device optimized for distortion characteristics of a target image includes: a memory storing one or more commands; And a processor, wherein the processor optimizes each of one or more Super Resolution Neural Networks (SRNs) to a specific distortion by executing the one or more instructions, using training data sets with different distortions added thereto. Learn as much as possible, and calculate the similarity between the training data set and the service data set applied to each of the one or more super-resolution neural networks using a distortion encoding neural network (DEN: Degradation Encoder Neural Network), and calculate the similarity among the one or more super-resolution neural networks.
  • a super-resolution neural network learned with the highest learning data set is selected, and an image quality improvement device is provided that converts the target image into a high-definition image using the selected super-resolution neural network.
  • the target image can be converted into a high-definition image using a super-resolution neural network optimized for the target image.
  • a super-resolution neural network is learned by focusing on the distortion characteristics of the target image among the previously learned super-resolution neural networks by calculating the similarity between the distortion characteristics of the learning data set and the distortion characteristics of the service data set.
  • Figure 1A is a flowchart of a method for improving image quality according to an embodiment of the present disclosure.
  • Figure 1B is a flowchart of a method for improving image quality according to another embodiment of the present disclosure.
  • Figure 2 is an example diagram illustrating a process for generating a learning data set according to an embodiment of the present disclosure.
  • Figure 3 is an exemplary diagram illustrating a process of learning a super-resolution neural network according to an embodiment of the present disclosure.
  • FIG. 4 is an exemplary diagram illustrating a process of extracting distortion characteristics by inputting a service data set into a distortion coding neural network according to an embodiment of the present disclosure.
  • FIG. 5A is an example diagram illustrating a process of calculating a weight based on the similarity between a learning data set and a service data set according to an embodiment of the present disclosure.
  • FIG. 5B is an exemplary diagram illustrating an example of a learning data set according to an embodiment of the present disclosure.
  • Figure 6 is a block diagram of an image quality improvement device according to an embodiment of the present disclosure.
  • symbols such as first, second, i), ii), a), and b) may be used. These codes are only used to distinguish the component from other components, and the nature, sequence, or order of the component is not limited by the code. In the specification, when a part is said to 'include' or 'have' a certain element, this means that it does not exclude other elements, but may further include other elements, unless explicitly stated to the contrary. .
  • Figure 1A is a flowchart of a method for improving image quality according to an embodiment of the present disclosure.
  • the image quality improvement device can generate one or more training data sets to which one or more distortions have been added (S100).
  • distortion includes blur, noise, etc.
  • the method of adding distortion may be to add one distortion characteristic at a specific ratio, or to add two or more distortion characteristics in combination at a certain ratio.
  • a training data set is one or more image patches included in a training video classified into one training set.
  • the image quality improvement device may calculate the similarity (score) between the distortion characteristic value of the learning data set and the distortion characteristic value of the service data set (S102).
  • the service data set is one or more image patches constituting the target image subject to image quality improvement classified into one service set.
  • An image quality improvement device can acquire distortion characteristic values of each data set using a distortion encoding neural network (DEN: Degradation Encoder Neural Network).
  • the distortion coding neural network is a neural network that outputs the characteristic value of the distortion included in the input image.
  • the output value of the distortion coding neural network is a vector that is clustered according to the distortion characteristics and intensity of the input image.
  • Distortion coding neural networks can be learned based on contrastive learning.
  • Contrast learning is a method of learning a learning object using an objective function designed to minimize the loss between image patches with the same distortion and maximize the loss between image patches with different distortions.
  • Contrast learning uses the first objective function ( ) is used to learn the distortion coding neural network.
  • the first objective function can be expressed using Equation 1.
  • DEN( ⁇ ) represents the output of the distortion coding neural network, is the total number of different distortions to be learned, and are a query sample and a positive sample corresponding to the mth distortion-added image patch, respectively.
  • An image patch refers to one image among a plurality of images constituting one data set. is a negative sample corresponding to the non-mth distortion-added image patch, is the total number of negative samples.
  • the image quality improvement device may input one or more learning data sets and one or more service data sets into a distortion coding neural network.
  • the image quality improvement device may obtain the distortion characteristic value of each of one or more learning data sets and the distortion characteristic value of the service data set based on the output of the distortion coding neural network.
  • Equation 2 The similarity between the distortion characteristic value of an arbitrary learning data set and the distortion characteristic value of the service data set can be calculated using Equation 2.
  • samples representing each data set can be extracted in advance.
  • Methods for extracting samples representing a data set include randomly sampling from the data set or selecting representative images for each cluster using K-means clustering.
  • the average of the distortion characteristic values for at least one sample selected from each learning data set is Can be used as a value expressing the distortion characteristic of each learning data set (hereinafter referred to as the learning distortion characteristic value).
  • These learning distortion characteristic values can be interpreted as values expressing the distortion characteristics that can best be restored by a super-resolution neural network to be learned using the corresponding learning data set.
  • the average of the distortion characteristic values for at least one sample selected from the service set is Can be used as a value expressing the distortion characteristics of the service data set (hereinafter, service distortion characteristic value).
  • the image quality improvement device may pre-calculate learning distortion characteristic values for each of one or more learning data sets and generate a look-up table in which the calculated values are arranged in the form of a table.
  • the video quality improvement device can select a learning data set with the highest similarity to the service distortion characteristic value (S104).
  • the reason for selecting the learning data set with the highest similarity is that a super-resolution neural network can be trained to optimize the distortion characteristics of the target image using this learning data set.
  • the image quality improvement device can learn a super resolution neural network (SRN) based on the selected learning data set (S106).
  • SRN super resolution neural network
  • the image quality improvement device can convert the target image into a high-definition image using a super-resolution neural network learned based on the selected learning data set (S108).
  • Figure 1B is a flowchart of a method for improving image quality according to another embodiment of the present disclosure.
  • the image quality improvement device may have one or more super-resolution neural networks optimized for different distortions (S150).
  • An image quality improvement device can generate one or more learning data sets optimized for different distortions.
  • the image quality improvement device can train one or more super-resolution neural networks using this learning data set.
  • Each of the one or more super-resolution neural networks corresponds to a super-resolution neural network optimized for a specific distortion.
  • the image quality improvement device may use a distortion coding neural network to calculate the similarity between each learning data set applied to one or more super-resolution neural networks and the service data set (S152).
  • a distortion coding neural network uses a distortion coding neural network to provide a learning distortion characteristic value, which is a value expressing the distortion characteristics of the learning data set applied to each super-resolution neural network, and a value expressing the distortion characteristics of the service data set.
  • Service distortion characteristic values can be obtained.
  • the learning distortion characteristic value is the average of the output of the distortion coding neural network for at least one sample selected from each learning data set
  • the service distortion characteristic value is the distortion for at least one sample selected from the service data set. It may be the average of the output of the encoding neural network.
  • the image quality improvement device may pre-calculate the learning distortion characteristic value of the learning data set applied to each super-resolution neural network and store it in the form of a lookup table.
  • the image quality improvement device may calculate similarity based on the difference between the learning distortion characteristic value and the service distortion characteristic value corresponding to each super-resolution neural network.
  • the image quality improvement device may select a super-resolution neural network to which a learning data set with the highest similarity to the service data set is applied among one or more pre-trained super-resolution neural networks (S154).
  • the image quality improvement device can convert the target image into a high-definition image using the selected super-resolution neural network (S156).
  • Figure 2 is an example diagram illustrating a process for generating a learning data set according to an embodiment of the present disclosure.
  • the image quality improvement device may add distortion to the original training image 200.
  • the image quality improvement device includes a learning data set (202) in which blur is added to the original learning image (200), a learning data set (204) in which noise is added to the original image (200), and a learning data set in which both blur and noise are added. (206) can be generated.
  • the image quality improvement device can generate a plurality of learning data sets 202, 204, and 206 by combining blur and noise at various intensities.
  • An image quality improvement device can learn a super-resolution neural network based on a learning data set that focuses on the distortion characteristics of the target image by generating a learning data set with distortion similar to the distortion characteristics of the target image.
  • Figure 3 is an exemplary diagram illustrating a process of learning a super-resolution neural network according to an embodiment of the present disclosure.
  • the image quality improvement device inputs a training image 300 to which random distortion has been added into the distortion coding neural network 30, obtains a learning distortion characteristic value 302, and
  • the output image 306 can be obtained by inputting it into the resolution neural network 32.
  • the image quality improvement device may calculate a second objective function based on the difference between the output image 306 and the target image 308.
  • the second objective function is a function for training a super-resolution neural network (SRN).
  • SRN super-resolution neural network
  • the weight 304 calculated based on the learning distortion characteristic value 302 may be reflected in the second objective function.
  • the second objective function can be expressed as Equation 3.
  • SRN ( ) is the output image 306 of the distortion coding neural network
  • the high-definition target image 308 that is the target of image quality improvement
  • the subscript i means the ith sample in the learning batch. means weight.
  • the weight may be determined based on the similarity between the training image 300 of the training data set and the target image of the service data set, and can be expressed using Equation 4.
  • Methods for extracting samples include randomly sampling from the service data set or selecting representative images for each cluster using the K-means clustering algorithm.
  • Video quality improvement devices are used for specific service data sets. may be calculated in advance and stored in a lookup table.
  • the image quality improvement device can learn a super-resolution neural network using a weight 304 and a second objective function generated based on calculation of the difference between the output image 306 and the target image 308.
  • the similarity between the learning data set and the service data set may be reflected as a weight in the error backpropagation process.
  • FIG. 4 is an exemplary diagram illustrating a process of extracting distortion characteristics by inputting a service data set into a distortion coding neural network according to an embodiment of the present disclosure.
  • the image quality improvement device inputs samples 400 extracted from the service data set into a distortion coding neural network before training the super-resolution neural network to obtain the service distortion characteristic value 402 in advance.
  • the service distortion characteristic value (402) is It can be expressed as a vector value (N is a natural number).
  • the video quality improvement device may calculate the average 404 of the service distortion characteristic values based on each service distortion characteristic value 402.
  • the average 404 of the service distortion characteristic value may be a value representing the distortion characteristic of the service data set.
  • FIG. 5A is an example diagram illustrating a process of calculating a weight based on the similarity between a learning data set and a service data set according to an embodiment of the present disclosure.
  • FIG. 5B is an exemplary diagram illustrating an example of a learning data set according to an embodiment of the present disclosure.
  • the image quality improvement device may input each image patch of the learning data set 500 into a distortion coding neural network to obtain a learning distortion characteristic value 502 of each image.
  • different distortions may be added to the image patches of the training data set 500, as shown in FIG. 5B.
  • the distortion characteristic value for learning (502) is It can be expressed as a vector value (N is a natural number).
  • the image quality improvement device may calculate the weight 506 of the learning data set based on the similarity between the learning distortion characteristic value 502 and the average service distortion characteristic value 504.
  • similarity can be utilized in two ways.
  • the first method as described in Figure 3, calculates a weight for each sample in the learning data set based on similarity and reflects it in the error backpropagation process for the super-resolution neural network.
  • the second way to utilize similarity is to select one of a plurality of super-resolution neural networks or a plurality of learning data sets based on similarity, as described above with reference to FIGS. 1A and 1B.
  • the data to be provided to the service is specified, there is no need to train multiple super-resolution neural networks, and it may be efficient to train only one super-resolution neural network based on the training data set with the highest similarity, as shown in Figure 1a.
  • the similarity of each of the plurality of data sets may be calculated. By comparing the calculated similarities, the data set with the highest similarity can be selected to train a super-resolution neural network.
  • Figure 6 is a block diagram of an image quality improvement device according to an embodiment of the present disclosure.
  • the image quality improvement device 600 includes all or part of a memory 602 and a processor 604.
  • the memory 602 may store a program that performs a method for improving image quality according to an embodiment of the present invention.
  • a program may include a plurality of instructions executable by the processor 604, and the image quality improvement method can be performed by executing the plurality of instructions by the processor 604.
  • the memory 602 may include at least one of volatile memory and non-volatile memory.
  • Volatile memory includes Static Random Access Memory (SRAM) or Dynamic Random Access Memory (DRAM), and non-volatile memory includes flash memory.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • Processor 604 may include at least one component capable of executing at least one instruction.
  • the processor 604 can execute instructions stored in the memory 602, and can perform the image quality improvement method according to the present disclosure by executing the instructions.
  • Various implementations of the devices and methods described herein may be implemented as digital electronic circuits, integrated circuits, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), computer hardware, firmware, software, and/or combinations thereof. It can be realized.
  • FPGAs field programmable gate arrays
  • ASICs application specific integrated circuits
  • Various implementations of the systems and techniques described herein may include digital electronic circuits, integrated circuits, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), computer hardware, firmware, software, and/or these. It can be realized through combination.
  • These various implementations may include being implemented as one or more computer programs executable on a programmable system.
  • the programmable system includes at least one programmable processor (which may be a special purpose processor) coupled to receive data and instructions from and transmit data and instructions to a storage system, at least one input device, and at least one output device. or may be a general-purpose processor).
  • Computer programs also known as programs, software, software applications or code
  • Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. These computer-readable recording media are non-volatile or non-transitory such as ROM, CD-ROM, magnetic tape, floppy disk, memory card, hard disk, magneto-optical disk, and storage device. It may be a medium, and may further include a transitory medium such as a data transmission medium. Additionally, the computer-readable recording medium may be distributed in a computer system connected to a network, and the computer-readable code may be stored and executed in a distributed manner.
  • a programmable computer includes a programmable processor, a data storage system (including volatile memory, non-volatile memory, or another type of storage system, or a combination thereof), and at least one communication interface.
  • a programmable computer may be one of a server, network device, set-top box, embedded device, computer expansion module, personal computer, laptop, personal data assistant (PDA), cloud computing system, or mobile device.
  • PDA personal data assistant

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시는 초해상도 신경망을 기반으로 한 화질개선 방법 및 장치를 제공한다. 본 개시의 일 실시예에 따르면, 타겟 영상의 왜곡 특성에 최적화된 화질개선 방법으로서, 하나 이상의 왜곡을 첨가한 학습용 데이터 세트를 하나 이상 생성하는 과정; 상기 하나 이상의 학습용 데이터 세트를 왜곡 부호화 신경망(DEN: Degradation Encoder Neural Network)에 입력하여 각각의 학습용 왜곡 특성값을 획득하는 과정; 상기 타겟 영상의 이미지 패치로 구성된 서비스 데이터 세트를 상기 왜곡 부호화 신경망에 입력하여 서비스 왜곡 특성값을 획득하는 과정; 상기 각각의 학습용 왜곡 특성값과 상기 서비스 왜곡 특성값 간의 유사도를 계산하는 과정; 및 상기 서비스 왜곡 특성값과 가장 유사도가 높은 학습용 데이터 세트를 선정하는 과정을 포함하는 영상 화질개선 방법을 제공한다.

Description

초해상도 신경망을 기반으로 한 화질개선 방법 및 장치
본 개시는 초해상도 신경망을 기반으로 한 화질개선 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 개시에 대한 배경정보를 제공할 뿐 종래기술을 구성하는 것이 아니다.
화질개선 모델을 기초로 저화질 영상을 고화질 영상으로 변환할 수 있다. 인공신경망을 기반으로 한 머신러닝(machine learning)을 기초로 화질개선 모델을 학습시킬 수 있다. 화질개선 모델을 학습시키기 위해서는, 왜곡(distortion)에 대한 충분한 지도학습 데이터가 필요하다. 여기서 왜곡이란, 저화질 영상에서 발견되는 블러(blur) 및 노이즈(noise) 등을 의미한다. 지도학습 데이터를 수집하는 방식으로서, 수작업으로 저화질 데이터를 고화질 데이터로 변환하는 방식이 있다. 이 방식은 상당한 비용이 소모된다. 한편, 영상을 제공하는 서비스 환경에 따라서는, 지도학습 데이터 자체를 수집할 수 없는 경우도 있다.
지도학습 데이터를 생성하기 위하여, 종래 기술은 타겟 영상에 블러, 노이즈 및 압축(compression) 등의 왜곡을 무작위적으로 첨가하여 지도학습 데이터를 수집하였다. 이 방식은, 모든 영상에 적용할 수 있는 보편적인 방식이지만, 타겟 영상에만 반영된 왜곡 특성에 초점을 맞추지 못한 지도학습 데이터를 생성하는 문제점이 있다.
한편, 많은 왜곡 특성이 반영된 데이터 세트를 기초로 학습된 화질개선 모델은, 타겟 영상에만 반영된 왜곡 특성에 대하여 충분한 학습이 이루어지지 않으므로, 타겟 영상을 고화질 영상으로 변환하는 데 최적화되지 않다는 문제점이 있다.
본 개시의 일 실시예에 따르면, 영상 화질개선 장치는, 학습용 데이터 세트의 왜곡 특성값과 서비스 데이터 세트의 왜곡 특성값간의 유사도를 계산함으로써, 타겟 영상의 서비스 데이터 세트의 왜곡 특성과 가장 유사한 왜곡을 첨가한 학습용 데이터 세트를 선정할 수 있다.
본 개시의 일 실시예에 따르면, 영상 화질개선 장치는, 왜곡 특성값간의 유사도를 기초로 특정한 왜곡 특성에 최적화된 초해상도 신경망을 선정할 수 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에 따르면, 타겟 영상의 왜곡 특성에 최적화된 화질개선 방법으로서, 하나 이상의 왜곡을 첨가한 학습용 데이터 세트를 하나 이상 생성하는 과정; 상기 하나 이상의 학습용 데이터 세트를 왜곡 부호화 신경망(DEN: Degradation Encoder Neural Network)에 입력하여 각각의 학습용 왜곡 특성값을 획득하는 과정; 상기 타겟 영상의 이미지 패치로 구성된 서비스 데이터 세트를 상기 왜곡 부호화 신경망에 입력하여 서비스 왜곡 특성값을 획득하는 과정; 상기 각각의 학습용 왜곡 특성값과 상기 서비스 왜곡 특성값 간의 유사도를 계산하는 과정; 및 상기 서비스 왜곡 특성값과 가장 유사도가 높은 학습용 데이터 세트를 선정하는 과정을 포함하는 영상 화질개선 방법을 제공한다.
본 개시의 일 실시예에 따르면, 타겟 영상의 왜곡 특성에 최적화된 화질개선 방법으로서, 서로 다른 왜곡이 첨가된 학습용 데이터 세트를 이용하여, 하나 이상의 초해상도 신경망(SRN: Super Resolution Neural Network) 각각을 특정한 왜곡에 최적화되도록 학습시키는 과정; 왜곡 부호화 신경망(DEN: Degradation Encoder Neural Network)을 이용하여, 상기 하나 이상의 초해상도 신경망 각각에 적용된 학습용 데이터 세트와 서비스 데이터 세트의 유사도를 계산하는 과정; 상기 하나 이상의 초해상도 신경망 중 유사도가 가장 높은 학습용 데이터 세트로 학습된 초해상도 신경망을 선정하는 과정; 및 선정된 초해상도 신경망을 이용하여 타겟 영상을 고화질 영상으로 변환하는 과정을 포함하는 영상 화질개선 방법을 제공한다.
본 개시의 일 실시예에 따르면, 타겟 영상의 왜곡 특성에 최적화된 화질개선 장치로서, 하나 이상의 명령어를 저장하는 메모리; 및 프로세서를 포함하되, 상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써, 서로 다른 왜곡이 첨가된 학습용 데이터 세트를 이용하여, 하나 이상의 초해상도 신경망(SRN: Super Resolution Neural Network) 각각을 특정한 왜곡에 최적화되도록 학습시키고, 왜곡 부호화 신경망(DEN: Degradation Encoder Neural Network)을 이용하여, 상기 하나 이상의 초해상도 신경망 각각에 적용된 학습용 데이터 세트와 서비스 데이터 세트의 유사도를 계산하고, 상기 하나 이상의 초해상도 신경망 중 유사도가 가장 높은 학습용 데이터 세트로 학습된 초해상도 신경망을 선정하며, 선정된 초해상도 신경망을 이용하여 타겟 영상을 고화질 영상으로 변환하는, 영상 화질개선 장치를 제공한다.
본 개시의 일 실시예에 따르면, 가장 유사도가 높은 학습용 데이터 세트를 기초로 하나의 초해상도 신경망을 학습시킴으로써, 타겟 영상에 최적화된 초해상도 신경망을 이용하여 타겟 영상을 고화질 영상으로 변환할 수 있는 효과가 있다.
본 개시의 일 실시예에 따르면, 학습용 데이터 세트의 왜곡 특성과 서비스 데이터 세트의 왜곡 특성 간의 유사도를 계산함으로써, 기 학습된 초해상도 신경망들 중 타겟 영상의 왜곡 특성에 초점을 맞추어 학습된 초해상도 신경망을 선정할 수 있는 효과가 있다.
본 개시의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 상기의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1a는 본 개시의 일 실시예에 따른 영상 화질개선 방법의 흐름도이다.
도 1b는 본 개시의 다른 실시예에 따른 영상 화질개선 방법의 흐름도이다.
도 2는 본 개시의 일 실시예에 따른 학습용 데이터 세트를 생성하는 과정을 도시한 예시도이다.
도 3은 본 개시의 일 실시예에 따라 초해상도 신경망을 학습시키는 과정을 도시한 예시도이다.
도 4는 본 개시의 일 실시예에 따라 서비스 데이터 세트를 왜곡 부호화 신경망에 입력하여 왜곡 특성을 추출하는 과정을 도시한 예시도이다.
도 5a는 본 개시의 일 실시예에 따라 학습용 데이터 세트와 서비스 데이터 세트 간의 유사도를 기초로 가중치를 계산하는 과정을 도시한 예시도이다.
도 5b는 본 개시의 일 실시예에 따른 학습용 데이터 세트의 일 예를 도시한 예시도이다.
도 6은 본 개시의 일 실시예에 따른 영상 화질개선 장치의 구성블록도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 개시에 따른 실시예의 구성요소를 설명하는 데 있어서, 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 부호에 의해 해당 구성요소의 본질 또는 차례나 순서 등이 한정되지 않는다. 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1a는 본 개시의 일 실시예에 따른 영상 화질개선 방법의 흐름도이다.
도 1a를 참조하면, 영상 화질개선 장치는, 하나 이상의 왜곡이 첨가된 학습용 데이터 세트를 하나 이상 생성할 수 있다(S100). 여기서, 왜곡은, 블러(blur) 및 노이즈(noise) 등을 포함한다. 왜곡을 첨가하는 방식은, 하나의 왜곡 특성을 특정한 비율로 첨가하거나, 두 가지 이상의 왜곡 특성을 각각 일정한 비율로 조합하여 첨가할 수도 있다. 학습용 데이터 세트는, 학습용 영상에 포함된 하나 이상의 이미지 패치를 하나의 학습용 세트로 분류한 것이다.
영상 화질개선 장치는, 학습용 데이터 세트의 왜곡 특성값 및 서비스 데이터 세트의 왜곡 특성값 간의 유사도(score)를 계산할 수 있다(S102). 여기서, 서비스 데이터 세트란, 화질개선의 대상이 되는 타겟 영상을 구성하는 하나 이상의 이미지 패치를 하나의 서비스 세트로 분류한 것이다.
영상 화질개선 장치는, 왜곡 부호화 신경망(DEN: Degradation Encoder Neural Network)을 이용하여, 각 데이터 세트의 왜곡 특성값을 획득할 수 있다. 여기서, 왜곡 부호화 신경망이란, 입력 영상에 포함된 왜곡의 특성값을 출력하는 신경망이다. 왜곡 부호화 신경망의 출력값은 입력 영상의 왜곡 특성과 강도에 의하여 군집화되는 벡터이다. 왜곡 부호화 신경망은 대조 학습(contrastive learning)을 기초로 학습될 수 있다. 대조 학습은, 동일한 왜곡을 가진 이미지 패치 간에는 손실을 최소화하고 서로 다른 왜곡을 가진 이미지 패치 간에는 손실을 최대화하도록 설계된 목적함수를 이용하여, 학습 대상을 학습시키는 방식이다. 대조 학습은 제1 목적함수(
Figure PCTKR2022019384-appb-img-000001
)를 이용하여 왜곡 부호화 신경망을 학습시킨다. 제1 목적함수는 수학식 1을 이용하여 표현할 수 있다.
Figure PCTKR2022019384-appb-img-000002
여기서, DEN(·)은 왜곡 부호화 신경망의 출력을 나타내고,
Figure PCTKR2022019384-appb-img-000003
는 학습하고자 하는 서로 다른 왜곡의 총 수이고,
Figure PCTKR2022019384-appb-img-000004
및
Figure PCTKR2022019384-appb-img-000005
는 각각 m 번째 왜곡이 첨가된 이미지 패치에 해당하는 쿼리 샘플(query sample) 및 포지티브 샘플(positive sample)이다. 이미지 패치란, 하나의 데이터 세트를 구성하는 복수의 이미지들 중 하나의 이미지를 의미한다.
Figure PCTKR2022019384-appb-img-000006
은, m 번째가 아닌 왜곡이 첨가된 이미지 패치에 해당하는 네거티브 샘플(negative sample)이며,
Figure PCTKR2022019384-appb-img-000007
은 네거티브 샘플의 총 수이다. 대조 학습을 이용하여 왜곡 부호화 신경망을 학습시키는 경우, 네거티브 샘플의 수가 많을수록 학습이 안정적으로 수행될 수 있다.
영상 화질개선 장치는, 하나 이상의 학습용 데이터 세트 및 서비스 데이터 세트를 각각 왜곡 부호화 신경망에 입력할 수 있다. 영상 화질개선 장치는, 왜곡 부호화 신경망의 출력을 기초로, 하나 이상의 학습용 데이터 세트 각각의 왜곡 특성값 및 서비스 데이터 세트의 왜곡 특성값을 구할 수 있다.
임의의 학습용 데이터 세트의 왜곡 특성 값과 서비스 데이터 세트의 왜곡 특성값 간의 유사도는 수학식 2를 이용하여 계산될 수 있다.
Figure PCTKR2022019384-appb-img-000008
여기서,
Figure PCTKR2022019384-appb-img-000009
는 학습용 데이터 세트를 대표하는 샘플들의 총 수이고,
Figure PCTKR2022019384-appb-img-000010
는 서비스 데이터 세트를 대표하는 샘플들의 총 수이다.
데이터 세트에 포함된 모든 샘플들을 기초로 유사도를 계산하는 것은 비효율적이므로, 각 데이터 세트를 대표하는 샘플들을 미리 추출할 수 있다. 데이터 세트를 대표하는 샘플들을 추출하는 방식은, 데이터 세트 중 임의로 샘플링 하거나 K-means 군집화를 이용하여 군집 별 대표 영상을 선정하여 샘플링하는 방식 등이 있다.
수학식 2에서, 각 학습용 데이터 세트에서 선정된 적어도 하나의 샘플들에 대한 왜곡 특성값의 평균인
Figure PCTKR2022019384-appb-img-000011
은, 각 학습용 데이터 세트의 왜곡 특성을 표현하는 값(이하, 학습용 왜곡 특성값)으로 이용될 수 있다. 이러한 학습용 왜곡 특성값은, 해당 학습용 데이터 세트를 이용하여 학습될 초해상도 신경망이 가장 잘 복원할 수 있는 왜곡의 특성을 표현하는 값으로 해석될 수 있다. 또한, 서비스 세트에서 선정된 적어도 하나의 샘플들에 대한 왜곡 특성값의 평균인
Figure PCTKR2022019384-appb-img-000012
는 서비스 데이터 세트의 왜곡 특성을 표현하는 값(이하, 서비스 왜곡 특성값)으로 이용될 수 있다. 영상 화질개선 장치는, 하나 이상의 학습용 데이터 세트 각각에 대해 학습용 왜곡 특성값을 미리 계산하고, 계산된 값들을 표의 형태로 배치한 룩업테이블을 생성할 수 있다.
영상 화질개선 장치는, 서비스 왜곡 특성값과의 유사도가 가장 높은 학습용 데이터 세트를 선정할 수 있다(S104). 유사도가 가장 높은 학습용 데이터 세트를 선정하는 이유는, 이 학습용 데이터 세트를 이용하여, 타겟 영상의 왜곡 특성에 최적화되도록 초해상도 신경망을 학습시킬 수 있기 때문이다.
영상 화질개선 장치는, 선정된 학습용 데이터 세트를 기초로 하나의 초해상도 신경망(SRN: Super Resolution Neural Network)를 학습시킬 수 있다(S106).
영상 화질개선 장치는, 선정된 학습용 데이터 세트를 기초로 학습된 초해상도 신경망을 이용하여 타겟 영상을 고화질 영상으로 변환할 수 있다(S108).
도 1b는 본 개시의 다른 실시예에 따른 영상 화질개선 방법의 흐름도이다.
도 1b를 참조하면, 영상 화질개선 장치는, 서로 다른 왜곡에 최적화된 하나 이상의 초해상도 신경망을 확보하고 있을 수 있다(S150). 영상 화질개선 장치는, 서로 다른 왜곡에 최적화된 하나 이상의 학습용 데이터 세트를 생성할 수 있다. 영상 화질개선 장치는, 이 학습용 데이터 세트를 이용하여, 하나 이상의 초해상도 신경망을 학습시킬 수 있다. 하나 이상의 초해상도 신경망 각각은, 특정한 왜곡에 최적화된 초해상도 신경망에 해당하게 된다.
영상 화질개선 장치는, 왜곡 부호화 신경망을 이용하여, 하나 이상의 초해상도 신경망에 적용된 학습용 데이터 세트 각각과 서비스 데이터 세트 간의 유사도를 계산할 수 있다(S152). 예를 들어, 영상화질개선 장치는, 왜곡 부호화 신경망을 이용하여, 각 초해상도 신경망에 적용된 학습용 데이터 세트의 왜곡의 특성을 표현하는 값인 학습용 왜곡 특성값 및 서비스 데이터 세트의 왜곡의 특성을 표현하는 값인 서비스 왜곡 특성값을 획득할 수 있다. 여기서, 학습용 왜곡 특성값은 각 학습용 데이터 세트에서 선정된 적어도 하나의 샘플들에 대한 왜곡 부호화 신경망의 출력의 평균이고, 서비스 왜곡 특성값은 서비스 데이터 세트에서 선정된 적어도 하나의 샘플들에 대한 상기 왜곡 부호화 신경망의 출력의 평균일 수 있다. 영상 화질개선 장치는, 각 초해상도 신경망에 적용된 학습용 데이터 세트의 학습용 왜곡 특성값을 미리 계산하여 룩업 테이블 형태로 저장하고 있을 수도 있다. 영상화질개선 장치는, 각 초해상도 신경망에 대응하는 학습용 왜곡 특성값과 서비스 왜곡 특성값 간의 차를 기초로, 유사도를 계산할 수 있다.
영상 화질개선 장치는, 하나 이상의 기학습된 초해상도 신경망 중에서, 서비스 데이터 세트와의 유사도가 가장 높은 학습용 데이터 세트가 적용된 초해상도 신경망을 선정할 수 있다(S154).
영상 화질개선 장치는, 선정된 초해상도 신경망을 이용하여 타겟 영상을 고화질 영상으로 변환할 수 있다(S156).
도 2는 본 개시의 일 실시예에 따른 학습용 데이터 세트를 생성하는 과정을 도시한 예시도이다.
도 2를 참조하면, 영상 화질개선 장치는 학습용 이미지 원본(200)에 왜곡을 첨가할 수 있다. 영상 화질개선 장치는, 학습용 이미지 원본(200)에 블러를 첨가한 학습용 데이터 세트(202), 원본(200)에 노이즈를 첨가한 학습용 데이터 세트(204) 및 블러와 노이즈를 모두 첨가한 학습용 데이터 세트(206)를 생성할 수 있다. 영상 화질개선 장치는, 블러와 노이즈를 여러 강도로 조합하여 복수의 학습용 데이터 세트(202, 204, 206)를 생성할 수 있다.
영상 화질개선 장치는 타겟 영상의 왜곡 특성과 유사한 왜곡을 첨가한 학습용 데이터 세트를 생성함으로써, 타겟 영상의 왜곡 특성에 초점을 맞춘 학습용 데이터 세트를 기초로 초해상도 신경망을 학습시킬 수 있다.
도 3은 본 개시의 일 실시예에 따라 초해상도 신경망을 학습시키는 과정을 도시한 예시도이다.
도 3을 참조하면, 영상 화질개선 장치는 임의의 왜곡이 첨가된 학습용 영상(300)을 왜곡 부호화 신경망(30)에 입력하여 학습용 왜곡 특성값(302)을 획득하고, 학습용 영상(300)을 초해상도 신경망(32)에 입력하여 출력 영상(306)을 획득할 수 있다.
영상 화질개선 장치는 출력 영상(306)과 목표 영상(308) 간의 차이를 기초로, 제2 목적함수를 계산할 수 있다. 제2 목적함수란, 초해상도 신경망(SRN)을 학습시키는 함수이다. 제2 목적함수에는, 학습용 왜곡 특성값(302)을 기초로 산출된 가중치(304)가 반영될 수 있다. 제2 목적함수는 수학식 3과 같이 표현될 수 있다.
Figure PCTKR2022019384-appb-img-000013
여기서
Figure PCTKR2022019384-appb-img-000014
는 임의의 왜곡이 첨가된 저화질 학습용 영상(300)이고, SRN(
Figure PCTKR2022019384-appb-img-000015
)은 왜곡 부호화 신경망의 출력 영상(306)이며,
Figure PCTKR2022019384-appb-img-000016
는 화질개선의 목표가 되는 고화질 목표 영상(308)이며, 첨자 i 는 학습 배치 내의 i 번째 샘플임을 의미한다.
Figure PCTKR2022019384-appb-img-000017
는 가중치를 의미한다.
가중치는, 학습용 데이터 세트의 학습용 영상(300)과 서비스 데이터 세트의 타겟 영상 간의 유사도를 기초로 결정될 수 있으며, 수학식 4를 이용하여 표현될 수 있다.
Figure PCTKR2022019384-appb-img-000018
여기서
Figure PCTKR2022019384-appb-img-000019
는 학습용 배치에 포함된 샘플들의 총 수이며,
Figure PCTKR2022019384-appb-img-000020
는 서비스 데이터 세트를 대표하는 샘플들의 총 수이다.
가중치 계산 시에 서비스 데이터 세트의 모든 영상을 고려하는 것은 계산적으로 큰 부담을 가져오므로, 서비스 데이터 세트를 대표하는
Figure PCTKR2022019384-appb-img-000021
개의 샘플들이 미리 확보되어있을 수 있다.
Figure PCTKR2022019384-appb-img-000022
개의 샘플들을 추출하는 방식은, 서비스 데이터 세트 중 임의로 샘플링 하거나 K-평균(K-means) 군집화 알고리즘을 이용하여 군집 별 대표 영상을 선정하여 샘플링하는 방식 등이 있다.
Figure PCTKR2022019384-appb-img-000023
는, 서비스 데이터 세트의 왜곡 특성을 표현하는 값으로 해석될 수 있다. 영상 화질개선 장치는, 특정 서비스 데이터 세트에 대해
Figure PCTKR2022019384-appb-img-000024
을 미리 계산하여, 룩업테이블에 저장하고 있을 수 있다.
영상 화질개선 장치는, 출력 영상(306)과 목표 영상(308) 간의 차이를 가중치(304)와 연산을 기초로 생성된 제2 목적함수를 이용하여 초해상도 신경망을 학습시킬 수 있다. 이상과 같이, 본 개시의 일 실시에에 의하면 학습용 데이터 세트와 서비스 데이터 세트 간의 유사도가 오류 역전파 과정에서 가중치로 반영될 수 있다.
도 4는 본 개시의 일 실시예에 따라 서비스 데이터 세트를 왜곡 부호화 신경망에 입력하여 왜곡 특성을 추출하는 과정을 도시한 예시도이다.
도 4를 참조하면, 영상 화질개선 장치는, 초해상도 신경망을 학습시키기 전에 서비스 데이터 세트에서 추출된 샘플들(400)을 왜곡 부호화 신경망에 입력하여, 서비스 왜곡 특성값(402)을 미리 획득해 놓을 수 있다. 서비스 왜곡 특성값(402)은
Figure PCTKR2022019384-appb-img-000025
의 벡터 값(N은 자연수)으로 표현될 수 있다. 영상 화질개선 장치는, 각각의 서비스 왜곡 특성값(402)을 기초로 서비스 왜곡 특성값의 평균(404)을 계산할 수 있다. 여기서, 서비스 왜곡 특성값의 평균(404)은, 서비스 데이터 세트의 왜곡 특성을 표현하는 값일 수 있다.
도 5a는 본 개시의 일 실시예에 따라 학습용 데이터 세트와 서비스 데이터 세트 간의 유사도를 기초로 가중치를 계산하는 과정을 도시한 예시도이다.
도 5b는 본 개시의 일 실시예에 따른 학습용 데이터 세트의 일 예를 도시한 예시도이다.
도 5a를 참조하면, 영상 화질개선 장치는, 학습용 데이터 세트(500)의 이미지 패치 각각을 왜곡 부호화 신경망에 입력하여 각 이미지의 학습용 왜곡 특성값(502)을 획득할 수 있다. 여기서, 학습용 데이터 세트(500)의 이미지 패치들에는, 도 5b와 같이 서로 다른 왜곡이 첨가되어 있을 수 있다. 학습용 왜곡 특성값(502)은
Figure PCTKR2022019384-appb-img-000026
의 벡터 값(N은 자연수)으로 표현될 수 있다. 영상 화질개선 장치는, 학습용 왜곡 특성값(502)과 서비스 왜곡 특성값의 평균(504) 간의 유사도를 기초로 학습용 데이터 세트의 가중치(506)를 계산할 수 있다.
본 개시에서 유사도는 두가지 방식으로 활용될 수 있다. 첫번째 방식은, 도 3에서 서술한 것과 같이, 유사도를 기초로 학습용 데이터 세트 내의 각 샘플에 대한 가중치를 계산하여, 초해상도 신경망에 대한 오류 역전파 과정에 반영하는 것이다.
유사도를 활용하는 두번째 방식은 도 1a 내지 도 1b에서 전술한 것과 같이, 유사도를 기초로 복수의 초해상도 신경망 또는 복수의 학습용 데이터 세트 중 하나를 선정하는 것이다. 서비스에 제공될 데이터가 특정되어 있는 경우, 복수의 초해상도 신경망을 학습시킬 필요가 없으며, 도 1a와 같이 가장 유사도가 높은 학습용 데이터 세트를 기초로 하나의 초해상도 신경망만을 학습시키는 것이 효율적일 수 있다. 예컨대, 타겟 영상의 왜곡 특성값과 가장 유사한 왜곡을 가지는 데이터 세트를 선택하기 위하여, 복수의 데이터 세트들에 대하여 각각의 유사도를 계산할 수 있다. 계산된 유사도를 상호간 비교하여, 가장 높은 유사도에 해당하는 데이터 세트를 선정하여 하나의 초해상도 신경망을 학습시킬 수 있다.
도 6은 본 개시의 일 실시예에 따른 영상 화질개선 장치의 구성블록도이다.
도 6을 참조하면, 영상 화질개선 장치(600)는 메모리(602) 및 프로세서(604)를 전부 또는 일부 포함한다.
메모리(602)는 본 발명의 일 실시예에 따른 영상 화질개선 방법을 수행하도록 하는 프로그램을 저장할 수 있다. 예컨대, 프로그램은 프로세서(604)에 의해서 실행 가능한(executable) 복수의 명령어들을 포함할 수 있고, 복수의 명령어들이 프로세서(604)에 의해서 실행됨으로써 영상 화질개선 방법이 수행될 수 있다.
메모리(602)는 휘발성 메모리 및 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 휘발성 메모리는 SRAM(Static Random Access Memory) 또는 DRAM(Dynamic Random Access Memory) 등을 포함하고, 비휘발성 메모리는 플래시 메모리(flash memory) 등을 포함한다.
프로세서(604)는 적어도 하나의 명령어를 실행할 수 있는 적어도 하나의 구성을 포함할 수 있다. 프로세서(604)는 메모리(602)에 저장된 명령어들을 실행할 수 있으며, 명령어들을 실행함으로써 본 개시에 따른 영상 화질개선 방법을 수행할 수 있다.
본 명세서에 설명되는 장치 및 방법의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, FPGA(Field Programmable Gate Array), ASIC(Application Specific Integrated Circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 실현될 수 있다.
본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는 기록매체"에 저장된다.
컴퓨터가 읽을 수 있는 기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비일시적인(non-transitory) 매체일 수 있으며, 또한 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.
본 개시의 순서도/흐름도에서는 각각의 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일부 실시예의 기술 사상을 예시적으로 설명한 것에 불과하다. 다시 말해, 본 발명의 일부 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일부 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 본 개시의 순서도/흐름도에 기재된 과정을 변경하여 실행하거나 각각의 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 본 개시의 순서도/흐름도는 시계열적인 순서로 한정되는 것은 아니다.
본 명세서에 설명되는 장치 및 방법의 다양한 구현예들은, 프로그램가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램가능 컴퓨터는 서버, 네트워크 기기, 셋탑 박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩탑, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
(부호의 설명)
600: 영상 화질개선 장치
602: 메모리
604: 프로세서
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2022년 05월 06일에 한국에 출원한 특허출원번호 제10-2022-0056193호에 대해 우선권을 주장한다.

Claims (10)

  1. 타겟 영상의 왜곡 특성에 최적화된 화질개선 방법으로서,
    하나 이상의 왜곡을 첨가한 학습용 데이터 세트를 하나 이상 생성하는 과정;
    상기 하나 이상의 학습용 데이터 세트를 왜곡 부호화 신경망(DEN: Degradation Encoder Neural Network)에 입력하여 각각의 학습용 왜곡 특성값을 획득하는 과정;
    상기 타겟 영상의 이미지 패치로 구성된 서비스 데이터 세트를 상기 왜곡 부호화 신경망에 입력하여 서비스 왜곡 특성값을 획득하는 과정;
    상기 각각의 학습용 왜곡 특성값과 상기 서비스 왜곡 특성값 간의 유사도를 계산하는 과정; 및
    상기 서비스 왜곡 특성값과 가장 유사도가 높은 학습용 데이터 세트를 선정하는 과정
    을 포함하는 영상 화질개선 방법.
  2. 제1항에 있어서,
    상기 선정된 학습용 데이터 세트를 기초로 하나의 초해상도 신경망(SRN: Super Resolution Neural Network)을 학습시키는 과정; 및
    상기 초해상도 신경망을 이용하여, 상기 타겟 영상을 고화질 영상으로 변환하는 과정을 더 포함하는 영상 화질개선 방법.
  3. 제1항에 있어서,
    상기 학습용 왜곡 특성값은, 각 학습용 데이터 세트에서 선정된 적어도 하나의 샘플들에 대한 상기 왜곡 부호화 신경망의 출력의 평균이고,
    상기 서비스 왜곡 특성값은, 상기 서비스 데이터 세트에서 선정된 적어도 하나의 샘플들에 대한 상기 왜곡 부호화 신경망의 출력의 평균인 것을 특징으로 하는, 영상 화질개선 방법.
  4. 제1항에 있어서,
    상기 유사도는, 상기 각각의 학습용 왜곡 특성값과 상기 서비스 왜곡 특성값 간의 차를 기초로 산출되는 것을 특징으로 하는, 영상 화질개선방법.
  5. 명령어가 저장된 컴퓨터로 읽을 수 있는 기록매체로서, 상기 명령어는 상기 컴퓨터에 의해 실행될 때 상기 컴퓨터로 하여금, 제1항에 따른 방법을 수행하도록 하는, 컴퓨터로 읽을 수 있는 기록매체.
  6. 타겟 영상의 왜곡 특성에 최적화된 화질개선 방법으로서,
    서로 다른 왜곡이 첨가된 학습용 데이터 세트를 이용하여, 하나 이상의 초해상도 신경망(SRN: Super Resolution Neural Network) 각각을 특정한 왜곡에 최적화되도록 학습시키는 과정;
    왜곡 부호화 신경망(DEN: Degradation Encoder Neural Network)을 이용하여, 상기 하나 이상의 초해상도 신경망 각각에 적용된 학습용 데이터 세트와 서비스 데이터 세트의 유사도를 계산하는 과정;
    상기 하나 이상의 초해상도 신경망 중 유사도가 가장 높은 학습용 데이터 세트로 학습된 초해상도 신경망을 선정하는 과정; 및
    선정된 초해상도 신경망을 이용하여 타겟 영상을 고화질 영상으로 변환하는 과정
    을 포함하는 영상 화질개선 방법.
  7. 제6항에 있어서,
    상기 유사도를 계산하는 과정은,
    상기 왜곡 부호화 신경망을 이용하여, 각 초해상도 신경망에 적용된 학습용 데이터 세트의 왜곡의 특성을 표현하는 값인 학습용 왜곡 특성값 및 상기 서비스 데이터 세트의 왜곡의 특성을 표현하는 값인 서비스 왜곡 특성값을 획득하는 과정; 및
    상기 학습용 왜곡 특성값과 상기 서비스 왜곡 특성값 간의 차를 기초로, 상기 유사도를 계산하는 과정
    을 포함하는 것을 특징으로 하는, 영상화질 개선방법.
  8. 제7항에 있어서,
    상기 학습용 왜곡 특성값은, 각 학습용 데이터 세트에서 선정된 적어도 하나의 샘플들에 대한 상기 왜곡 부호화 신경망의 출력의 평균이고,
    상기 서비스 왜곡 특성값은, 상기 서비스 데이터 세트에서 선정된 적어도 하나의 샘플들에 대한 상기 왜곡 부호화 신경망의 출력의 평균인 것을 특징으로 하는, 영상 화질개선 방법.
  9. 명령어가 저장된 컴퓨터로 읽을 수 있는 기록매체로서, 상기 명령어는 상기 컴퓨터에 의해 실행될 때 상기 컴퓨터로 하여금, 제6항에 따른 방법을 수행하도록 하는, 컴퓨터로 읽을 수 있는 기록매체.
  10. 타겟 영상의 왜곡 특성에 최적화된 화질개선 장치로서,
    하나 이상의 명령어를 저장하는 메모리; 및
    프로세서를 포함하되,
    상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써,
    서로 다른 왜곡이 첨가된 학습용 데이터 세트를 이용하여, 하나 이상의 초해상도 신경망(SRN: Super Resolution Neural Network) 각각을 특정한 왜곡에 최적화되도록 학습시키고,
    왜곡 부호화 신경망(DEN: Degradation Encoder Neural Network)을 이용하여, 상기 하나 이상의 초해상도 신경망 각각에 적용된 학습용 데이터 세트와 서비스 데이터 세트의 유사도를 계산하고,
    상기 하나 이상의 초해상도 신경망 중 유사도가 가장 높은 학습용 데이터 세트로 학습된 초해상도 신경망을 선정하며,
    선정된 초해상도 신경망을 이용하여 타겟 영상을 고화질 영상으로 변환하는,
    영상 화질개선 장치.
PCT/KR2022/019384 2022-05-06 2022-12-01 초해상도 신경망을 기반으로 한 화질개선 방법 및 장치 Ceased WO2023214633A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280097559.3A CN119452391A (zh) 2022-05-06 2022-12-01 基于超分辨率神经网络提高图像质量的方法和装置
US18/938,248 US20250061547A1 (en) 2022-05-06 2024-11-05 Method and device for improving image quality on basis of super-resolution neural network

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0056193 2022-05-06
KR1020220056193A KR20230156585A (ko) 2022-05-06 2022-05-06 초해상도 신경망을 기반으로 한 화질개선 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/938,248 Continuation US20250061547A1 (en) 2022-05-06 2024-11-05 Method and device for improving image quality on basis of super-resolution neural network

Publications (1)

Publication Number Publication Date
WO2023214633A1 true WO2023214633A1 (ko) 2023-11-09

Family

ID=88646560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/019384 Ceased WO2023214633A1 (ko) 2022-05-06 2022-12-01 초해상도 신경망을 기반으로 한 화질개선 방법 및 장치

Country Status (4)

Country Link
US (1) US20250061547A1 (ko)
KR (1) KR20230156585A (ko)
CN (1) CN119452391A (ko)
WO (1) WO2023214633A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4328848B1 (en) * 2022-08-22 2026-05-20 Sony Interactive Entertainment Europe Ltd INCREASING THE SCALE OF IMAGE DATA
US12602748B2 (en) * 2023-05-23 2026-04-14 Constructor Technology Ag Automatically enhancing image quality in machine learning training dataset by using deep generative models
WO2025230108A1 (ko) * 2024-04-30 2025-11-06 삼성전자 주식회사 입력 이미지보다 화질이 향상된 고화질 이미지를 생성하는 방법 및 이를 위한 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101922964B1 (ko) * 2017-06-27 2018-11-28 아주대학교산학협력단 이미지 왜곡 검출을 이용한 이미지 복원 장치 및 방법
KR20200127766A (ko) * 2019-05-03 2020-11-11 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
JP2021502644A (ja) * 2017-11-09 2021-01-28 京東方科技集團股▲ふん▼有限公司Ｂｏｅ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ Ｃｏ．，Ｌｔｄ． 画像処理方法、処理装置及び処理デバイス
KR102388588B1 (ko) * 2020-06-12 2022-04-20 베이징 시아오미 파인콘 일렉트로닉스 컴퍼니 리미티드 이미지 노이즈 제거 모델의 트레이닝 방법, 이미지 노이즈 제거 방법, 장치 및 매체
JP2022064389A (ja) * 2020-10-14 2022-04-26 プラスマン合同会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101922964B1 (ko) * 2017-06-27 2018-11-28 아주대학교산학협력단 이미지 왜곡 검출을 이용한 이미지 복원 장치 및 방법
JP2021502644A (ja) * 2017-11-09 2021-01-28 京東方科技集團股▲ふん▼有限公司Ｂｏｅ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ Ｃｏ．，Ｌｔｄ． 画像処理方法、処理装置及び処理デバイス
KR20200127766A (ko) * 2019-05-03 2020-11-11 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR102388588B1 (ko) * 2020-06-12 2022-04-20 베이징 시아오미 파인콘 일렉트로닉스 컴퍼니 리미티드 이미지 노이즈 제거 모델의 트레이닝 방법, 이미지 노이즈 제거 방법, 장치 및 매체
JP2022064389A (ja) * 2020-10-14 2022-04-26 プラスマン合同会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
KR20230156585A (ko) 2023-11-14
US20250061547A1 (en) 2025-02-20
CN119452391A (zh) 2025-02-14

Similar Documents

Publication Publication Date Title
WO2021107610A1 (en) Method and system for generating a tri-map for image matting
WO2018217019A1 (ko) 신경망 학습 기반의 변종 악성 코드를 탐지하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN113052868B (zh) 一种抠图模型训练、图像抠图的方法及装置
WO2021225294A1 (ko) 샘플 기반 정규화 기법을 이용한 전이 학습장치 및 방법
CN111898544B (zh) 文字图像匹配方法、装置和设备及计算机存储介质
WO2021098618A1 (zh) 数据分类方法、装置、终端设备及可读存储介质
WO2020045714A1 (ko) 콘텐츠 인식 방법 및 시스템
KR20230156585A (ko) 초해상도 신경망을 기반으로 한 화질개선 방법 및 장치
WO2017138766A1 (ko) 하이브리드 기반의 영상 클러스터링 방법 및 이를 운용하는 서버
CN114863221A (zh) 检测模型的训练方法、装置、系统、设备及存储介质
WO2021172674A1 (ko) 재귀 그래프 모델링을 통한 비디오 요약 생성 장치 및 방법
WO2022260392A1 (ko) 단말에서 동작하는 이미지 프로세싱 인공 신경망 모델 생성 방법 및 시스템
CN111353536A (zh) 图像的标注方法、装置、可读介质和电子设备
WO2023249372A1 (ko) 딥러닝 모델의 학습을 위한 의료 데이터의 처리 방법, 프로그램 및 장치
CN114896594B (zh) 基于图像特征多注意力学习的恶意代码检测装置及方法
CN114969412A (zh) 一种人脸图片归档方法、装置以及计算机可读存储介质
WO2022092445A1 (ko) 전자 장치 및 그 제어 방법
WO2019147020A1 (ko) 이미지의 품질 향상을 위하여 이미지를 처리하는 방법 및 장치
CN118230066A (zh) 图像分类方法、图像认证方法、装置、介质、设备及产品
WO2023249184A1 (ko) 적대적 학습 시스템 및 적대적 학습 방법
WO2025041871A1 (ko) 딥러닝 네트워크 아키텍처 인코딩과 학습 중 양자화 파라미터 예측 모델 기반 양자화 방법 및 장치
WO2020175729A1 (ko) 가우시안 특징점맵과 회귀 기법을 이용한 얼굴 특징점 검출 장치 및 방법
CN117315310A (zh) 一种图像识别方法、图像识别模型训练方法及装置
WO2011007970A1 (en) Method and apparatus for processing image
WO2023113437A1 (ko) 메모리를 이용하는 의미론적 영상 분할 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22940872

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202280097559.3

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 202280097559.3

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 22940872

Country of ref document: EP

Kind code of ref document: A1