WO2022270854A1 - 선예도 개선을 위한 심층 기울기 사전정보기반 l0 스무딩 방법 - Google Patents

선예도 개선을 위한 심층 기울기 사전정보기반 l0 스무딩 방법 Download PDF

Info

Publication number
WO2022270854A1
WO2022270854A1 PCT/KR2022/008725 KR2022008725W WO2022270854A1 WO 2022270854 A1 WO2022270854 A1 WO 2022270854A1 KR 2022008725 W KR2022008725 W KR 2022008725W WO 2022270854 A1 WO2022270854 A1 WO 2022270854A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
gradient
smoothing
gnet
deep
Prior art date
Application number
PCT/KR2022/008725
Other languages
English (en)
French (fr)
Inventor
윤준호
Original Assignee
주식회사 포바이포
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포바이포 filed Critical 주식회사 포바이포
Priority to US18/035,107 priority Critical patent/US20240005454A1/en
Publication of WO2022270854A1 publication Critical patent/WO2022270854A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the present invention relates to a smoothing processing method for improving sharpness based on deep gradient prior information.
  • WMF weighted median filter
  • the bi-directional filter is a method that combines spatial and intensity kernels, and plays a role in removing unnecessary information with the spatial kernel and preserving the main contours with the intensity kernel.
  • the calculation is very complicated depending on the mask size and the smoothing performance also depends on the neighboring pixels and setting parameters.
  • guided image filter and joint guided filter which are one of the image smoothing methods, are less affected by the window size than the bidirectional filter and show good performance due to improved computational complexity, but smoothing performance by given guided image and parameters There is a limit to , and the performance of the contour preservation filter at the main edge is ambiguous.
  • WMF is an improved method of the median filter, and the problem of distortion and noise amplification according to the filter size in the median filter is weighted according to the distance in the median filter, and the contour is preserved and unnecessary information such as noise is removed.
  • L0, L1-norm based, and weighted least square smoothing have been proposed as methods used in the global-based contour preservation method. These global-based methods obtain contour-preserving results while minimizing the objective function. These methods preserve contours by minimizing the objective function with the regularization terms L0, L1, and L2-norm added as constraints.
  • the global-based contour preservation method uses half-quadratic splitting and iterative shrinkage-thresholding algorithms, and is an effective contour preservation method by minimizing the regularization term of constraints. Compared to the local-based method, the global-based method is an effective method to solve the problem of high-frequency information loss for key contours.
  • Structure-guided -Optimization method is a method using guided image -We proposed an unnecessary contour preservation method rather than the norm minimization method.
  • two Existing due to -norm regularization term -It shows higher contour preservation performance than the norm method, but there is an inefficient problem with respect to processing speed due to an increase in the amount of calculation.
  • the deep joint image filtering method provides smoothed results by using guidance and input images as deep network inputs, similar to guided filters.
  • the convolutional neural pyramid for image processing method shows smoothed results by using low and high-level features in various ways through an intermediate structure such as u-net in a deep network. Compared to the existing deep joint image filtering method, it can provide improved contour preservation results because it learns features of various scales because it uses the pyramid structure.
  • the image smoothing via unsupervised learning method proposed a contour preservation method using unsupervised learning, unlike the previously introduced method.
  • This method shows performance comparable to the existing supervised learning results, but there is a disadvantage that learning is not as good as the fully-supervised learning method due to the nature of the unsupervised learning method.
  • the learning-based method uses a convolutional neural network to learn end-to-end results from existing contour preservation methods such as L0-norm, and improves the processing speed problem caused by the increase in the amount of computation that occurs in the global-based method.
  • a technical problem of the present invention is to provide a gradient minimization method using a deep neural network in order to remove unnecessary information and reduce high-frequency component loss.
  • the gradient a gradient enhancement image generation process of generating an enhancement image;
  • the image quality improvement processing apparatus may include a smoothing-enhanced image generation process of generating a smoothing-enhanced image that has been smoothed through a first-step (l 0 ) estimation with respect to the gradient-enhanced image.
  • the gradient-enhanced image generation process may include a critical edge area exclusion process of excluding a critical edge area of the original image; It may include a gradient minimization process of minimizing horizontal and vertical gradients of the image excluded from the critical edge region using a convolutional neural network, GNet.
  • the GNet may be characterized as a convolutional neural network composed of 3x3 convolution, 5x5 convolution, and Rectified Linear Unit (ReLU) filters.
  • ReLU Rectified Linear Unit
  • f is an image layer
  • i is a layer before passing through GNet
  • k is a layer after passing through GNet
  • b is a bias
  • * is a convolution operator
  • h is a weight
  • the process of generating the smoothing-enhanced image may include calculating a loss function, which is a function representing a difference between an original image and a gradient-enhanced image; and generating a smoothing enhancement image by reducing the loss function.
  • the gradient can be quickly and accurately minimized by a simple method using convolution and residual operators, and the problem of inefficient gradient estimation methods that have occurred in existing methods can be solved.
  • the conventional image smooth filter has high computational complexity due to optimization through iterative operations such as a weighted least squares algorithm, L0 (Lzero) or L1 (L1) based gradient descent, whereas, In the present invention, a one-step smoothing process may be performed so that a rapid smoothing process may be performed.
  • FIG. 1 is a perspective view of a picture quality improvement processing apparatus in which deep gradient prior information-based l 0 smoothing processing is performed for sharpness improvement according to an embodiment of the present invention.
  • FIG. 2 is a flow chart in which deep gradient prior information-based l 0 smoothing processing for sharpness improvement according to an embodiment of the present invention is performed.
  • FIG. 3 is a diagram showing the GNet structure of the present invention.
  • FIG. 4 is an example picture of a smoothing process according to an embodiment of the present invention.
  • FIG. 5 is an example diagram in which a text-removing smoothing process is performed according to an embodiment of the present invention.
  • FIG. 6 is an exemplary diagram showing an image with improved sharpness acquired according to an embodiment of the present invention.
  • Local-based filters typically include weighted median, bilateral, and guided filters. These local-based filters are widely used in a simple and fast way, and the basic image degradation model can be defined as follows.
  • I is an image with texture
  • x is an ideal image
  • n is noise.
  • the local-based filter is applied to the image by the following equation.
  • S is a contour-preserved image
  • F is a filter such as WMF, bilateral, and guided filter
  • I is an input image.
  • Local-based filter methods are simple or repetitive filtering methods that can remove small textures or noise, but since filtering consists of only local images statistical values, edge halo effects occur or there is no similar pixel value in the filtering area. There is a problem that the gradient reversal phenomenon occurs in the region.
  • Global-based methods include methods such as ROF-TV, WLS, and l 0 -smoothing. Unlike the local-based method, these methods remove noise and small texture by preserving contours using an optimization method.
  • the WLS method adjusts matrix affinities according to the gradient in the image to provide a result in which the main contours are preserved.
  • the l 0 -smoothing method uses counting the number of non-zero gradients in an image as a regularization term to preserve contours. It shows excellent contour preservation performance and is defined by the following equation.
  • I is the input image
  • S is the result image
  • Is Count the number of components for which the sum of the gradients in each x and y direction is not zero.
  • global-based methods have problems such as not preserving locally important contours or increasing the amount of computation due to global operations.
  • l 0 -norm smoothing As an existing global-based contour preservation method, l 0 -norm smoothing and is defined as:
  • I is the input image
  • S is the result image
  • Is Count the number of components for which the sum of the gradients in each x and y direction is not zero.
  • the above equation is non-convex and non-differentiable because it is non-linear with the l 0 -norm regularization term. For this reason, the l 0 -norm regularization term can be solved using the half-quadratic splitting l 0 -norm minimization method, and the contour-preserved result Sp can be obtained using the above equation.
  • Learning-based methods can provide contour-preserved results through supervised- and unsupervised-learning of convolutional artificial neural networks. This method has the advantage of being able to overcome the limitations of performance and computational complexity that exist in existing local and global methods, and learns neural networks using the following loss function.
  • the input image is the contour-preserved image
  • an artificial neural network is the number of training data, denotes the weight and bias parameters that make up the artificial neural network.
  • the present invention proposes a gradient network (GNet) for preserving important contours in images.
  • the proposed method is to minimize the gradient of image pixels, and each derivative for horizontal and vertical gradients should be minimized except for the critical edge area.
  • GNet which is proposed to solve this problem, is a network using a convolutional neural network. was estimated to solve the problem of increasing the amount of computation. The description is given below.
  • FIG. 1 is a perspective view of a picture quality improvement processing apparatus in which deep gradient prior information-based l 0 smoothing processing for sharpness improvement according to an embodiment of the present invention is performed.
  • the picture quality improvement processing apparatus of the present invention is a device for processing l 0 smoothing picture quality improvement based on deep gradient prior information for sharpness improvement.
  • l 0 means only one step (step 1), not several steps.
  • the image quality improvement processing apparatus of the present invention is a device equipped with an arithmetic processing unit such as a CPU and a display panel such as a monitor, for example, as shown in FIG. 1, a computer equipped with a monitor, a server equipped with a monitor etc. can be implemented.
  • these computers and servers include program modules implemented in various types of languages such as C, C++, Java, Visual Basic, and Visual C to perform various functions.
  • it can be implemented using programs provided in various ways according to operating systems such as DOS, Windows, Linux, Unix, and Macintosh in general server hardware,
  • operating systems such as DOS, Windows, Linux, Unix, and Macintosh in general server hardware,
  • DOS DOS, Windows, Linux, Unix, and Macintosh in general server hardware
  • a website IIS (Internet Information Server) used in a Windows environment
  • CERN NCSA
  • APPACH and the like used in a Unix environment
  • Figure 2 is a flow chart in which deep gradient prior information-based l 0 smoothing processing for sharpness improvement is performed according to an embodiment of the present invention
  • Figure 3 is a diagram showing the GNet structure of the present invention
  • Figure 4 is an embodiment of the present invention 5 is an example picture in which smoothing processing is performed according to an embodiment of the present invention
  • FIG. 6 is an example picture in which an image with improved sharpness is obtained according to an embodiment of the present invention. .
  • a gradient-enhanced image generation process (S210) and a smoothing-enhanced image generation process (S220) in which the quality improvement processing device generates a smoothing-enhanced image that has been smoothed through one-step (l 0 ) estimation for the gradient-enhanced image. can include It is detailed below.
  • the image quality improvement processing device In the gradient-enhanced image generation process ( S210 ), the image quality improvement processing device generates a gradient-enhanced image by minimizing the gradient of pixels of the original image.
  • the process of generating the gradient-enhanced image may include a process of excluding a critical edge area (S211) and a process of minimizing the gradient (S212).
  • the process of excluding the critical edge area is a process of excluding the critical edge area of the original video.
  • the critical edge area is a portion outside the boundary of the edge area of the preset image, and is preset as an area where image quality improvement processing is unnecessary.
  • the gradient minimization process (S212) is a process of minimizing the horizontal gradient and the vertical gradient of the image from which the critical edge region is excluded by using a convolutional neural network (GNet).
  • GNet is a convolutional neural network consisting of a 3x3 convolution, a 5x5 convolution, and a Rectified Linear Unit (ReLU) filter.
  • ReLU Rectified Linear Unit
  • f is an image layer
  • i is a layer before passing through GNet
  • k is a layer after passing through GNet
  • b is a bias
  • * is a convolution operator
  • h is a weight. This is done through formula processing.
  • the GNet structure is as shown in FIG. where f is a feature of the hidden layer and ⁇ is a partial derivative function to extract horizontal and vertical gradients.
  • the i-th feature map of the k-th layer that passed GNet uses 3x3 and 5x5 convolutions and Rectified Linear Unit (ReLU) as shown below.
  • b and h are bias, convolution operator and weight filter, respectively.
  • a feature map (feature map), as is known, refers to input and output data of a composite layer layer.
  • the size of the weight filter (h) of the first and second layers is defined as 3x3, and the sizes of the remaining layers are defined as 5x5.
  • the reconstruction layer combines feature maps as shown in [Equation 2] through a 3x3 convolution operation.
  • This network consists of a horizontal network and a branch network of vertical networks. Horizontal and vertical gradients are involved in each network and feature maps extracted to analyze the input data.
  • the loss function is defined as in [Equation 3] below.
  • GNet returns horizontal gradient and vertical gradient, and ⁇ is a parameter.
  • Wow is the gradient of ground truth.
  • the smoothing-enhanced image generation process is a process of generating a smoothing-enhanced image that has undergone a smoothing process through one-step (l 0 ) estimation for the gradient-enhanced image.
  • smoothing is widely used to remove noise, and is used to blur an image or remove noise present in an image.
  • Smoothing is a method of determining a current position value of a resultant image as an average of a pixel value at the current position and neighboring pixel values. When applied to an image, it removes noise or connects broken edges instead of degrading sharpness.
  • step (l 0 ) estimation for such a smoothing-enhanced image. It consists of a process of generating a smoothing enhancement image by reducing (eg, minimizing) (S222).
  • the role of the counting function L0 is to count the number of non-zero gradients in the guide image. If is not 0, L0 returns 1, and the following three conditions are satisfied.
  • Figure 5 is the result of smoothing performed using the NKS data set [6].
  • the GUF and L0-smoothing methods successfully remove unnecessary textures, but smearing occurs in the main edge area.
  • (e) shows the result of removing the texture, but color distortion due to excessive removal is observed.
  • (f)-(g) predicted high-performance texture removal and fast processing speed with deep learning-based techniques using FCN and VDCNN. However, as the image size increases, the speed slows down.
  • the proposed method removes texture without color distortion and maintains fast processing speed even when the image size increases.
  • this is a method of showing an image in which detail is lost because it is out of focus because it shows an image in which detail is lost.
  • I is the input image
  • S is the smooth image. 6 shows the sharpness improvement results.
  • Results (b)-(d) are improved, but performance limitations exist and unnatural results are evaluated, and (e)-(f) are improved as a result, but the color is distorted due to excessive enhancement.
  • the present invention can provide more natural results while enhancing details.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

본 발명의 실시 형태는 화질 개선 처리 장치가, 영상의 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ0 스무딩 방법에 있어서, 상기 화질 개선 처리 장치가, 원본 영상의 화소의 경사도(gradient)를 최소화하여 경사도 개선 영상을 생성하는 경사도 개선 영상 생성 과정; 상기 화질 개선 처리 장치가, 상기 경사도 개선 영상에 대하여 1 단계(ℓ0) 추정을 통하여 스무딩(smoothing) 처리된 스무딩 개선 영상을 생성하는 스무딩 개선 영상 생성 과정;을 포함할 수 있다.

Description

선예도 개선을 위한 심층 기울기 사전정보기반 L0 스무딩 방법
본 발명은 심층 기울기 사전정보기반으로 선예도를 개선시키는 스무딩 처리 방법에 관한 것이다.
최근 영상은 자율주행, 인공위성, CCTV 등과 같은 분야에서 객체 검출,감시,경계 방법에 컴퓨터 비전 기술이 활발히 활용되고 있다. 하지만, 영상 신호 처리 하드웨어의 한계로 인해 영상 획득과정에서 열잡음, 고주파 정보 손실로 불러와 열화 현상이 발생하고, 영상의 품질을 감소시켜 컴퓨터 비전 기반 방법 성능을 저하시키는 문제가 발생한다.
이러한 이유 때문에, 컴퓨터 비전 기반 성능 향상을 위한 전처리 방법인 저조도 영상 개선, 안개 영상 복원 및 영상 합성 등 다양한 분야에서 주요 윤곽 이외 불필요한 정보 제거 방법을 필요로 하고 여러 윤곽보존 방법들이 연구되고 있다.
기존 신호처리 방법으로 local 기반 윤곽보존 방법에서 bilateral filter, guided image filter, weighted median filter(WMF), joint guided filter와 같은 방법이 널리 사용되고 있다. 양방향 필터, WMF는 기존 평균값, 중간값, Gaussian 필터에서 발생하는 주요 윤곽에서 고주파 성분이 손실되는 문제를 해결하기 위한 방법으로 제안되었다.
양방향 필터는 spatial, intensity kernel을 결합한 방법으로 spatial kernel로 불필요한 정보 제거, intensity kernel로 주요 윤곽 보존을 하는 역할을 한다. 하지만, 마스크 크기에 따라 계산이 매우 복잡하고 smoothing 성능도 인접 픽셀과 설정 매개 변수에 따라 달라지는 문제점이 있다.
또한, image smoothing 방법 중의 하나인 Guided image filter, joint guided filter은 양방향 필터보다 window 크기에 따라 영향을 덜 받고 개선된 계산 복잡성으로 인해 좋은 성능을 보여주지만, 주어진 guided image와 매개 변수에의한 smoothing 성능에 대한 한계가 존재하며 주요 에지에서 윤곽보존 필터 성능이 모호하다는 단점이 있다.
WMF는 중간값 필터를 개선한 방법으로 중간값 필터에서 필터 크기에 따라 왜곡 및 잡음 증폭이 되는 문제점을 WMF에서 거리에 따라 가중치를 주는 방법으로 윤곽 보존하며 잡음과 같이 불필요한 정보를 제거한다.
Global 기반 윤곽보존 방법에서 사용되는 방법은 L0, L1-norm based, weighted least square smoothing 등과 같은 방법이 제안되었다. 이러한 global 기반 방법들은 목적 함수를 최소화하면서 윤곽 보존된 결과를 획득한다. 이 방법들은 목적 함수에 제약 조건으로 정규화 텀L0, L1, L2-norm을 추가한 최소화 방법으로 윤곽 보존한다. Global 기반 윤곽보존 방법은 half-quadratic splitting, iterative shrinkage-thresholding algorithm을 이용한 방법으로 제약 조건 정규화 텀을 최소화한 방법으로 효과적으로 윤곽 보존한 방법이다. Global 기반 방법은 local 기반 방법에 비해 주요 윤곽에 대한 고주파 정보 손실 문제를 해결한 효과적인 방법이다.
하지만, 영상 크기가 커지면 커질수록 연산량이 증가하는 문제가 발생하여 처리 속도 개선을 필요로 한다. 또한, Cho의 방법은 L0-norm smoothing에 방향성 미분 연산자를 추가한 간단한 접근 방법으로 잡음에 강건한 개선된 L0-norm smoothing 방법을 제안했다.추가적으로,개선된 L0-norm smoothing은 영상을 블록으로 분할하고 기존 x,y 방향을 포함한 5방향 gradient를 GPU를 이용한 연산 환경에서 병렬처리하기 때문에 연산량 증가문제를 해결했다.
하지만, smoothing 성능 향상을 위한 5 방향 gradient는 block processing 계산 복잡성을 추가로 증가시는 문제점이 있다. Structure-guided
Figure PCTKR2022008725-appb-I000001
-optimization 방법은 guided image를 이용한 방법으로 기존
Figure PCTKR2022008725-appb-I000002
-norm minimization 방법보다 불필요한 윤곽보존 방법을 제안했다. 하지만, 2개의
Figure PCTKR2022008725-appb-I000003
-norm regularization term으로 인해 기존
Figure PCTKR2022008725-appb-I000004
-norm 방법보다 높은 윤곽보존 성능을 보이지만, 계산량 증가로 인한 처리속도에 대해 비효율적인 문제가 존재한다.
최근, 학습기반 방법도 활발히 연구되고 있으며, 합성곱 신경망을 이용한 윤곽보존 방법들이 제안되고 있다. 기존 local, global 방법에서 발생하는 처리속도 문제에 대한 해결책으로 가속화된 연산으로 local, global 필터 성능에 준하는 성능을 보이고 있다. Deep joint image filtering 방법은 guided filter과 유사하게 guidance, input image를 deep network 입력으로 하여 smoothing된 결과를 제공한다. Convolutional neural pyramid for image processing 방법은 deep network를 u-net과 같은 중간구조를 통해 low,high-level feature를 다양하게 활용하여 smoothing된 결과를 보여준다. 기존 deep joint image filtering 방법과 비교해서 pyramid 구조를 이용하기 때문에 다양한 스케일의 feature를 학습하기 때문에 개선된 윤곽보존 결과를 제공할 수 있다. 그리고 image smoothing via unsupervised learning 방법은 앞에서 소개한 방법과 다르게 비지도 학습을 이용한 윤곽보존 방법을 제안했다. 이 방법은 기존 지도 학습결과에 준하는 성능을 보여주지만, 비지도 학습 방법에 특성상 fully-supervised learning 방법보다 학습이 잘되지 않는 단점이 존재한다. 학습기반 방법은 합성곱 신경망을 이용하여 L0-norm와 같은 기존 윤곽보존 방법 결과를 end-to-end 학습한 방법으로 global 기반 방법에서 발생하는 연산량증가로인한 처리 속도 문제를 개선하였다.
하지만, 평균 제곱 오차에 기반한 학습방법 때문에 결과 영상에 추가 열화가 발생하고 윤곽 보존 성능에 대한 성능 한계가 존재한다.
여러 윤곽보존 방법들이 연구되고 있으며 불필요한 정보를 제거하고 고주파 성분 손실을 줄이는 방법이 개발되고 있다. 하지만, 여전히 기존 방법에서는 계산 복잡성, edge-preserving 성능에 대한 한계가 존재한다.
본 발명의 기술적 과제는 불필요한 정보를 제거하고 고주파 성분 손실을 줄이기 위하여 deep neural network를 이용한 gradient minimization 방법을 제공하는데 있다.
본 발명의 실시 형태는 화질 개선 처리 장치가, 영상의 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ0 스무딩 방법에 있어서, 상기 화질 개선 처리 장치가, 원본 영상의 화소의 경사도(gradient)를 최소화하여 경사도 개선 영상을 생성하는 경사도 개선 영상 생성 과정; 상기 화질 개선 처리 장치가, 상기 경사도 개선 영상에 대하여 1 단계(ℓ0) 추정을 통하여 스무딩(smoothing) 처리된 스무딩 개선 영상을 생성하는 스무딩 개선 영상 생성 과정;을 포함할 수 있다.
상기 경사도 개선 영상 생성 과정은, 원본 영상의 임계 에지 영역을 제외하는 임계 에지 영역 제외 과정; 임계 에지 영역 제외된 영상을 대상을 콘볼루션 신경망(convolutional neural network)인 GNet을 이용하여 수평 방향 경사도 및 수직 방향 경사도를 최소로 하는 경사도 최소화 과정;을 포함할 수 있다.
상기 GNet은, 3x3컨볼루션, 5x5컨볼루션, ReLU(Rectified Linear Unit) 필터로 이루어진 콘볼루션 신경망(convolutional neural network)임을 특징으로 할 수 있다.
상기 경사도 최소화 과정은, f는 영상 레이어, i는 GNet을 통과하기 전의 레이어, k는 GNet을 통과한 후의 레이어, b는 바이어스, *는 컨볼루션 연산자, h는 가중치라고 할 때,
Figure PCTKR2022008725-appb-I000005
의 수식 처리에 의하여 이루어짐을 특징으로 할 수 있다.
상기 스무딩 개선 영상 생성 과정은, 원본 영상과 경사도 개선 영상 간의 차이를 나타낸 함수인 손실함수를 산출하는 과정; 상기 손실함수를 감소시켜 스무딩 개선 영상을 생성하는 과정;을 포함할 수 있다.
본 발명의 실시 형태에 따르면 convolution, residual operator를 이용한 간단한 방법으로 gradient를 빠르고 정확하게 최소화할 수 있으며, 또한 기존 방법에서 발생했던 비효율적인 gradient 추정 방법문제를 해결할 수 있다.
또한, 본 발명의 실시 형태에 따르면 기존의 영상 smooth 필터는 가중 최소 제곱 알고리즘, L0(엘제로) 또는 L1(엘원) 기반 경사 하강 법과 같은 반복연산을 통한 최적화로 인해 높은 계산 복잡성을 가지는데 반하여, 본 발명은 1단계 스무딩 처리가 이루어져 신속한 스무딩 처리가 이루어질 수 있다.
도 1은 본 발명의 실시예에 따른 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ0 스무딩 처리가 이루어지는 화질 개선 처리 장치의 사시도.
도 2는 본 발명의 실시예에 따른 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ0 스무딩 처리가 이루어지는 플로차트.
도 3은 본 발명의 GNet 구조를 도시한 그림.
도 4는 본 발명의 실시예에 따라 스무딩 처리된 예시 그림.
도 5는 본 발명의 실시예에 따라 텍스트 제거된 스무딩 처리가 이루어진 예시 그림.
도 6은 본 발명의 실시예에 따라 선예도 개선된 영상이 획득된 예시 그림.
이하, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은, 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.
이하, 본 발명의 설명에 앞서 알려진 바와 같이 화질 개선에 사용되는 화질 개선 필터에 대하여 간략히 기술한다.
(1) Local-Based 필터 기반 화질 개선
Local-based 필터는 대표적으로 weighted median, bilateral, guided filter가 있다. 이러한 local-based 필터들은 간단하고 빠른 방법으로 널리 사용되고 있으며 기본적인 영상 degradation model은 다음과 같이 정의할 수 있다.
Figure PCTKR2022008725-appb-I000006
여기서, I는 texture가 포함된 영상, x는 ideal image, n은 잡음이다. 또한, local-based filter는 영상에서 다음과 같은 식에 의해 적용된다.
Figure PCTKR2022008725-appb-I000007
여기서, S는 윤곽보존된 영상, F는 WMF, bilateral, and guided filter 등과 같은 필터, I는 입력 영상이다. Local-based filter 방법들은 간단하거나 반복적인 필터링 방법으로 small texture나 noise를 제거할 수 있지만, local images 통계값으로만 이루어지는 필터링이기 때문에 엣지 영역 후광현상이 발생하거나, 필터링하는 영역에서 유사한 픽셀 값이 없는 영역에서 gradient reversal 현상이 발생하는 문제점이 존재한다.
(2) Global-based 기반 화질 개선
Global-based 방법들은 ROF-TV, WLS, ℓ0-smoothing 등과 같은 방법들이 있다. 이러한 방법들은 local-based 방법과 달리 최적화 방법을 이용하여 윤곽보존을 하여 noise, small texture를 제거한다. WLS 방법은 영상에서 gradient에 따라 matrix affinities를 조정하여 주요 윤곽이 보존된 결과를 제공한다. ℓ0-smoothing방법은 영상에서 0이 아닌 gradient의 개수를 세는 것을 정칙화 항으로 사용하여 윤곽보존하는 방법으로 뛰어난 윤곽보존 성능을 보여주며 다음과 같은 식으로 정의된다.
Figure PCTKR2022008725-appb-I000008
여기서 I는 입력 영상, S는 결과 영상,
Figure PCTKR2022008725-appb-I000009
,
Figure PCTKR2022008725-appb-I000010
는 S에 대한 x,y 방향 gradient를 의미한다. 위 식에서
Figure PCTKR2022008725-appb-I000011
는
Figure PCTKR2022008725-appb-I000012
으로 각 x,y방향 기울기 합이 0이 아닌 성분의 개수를 센다. 이러한 식을 기반으로 minimization 문제로 다시 정의하면 다음과 같다.
Figure PCTKR2022008725-appb-I000013
하지만, global-based 방법들은 local-based 방법과 비교했을 때 지역적으로 중요한 윤곽은 보존하지 못하거나, global 연산으로 인한 연산량이 증가하는 문제점이 존재한다.
Figure PCTKR2022008725-appb-I000014
글로벌 기반 최적화 방법인 ℓ0-norm 방법에서 사용되는 h,vgradient를 추정하는 신경망으로 기존방법에서 발생하는 처리속도 증가 문제를 해결할 수 있다.기존 global-based 윤관 보존 방법으로 ℓ0-norm smoothing이 있으며 다음 식으로 정의된다.
Figure PCTKR2022008725-appb-I000015
여기서 I는 입력 영상, S는 결과 영상,
Figure PCTKR2022008725-appb-I000016
,
Figure PCTKR2022008725-appb-I000017
는 S에 대한 x,y 방향 gradient를 의미한다. 위 식에서
Figure PCTKR2022008725-appb-I000018
는
Figure PCTKR2022008725-appb-I000019
으로 각 x,y방향 기울기 합이 0이 아닌 성분의 개수를 센다. 이러한 식을 기반으로 minimization 문제로 다시 정의하면 다음과 같다.
Figure PCTKR2022008725-appb-I000020
위 식은 ℓ0-norm regularization 항으로 non-linear하기 때문에 non-convex and non-differentiable하다. 이러한 이유 때문에,ℓ0-norm regularization term은 half-quadratic splitting ℓ0-norm minimization method를 이용하여 풀고, 위 식을 이용하여윤곽보존된 결과 Sp를 구할 수 있다.
(3) Learning-based 기반 화질 개선
학습 기반 방법들은 convolution으로 이루어진 인공신경망을 지도-, 비지도-학습을 통하여 윤곽보존된 결과를 제공할 수 있다. 이러한 방법은 기존 local, global 방법에서 존재하는 성능, 계산 복잡도 한계를 극복할 수 있다는 장점이 있으며,다음과 같은 손실함수를 이용하여 신경망을 학습한다.
Figure PCTKR2022008725-appb-I000021
여기서
Figure PCTKR2022008725-appb-I000022
는 입력 영상,
Figure PCTKR2022008725-appb-I000023
는 윤곽 보존된 영상,
Figure PCTKR2022008725-appb-I000024
는 인공 신경망,
Figure PCTKR2022008725-appb-I000025
은 학습데이터 개수,
Figure PCTKR2022008725-appb-I000026
는 인공신경망을 이루고 있는 weight, bias 파라미터를 의미한다.
본 발명은 영상에서 중요한 윤곽보존을 위한 gradient network(GNet)를 제안한다. 제안하는 방법은 영상 화소의 gradient를 최소화하기 위한 것으로, 임계 에지영역을 제외하고 수평 및 수직 방향 gradient를 위한 각각의 도함수(derivative)가 최소화 되어야한다. 이러한 문제를 해결하기 위해 제안하는 GNet은 convolutional neural network를 이용한 네트워크로
Figure PCTKR2022008725-appb-I000027
를 추정하여 연산량이 증가하는 문제를 해결하도록 하였다. 이하 상술후기로 한다.
도 1은 본 발명의 실시예에 따른 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ0 스무딩 처리가 이루어지는 화질 개선 처리 장치의 사시도이다.
본 발명의 화질 개선 처리 장치는, 선예도 개선을 위한 심층 기울기 사전정보기반으로 ℓ0 스무딩 화질 개선을 처리하는 장치이다. 여기서 ℓ0 라 함은 여러 단계가 아니라 하나의 단계(1단계)만을 의미한다.
기존의 영상 smooth 필터는 가중 최소 제곱 알고리즘, L0(엘제로) 또는 L1(엘원) 기반 경사 하강 법과 같은 반복연산을 통한 최적화로 인해 높은 계산 복잡성을 가지는데 반하여, 본 발명은 1단계 스무딩 처리가 이루어지도록 한다.
본 발명의 화질 개선 처리 장치는, CPU와 같은 연산 처리 유닛과, 모니터와 같은 디스플레이 패널이 구비된 장치로서, 예를 들어, 도 1에 도시한 바와 같이 모니터가 구비된 컴퓨터, 모니터가 구비된 서버 등으로 구현될 수 있다.
이러한 컴퓨터, 서버는, 소프트웨어적으로는 C, C++, Java, Visual Basic, Visual C 등과 같은 다양한 형태의 언어를 통해 구현되어 여러 가지 기능을 하는 프로그램 모듈을 포함한다. 또한, 일반적인 서버용 하드웨어에 도스(dos), 윈도우(window), 리눅스(linux), 유닉스(unix), 매킨토시(macintosh) 등의 운영 체제에 따라 다양하게 제공되고 있는 프로그램을 이용하여 구현될 수 있으며, 대표적인 것으로는 윈도우 환경에서 사용되는 웹사이트(website), IIS(Internet Information Server)와 유닉스 환경에서 사용되는 CERN, NCSA, APPACH 등이 이용될 수 있다.
도 2는 본 발명의 실시예에 따른 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ0 스무딩 처리가 이루어지는 플로차트이며, 도 3은 본 발명의 GNet 구조를 도시한 그림이며, 도 4는 본 발명의 실시예에 따라 스무딩 처리된 예시 그림이며, 도 5는 본 발명의 실시예에 따라 텍스트 제거된 스무딩 처리가 이루어진 예시 그림이며, 도 6은 본 발명의 실시예에 따라 선예도 개선된 영상이 획득된 예시 그림이다.
본 발명의 영상의 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ0 스무딩 방법은, 도 2에 도시한 바와 같이 화질 개선 처리 장치가 원본 영상의 화소의 경사도(gradient)를 최소화하여 경사도 개선 영상을 생성하는 경사도 개선 영상 생성 과정(S210)과, 화질 개선 처리 장치가 경사도 개선 영상에 대하여 1 단계(ℓ0) 추정을 통하여 스무딩(smoothing) 처리된 스무딩 개선 영상을 생성하는 스무딩 개선 영상 생성 과정(S220)을 포함할 수 있다. 이하 상술한다.
경사도 개선 영상 생성 과정(S210)은, 화질 개선 처리 장치가, 원본 영상의 화소의 경사도(gradient)를 최소화하여 경사도 개선 영상을 생성하는 과정이다.
이러한 경사도 개선 영상 생성 과정은 임계 에지 영역 제외 과정(S211)과, 경사도 최소화 과정(S212)을 포함할 수 있다.
임계 에지 영역 제외 과정(S211)은, 원본 영상의 임계 에지 영역을 제외하는 과정이다. 여기서 임계 에지 영역은, 미리 설정된 영상의 에지 영역의 경계 외곽 부분으로서, 화질 개선 처리가 불필요한 영역으로 미리 설정된다.
경사도 최소화 과정(S212)은, 임계 에지 영역 제외된 영상을 대상을 콘볼루션 신경망(convolutional neural network)인 GNet을 이용하여 수평 방향 경사도 및 수직 방향 경사도를 최소로 하는 과정이다. 여기서 GNet은, 3x3컨볼루션, 5x5컨볼루션, ReLU(Rectified Linear Unit) 필터로 이루어진 콘볼루션 신경망(convolutional neural network)이다. 경사도 최소화 과정은, f는 영상 레이어, i는 GNet을 통과하기 전의 레이어, k는 GNet을 통과한 후의 레이어, b는 바이어스, *는 컨볼루션 연산자, h는 가중치라고 할 때, 하기의 수식 1의 수식 처리에 의하여 이루어지게 된다.
[수식 1]
Figure PCTKR2022008725-appb-I000028
상술하면, GNet구조는 도 3과 같다. 여기서 f는 숨겨진 레이어의 특징이고 ∂는 편미분 함수로서 수평 및 수직 방향 기울기를 추출한다.
GNet을 통과한 k 번째 레이어의 i 번째 feature맵은 아래 식과 같이 3x3 및 5x5 컨볼루션과 Rectified Linear Unit (ReLU)을 사용한다. b 및 h는 각각 바이어스, 컨볼루션 연산자 및 가중치 필터이다. 참고로, feature맵(특징맵)은, 알려진 바와 같이 합성층 계층의 입출력 데이터를 일컫는다.
비교적 낮은 계산 복잡도를 가지고, 텍스쳐 정보를 추출하기 위해, 첫 번째 레이어와 두 번째 레이어의가중치 필터(h)의 크기를 3x3으로, 나머지 레이어들의 크기는 5x5으로 정의한다. 재구성 레이어는 3x3컨볼루션 연산을 통해 feature맵들을 [수식 2]와 같이 결합한다.
[수식 2]
Figure PCTKR2022008725-appb-I000029
이 네트워크는 수평 네트워크와 수직 네트워크의branch 네트워크로 구성된다.수평 및 수직 gradient는 각 네트워크 및 입력데이터를 분석하기 위해 추출된 feature맵에 관여된다. 손실함수는 하기의 [수식 3]과 같이 정의한다.
[수식 3]
Figure PCTKR2022008725-appb-I000030
GNet은 수평 방향 경사도 및 수직 방향 경사도를 반환하고, θ는 매개 변수이다.
Figure PCTKR2022008725-appb-I000031
와
Figure PCTKR2022008725-appb-I000032
는 실측 데이터(ground truth)의 경사도(gradient)이다.
한편, 스무딩 개선 영상 생성 과정(S220)은, 경사도 개선 영상에 대하여 1 단계(ℓ0) 추정을 통하여 스무딩(smoothing) 처리된 스무딩 개선 영상을 생성하는 과정이다. 알려진 바와 같이 스무딩(smoothing)은 잡음제거에 많이 쓰이는데, 영상을 흐리게(Blurring)하거나 영상에 존재하는 노이즈를 제거하기 위해 사용된다. 스무딩은 현재 위치의 픽셀값과 이웃 픽셀값들의 평균으로 결과 영상의 현재 위치값을 결정하는 방법이다. 영상에 적용하면 선명도가 떨어지는 대신 노이즈를 제거하거나 끊어진 에지를 연결하게 된다.
본 발명은 이러한 스무딩 개선 영상을 위하여 단계(ℓ0) 추정을 통하여 스무딩(smoothing) 처리하는데, 원본 영상과 경사도 개선 영상 간의 차이를 나타낸 함수인 손실함수를 산출하는 과정(S221)과, 손실함수를 감소시켜(예컨대, 최소화시켜) 스무딩 개선 영상을 생성하는 과정(S222)으로 이루어진다.
이하, 스무딩 개선 영상의 처리 실시예를 좀 더 자세히 수식과 함께 상술한다.
기존의 영상 smooth 필터는 가중 최소 제곱 알고리즘, L0(엘제로) 또는 L1(엘원) 기반 경사 하강 법과 같은 반복연산을 통한 최적화로 인해 높은 계산 복잡성을 가진다. 제안하는 GNet은 심층 gradient 사전정보 획득이 가능하고, 전반적으로, 손실함수와 결합되면 한 단계(one-step) 추정만으로 최적의 smooth 영상추정이 가능하다. 한 단계 L0 최소화를 위한 손실함수는 다음의 [수식 4]와 같이 정의한다.
[수식 4]
Figure PCTKR2022008725-appb-I000033
S는 최적의 smooth영상을 나타내며,
Figure PCTKR2022008725-appb-I000034
와
Figure PCTKR2022008725-appb-I000035
는 target 영상(S)과 가이드 영상(G) 모두에 최소화된 수평 및 수직 gradient이다.
Figure PCTKR2022008725-appb-I000036
는 GNet의 손실함수이다. 손실 함수의 최소화를 위해 비용 함수를 [수식 5]와 같이 나누어 재구성한다.
[수식 5]
Figure PCTKR2022008725-appb-I000037
확률론적 경사 하강 방법을 통해 이미 최적화된 손실 함수를 획득했기 때문에, 위 목적함수의 솔루션은 사전 훈련된 GNet의 출력이라 할 수 있다. 즉, gradient 성분
Figure PCTKR2022008725-appb-I000038
은 다음의 [수식 6]과 같이 표현된다.
[수식 6]
Figure PCTKR2022008725-appb-I000039
가이드 영상 g는 구체적으로 가우시언 필터링이 적용된 영상을 사용하였다. 최초 최소화된 gradient 성분들이 추정되었으므로, gradient 항은 유지한 채, L0 norm 항을 이용하여 [수식 4]의 목적함수를 다음의 [수식 7]과 같이 보다 구체적으로 공식화할 수 있다.
[수식 7]
Figure PCTKR2022008725-appb-I000040
카운팅 함수 L0의 역할은 가이드 영상의 0이 아닌 gradient의 개수를 세어(count) 집계한다.
Figure PCTKR2022008725-appb-I000041
가 0 이 아니라면, L0는 1을 반환하고, 다음의 세 가지 조건을 만족한다.
[수식 9]
Figure PCTKR2022008725-appb-I000042
[수식 10]
Figure PCTKR2022008725-appb-I000043
[수식 11]
Figure PCTKR2022008725-appb-I000044
Figure PCTKR2022008725-appb-I000045
의 경우는 위 (8)번 목적 함수의 gradient 비용은 다음의 [수식 12]와 같이 정의된다.
[수식 12]
Figure PCTKR2022008725-appb-I000046
하지만, [수식 9] 조건에 의해 위 조건은 성립되지 않는다. 따라서, 상술한 [수식 9] ~ [수식 11]의 조건을 요약하여 표현하면, 다음의 [수식 13]과 같다.
[수식 13]
Figure PCTKR2022008725-appb-I000047
여기서,
Figure PCTKR2022008725-appb-I000048
는 로지컬 함수로서 다음의 [수식 14]와 같이 정의한다.
[수식 14]
Figure PCTKR2022008725-appb-I000049
편미분 기반의 클로스드 폼 솔루션(closed form solution)의 획득을 위해, 목적 함수 [수식 4]를 최종적으로 다음의 [수식 15]와 같이 정의한다.
[수식 15]
Figure PCTKR2022008725-appb-I000050
위의 [수식 15] 목적 함수의 최적 smooth 영상 S의 결과는 다음의 [수식 16]과 같다.
[수식 16]
Figure PCTKR2022008725-appb-I000051
Figure PCTKR2022008725-appb-I000052
와
Figure PCTKR2022008725-appb-I000053
는 각각 고속 푸리에 변환과 고속 푸리에 역 변환이다. 또한
Figure PCTKR2022008725-appb-I000054
,
Figure PCTKR2022008725-appb-I000055
로 초기화를 진행한다. 도 4는 제안 방법을 구체적으로 보여준다.
한편, 도 5는 NKS 데이터 셋[6]을 이용하여 수행한 smoothing 결과이다. 도 5 (c)-(d)에서 보이듯이 GUF, L0-smoothing 방법은 불필요한 텍스쳐를 성공적으로 제거하지만, 주엣지영역에서 번짐이 발생한다. (e)는 텍스처를 제거한 결과를 보여 주지만 과도한 제거로 인한 색상 왜곡이 관찰된다. (f)-(g)는 FCN, VDCNN을 이용하여 딥 러닝 기반 기법으로 고성능 텍스처 제거와 빠른 처리 속도를 예측했다. 그러나 이미지 크기가 커질수록 속도가 느려지는 문제가 발생했다. 반면 제안된 방법은 색상 왜곡없이 텍스처를 제거하고 이미지 크기가 커져도 빠른 처리 속도를 유지한다.
도 6의 (a)에 도시된 바와 같이, 디테일 손실된 영상을 보여주므로 초점이 맞지 않기 때문에 디테일 손실된 영상을 보여주는 방법이다. 처리 방법은 E = 2I-S로 표현할 수 있다. 여기서 I는 입력 이미지이고 S는 smooth 이미지이다. 도 6은 선예도 개선 결과를 보인다. (b)-(d) 결과는 개선되었지만 성능 제한이 존재하며 부 자연스러운 결과가 평가되며, (e)-(f)는 결과적으로 개선되었지만 과도한 강화로 인해 색상이 왜곡된 것을 알 수 있다. 반면에 본 발명은 세부 사항을 향상시키면서 보다 자연스러운 결과를 제공할 수 있다.
상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예 중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능할 것이다.

Claims (5)

  1. 화질 개선 처리 장치가, 영상의 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ0 스무딩 방법에 있어서,
    상기 화질 개선 처리 장치가, 원본 영상의 화소의 경사도(gradient)를 최소화하여 경사도 개선 영상을 생성하는 경사도 개선 영상 생성 과정;
    상기 화질 개선 처리 장치가, 상기 경사도 개선 영상에 대하여 1 단계(ℓ0) 추정을 통하여 스무딩(smoothing) 처리된 스무딩 개선 영상을 생성하는 스무딩 개선 영상 생성 과정;
    을 포함하는 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ0 스무딩 방법.
  2. 청구항 1에 있어서, 상기 경사도 개선 영상 생성 과정은,
    원본 영상의 임계 에지 영역을 제외하는 임계 에지 영역 제외 과정;
    임계 에지 영역 제외된 영상을 대상을 콘볼루션 신경망(convolutional neural network)인 GNet을 이용하여 수평 방향 경사도 및 수직 방향 경사도를 최소로 하는 경사도 최소화 과정;
    을 포함하는 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ0 스무딩 방법.
  3. 청구항 2에 있어서, 상기 GNet은,
    3x3컨볼루션, 5x5컨볼루션, ReLU(Rectified Linear Unit) 필터로 이루어진 콘볼루션 신경망(convolutional neural network)임을 특징으로 하는 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ0 스무딩 방법.
  4. 청구항 3에 있어서, 상기 경사도 최소화 과정은,
    f는 영상 레이어, i는 GNet을 통과하기 전의 레이어, k는 GNet을 통과한 후의 레이어, b는 바이어스, *는 컨볼루션 연산자, h는 가중치라고 할 때,
    Figure PCTKR2022008725-appb-I000056
    의 수식 처리에 의하여 이루어짐을 특징으로 하는 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ0 스무딩 방법.
  5. 청구항 2에 있어서, 상기 스무딩 개선 영상 생성 과정은,
    원본 영상과 경사도 개선 영상 간의 차이를 나타낸 함수인 손실함수를 산출하는 과정;
    상기 손실함수를 감소시켜 스무딩 개선 영상을 생성하는 과정;
    을 포함하는 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ0 스무딩 방법.
PCT/KR2022/008725 2021-06-23 2022-06-20 선예도 개선을 위한 심층 기울기 사전정보기반 l0 스무딩 방법 WO2022270854A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/035,107 US20240005454A1 (en) 2021-06-23 2022-06-20 Method of performing l0 smoothing on the basis of deep gradient prior information to improve sharpness

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210081510A KR102342940B1 (ko) 2021-06-23 2021-06-23 선예도 개선을 위한 심층 기울기 사전정보기반 l0 스무딩 방법
KR10-2021-0081510 2021-06-23

Publications (1)

Publication Number Publication Date
WO2022270854A1 true WO2022270854A1 (ko) 2022-12-29

Family

ID=79177026

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/008725 WO2022270854A1 (ko) 2021-06-23 2022-06-20 선예도 개선을 위한 심층 기울기 사전정보기반 l0 스무딩 방법

Country Status (3)

Country Link
US (1) US20240005454A1 (ko)
KR (1) KR102342940B1 (ko)
WO (1) WO2022270854A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102342940B1 (ko) * 2021-06-23 2021-12-27 주식회사 포바이포 선예도 개선을 위한 심층 기울기 사전정보기반 l0 스무딩 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950024507A (ko) * 1994-01-31 1995-08-21 김광호 영상의 명암대비 개선회로
KR100213039B1 (ko) * 1996-04-10 1999-08-02 윤종용 평균-매칭 히스토그램 등화를 이용한 화질 개선 방법 및 그 회로
KR100685568B1 (ko) * 2002-03-22 2007-02-22 세이코 엡슨 가부시키가이샤 화상 처리 장치 및 화상 출력 장치
JP2013521919A (ja) * 2010-03-18 2013-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 機能的画像データ強調及び／又はエンハンサ
CN112526517A (zh) * 2020-12-01 2021-03-19 东南大学 一种平滑l0范数最小化的逆合成孔径雷达成像算法
KR102342940B1 (ko) * 2021-06-23 2021-12-27 주식회사 포바이포 선예도 개선을 위한 심층 기울기 사전정보기반 l0 스무딩 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950024507A (ko) * 1994-01-31 1995-08-21 김광호 영상의 명암대비 개선회로
KR100213039B1 (ko) * 1996-04-10 1999-08-02 윤종용 평균-매칭 히스토그램 등화를 이용한 화질 개선 방법 및 그 회로
KR100685568B1 (ko) * 2002-03-22 2007-02-22 세이코 엡슨 가부시키가이샤 화상 처리 장치 및 화상 출력 장치
JP2013521919A (ja) * 2010-03-18 2013-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 機能的画像データ強調及び／又はエンハンサ
CN112526517A (zh) * 2020-12-01 2021-03-19 东南大学 一种平滑l0范数最小化的逆合成孔径雷达成像算法
KR102342940B1 (ko) * 2021-06-23 2021-12-27 주식회사 포바이포 선예도 개선을 위한 심층 기울기 사전정보기반 l0 스무딩 방법

Also Published As

Publication number Publication date
KR102342940B1 (ko) 2021-12-27
US20240005454A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
Zhang et al. Nighttime dehazing with a synthetic benchmark
WO2010076945A2 (ko) 이미지의 블러 제거 방법 및 이미지의 블러 제거 방법이 기록된 기록매체
WO2010038941A2 (en) Apparatus and method of obtaining high resolution image
CN109118446B (zh) 一种水下图像复原及去噪方法
WO2013172580A1 (ko) 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
US20220210350A1 (en) Image dehazing method and image dehazing apparatus using the same
WO2020017871A1 (ko) 영상 처리 장치 및 그 동작방법
WO2022270854A1 (ko) 선예도 개선을 위한 심층 기울기 사전정보기반 l0 스무딩 방법
CN106251297A (zh) 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法
WO2020116768A1 (ko) 영상 처리 장치 및 그 동작방법
WO2013165210A1 (ko) 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
WO2017014396A1 (ko) 영상의 파장 적응적 안개 제거 장치 및 방법
Gao et al. Atmospheric turbulence removal using convolutional neural network
Kalivas et al. Motion compensated enhancement of noisy image sequences
WO2015182802A1 (ko) 영상 처리 방법, 이를 이용한 시스템 및 이를 수행하기 위한 기록매체
CN110807738A (zh) 一种基于边缘图块锐化的模糊图像非盲复原方法
CN116309080A (zh) 一种无人机视频拼接方法
CN112907461B (zh) 一种红外雾天降质图像去雾增强方法
WO2022250267A1 (ko) 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치
WO2024090692A1 (ko) 학습된 신경망을 통한 객체 세그멘테이션 정보의 획득 방법 및 이를 수행하는 서버 시스템
Zhang et al. Restoration of space-variant blurred image based on motion-blurred target segmentation
WO2022245046A1 (ko) 영상 처리 장치 및 그 동작 방법
CN114820824A (zh) 一种同时去雾和提高分辨率的真实场景视觉增强方法
Wang et al. An image denoising and enhancement approach for dynamic low-light environment
Anand et al. An Improved Dehazing and De-raining Technique for Haze and Rain Streaks Removal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22828701

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18035107

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22828701

Country of ref document: EP

Kind code of ref document: A1