KR102342940B1

KR102342940B1 - 선예도 개선을 위한 심층 기울기 사전정보기반 l0 스무딩 방법

Info

Publication number: KR102342940B1
Application number: KR1020210081510A
Authority: KR
Inventors: 윤준호
Original assignee: 주식회사 포바이포
Priority date: 2021-06-23
Filing date: 2021-06-23
Publication date: 2021-12-27
Also published as: WO2022270854A1; US20240005454A1

Abstract

본 발명의 실시 형태는 화질 개선 처리 장치가, 영상의 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ₀ 스무딩 방법에 있어서, 상기 화질 개선 처리 장치가, 원본 영상의 화소의 경사도(gradient)를 최소화하여 경사도 개선 영상을 생성하는 경사도 개선 영상 생성 과정; 상기 화질 개선 처리 장치가, 상기 경사도 개선 영상에 대하여 1 단계(ℓ₀) 추정을 통하여 스무딩(smoothing) 처리된 스무딩 개선 영상을 생성하는 스무딩 개선 영상 생성 과정;을 포함할 수 있다.

Description

선예도 개선을 위한 심층 기울기 사전정보기반 L0 스무딩 방법{Method for One-Step L0 Smoothing via Deep Gradient Prior}

본 발명은 심층 기울기 사전정보기반으로 선예도를 개선시키는 스무딩 처리 방법에 관한 것이다.

최근 영상은 자율주행, 인공위성, CCTV 등과 같은 분야에서 객체 검출,감시,경계 방법에 컴퓨터 비전 기술이 활발히 활용되고 있다. 하지만, 영상 신호 처리 하드웨어의 한계로 인해 영상 획득과정에서 열잡음, 고주파 정보 손실로 불러와 열화 현상이 발생하고, 영상의 품질을 감소시켜 컴퓨터 비전 기반 방법 성능을 저하시키는 문제가 발생한다.

이러한 이유 때문에, 컴퓨터 비전 기반 성능 향상을 위한 전처리 방법인 저조도 영상 개선, 안개 영상 복원 및 영상 합성 등 다양한 분야에서 주요 윤곽 이외 불필요한 정보 제거 방법을 필요로 하고 여러 윤곽보존 방법들이 연구되고 있다.

기존 신호처리 방법으로 local 기반 윤곽보존 방법에서 bilateral filter, guided image filter, weighted median filter(WMF), joint guided filter와 같은 방법이 널리 사용되고 있다. 양방향 필터, WMF는 기존 평균값, 중간값, Gaussian 필터에서 발생하는 주요 윤곽에서 고주파 성분이 손실되는 문제를 해결하기 위한 방법으로 제안되었다.

양방향 필터는 spatial, intensity kernel을 결합한 방법으로 spatial kernel로 불필요한 정보 제거, intensity kernel로 주요 윤곽 보존을 하는 역할을 한다. 하지만, 마스크 크기에 따라 계산이 매우 복잡하고 smoothing 성능도 인접 픽셀과 설정 매개 변수에 따라 달라지는 문제점이 있다.

또한, image smoothing 방법 중의 하나인 Guided image filter, joint guided filter은 양방향 필터보다 window 크기에 따라 영향을 덜 받고 개선된 계산 복잡성으로 인해 좋은 성능을 보여주지만, 주어진 guided image와 매개 변수에의한 smoothing 성능에 대한 한계가 존재하며 주요 에지에서 윤곽보존 필터 성능이 모호하다는 단점이 있다.

WMF는 중간값 필터를 개선한 방법으로 중간값 필터에서 필터 크기에 따라 왜곡 및 잡음 증폭이 되는 문제점을 WMF에서 거리에 따라 가중치를 주는 방법으로 윤곽 보존하며 잡음과 같이 불필요한 정보를 제거한다.

Global 기반 윤곽보존 방법에서 사용되는 방법은 L0, L1-norm based, weighted least square smoothing 등과 같은 방법이 제안되었다. 이러한 global 기반 방법들은 목적 함수를 최소화하면서 윤곽 보존된 결과를 획득한다. 이 방법들은 목적 함수에 제약 조건으로 정규화 텀L0, L1, L2-norm을 추가한 최소화 방법으로 윤곽 보존한다. Global 기반 윤곽보존 방법은 half-quadratic splitting, iterative shrinkage-thresholding algorithm을 이용한 방법으로 제약 조건 정규화 텀을 최소화한 방법으로 효과적으로 윤곽 보존한 방법이다. Global 기반 방법은 local 기반 방법에 비해 주요 윤곽에 대한 고주파 정보 손실 문제를 해결한 효과적인 방법이다.

하지만, 영상 크기가 커지면 커질수록 연산량이 증가하는 문제가 발생하여 처리 속도 개선을 필요로 한다. 또한, Cho의 방법은 L0-norm smoothing에 방향성 미분 연산자를 추가한 간단한 접근 방법으로 잡음에 강건한 개선된 L0-norm smoothing 방법을 제안했다.추가적으로,개선된 L0-norm smoothing은 영상을 블록으로 분할하고 기존 x,y 방향을 포함한 5방향 gradient를 GPU를 이용한 연산 환경에서 병렬처리하기 때문에 연산량 증가문제를 해결했다.

하지만, smoothing 성능 향상을 위한 5 방향 gradient는 block processing 계산 복잡성을 추가로 증가시는 문제점이 있다. Structure-guided

-optimization 방법은 guided image를 이용한 방법으로 기존

-norm minimization 방법보다 불필요한 윤곽보존 방법을 제안했다. 하지만, 2개의

-norm regularization term으로 인해 기존

-norm 방법보다 높은 윤곽보존 성능을 보이지만, 계산량 증가로 인한 처리속도에 대해 비효율적인 문제가 존재한다.

최근, 학습기반 방법도 활발히 연구되고 있으며, 합성곱 신경망을 이용한 윤곽보존 방법들이 제안되고 있다. 기존 local, global 방법에서 발생하는 처리속도 문제에 대한 해결책으로 가속화된 연산으로 local, global 필터 성능에 준하는 성능을 보이고 있다. Deep joint image filtering 방법은 guided filter과 유사하게 guidance, input image를 deep network 입력으로 하여 smoothing된 결과를 제공한다. Convolutional neural pyramid for image processing 방법은 deep network를 u-net과 같은 중간구조를 통해 low,high-level feature를 다양하게 활용하여 smoothing된 결과를 보여준다. 기존 deep joint image filtering 방법과 비교해서 pyramid 구조를 이용하기 때문에 다양한 스케일의 feature를 학습하기 때문에 개선된 윤곽보존 결과를 제공할 수 있다. 그리고 image smoothing via unsupervised learning 방법은 앞에서 소개한 방법과 다르게 비지도 학습을 이용한 윤곽보존 방법을 제안했다. 이 방법은 기존 지도 학습결과에 준하는 성능을 보여주지만, 비지도 학습 방법에 특성상 fully-supervised learning 방법보다 학습이 잘되지 않는 단점이 존재한다. 학습기반 방법은 합성곱 신경망을 이용하여 L0-norm와 같은 기존 윤곽보존 방법 결과를 end-to-end 학습한 방법으로 global 기반 방법에서 발생하는 연산량증가로인한 처리 속도 문제를 개선하였다.

하지만, 평균 제곱 오차에 기반한 학습방법 때문에 결과 영상에 추가 열화가 발생하고 윤곽 보존 성능에 대한 성능 한계가 존재한다.

여러 윤곽보존 방법들이 연구되고 있으며 불필요한 정보를 제거하고 고주파 성분 손실을 줄이는 방법이 개발되고 있다. 하지만, 여전히 기존 방법에서는 계산 복잡성, edge-preserving 성능에 대한 한계가 존재한다.

한국등록특허 10-0213039

본 발명의 기술적 과제는 불필요한 정보를 제거하고 고주파 성분 손실을 줄이기 위하여 deep neural network를 이용한 gradient minimization 방법을 제공하는데 있다.

상기 경사도 개선 영상 생성 과정은, 원본 영상의 임계 에지 영역을 제외하는 임계 에지 영역 제외 과정; 임계 에지 영역 제외된 영상을 대상을 콘볼루션 신경망(convolutional neural network)인 GNet을 이용하여 수평 방향 경사도 및 수직 방향 경사도를 최소로 하는 경사도 최소화 과정;을 포함할 수 있다.

상기 GNet은, 3x3컨볼루션, 5x5컨볼루션, ReLU(Rectified Linear Unit) 필터로 이루어진 콘볼루션 신경망(convolutional neural network)임을 특징으로 할 수 있다.

상기 경사도 최소화 과정은, f는 영상 레이어, i는 GNet을 통과하기 전의 레이어, k는 GNet을 통과한 후의 레이어, b는 바이어스, *는 컨볼루션 연산자, h는 가중치라고 할 때,

의 수식 처리에 의하여 이루어짐을 특징으로 할 수 있다.

상기 스무딩 개선 영상 생성 과정은, 원본 영상과 경사도 개선 영상 간의 차이를 나타낸 함수인 손실함수를 산출하는 과정; 상기 손실함수를 감소시켜 스무딩 개선 영상을 생성하는 과정;을 포함할 수 있다.

본 발명의 실시 형태에 따르면 convolution, residual operator를 이용한 간단한 방법으로 gradient를 빠르고 정확하게 최소화할 수 있으며, 또한 기존 방법에서 발생했던 비효율적인 gradient 추정 방법문제를 해결할 수 있다.

또한 본 발명의 실시 형태에 따르면 기존의 영상 smooth 필터는 가중 최소 제곱 알고리즘, L0(엘제로) 또는 L1(엘원) 기반 경사 하강 법과 같은 반복연산을 통한 최적화로 인해 높은 계산 복잡성을 가지는데 반하여, 본 발명은 1단계 스무딩 처리가 이루어져 신속한 스무딩 처리가 이루어질 수 있다.

도 1은 본 발명의 실시예에 따른 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ₀ 스무딩 처리가 이루어지는 화질 개선 처리 장치의 사시도.
도 2는 본 발명의 실시예에 따른 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ₀ 스무딩 처리가 이루어지는 플로차트.
도 3은 본 발명의 GNet 구조를 도시한 그림.
도 4는 본 발명의 실시예에 따라 스무딩 처리된 예시 그림.
도 5는 본 발명의 실시예에 따라 텍스트 제거된 스무딩 처리가 이루어진 예시 그림.
도 6은 본 발명의 실시예에 따라 선예도 개선된 영상이 획득된 예시 그림.

이하, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은, 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.

이하, 본 발명의 설명에 앞서 알려진 바와 같이 화질 개선에 사용되는 화질 개선 필터에 대하여 간략히 기술한다.

(1) Local-Based 필터 기반 화질 개선

Local-based 필터는 대표적으로 weighted median, bilateral, guided filter가 있다. 이러한 local-based 필터들은 간단하고 빠른 방법으로 널리 사용되고 있으며 기본적인 영상 degradation model은 다음과 같이 정의할 수 있다.

여기서, I는 texture가 포함된 영상, x는 ideal image, n은 잡음이다. 또한, local-based filter는 영상에서 다음과 같은 식에 의해 적용된다.

여기서, S는 윤곽보존된 영상, F는 WMF, bilateral, and guided filter 등과 같은 필터, I는 입력 영상이다. Local-based filter 방법들은 간단하거나 반복적인 필터링 방법으로 small texture나 noise를 제거할 수 있지만, local images 통계값으로만 이루어지는 필터링이기 때문에 엣지 영역 후광현상이 발생하거나, 필터링하는 영역에서 유사한 픽셀 값이 없는 영역에서 gradient reversal 현상이 발생하는 문제점이 존재한다.

(2) Global-based 기반 화질 개선

Global-based 방법들은 ROF-TV, WLS, ℓ₀-smoothing 등과 같은 방법들이 있다. 이러한 방법들은 local-based 방법과 달리 최적화 방법을 이용하여 윤곽보존을 하여 noise, small texture를 제거한다. WLS 방법은 영상에서 gradient에 따라 matrix affinities를 조정하여 주요 윤곽이 보존된 결과를 제공한다. ℓ₀-smoothing방법은 영상에서 0이 아닌 gradient의 개수를 세는 것을 정칙화 항으로 사용하여 윤곽보존하는 방법으로 뛰어난 윤곽보존 성능을 보여주며 다음과 같은 식으로 정의된다.

여기서 I는 입력 영상, S는 결과 영상,

,

는 S에 대한 x,y 방향 gradient를 의미한다. 위 식에서

는

으로 각 x,y방향 기울기 합이 0이 아닌 성분의 개수를 센다. 이러한 식을 기반으로 minimization 문제로 다시 정의하면 다음과 같다.

하지만, global-based 방법들은 local-based 방법과 비교했을 때 지역적으로 중요한 윤곽은 보존하지 못하거나, global 연산으로 인한 연산량이 증가하는 문제점이 존재한다.

글로벌 기반 최적화 방법인 ℓ₀-norm 방법에서 사용되는

gradient를 추정하는 신경망으로 기존방법에서 발생하는 처리속도 증가 문제를 해결할 수 있다.기존 global-based 윤관 보존 방법으로 ℓ₀-norm smoothing이 있으며 다음 식으로 정의된다.

여기서 I는 입력 영상, S는 결과 영상,

,

는 S에 대한 x,y방향 기울기를 의미한다. 위 식에서

는

으로 각 x,y방향 기울기 합이 0이 아닌 선분의 개수를 센다. 이러한 식을 기반으로 minimization 문제로 다시 정의하면 다음과 같다.

위 식은 ℓ₀-norm regularization 항으로 non-linear하기 때문에 non-convex and non-differentiable하다. 이러한 이유 때문에,ℓ₀-norm regularization term은 half-quadratic splitting ℓ₀-norm minimization method를 이용하여 풀고, 위 식을 이용하여윤곽보존된 결과

를 구할 수 있다.

(3) Learning-based 기반 화질 개선

학습 기반 방법들은 convolution으로 이루어진 인공신경망을 지도-, 비지도-학습을 통하여 윤곽보존된 결과를 제공할 수 있다. 이러한 방법은 기존 local, global 방법에서 존재하는 성능, 계산 복잡도 한계를 극복할 수 있다는 장점이 있으며,다음과 같은 손실함수를 이용하여 신경망을 학습한다.

여기서

는 입력 영상,

윤곽 보존된 영상,

는 인공 신경망,

은 학습데이터 개수,

는 인공신경망을 이루고 있는 weight, bias 파라미터를 의미한다.

본 발명은 영상에서 중요한 윤곽보존을 위한 gradient network(GNet)를 제안한다. 제안하는 방법은 영상 화소의 gradient를 최소화하기 위한 것으로, 임계 에지영역을 제외하고 수평 및 수직 방향 gradient를 위한 각각의 도함수(derivative)가 최소화 되어야한다. 이러한 문제를 해결하기 위해 제안하는 GNet은 convolutional neural network를 이용한 네트워크로

를 추정하여 연산량이 증가하는 문제를 해결하도록 하였다. 이하 상술후기로 한다.

도 1은 본 발명의 실시예에 따른 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ₀ 스무딩 처리가 이루어지는 화질 개선 처리 장치의 사시도이다.

본 발명의 화질 개선 처리 장치는, 선예도 개선을 위한 심층 기울기 사전정보기반으로 ℓ₀ 스무딩 화질 개선을 처리하는 장치이다. 여기서 ℓ₀ 라 함은 여러 단계가 아니라 하나의 단계(1단계)만을 의미한다.

기존의 영상 smooth 필터는 가중 최소 제곱 알고리즘, L0(엘제로) 또는 L1(엘원) 기반 경사 하강 법과 같은 반복연산을 통한 최적화로 인해 높은 계산 복잡성을 가지는데 반하여, 본 발명은 1단계 스무딩 처리가 이루어지도록 한다.

본 발명의 화질 개선 처리 장치는, CPU와 같은 연산 처리 유닛과, 모니터와 같은 디스플레이 패널이 구비된 장치로서, 예를 들어, 도 1에 도시한 바와 같이 모니터가 구비된 컴퓨터, 모니터가 구비된 서버 등으로 구현될 수 있다.

이러한 컴퓨터, 서버는, 소프트웨어적으로는 C, C++, Java, Visual Basic, Visual C 등과 같은 다양한 형태의 언어를 통해 구현되어 여러 가지 기능을 하는 프로그램 모듈을 포함한다. 또한, 일반적인 서버용 하드웨어에 도스(dos), 윈도우(window), 리눅스(linux), 유닉스(unix), 매킨토시(macintosh) 등의 운영 체제에 따라 다양하게 제공되고 있는 프로그램을 이용하여 구현될 수 있으며, 대표적인 것으로는 윈도우 환경에서 사용되는 웹사이트(website), IIS(Internet Information Server)와 유닉스 환경에서 사용되는 CERN, NCSA, APPACH 등이 이용될 수 있다.

도 2는 본 발명의 실시예에 따른 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ₀ 스무딩 처리가 이루어지는 플로차트이며, 도 3은 본 발명의 GNet 구조를 도시한 그림이며, 도 4는 본 발명의 실시예에 따라 스무딩 처리된 예시 그림이며, 도 5는 본 발명의 실시예에 따라 텍스트 제거된 스무딩 처리가 이루어진 예시 그림이며, 도 6은 본 발명의 실시예에 따라 선예도 개선된 영상이 획득된 예시 그림이다.

본 발명의 영상의 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ₀ 스무딩 방법은, 도 2에 도시한 바와 같이 화질 개선 처리 장치가 원본 영상의 화소의 경사도(gradient)를 최소화하여 경사도 개선 영상을 생성하는 경사도 개선 영상 생성 과정(S210)과, 화질 개선 처리 장치가 경사도 개선 영상에 대하여 1 단계(ℓ₀) 추정을 통하여 스무딩(smoothing) 처리된 스무딩 개선 영상을 생성하는 스무딩 개선 영상 생성 과정(S220)을 포함할 수 있다. 이하 상술한다.

경사도 개선 영상 생성 과정(S210)은, 화질 개선 처리 장치가, 원본 영상의 화소의 경사도(gradient)를 최소화하여 경사도 개선 영상을 생성하는 과정이다.

이러한 경사도 개선 영상 생성 과정은 임계 에지 영역 제외 과정(S211)과, 경사도 최소화 과정(S212)을 포함할 수 있다.

임계 에지 영역 제외 과정(S211)은, 원본 영상의 임계 에지 영역을 제외하는 과정이다. 여기서 임계 에지 영역은, 미리 설정된 영상의 에지 영역의 경계 외곽 부분으로서, 화질 개선 처리가 불필요한 영역으로 미리 설정된다.

경사도 최소화 과정(S212)은, 임계 에지 영역 제외된 영상을 대상을 콘볼루션 신경망(convolutional neural network)인 GNet을 이용하여 수평 방향 경사도 및 수직 방향 경사도를 최소로 하는 과정이다. 여기서 GNet은, 3x3컨볼루션, 5x5컨볼루션, ReLU(Rectified Linear Unit) 필터로 이루어진 콘볼루션 신경망(convolutional neural network)이다. 경사도 최소화 과정은,f는 영상 레이어, i는 GNet을 통과하기 전의 레이어, k는 GNet을 통과한 후의 레이어, b는 바이어스, *는 컨볼루션 연산자, h는 가중치라고 할 때, 하기의 수식 1의 수식 처리에 의하여 이루어지게 된다.

[수식 1]

상술하면, GNet구조는 도 3과 같다. 여기서 f는 숨겨진 레이어의 특징이고 ∂는 편미분 함수로서 수평 및 수직 방향 기울기를 추출한다.

GNet을 통과한 k 번째 레이어의 i 번째 feature맵은 아래 식과 같이 3x3 및 5x5 컨볼루션과 Rectified Linear Unit (ReLU)을 사용한다. b 및 h는 각각 바이어스, 컨볼루션 연산자 및 가중치 필터이다. 참고로, feature맵(특징맵)은, 알려진 바와 같이 합성층 계층의 입출력 데이터를 일컫는다.

비교적 낮은 계산 복잡도를 가지고, 텍스쳐 정보를 추출하기 위해, 첫 번째 레이어와 두 번째 레이어의가중치 필터(h)의 크기를 3x3으로, 나머지 레이어들의 크기는 5x5으로 정의한다. 재구성 레이어는 3x3컨볼루션 연산을 통해 feature맵들을 [수식 2]와 같이 결합한다.

[수식 2]

이 네트워크는 수평 네트워크와 수직 네트워크의branch 네트워크로 구성된다.수평 및 수직 gradient는 각 네트워크 및 입력데이터를 분석하기 위해 추출된 feature맵에 관여된다. 손실함수는 하기의 [수식 3]과 같이 정의한다.

[수식 3]

GNet은 수평 방향 경사도 및 수직 방향 경사도를 반환하고, θ는 매개 변수이다.

와

는 실측 데이터(ground truth)의 경사도(gradient)이다.

한편, 스무딩 개선 영상 생성 과정(S220)은, 경사도 개선 영상에 대하여 1 단계(ℓ₀) 추정을 통하여 스무딩(smoothing) 처리된 스무딩 개선 영상을 생성하는 과정이다. 알려진 바와 같이 스무딩(smoothing)은 잡음제거에 많이 쓰이는데, 영상을 흐리게(Blurring)하거나 영상에 존재하는 노이즈를 제거하기 위해 사용된다. 스무딩은 현재 위치의 픽셀값과 이웃 픽셀값들의 평균으로 결과 영상의 현재 위치값을 결정하는 방법이다. 영상에 적용하면 선명도가 떨어지는 대신 노이즈를 제거하거나 끊어진 에지를 연결하게 된다.

본 발명은 이러한 스무딩 개선 영상을 위하여 단계(ℓ₀) 추정을 통하여 스무딩(smoothing) 처리하는데, 원본 영상과 경사도 개선 영상 간의 차이를 나타낸 함수인 손실함수를 산출하는 과정(S221)과, 손실함수를 감소시켜(예컨대, 최소화시켜) 스무딩 개선 영상을 생성하는 과정(S222)으로 이루어진다.

이하, 스무딩 개선 영상의 처리 실시예를 좀 더 자세히 수식과 함께 상술한다.

기존의 영상 smooth 필터는 가중 최소 제곱 알고리즘, L0(엘제로) 또는 L1(엘원) 기반 경사 하강 법과 같은 반복연산을 통한 최적화로 인해 높은 계산 복잡성을 가진다. 제안하는 GNet은 심층 gradient 사전정보 획득이 가능하고, 전반적으로, 손실함수와 결합되면 한 단계(one-step) 추정만으로 최적의 smooth 영상추정이 가능하다. 한 단계 L0 최소화를 위한 손실함수는 다음의 [수식 4]와 같이 정의한다.

[수식 4]

S는 최적의 smooth영상을 나타내며,

와

는 target 영상(S)과 가이드 영상(G) 모두에 최소화된 수평 및 수직 gradient이다.

는 GNet의 손실함수이다.손실 함수의 최소화를 위해 비용 함수를 [수식 5]와 같이 나누어 재구성한다.

[수식 5]

확률론적 경사 하강 방법을 통해 이미 최적화된 손실 함수를 획득했기 때문에,위 목적함수의 솔루션은 사전 훈련된 GNet의 출력이라 할 수 있다. 즉,gradient 성분

은 다음의 [수식 6]과 같이 표현된다.

[수식 6]

가이드 영상 g는 구체적으로 가우시언 필터링이 적용된 영상을 사용하였다.최초 최소화된 gradient 성분들이 추정되었으므로, gradient 항은 유지한 채, L0 norm 항을 이용하여 [수식 4]의 목적함수를 다음의 [수식 7]과 같이 보다 구체적으로 공식화할 수 있다.

[수식 7]

카운팅 함수

의 역할은 가이드 영상의 0이 아닌 gradient의 개수를 세어(count) 집계한다.

가 0 이 아니라면,

는 1을 반환하고, 다음의 세 가지 조건을 만족한다.

[수식 9]

[수식 10]

[수식 11]

의 경우는 위 (8)번 목적 함수의 gradient 비용은 다음의 [수식 12]와 같이 정의된다.

[수식 12]

하지만, [수식 9] 조건에 의해 위 조건은 성립되지 않는다. 따라서, 상술한 [수식 9] ~ [수식 11]의 조건을 요약하여 표현하면, 다음의 [수식 13]과 같다.

[수식 13]

여기서,

는 로지컬 함수로서 다음의 [수식 14]와 같이 정의한다.

[수식 14]

편미분 기반의 클로스드 폼 솔루션(closed form solution)의 획득을 위해, 목적 함수 [수식 4]를 최종적으로 다음의 [수식 15]와 같이 정의한다.

[수식 15]

위의 [수식 15] 목적 함수의 최적 smooth 영상 S의 결과는 다음의 [수식 16]과 같다.

[수식 16]

와

는 각각 고속 푸리에 변환 과 고속 푸리에 역 변환이다.또한

로 초기화를 진행한다. 도 4는 제안 방법을 구체적으로 보여준다.

한편, 도 5는 NKS 데이터 셋[6]을 이용하여 수행한 smoothing 결과이다. 도 5 (c)-(d)에서 보이듯이 GUF, L0-smoothing 방법은 불필요한 텍스쳐를 성공적으로 제거하지만, 주엣지영역에서 번짐이 발생한다. (e)는 텍스처를 제거한 결과를 보여 주지만 과도한 제거로 인한 색상 왜곡이 관찰된다. (f)-(g)는 FCN, VDCNN을 이용하여 딥 러닝 기반 기법으로 고성능 텍스처 제거와 빠른 처리 속도를 예측했다. 그러나 이미지 크기가 커질수록 속도가 느려지는 문제가 발생했다.반면제안 된 방법은 색상 왜곡없이 텍스처를 제거하고 이미지 크기가 커져도 빠른 처리 속도를 유지한다.

도 6의 (a)에 도시된 바와 같이, 디테일 손실된 영상을 보여주므로 초점이 맞지 않기 때문에 디테일 손실된 영상을 보여주는 방법이다. 처리 방법은 E = 2I-S로 표현할 수 있다. 여기서 I는 입력 이미지이고 S는 smooth 이미지이다. 도 6은 선예도 개선 결과를 보인다. (b)-(d) 결과는 개선되었지만 성능 제한이 존재하며 부 자연스러운 결과가 평가되며, (e)-(f)는 결과적으로 개선되었지만 과도한 강화로 인해 색상이 왜곡된 것을 알 수 있다. 반면에 본 발명은 세부 사항을 향상시키면서 보다 자연스러운 결과를 제공할 수 있다.

상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능할 것이다.

Claims

화질 개선 처리 장치가, 영상의 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ₀ 스무딩 방법에 있어서,
상기 화질 개선 처리 장치가, 원본 영상의 화소의 경사도(gradient)를 최소화하여 경사도 개선 영상을 생성하는 경사도 개선 영상 생성 과정; 및
상기 화질 개선 처리 장치가, 상기 경사도 개선 영상에 대하여 1 단계(ℓ₀) 추정을 통하여 스무딩(smoothing) 처리된 스무딩 개선 영상을 생성하는 스무딩 개선 영상 생성 과정;을 포함하되,
상기 경사도 개선 영상 생성 과정은,
원본 영상의 임계 에지 영역을 제외하는 임계 에지 영역 제외 과정; 및
임계 에지 영역 제외된 영상을 대상을 콘볼루션 신경망(convolutional neural network)인 GNet을 이용하여 수평 방향 경사도 및 수직 방향 경사도를 최소로 하는 경사도 최소화 과정;을 포함하는 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ₀ 스무딩 방법.
삭제
청구항 1에 있어서, 상기 GNet은,
3x3컨볼루션, 5x5컨볼루션, ReLU(Rectified Linear Unit) 필터로 이루어진 콘볼루션 신경망(convolutional neural network)임을 특징으로 하는 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ₀ 스무딩 방법.
청구항 3에 있어서, 상기 경사도 최소화 과정은,
f는 영상 레이어, i는 GNet을 통과하기 전의 레이어, k는 GNet을 통과한 후의 레이어, b는 바이어스, *는 컨볼루션 연산자, h는 가중치라고 할 때,

의 수식 처리에 의하여 이루어짐을 특징으로 하는 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ₀ 스무딩 방법.
청구항 1에 있어서, 상기 스무딩 개선 영상 생성 과정은,
원본 영상과 경사도 개선 영상 간의 차이를 나타낸 함수인 손실함수를 산출하는 과정;
상기 손실함수를 감소시켜 스무딩 개선 영상을 생성하는 과정;
을 포함하는 선예도 개선을 위한 심층 기울기 사전정보기반 ℓ₀ 스무딩 방법.