KR102119132B1 - 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치 및 방법 - Google Patents

에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치 및 방법 Download PDF

Info

Publication number
KR102119132B1
KR102119132B1 KR1020180104627A KR20180104627A KR102119132B1 KR 102119132 B1 KR102119132 B1 KR 102119132B1 KR 1020180104627 A KR1020180104627 A KR 1020180104627A KR 20180104627 A KR20180104627 A KR 20180104627A KR 102119132 B1 KR102119132 B1 KR 102119132B1
Authority
KR
South Korea
Prior art keywords
dictionary
image
sparse
cluster
equation
Prior art date
Application number
KR1020180104627A
Other languages
English (en)
Other versions
KR20200026549A (ko
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020180104627A priority Critical patent/KR102119132B1/ko
Publication of KR20200026549A publication Critical patent/KR20200026549A/ko
Application granted granted Critical
Publication of KR102119132B1 publication Critical patent/KR102119132B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치 및 방법은 저해상도(Low Resolution, LR) 패치의 희소 계수와 고해상도(High Resolution, HR) 패치의 희소 계수가 선형적으로 관련되어 있다고 가정하고, 특정한 패턴에 따라 복수의 LR 패치와 복수의 HR 패치의 학습 패치를 공동으로 복수개 파티셔닝하여 다양한 영상 패턴을 표현할 수 있으며, 영상 복원의 오류 발생을 최소화함으로써 적은 양의 학습 데이터와 불필요한 연산을 생략하여 고해상도 영상을 복원하는데 최적화된 영상 보간 방법을 제공함으로써 영상 분석 효율이 향상되는 효과가 있다.

Description

에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치 및 방법{Apparatus and Method for Restoring Super Resolution Image for Edge Computing}
본 발명은 영상 복원 방법에 관한 것으로서, 특히 저해상도(Low Resolution, LR) 패치의 희소 계수와 고해상도(High Resolution, HR) 패치의 희소 계수가 선형적으로 관련되어 있다고 가정하고, 특정한 패턴에 따라 복수의 LR 패치와 복수의 HR 패치의 학습 패치를 공동으로 복수개 파티셔닝하여 다양한 영상 패턴을 표현할 수 있으며, 영상 복원의 오류 발생을 최소화하는 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치 및 방법에 관한 것이다.
스마트폰 카메라나 네트워크 카메라는 전세계 어느 장소에나 설치되어 있다. 매번 생성되는 영상 데이터를 클라우드 컴퓨팅에 업로드하는 경우, 많은 네트워크 부하가 발생되는 문제점이 있다.
따라서, 에지 장치에서 영상 데이터를 사전 처리하게 되면 네트워크 부하를 크게 줄일 수 있는 장점이 있다. 에지 컴퓨팅(Edge Computing)은 네트워크 에지에서 영상을 사전 처리하는 것을 나타낸다.
에지 컴퓨팅(Edge Computing)을 기반으로 한 비디오 분석은 일반적으로 고해상도 비디오 영상이 필요하지만 하드웨어의 제한으로 인하여 캡처된 비디오 영상의 해상도가 충분히 높지 않고, 이로 인하여 시스템에서 요구하는 영상 해상도를 충족하지 못하는 문제점이 발생한다. 이러한 문제점을 극복하기 위하여 영상 보간 방법을 수행하게 된다.
영상 보간 방법은 HDTV(High-Definition TeleVision), DSC(Digital Still Camera), 디지털 캠코더 등과 같은 디지털 기기에서 저해상도(Low Resolution, LR) 영상을 고화질에 고해상도(High Resolution, HR) 영상으로 도시하기 위한 핵심 기술이다. 과거 수십년 동안 많은 영상 보간 방법들이 제안되었다. 그것들은 크게 보간 기반(Interpolation Based) 방법, 복원 기반(Reconstruction Based) 방법, 초고해상도 영상 복원(Super Resolution, SR) 방법 등 세 분류로 구분될 수 있다.
보간 기반 방법은 연산량이 적고 간단한 구조를 가지고 있으나, HR 영상의 대각선 에지에 블러링(Blurring)과 아트팩트(Artifact)가 발생하는 단점이 있다.
복원 기반 방법은 복원된 HR 영상을 스무딩(Smoothing)하고 다운 샘플링(down-sampling)한 영상이 입력 LR 영상과 근접하도록 제약하여 HR 영상을 생성한다. 이러한 복원 기반 방법은 한 에지 영역에서 재깅(Jagging)과 링잉(Ringing)이 나타나는 문제점을 가진다.
전술한 방법들의 문제점을 극복하기 위한 방법으로 최근 많은 SR 방법들이 제안되었다. 그러나 이러한 SR 방법도 고해상도 영상으로 복원하기 위하여 많은 양의 학습 데이터와 연산이 필요한 단점이 있다.
한국 등록특허번호 제10-1427854호
이와 같은 문제점을 해결하기 위하여, 본 발명은 저해상도(Low Resolution, LR) 패치의 희소 계수와 고해상도(High Resolution, HR) 패치의 희소 계수가 선형적으로 관련되어 있다고 가정하고, 특정한 패턴에 따라 복수의 LR 패치와 복수의 HR 패치의 학습 패치를 공동으로 복수개 파티셔닝하여 다양한 영상 패턴을 표현할 수 있으며, 영상 복원의 오류 발생을 최소화하는 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 초고해상도 영상을 복원하기 위한 영상 복원 방법은,
입력된 저해상도(Low Resolution, LR) 영상으로부터 영상의 특징을 나타내는 LR 패치를 복수개 추출하고, 입력된 고해상도(High Resolution, HR) 영상으로부터 영상의 특징을 나타내는 HR 패치를 복수개 추출하는 단계;
상기 복수의 LR 패치로 구성된 LR 딕셔너리(Dl)를 생성하고, 상기 추출된 복수의 HR 패치로 구성된 HR 딕셔너리(Dh)를 생성하는 단계;
상기 LR 딕셔너리와 상기 HR 딕셔너리를 희소 표현법(Sparse Representation)을 이용하여 LR 영상의 제1 희소 계수 벡터와 HR 영상의 제2 희소 계수 벡터를 계산하는 단계; 및
상기 생성한 LR 딕셔너리와 상기 LR 영상의 제1 희소 계수 벡터를 곱한 희소 코딩을 이용하여 LR 영상의 최종 희소 계수를 계산하고, 상기 계산한 최종 희소 계수를 상기 생성한 HR 딕셔너리에 곱하여 최종 HR 패치를 재구성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 초고해상도 영상을 복원하기 위한 영상 복원 방법은,
입력된 저해상도(Low Resolution, LR) 영상으로부터 영상의 특징을 나타내는 LR 패치를 복수개 추출하고, 입력된 고해상도(High Resolution, HR) 영상으로부터 영상의 특징을 나타내는 HR 패치를 복수개 추출하며, 특정한 패턴에 따라 상기 복수의 LR 패치와 상기 복수의 HR 패치로 이루어진 클러스터를 복수개 형성하는 단계;
상기 각각의 클러스터마다 상기 복수의 LR 패치로 구성된 LR 딕셔너리(
Figure 112018087331207-pat00001
)를 복수개 생성하고, 상기 복수의 HR 패치로 구성된 HR 딕셔너리(
Figure 112018087331207-pat00002
)를 복수개 생성하는 단계;
상기 각각의 클러스터마다 형성된 상기 복수의 LR 딕셔너리와 상기 복수의 HR 딕셔너리를 희소 표현법(Sparse Representation)을 이용하여 상기 각각의 클러스터에서 LR 영상의 제1 희소 계수 벡터(
Figure 112018087331207-pat00003
)와 HR 영상의 제2 희소 계수 벡터(
Figure 112018087331207-pat00004
)를 계산하여 복수의 딕셔너리 쌍을 공동으로 학습하는 단계;
상기 각각의 클러스터에서 상기 LR 패치에서 복원될 LR 영상을 뺀 희소 표현 에러값을 계산하고, 상기 계산된 희소 표현 에러값 중에서 가장 작은 값을 가진 클러스터의 최종 HR 딕셔너리와 최종 LR 딕셔너리의 딕셔너리 쌍들과 최종 희소 계수를 계산하는 단계; 및
상기 계산한 최종 희소 계수를 상기 최종 HR 딕셔너리에 곱하여 최종 HR 패치를 재구성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 초고해상도 영상을 복원하기 위한 영상 복원 장치는,
입력된 저해상도(Low Resolution, LR) 영상으로부터 영상의 특징을 나타내는 LR 패치를 복수개 추출하고, 입력된 고해상도(High Resolution, HR) 영상으로부터 영상의 특징을 나타내는 HR 패치를 복수개 추출하는 패치 추출부;
상기 복수의 LR 패치로 구성된 LR 딕셔너리(Dl)를 생성하고, 상기 복수의 HR 패치로 구성된 HR 딕셔너리(Dh)를 생성하고, 상기 LR 딕셔너리와 상기 HR 딕셔너리를 희소 표현법(Sparse Representation)을 이용하여 LR 영상의 제1 희소 계수 벡터와 HR 영상의 제2 희소 계수 벡터를 계산하는 희소 표현 처리부; 및
상기 생성한 LR 딕셔너리와 상기 LR 영상의 제1 희소 계수 벡터를 곱한 희소 코딩을 이용하여 LR 영상의 최종 희소 계수를 계산하고, 상기 계산한 최종 희소 계수를 상기 생성한 HR 딕셔너리에 곱하여 최종 HR 패치를 재구성하는 영상 복원부를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 초고해상도 영상을 복원하기 위한 영상 복원 장치는,
입력된 저해상도(Low Resolution, LR) 영상으로부터 영상의 특징을 나타내는 LR 패치를 복수개 추출하고, 입력된 고해상도(High Resolution, HR) 영상으로부터 영상의 특징을 나타내는 HR 패치를 복수개 추출하며, 특정한 패턴에 따라 상기 복수의 LR 패치와 상기 복수의 HR 패치로 이루어진 클러스터를 복수개 형성하는 클러스터 생성부;
상기 각각의 클러스터마다 상기 복수의 LR 패치로 구성된 LR 딕셔너리(
Figure 112018087331207-pat00005
)를 복수개 생성하고, 상기 복수의 HR 패치로 구성된 HR 딕셔너리(
Figure 112018087331207-pat00006
)를 복수개 생성하고, 상기 각각의 클러스터마다 형성된 상기 복수의 LR 딕셔너리와 상기 복수의 HR 딕셔너리를 희소 표현법(Sparse Representation)을 이용하여 상기 각각의 클러스터에서 LR 영상의 제1 희소 계수 벡터(
Figure 112018087331207-pat00007
)와 HR 영상의 제2 희소 계수 벡터(
Figure 112018087331207-pat00008
)를 계산하여 복수의 딕셔너리 쌍을 공동으로 학습하는 딕셔너리 학습부; 및
상기 각각의 클러스터에서 상기 LR 패치에서 복원될 LR 영상을 뺀 희소 표현 에러값을 계산하고, 상기 계산된 희소 표현 에러값 중에서 가장 작은 값을 가진 클러스터의 최종 HR 딕셔너리와 최종 LR 딕셔너리의 딕셔너리 쌍들과 최종 희소 계수를 계산하며, 상기 계산한 최종 희소 계수를 상기 최종 HR 딕셔너리에 곱하여 최종 HR 패치를 재구성하는 영상 복원부를 포함하는 것을 특징으로 한다.
전술한 구성에 의하여, 본 발명은 적은 양의 학습 데이터와 불필요한 연산을 생략하여 고해상도 영상을 복원하는데 최적화된 영상 보간 방법을 제공함으로써 영상 분석 효율이 향상되는 효과가 있다.
본 발명은 영상 보간 시 다양한 영상 패턴을 표현할 수 있으며, 영상 복원의 오류 발생을 최소화하는 초고해상도 영상 복원 방법을 제공하는 효과가 있다.
도 1은 본 발명의 제1 실시예에 따른 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치의 내부 구성을 간략하게 나타낸 블록도이다.
도 2는 본 발명의 제1 실시예에 따른 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 방법의 개념을 설명하기 위한 도면이다.
도 3은 본 발명의 제2 실시예에 따른 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치의 내부 구성을 간략하게 나타낸 블록도이다.
도 4는 본 발명의 제2 실시예에 따른 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 방법의 개념을 설명하기 위한 도면이다.
도 5는 본 발명의 제2 실시예에 따른 초고해상도 영상 복원 방법의 영상 복원 단계의 개념을 설명하기 위한 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 제1 실시예에 따른 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치의 내부 구성을 간략하게 나타낸 블록도이고, 도 2는 본 발명의 제1 실시예에 따른 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 방법의 개념을 설명하기 위한 도면이다.
본 발명의 제1 실시예에 따른 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 영상 복원 장치(100)는 패치 추출부(110), 희소 표현 처리부(120) 및 영상 복원부(130)를 포함한다.
도 1에 도시된 바와 같이, 훈련 단계(Training Phase)는 입력된 HR 영상(Ih)를 하기의 [수학식 1]에 대입하여 LR 영상(Il)과 동등한 관계로 연관되어 있다.
Figure 112018087331207-pat00009
여기서, H는 다운 샘플링 연산자(Down Sampling Operation)이고, B는 영상을 흐릿하게 하는 블러링 연산자(Blurring Operation)이다.
패치 추출부(110)는 입력된 저해상도(Low Resolution, LR) 영상으로부터 영상의 특징을 나타내는 LR 패치(수학식 2)를 복수개 추출하고, 입력된 고해상도(High Resolution, HR) 영상으로부터 영상의 특징을 나타내는 HR 패치(수학식 3)를 복수개 추출한다.
Figure 112018087331207-pat00010
Figure 112018087331207-pat00011
는 LR 영상(Il)으로부터 추출된 LR 패치를 나타내고,
Figure 112018087331207-pat00012
는 LR 영상(Il)의 패치 연산자를 나타낸다.
Figure 112018087331207-pat00013
Figure 112018087331207-pat00014
는 HR 영상(Ih)으로부터 추출된 HR 패치를 나타내고,
Figure 112018087331207-pat00015
는 HR 영상(Ih)의 패치 연산자를 나타낸다.
희소 표현 처리부(120)는 딕셔너리 계산부(122) 및 희소 계수 계산부(124)를 포함한다.
딕셔너리 계산부(122)는 러닝 딕셔너리(Learing Dictionary) 단계로 추출된 복수의 LR 패치로 구성된 트레이닝 데이터(Training Data)인 LR 딕셔너리(Dl)를 생성하고, 추출된 복수의 HR 패치로 구성된 트레이닝 데이터(Training Data)인 HR 딕셔너리(Dh)를 생성한다. 종래의 LR 패치의 희소 계수(Sparse Coefficient)는 HR 패치의 희소 계수와 동일하다고 가정하였다. 이는 영상의 다양한 영상 패턴을 표현하기에 너무 엄격한 제한으로 작용할 수 있다.
본 발명은 이러한 엄격한 제한을 완화시키기 위하여 LR 패치의 희소 계수가 상기 LR 패치에 대응하는 HR 패치의 희소 계수에 선형적으로 관련되어 있다고 가정한다. 희소 계수는 LR 패치와 이에 대응하는 HR 패치 간의 연결 관계를 나타낸 것이다.
Figure 112018087331207-pat00016
여기서, M은 선형 투영인자(Linear Projection),
Figure 112018087331207-pat00017
는 LR 영상의 희소 계수 벡터,
Figure 112018087331207-pat00018
는 HR 영상의 희소 계수 벡터를 나타낸다.
희소 표현 처리부(120)는 러닝 딕셔너리 알고리즘을 이용하여 LR 딕셔너리, HR 딕셔너리, M, LR 영상의 희소 계수 벡터, HR 영상의 희소 계수 벡터를 계산할 수 있다.
러닝 딕셔너리 알고리즘은 5단계로 이루어져 있다.
희소 계수 계산부(124)는 LR 딕셔너리(Dl)와 HR 딕셔너리(Dh)를 랜덤 행렬(Random Matrix)로 초기치를 설정한다(제1 단계).
희소 계수 계산부(124)는 하기의 [수학식 5]에서 제1 단계에서 초기치를 설정한 LR 딕셔너리(Dl)와 HR 딕셔너리(Dh), M을 고정하고, 하기의 [수학식 5]에서 LR 영상의 희소 계수 벡터(
Figure 112020003132140-pat00019
), HR 영상의 희소 계수 벡터(
Figure 112020003132140-pat00020
)를 업데이트하면서 재귀적 호출 방법에 의해 희소 계수 벡터가 더 이상 변동되지 않을 때까지 반복하여 희소 계수 벡터를 최소로 하는 값을 계산한다(제2 단계). 여기서, X는 LR 영상의 벡터이고, Y는 HR 영상의 벡터를 나타낸다.
Figure 112018087331207-pat00021
[수학식 5]는
Figure 112018087331207-pat00022
를 최소로 하는
Figure 112018087331207-pat00023
값과,
Figure 112018087331207-pat00024
를 최소로 하는
Figure 112018087331207-pat00025
값을 구한다.
수학식 5의 arg min f(x)는 함수 f(x)가 최소값을 얻는 값 x를 결정하는 최소 변수(argument-of-minimum) 함수이다.
딕셔너리 계산부(122)는 하기의 [수학식 6]에서 LR 영상의 희소 계수 벡터(
Figure 112018087331207-pat00026
), HR 영상의 희소 계수 벡터(
Figure 112018087331207-pat00027
)를 고정하고, 하기의 [수학식 6]에서 LR 딕셔너리(Dl)와 HR 딕셔너리(Dh)를 업데이트하면서 재귀적 호출 방법에 의해 상기 딕셔너리 값이 더 이상 변동되지 않을 때까지 반복하여 딕셔너리를 최소로 하는 값을 계산한다(제3 단계).
[수학식 6]은
Figure 112018087331207-pat00028
를 최소로 하는 HR 딕셔너리(Dh)와,
Figure 112018087331207-pat00029
를 최소로 하는 LR 딕셔너리(Dl)를 계산한다.
Figure 112018087331207-pat00030
희소 표현 처리부(120)는 M을 단위행렬(Identity Matrix)로 초기치를 설정하고, 계산된 LR 영상의 희소 계수 벡터(
Figure 112018087331207-pat00031
)와, HR 영상의 희소 계수 벡터(
Figure 112018087331207-pat00032
)를 고정한 후, 재귀적 호출 방법에 의해 상기 M값이 더 이상 변동되지 않을 때까지 상기 선형 투영인자(M)의 업데이트를 반복한다(수학식 7, 제4 단계).
[수학식 7]에서
Figure 112018087331207-pat00033
와
Figure 112018087331207-pat00034
를 더한 값을 최소로 하는 M을 계산하고, 재귀적 호출 방법에 의해 M값이 더 이상 변동되지 않을 때까지 반복하여 M을 계산한다.
Figure 112018087331207-pat00035
여기서,
Figure 112018087331207-pat00036
은 최적화 항으로
Figure 112018087331207-pat00037
이 0이 되어 수학식 4가 성립되지 못할 때 최소한의 값을 가지는 비용함수이고,
Figure 112018087331207-pat00038
와
Figure 112018087331207-pat00039
은 기설정된 에러값들이다.
영상 복원부(130)는 영상을 복원하는 재구성 단계(Reconstruction Phase)로 하기의 [수학식 8]의 희소 코딩을 이용하여 복원할 영상의 최종 희소 계수를 계산할 수 있다. 희소 코딩은 에러를 최소화하는 계수를 산출하는 방법이다.
Figure 112018087331207-pat00040
여기서, Ytest는 LR 영상이고,
Figure 112018087331207-pat00041
는 전술한 수학식 2에서의 LR 영상으로부터 추출된 LR 패치들이다. [수학식 8]은
Figure 112018087331207-pat00042
를 최소로 하는
Figure 112018087331207-pat00043
값을 계산하는 식이다.
영상 복원부는 하기의 [수학식 9]와 같이, 상기 계산한 최종 희소 계수를 상기 생성한 HR 딕셔너리에 곱하여 최종 HR 패치들을 재구성하고, 재구성된 최종 HR 패치들을 합쳐서 HR 영상을 복원한다. 여기서,
Figure 112018087331207-pat00044
는 최종 HR 패치들을 나타낸다.
Figure 112018087331207-pat00045
도 3은 본 발명의 제2 실시예에 따른 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치의 내부 구성을 간략하게 나타낸 블록도이고, 도 4는 본 발명의 제2 실시예에 따른 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 방법의 개념을 설명하기 위한 도면이다.
본 발명의 제2 실시예에 따른 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치(200)는 클러스터 생성부(210), 딕셔너리 학습부(220) 및 제2 영상 복원부(230)를 포함한다.
클러스터 생성부(210)는 입력된 저해상도(Low Resolution, LR) 영상으로부터 영상의 특징을 나타내는 LR 패치(수학식 2)를 복수개 추출하고, 입력된 고해상도(High Resolution, HR) 영상으로부터 영상의 특징을 나타내는 HR 패치(수학식 3)를 복수개 추출하며, 특정한 패턴에 따라 LR 패치와 HR 패치를 k 평균 알고리즘을 이용하여 k개의 클러스터로 분할하여 그룹화한다. 여기서, 특정한 패턴은 고주파가 많은 영상들, 수평 방향의 에지가 많은 영상들 등 다양한 패턴을 포함할 수 있다.
다양한 패치 영역이 존재하는 것을 감안할 때, 한 쌍의 HR 딕셔너리와 LR 딕셔너리를 사용하여 영상의 다양한 패턴을 표현하는 것이 쉽지 않다.
딕셔너리 학습부(220)는 복수의 딕셔너리의 희소 코딩을 수행하는 단계로서 각 클러스터마다 HR 딕셔너리와 LR 딕셔너리를 학습한다.
HR 딕셔너리와 LR 딕셔너리는 각 클러스터마다 패치들을 재구성한다.
딕셔너리 학습부(220)는 딕셔너리 계산부(222) 및 희소 계수 계산부(224)를 포함한다.
딕셔너리 학습부(220)는 복수의 딕셔너리 쌍을 하기의 클러스터 딕셔너리 알고리즘을 이용하여 학습한다.
클러스터 딕셔너리 알고리즘은 2단계로 이루어져 있다.
클러스터 딕셔너리 알고리즘은 복수의 딕셔너리 쌍을 희소 코딩을 수행하여 공동으로 학습할 수 있는 알고리즘이다.
딕셔너리 계산부(222) 및 희소 계수 계산부(224)는 전술한 제1 실시예의 러닝 딕셔너리 알고리즘을 이용하여 각각의 클러스터에서 LR 딕셔너리(
Figure 112018087331207-pat00046
)와 HR 딕셔너리(
Figure 112018087331207-pat00047
), LR 영상의 희소 계수 벡터(
Figure 112018087331207-pat00048
), HR 영상의 희소 계수 벡터(
Figure 112018087331207-pat00049
)를 계산한다(제1 단계). 상기 딕셔너리 학습부(222) 및 희소 계수 계산부(224)는 제1 실시예의 딕셔너리 학습부(122) 및 희소 계수 계산부(124)의 구성과 동일하다.
딕셔너리 학습부(220)는 하기의 [수학식 10]과 같이, 복원될 HR 영상(
Figure 112018087331207-pat00050
)에서 HR 패치를 뺀 값이 최소로 되도록 클러스터 순번인 k를 업데이트하면서 재귀적 호출 방법에 의해 HR 딕셔너리(
Figure 112018087331207-pat00051
)가 더 이상 변동되지 않을 때까지 반복한다(제2 단계).
딕셔너리 학습부(220)는 제1 단계와 제2 단계를 하기의 [수학식 11]과 같이, 희소 표현 에러값(ε)이 최소로 될 때까지 반복하여 복수의 딕셔너리 쌍을 공동으로 학습한다(제3 단계).
Figure 112018087331207-pat00052
Figure 112018087331207-pat00053
여기서, N은 정수이고, C는 HR 패치(
Figure 112018087331207-pat00054
)가 k번째의 클러스터와 동일함을 나타내는 Ck,i를 파라미터로 포함하는 N×K 행렬이고,
Figure 112018087331207-pat00055
는 k번째 클러스터의 HR 딕셔너리(
Figure 112018087331207-pat00056
)에 따른 LR 패치(
Figure 112018087331207-pat00057
)의 희소 계수 벡터이다.
전술한 [수학식 10]과 [수학식 11]를 합쳐서 하기의 [수학식 12]와 같이 표현할 수 있다.
Figure 112018087331207-pat00058
도 5는 본 발명의 제2 실시예에 따른 초고해상도 영상 복원 방법의 영상 복원 단계의 개념을 설명하기 위한 도면이다.
영상 복원부(230)는 상기 각각의 클러스터에서 상기 LR 패치에서 복원될 LR 영상을 뺀 희소 표현 에러값(
Figure 112018087331207-pat00059
)을 하기의 수학식 13을 이용하여 계산한다.
Figure 112018087331207-pat00060
영상 복원부(230)는 상기 계산된 희소 표현 에러값 중에서 가장 작은 값을 가진 클러스터의 최종 HR 딕셔너리와 최종 LR 딕셔너리의 딕셔너리 쌍들과 최종 희소 계수를 계산하며(수학식 14), 상기 계산한 최종 희소 계수를 상기 최종 HR 딕셔너리에 곱하여 최종 HR 패치를 재구성한다(수학식 15).
영상 복원부(230)는 재구성된 최종 HR 패치들을 합쳐서 HR 영상을 복원한다.
Figure 112018087331207-pat00061
Figure 112018087331207-pat00062
영상 복원부(230)는 가장 작은 값을 가진 희소 표현 에러값(
Figure 112018087331207-pat00063
)을 얻을 수 있는 HR 딕셔너리(
Figure 112018087331207-pat00064
)의 HR 패치를 재구성한다.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 영상 복원 장치 110: 패치 추출부
120: 희소 표현 처리부 122: 딕셔너리 계산부
124: 희소 계수 계산부 130: 영상 복원부
200: 영상 복원 장치 210: 클러스터 생성부
220: 딕셔너리 학습부 222: 딕셔너리 계산부
224: 희소 계수 계산부 230: 영상 복원부

Claims (12)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 입력된 저해상도(Low Resolution, LR) 영상으로부터 영상의 특징을 나타내는 LR 패치를 복수개 추출하고, 입력된 고해상도(High Resolution, HR) 영상으로부터 영상의 특징을 나타내는 HR 패치를 복수개 추출하며, 특정한 패턴에 따라 상기 복수의 LR 패치와 상기 복수의 HR 패치로 이루어진 클러스터를 복수개 형성하는 단계;
    상기 각각의 클러스터마다 상기 복수의 LR 패치로 구성된 LR 딕셔너리(
    Figure 112020003132140-pat00079
    )를 복수개 생성하고, 상기 복수의 HR 패치로 구성된 HR 딕셔너리(
    Figure 112020003132140-pat00080
    )를 복수개 생성하는 단계;
    상기 각각의 클러스터마다 형성된 상기 복수의 LR 딕셔너리와 상기 복수의 HR 딕셔너리를 희소 표현법(Sparse Representation)을 이용하여 상기 각각의 클러스터에서 LR 영상의 제1 희소 계수 벡터(
    Figure 112020003132140-pat00081
    )와 HR 영상의 제2 희소 계수 벡터(
    Figure 112020003132140-pat00082
    )를 계산하여 복수의 딕셔너리 쌍을 공동으로 학습하는 단계;
    상기 각각의 클러스터에서 상기 LR 패치에서 복원될 LR 영상을 뺀 희소 표현 에러값을 계산하고, 상기 계산된 희소 표현 에러값 중에서 가장 작은 값을 가진 클러스터의 최종 HR 딕셔너리와 최종 LR 딕셔너리의 딕셔너리 쌍들과 최종 희소 계수를 계산하는 단계; 및
    상기 계산한 최종 희소 계수를 상기 최종 HR 딕셔너리에 곱하여 최종 HR 패치를 재구성하는 단계를 포함하고,
    상기 복수의 딕셔너리 쌍을 공동으로 학습하는 단계는,
    상기 LR 딕셔너리와 상기 HR 딕셔너리를 랜덤 행렬(Random Matrix)로 초기치를 설정하는 제1 단계;
    하기의 수학식 1에 의해 각각의 클러스터에서 상기 LR 딕셔너리와 상기 HR 딕셔너리를 고정한 후, 상기 LR 영상의 제1 희소 계수 벡터, HR 영상의 제2 희소 계수 벡터를 업데이트하면서 재귀적 호출 방법에 의해 희소 계수 벡터가 더 이상 변동되지 않을 때까지 반복하여 희소 계수 벡터를 최소로 하는 값을 계산하는 제2 단계; 및
    하기의 수학식 2에 의해 각각의 클러스터에서 상기 LR 영상의 제1 희소 계수 벡터와 상기 HR 영상의 제2 희소 계수 벡터를 고정한 후, 상기 LR 딕셔너리와 HR 딕셔너리 업데이트하면서 재귀적 호출 방법에 의해 상기 딕셔너리 값이 더 이상 변동되지 않을 때까지 반복하여 딕셔너리를 최소로 하는 값을 계산하는 제3 단계;
    하기의 수학식 3에 의해 상기 각각의 클러스터에서 복원될 HR 영상(
    Figure 112020003132140-pat00087
    )에서 상기 HR 패치(
    Figure 112020003132140-pat00088
    )를 뺀 값이 최소가 되도록 클러스터 순번인 k를 업데이트하면서 재귀적 호출 방법에 의해 HR 딕셔너리(
    Figure 112020003132140-pat00089
    )가 더 이상 변동되지 않을 때까지 반복하는 제4 단계; 및
    하기의 수학식 4에 의해 상기 제1 단계 내지 제4 단계를 희소 표현 에러값(ε)이 최소가 될 때까지 반복하여 복수의 딕셔너리 쌍을 공동으로 학습하는 제5 단계를 포함하고,
    상기 최종 희소 계수를 계산하는 단계는,
    상기 희소 표현 에러값은 하기의 수학식 5를 이용하여 계산하고,
    상기 계산한 희소 표현 에러값 중에서 가장 작은 값을 가진 클러스터의 상기 최종 HR 딕셔너리와 상기 최종 LR 딕셔너리의 딕셔너리 쌍들과 상기 최종 희소 계수를 하기의 수학식 6을 이용하여 계산하는 단계를 더 포함하며,
    상기 최종 HR 패치를 재구성하는 단계는,
    가장 작은 값을 가진 희소 표현 에러값(
    Figure 112020003132140-pat00132
    )을 얻을 수 있는 HR 딕셔너리(
    Figure 112020003132140-pat00133
    )의 HR 패치를 재구성하는 단계를 더 포함하는 것을 특징으로 하는 초고해상도 영상을 복원하기 위한 영상 복원 방법.
    [수학식 1]
    Figure 112020003132140-pat00134

    [수학식 2]
    Figure 112020003132140-pat00135

    X는 HR 영상, Y는 LR 영상,
    Figure 112020003132140-pat00136
    는 상기 HR 패치,
    Figure 112020003132140-pat00137
    는 상기 LR 패치임.
    [수학식 3]
    Figure 112020003132140-pat00090

    [수학식 4]
    Figure 112020003132140-pat00091

    여기서, C는 HR 패치(
    Figure 112020003132140-pat00092
    )가 k번째의 클러스터와 동일함을 나타내는 Ck,i를 파라미터로 포함하는 N ×K 행렬이고,
    Figure 112020003132140-pat00093
    는 k번째 클러스터의 HR 딕셔너리(
    Figure 112020003132140-pat00094
    )에 따른 LR 패치(
    Figure 112020003132140-pat00095
    )의 희소 계수 벡터임.
    [수학식 5]
    Figure 112020003132140-pat00138

    [수학식 6]
    Figure 112020003132140-pat00139
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 입력된 저해상도(Low Resolution, LR) 영상으로부터 영상의 특징을 나타내는 LR 패치를 복수개 추출하고, 입력된 고해상도(High Resolution, HR) 영상으로부터 영상의 특징을 나타내는 HR 패치를 복수개 추출하며, 특정한 패턴에 따라 상기 복수의 LR 패치와 상기 복수의 HR 패치로 이루어진 클러스터를 복수개 형성하는 클러스터 생성부;
    상기 각각의 클러스터마다 상기 복수의 LR 패치로 구성된 LR 딕셔너리(
    Figure 112020003132140-pat00110
    )를 복수개 생성하고, 상기 복수의 HR 패치로 구성된 HR 딕셔너리(
    Figure 112020003132140-pat00111
    )를 복수개 생성하고, 상기 각각의 클러스터마다 형성된 상기 복수의 LR 딕셔너리와 상기 복수의 HR 딕셔너리를 희소 표현법(Sparse Representation)을 이용하여 상기 각각의 클러스터에서 LR 영상의 제1 희소 계수 벡터(
    Figure 112020003132140-pat00112
    )와 HR 영상의 제2 희소 계수 벡터(
    Figure 112020003132140-pat00113
    )를 계산하여 복수의 딕셔너리 쌍을 공동으로 학습하는 딕셔너리 학습부; 및
    상기 각각의 클러스터에서 상기 LR 패치에서 복원될 LR 영상을 뺀 희소 표현 에러값을 계산하고, 상기 계산된 희소 표현 에러값 중에서 가장 작은 값을 가진 클러스터의 최종 HR 딕셔너리와 최종 LR 딕셔너리의 딕셔너리 쌍들과 최종 희소 계수를 계산하며, 상기 계산한 최종 희소 계수를 상기 최종 HR 딕셔너리에 곱하여 최종 HR 패치를 재구성하는 영상 복원부를 포함하고,
    상기 딕셔너리 학습부는 상기 LR 딕셔너리와 상기 HR 딕셔너리를 랜덤 행렬(Random Matrix)로 초기치를 설정하고, 하기의 수학식 1에 의해 각각의 클러스터에서 상기 LR 딕셔너리와 상기 HR 딕셔너리를 고정한 후, 상기 LR 영상의 제1 희소 계수 벡터, HR 영상의 제2 희소 계수 벡터를 업데이트하면서 재귀적 호출 방법에 의해 희소 계수 벡터가 더 이상 변동되지 않을 때까지 반복하여 희소 계수 벡터를 최소로 하는 값을 계산하는 희소 계수 계산부; 및
    하기의 수학식 2에 의해 각각의 클러스터에서 상기 LR 영상의 제1 희소 계수 벡터와 상기 HR 영상의 제2 희소 계수 벡터를 고정한 후, 상기 LR 딕셔너리와 HR 딕셔너리를 업데이트하면서 재귀적 호출 방법에 의해 상기 딕셔너리 값이 더 이상 변동되지 않을 때까지 반복하여 딕셔너리를 최소로 하는 값을 계산하는 딕셔너리 계산부를 포함하며,
    상기 딕셔너리 학습부는 하기의 수학식 3에 의해 상기 각각의 클러스터에서 복원될 HR 영상(
    Figure 112020003132140-pat00140
    )에서 상기 HR 패치(
    Figure 112020003132140-pat00141
    )를 뺀 값이 최소가 되도록 클러스터 순번인 k를 업데이트하면서 재귀적 호출 방법에 의해 HR 딕셔너리(
    Figure 112020003132140-pat00142
    )가 더 이상 변동되지 않을 때까지 반복하고, 하기의 수학식 4에 의해 희소 표현 에러값(ε)이 최소가 될 때까지 반복하여 복수의 딕셔너리 쌍을 공동으로 학습하고
    상기 영상 복원부는 상기 희소 표현 에러값을 하기의 수학식 5를 이용하여 계산하고, 상기 계산한 희소 표현 에러값 중에서 가장 작은 값을 가진 클러스터의 상기 최종 HR 딕셔너리와 상기 최종 LR 딕셔너리의 딕셔너리 쌍들과 상기 최종 희소 계수를 하기의 수학식 6을 이용하여 계산하며, 가장 작은 값을 가진 희소 표현 에러값(
    Figure 112020003132140-pat00143
    )을 얻을 수 있는 HR 딕셔너리(
    Figure 112020003132140-pat00144
    )의 HR 패치를 재구성하는 것을 특징으로 하는 초고해상도 영상을 복원하기 위한 영상 복원 장치.
    [수학식 1]
    Figure 112020003132140-pat00114

    [수학식 2]
    Figure 112020003132140-pat00115

    X는 HR 영상, Y는 LR 영상,
    Figure 112020003132140-pat00116
    는 상기 HR 패치,
    Figure 112020003132140-pat00117
    는 상기 LR 패치임.
    [수학식 3]
    Figure 112020003132140-pat00121

    [수학식 4]
    Figure 112020003132140-pat00122

    여기서, C는 HR 패치(
    Figure 112020003132140-pat00123
    )가 k번째의 클러스터와 동일함을 나타내는 Ck,i를 파라미터로 포함하는 N×K 행렬이고,
    Figure 112020003132140-pat00124
    는 k번째 클러스터의 HR 딕셔너리(
    Figure 112020003132140-pat00125
    )에 따른 LR 패치(
    Figure 112020003132140-pat00126
    )의 희소 계수 벡터임.
    [수학식 5]
    Figure 112020003132140-pat00145

    [수학식 6]
    Figure 112020003132140-pat00146
  11. 삭제
  12. 삭제
KR1020180104627A 2018-09-03 2018-09-03 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치 및 방법 KR102119132B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180104627A KR102119132B1 (ko) 2018-09-03 2018-09-03 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180104627A KR102119132B1 (ko) 2018-09-03 2018-09-03 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200026549A KR20200026549A (ko) 2020-03-11
KR102119132B1 true KR102119132B1 (ko) 2020-06-05

Family

ID=69810070

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180104627A KR102119132B1 (ko) 2018-09-03 2018-09-03 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102119132B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230164517A (ko) 2022-05-25 2023-12-04 고성윤 합성개구레이더를 통해 획득한 관심 표적 영상에 대해 딥러닝을 이용하여 초고해상도 영상을 생성하는 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288654A (zh) * 2020-11-09 2021-01-29 珠海市润鼎智能科技有限公司 图像中细小颗粒的增强方法
CN117571128B (zh) * 2024-01-16 2024-03-29 长春理工大学 一种高分辨率偏振光谱图像成像方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101829287B1 (ko) 2016-11-29 2018-02-14 인천대학교 산학협력단 비부표본 윤곽선 변환의 적외선 영상 초고해상도 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120088350A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 고해상도 영상 생성 장치
KR101427854B1 (ko) 2012-09-24 2014-08-07 재단법인대구경북과학기술원 단일 영상의 초고해상도 영상 복원 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101829287B1 (ko) 2016-11-29 2018-02-14 인천대학교 산학협력단 비부표본 윤곽선 변환의 적외선 영상 초고해상도 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dai et al. Jointly Optimized Regressors for Image Super resolution. In Computer Graphics Forum, 2015년 5월, pp. 95-104. 1부.*
Wang et al. Semi coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis. CVPR, 2012년 6월, pp. 2216-2223. 1부.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230164517A (ko) 2022-05-25 2023-12-04 고성윤 합성개구레이더를 통해 획득한 관심 표적 영상에 대해 딥러닝을 이용하여 초고해상도 영상을 생성하는 방법 및 장치

Also Published As

Publication number Publication date
KR20200026549A (ko) 2020-03-11

Similar Documents

Publication Publication Date Title
US10685282B2 (en) Machine-learning based video compression
Yu et al. A unified learning framework for single image super-resolution
KR102119132B1 (ko) 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치 및 방법
Farsiu et al. Fast and robust super-resolution
JP2002506585A (ja) マスクおよび丸め平均値を使用したオブジェクトベースの符号化システムのためのスプライト生成に関する方法
KR20090013522A (ko) 링잉 아티펙트없는 블러 제거 방법
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN109102463B (zh) 一种超分辨率图像重建方法及装置
KR20120088350A (ko) 고해상도 영상 생성 장치
EP3779863A1 (en) Techniques for upscaling images generated with undetermined downscaling kernels
CN111612721B (zh) 一种图像修复模型训练、卫星图像修复方法及装置
KR101341617B1 (ko) 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법
CN111861940A (zh) 一种基于条件连续调节的图像调色增强方法
CN115564655A (zh) 基于深度学习的视频超分辨率重建方法、系统及介质
JP5198500B2 (ja) 信号処理装置及びプログラム
JP2015197818A (ja) 画像処理装置およびその方法
Erfanian Ebadi et al. Uhd video super-resolution using low-rank and sparse decomposition
Mahmoudi et al. Sparse representations for three-dimensional range data restoration
JP7090285B2 (ja) 復元性の高い画像の圧縮と解凍
Aadil et al. Improving super resolution methods via incremental residual learning
CN112669234A (zh) 基于神经网络的高分辨率图像复原方法及系统
Bätz et al. Joint shape and centroid adaptive frequency selective extrapolation for the reconstruction of arbitrarily shaped loss areas
Iriyama et al. Frequency domain-based bit-depth enhancement method and dealing with different bit-depth degradation
Nguyen et al. A More Focus on Multi-degradation Method for Single Image Super-Resolution
Zhao et al. Two-step spatial-temporal compressive sensing imaging

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right