KR20080069084A

KR20080069084A - 자기 트레이닝을 기반으로 하는 영상 복원 장치 및 방법

Info

Publication number: KR20080069084A
Application number: KR1020070006717A
Authority: KR
Inventors: 이승신; 박두식
Original assignee: 삼성전자주식회사
Priority date: 2007-01-22
Filing date: 2007-01-22
Publication date: 2008-07-25

Abstract

본 발명은 자기 트레이닝을 기반으로 하는 영상 복원 장치 및 방법 에 관한 것으로서, 본 발명의 실시예에 따라 자기 트레이닝을 기반으로 하여 영상을 복원하는 장치는 입력된 영상으로부터 트레이닝 영상 패치를 추출하는 트레이닝 모듈 및 상기 추출한 트레이닝 영상 패치를 기초로 상기 입력된 영상을 고해상도 영상으로 합성하는 영상 합성 모듈을 포함한다.

영상 복원, 영상 패치

Description

자기 트레이닝을 기반으로 하는 영상 복원 장치 및 방법{Apparatus and method for image restoration based on self-training}

도 1a 내지 도 1c는 종래 방법에 따라 저해상도 영상을 고해상도 영상으로 변환한 결과를 나타내는 예시도이다.

도 2는 본 발명의 일 실시예에 따라 자기 트레이닝을 기반으로 하는 영상 복원 장치의 구성을 나타내는 블록도이다.

도 3은 본 발명의 일 실시예에 따른 트레이닝 모듈의 동작 흐름을 나타내는 예시도이다.

도 4는 본 발명의 일 실시예에 따른 영상 합성 모듈의 동작 흐름을 나타내는 예시도이다.

도 5a 및 도 5b는 본 발명의 일 실시예에 따라 입력된 저해상도 영상에 대한 그룹화된 에지를 나타내는 예시도이다.

도 6a 및 도 6b는 본 발명의 실시에 따라 입력 영상 패치의 최적화를 위한 알고리즘을 비교하는 도면이다.

도 7은 본 발명의 실시에 따라 인접한 노드에 있는 두 패치 사이 공통된 부분을 나타내는 도면이다.

도 8은 본 발명의 실시에 따라 신뢰도 확산(Belief propagation) 과정에서의 메시지 흐름을 나타내고 있다.

도 9a 및 도 9b는 추가 아티팩트에 대한 공간적 필터링을 나타내는 도면이다.

<도면의 주요 부분에 관한 부호의 설명>

200: 영상 복원 장치

210: 트레이닝 모듈

250: 영상 합성 모듈

본 발명은 영상 복원에 관한 것으로서, 입력된 저해상도 영상으로부터 에지(edge) 성분을 검출하여 입력된 저해상도 영상을 자연스러운 고해상도 영상으로 변환하는 영상 복원 장치 및 방법에 관한 것이다.

최근 기술의 발전에 따라 다양한 형태의 영상 처리 기기들이 개발되었고, 서로 다른 영상 처리 기기들간에 데이터의 송수신이 가능하게 되었다.

예를 들어, 카메라가 탑재된 휴대폰을 이용하여 피사체에 대한 영상을 획득하고, 휴대폰을 고해상도의 DTV와 연결한 후, 획득한 영상이 DTV의 화면에 디스플레이되도록 할 수 있다.

그러나, 이 때 휴대폰에 의해 획득된 저해상도의 영상이 그대로 고해상도의 DTV 화면에 디스플레이되는 경우에는 해상도 차이에 따른 화질의 열화가 발생하는 문제가 있다. 더욱이 저해상도의 영상에 고주파 성분이 포함되어 있는 경우에는 이러한 문제가 더욱 커지게 된다.

이러한 문제를 해결하기 위하여 종래에는 이미 저장되어 있는 영상 패치들을 기초로 하여 저해상도 영상을 고해상도 영상으로 변환할 때 발생하는 문제들을 해결하고자 하였다. 이러한 방법을 '예제 기반(example-based)' 방식이라고도 하는데, 이것은 기본적으로 트레이닝(training)을 통하여 고해상도와 저해상도간의 쌍을 작은 영상 조각인 패치(patch)로 저장을 해 두고, 입력된 저해상도의 영상을 구성하는 각 영상 패치마다 이미 저장되어 있는 패치 쌍을 이용하여 고해상도의 영상 패치를 찾아나가는 방법이다. 특히 영상의 에지(edge)나 모서리(corner) 부분 같은 특징적인 부분에 대해 패치쌍을 만들어 패치의 매칭(matching) 과정에 발생하는 오류를 줄이는 방법도 개시되었는데, 보다 구체적인 내용은 논문 "Jian Sun, Nan-Ning Zheng, Hai Tao, Heung-Yeung Shum. Image with Primal Sketch Priors, CVPR, 2003"을 참조할 수 있다.

그러나, 이러한 종래 방법에 의하면 입력된 저해상도 영상과는 무관한 임의의 영상을 트레이닝 영상으로 하여 입력된 저해상도 영상을 고해상도 영상으로 변환하기 때문에 영상 변환의 한계를 갖게 된다. 이를 도 1a 내지 도 1c를 통해 알 수 있는데, 도 1a는 트레이닝 영상을 나타내고, 도 1b는 입력된 저해상도 영상을 나타내며, 도 1c는 변환된 고해상도 영상을 나타내는데, 변환된 고해상도 영상은 입력된 저해상도 영상의 3배만큼 해상도가 높다.

그런데, 입력된 저해상도 영상(도 1b)과는 무관한 영상을 트레이닝 영상(도 1a)로 하여 고해상도 영상(도 1 c)을 얻었기 때문에 고해상도로의 변환은 이루어졌으나 좋은 결과는 얻지 못하게 된 것이다.

또한, 만일 좋은 결과를 얻기 위해서는 많은 수의 트레이닝 패치 쌍이 필요하게 되지만, 시스템 리소스(resource) 측면에서 볼 때, 트레이닝 패치 쌍의 개수에 한계가 따르는 문제가 있다.

본 발명은 입력된 저해상도 영상으로부터 획득한 트레이닝 패치 쌍을 기초로 하여 상기 입력된 저해상도 영상을 보다 자연스러운 고해상도 영상으로 변환시키는 영상 변환 장치 및 방법을 개시하는 것을 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따라 자기 트레이닝을 기반으로 영상을 복원하는 장치는 입력된 영상으로부터 트레이닝 영상 패치를 추출하는 트레이닝 모듈 및 상기 추출한 트레이닝 영상 패치를 기초로 상기 입력된 영상을 고해상도 영상으로 합성하는 영상 합성 모듈을 포함한다.

또한, 상기 목적을 달성하기 위하여, 본 발명의 실시예에 실시예에 따라 자기 트레이닝을 기반으로 영상을 복원하는 방법은 영상을 입력하는 (a) 단계와, 상기 입력된 영상으로부터 트레이닝 영상 패치를 추출하는 (b) 단계 및 상기 추출한 트레이닝 영상 패치를 기초로 상기 입력된 영상을 고해상도 영상으로 합성하는 (c) 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

이하, 본 발명의 실시예들에 의하여 자기 트레이닝을 기반으로 하는 영상 복원 장치 및 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지 향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

도 2를 참조하면, 영상 복원 장치(200)는 입력된 저해상도 영상(202)으로부터 트레이닝 영상 패치 쌍을 생성하는 트레이닝 모듈(210)과 상기 생성된 트레이닝 영상 패치 쌍을 기초로 입력된 저해상도 영상(202)을 고해상도 영상(204)으로 합성 하는 영상 합성 모듈(250)을 포함한다.

즉, 본 발명에 따른 영상 복원 장치(200)는 이미 저장되어 있는 별도의 트레이닝 영상 패치 쌍을 이용하여 저해상도 영상을 고해상도 영상으로 합성하는 것이 아니라, 현재 입력된 저해상도 영상 자신으로부터 트레이닝 영상 패치 쌍을 생성하고, 이를 이용하여 고해상도 영상으로 합성하는 것이다.

도 3은 본 발명의 일 실시예에 따른 트레이닝 모듈의 동작을 나타내는 예시도이다.

우선, 입력된 고해상도 복원 대상이 되는 입력된 저해상도 영상을 다운 샘플링(down sampling)하고, 바이큐빅 보간(bicubic interpolation) 방법을 사용하여 업 샘플링(up sampling)함으로써 원래 크기로 복원한 영상인

를 얻는다.

그리고 나서, 입력된 영상

에서

를 뺀 차이 영상

를 얻는다. 차이 영상

를 얻는 과정에서 입력된 영상의 저주파 성분이 제거되고 고주파 성분만 남게 된다.

입력된 영상에서의 에지(edge) 위치는 케니 에지 검출기(Canny edge detector)을 통하여 찾아낸다. 그리고 나서, 차이 영상

으로부터 케니 에지 검출기에 의해 찾아낸 에지 위치에서의 고해상도의 영상 패치

를 추출한다.

또한,

에서는

와 같은 위치에서 저해상도 영상 패치

를 추출하는데, 이 때, [수학식 1]과 같은 정규화(normalization)로

에서의 저주파 성분을 제거하고 대비(contrast)를 보정한 중간 주파수의 패치

를 얻은 후,

와

의 쌍을 메모리에 저장한다. 이 때, 저장된

쌍이 트레이닝 영상 패치 쌍으로서, 트레이닝 데이터가 되는 것이다.

수학식 1에서, E[*]는 *의 평균을 나타낸다.

영상 합성 모듈(250)에서 수행되는 영상 합성(image synthesis) 과정을 개략적으로 살펴보면, 입력 영상으로부터 추출한 입력 영상 패치와 트레이닝 모듈(210) 에 의해 생성된

를 비교하여 SSD(Sum of Squared Difference)가 최소로 되는 트레이닝 영상 패치

를 찾는 과정으로 요약될 수 있다. 이를 위해, 우선 입력 영상을 원하는 배율로 적절한 업 샘플링(up-sampling) 방법을 이용하여 1차 확대된 영상

을 얻는다.

에서 에지 검출기를 사용하여 에지 영상을 추출해 낸 후, 연결되어 있는 에지를 그룹화(edge grouping)하여, 각 에지 그룹마다 에지 픽셀을 중심으로 패치를 뽑아 입력 패치 그룹

을 만든다.

입력 패치에 대해서 SSD(Sum of Squared Difference)가 가장 작은 K개를 트레이닝 모듈(210)에서 구한

에서 찾은 후 각 그룹에 대해서 '신뢰도 확산(belief propagation)을 사용하여 최적화하도록 한다. 최종적으로 추가 아티팩트(artifact)를 제거하여 도 4에서의

를 구한 후,

를

에 업데이트를 수행하여 결과 영상을 얻게 된다(

).

보다 구체적으로는, 고해상도 영상 합성을 위해서는 에지 검출기를 사용하여 확대된 영상

으로부터 에지 영상을 추출해 낸 후, 연결되어 있는 에지를 그룹화(edge grouping)하여

로 나타낸다. 아래는 에지를 그룹으로 만드는 과정의 일례를 슈도 코드(pseudo code)로 나타낸 것이다.

check(x,y) <- false for all (x,y)

for i=1 : height

for j=1 : width

if edge( j , i ) == true & check( j, i ) == false

find one end pixel point (x,y)

while (x,y) has next edge pixel & check( x , y )==false

store point (x,y)

check( x , y ) <- true

(x,y) <- next edge pixel point at (x,y)

end

check(x, y)는 pixel (x, y)가 에지로서 알고리즘에 사용되었는지 확인하는 행렬이고, edge(x, y)는 에지 정보를 담고 있는 행렬이다.

행렬 edge(x, y)가 참이고 check(x, y)가 거짓일 때, 즉 (x, y)가 에지 픽셀이고 아직 그룹핑에 사용되지 않은 점이라면, (x, y)에 연결되는 끝 에지 점 하나를 찾은 후 그 점으로부터 다른 끝점까지를 진행하면서 점에 대한 정보를 저장하고 그 점에서의 check 값을 참으로 바꿔준다.

도 5a는 입력 영상을 나타내고, 도 5b는 도 5a에 도시된 각각의 입력 영상에 대한 그룹화된 에지의 예를 나타내고 있는데, 도 5b의 결과 영상에서 같은 색으로 연결된 선들이 같은 그룹으로 분류된 에지들이다.

위와 같은 방법에 따라 얻은 각 에지 그룹마다 에지 픽셀을 중심으로 패치를 뽑아 패치 그룹

을 만든다.

그리고 나서, 앞서 트레이닝 모듈(210)에서의 정규화 과정이 수행된 후, 입력 패치에 대해서 SSD(Sum of Squared Difference)가 가장 작은 K개를 트레이닝 모듈(210)에서 구한

에서 찾은 후 신뢰도 확산(belief propagation) 동작을 수행하여 영상 합성의 최적화를 수행한다.

입력 패치에 대해서 최소 이웃 알고리즘(nearest neighborhood algorithm)을 사용하여, 최소 유클리디언 거리상에 있는 저해상도 트레이닝 패치와 대응되는 고해상도 트레이닝 패치를 그대로 입력 저해상도 패치의 최적화 패치로 사용했을 경우, 패치의 연결 부분에서 에러가 발생할 수 있다.

이를 보완하기 위한 일례로 에지 그룹

에서 각 i에 대하여 신뢰도 확산(belief propagation) 알고리즘을 수행하면 자연스럽게 트레이닝 패치가 이어지도록 할 수 있다.

이와 관련하여, 도 6a에서는 최소 이웃 알고리즘을 사용한 결과를 나타내고 있고, 도 6b는 신뢰도 확산(belief propagation) 알고리즘을 사용하여 이웃한 고해 상도 트레이닝 패치 사이의 연결성에 대한 제한조건을 두어 만든 결과를 나타내고 있다. 즉, 도 6b의 경우, 도 6a에서 보이는 불연속적인 부분에 대하여 겹쳐지는 부분에 대한 제한조건을 부가함으로써 신뢰도 확산(belief propagation) 알고리즘에 의해 매끄럽게 된 것이다. 이하, 신뢰도 확산(belief propagation)에 대해 좀더 구체적으로 설명하도록 한다.

한 에지 그룹에서 에지 픽셀 각각을 노드로 보고 각 에지 그룹 Ck를 1차원 그래픽 G=(V,E)로 모델링되는 노드의 연결

로 가정한다. 각 노드에서의 저해상도 패치

패치와 SSD(Sum of Squared Difference) 가 가장 작은 K 개의

를 트레이닝 영상 패치에서 고른다. G=(V,E)에서 정의되는 에너지 함수를 수학식 2와 같이 정의할 수 있다.

이 때,

는 노드

에서의 입력 저해상도 패치, 대응되는 고해상도 패치 후보를 각각 의미한다.

은

과

사이의 유사도를 나타낸다. 그러나 이미 가장 유사한 K 개의

를 선택하였으므로 상수로 근사화될 수 있다.

는 입력 저해상도의 패치

에 대응되는, 즉 본 발명에서 얻고자 하는 고해상도 패치의 후보이며,

는

와

사이 공통된 영역(도 7에서 겹쳐지는 영역)에서의 정규화된 SSD값을 의미한다.

즉, 인접한 노드에 있는 두 패치 사이 공통된 부분에서의 SSD(Sum of Squared Difference)를 에너지 함수로 정의하여 신뢰도 확산(belief propagation)이 수행된다.

신뢰도 확산(Belief propagation) 과정에서 메시지의 흐름은 도 8에 도시되고 있다. 실제로 각 노드는 공통된 부분이 존재하나 보다 용이한 표현을 위해 따로 떼여 두었다.

는

노드에서

노드로의 메시지이며, [수학식 3]과 같이 모든 m에 대해서, 최소의 에너지

를 저장하는 K-차원 벡터 형태이다.

이 때,

는

이 들어온 메시지를 의미한다.

아래에 슈도 코드(Pseudo code)의 예와 같이

의 에너지를 0으로 두고 순차적으로 메시지를 업데이트 한다.

위에서 구한 메시지로 최종적으로 수학식 4와 같이 최적의 해를 구한다.

신뢰도 확산(Belief propagation)에 대해서는 보다 구체적으로 "J. Pearl. Probabilistic Reasoning in Intelligent Systems: Network of Plausible Inference. 1988."에 개시되고 있다.

한편, 신뢰도 확산(Belief propagation) 알고리즘에 의해 겹쳐지는 부분에 대해서는 연속성을 제한 조건으로 하였으므로 불연속적인 부분이 생기지 않으나, 겹쳐지지 않는 부분에 대한 제한 조건은 없기 때문에 불연속적인 부분이 발생될 수 있다. 이것은 비록 입력 저해상도 패치와 가장 유사한 저해상도 트레이닝 패치를 선정하여 이에 대응되는 고해상도 트레이닝 패치를 사용했다고 하더라도, 고해상도 패치가 완벽하게 맞지 않아서 발생되는 현상이다.

따라서, 이러한 불연속적인 부분을 제거하기 위한 추가 아티팩트(artifact) 제거 과정이 필요하게 되는 것이다.

이는 에지의 방향성에 따라 적용가능한 방향성이 있는 로 패스 필터(low pass filter)를 사용할 수 있으며 본 발명에서는 이렇게 추가적인 아티팩트를 제거하기 위하여 일례로 에지의 방향성에 따른 가우시안 형태의 필터를 이용하였다.

본 발명에서 얻고자 하는 결과는 에지 근처에서의 해상도 향상이므로 에지를 멀리 벗어나는 곳에서는 큰 비중으로 다룰 필요가 없다. 에지의 방향성을

중 하나로 구한 후, 그 방향성에 따라 수학식 5와 같은 가우시안 형태의 필터링을 해줌으로써 이를 극복할 수 있게 된다.

여기서 d(x, y)는 가우시안의 꼭대기(peak)로부터의 거리이고 σ는 가우시안의 표준편차이다.

예에서는 3σ = 패치크기/2 가 되도록 설정하였는데, 도 9a 및 도 9b는 이 예를 보여준다. 도 9a는

각도의 아티팩트가 존재하는 결과 영상을 나타내고 있고, 도 9b는 이에 대응하는 공작적 필터링을 나타내고 있으며 결과 영상의 에지 방향성인

를 따라 가우시안 형태로 감소하게 된다.

이와 같은 방법에 따라 영상 합성 모듈(250)은 최종적으로 추가 아티팩트(artifact)가 제거된

를 생성하고, 생성된

와

를 합성하여 최종적인 고해상도 영상

을 얻게 된다. (

).

본 발명의 의한 실험 결과, 일반 영상에서 약 570,000개의 매우 많은 영상 패치를 추출하여 트레이닝한 경우와 입력 영상에서 약 5000-12000개의 영상 패치를 추출하여 자기 트레이닝한 경우를 비교해 보면, 해상도에 있어서는 큰 차이가 없었 으나, 수행 시간에 있어서는 아래 표 1과 같이 큰 차이를 나타내었다. 즉, 본 발명을 따를 경우에는 적은 수의 트레이닝 영상 패치만으로도 고해상도 영상을 얻을 수 있고, 이에 따라 연산 시간도 줄일 수 있는 효과가 있는 것이다.

수행시간 (s)	레나	태극기	나비	골대	꽃
일반 영상으로 트레이닝	64.45	14.16	97.65	15.02	22.02
자기 트레이닝	10.96	5.71	18.56	4.92	6.90

한편, 본 명세서에서 언급되는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

본 발명을 따르게 되면 입력된 저해상도 영상으로부터 자연스러운 고해상도 영상을 보다 효과적으로 획득할 수 있게 된다.

Claims

입력된 영상으로부터 트레이닝 영상 패치를 추출하는 트레이닝 모듈; 및

상기 추출한 트레이닝 영상 패치를 기초로 상기 입력된 영상을 고해상도 영상으로 합성하는 영상 합성 모듈을 포함하는, 자기 트레이닝을 기반으로 하는 영상 복원 장치.
제1항에 있어서,

상기 트레이닝 영상 패치는 제1 영상 패치와 제2 영상 패치의 쌍으로 이루어지는데,

상기 제1 영상 패치는 상기 입력 영상에 대응하는 저해상도 영상으로부터 추출된 제1 에지 영상 패치이고,

상기 제2 영상 패치는 상기 입력 영상과 상기 저해상도 영상과의 차이에 의한 영상으로부터 추출된 제2 에지 영상 패치인, 자기 트레이닝을 기반으로 하는 영상 복원 장치.
제2항에 있어서,

상기 제1 에지 영상 패치는 저주파 성분이 제거되고 대비(contrast)를 보정하도록 정규화된 에지 영상 패치인, 자기 트레이닝을 기반으로 하는 영상 복원 장치.
제2항에 있어서,

상기 저해상도 영상은 상기 입력된 영상을 다운 샘플링한 후, 다운 샘플링된 영상을 업 샘플링하여 생성된 영상인, 자기 트레이닝을 기반으로 하는 영상 복원 장치.
제1항에 있어서,

상기 영상 합성 모듈은 상기 입력된 영상의 확대 영상으로부터 에지 영상 패치를 추출하고, 상기 추출한 에지 영상 패치와 상기 트레이닝 모듈로부터 제공되는 트레이닝 영상 패치를 이용하여 최적화된 영상 패치를 획득하고, 상기 최적화된 영상 패치와 상기 입력된 영상으로부터 상기 고해상도 영상을 합성하는, 자기 트레이닝을 기반으로 하는 영상 복원 장치.
제5항에 있어서,

상기 최적화된 영상 패치는 에지의 방향성에 대응하는 방향성이 있는 로 패스(low pass) 필터에 의해 필터링된 영상인, 자기 트레이닝을 기반으로 하는 영상 복원 장치.
영상을 입력하는 (a) 단계;

상기 입력된 영상으로부터 트레이닝 영상 패치를 추출하는 (b) 단계; 및

상기 추출한 트레이닝 영상 패치를 기초로 상기 입력된 영상을 고해상도 영상으로 합성하는 (c) 단계를 포함하는, 자기 트레이닝을 기반으로 하는 영상 복원 방법.
제7항에 있어서,

상기 트레이닝 영상 패치는 제1 영상 패치와 제2 영상 패치의 쌍으로 이루어지는데,

상기 제1 영상 패치는 상기 입력된 영상에 대응하는 저해상도 영상으로부터 추출된 제1 에지 영상 패치이고,

상기 제2 영상 패치는 상기 입력된 영상과 상기 저해상도 영상과의 차이에 의한 영상으로부터 추출된 제2 에지 영상 패치인, 자기 트레이닝을 기반으로 하는 영상 복원 방법.
제8항에 있어서,

상기 제1 에지 영상 패치는 저주파 성분이 제거되고 대비(contrast)를 보정하도록 정규화된 에지 영상 패치인, 자기 트레이닝을 기반으로 하는 영상 복원 방법.
제8항에 있어서,

상기 저해상도 영상은 상기 입력된 영상을 다운 샘플링한 후, 다운 샘플링된 영상을 업 샘플링하여 생성된 영상인, 자기 트레이닝을 기반으로 하는 영상 복원 방법.
제7항에 있어서,

상기 (c) 단계는,

상기 입력된 영상의 확대 영상으로부터 에지 영상 패치를 추출하는 단계;

상기 추출한 에지 영상 패치와 상기 추출한 트레이닝 영상 패치를 이용하여 최적화된 영상 패치를 획득하는 단계; 및

상기 최적화된 영상 패치와 상기 입력된 영상으로부터 상기 고해상도 영상을 합성하는 단계를 포함하는, 자기 트레이닝을 기반으로 하는 영상 복원 방법.
제11항에 있어서,

상기 최적화된 영상 패치는 에지의 방향성에 대응하는 방향성이 있는 로 패스 필터(low-pass filter)에 의해 필터링된 영상인, 자기 트레이닝을 기반으로 하는 영상 복원 방법.