KR101467370B1 - 자가 열화 복원을 이용한 영상 보간 방법 - Google Patents

자가 열화 복원을 이용한 영상 보간 방법 Download PDF

Info

Publication number
KR101467370B1
KR101467370B1 KR20130105943A KR20130105943A KR101467370B1 KR 101467370 B1 KR101467370 B1 KR 101467370B1 KR 20130105943 A KR20130105943 A KR 20130105943A KR 20130105943 A KR20130105943 A KR 20130105943A KR 101467370 B1 KR101467370 B1 KR 101467370B1
Authority
KR
South Korea
Prior art keywords
image
images
pair
interpolation function
estimated
Prior art date
Application number
KR20130105943A
Other languages
English (en)
Inventor
김종남
김원희
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR20130105943A priority Critical patent/KR101467370B1/ko
Application granted granted Critical
Publication of KR101467370B1 publication Critical patent/KR101467370B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 자가 열화 복원을 이용한 영상 보간 방법에 관한 것으로, 더욱 상세하게는 자가 열화 복원 기법을 이용하여 영상의 확대 변환에 따라 발생하는 새로운 픽셀에 대한 픽셀값의 정보를 보다 적은 계산복잡도로 더욱 정확하게 추정함으로써 영상의 확대 변환에 따른 품질 저하를 최소화하여 최종 출력 영상의 품질을 향상시킬 수 있는 자가 열화 복원을 이용한 영상 보간 방법에 관한 것이다.
이러한 본 발명은, 획득영상을 입력하는 제1단계; 상기 획득영상을 다운 샘플링한 열화영상을 다시 업 샘플링하여 복원영상을 생성하는 제2단계; 상기 획득영상과 상기 복원영상 간의 픽셀값 차이로부터 얻어지는 한 쌍의 차이영상을 이용하여 한 쌍의 추정손실영상을 생성하는 제3단계; 및 상기 획득영상에 제2보간함수를 적용한 보간영상과 상기 한 쌍의 추정손실영상을 픽셀값에 대하여 덧셈 연산하여 결과영상을 최종적으로 출력하는 제4단계;를 포함하여 구성되는 것을 특징으로 하는 자가 열화 복원을 이용한 영상 보간 방법을 기술적 요지로 한다.

Description

자가 열화 복원을 이용한 영상 보간 방법{Method of image interpolation using self degradation restoration}
본 발명은 자가 열화 복원을 이용한 영상 보간 방법에 관한 것으로, 더욱 상세하게는 자가 열화 복원 기법을 이용하여 영상의 확대 변환에 따라 발생하는 새로운 픽셀에 대한 픽셀값의 정보를 보다 적은 계산복잡도로 더욱 정확하게 추정함으로써 영상의 확대 변환에 따른 품질 저하를 최소화하여 최종 출력 영상의 품질을 향상시킬 수 있는 자가 열화 복원을 이용한 영상 보간 방법에 관한 것이다.
일반적으로 일정한 픽셀 크기의 원영상을 보다 더 큰 픽셀 크기의 영상으로 변환하게 되면 원영상으로부터 픽셀값을 할당받지 못한 픽셀이 발생하면서 변환영상에는 화질 저하를 유발하는 열화 현상이 발생하게 된다.
이러한 변환영상의 열화 현상을 최소화하기 위하여 픽셀값을 할당받지 못한 픽셀에 대한 픽셀값을 원영상의 픽셀값으로부터 다양한 형태로 추정하여 보간영상을 제공하는 영상 보간 방법들을 사용하고 있다.
그러나 종래의 영상 보간 방법들은 고전적인 방법으로 단순히 보간 함수를 적용하여 원영상으로부터 픽셀값을 할당받지 못한 픽셀에 대한 픽셀값을 추정하는 것이므로 열화 현상을 줄이기에는 한계가 있다.
따라서 단순히 보간 함수만을 사용하지 않고 다른 기법을 복합적으로 사용하여 변환영상의 열화 현상을 최소화할 수 있는 영상 보간 방법에 대한 연구가 절실히 요구되고 있다.
국내 등록특허공보 제10-024028호, 1999.11.08.자 등록. 국내 등록특허공보 제10-0707268호, 2007.04.06.자 등록.
본 발명은 상기한 문제점을 해소하기 위해 발명된 것으로서, 단순히 보간 함수만을 사용하는 종래의 영상 보간 방법에서 여전히 나타나는 변환 영상의 열화를 최소화할 수 있도록 하기 위하여, 획득영상과 상기 획득영상을 열화하고 다시 복원한 복원영상 간의 차이에 보간함수를 적용하여 손실정보를 추정한 후 상기 획득영상에 보간함수를 적용한 보간영상과 덧셈 연산함으로써 화질 개선된 출력영상을 최종적으로 출력할 수 있도록 하는 자가 열화 복원을 이용한 영상 보간 방법을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명에 따른 자가 열화 복원을 이용한 영상 보간 방법은, 획득영상을 입력하는 제1단계; 상기 획득영상을 다운 샘플링한 열화영상을 다시 업 샘플링하여 복원영상을 생성하는 제2단계; 상기 획득영상과 상기 복원영상 간의 픽셀값 차이로부터 얻어지는 한 쌍의 차이영상을 이용하여 한 쌍의 추정손실영상을 생성하는 제3단계; 및 상기 획득영상에 제2보간함수를 적용한 보간영상과 상기 한 쌍의 추정손실영상을 픽셀값에 대하여 덧셈 연산하여 결과영상을 최종적으로 출력하는 제4단계;를 포함하여 구성되는 것을 특징으로 한다.
상기 제3단계는, 상기 획득영상과 상기 복원영상 간의 픽셀값에 대한 차이를 계산하여 양수의 픽셀값과 음수의 픽셀값을 각각 가지는 한 쌍의 차이영상을 생성하는 제3a단계; 상기 한 쌍의 차이영상에 각각 제1보간함수를 적용하여 한 쌍의 중간추정손실영상을 생성하는 제3b단계; 및 상기 한 쌍의 중간추정손실영상에 각각 기설정된 가중치를 적용하여 한 쌍의 추정손실영상을 생성하는 제3c단계;를 포함하여 구성되는 것을 특징으로 한다.
상기 제3단계는, 상기 획득영상에서 상기 열화영상으로 다운 샘플링할 때 상기 획득영상의 픽셀 중에서 상기 열화영상의 픽셀로 샘플링되는 픽셀의 위치를 달리하면서 두 번 이상 수행하여 두 쌍 이상의 추정손실영상을 생성하고, 상기 제4단계에서는, 상기 두 쌍 이상의 추정손실영상과 상기 보간영상을 픽셀값에 대하여 덧셈 연산하여 결과영상을 최종적으로 출력하는 것을 특징으로 한다.
상기 제2보간함수는, 선형보간함수, 3차회선보간함수, 스플라인보간함수 중의 하나를 선택하여 사용하는 것을 특징으로 한다.
상기 제1보간함수는, 선형보간함수, 3차회선보간함수, 스플라인보간함수 중의 하나를 선택하여 사용하는 것을 특징으로 한다.
상기한 구성에 의한 본 발명은,
먼저, 영상 크기 확대로 인한 손실정보를 자체적으로 최대한 보상함으로써 종래의 영상 보간 방법에 비하여 상대적으로 화질이 개선된 결과영상을 제공할 수 있는 효과가 있다.
그리고, 빠른 동작시간으로 계산복잡도를 현저히 낮춤으로써 종래의 영상 보간 방법에 비하여 결과영상을 신속하게 출력하여 제공할 수 있는 효과가 있다.
또한, 사용되는 보간함수가 어느 특정 보간함수만으로 국한되지 않고 종래의 다양한 보간함수와도 어울려 사용됨으로써 이를 위한 시스템을 용이하게 구성할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 자가 열화 복원을 이용한 영상 보간 방법을 단계적으로 도시한 블록도.
도 2는 본 발명의 바람직한 실시예에 따른 자가 열화 복원을 이용한 영상 보간 방법의 각 단계별로 생성되는 영상 결과물을 단계에 맞게 배치하여 도시한 예시도.
본 발명에 따른 자가 열화 복원을 이용한 영상 보간 방법은, 영상의 크기 확대 변환에 따른 화질 저하를 막기 위하여 새롭게 추가되는 픽셀에 대한 픽셀값을 원영상으로부터 추정하여 화질이 개선된 출력영상을 제공하는 기술이다.
특히, 본 발명에 따른 자가 열화 복원을 이용한 영상 보간 방법은, 보간 함수만을 단순히 적용하여 보간하는 기존의 영상 보간 방법과 달리 새로운 픽셀에 부여되는 픽셀값을 보다 정확하게 추정하여 화질이 더욱 개선된 출력영상을 보다 신속하게 제공할 수 있는 것이 특징이다.
이러한 특징은, 획득영상과 상기 획득영상을 열화하고 다시 복원한 복원영상 간의 차이에 보간함수를 적용하여 손실정보를 추정한 후 상기 획득영상에 보간함수를 적용한 보간영상과 덧셈 연산하여 화질 개선된 출력영상을 최종적으로 출력하는 방법에 의해 달성된다.
즉, 획득영상에 보간함수를 적용한 보간영상에다가 획득영상과 복원영상 간의 차이를 이용하여 보간영상의 손실을 추정한 추정영상을 덧셈 연산하여 출력영상을 출력하는 방법에 의한 것이다. 다시 말하면 보간영상에다가 보간으로 인해 유발되는 손실을 보상하기 위한 추정영상을 더함으로써 손실이 최소화되는 출력영상을 출력하는 방법이다.
따라서 보간으로 인한 소실을 보상하는 추정영상이 출력영상에 더해지면서 영상의 화질을 크게 개선할 수 있을 뿐만 아니라 단순한 연산으로 계산복잡도를 낮추어 연산속도를 보다 형상시킬 수 있다.
이하 본 발명의 바람직한 실시예에 따른 자가 열화 복원을 이용한 영상 보간 방법을 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 바람직한 실시예에 따른 자가 열화 복원을 이용한 영상 보간 방법을 단계적으로 도시한 블록도이고, 도 2는 본 발명의 바람직한 실시예에 따른 자가 열화 복원을 이용한 영상 보간 방법의 각 단계별로 생성되는 영상 결과물을 단계에 맞게 배치하여 도시한 예시도이다.
본 발명의 바람직한 실시예에 따른 자가 열화 복원을 이용한 영상 보간 방법은, 도 1에 도시된 바와 같이 획득영상을 입력하는 제1단계, 복원영상을 생성하는 제2단계, 한 쌍의 추정손실영상을 생성하는 제3단계, 결과영상을 최종적으로 출력하는 제4단계로 구성되는데, 각각의 단계들을 상세하게 설명하면 다음과 같다.
먼저, 제1단계는 획득영상(110)을 입력하는 단계이다.
즉, 제1단계는 정지영상이거나 혹은 동영상을 구성하는 복수 개의 프레임 중의 한 프레임인 일정 픽셀 크기의 획득영상(110)을 입력하는 단계이다.
상기 획득영상(110)은 화질 저하를 최소화하면서 픽셀 크기를 확대하고자 하는 대상이 되는 영상이다.
다음으로, 제2단계는 복원영상(130)을 생성하는 단계이다.
즉, 제2단계는 상기 제1단계에서 입력된 획득영상(110)을 다운 샘플링하여 열화영상(120)을 생성하고, 상기 열화영상(120)을 다시 업 샘플링하여 복원영상(130)을 생성하는 단계이다.
다시 말해, 일정 픽셀 크기의 획득영상(110)을 그 보다 상대적으로 작은 픽셀 크기의 열화영상(120)으로 변환한 후 이를 다시 본래 픽셀 크기의 복원영상(130)으로 복원하는 단계이다.
예를 들면, 도 2에 도시된 바와 같이 100×100 픽셀 크기의 획득영상(110)을 가로와 세로를 모두 1/2 픽셀 크기로 축소하여 50×50 픽셀 크기의 열화영상(120)으로 변환한 후, 상기 열화영상(120)을 다시 본래 픽셀 크기인 100×100 픽셀 크기의 복원영상(130)을 복원하는 것이다.
이러한 제2단계는 자체적으로 획득영상(110)을 열화시켜 복원영상(130)으로 복원함으로써 영상의 열화 및 복원이 연속적으로 이루어지는 과정에서 픽셀이 생략되고 새롭게 추가되는 픽셀에 픽셀값이 새롭게 부여되면서 발생하는 손실을 이후의 단계에서 자체적으로 추정할 수 있도록 하기 위한 단계이다.
다음으로, 제3단계는 한 쌍의 추정손실영상(160a)(160b)을 생성하는 단계이다.
즉, 제3단계는 상기 제1단계에서 입력된 획득영상(110)과 상기 제2단계에서 생성된 복원영상(130) 간의 픽셀값 차이로부터 얻어지는 한 쌍의 차이영상(140a)(140b)을 이용하여 한 쌍의 추정손실영상(160a)(160b)을 생성하는 단계이다.
여기서 제3단계를 세부적으로 구분하면, 도 1에 도시된 바와 같이 차이영상을 생성하는 제3a단계, 중간추정손실영상을 생성하는 제3b단계, 및 추정손실영상을 생성하는 제3c단계로 구성할 수 있다.
상기 제3a단계는 차이영상(140)을 생성하는 단계로서, 획득영상(110)과 복원영상(130) 간의 픽셀값에 대한 차이를 계산하여 양수의 픽셀값으로 나타나는 차이영상(140a)과 음수의 픽셀값으로 나타나는 차이영상(140b)을 쌍으로 생성하는 단계이다.
상기 제3b단계는 중간추정손실영상(150a)(150b)을 생성하는 단계로서, 상기 한 쌍의 차이영상(140a)(140b)에 각각 제1보간함수를 적용하여 차이영상(140a)에 대한 중간추정손실영상(150a)과 차이영상(140b)에 대한 중간추정손실영상(150b)을 쌍으로 생성하는 단계이다.
이때 제1보간함수는 차이영상(140a)(140b)의 픽셀 크기를 각각 확대시킬 때 새롭게 추가되는 픽셀에 대한 픽셀값을 차이영상(140a)(140b)의 픽셀값으로부터 추정하는 것으로, 선형보간함수, 3차회선보간함수, 스플라인보간함수 등으로 이루어진 보간함수들 중에서 하나를 선택하여 사용하면 된다.
상기 제3c단계는 추정손실영상(160a)(160b)을 생성하는 단계로서, 상기 한 쌍의 중간추정손실영상(150a)(150b)에 각각 가중치를 적용하여 중간추정손실영상(150a)에 대한 추정손실영상(160a)과 중간추정손실영상(150b)에 대한 추정손실영상(160b)을 쌍으로 생성하는 단계이다.
이때 가중치는 손실정보인 추정손실영상(160a)(160b)의 강도를 조절하기 위하여 기설정되는 것으로, 이는 상기 추정손실영상(160a)(160b)를 이후의 제4단계에서 그대로 적용할 경우 결과영상(180)에서 잡음으로 작용하므로 적절한 값으로 설정해야 한다.
예를 들면, 도 2에 도시된 바와 같이 100×100 픽셀 크기의 획득영상(110)과 100×100 픽셀 크기의 복원영상(130)을 픽셀 대 픽셀로 차이값을 비교하여 동일 픽셀 크기의 차이영상(140)을 생성한다.
그리고 차이영상(140)을 양수의 픽셀값을 가지는 100×100 픽셀 크기의 차이영상(140a)과 음수의 픽셀값을 가지는 100×100 픽셀 크기의 차이영상(140b)으로 분리한다.
그런 다음 차이영상(140a)(140b)에 각각 선형보간함수를 적용하여 200×200 픽셀 크기로 확대시킨 중간추정손실영상(150a)(150b)을 쌍으로 생성한다.
마지막으로 중간추정손실영상(150a)(150b)이 결과영상(180)에서 잡음으로 작용하지 않도록 그 강도를 조절하는 가중치를 적용하여 추정손실영상(160a)(160b)을 쌍으로 생성하는 것이다.
이러한 제3단계는 획득영상(110)과 복원영상(130) 간의 차이를 유발하는 손실로 작용하는 것으로 추정되는 한 쌍의 추정손실영상(160a)(160b)을 생성한 후 이를 결과영상(180)에서 잡음으로 작용하지 않도록 강도를 조절하기 위한 단계이다.
마지막으로, 제4단계는 결과영상(180)을 최종적으로 출력하는 단계이다.
즉, 제4단계는 상기 제1단계에서 입력된 획득영상(110)에 제2보간함수를 적용하여 생성한 보간영상(170)과 상기 제3단계서 생성된 한 쌍의 추정손실영상(160a)(160b)을 픽셀값에 대하여 덧셈 연산하여 결과영상(180)을 최종적으로 출력하는 단계이다.
이때 제2보간함수는 획득영상(110)을 픽셀 크기를 확대시켜 보간영상(170)을 생성할 때 새롭게 추가되는 픽셀에 대한 픽셀값을 획득영상(110)의 픽셀값으로부터 추정하는 것으로, 제1보간함수와 같이 선형보간함수, 3차회선보간함수, 스플라인보간함수 등으로 이루어진 보간함수들 중에서 하나를 선택하여 사용한다.
예를 들면, 도 2에 도시된 바와 같이 100×100 픽셀 크기의 획득영상(110)에 선형보간함수를 적용하여 200×200 픽셀 크기의 보간영상(170)을 생성한 후 상기 보간영상(170)과 200×200 픽셀 크기를 가지는 한 쌍의 추정손실영상(160a)(160b)을 모두 덧셈 연산하여 200×200 픽셀 크기의 결과영상(180)을 출력하는 것이다.
이러한 제4단계는 획득영상(110)에 보간함수를 적용한 보간영상(170)에다가 보간영상(170)의 손실 정보로 추정되는 한 쌍의 추정손실영상(160a)(160b)을 더하여 손실 정보를 보상한 결과영상(180)을 최종적으로 출력하기 위한 단계이다.
상기한 단계들을 차례대로 거치면서 영상 확대시 발생하는 손실 정보를 자체적으로 추정하고 이러한 손실정보를 결과영상에 보상하여 영상 확대로 인한 영상 품질의 저하를 최소화함으로써 도 2에 도시된 바와 같이 보간영상(170)에 비하여 화질이 더욱 향상된 결과영상(180)을 제공하게 된다.
여기서, 본 발명의 바람직한 실시예에 따른 자가 열화 복원을 이용한 영상 보간 방법은, 상기 제3단계를 두 번 이상 반복 수행하여 두 쌍 이상의 추정손실영상(160a)(160b)을 생성하는 것도 가능하다.
즉, 획득영상(110)을 열화영상(120)으로 다운 샘플링할 때 상기 획득영상(110)의 픽셀 중에서 상기 열화영상(120)의 픽셀로 샘플링되는 픽셀의 위치를 달리하면서 두 번 이상 반복 수행하여 두 쌍 이상의 추정손실영상(160a)(160b)을 생성하는 것이다.
그러면 상기 제4단계에서는 두 쌍 이상의 추정손실영상(160a)(160b)과 보간영상(170)을 덧셈 연산하여 결과영상(180)을 최종적으로 출력하게 된다. 따라서 영상 확대로 인한 손실정보를 더욱 정밀하게 추정하여 결과영상(180)에 반영함으로써 결과영상(180)의 화질을 더욱 개선할 수 있게 된다.
이하 본 발명의 바람직한 실시예에 따른 자가 열화 복원을 이용한 영상 보간 방법에 대한 성능 평가를 아래의 표들과 첨부한 도면의 사진을 통해 상세하게 설명하면 다음과 같다.
먼저, 아래의 표 1은 본 발명에 의한 결과물의 화질을 PSNR(dB)을 객관적으로 나타낸 것이다.
실험영상 Bilinear ICBI INEDI IBP NC 본 발명
baboon 22.96 23.09 23.22 22.89 22.75 23.56
barbara 25.02 24.99 24.94 24.73 24.88 25.53
boat 29.80 30.47 30.60 28.72 29.74 30.98
elaine 32.42 32.87 32.71 31.39 32.27 33.02
goldhill 30.53 31.01 30.89 29.76 30.55 31.40
lena 32.42 33.46 33.47 30.73 32.45 33.78
oldmill 24.05 24.39 24.80 23.42 23.91 25.24
peppers 31.59 32.27 32.25 30.60 31.34 32.58
평균 28.60 29.07 29.11 27.78 28.49 29.51
상기 표 1에 따르면 본 발명은 높을수록 화질이 좋은 PSNR값이 종래의 영상 보간 방법들에 비하여 상대적으로 높게 나타나므로 화질 향상 효과를 가지는 것을 확인할 수 있다.
그리고, 아래의 표 2는 본 발명의 동작시간을 시간(초)으로 나타낸 것이다.
종류 Bilinear ICBI INEDI IBP NC 본 발명
동작시간(초) 0.03 23 202 3 50 0.25
상기 표 2에 따르면 본 발명은 가장 단순한 선형보간방법인 Bilinear를 제외한 종래의 영상 보간 방법들에 비하여 상대적으로 동작시간이 빠르므로 낮은 계산복잡도를 가지는 것을 확인할 수 있다.
마지막으로, 아래의 표 3은 본 발명의 제1보간함수와 제2보간함수에 종래의 영상 보간 방법을 적용한 것과 단순히 종래의 영상 보간 방법만을 사용한 것에 대한 성능을 비교하여 PSNR(dB)로 나타낸 것이다.
실험영상 Bilinear 본 발명
(Bilinear)		 Bicubic 본 발명
(Bicubic)		 Spline 본 발명
(Spline)
baboon 22.96 23.56 23.24 23.87 23.40 23.98
barbara 25.02 25.53 25.18 25.65 25.21 25.59
boat 29.80 30.98 30.49 31.69 30.83 31.59
elaine 32.42 33.02 32.81 33.33 32.97 33.41
goldhill 30.53 31.40 31.02 31.88 31.25 32.03
lena 32.42 33.78 33.34 34.79 33.81 35.21
oldmill 24.05 25.24 24.74 26.08 25.16 26.47
peppers 31.59 32.58 32.41 33.57 32.81 34.00
평균 28.60 29.51 29.16 30.11 29.43 30.32
평균이득 0.91 0.95 0.89
상기 표 3에 따르면, 본 발명은 단순히 보간함수만을 사용한 방법에 비하여 결과물의 화질이 향상된 것을 확인할 수 있다. 게다가 본 발명은 제1보간함수와 제2보간함수가 어느 특정 보간함수만에 종속되지 않는 것을 확인할 수 있다.
이상과 같이 본 발명에 따른 자가 열화 복원을 이용한 영상 보간 방법은, 영상 크기 확대로 인한 손실정보를 자체적으로 최대한 보상하여 단순히 보간함수만을 적용한 종래의 영상 보간 방법에 비하여 개선된 화질의 결과영상을 제공할 수 있게 된다.
상기한 실시예는 예시적인 것에 불과한 것으로, 당해 기술분야에 대한 통상의 지식을 가진 자라면 이로부터 다양하게 변형된 다른 실시예가 가능하다.
따라서 본 발명의 진정한 기술적 보호범위에는 하기의 특허청구범위에 기재된 발명의 기술적 사상에 의해 상기의 실시예뿐만 아니라 다양하게 변형된 다른 실시예가 포함되어야 한다.
110: 획득영상
120: 열화영상
130: 복원영상
140, 140a,140b: 차이영상
150a, 150b: 중간추정손실영상
160a, 160b: 추정손실영상
170: 보간영상
180: 결과영상

Claims (5)

  1. 획득영상을 입력하는 제1단계;
    상기 획득영상을 다운 샘플링한 열화영상을 다시 업 샘플링하여 복원영상을 생성하는 제2단계;
    상기 획득영상과 상기 복원영상 간의 픽셀값 차이로부터 얻어지는 한 쌍의 차이영상을 이용하여 한 쌍의 추정손실영상을 생성하는 제3단계;
    상기 획득영상에 제2보간함수를 적용한 보간영상과 상기 한 쌍의 추정손실영상을 픽셀값에 대하여 덧셈 연산하여 결과영상을 최종적으로 출력하는 제4단계;를 포함하여 구성되되,
    상기 제3단계는,
    상기 획득영상과 상기 복원영상 간의 픽셀값에 대한 차이를 계산하여 양수의 픽셀값과 음수의 픽셀값을 각각 가지는 한 쌍의 차이영상을 생성하는 제3a단계;
    상기 한 쌍의 차이영상에 각각 제1보간함수를 적용하여 한 쌍의 중간추정손실영상을 생성하는 제3b단계; 및
    상기 한 쌍의 중간추정손실영상에 각각 기설정된 가중치를 적용하여 한 쌍의 추정손실영상을 생성하는 제3c단계;를 포함하여 구성되는 것을 특징으로 하는 자가 열화 복원을 이용한 영상 보간 방법.
  2. 삭제
  3. 제1항 있어서,
    상기 제3단계는,
    상기 획득영상에서 상기 열화영상으로 다운 샘플링할 때 상기 획득영상의 픽셀 중에서 상기 열화영상의 픽셀로 샘플링되는 픽셀의 위치를 달리하면서 두 번 이상 수행하여 두 쌍 이상의 추정손실영상을 생성하고,
    상기 제4단계에서는,
    상기 두 쌍 이상의 추정손실영상과 상기 보간영상을 픽셀값에 대하여 덧셈 연산하여 결과영상을 최종적으로 출력하는 것을 특징으로 하는 자기 열화 복원을 이용한 영상 보간 방법.
  4. 제1항에 있어서,
    상기 제2보간함수는,
    선형보간함수, 3차회선보간함수, 스플라인보간함수 중의 하나를 선택하여 사용하는 것을 특징으로 하는 자가 열화 복원을 이용한 영상 보간 방법.
  5. 제1항에 있어서,
    상기 제1보간함수는,
    선형보간함수, 3차회선보간함수, 스플라인보간함수 중의 하나를 선택하여 사용하는 것을 특징으로 하는 자가 열화 복원을 이용한 영상 보간 방법.
KR20130105943A 2013-09-04 2013-09-04 자가 열화 복원을 이용한 영상 보간 방법 KR101467370B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130105943A KR101467370B1 (ko) 2013-09-04 2013-09-04 자가 열화 복원을 이용한 영상 보간 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130105943A KR101467370B1 (ko) 2013-09-04 2013-09-04 자가 열화 복원을 이용한 영상 보간 방법

Publications (1)

Publication Number Publication Date
KR101467370B1 true KR101467370B1 (ko) 2014-12-02

Family

ID=52677088

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130105943A KR101467370B1 (ko) 2013-09-04 2013-09-04 자가 열화 복원을 이용한 영상 보간 방법

Country Status (1)

Country Link
KR (1) KR101467370B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090045743A (ko) * 2007-11-02 2009-05-08 삼성전자주식회사 블록 기반의 영상 복원 시스템 및 방법
JP2010170340A (ja) 2009-01-22 2010-08-05 Sony Corp 画像処理装置および方法、並びにプログラム
KR20130104410A (ko) * 2012-03-14 2013-09-25 중앙대학교 산학협력단 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090045743A (ko) * 2007-11-02 2009-05-08 삼성전자주식회사 블록 기반의 영상 복원 시스템 및 방법
JP2010170340A (ja) 2009-01-22 2010-08-05 Sony Corp 画像処理装置および方法、並びにプログラム
KR20130104410A (ko) * 2012-03-14 2013-09-25 중앙대학교 산학협력단 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김원희, 김종남, "하위 레벨 보간을 이용한 손실 정보 추정과 영상 해상도 향상 기법," 한국콘텐츠학회논문지 제9권 제11호, 20-22 페이지, 2009.11 (2009.11.30.) *

Similar Documents

Publication Publication Date Title
KR100847194B1 (ko) 화상 처리 장치, 화상 처리 방법 및 화상 표시 장치
JP4631966B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US7418149B2 (en) Apparatus and method for adaptive 3D noise reduction
JP3750797B2 (ja) 画像処理方法および装置
US20170132760A1 (en) Method for upscaling noisy images, and apparatus for upscaling noisy images
JP2010539614A (ja) 画像処理方法及び装置
US20100290714A1 (en) Image processing apparatus and image processing method
US20110274368A1 (en) Image processing device, image processing method, and program
JP2011237997A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2011081605A (ja) 画像処理装置、方法及びプログラム
JP4399449B2 (ja) 画像ノイズ低減システム、画像ノイズ低減方法およびコンピュータ・プログラム
US8213736B2 (en) Image processing device and image processing method
JP2015165385A (ja) 画像処理方法および画像処理装置
WO2011018878A1 (ja) 画像処理システム、画像処理方法および画像処理用プログラム
KR101828814B1 (ko) 깊이 영상 변환 장치 및 방법
KR101467370B1 (ko) 자가 열화 복원을 이용한 영상 보간 방법
JP5249111B2 (ja) 画像処理装置、方法、プログラム、及び撮像システム
JP2011015277A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録された記録媒体
US8090210B2 (en) Recursive 3D super precision method for smoothly changing area
JP6532151B2 (ja) 超解像装置およびプログラム
JP2009194721A (ja) 画像信号処理装置、画像信号処理方法、及び撮像装置
KR101556625B1 (ko) 영상 확대 보간 방법
JPWO2011004427A1 (ja) 画像処理装置
JP4342297B2 (ja) 画像処理回路及び画像処理方法
JP2017111470A (ja) 画像処理装置、画像処理プログラム、および画像処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171101

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181101

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191024

Year of fee payment: 6