KR100860968B1 - 해상도 향상 장치 및 방법 - Google Patents

해상도 향상 장치 및 방법

Info

Publication number
KR100860968B1
KR100860968B1 KR1020070079081A KR20070079081A KR100860968B1 KR 100860968 B1 KR100860968 B1 KR 100860968B1 KR 1020070079081 A KR1020070079081 A KR 1020070079081A KR 20070079081 A KR20070079081 A KR 20070079081A KR 100860968 B1 KR100860968 B1 KR 100860968B1
Authority
KR
South Korea
Prior art keywords
image
edge
pixel
texture
pixels
Prior art date
Application number
KR1020070079081A
Other languages
English (en)
Inventor
이호영
잔 피. 알레바크
샤오쥥 펑
방유선
조희근
Original Assignee
삼성전자주식회사
퍼듀 리서치 파운데이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 퍼듀 리서치 파운데이션 filed Critical 삼성전자주식회사
Application granted granted Critical
Publication of KR100860968B1 publication Critical patent/KR100860968B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

입력 영상을 고배율로 해상도를 증가시킬 때, 고화질의 최종 영상을 얻을 수 있는 해상도 향상 장치 및 방법이 제공된다.
본 발명의 실시예에 따른 해상도 향상 장치는, 입력 영상에서 텍스쳐 영상을 검출하는 텍스쳐 영상 검출부, 및 상기 텍스쳐 영상을 제외한 비텍스쳐 영상과 상기 텍스쳐 영상에 서로 다른 보간 기술을 적용하여 생성된 제1 중간 영상과 제2 중간 영상을 합성하여, 최종 영상을 생성하는 최종 영상 생성부를 포함하며, 상기 보간 기술은 에지 방향성 기반 보간 기법 및 잔여 오류 추정 기반 보간 기법 중 적어도 하나를 포함한다.

Description

해상도 향상 장치 및 방법{Image-Resolution-Improvement apparatus and method}
본 발명은 해상도 향상 장치 및 방법에 관한 것으로, 더욱 상세하게는 입력 영상의 해상도를 고배율로 증가시킬 때, 고화질의 최종 영상을 얻을 수 있는 해상도 향상 장치 및 방법에 관한 것이다.
해상도 변환 기술은 크게 선형 필터링 기술을 이용한 방법과, 비선형 필터링 기술을 이용한 방법으로 나누어질 수 있다.
선형 필터링 기술을 이용한 방법들로서, 바이리니어 보간(bilinear interpolation) 및 큐빅 보간(cubic interpolation) 등과 같은 선형 필터링 기법들을 이용하여 해상도 변환을 수행하는 방법들을 예로 들 수 있다. 상기 선형 필터링 기술을 이용한 해상도 향상 기술에 따르면, 해상도 확대 과정에서 입력 영상의 고주파성분의 불충분한 재현으로 인해 최종 영상의 선명도 즉, 화질이 크게 저하되는 단점이 있다. 이러한 문제점을 보완하기 위해, 낮은 해상도 신호에 대해 픽킹(peaking)을 적용하여 포텐셜 에지 화소들을 식별하고, 픽킹된 비디오 신호에 대해 업컨버젼을 수행한 후, 에지 화소 검출, 에지 링킹(edge linking), 그리고 휘도 트랜지션 향상(Luminance Transient Improvement)을 순차적으로 수행하여 고선명 신호를 출력하는 기술이 제시되었다. 그러나 제시된 기술은 많은 연산량과 복잡한 하드웨어 구조를 필요로한다는 문제가 있다.
한편, 비선형 필터링 기술을 이용한 방법으로서, 방향성 보간 기법(directional interpolation)과 내용 기반 보간(content-based interpolation) 방법으로 나누어질 수 있다. 방향성 보간 기법의 경우, 영상의 에지 정보를 이용하여 에지 방향에 평행한 방향으로만 보간을 수행하여 에지 성분의 블러링을 방지하는 방법이며, 내용 기반 보간 방법은 미리 학습 과정(learning process)을 통해 최적화된 스케일링 필터 계수를 구한 후, 입력 영상의 국부적인 특성에 따라 학습된 필터 계수를 선택하여 해상도 변환을 수행하는 방법이다. 이러한 방법들은 영상의 에지 부분에서는 비교적 양호한 결과를 보이지만 세밀한 텍스쳐가 많은 복잡한 영역(finde textured region)의 경우에는 높은 화질을 기대하기 어렵다는 문제가 있다.
본 발명은 입력 영상의 해상도를 고배율로 증가시킬 때, 고화질의 최종 영상을 얻을 수 있는 장치 및 방법을 제공하는데 그 목적이 있다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여 본 발명의 실시예에 따른 해상도 향상 장치는, 입력 영상에서 텍스쳐 영상을 검출하는 텍스쳐 영상 검출부, 및 상기 텍스쳐 영상을 제외한 비텍스쳐 영상과 상기 텍스쳐 영상에 서로 다른 보간 기술을 적용하여 생성된 제1 중간 영상과 제2 중간 영상을 합성하여, 최종 영상을 생성하는 최종 영상 생성부를 포함하며, 상기 보간 기술은 에지 방향성 기반 보간 기법 및 잔여 오류 추정 기반 보간 기법 중 적어도 하나를 포함한다.
상기 목적을 달성하기 위하여 본 발명의 실시예에 따른 해상도 향상 방법은, 입력 영상에서 텍스쳐 영상을 검출하는 단계, 및 상기 텍스쳐 영상을 제외한 비텍스쳐 영상과 상기 텍스쳐 영상에 서로 다른 보간 기술을 적용하여 생성된 제1 중간 영상과 제2 중간 영상을 합성하여, 최종 영상을 생성하는 단계를 포함하며, 상기 보간 기술은 에지 방향성 기반 보간 기법 및 잔여 오류 추정 기반 보간 기법 중 적어도 하나를 포함한다.
본 발명에 의한 해상도 향상 장치 및 방법에 따르면, 입력 영상의 해상도를 향상시킬 때, 텍스쳐 영상 및 비텍스쳐 영상에 걸쳐 고화질의 최종 영상을 얻을 수 있다.
도 1은 본 발명의 실시예에 따른 해상도 향상 장치의 구성을 도시한 도면이다.
도 2a는 입력 영상을 예시한 것이고, 도 2b는 도 2a의 입력 영상에서 텍스쳐 영상을 검출한 결과를 도시한 도면이다.
도 3은 도 1의 제1 중간 영상 생성부의 구성을 보다 상세히 도시한 도면이다.
도 4는 에지 경사(Edge Grandient)를 설명하기 위한 도면이다.
도 5는 에지 세선화(Edge Thinning)를 위해 에지 경사 세기를 비교할 수 있는 화소군을 에지 화소의 방향별로 나타낸 도면이다.
도 6은 입력 영상의 해상도 변환으로 인해, 최종 에지 화소의 위치가 변한 경우를 보여주는 도면이다.
도 7은 최종 에지를 기준으로 수평 방향에 존재하는 화소의 휘도에 근거하여, 해상도가 변환된 영상에서의 에지의 위치를 추정하는 방법을 설명하기 위한 도면이다.
도 8은 최종 에지가 복수개인 경우, 해상도가 변환된 영상에서의 에지의 위치를 추정하는 방법을 설명하기 위한 도면이다.
도 9는 추정된 에지의 방향 정보에 근거한 보간 방법을 설명하기 위한 도면이다.
도 10은 도 1의 제2 중간 영상 생성부의 구성을 상세히 도시한 도면이다.
도 11은 본 발명의 실시예에 따른 잔여 오류 추정(Residual Error Estimation)을 위한 화소군을 예시한 도면이다.
도 12는 본 발명의 실시예에 따른 해상도 향상 방법을 도시한 흐름도이다.
도 13은 본 발명의 다른 실시예에 따른 해상도 향상 장치의 구성을 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 해상도 향상 장치 110: 텍스쳐 영상 검출부
120: 제1 중간 영상 생성부 121: 에지 검출부
122: 에지 세선화부 123: 에지 정보 추출부
124: 제1 보간부 125: 제1 합성부
130: 제2 중간 영상 생성부 131: 제2 보간부
132: 필터부 133: 차분부
134: 오류 신호 추정부 135: 제2 합성부
140: 최종 영상 생성부
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있으며, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의한 해상도 향상 장치 및 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
도 1은 본 발명의 실시예에 따른 해상도 향상 장치(100)의 구성을 도시한 도면이다. 도시된 바와 같이, 해상도 향상 장치(100)는 텍스쳐 영상 검출부(110), 제1 중간 영상 생성부(120), 제2 중간 영상 생성부(130), 및 최종 영상 생성부(140)를 포함할 수 있다.
텍스쳐 영상 검출부(110)는 입력 영상에서 텍스쳐 영상(textured region)을 검출할 수 있다. 여기서, 텍스쳐 영상이란 입력 영상에서 질감이 있는 영역을 의미하는 것으로서, 잔디 부분이나 사람의 머리카락 부분 등을 예로 들 수 있다. 본 발명의 실시예에 따르면, 텍스쳐 영상 검출부(110)는 사전 지정된 크기의 윈도우 마스크 내에서 중심 화소와 임계치 이하의 휘도차를 갖는 화소의 개수를 기준으로 텍스쳐 영상을 검출할 수 있다. 구체적으로, M×N 크기의 윈도우 마스크(M은 N과 동일하거나 그렇지 않을 수 있다) 내에서 중심 화소 Pi와 주변 화소와의 휘도차를 각각 구한 결과, 제1 임계치(예를 들어, 20) 이하의 휘도차를 갖는 주변 화소의 개수가 제2 임계치(예를 들어, 0.2×N×N) 이상인 경우, 텍스쳐 영상 검출부(110)는 상기 중심 화소 Pi를 텍스쳐 영상에 포함되는 화소(이하, '텍스쳐 화소'라 칭하기로 한다)로 구분할 수 있다. 도 2a는 입력 영상을 예시한 도면이고, 도 2b는 도 2a에 예시된 입력 영상에서 전술한 방법에 따라 텍스쳐 영상을 검출한 결과 즉, 텍스쳐 영상을 도시한 도면이다. 도 2b에 도시된 텍스쳐 영상을 살펴보면, 도 2a에 도시된 입력 영상에서 사람의 머리카락 부분과 같은 질감 영역이 검출된 것을 확인할 수 있다.
제1 중간 영상 생성부(120)는 비텍스쳐 영상을 대상으로 에지 방향성 기반의 보간 기술을 적용하여, 제1 중간 영상을 생성할 수 있다. 상기 제1 중간 영상 생성부(120)에 대한 보다 상세한 설명은 도 3 내지 도 9를 참조하여 후술하기로 한다.
제2 중간 영상 생성부(130)는 텍스쳐 영상을 대상으로 잔여 오류 추정 기반의 보간 기술을 적용하여 제2 중간 영상을 생성할 수 있다. 상기 제2 중간 영상 생성부(130)에 대한 보다 상세한 설명은 도 10 및 도 11을 참조하여 후술하기로 한다.
최종 영상 생성부(140)는 제1 중간 영상 생성부(120)에 의해 생성된 제1 중간 영상과, 제2 중간 영상 생성부(130)에 의해 생성된 제2 중간 영상을 합성하여, 입력 영상에 비하여 해상도가 향상된 최종 영상을 생성할 수 있다.
다음으로, 도 3 내지 도 9를 참조하여 도 1의 제1 중간 영상 생성부(120)에 대하여 설명하기로 한다.
먼저, 도 3은 도 1의 제1 중간 영상 생성부(120)의 구성을 상세히 도시한 도면이다. 도시된 바와 같이, 제1 중간 영상 생성부(120)는, 에지 검출부(121), 에지 세선화부(122), 에지 정보 추정부(123), 제1 보간부(124), 및 제1 합성부(125)를 포함할 수 있다.
에지 검출부(121)는, 비텍스쳐 영상에서 에지 화소를 검출할 수 있다. 이를 위해 에지 검출부(121)는 소벨 에지 연산자를 사용할 수 있다. 여기서, 에지 화소를 검출하는 방법에 대하여 보다 구체적으로 설명하기로 한다. 소벨 연산자를 사용하면, 도 4에 도시된 바와 같이, 소정 화소의 수평 방향 에지 경사 성분(∇Yx) 및 수직 방향 에지 경사 성분(∇Yy)을 구할 수 있다. 이와 같이, 상기 화소의 수평 방향 에지 경사 성분(∇Yx), 및 수직 방향 에지 경사 성분(∇Yy)이 산출되면, 에지 검출부(121)는 수평 방향 에지 경사 성분 및 수직 방향 에지 경사 성분을 이용하여, 해당 화소의 에지 경사 세기(edge gradient magnitude)를 구할 수 있다. 여기서, 에지 경사 세기(|∇Y|)는, 에지 화소의 기울기 정도를 의미하는 것으로서, [수학식 1]에 의해 산출될 수 있다.
[수학식 1]에 의해 상기 화소의 에지 경사 세기가 산출되면, 에지 검출부(121)는, 산출된 값이 사전 지정된 임계값을 초과하는 경우, 상기 화소를 에지 화소로 검출할 수 있다. 전술한 방법에 의하면, 비교적 두꺼운 에지가 검출될 수 있는데, 입력 영상의 해상도 변환 시, 고배율 영상에서 에지의 정확한 위치를 추정하기 위해서는 검출된 에지 화소 중에서, 에지 위치 추정에 중요한 역할을 하는 에지 화소(이하, '최종 에지 화소'라 칭하기로 한다)를 검출할 필요가 있다. 이를 '에지 세선화'라고 하며, 에지 세선화 작업은 후술될 에지 세선화부(122)에 의해 수행될 수 있다.
다시 도 3을 참조하면, 에지 세선화부(122)는 에지 검출부(121)에 의해 검출된 에지를 세선화할 수 있다. 즉, 에지 세선화부(122)는 에지 검출부(121)에 의해 검출된 에지 화소 중에서 최종 에지 화소를 검출할 수 있다. 최종 에지 화소를 검출하기 위해 에지 세선화부(122)는 우선, 에지 화소의 방향(gradient direction) 성분을 구할 수 있다. 에지 화소의 방향 성분(θ)은 [수학식 2]와 같이, 에지 화소의 수평 방향 에지 성분(∇Yx) 및 수직 방향 에지 성분(∇Yy)을 이용하여 구할 수 있다.
[수학식 2]를 통해 에지 화소의 방향 성분(θ)을 구한 결과, θ의 절대값이 π/8 이하인 경우, 상기 에지 화소는 수평 방향에 속하는 에지 화소로 구분될 수 있다. 그리고, θ의 값이 π/8 보다 크고, 3π/8 이하인 경우, 상기 에지 화소는 대각선 방향(diagonal direction)에 속하는 에지 화소로 구분될 수 있다. 그리고, θ의 절대값이 3π/8 보다 크고, π/2 이하인 경우, 상기 에지 화소는 수직 방향에 속하는 에지 화소로 구분될 수 있다. 만약, θ의 값이 -3π/8 이상이고, -π/8 미만인 경우, 상기 에지 화소는 비대각 방향(non-diagonal direction)에 속하는 에지 화소로 구분될 수 있다.
에지 화소의 방향 성분이 산출되면, 에지 세선화부(122)는 상기 에지 화소의 방향에 존재하는 복수개의 화소에 대하여 에지 경사 세기(edge gradient magnitude)를 비교할 수 있다. 예를 들면, 에지 세선화부(122)는 도 5와 같이, 에지 화소 및, 상기 에지 화소의 방향에 존재하는 화소 중 상기 에지 화소를 중심으로 양쪽에 존재하는 두 개의 화소에 대하여 각각 에지 경사 세기를 비교할 수 있다. 비교 결과, 중심 화소인 에지 화소와, 나머지 두 개의 화소 중에서 상기 에지 화소의 에지 경사 세기가 가장 큰 경우, 에지 세선화부(122)는 상기 에지 화소를 최종 에지 화소로 결정할 수 있다.
에지 정보 추정부(123)는, 해상도가 변환된 영상에서 최종 에지 화소의 방향 정보 및 위치 정보를 추정할 수 있다. 여기서, 도 6 내지 도 8을 참조하여, 최종 에지 화소의 위치 정보 및 방향 정보를 추정하는 방법에 대하여 보다 상세히 설명하기로 한다.
도 6은 입력 영상의 해상도 증가로 인하여, 최종 에지 화소의 위치가 (x, y)에서 (x', y')으로 변하는 경우를 도시한 도면이다. 입력 영상의 해상도를 변환하는 경우, 해상도 변환 전과 후에, 최종 에지 화소의 방향 성분(θ)은 동일하게 유지되지만, 최종 에지 화소의 위치 정보는 (x, y)에서 (x', y')으로 변하게 된다. 이 때, 최종 에지 화소의 변환된 위치 정보 (x', y') 중 x축 방향의 값 x'은 [수학식 3]과 같이, 최종 에지의 휘도, 및 최종 에지 화소를 중심으로 수평 방향에 위치한 화소의 휘도에 근거하여 산출될 수 있다.
[수학식 3]에서 f'은 x'에서의 휘도로서, 도 7과 같이, 최종 에지 화소를 중심으로 양쪽 수평 방향에 존재하는 화소들의 휘도 평균으로 결정될 수 있다. 즉, (x-1, y)의 휘도와 (x+1, y)의 휘도의 평균으로 결정될 수 있다.
이와 마찬가지로, 최종 에지 화소의 변환된 위치 정보 (x', y') 중 y축 방향의 값 y'은 최종 에지 화소의 휘도, 및 최종 에지 화소를 중심으로 양쪽 수직 방향에 존재하는 화소들의 휘소에 근거하여 산출될 수 있다.
[수학식 3]을 통해 추정된 최종 에지 화소의 위치 정보는 [수학식 4]와 같이 모델링될 수 있다. [수학식 4]에서 a=-tanθ로서, [수학식 2]에 의해 산출된 θ값을 이용하여 구할 수 있다.
한편, 본 발명의 실시예에 따른 해상도 변환은 입력 영상을 구성하는 화소 중 2×2 화소군을 기반으로 수행될 수 있다. 따라서, 2×2 화소군에서 최종 에지 화소가 복수개라면, 각 최종 에지 화소에 대하여 추정된 에지 위치 정보의 평균을 최종적인 에지 위치 정보로서 사용할 수 있다. 예를 들면, 도 8은 입력 영상을 구성하는 2×2 화소군 (x1, y1), (x2, y2), (x3, y3), 및 (x4, y4) 중에서 (x1, y1), (x2, y2), 및 (x3, y3)이 최종 에지 화소인 경우를 예시하고 있다. 도 8의 경우, 최종적인 에지 위치 정보인 은 최종 에지 화소인 (x1, y1), (x2, y2), 및 (x3, y3) 각각에 대하여 추정된 에지 위치 정보인 (x1', y1'), (x2', y2'), 및 (x3', y3')의 평균으로부터 산출될 수 있다. 최종적인 에지 위치 정보를 산출하는 것과 마찬가지로, 최종적인 에지 방향 정보는 각 최종 에지 화소의 방향 성분의 평균으로부터 산출될 수 있다. 이와 같이, 입력 영상을 구성하는 2×2 화소군에서 최종 에지 화소가 n개인 경우, 최종적인 에지 위치 정보인 , 및 최종적인 에지 방향 정보인 을 산출하기 위한 수식은 [수학식 5]와 같이 나타낼 수 있다. 도 8의 경우, n=3이다.
[수학식 5]을 통해 최종적으로 추정된 에지 방향 정보 및 에지 위치 정보는 [수학식 6]과 같이 모델링될 수 있다.
다시 도 3을 참조하면, 제1 보간부(124)는 입력 영상에 대하여 에지 방향성 보간 및 선형 보간을 각각 수행할 수 있다. 이를 위해 제1 보간부(124)는 제1 서브 보간부(124-1)와 제2 서브 보간부(124-2)를 포함할 수 있다.
제1 서브 보간부(124-1)는 입력 영상에서 2×2 화소군을 단위로, 에지 방향성 보간을 수행할 수 있다. 이 때, 제1 서브 보간부(124-1)는, 2×2 화소군의 위치와 보간될 화소의 위치 관계에 따라 보간을 수행하는 것이 바람직하다.
에지 방향성 보간을 수행하기 위해 제1 서브 보간부(124-1)는 우선, 도 9와 같이, 에지 정보 추정부(123)에 의해 최종적으로 추정된 에지 방향을 기준으로 입력 영상을 두 개의 영역(즉, y≥ax+b인 제1 영역과, y<ax+b인 제2 영역)으로 나눌 수 있다. 그 후, 제1 서브 보간부(124-1)는 2×2 화소군에서 각 화소의 위치가 제1, 제2 영역 중 어느 영역에 속하는지에 따라서, 각 화소에 적용될 표시 함수(indicator function)를 결정할 수 있다. 여기서, 표시 함수(indicator function)란, 2×2 화소군의 위치와 보간될 화소의 위치 간의 상관 관계를 나타내는 함수로서, 0 또는 1의 값을 가질 수 있다. [수학식 7]은 위치가 (xi, yi)인 화소에 적용되는 표시 함수 IA(xi, yi)를 나타낸 것이다.
[수학식 7]에서 A는 제1, 제2 영역 중에서 보간될 화소가 속하는 영역을 의미하는 것으로, 도 9의 경우, A={(x, y): y≥ax+b}가 된다. 따라서, 2×2 화소군 중에서 제1 영역에 위치한 화소는 표시 함수의 값으로 1을 가지며, 제2 영역에 위치한 화소는 표시 함수의 값으로 0을 가질 수 있다. 다시 말해, (x2, y2), (x3, y3)에 위치한 화소는 표시 함수 값이 1이 되며, (x1, y1), (x4, y4)에 위치한 화소는 표시 함수 값이 0이 된다.
이와 같이, 2×2 화소군에 대하여 표시 함수가 결정되면, 제1 서브 보간부(124-1)는 [수학식 8]을 이용하여, 보간을 수행하여, 에 위치한 화소의 휘도 정보 를 얻을 수 있다.
[수학식 8]에서 w는 정규화 가중치(normalization weight factor)를 나타내는 것으로서, [수학식 9]에 의해 산출될 수 있다.
전술한 바와 같이 에지 방향성 보간을 수행한 결과는 후술될 제1 합성부(125)로 제공될 수 있다.
다시 도 3을 참조하면, 제2 서브 보간부(124-2)는 입력 영상에 대하여 선형 보간 예를 들면, 이중 선형 보간(Bilinear interpolation)을 수행할 수 있다. 구체적으로, 도 9의 경우, 제2 서브 보간부(124-2)는 2×2 화소군의 휘도 평균을 구함으로써, 에 위치한 화소의 휘도 정보 를 얻을 수 있다. 상기와 같이 이중 선형 보간을 수행한 결과는 후술될 제1 합성부(125)로 제공될 수 있다.
제1 합성부(125)는 제1 서브 보간부(124-1)에 의해 수행된 에지 방향성 보간 결과와, 제2 서브 보간부(124-2)에 의해 수행된 이중 선형 보간 결과를 조합하여, 제1 중간 영상을 생성할 수 있다. 에지 방향성 보간 결과와 이중 선형 보간 결과를 조합하기 위해 제1 합성부(125)는 [수학식 10]과 같은 가중치 합(weighted sum)을 이용할 수 있다.
[수학식 10]에서 fe(x, y)는 에지 방향성 보간 결과를 의미하며, fb(x, y)는 이중 선형 보간 결과를 의미한다. 그리고, 은 입력 영상에서 2×2 화소군의 평균 에지 경사 세기로서, [수학식 11]로부터 산출될 수 있다.
[수학식 11]에 나타낸 바와 같이, 은 입력 영상에서 2×2 화소군의 평균 에지 경사 세기이므로, 입력 영상의 2×2 화소군에서 에지 화소의 개수가 많을수록 가 증가하게 됨을 알 수 있으며, [수학식 10]을 참조하면, 가 증가할수록 이중 선형 보간 결과에 비하여, 에지 방향성 보간 결과에 상대적으로 높은 가중치가 적용됨을 알 수 있다. [수학식 10]과 같이 가중치 합을 이용하여, 에지 방향성 보간 결과와 이중 선형 보간 결과를 조합하면, 에지 방향 보간만을 수행하는 경우에 비하여, 평탄한(smooth) 영역에서 윤곽 열화(contour artifact)가 발생하는 현상을 감소시킬 수 있다.
다음으로, 도 10 및 도 11을 참조하여, 도 1의 제2 중간 영상 생성부(130)에 대해서 설명하기로 한다.
먼저, 도 10은 도 1의 제2 중간 영상 생성부(130)의 구성을 보다 상세히 도시한 도면이다. 도시된 바와 같이, 제2 중간 영상 생성부(130)는 제2 보간부(131), 필터부(132), 차분부(133), 오류 신호 추정부(134), 및 제2 합성부(135)를 포함할 수 있다.
제2 보간부(131)는 입력된 텍스쳐 영상에 대하여 선형 보간 예를 들면, 이중 선형 보간(bilinear interpolation)을 수행하여, 상기 입력 영상에 비하여 해상도가 향상된 1차 출력 영상을 생성할 수 있다. 상기 1차 출력 영상은 후술될 필터부(132)로 제공될 수 있다.
필터부(132)는 입력된 1차 출력 영상을 다운 샘플링하여, 입력 영상과 동일한 해상도를 갖는 2차 출력 영상을 생성할 수 있다. 상기 2차 출력 영상에서 텍스쳐의 세밀한 부분을 강조하기 위해 필터부(132)는 [수학식 12]와 같은 직사각형의 저역 통과 필터(rectangle LPF)로 구현될 수 있다. [수학식 12]에서 S는 입력 영상의 해상도 변환율 예를 들면, 해상도 향상 배율을 나타낸다.
차분부(133)는 입력된 텍스쳐 영상과, 필터부(132)로부터 제공받은 2차 출력 영상과의 차분을 통해 저해상도에서의 잔여 오류 신호인 제1 오류 신호 eg를 출력할 수 있다.
오류 신호 추정부(134)는 제1 오류 신호 eg로부터, 해상도가 증가되었을 때의 잔여 오류 신호 즉, 제2 오류 신호 ef를 추정할 수 있다. 여기서, 상기 제1 오류 신호 및 제2 오류 신호는 연산의 효율을 위해 국부 윈도우(local window)를 기반으로 구성되는 것이 바람직하다. 구체적으로, 해상도 향상 배율일 S(예를 들어, S=5)일 때, eg를 W×W(예를 들어, W=5) 크기의 제1 오류 신호(도 11에서 해칭된 화소)라 하고, ef를 S×S 크기의 제2 오류 신호(도 11에서 해칭되지 않은 화소)라고 한다면, 제2 오류 신호 ef는 [수학식 13]에 의해 추정될 수 있다.
[수학식 13]에서 G는 S2×W2 크기의 변환 매트릭스(transformation matrix)를 나타내며, v는 S2×1 크기의 노이즈 성분을 나타낸다. 상기 G와 v는 사전 훈련 과정(training precess)을 거쳐 구해질 수 있다. 구체적으로는, 최소평균제곱오차(MMSE: Minimum Mean Square Error)를 최적화하는 과정을 통해 [수학식 14]와 같이 구해질 수 있다.
제2 합성부(135)는 제2 보간부(131)에서 제공된 1차 출력 영상에, 오류 신호 추정부(134)에서 제공받은 제2 오류 신호를 더하여, 제2 중간 영상을 생성할 수 있다. 상기 제2 중간 영상은 해상도 향상 장치(100)의 최종 영상 생성부(140)로 제공될 수 있다.
도 12는 본 발명의 실시예에 따른 해상도 향상 방법을 도시한 도면이다.
본 발명의 실시예에 따른 해상도 향상 방법은, 입력 영상에서 텍스쳐 영상을 검출하는 단계(21), 상기 텍스쳐 영상을 제외한 비텍스쳐 영상에 에지 방향성 기반 보간을 수행하여 제1 중간 영상을 생성하는 단계(22), 상기 텍스쳐 영상에 잔여 오류 추정 기반 보간을 수행하여 제2 중간 영상을 생성하는 단계(23), 및 상기 제1 중간 영상 및 상기 제2 중간 영상을 합성하여 최종 영상을 생성하는 단계(24)를 포함할 수 있다.
여기서, 상기 텍스쳐 영상의 검출은, 사전 지정된 윈도우 마스크 내에서 중심 화소와 제1 임계치 이하의 휘도차를 갖는 주변 화소의 개수가 제2 임계치 이상인 경우, 상기 중심 화소를 텍스쳐 화소로 결정함으로써 수행될 수 있다.
그리고, 상기 제1 중간 영상을 생성하는 단계(22)는, 비텍스쳐 영상에서 에지를 검출하는 단계, 검출된 에지를 세선화하는 단계, 해상도가 향상된 영상에서의 에지 방향 정보 및 위치 정보를 에지 세선화를 통해 선정된 최종 에지 화소의 정보(예를 들면, 최종 에지 화소의 방향 정보, 최종 에지 화소의 휘도 및 최종 에지 화소의 주변 화소의 휘도)에 근거하여 추정하는 단계, 입력 영상의 2×2 화소군에 적용될 표시 함수를 상기 추정된 에지의 방향 정보에 따라 결정하여 보간을 수행하는 단계를 포함할 수 있다.
그리고, 상기 제2 중간 영상을 생성하는 단계는(23), 텍스쳐 영상에 선형 보간을 수행하여 해상도가 향상된 제1 출력 영상을 생성하는 단계, 상기 제1 출력 영상을 다운 샘플링하여 상기 텍스쳐 영상과 동일한 해상도를 갖는 제2 출력 영상을 생성하는 단계, 상기 제2 출력 영상과 상기 텍스쳐 영상의 차분으로부터 저해상도에서의 잔여 오류 신호인 제1 오류 신호를 산출하는 단계, 상기 제1 오류 신호로부터 해상도가 향상된 경우의 오류 신호인 제2 오류 신호를 추정하는 단계, 상기 추정된 제2 오류 신호를 상기 제1 출력 영상에 더하여 제2 중간 영상을 생성하는 단계를 포함할 수 있다.
다음으로, 도 13은 본 발명의 다른 실시예에 따른 장치를 도시한 도면이다. 도시된 장치는, 영상을 저장하는 저장부(150)와, 도 12에서 설명한 해상도 향상 방법에 근거하여 상기 영상으로부터 최종 영상을 생성하는 처리부(152)와, 상기 최종 영상을 디스플레이하는 디스플레이부(154)를 포함할 수 있다.
이상과 같이 예시된 도면을 참조로 하여, 본 발명에 따른 해상도 향상 장치 및 방법에 대하여 설명하였으나, 본 발명은 본 명세서에 개시된 실시예와 도면에 의해 한정되지 않으며, 그 발명의 기술사상 범위 내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.

Claims (32)

  1. 입력 영상에서 텍스쳐 영상을 검출하는 텍스쳐 영상 검출부; 및
    상기 텍스쳐 영상을 제외한 비텍스쳐 영상과 상기 텍스쳐 영상에 서로 다른 보간 기술을 적용한 결과인 제1 중간 영상과 제2 중간 영상을 합성하여, 최종 영상을 생성하는 최종 영상 생성부를 포함하며,
    상기 보간 기술은 에지 방향성 기반 보간 기법 및 잔여 오류 추정 기반 보간 기법 중 적어도 하나를 포함하는 해상도 향상 장치.
  2. 제 1항에 있어서,
    상기 텍스쳐 영상 검출부는,
    M×N 크기의 윈도우 마스크 내에서, 중심 화소와 제1 임계치 이하의 휘도차를 갖는 화소의 개수가 제2 임계치 이상인 경우, 상기 중심 화소를 상기 텍스쳐 영상에 속하는 텍스쳐 화소로 결정하는 해상도 향상 장치.
  3. 제 1항에 있어서,
    상기 비텍스쳐 영상에 상기 에지 방향성 기반 보간 기법을 적용하여 상기 제1 중간 영상을 생성하는 제1 중간 영상 생성부; 및
    상기 텍스쳐 영상에 상기 잔여 오류 추정 기반 보간 기법을 적용하여 상기 제2 중간 영상을 생성하는 제2 중간 영상 생성부를 더 포함하는 해상도 향상 장치.
  4. 제 3항에 있어서,
    상기 제1 중간 영상 생성부는,
    상기 비텍스쳐 영상에서 에지를 검출하는 에지 검출부;
    상기 검출된 에지를 세선화하는 에지 세선화부;
    상기 에지 세선화부에 의해 선택된 최종 에지 화소의 정보에 근거하여, 해상도가 향상된 비텍스쳐 영상에서의 에지 방향 정보 및 에지 위치 정보를 추정하는 에지 정보 추정부; 및
    상기 비텍스쳐 영상의 2×2개의 화소군에 적용될 표시 함수(indicator function)를, 상기 추정된 에지 방향 정보에 따라 결정하여 보간을 수행하는 제1 보간부를 포함하는 해상도 향상 장치.
  5. 제 4항에 있어서,
    상기 에지 검출부는,
    상기 비텍스쳐 영상에 포함되는 화소 중 임계치 보다 큰 에지 경사 세기(edge gradient magnitude)를 갖는 화소를 에지 화소로 검출하는 해상도 향상 장치.
  6. 제 5항에 있어서,
    상기 에지 세선화부는,
    상기 에지 화소의 에지 경사 세기가 주변 화소의 경사 세기 보다 큰 경우, 상기 에지 화소를 상기 최종 에지 화소로 결정하는 해상도 향상 장치.
  7. 제 6항에 있어서,
    상기 주변 화소는, 상기 에지 화소의 에지 방향에 위치한 화소 중 상기 에지 화소를 기준으로 양쪽에 존재하는 해상도 향상 장치.
  8. 제 4항에 있어서,
    상기 에지 정보 추정부는,
    상기 최종 에지 화소를 중심으로 수평 방향에 존재하는 화소의 휘도 평균, 및 상기 최종 에지 화소를 중심으로 수직 방향에 존재하는 화소의 휘도 평균으로부터 산출된 위치를 상기 해상도가 향상된 비텍스쳐 영상에서의 에지 위치 정보로 추정하는 해상도 향상 장치.
  9. 제 4항에 있어서,
    상기 에지 정보 추정부는,
    상기 2×2개의 화소군 중 상기 최종 에지 화소가 복수개인 경우, 상기 각 최종 에지 화소에 대하여 추정된 위치의 평균을 상기 해상도가 향상된 비텍스쳐 영상에서의 에지 위치 정보로 추정하고, 상기 각 최종 에지 화소의 방향 성분의 평균을 상기 해상도가 향상된 비텍스쳐 영상에서의 에지 방향 정보로 추정하는 해상도 향상 장치.
  10. 제 4항에 있어서,
    상기 표시 함수(indicator function)는,
    상기 2×2개의 화소군의 위치와 보간될 화소의 위치 간의 상관 관계를 나타내는 위치 해상도 향상 장치.
  11. 제 10항에 있어서,
    상기 제1 보간부는
    상기 추정된 에지 방향 정보를 기준으로 상기 비텍스쳐 영상을 제1 및 제2 영역으로 구분하였을 때, 상기 화소군이 상기 보간될 화소와 동일한 영역에 속하는 경우, 상기 표시 함수의 값을 "1"로 설정하여 상기 화소군에 적용하고, 상기 화소군이 상기 보간될 화소와 동일한 영역에 속하지 않는 경우, 상기 표시 함수의 값을 "0"으로 설정하여 상기 화소군에 적용하는 해상도 향상 장치.
  12. 제 4항에 있어서,
    상기 제1 중간 영상 생성부는,
    상기 제1 보간부에 의해 보간된 제1 결과와, 상기 2×2개의 화소군을 단위로 선형 보간된 제2 결과의 가중치 합(weighted sum)으로부터 상기 제1 중간 영상을 생성하는 제1 합성부를 더 포함하는 해상도 향상 장치.
  13. 제 3항에 있어서,
    상기 제2 중간 영상 생성부는,
    상기 텍스쳐 영상에 선형 보간을 수행하여 얻은 1차 출력 영상을 다운샘플링하여 상기 입력 영상과 동일한 해상도를 갖는 2차 출력 영상을 출력하는 필터부;
    상기 텍스쳐 영상과 상기 2차 출력 영상 간의 차분을 통해 상기 입력 영상과 동일한 해상도에서의 오류 신호인 제1 오류 신호를 출력하는 차분부;
    상기 제1 오류 신호에 기저장된 마스크를 적용한 후, 노이즈 성분을 더하여 상기 1차 출력 영상과 동일한 해상도에서의 오류 신호인 제2 오류 신호를 추정하는 오류 신호 추정부; 및
    상기 1차 출력 영상에 상기 제2 오류 신호를 더하여 상기 제2 중간 영상을 생성하는 제2 합성부를 포함하는 해상도 향상 장치.
  14. 제 13항에 있어서,
    상기 제1 오류 신호의 크기가 W×W이고, 상기 제2 오류 신호의 크기가 S×S인 경우, 상기 마스크는 S2×W2 크기를 가지며, 상기 노이즈 성분은 S2×1 크기를 가지는데,
    상기 W 및 상기 S는 실수인, 해상도 향상 장치.
  15. 제 2항에 있어서,
    상기 M은 상기 N과 동일한 해상도 향상 장치.
  16. 입력 영상에서 텍스쳐 영상을 검출하는 단계; 및
    상기 텍스쳐 영상을 제외한 비텍스쳐 영상과 상기 텍스쳐 영상에 서로 다른 보간 기술을 적용한 결과인 제1 중간 영상과 제2 중간 영상을 합성하여, 최종 영상을 생성하는 단계를 포함하며,
    상기 보간 기술은 에지 방향성 기반 보간 기법 및 잔여 오류 추정 기반 보간 기법 중 적어도 하나를 포함하는 해상도 향상 방법.
  17. 제 16항에 있어서,
    상기 텍스쳐 영상을 검출하는 단계는,
    M×N 크기의 윈도우 마스크 내에서, 중심 화소와 제1 임계치 이하의 휘도차를 갖는 화소의 개수가 제2 임계치 이상인 경우, 상기 중심 화소를 상기 텍스쳐 영상에 속하는 텍스쳐 화소로 결정하는 단계를 포함하는 해상도 향상 방법.
  18. 제 16항에 있어서,
    상기 비텍스쳐 영상에 상기 에지 방향성 기반 보간 기법을 적용하여 상기 제1 중간 영상을 생성하는 단계; 및
    상기 텍스쳐 영상에 상기 잔여 오류 추정 기반 보간 기법을 적용하여 상기 제2 중간 영상을 생성하는 단계를 더 포함하는 해상도 향상 방법.
  19. 제 18항에 있어서,
    상기 제1 중간 영상을 생성하는 단계는,
    상기 비텍스쳐 영상에서 에지를 검출하는 단계;
    상기 검출된 에지를 세선화하는 단계;
    상기 에지 세선화에 의해 선택된 최종 에지 화소의 정보에 근거하여, 해상도가 향상된 비텍스쳐 영상에서의 에지 방향 정보 및 에지 위치 정보를 추정하는 단계; 및
    상기 비텍스쳐 영상의 2×2개의 화소군에 적용될 표시 함수(indicator function)를, 상기 추정된 에지 방향 정보에 따라 결정하여 보간을 수행하는 단계를 포함하는 해상도 향상 방법.
  20. 제 19항에 있어서,
    상기 비텍스쳐 영상에서 에지를 검출하는 단계는,
    상기 비텍스쳐 영상에 포함되는 화소 중 임계치 보다 큰 에지 경사 세기(edge gradient magnitude)를 갖는 화소를 에지 화소로 검출하는 단계를 포함하는 해상도 향상 방법.
  21. 제 20항에 있어서,
    상기 검출된 에지를 세선화하는 단계는,
    상기 에지 화소의 에지 경사 세기가 주변 화소의 경사 세기 보다 큰 경우, 상기 에지 화소를 상기 최종 에지 화소로 결정하는 단계를 포함하는 해상도 향상 방법.
  22. 제 21항에 있어서,
    상기 주변 화소는, 상기 에지 화소의 에지 방향에 위치한 화소 중 상기 에지 화소를 기준으로 양쪽에 존재하는 해상도 향상 방법.
  23. 제 19항에 있어서,
    상기 에지 방향 정보 및 에지 위치 정보를 추정하는 단계는,
    상기 최종 에지 화소를 중심으로 수평 방향에 존재하는 화소의 휘도 평균, 및 상기 최종 에지 화소를 중심으로 수직 방향에 존재하는 화소의 휘도 평균으로부터 산출된 위치를 상기 해상도가 향상된 비텍스쳐 영상에서의 에지 위치 정보로 추정하는 단계를 포함하는 해상도 향상 방법.
  24. 제 19항에 있어서,
    상기 에지 방향 정보 및 에지 위치 정보를 추정하는 단계는,
    상기 2×2개의 화소군 중 상기 최종 에지 화소가 복수개인 경우, 상기 각 최종 에지 화소에 대하여 추정된 위치의 평균을 상기 해상도가 향상된 비텍스쳐 영상에서의 에지 위치 정보로 추정하는 단계; 및
    상기 각 최종 에지 화소의 방향 성분의 평균을 상기 해상도가 향상된 비텍스쳐 영상에서의 에지 방향 정보로 추정하는 단계를 포함하는 해상도 향상 방법.
  25. 제 19항에 있어서,
    상기 표시 함수(indicator function)는,
    상기 2×2개의 화소군의 위치와 보간될 화소의 위치 간의 상관 관계를 나타내는 위치 해상도 향상 방법.
  26. 제 25항에 있어서,
    상기 표시 함수를 결정하여 보간을 수행하는 단계는,
    상기 추정된 에지 방향 정보를 기준으로 상기 비텍스쳐 영상을 제1 및 제2 영역으로 구분하는 단계;
    상기 화소군이 상기 보간될 화소와 동일한 영역에 속하는 경우, 상기 표시 함수의 값을 1로 설정하여 상기 화소군에 적용하는 단계; 및
    상기 화소군이 상기 보간될 화소와 동일한 영역에 속하지 않는 경우, 상기 표시 함수의 값을 0으로 설정하여 상기 화소군에 적용하는 단계를 포함하는 해상도 향상 방법.
  27. 제 19항에 있어서,
    상기 제1 중간 영상을 생성하는 단계는,
    상기 결정된 표시 함수에 근거하여 보간된 제1 결과와, 상기 2×2개의 화소군을 단위로 선형 보간된 제2 결과의 가중치 합(weighted sum)으로부터 상기 제1 중간 영상을 생성하는 단계를 더 포함하는 해상도 향상 방법.
  28. 제 18항에 있어서,
    상기 제2 중간 영상을 생성하는 단계는,
    상기 텍스쳐 영상에 선형 보간을 수행하여 얻은 1차 출력 영상을 다운샘플링하여 상기 입력 영상과 동일한 해상도를 갖는 2차 출력 영상을 생성하는 단계;
    상기 텍스쳐 영상과 상기 2차 출력 영상 간의 차분을 통해 상기 입력 영상과 동일한 해상도에서의 오류 신호인 제1 오류 신호를 산출하는 단계;
    상기 제1 오류 신호에 기저장된 마스크를 적용한 후, 노이즈 성분을 더하여 상기 1차 출력 영상과 동일한 해상도에서의 오류 신호인 제2 오류 신호를 추정하는 단계; 및
    상기 1차 출력 영상에 상기 제2 오류 신호를 더하여 상기 제2 중간 영상을 생성하는 단계를 포함하는 해상도 향상 방법.
  29. 제 28항에 있어서,
    상기 제1 오류 신호의 크기가 W×W이고, 상기 제2 오류 신호의 크기가 S×S인 경우, 상기 마스크는 S2×W2 크기를 가지며, 상기 노이즈 성분은 S2×1 크기를 가지는데,
    상기 W 및 상기 S는 실수인, 해상도 향상 방법.
  30. 제 17항에 있어서,
    상기 M은 상기 N과 동일한 해상도 향상 방법.
  31. 영상 데이터의 텍스쳐 영역을 검출하는 단계; 및
    제1 보간 기술에 의해 생성된 복수개의 픽셀을 갖는 상기 텍스쳐 영역 및 상기 제1 보간 기술과 다른 제2 보간 기술에 의해 생성된 복수개의 픽셀을 갖는 비텍스쳐 영역을 포함하는 영상을 생성하는 단계를 포함하며,
    상기 제1 보간 기술은 잔여 오류 추정 기반 보간 기법을 포함하고, 상기 제2 보간 기술은 에지 방향성 기반 보간 기법을 포함하는 해상도 향상 방법.
  32. 영상 데이터의 텍스쳐 영역을 검출하고, 제1 보간 기술에 의해 생성된 상기 텍스쳐 영역 및 제2 보간 기술에 의해 생성된 비텍스쳐 영역을 갖는 영상을 생성하는 처리부; 및
    상기 영상을 디스플레이하는 디스플레이부를 포함하며,
    상기 제1 보간 기술은 잔여 오류 추정 기반 보간 기법을 포함하고, 상기 제2 보간 기술은 에지 방향성 기반 보간 기법을 포함하는 해상도 향상 장치.
KR1020070079081A 2007-07-20 2007-08-07 해상도 향상 장치 및 방법 KR100860968B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/878,147 2007-07-20
US11/878,147 US8233748B2 (en) 2007-07-20 2007-07-20 Image-resolution-improvement apparatus and method

Publications (1)

Publication Number Publication Date
KR100860968B1 true KR100860968B1 (ko) 2008-09-30

Family

ID=40023910

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070079081A KR100860968B1 (ko) 2007-07-20 2007-08-07 해상도 향상 장치 및 방법

Country Status (2)

Country Link
US (1) US8233748B2 (ko)
KR (1) KR100860968B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110045650A (ko) * 2009-10-27 2011-05-04 삼성전자주식회사 깊이 영상 확대 장치 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8351725B2 (en) * 2008-09-23 2013-01-08 Sharp Laboratories Of America, Inc. Image sharpening technique
KR101557100B1 (ko) * 2009-02-13 2015-10-02 삼성전자주식회사 선명도 향상부를 포함하는 영상 처리 장치
CN103098459B (zh) * 2010-09-22 2016-11-09 富士胶片株式会社 立体摄像装置及阴影校正方法
CN104346778B (zh) * 2013-07-30 2017-08-22 比亚迪股份有限公司 图像的边缘增强方法和装置以及数码摄像设备
US10783844B2 (en) * 2016-04-27 2020-09-22 Sakai Display Products Corporation Display device and method for controlling display device
CN107644398B (zh) * 2017-09-25 2021-01-26 上海兆芯集成电路有限公司 图像插补方法及其相关图像插补装置
US10659657B2 (en) * 2018-09-12 2020-05-19 Kyocera Document Solutions Inc. Texture printing system
CN112215761A (zh) * 2019-07-12 2021-01-12 华为技术有限公司 图像处理方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010027936A (ko) * 1999-09-16 2001-04-06 박종섭 텍스쳐 영상 검색 장치 및 그 방법
KR20060019994A (ko) * 2004-08-30 2006-03-06 학교법인 중앙대학교 실시간 중간 시점 영상 보간 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5191416A (en) * 1991-01-04 1993-03-02 The Post Group Inc. Video signal processing system
TW321748B (ko) * 1994-02-23 1997-12-01 Rca Thomson Licensing Corp
JP3167120B2 (ja) * 1999-05-25 2001-05-21 キヤノン株式会社 画像処理装置及び方法
KR20040054758A (ko) * 2001-11-01 2004-06-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 이미지들의 향상된 공간 해상도
US7085323B2 (en) 2002-04-03 2006-08-01 Stmicroelectronics, Inc. Enhanced resolution video construction method and apparatus
US6927804B2 (en) * 2002-09-09 2005-08-09 Eastman Kodak Company Reducing color aliasing artifacts from color digital images
JP2004152148A (ja) 2002-10-31 2004-05-27 Fuji Photo Film Co Ltd 動画像合成方法および装置並びにプログラム
TWI292138B (en) * 2004-03-11 2008-01-01 Mstar Semiconductor Inc Device for adaptively adjusting video's luminance and related method
CN101685536B (zh) * 2004-06-09 2011-11-30 松下电器产业株式会社 图象处理方法
KR20060027936A (ko) 2004-09-24 2006-03-29 경원기계공업(주) 과열감지기능을 가지는 스크롤압축기
US8260087B2 (en) * 2007-01-22 2012-09-04 Sharp Laboratories Of America, Inc. Image upsampling technique

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010027936A (ko) * 1999-09-16 2001-04-06 박종섭 텍스쳐 영상 검색 장치 및 그 방법
KR20060019994A (ko) * 2004-08-30 2006-03-06 학교법인 중앙대학교 실시간 중간 시점 영상 보간 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110045650A (ko) * 2009-10-27 2011-05-04 삼성전자주식회사 깊이 영상 확대 장치 및 방법
KR101629454B1 (ko) * 2009-10-27 2016-06-10 삼성전자주식회사 깊이 영상 확대 장치 및 방법

Also Published As

Publication number Publication date
US8233748B2 (en) 2012-07-31
US20090022402A1 (en) 2009-01-22

Similar Documents

Publication Publication Date Title
KR100860968B1 (ko) 해상도 향상 장치 및 방법
US9202258B2 (en) Video retargeting using content-dependent scaling vectors
US6943807B2 (en) Image processing apparatus and method, recording medium, and program thereof
US7733419B1 (en) Method and apparatus for filtering video data using a programmable graphics processor
JP3654420B2 (ja) 画像変換方法、画像処理装置、および画像表示装置
JP4498361B2 (ja) レティネックス型アルゴリズムを高速化する方法
JP2013235594A (ja) 低解像度の入力データ構造の超解像度バージョンを生成する方法及び装置
JP2013518336A (ja) 入力画像から増加される画素解像度の出力画像を生成する方法及びシステム
KR20140135968A (ko) 초해상도화를 수행하는 방법 및 장치
KR20180128888A (ko) 지각 다운스케일링 방법을 사용하여 이미지를 다운스케일링하기 위한 이미지 처리 시스템
KR101987079B1 (ko) 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법
JP2009212969A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
JP2011237998A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8213736B2 (en) Image processing device and image processing method
WO2014008329A1 (en) System and method to enhance and process a digital image
KR101341617B1 (ko) 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법
US9317903B1 (en) Self-similarity based single frame super-resolution
US20130120461A1 (en) Image processor and image processing method
CN112200719A (zh) 图像处理方法、电子设备及可读存储介质
KR20150090515A (ko) 고주파수 성분의 위상 변조를 통한 영상 질감 향상 방법 및 그 장치
JP2016115318A (ja) ぼやけ補正装置、超解像装置およびプログラム
JP2004133592A (ja) 画像を拡大するための画像処理装置および画像処理方法および画像処理プログラム
CN107155096A (zh) 一种基于半误差反向投影的超分辨率重建方法及装置
CN113689333A (zh) 一种图像增强的方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120814

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130822

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140822

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150820

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160819

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170817

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180820

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190814

Year of fee payment: 12