KR101934261B1 - 이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치 - Google Patents

이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치 Download PDF

Info

Publication number
KR101934261B1
KR101934261B1 KR1020120074294A KR20120074294A KR101934261B1 KR 101934261 B1 KR101934261 B1 KR 101934261B1 KR 1020120074294 A KR1020120074294 A KR 1020120074294A KR 20120074294 A KR20120074294 A KR 20120074294A KR 101934261 B1 KR101934261 B1 KR 101934261B1
Authority
KR
South Korea
Prior art keywords
resolution image
circuit
high resolution
image
value
Prior art date
Application number
KR1020120074294A
Other languages
English (en)
Other versions
KR20140007511A (ko
Inventor
신호석
김윤학
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020120074294A priority Critical patent/KR101934261B1/ko
Priority to US13/838,343 priority patent/US9384533B2/en
Priority to CN201310286639.6A priority patent/CN103546664A/zh
Publication of KR20140007511A publication Critical patent/KR20140007511A/ko
Application granted granted Critical
Publication of KR101934261B1 publication Critical patent/KR101934261B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

이미지 해상도 변환 방법은 저해상도 이미지를 고해상도 이미지로 변환하고, 상기 고해상도 이미지의 화질을 보정하여 제2고해상도 이미지를 생성하고, 상기 저해상도 이미지에 포함된 특정 영역에 대한 정보를 이용하여 상기 제2고해상도 이미지에 포함되며 상기 특정 영역에 대응되는 영역을 선택적으로 보정한다.

Description

이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치 {METHOD AND DEVICE FOR CONVERTING IMAGE RESOLUTION, AND ELECTRONIC DEVICE HAVING THE DEVICE}
본 발명의 개념에 따른 실시 예는 이미지 해상도 변환 기술에 관한 것으로, 특히 저해상도 이미지로부터 변환된 고해상도 이미지에 포함된 시각적 아티팩트 (visual artifacts)를 효과적으로 제거하면서도 디테일(detail)과 선명도 (sharpness)를 향상시킬 수 있는 방법과 장치에 관한 것이다.
디스플레이 기술이 발전함에 따라, FHD(full high-definition) 해상도 또는 UHD(ultra high-definition) 해상도를 지원하는 디스플레이가 보급되고 있다.
그러나, 기존의 방송이나 영화 등의 컨텐츠(contents)는 SD(standard-definition) 해상도 또는 HD(high-definition) 해상도로 제작되고 있다. 고해상도 이미지의 제작 비용이 저해상도 이미지의 제작 비용보다 비싸기 때문에, 아직도 저해상도 이미지가 제작되고 있다.
사용자가 저해상도 이미지를 고해상도 TV를 통하여 시청하고자 할 때, 상기 저해상도 이미지는 확대, 즉 고해상도 이미지로 변환될 필요가 있다. 또한, 스마트 폰과 같은 소형 전자 장치의 발전에 따라, 상기 전자 장치는 저해상도 이미지를 확대, 즉 고해상도 이미지로 변환하는 기능을 제공한다.
저해상도 이미지가 고해상도 이미지로 확대(또는 변환)되면, 여러 가지 문제점들이 발생한다. 예컨대, 대각선의 에지에서 재깅(jagging)이 발생하고, 상기 에지 주위로 링깅(ringing)이 발생하고, 화질 개선을 위해 고주파 성분이 추가되거나 향상될 때 저주파 성분 영역에서 노이즈(noise)가 발생한다.
또한, 에지의 변화가 느리게 진행되어 선명도가 저하되고, 고주파 성분이 제거되면 이미지의 디테일(detail)이 낮아진다.
본 발명이 이루고자 하는 기술적인 과제는 상기의 문제점들을 극복하기 위해, 저해상도 이미지로부터 변환된 고해상도 이미지에 포함된 시각적 아티팩트를 효과적으로 제거하면서도 디테일과 선명도를 향상시킬 수 있는 이미지 해상도 변환 방법과 장치를 제공하는 것이다.
본 발명의 실시 예에 따른 이미지 해상도 변환 방법은 저해상도 이미지를 고해상도 이미지로 변환하는 단계와, 상기 고해상도 이미지의 화질을 보정하여 제2고해상도 이미지를 생성하는 단계와, 상기 저해상도 이미지에 포함된 제1영역에 대한 정보를 이용하여, 상기 제2고해상도 이미지에 포함되며 상기 제1영역에 대응되는 제2영역을 선택적으로 보정하는 단계를 포함한다.
상기 변환하는 단계는 선형 인터폴레이션(linear interpolation)을 이용하여 상기 저해상도 이미지를 상기 고해상도 이미지로 변환할 수 있다.
상기 제2고해상도 이미지를 생성하는 단계는 제1고해상도 이미지를 생성하기 위해, 상기 고해상도 이미지에 포함된 시각적 아티팩트(visual artifacts)를 제거하는 단계와, 상기 제2고해상도 이미지를 생성하기 위해, 상기 제1고해상도 이미지의 디테일과 선명도를 향상시키는 단계를 포함한다.
상기 시각적 아티팩트를 제거하는 단계는 상기 고해상도 이미지에 포함된 링깅(ringing)을 제거하는 단계와, 상기 제1고해상도 이미지를 생성하기 위해 상기 링깅 제거된 고해상도 이미지에 포함된 재깅(jagging)을 억제하는 단계를 포함한다.
상기 링깅을 제거하는 단계는 상기 고해상도 이미지에 포함된 픽셀들 중에서 처리 픽셀의 값을 상기 처리 픽셀에 인접하는 상기 저해상도 이미지의 픽셀들 각각의 값의 최소값과 최대값의 범위 내로 클램프(clamp)하여 상기 링깅을 제거한다.
상기 재깅을 억제하는 단계는 상기 링깅 제거된 고해상도 이미지에 포함된 에지(edge)의 방향을 검출하는 단계와, 검출된 방향에서 상기 링깅 제거된 고해상도 이미지에 포함된 픽셀들 중에서 처리 픽셀의 값과 상기 픽셀들 중에서 상기 처리 픽셀의 주변 픽셀들 각각의 값을 혼합하여 상기 재깅을 억제하는 단계를 포함한다.
상기 디테일과 상기 선명도를 향상시키는 단계는 상기 제1고해상도 이미지에 포함된 텍스쳐(texture) 부분의 고주파 성분을 추출하는 단계와, 상기 제1고해상도 이미지에 포함된 에지 부분의 평균 기울기 보정 값을 계산하는 단계와, 추출된 고주파 성분과 상기 평균 기울기 보정 값을 이용하여 상기 디테일과 상기 선명도를 조절하는 단계를 포함한다.
상기 고주파 성분을 추출하는 단계와 상기 평균 기울기 보정 값을 계산하는 단계는 병렬적으로 수행될 수 있다.
상기 고주파 성분을 추출하는 단계는 상기 제1고해상도 이미지를 저역 통과 필터링하는 단계와, 상기 제1고해상도 이미지를 고역 통과 필터링하는 단계와, 상기 고주파 성분을 추출하기 위해 저역 통과 필터된 제1고해상도 이미지와 고역 통과 필터된 제1고해상도 이미지의 차이를 계산하는 단계를 포함한다.
상기 평균 기울기 보정 값을 계산하는 단계는 복수의 방향들 각각에 대해, 상기 에지 부분에 대한 1차 미분 값과 2미분 값을 조합하여 기울기 보정 값을 계산하는 단계와, 상기 복수의 방향들 각각에 대한 상기 기울기 보정 값을 평균하여 상기 평균 기울기 보정 값을 계산하는 단계를 포함한다.
상기 디테일과 상기 선명도를 조절하는 단계는 상기 제1고해상도 이미지로부터, 상기 추출된 고주파 성분과 상기 평균 기울기 보정 값을 빼서 상기 디테일과 상기 선명도를 조절한다.
상기 제2영역을 선택적으로 보정하는 단계는 상기 제1영역에서 왜곡이 발생할 가능성이 있는지를 지시하는 정보를 생성하는 단계와, 상기 정보를 기초하여 상기 제2영역 또는 클램프된 제2영역을 출력하는 단계를 포함한다.
상기 왜곡은 노이즈(noise) 또는 링깅(ringing)을 포함한다.
상기 정보를 생성하는 단계는 상기 고해상도 이미지의 처리 픽셀에 인접하며 상기 제1영역에 포함된 픽셀들 사이의 밝기 차이 값들 각각과 기준 밝기 값을 비교하고, 비교 결과에 대응되는 카운트 값을 계산하는 단계와, 상기 카운트 값과 기준 카운트 값의 비교 결과에 따라, 상기 처리 픽셀이 상기 제1영역에 포함되는지의 여부를 나타내는 상기 정보를 생성한다.
상기 이미지 해상도 변환 방법은 컴퓨터 프로그램으로 작성되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다.
본 발명의 실시 예에 따른 이미지 해상도 변환 장치는 저해상도 이미지를 고해상도 이미지로 변환하는 해상도 변환 회로와, 상기 고해상도 이미지의 화질을 보정하여 제2고해상도 이미지를 생성하는 화질 보정 회로와, 상기 저해상도 이미지에 포함된 제1영역에 대한 정보를 이용하여 상기 제2고해상도 이미지에 포함되며 상기 제1영역에 대응되는 제2영역을 선택적으로 보정하는 보정 회로를 포함한다.
본 발명의 실시 예에 따른 전자 장치는 메모리와, 상기 메모리로부터 출력된 저해상도 이미지를 처리할 수 있는 이미지 해상도 변환 장치를 포함한다.
상기 이미지 해상도 변환 장치는 저해상도 이미지를 고해상도 이미지로 변환하는 해상도 변환 회로와, 상기 고해상도 이미지의 화질을 보정하여 제2고해상도 이미지를 생성하는 화질 보정 회로와, 상기 저해상도 이미지에 포함된 제1영역에 대한 정보를 이용하여 상기 제2고해상도 이미지에 포함되며 상기 제1영역에 대응되는 제2영역을 선택적으로 보정하는 보정 회로를 포함한다.
상기 전자 장치는 TV 또는 3D TV로 구현될 수 있다.
상기 전자 장치는 스마트 폰 또는 태블릿 PC(tablet personal computer)로 구현될 수 있다.
본 발명의 실시 예에 따른 이미지 해상도를 변환하는 방법과 장치는 저해상도 이미지를 고해상도 이미지로 확대하고, 상기 저해상도 이미지로부터 왜곡이 발생할 가능성이 있는 영역에 대한 정보를 생성하고, 상기 정보에 기초하여 링깅을 포함하지 않는 고해상도 이미지를 참조하여 디테일-선명도 향상된 고해상도 이미지의 링깅을 제거할 수 있다. 따라서, 상기 방법과 장치는 에지의 선명도를 감소시키지 않는 효과가 있다.
상기 방법과 상기 장치는 고해상도 이미지에 포함된 에지의 선명도를 높이디 위해 상기 에지의 기울기 값을 보정하기 위한 반복 방법을 사용하지 않는다.
상기 방법과 상기 장치는 라인 메모리의 사용을 최소화할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 이미지 해상도 변환 장치의 블록도를 나타낸다.
도 2는 도 1에 도시된 물결 현상 제거 회로의 동작을 설명하기 위한 개념도를 나타낸다.
도 3은 도 1에 도시된 물결 현상 제거 회로의 블록도를 나타낸다.
도 4는 도 1에 도시된 계단 현상 억제 회로의 동작을 설명하기 위한 개념도를 나타낸다.
도 5는 도 1에 도시된 계단 현상 억제 회로의 에지 방향 검출 동작을 설명하기 위한 개념도이다.
도 6은 도 1에 도시된 계단 현상 억제 회로의 계단 현상 억제 동작을 설명하기 위한 개념도를 나타낸다.
도 7은 도 1에 도시된 계단 현상 억제 회로의 블록도를 나타낸다.
도 8은 도 1에 도시된 디테일 향상 회로의 블록도이다.
도 9는 도 1에 도시된 디테일 향상 회로의 동작을 설명하기 위한 개념도를 나타낸다.
도 10은 도 1에 도시된 선명도 향상 회로의 동작을 설명하기 위한 개념도를 나타낸다.
도 11은 도 1에 도시된 선명도 향상 회로의 평균 기울기 보정 값을 계산하는 방법을 설명하기 위한 개념도를 나타낸다.
도 12는 도 1에 도시된 선명도 향상 회로의 블록도를 나타낸다.
도 13은 도 1에 도시된 맵 생성 회로의 동작을 설명하기 위한 개념도를 나타낸다.
도 14는 도 1에 도시된 맵 생성 회로의 회로도를 나타낸다.
도 15는 도 1에 도시된 왜곡 보정 회로의 동작을 설명하기 위한 개념도를 나타낸다.
도 16은 도 1에 도시된 왜곡 보정 회로의 회로도를 나타낸다.
도 17은 도 1에 도시된 이미지 해상도 변환 장치를 포함하는 전자 장치의 일 실시 예를 나타내는 블록도이다.
도 18은 도 1에 도시된 이미지 해상도 변환 장치를 포함하는 전자 장치의 다른 실시 예를 나타내는 블록도이다.
도 19는 도 1에 도시된 이미지 해상도 변환 장치의 동작을 설명하기 위한 플로우차트이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
본 명세서에서 저해상도 이미지(LRI)는 고해상도 이미지(HRIF)의 해상도보다 상대적으로 낮은 해상도를 갖는 이미지를 나타낸다.
또한, 특정 영역에 대한 보정은 상기 특정 영역에 포함된 픽셀들 각각의 값, 예컨대 밝기, RGB 값, 또는 YCbCr 값을 조절하는 것을 의미한다.
도 1은 본 발명의 실시 예에 따른 이미지 해상도 변환 장치의 블록도를 나타낸다.
도 1을 참조하면, 이미지 해상도 변환 장치(100)는 해상도 변환 회로 (resolution converting circuit; 110), 화질 보정 회로(image quality compensation circuit; 112), 및 보정 회로(114)를 포함한다.
이미지 해상도 변환 장치(100)는 이미지 처리 장치의 일 예로서, 시스템 온 칩(system on chip)으로 구현될 수 있다.
해상도 변환 회로(110)는 저해상도 이미지(LRI)를 고해상도 이미지(HRI)로 변환할 수 있다. 따라서, 해상도 변환 회로(110)는 업-샘플러(up-sampler)의 기능을 수행할 수 있다.
저해상도 이미지(LRI)는 제1라인 메모리(101)에 저장될 수 있다.
예컨대, 저해상도 이미지(LRI)는 RGB 형식 또는 YCbCr 형식의 이미지일 수 있다.해상도 변환 회로(110)는 바이리니어 인터폴레이션(bilinear interpolation) 또는 바이큐빅(bicubic) 인터폴레이션과 같은 선형(linear) 인터폴레이션을 이용하
여 저해상도 이미지(LRI)를 확대, 예컨대 저해상도 이미지(LRI)를 고해상도 이미지 (HRI)로 변환할 수 있다.
예컨대, 바이리니어 인터폴레이션에 따라, 처리 픽셀(예컨대, 고해상도 이미지(HRI)의 픽셀)의 값은 상기 처리 픽셀에 가장 가까운 저해상도 이미지(LRI)의 4개의 픽셀들 각각의 값을 이용하여 보간(interpolate)될 수 있다. 또한, 바이큐빅 인터폴레이션에 따라, 처리 픽셀(예컨대, 고해상도 이미지(HRI)의 픽셀)의 값은 상기 처리 픽셀에 가장 가까운 저해상도 이미지의 16개의 픽셀들 각각의 값을 이용하여 보간될 수 있다. 여기서, 4 또는 16은 설명의 편의를 위해 예시적으로 개시된 숫자이다.
따라서, 바이큐빅 인터폴레이션에 따라 생성된 고해상도 이미지의 화질은 바이리니어 인터폴레이션에 따라 생성된 고해상도 이미지의 화질보다 우수할 수 있다.
화질 보정 회로(112)는 시각적 아티팩트 제거 회로(120)와 화질 향상 회로 (130)를 포함한다.
시각적 아티팩트 제거 회로(120)는 고해상도 이미지(HRI)에 포함된 시각적 아티팩트(visual artifacts)를 제거하여 제1고해상도 이미지(HRI1)를 생성할 수 있다. 여기서, 시각적 아티팩트는 링깅 아티팩트(ringing artifacts, 간단히 "링깅")와 재깅 아티팩트(jagging artifacts, 간단히 "재깅")를 포함할 수 있다.
시각적 아티팩트 제거 회로(120)는 고해상도 이미지(HRI)에 포함된 링깅을 제거하기 위한 물결 현상(또는 링깅) 제거 회로(ringing removal circuit; 122)와, 링깅 제거된 고해상도 이미지(HRI')에 포함된 재깅을 억제하여 제1고해상도 이미지 (HRI1)를 생성하기 위한 계단 현상(또는 재깅) 억제 회로(jagging suppression circuit; 124)를 포함한다.
링깅 제거된 고해상도 이미지(HRI')는 제2라인 메모리(123)에 저장될 수 있다.
도 2는 도 1에 도시된 물결 현상 제거 회로의 동작을 설명하기 위한 개념도를 나타내고, 도 3은 도 1에 도시된 물결 현상 제거 회로의 블록도를 나타낸다.
저해상도 이미지(LRI)가 고해상도 이미지(HRI)로 확대(또는 변환)되면, 고해상도 이미지(HRI) 내의 에지(edge) 주위에 미약한 링깅이 발생할 수 있다.
도 2를 참조하면, 1차원 관점에서 볼 때, 고해상도 이미지(HRI)의 처리 픽셀 (PH1)의 값은 저해상도 이미지(LRI)의 두 개의 픽셀들(PL1과 PL2) 각각의 값을 이용하여 보간된다. 여기서, 값은 밝기(luminance)를 나타낼 수 있다.
그러나, 2차원 관점에서 볼 때, 고해상도 이미지(HRI)의 처리 픽셀(PHi, i=1)의 값은 저해상도 이미지(LRI)의 4개의 픽셀들(Pleft _ top, Pright _ top, Pleft _ bottom, 및 Pright_bottom) 각각의 값을 이용하여 보간된다. 이때, 고해상도 이미지(HRI)의 처리 픽셀(PH1)의 값에 의해 링깅이 발생할 수 있다.
1차원 관점에서 볼 때, 고해상도 이미지(HRI)의 처리 픽셀(PH1)의 값은 저해상도 이미지(LRI)의 두 개의 픽셀들(PL1과 PL2)의 최대값과 최소값의 범위, 즉 최대값으로 클램프(clamp)된다. 이때, PHi'은 클램프된 값을 갖는 처리 픽셀을 나타낸다.
예컨대, 최대값/최소값 검출 회로(122-1)는 각 픽셀(PL1과 PL2)의 값으로부터 최대값과 최소값을 검출하고, 검출된 최대값과 검출된 최소값을 클램프 회로 (122-2)로 출력한다. 클램프 회로(122-2)는 처리 픽셀(PH1)의 값을 최대값/최소값 검출 회로(122-1)로부터 출력된 최대값과 최소값의 범위, 예컨대 최대값으로 클램프한다.
그러나, 2차원 관점에서 볼 때, 고해상도 이미지(HRI)의 처리 픽셀(PH1)의 값은 수학식 1에 따라 클램프(clamp)된다.
[수학식 1]
Pmin=min(Pleft _ top, Pright _ top, Pleft _ bottom, Pright _ bottom)
Pmax=max(Pleft _ top, Pright _ top, Pleft _ bottom, Pright _ bottom)
PHi=clamp(PHi, Pmin, Pmax)
최대값/최소값 검출 회로(122-1)는 각 픽셀((Pleft _ top, Pright _ top, Pleft _ bottom, 및 Pright_bottom)의 값으로부터 최대값과 최소값을 검출하고, 검출된 최대값과 검출된 최소값을 클램프 회로(122-2)로 출력한다. 클램프 회로(122-2)는 처리 픽셀(PH1)의 값을 최대값/최소값 검출 회로(122-1)로부터 출력된 최대값과 최소값의 범위 이내로 클램프한다.
1차원 관점에서 볼 때, 고해상도 이미지(HRI)의 처리 픽셀(PHi, i=2)의 값은 저해상도 이미지(LRI)의 두 개의 픽셀들(PL2과 PL3) 각각의 값을 이용하여 보간된다. 이때, 처리 픽셀(PH2)의 값은 두 개의 픽셀들(PL2과 PL3)의 값들의 최대값과 최소값의 범위 내에 존재하므로 그대로 유지된다.
1차원 관점에서 볼 때, 고해상도 이미지(HRI)의 처리 픽셀(PHi, i=3)의 값은 저해상도 이미지(LRI)의 두 개의 픽셀들(PL3과 PL4) 각각의 값을 이용하여 보간된다.
그러나, 2차원 관점에서 볼 때, 고해상도 이미지(HRI)의 처리 픽셀(PHi, i=3)의 값은 저해상도 이미지(LRI)의 4개의 픽셀들(Pleft _ top, Pright _ top, Pleft _ bottom, Pright_bottom) 각각의 값을 이용하여 보간된다. 이때, 고해상도 이미지(HRI)의 처리 픽셀(PH3)의 값에 의해 링깅이 발생할 수 있다.
1차원 관점에서 볼 때, 고해상도 이미지(HRI)의 처리 픽셀(PH3)의 값은 저해상도 이미지(LRI)의 두 개의 픽셀들(PL3과 PL4)의 값들의 최대값과 최소값의 범위, 즉 최소값으로 클램프(clamp)된다.
그러나, 2차원 관점에서 볼 때, 고해상도 이미지(HRI)의 처리 픽셀(PH3)의 값은 수학식 1에 따라 클램프(clamp)된다.
1차원 관점에서 볼 때, 고해상도 이미지(HRI)의 처리 픽셀(PHi, i=4)의 값은 저해상도 이미지(LRI)의 두 개의 픽셀들(PL4와 PL5) 각각의 값을 이용하여 보간되고, 고해상도 이미지(HRI)의 처리 픽셀(PHi, i=5)의 값은 저해상도 이미지(LRI)의 두 개의 픽셀들(PL5와 PL6) 각각의 값을 이용하여 보간된다.
상술한 바와 같이, 물결 현상 제거 회로(122)는 고해상도 이미지(HRI)에 포함된 픽셀들 중에서 링깅을 발생할 수 있는 적어도 하나의 처리 픽셀(PHi)에 대해 상기 링깅을 제거할 수 있다.
도 4는 도 1에 도시된 계단 현상 억제 회로의 동작을 설명하기 위한 개념도를 나타낸다.
저해상도 이미지(LRI)가 고해상도 이미지(HRI)로 2배로 확대될 때 에지의 방향이 고려되지 않으므로, 고해상도 이미지(HRI)의 에지 부분에서 재깅이 발생할 수 있다.
이론적으로, 계단 현상 억제 회로(124)는 고해상도 이미지(HRI)에 포함된 재깅을 억제(또는 제거)하여 제1고해상도 이미지(HRI1)를 생성할 수 있다.
도 1과 도 4를 참조하면, 계단 현상 억제 회로(124)는 링깅 제거된 고해상도 이미지(HRI')에 포함된 재깅을 억제(또는 제거)하여 제1고해상도 이미지(HRI1)를 생성할 수 있다.
도 5는 도 1에 도시된 계단 현상 억제 회로의 에지 방향 검출 동작을 설명하기 위한 개념도이고, 도 6은 도 1에 도시된 계단 현상 억제 회로의 계단 현상 억제 동작을 설명하기 위한 개념도를 나타내고, 도 7은 도 1에 도시된 계단 현상 억제 회로의 블록도를 나타낸다.
도 1, 도 5, 및 도 6을 참조하면, 본 명세서에서 예시적으로 도시된 에지의 방향은 9가지, 예컨대 0°, 27°, 45°, 63°, 90°, 107°, 135°, 153°, 및 에지가 존재하지 않음으로 분류될 수 있다.
주변 픽셀들(00, 10, 20, 01, 21, 02, 12, 및 22)은 처리 픽셀(11)에서 가장 가까운 8개의 픽셀들이다.
에지의 방향을 검출하는 방법은 다음과 같다.
계단 현상 억제 회로(124)는 9개의 픽셀들(00, 10, 20, 01, 11, 21, 02, 12, 및 22) 각각의 밝기(luminance)를 계산한다. 상기 밝기는 밝기 계산 회로(124-1)에 의해 픽셀 단위로 계산될 수 있다.
예컨대, 상기 밝기는 R*0.299+G*0.587+B*0.111에 따라 계산될 수 있다. 이때, R은 레드 픽셀(red pixel)의 값, G는 그린 픽셀(green pixel)의 값, 및 B는 블루 픽셀(blue pixel)의 값을 나타낸다.
도 5의 (a)에서, D11, D12, D13, D14, D15, 및 D16 각각은 대응되는 두 개의 픽셀들(00과 01, 10과 11, 20과 21, 01과 02, 11과 12, 및 21과 22) 사이의 밝기 차이의 절대값을 나타낸다.
방향 1(=90°)의 밝기 차이의 평균값(AV1)은 SD1/6이다. 이때, SD1는 D11, D12, D13, D14, D15, 및 D16의 합을 나타내고, 6은 차이의 개수를 나타낸다.
도 5의 (b)에서, 각 점선 픽셀(DC1과 DC2)의 밝기는 점선이 겹치는 두 개의 픽셀들(01과 11, 및 11과 21) 각각의 밝기의 평균이다. 예컨대, 점선 픽셀(DC1)의 밝기는 두 개의 픽셀들(01과 11) 각각의 밝기의 평균이다.
도 5의 (b)에서, D21, D22, D23, 및 D24 각각은 대응되는 두 개의 픽셀들(10과 DC1, 20과 DC2, DC1과 02, 및 DC2와 12) 사이의 밝기 차이의 절대값을 나타낸다.
따라서, 방향 2(=63°)의 밝기 차이의 평균값(AV2)은 SD2/4이다. 이때, SD2는 D21, D22, D23, 및 D24의 합을 나타내고, 4는 차이의 개수를 나타낸다.
도 5의 (c)에서, D31, D32, D33, 및 D34 각각은 대응되는 두 개의 픽셀들(10과 01, 02와 11, 11과 20, 및 12와 21) 사이의 밝기 차이의 절대값을 나타낸다.
따라서, 방향 3(=45°)의 밝기 차이의 평균값(AV3)은 SD3/4이다. 이때, SD3는 D31, D32, D33, 및 D34의 합을 나타내고, 4는 차이의 개수를 나타낸다.
도 5의 (d)에서, 각 점선 픽셀(DC3과 DC4)의 밝기는 점선이 겹치는 두 개의 픽셀들(10과 11, 및 11과 12) 각각의 밝기의 평균이다. 예컨대, 점선 픽셀(DC3)의 밝기는 두 개의 픽셀들(10과 11) 각각의 밝기의 평균이다.
도 5의 (d)에서, D41, D42, D43, 및 D44 각각은 대응되는 두 개의 픽셀들(01과 DC3, DC3과 20, 02와 DC4, 및 DC4와 21) 사이의 밝기 차이의 절대값을 나타낸다.
따라서, 방향 4(=27°)의 밝기 차이의 평균값(AV4)은 SD4/4이다. 이때, SD4는 D41, D42, D43, 및 D44의 합을 나타내고, 4는 차이의 개수를 나타낸다.
도 5의 (e)에서, D51, D52, D53, D54, D55, 및 D56 각각은 대응되는 두 개의 픽셀들(00과 10, 10과 20, 01과 11, 11과 21, 02과 12, 및 12과 22) 사이의 밝기 차이의 절대값을 나타낸다.
따라서, 방향 5(=0°)의 밝기 차이의 평균값(AV5)은 SD5/6이다. 이때, SD5는 D51, D52, D53, D54, D55, 및 D56의 합을 나타내고, 6은 차이의 개수를 나타낸다.
도 5의 (f)에서, 각 점선 픽셀(DC5과 DC6)의 밝기는 점선이 겹치는 두 개의 픽셀들(10과 11, 및 11과 12) 각각의 밝기의 평균이다.
도 5의 (f)에서, D61, D62, D63, 및 D64 각각은 대응되는 두 개의 픽셀들(00과 DC5, DC5와 21, 01과 DC6, 및 DC6와 22) 사이의 밝기 차이의 절대값을 나타낸다.
따라서, 방향 6(=153°)의 밝기 차이의 평균값(AV6)은 SD6/4이다. 이때, SD6는 D61, D62, D63, 및 D64의 합을 나타내고, 4는 차이의 개수를 나타낸다.
도 5의 (g)에서, D71, D72, D73, 및 D74 각각은 대응되는 두 개의 픽셀들(00과 11, 10과 21, 01과 12, 및 11과 22) 사이의 밝기 차이의 절대값을 나타낸다.
따라서, 방향 7(=45°)의 밝기 차이의 평균값(AV7)은 SD7/4이다. 이때, SD7는 D71, D72, D73, 및 D74의 합을 나타내고, 4는 차이의 개수를 나타낸다.
도 5의 (h)에서, 각 점선 픽셀(DC7과 DC8)의 밝기는 점선이 겹치는 두 개의 픽셀들(01과 11, 및 11과 21) 각각의 밝기의 평균이다.
도 5의 (h)에서, D81, D82, D83, 및 D84 각각은 대응되는 두 개의 픽셀들(00과 DC7, 10과 DC8, DC7과 12, 및 DC8와 22) 사이의 밝기 차이의 절대값을 나타낸다.
따라서, 방향 8(=107°)의 밝기 차이의 평균값(AV8)은 SD8/4이다. 이때, SD8는 D81, D82, D83, 및 D84의 합을 나타내고, 4는 차이의 개수를 나타낸다.
계단 현상 억제 회로(124)는 각 방향의 밝기 차이의 평균값(AV1~AV8)을 계산하고, 평균값들(AV1~AV8) 중에서 가장 작은 값을 갖는 방향을 에지(EG)의 방향으로 검출(또는 선택) 한다.
방향 검출 회로(124-2)는, 도 5의 (a)부터 도 5의 (h)를 참조하여 설명한 바와 같이, 각 방향별로 대응되는 두 개의 픽셀들 사이의 밝기 차이를 계산하고, 계산된 밝기 차이들에 기초하여 각 방향별로 밝기 차이의 평균값을 계산하고, 계산된 밝기 차이의 평균값들에 기초하여 에지(EG)의 방향을 검출하고, 검출된 방향에 포함된 픽셀들 각각의 값을 혼합 회로(124-3)로 출력할 수 있다.
그러나, 평균값들(AV1~AV8) 중의 최대값과 최소값의 차이가 기준 값보다 작으면, 계단 현상 억제 회로(124), 예컨대 방향 검출 회로(124-2)는 처리 픽셀(11)의 주변에는 에지가 존재하지 않는다고 판단한다.
도 6에 도시된 바와 같이, 링깅 제거된 고해상도 이미지(HRI')의 에지(EG) 부분에서 발생하는 재깅을 제거하기 위해 선택되는 주변 픽셀들은 에지 방향에 따라 서로 다르다.
예컨대, 에지(EG)의 방향으로서 방향 1이 검출될 때, 도 6의 (a)에 도시된 바와 같이 처리 픽셀(11)의 주변 픽셀들로서 픽셀들(10과 12)이 계단 현상 억제 회로(124), 예컨대 방향 검출 회로(124-2)에 의해 선택되고 선택된 픽셀들(10, 11, 및 12) 각각의 값이 혼합 회로(124-3)로 출력될 수 있다.
또 다른 예로서, 에지(EG)의 방향으로서 방향 4가 검출될 때, 도 6의 (d)에 도시된 바와 같이 처리 픽셀(11)의 주변 픽셀들로서 픽셀들(01, 02, 20, 및 21)이 계단 현상 억제 회로(124), 예컨대 방향 검출 회로(124-2)에 의해 선택되고 선택된 픽셀들(01, 02, 11, 20, 및 21) 각각의 값이 혼합 회로(124-3)로 출력될 수 있다.
또 다른 예로서, 에지(EG)의 방향으로서 방향 7이 검출될 때, 도 6의 (g)에 도시된 바와 같이 처리 픽셀(11)의 주변 픽셀들로서 픽셀들(00과 22)이 계단 현상 억제 회로(124), 예컨대 방향 검출 회로(124-2)에 의해 선택되고 선택된 픽셀들 (00, 11, 및 22) 각각의 값이 혼합 회로(124-3)로 출력될 수 있다.
방향 검출 회로(124-2)는 혼합 회로(124-3)에서 필요로 하는 각 픽셀의 값을 혼합 회로(124-3)로 전송한다.
계단 현상 억제 회로(124), 예컨대 혼합 회로(124-3)는 수학식 2에 따라 처리 픽셀(11)에 대한 혼합 값(Pj)을 계산한다. 여기서, 값은 RGB 값을 의미할 수 있다.
[수학식 2]
Figure 112012054476519-pat00001
여기서, α는 혼합비를 조절하기 위한 변수를 나타내고, I는 처리 픽셀(11)의 값을 나타내고, n은 혼합될 픽셀의 개수, 및 DnI는 혼합될 픽셀들 각각의 값을 나타낸다.
#neighbor과 n(n은 자연수) 각각은 혼합될 픽셀의 개수를 나타내며, 도 6에 도시된 바와 같이, 방향 1(Direction 1), 방향 3(Direction 3), 방향 5(Direction 5), 또는 방향 7(Direction 7)의 #neighbor과 n 각각은 2이고, 방향 2(Direction 2), 방향 4(Direction 4), 방향 6(Direction 6), 또는 방향 8(Direction 8)의 #neighbor과 n 각각은 4이다.
따라서, 에지(EG)의 방향으로서 방향 1이 검출될 때, 혼합 회로(124-3)는 처리 픽셀(11)의 혼합 값(Pj)을 처리 픽셀(11)의 값(I)과 평균값에 따라 결정한다. 이때 상기 평균값은 두 개의 픽셀들(10과 12) 각각의 값의 평균값이다.
다른 예로서, 에지(EG)의 방향으로서 방향 2가 검출될 때, 혼합 회로(124-3)는 처리 픽셀(11)의 혼합 값(Pj)을 처리 픽셀(11)의 값(I)과 평균값에 따라 결정한다. 이때 상기 평균값은 4개의 픽셀들(10, 20, 02, 및 12) 각각의 값의 평균값이다.
상술한 바와 같이, 시각적 아티팩트 제거 회로(120)는 고해상도 이미지(HRI)에 포함된 링깅과 재깅을 순차적으로 제거하고, 링깅과 재깅이 제거된 제1고해상도 이미지(HRI1)를 생성한다.
화질 향상 회로(130)는 제1고해상도 이미지(HRI1)의 디테일과 선명도를 향상시켜 제2고해상도 이미지(HRI2)를 생성할 수 있다.
화질 향상 회로(130)는 디테일 향상 회로(132), 선명도 향상 회로(134), 및 조절 회로를 포함한다.
도 8은 도 1에 도시된 디테일 향상 회로의 블록도이고, 도 9는 도 1에 도시된 디테일 향상 회로의 동작을 설명하기 위한 개념도를 나타낸다.
선형 인터폴레이션을 통해 저해상도 이미지(LRI)가 고해상도 이미지(HRI)로 확대되면, 고주파 성분이 제거되거나 약화되어 흐릿한(blurred) 고해상도 이미지 (HRI)가 생성될 수 있다. 따라서 흐릿한(blurred) 고해상도 이미지(HRI)의 디테일(또는 텍스쳐(tecture))을 향상시키기 위해서 고해상도 이미지(HRI)의 고주파 성분은 추가되거나 증폭되어야 한다.
즉, 디테일 향상 회로(132)는 제1고해상도 이미지(HRI1)로부터 약화된 고주파 성분을 추출하고 추출된 고주파 성분(PD)을 가산기(136)로 출력한다. 제1고해상도 이미지(HRI1)는 제3라인 메모리(125)에 저장될 수 있다.
도 1, 도 8, 및 도 9를 참조하면, 디테일 향상 회로(132)로 입력되는 입력 신호의 파형이 도 9의 (a)와 같을 때, 디테일 향상 회로(132)는 저역 통과 필터 (low pass filter; 132-1)를 이용하여 제1고해상도 이미지(HRI1=A)를 저역 통과 필터링하고 저역 통과 필터된 제1고해상도 이미지(LPF(A))를 생성한다(도 9의 (b)).
또한, 디테일 향상 회로(132)는 고역 통과 필터(high pass filter; 132-2)를 이용하여 제1고해상도 이미지(HRI1=A)를 고역 통과 필터링하고 고역 통과 필터된 제1고해상도 이미지(HPF(A))를 생성한다(도 9의 (b)). 저역 통과 필터링과 고역 통과 필터링은 동시에 수행될 수 있다.
즉, 디테일 향상 회로(132)는 저역 통과 필터(132-1)를 이용하여 제1고해상도 이미지(HRI1=A)에 포함된 고주파 성분을 제거하고, 고역 통과 필터(132-2)를 이용하여 제1고해상도 이미지(HRI1=A)에 포함된 고주파 성분을 강조하거나 증폭한다.
디테일 향상 회로(132)의 감산기(132-3)는 저역 통과 필터된 제1고해상도 이미지(LPF(A))와 고역 통과 필터된 제1고해상도 이미지(HPF(A))의 차이를 계산한다.
즉, 디테일 향상 회로(132)는 고주파 성분이 제거된 제1고해상도 이미지 (LPF(A), 또는 신호들)와 고주파 성분이 강조된(또는 증폭된) 제1고해상도 이미지 (HPF(A), 또는 신호들)를 서로 비교하여 고주파 성분, 예컨대 증폭된 고주파 성분을 추출한다.
도 9의 (d)에 도시된 바와 같이, 감산기(138)는 제1고해상도 이미지 (HRI1=A)로부터 추출된 고주파 성분(PD)을 빼서, 즉, 추출된 고주파 성분(PD)을 제1고해상도 이미지(HRI1=A)에 부가하여 제1고해상도 이미지(HRI1=A)의 고주파 성분을 증폭할 수 있다.
따라서, 화질 향상 회로(130)는 도 9의 (a)부터 도 9의 (d)를 통하여 제1고해상도 이미지(HRI1=A)의 디테일, 즉 텍스쳐 부분의 고주파 성분을 증폭할 수 있다.
도 10은 도 1에 도시된 선명도 향상 회로의 동작을 설명하기 위한 개념도를 나타내고, 도 11은 도 1에 도시된 선명도 향상 회로의 평균 기울기 보정 값을 계산하는 방법을 설명하기 위한 개념도를 나타내고, 도 12는 도 1에 도시된 선명도 향상 회로의 블록도를 나타낸다.
도 1의 선명도 향상 회로(134)는 복수의 방향들 각각에 대해 에지 부분(EG)에 대한 1차 미분 값과 2미분 값을 조합하여 기울기 보정 값(PSk, k는 자연수)을 계산하고, 상기 복수의 방향들 각각에 대한 기울기 보정 값(PSk)을 평균하여 평균 기울기 보정 값(PS)을 계산한다.
본 발명의 실시 예에 따른 선명도 향상 회로(134)는 선명도를 향상시키기 위해 반복 방법(iteration method)을 사용하지 않는다.
하나의 방향에 대해, 선명도 향상 회로(134)는 제1고해상도 이미지(HRI1)에 포함된 에지 부분(EG)을 1차 미분한 후(도 10의 (a) 및 도 12의 1차 미분 회로 (134-1)), 1차 미분된 에지 부분을 2차 미분한다(도 10의 (b) 및 도 12의 2차 미분 회로(134-3)). 실시 예에 따라, 도 12의 2차 미분 회로(134-3))는 제1고해상도 이미지(HRI1)에 포함된 에지 부분(EG)을 2차 미분할 수 있다.
그리고, 선명도 향상 회로(134)는 1차 미분 값과 2차 미분 값을 조합하여 에지 부분(EG)의 기울기 보정 값(PS1)을 계산한다(도 10의 (d) 및 도 12의 가산기(134-6)).
각각의 구간마다, 선명도 향상 회로(134)는 1차 미분 값의 부호와 2차 미분 값의 부호를 곱하여 부호를 결정한 후, 결정된 부호를 1차 미분 값에 곱하여 중간 값(SL)을 계산할 수 있다(도 10의 (c)).
예컨대, 제1부호 결정 회로(134-2)는 1차 미분 회로(134-01)의 출력 신호 (Gradient)의 부호를 결정한다. 제2부호 결정 회로(134-4)는 2차 미분 회로(134-3)의 출력 신호(Laplacian)의 부호를 결정한다.
곱셈기(134-5)는 제1부호 결정 회로(134-2)에 의해서 결정된 부호, 제2부호 결정 회로(134-4)에 의해 결정된 부호, 및 1차 미분 회로(134-01)의 출력 신호 (Gradient)를 수신하고 이들을 곱한다(도 10의 (c)).
선명도 향상 회로(134)는 중간값(SL)과 2차 미분 값을 더하여 하나의 방향에 대한 기울기 보정 값(PS1)을 계산한다. 예컨대, 가산기(134-6)는 곱셈기(134-5)의 출력 신호(SL)와 2차 미분 회로(134-3)의 출력 신호(Laplacian)를 가산하고(도 10의 (d)), 가산 결과에 따라 하나의 방향에 대한 기울기 보정 값(PS1)을 출력한다.
각각의 방향에 대한 에지 부분의 기울기 보정 값을 계산하는 과정들은 도 10의 (a)부터 도 10의 (d)에 상세히 도시되어 있다.
4개의 방향들 각각에 대한 에지 부분의 기울기 보정 값(PSk, k=1, 2, 3, 및 4)을 계산하는 과정들은 도 10과 도 11을 참조하여 상세히 설명된다.
4개의 방향들 각각에 대한 평균 기울기 보정 값(PS)은 수학식 3에 따라 계산된다.
[수학식 3]
Figure 112012054476519-pat00002
즉, PS = (PS1 +
Figure 112012054476519-pat00003
PS2 + PS3 +
Figure 112012054476519-pat00004
PS4)/4
여기서, PS1, PS2, PS3, 및 PS4 각각은 방향 1(Direction 1), 방향 2 (Direction 2), 방향 3(Direction 3), 및 방향 4(Direction 4) 각각에 대한 기울기 보정 값을 나타낸다. 또한, 좌표 (x, y)를 갖는 중앙의 픽셀은 에지 부분에 포함된 픽셀을 의미하고, (xk, yk, k=1, 2, 3, 및 4)는 주변 픽셀들 각각의 좌표를 의미한다.
예컨대, 평균 기울기 보정 값 계산 회로(134-7)는 4개의 방향들 각각에 대한 평균 기울기 보정 값(PS)을 수학식 3에 따라 계산할 수 있다.
물론, 평균 기울기 보정 값 계산 회로(134-7)는 5개 방향 이상에 대한 평균 기울기 보정 값(PS)을 수학식 3에 따라 계산할 수 있다.
도 10의 (e)에 도시된 바와 같이, 도 1의 감산기(138)는 제1고해상도 이미지 (HRI1=A)로부터 평균 기울기 보정 값(PS)을 빼서 원래 에지의 기울기를 보정하고 보정된 에지를 계산한다.
도 1을 다시 참조하면, 화질 향상 회로(130)의 가산기(136)는 디테일 향상 회로(132)에 의해 추출된 고주파 성분(PD)과 선명도 향상 회로(134)에 의해 계산된 평균 기울기 보정 값(PS)을 가산한다.
화질 향상 회로(130)의 감산기(138)는 제1고해상도 이미지(HRI1)로부터, 추출된 고주파 성분(PD)과 평균 기울기 보정 값(PS)을 감산하고, 감산 결과로서 디테일과 선명도가 향상된 제2고해상도 이미지(HRI2=HRI1-(PD+PS))를 출력한다.
제1고해상도 이미지(HRI1)에 따라, 추출된 고주파 성분(PD)이 존재하지 않을 수도 있고 평균 기울기 보정 값(PS)이 존재하지 않을 수도 있다.
이때, 가산기(136)와 감산기(138)는 제1고해상도 이미지(HRI1)의 디테일 및/또는 선명도를 조절하기 위한 조절 회로로서의 기능을 수행한다.
보정 회로(114)는 저해상도 이미지(LRI)에 포함된 제1영역들 각각에 대한 정보(INF)를 이용하여, 제2고해상도 이미지(HRI2)에 포함된 제2영역들 각각을 선택적으로 보정할 수 있다. 이때, 제2영역들 각각은 제1영역들 각각에 대응된다.
보정 회로(114)는 맵 생성 회로(112)와 왜곡 보정 회로(140)를 포함한다.
맵 생성 회로(112)는 제1영역들 각각에서 왜곡이 발생할 가능성이 있는지를 지시하는 정보(INF)를 포함하는 맵(map)을 생성할 수 있다.
왜곡 보정 회로(140)는 정보(INF)에 기초하여 제2고해상도 이미지(HRI2)의 특정 영역을 그대로 출력하거나 또는 클램프된(또는 보정된) 특정 영역을 출력할 수 있다.
도 13은 도 1에 도시된 맵 생성 회로의 동작을 설명하기 위한 개념도를 나타내고, 도 14는 도 1에 도시된 맵 생성 회로의 회로도를 나타낸다.
도 1을 참조하면, 맵 생성 회로(112)는 저해상도 이미지(LRI)에서 왜곡이 발생할 가능성이 있는 영역들 각각에 대한 정보(INF)를 포함하는 맵을 생성할 수 있다.
제1고해상도 이미지(HRI1)의 디테일과 선명도가 향상되면, 제1고해상도 이미지(HRI1)의 일부 영역에서 과도하게 고주파 성분이 강조(또는 증폭)되어 왜곡, 예컨대 노이즈와 링깅이 발생할 수 있다.
상기 노이즈는 값의 변화가 적은 평탄한 영역에서 발생하기 쉽고, 상기 링깅은 값의 변화가 큰 에지 부분에서 발생하기 쉽다. 여기서, 값은 RGB 값일 수 있다.
맵 생성 회로(112)는 왜곡 보정 회로(140)에서 왜곡, 예컨대 노이즈와 링깅이 제거될 수 있도록 왜곡이 발생할 가능성이 큰 영역에 대한 정보(INF)를 생성할 수 있다.
노이즈와 링깅이 발생할 수 있는 영역들 각각을 고해상도 이미지로부터 찾는 것보다 저해상도 이미지로부터 찾는 것이 더 효율적이고 연산량이 적다.
노이즈가 발생할 가능성이 있는 평탄한 영역 또는 링깅이 발생할 가능성이 있는 에지 영역의 경우, 상기 영역에 포함된 인접 픽셀들 각각의 값의 변화는 적다.
도 13을 참조하면, 고해상도 이미지에 포함된 특정 영역의 처리 픽셀(PP)에서 왜곡이 발생할 가능성이 있는지를 판단하기 위해, 처리 픽셀(PP)에 인접하는 16개의 저해상도 픽셀들이 사용된다. 이때, 상기 16개의 저해상도 픽셀들은 상기 특정 영역에 대응되는 저해상도 이미지의 특정 영역에 포함된다.
맵 생성 회로(112)는 16개의 저해상도 픽셀들 각각의 밝기를 계산할 수 있다. 상기 밝기는 밝기 계산 회로(116-1)에 의해 픽셀별로 계산될 수 있다.
계산된 밝기는 각 밝기 차이 계산 회로(116-2와 116-3)로 전송될 수 있다.
도 13의 (a)에 도시된 바와 같이, 맵 생성 회로(112)는 가로 방향으로 인접하는 대응되는 두 개의 픽셀들 사이의 밝기 차이 값들(IL1~IL12)을 계산할 수 있다. 예컨대, 밝기 차이 값들(IL1~IL12)은 제1밝기 차이 계산 회로(116-2)에 의해 계산될 수 있다.
또한, 도 13의 (b)에 도시된 바와 같이, 맵 생성 회로(112)는 세로 방향으로 인접하는 대응되는 두 개의 픽셀들 사이의 밝기 차이 값들(IR1~IR12)을 계산할 수 있다. 예컨대, 밝기 차이 값들(IR1~IR12)은 제2밝기 차이 계산 회로(116-3)에 의해 계산될 수 있다.
맵 생성 회로(112)는 밝기 차이 값들(IL1~IL12, 및 IR1~IR12) 각각과 기준 밝기 값을 비교하고, 비교 결과에 대응되는 카운트 값을 계산할 수 있다.
예컨대, 맵 생성 회로(112)는 밝기 차이 값들(IL1~IL12, 및 IR1~IR12) 중에서 상기 기준 밝기 값보다 작은 값을 갖는 개수를 카운트하여 카운트 값을 계산할 수 있다.
예컨대, 제1카운트 회로(116-4)는 기준 밝기 값과 제1밝기 차이 계산 회로 (116-2)로부터 출력된 밝기 차이 값들(IL1~IL12) 각각을 비교하고 비교 결과에 대응되는 제1카운트 값을 계산할 수 있다. 예컨대, 제1카운트 회로(116-4)는 밝기 차이 값들(IL1~IL12) 중에서 기준 밝기 값보다 작은 값을 갖는 개수를 카운트하여 제1카운트 값을 계산할 수 있다.
예컨대, 제2카운트 회로(116-5)는 상기 기준 밝기 값과 제2밝기 차이 계산 회로(116-3)로부터 출력된 밝기 차이 값들(IR1~IR12) 각각을 비교하고 비교 결과에 대응되는 제2카운트 값을 계산할 수 있다. 예컨대, 제2카운트 회로(116-5)는 밝기 차이 값들(IR1~IR12) 중에서 기준 밝기 값보다 작은 값을 갖는 개수를 카운트하여 제2카운트 값을 계산할 수 있다.
그리고, 상기 제1카운트 값과 상기 제2카운트 값의 합이 기준 카운트 값보다 클 때, 맵 생성 회로(112)는 처리 픽셀(PP)이 노이즈를 발생시킬 가능성이 있는 평탄한 영역에 존재하거나 링깅을 발생시킬 가능성이 있는 에지 영역에 존재한다고 판단할 수 있다. 예컨대, 결정 회로(116-6)는 처리 픽셀(PP)이 노이즈를 발생시킬 가능성이 있는 평탄한 영역에 존재하거나 링깅을 발생시킬 가능성이 있는 에지 영역에 존재한다고 판단할 수 있다.
따라서, 맵 생성 회로(112), 예컨대 결정 회로(116-6)는 처리 픽셀(PP)을 포함하는 영역(즉, 고해상도 이미지의 영역)에서 왜곡이 발생할 가능성이 있음을 지시하는 정보(INF)를 생성할 수 있다. 예컨대, 정보(INF)는 데이터 "1"로 설정될 수 있다.
그러나, 상기 카운트 값이 기준 카운트 값보다 작거나 같을 때, 맵 생성 회로(112), 예컨대 결정 회로(116-6)는 처리 픽셀(PP)을 포함하는 영역에서 왜곡이 발생할 가능성이 없음을 지시하는 정보(INF)를 생성할 수 있다. 예컨대, 정보(INF)는 데이터 "0"으로 설정될 수 있다.
맵 생성 회로(112)는 저해상도 이미지(LRI)에 포함된 모든 영역들 각각에 대한 정보(INF)를 포함하는 맵을 생성할 수 있다. 상기 맵에 포함된 정보(INF)는 왜곡 보정 회로(140)로 순차적으로 전송될 수 있다. 실시 예에 따라, 정보(INF)는 별도의 메모리에 저장될 수도 있다.
도 15는 도 1에 도시된 왜곡 보정 회로의 동작을 설명하기 위한 개념도를 나타내고, 도 16은 도 1에 도시된 왜곡 보정 회로의 회로도를 나타낸다.
이하 설명의 편의를 위해, 저해상도 이미지(LRI)에 포함된 각각의 영역을 간단히 "제1영역"이라 하고, 노이즈 및/또는 링깅을 포함하는 제2고해상도 이미지 (HRI2)에 포함된 각각의 영역을 간단히 "제2영역"이라 하고, 노이즈 및/또는 링깅을 포함하지 않는 제1고해상도 이미지(HRI1)에 포함된 각각의 영역을 간단히 "제3영역"이라 한다.
또한, 상기 제2영역과 상기 제3영역 각각은 상기 제1영역에 서로 대응된다고 가정하고, 상기 제2영역과 상기 제3영역은 서로 대응된다고 가정한다.
또한, 시간적으로 동기된 제1고해상도 이미지(HRI1)의 제3영역과 제2고해상도 이미지(HRI2)의 제2영역은 왜곡 보정 회로(140)로 동시에 공급된다고 가정한다.
정보(INF)가 데이터 "0"일 때, 왜곡 보정 회로(140)는 제2영역을 그대로 출력한다. 그러나, 정보(INF)가 데이터 "1"일 때, 왜곡 보정 회로(140)는 제3영역을 참조하여 제2영역을 클램프(또는 보정)하고, 클램프된(또는 보정된) 제2영역을 출력한다.
도 15의 (a)에 도시된 바와 같이, 왜곡 타입이 노이즈(Noise)일 때, 왜곡 보정 회로(140)는 데이터 "1"(INF=1)에 대응되는, 즉 왜곡이 발생할 가능성이 있는 각 영역(R11과 R12)에 대해서만 왜곡을 제거(또는 보정)한다.
예컨대, 제2고해상도 이미지(HRI2)의 영역(R11)은 예컨대, 클램프 회로(140-2)에 의해 제1고해상도 이미지(HRI1)의 최소값과 최대값 중의 어느 하나, 예컨대 최대값으로 클램프된다. 즉, 제2고해상도 이미지(HRI2)의 영역(R11)에 포함된 처리 픽셀의 값은 영역(R11)에 대응되는 제1고해상도 영역의 픽셀의 최대값으로 클램프된다.
또한, 제2고해상도 이미지(HRI2)의 영역(R12)은 예컨대, 클램프 회로(140-2)에 의해 제1고해상도 이미지(HRI1)의 최소값과 최대값 중의 어느 하나, 예컨대 최소값으로 클램프된다. 즉, 제2고해상도 이미지(HRI2)의 영역(R12)에 포함된 처리 픽셀의 값은 영역(R12)에 대응되는 제1고해상도 영역의 픽셀의 최소값으로 클램프된다.
최대값/최소값 검출 회로(140-1)는 제1고해상도 이미지(HRI1)의 영역별로 최대값과 최소값을 검출하고, 검출된 최대값과 검출된 최소값을 클램프 회로(140-2)로 전송할 수 있다.
클램프 회로(140-2)는 최대값/최소값 검출 회로(140-1)에 의해 검출된 최대값과 최소값의 범위 내에서 제2고해상도 이미지(HRI2)의 영역별로 클램프할 수 있다.
예컨대, 정보(INF)가 데이터 "1"일 때, 왜곡 보정 회로(140), 예컨대, 클램프 회로(140-2)는 제2고해상도 이미지(HRI2)의 각 영역(R11과 R12)에 대응되는 제1고해상도 이미지(HRI1)의 각 영역을 참조하여 제2고해상도 이미지(HRI2)의 각 영역 (R11과 R12)을 클램프하고 클램프된 영역을 출력한다.
도 15의 (b)에 도시된 바와 같이, 왜곡 타입이 링깅(Ringing)일 때, 왜곡 보정 회로(140)는 데이터 "1"(INF=1)에 대응되는, 즉 왜곡이 발생할 가능성이 있는 각 영역(R21과 R22)에 대해서만 왜곡을 제거(또는 보정)한다.
예컨대, 제2고해상도 이미지(HRI2)의 영역(R21)은 예컨대, 클램프 회로(140-2)에 의해 제1고해상도 이미지(HRI1)의 최소값(Min1)과 최대값(Max1) 중의 어느 하나, 예컨대 최소값(Min1)으로 클램프된다. 즉, 제2고해상도 이미지(HRI2)의 영역 (R21)에 포함된 처리 픽셀의 값은 영역 (R21)에 대응되는 제1고해상도 영역의 픽셀의 최소값으로 클램프된다.
또한, 제2고해상도 이미지(HRI2)의 영역(R22)은 예컨대, 클램프 회로(140-2)에 의해 제1고해상도 이미지(HRI1)의 최소값(Min2)과 최대값(Max2) 중의 어느 하나, 예컨대 최대값(Max2)으로 클램프된다. 즉, 제2고해상도 이미지(HRI2)의 영역 (R22)에 포함된 처리 픽셀의 값은 영역(R22)에 대응되는 제1고해상도 영역의 픽셀의 최대값으로 클램프된다.
예컨대, 정보(INF)가 데이터 "1"(INF=1)일 때, 왜곡 보정 회로(140)는 제2고해상도 이미지(HRI2)의 각 제2영역(R21과 R22)에 대응되는 제1고해상도 이미지 (HRI1)의 각 제3영역을 참조하여 제2고해상도 이미지(HRI2)의 각 제2영역(R21과 R22)을 클램프하고 클램프된 영역을 출력한다.
상술한 바와 같이, 왜곡 보정 회로(140)는 데이터 "0"(INF=0)에 대응되는 각 영역, 즉 제2고해상도 이미지(HRI2)의 각 영역을 그대로 출력한다. 그러나, 왜곡 보정 회로(140)는 데이터 "1"(INF=1)에 대응되는 각 영역, 즉 제2고해상도 이미지(HRI2)의 각 영역을 클램프하고 클램프된 영역을 출력한다.
예컨대, 데이터 "0"을 갖는 정보(INF)에 따라, 선택 회로(140-3)는 제1입력 포트(IN1)로 입력된 제2고해상도 이미지(HRI2)의 각 영역을 바이패스할 수 있다.
그러나, 데이터 "1을 갖는 정보(INF)에 따라, 선택 회로(140-3)는 제2력 포트 IN2)로 입력된 클램프 회로(140-2)의 출력 신호를 출력할 수 있다.
왜곡 보정 회로(140)는 저해상도 영역(LRI)에 포함된 각 영역에 대한 정보에 따라 제2고해상도 이미지(HRI2)에 포함된 각 영역을 선택적으로 보정(또는 클램프) 할 수 있다.
도 17은 도 1에 도시된 이미지 해상도 변환 장치를 포함하는 전자 장치의 일 실시 예를 나타내는 블록도이다.
도 1과 도 17을 참조하면, 전자 장치(200)는 이미지 해상도 변환 장치 (100), CPU(210), 메모리(220), 디스플레이 컨트롤러(230), 및 디스플레이(240)를 포함한다.
전자 장치(200)는 TV(television), IP(internet protocol)TV, 모바일 (mobile) IPTV, 또는 3D TV로 구현될 수 있다.
CPU(210)는 각 구성 요소(100, 220, 및 230)의 동작을 제어한다.
CPU(210)의 제어에 따라, 메모리(220)에 저장된 저해상도 이미지(LRI)는 이미지 해상도 변환 장치(100)로 전송된다.
이미지 해상도 변환 장치(100)는 저해상도 이미지(LRI)로부터 왜곡이 발생할 가능성이 있는 적어도 하나의 영역에 대한 정보를 생성하고, 상기 정보에 기초하여 왜곡을 포함하지 않는 고해상도 이미지를 참조하여 디테일-선명도 향상된 고해상도 이미지의 왜곡을 제거할 수 있다.
CPU(210)의 제어에 따라, 디스플레이 컨트롤러(230)는 이미지 해상도 변환 장치(100)로부터 출력된 고해상도 이미지(HRIF)를 디스플레이(240)로 전송할 수 있다.
따라서, 디스플레이(240)는 디스플레이 컨트롤러(230)의 제어에 따라 이미지 해상도 변환 장치(100)로부터 출력된 고해상도 이미지(HRIF)를 디스플레이할 수 있다.
디스플레이(240)는 FTF-LCD(thin film transistor-liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, 또는 AMOLED(active-matrix OLED) 디스플레이로 구현될 수 있다.
도 18은 도 1에 도시된 이미지 해상도 변환 장치를 포함하는 전자 장치의 다른 실시 예를 나타내는 블록도이다.
디스플레이(241)의 크기를 제외하면, 도 17의 전자 장치(300)의 구조와 도 18의 전자 장치의 구조를 실질적으로 동일하다.
전자 장치(300)는 휴대용 장치(portable device)로 구현될 수 있다.
상기 휴대용 장치는 랩탑 컴퓨터(laptop computer), 이동 전화기, 스마트 폰 (smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), 또는 e-북(e-book)으로 구현될 수 있다.
도 19는 도 1에 도시된 이미지 해상도 변환 장치의 동작을 설명하기 위한 플로우차트이다.
각 라인 메모리(101, 125, 및 125)를 제외하고, 도 1에 도시된 이미지 해상도 변환 장치(100)에 포함된 각 구성 요소(110, 116, 120, 130, 및 140)의 동작과 기능은 소프트웨어로 구현될 수 있다. 상기 소프트웨어로 구현된 기능적 블록을 모듈(module)이라 한다. 상기 소프트웨어는 컴퓨터로 읽을 수 있는 프로그램 코드로 작성되어 컴퓨터로 읽을 수 있는 기록 매체, 예컨대 컴퓨터 프로그램 제품 (computer program product)으로 구현될 수 있다.
해상도 변환 회로(110) 또는 해상도 변환 모듈은 저해상도 이미지(LRI)를 고해상도 이미지(HRI)로 변환한다(S110).
맵 생성 회로(116) 또는 맵 생성 모듈은 저해상도 이미지(LRI)에서 왜곡이 발생할 가능성이 있는 영역에 대한 정보(INF)를 생성한다(S120).
시각적 아티팩트 제거 회로(120) 또는 시각적 아티팩트 제거 모듈은 제1고해상도 이미지(HRI1)를 생성하기 위해 고해상도 이미지(HRI)에 포함된 시각적 아티팩트를 제거한다(S130).
화질 향상 회로(130) 또는 화질 향상 모듈은 제2해상도 이미지(HRI2)를 생성하기 위해 제1고해상도 이미지(HRI1)의 디테일과 선명도를 향상한다(S140).
왜곡 보정 회로(140) 또는 왜곡 보정 모듈은 정보(INF)를 이용하여 제2해상도 이미지(HRI2)에 포함된 왜곡을 보정하고, 왜곡 보정된 이미지(HRIF)를 생성한다 (S150).
디테일 향상 회로(132)는 디스플레이 드라이버 IC에 사용될 수도 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100; 이미지 해상도 변환 장치
110; 해상도 변환 장치
112; 화질 보정 회로
114; 보정 회로
120; 시각적 아티팩트 제거 회로
122; 물결 현상 제거 회로
124; 계단 현상 억제 회로
130; 화질 향상 회로
132; 디테일 향상 회로
134; 선명도 향상 회로
136; 가산기
138; 감산기
140; 왜곡 보정 회로

Claims (20)

  1. 저해상도 이미지를 고해상도 이미지로 변환하는 단계;
    상기 고해상도 이미지의 화질을 보정하여 제2고해상도 이미지를 생성하는 단계; 및
    상기 저해상도 이미지에 포함된 제1영역에 대한 정보를 이용하여, 상기 제2고해상도 이미지에 포함되고 상기 제1영역에 대응되는 제2영역을 선택적으로 보정하는 단계를 포함하고,
    상기 제2고해상도 이미지를 생성하는 단계는,
    제1고해상도 이미지를 생성하기 위해, 상기 고해상도 이미지에 포함된 시각적 아티팩트를 제거하는 단계; 및
    상기 제2고해상도 이미지를 생성하기 위해, 상기 제1고해상도 이미지의 디테일과 선명도를 향상시키는 단계를 포함하고,
    상기 디테일과 상기 선명도를 향상시키는 단계는,
    상기 제1고해상도 이미지에 포함된 텍스쳐 부분의 고주파 성분을 추출하는 단계;
    상기 제1고해상도 이미지에 포함된 에지 부분의 평균 기울기 보정 값을 계산하는 단계; 및
    추출된 고주파 성분과 상기 평균 기울기 보정 값을 이용하여 상기 디테일과 상기 선명도를 조절하는 단계를 포함하고,
    상기 고주파 성분을 추출하는 단계는,
    상기 제1고해상도 이미지를 저역 통과 필터링하는 단계;
    상기 제1고해상도 이미지를 고역 통과 필터링하는 단계; 및
    상기 고주파 성분을 추출하기 위해, 저역 통과 필터된 제1고해상도 이미지와 고역 통과 필터된 제1고해상도 이미지의 차이를 계산하는 단계를 포함하는 이미지 해상도 변환 방법.
  2. 삭제
  3. 저해상도 이미지를 고해상도 이미지로 변환하는 해상도 변환 회로;
    상기 고해상도 이미지의 화질을 보정하여 제2고해상도 이미지를 생성하는 화질 보정 회로; 및
    상기 저해상도 이미지에 포함된 제1영역에 대한 정보를 이용하여, 상기 제2고해상도 이미지에 포함되며 상기 제1영역에 대응되는 제2영역을 선택적으로 보정하는 보정 회로를 포함하고,
    상기 화질 보정 회로는,
    상기 고해상도 이미지에 포함된 시각적 아티팩트를 제거하여 제1고해상도 이미지를 생성하는 시각적 아티팩트 제거 회로; 및
    상기 제1고해상도 이미지의 디테일과 선명도를 향상시켜 상기 제2고해상도 이미지를 생성하는 화질 향상 회로를 포함하고,
    상기 화질 향상 회로는,
    상기 제1고해상도 이미지에 포함된 텍스쳐 부분의 고주파 성분을 추출하는 디테일 향상 회로;
    상기 제1고해상도 이미지에 포함된 에지 부분의 평균 기울기 보정 값을 계산하는 선명도 향상 회로; 및
    상기 디테일 향상 회로로부터 출력된 고주파 성분과 상기 선명도 향상 회로로부터 출력된 상기 평균 기울기 보정 값을 이용하여 상기 디테일과 상기 선명도를 조절하는 조절 회로를 포함하고,
    상기 디테일 향상 회로는,
    상기 제1고해상도 이미지를 저역 통과 필터링하는 저역 통과 필터;
    상기 제1고해상도 이미지를 고역 통과 필터링하는 고역 통과 필터; 및
    상기 고주파 성분을 추출하기 위해, 상기 저역 통과 필터에 의해 저역 통과 필터된 제1고해상도 이미지와 상기 고역 통과 필터에 의해 고역 통과 필터된 제1고해상도 이미지의 차이를 계산하는 감산기를 포함하는 이미지 해상도 변환 장치.
  4. 삭제
  5. 제3항에 있어서, 상기 시각적 아티팩트 제거 회로는,
    상기 고해상도 이미지에 포함된 픽셀들 중에서 처리 픽셀의 값을 상기 처리 픽셀에 인접하는 상기 저해상도 이미지의 픽셀들 각각의 값의 최소값과 최대값의 범위 내로 클램프하여 링깅을 제거하는 링깅 제거 회로; 및
    상기 링깅 제거 회로로부터 출력된 링깅 제거된 고해상도 이미지에 포함된 에지의 방향을 검출하고, 검출된 방향에서 상기 링깅 제거된 고해상도 이미지에 포함된 픽셀들 중에서 처리 픽셀의 값과 상기 픽셀들 중에서 상기 처리 픽셀의 주변 픽셀들 각각의 값을 혼합하여 재깅을 억제하는 재깅 억제 회로를 포함하는 이미지 해상도 변환 장치.
  6. 삭제
  7. 저해상도 이미지를 고해상도 이미지로 변환하는 해상도 변환 회로;
    상기 고해상도 이미지의 화질을 보정하여 제2고해상도 이미지를 생성하는 화질 보정 회로; 및
    상기 저해상도 이미지에 포함된 제1영역에 대한 정보를 이용하여, 상기 제2고해상도 이미지에 포함되며 상기 제1영역에 대응되는 제2영역을 선택적으로 보정하는 보정 회로를 포함하며,
    상기 보정 회로는,
    상기 제1영역에서 왜곡이 발생할 가능성이 있는지를 지시하는 정보를 포함하는 맵을 생성하는 맵 생성 회로; 및
    상기 정보에 기초하여 상기 제2영역 또는 클램프된 제2영역을 출력하는 왜곡 보정 회로를 포함하고,
    상기 화질 보정 회로는,
    상기 고해상도 이미지에 포함된 시각적 아티팩트를 제거하여 제1고해상도 이미지를 생성하는 시각적 아티팩트 제거 회로; 및
    상기 제1고해상도 이미지의 디테일과 선명도를 향상시켜 상기 제2고해상도 이미지를 생성하는 화질 향상 회로를 포함하고,
    상기 화질 향상 회로는,
    상기 제1고해상도 이미지에 포함된 텍스쳐 부분의 고주파 성분을 추출하는 디테일 향상 회로;
    상기 제1고해상도 이미지에 포함된 에지 부분의 평균 기울기 보정 값을 계산하는 선명도 향상 회로; 및
    상기 디테일 향상 회로로부터 출력된 고주파 성분과 상기 선명도 향상 회로로부터 출력된 상기 평균 기울기 보정 값을 이용하여 상기 디테일과 상기 선명도를 조절하는 조절 회로를 포함하고,
    상기 디테일 향상 회로는,
    상기 제1고해상도 이미지를 저역 통과 필터링하는 저역 통과 필터;
    상기 제1고해상도 이미지를 고역 통과 필터링하는 고역 통과 필터; 및
    상기 고주파 성분을 추출하기 위해, 상기 저역 통과 필터에 의해 저역 통과 필터된 제1고해상도 이미지와 상기 고역 통과 필터에 의해 고역 통과 필터된 제1고해상도 이미지의 차이를 계산하는 감산기를 포함하는 이미지 해상도 변환 장치.
  8. 제7항에 있어서, 상기 맵 생성 회로는,
    상기 고해상도 이미지의 처리 픽셀에 인접하며 상기 제1영역에 포함된 픽셀들 사이의 밝기 차이 값들 각각과 기준 밝기 값을 비교하고, 비교 결과에 대응되는 카운트 값을 계산하고, 상기 카운트 값과 기준 카운트 값의 비교 결과에 따라 상기 처리 픽셀이 상기 제1영역에 포함되는지의 여부를 나타내는 상기 정보를 생성하는 이미지 해상도 변환 장치.
  9. 메모리; 및
    상기 메모리로부터 출력된 저해상도 이미지를 처리할 수 있는 이미지 해상도 변환 장치를 포함하며,
    상기 이미지 해상도 변환 장치는,
    저해상도 이미지를 고해상도 이미지로 변환하는 해상도 변환 회로;
    상기 고해상도 이미지의 화질을 보정하여 제2고해상도 이미지를 생성하는 화질 보정 회로; 및
    상기 저해상도 이미지에 포함된 제1영역들 각각에 대한 정보를 이용하여, 상기 제2고해상도 이미지에 포함되며 상기 제1영역들 각각에 대응되는 제2영역들 각각을 선택적으로 보정하는 보정 회로를 포함하고,
    상기 화질 보정 회로는,
    상기 고해상도 이미지에 포함된 시각적 아티팩트를 제거하여 제1고해상도 이미지를 생성하는 시각적 아티팩트 제거 회로; 및
    상기 제1고해상도 이미지의 디테일과 선명도를 향상시켜 상기 제2고해상도 이미지를 생성하는 화질 향상 회로를 포함하고,
    상기 화질 향상 회로는,
    상기 제1고해상도 이미지에 포함된 텍스쳐 부분의 고주파 성분을 추출하는 디테일 향상 회로;
    상기 제1고해상도 이미지에 포함된 에지 부분의 평균 기울기 보정 값을 계산하는 선명도 향상 회로; 및
    상기 디테일 향상 회로로부터 출력된 고주파 성분과 상기 선명도 향상 회로로부터 출력된 상기 평균 기울기 보정 값을 이용하여 상기 디테일과 상기 선명도를 조절하는 조절 회로를 포함하고,
    상기 디테일 향상 회로는,
    상기 제1고해상도 이미지를 저역 통과 필터링하는 저역 통과 필터;
    상기 제1고해상도 이미지를 고역 통과 필터링하는 고역 통과 필터; 및
    상기 고주파 성분을 추출하기 위해, 상기 저역 통과 필터에 의해 저역 통과 필터된 제1고해상도 이미지와 상기 고역 통과 필터에 의해 고역 통과 필터된 제1고해상도 이미지의 차이를 계산하는 감산기를 포함하는 전자 장치.
  10. 제9항에 있어서,
    상기 전자 장치는 TV, 3차원 TV, 스마트폰, 또는 태블릿 PC (tablet personal computer)로 구현되는 전자 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020120074294A 2012-07-09 2012-07-09 이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치 KR101934261B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120074294A KR101934261B1 (ko) 2012-07-09 2012-07-09 이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치
US13/838,343 US9384533B2 (en) 2012-07-09 2013-03-15 Method and device for converting image resolution, and electronic device having the device
CN201310286639.6A CN103546664A (zh) 2012-07-09 2013-07-09 转换图像分辨率的方法和装置以及具有该装置的电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120074294A KR101934261B1 (ko) 2012-07-09 2012-07-09 이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20140007511A KR20140007511A (ko) 2014-01-20
KR101934261B1 true KR101934261B1 (ko) 2019-01-03

Family

ID=49878187

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120074294A KR101934261B1 (ko) 2012-07-09 2012-07-09 이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치

Country Status (3)

Country Link
US (1) US9384533B2 (ko)
KR (1) KR101934261B1 (ko)
CN (1) CN103546664A (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014241584A (ja) * 2013-05-14 2014-12-25 パナソニックＩｐマネジメント株式会社 画像処理方法、及び画像処理システム
WO2015084966A2 (en) * 2013-12-04 2015-06-11 Razzor Technologies Inc. Adaptive sharpening in image processing and display
CN104200766B (zh) * 2014-08-27 2017-02-15 深圳市华星光电技术有限公司 画面补偿方法及具有画面补偿的显示器
JP6542524B2 (ja) * 2014-10-29 2019-07-10 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、およびプログラム
KR102519803B1 (ko) 2016-04-11 2023-04-10 삼성전자주식회사 촬영 장치 및 그 제어 방법
KR102351083B1 (ko) * 2017-08-30 2022-01-13 삼성전자주식회사 디스플레이 장치 및 그 영상 처리 방법
KR102052728B1 (ko) * 2017-12-20 2020-01-08 신건우 Adc 측정범위의 확장방법 및 장치
US11004178B2 (en) 2018-03-01 2021-05-11 Nvidia Corporation Enhancing high-resolution images with data from low-resolution images
US20200304752A1 (en) * 2019-03-20 2020-09-24 GM Global Technology Operations LLC Method and apparatus for enhanced video display
WO2021015318A1 (ko) * 2019-07-22 2021-01-28 신동균 해상도가 개선된 열화상 생성 방법 및 장치
US11176643B1 (en) 2020-05-04 2021-11-16 Apple Inc. Circuit for correcting chromatic aberration through sharpening
US12136202B2 (en) * 2021-09-29 2024-11-05 Ati Technologies Ulc Content adaptive filtering via ringing estimation and suppression

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140460A (ja) * 2008-11-13 2010-06-24 Sony Corp 画像処理装置および方法、並びにプログラム
JP2010212782A (ja) * 2009-03-06 2010-09-24 Toshiba Corp 画像鮮鋭化装置、画像鮮鋭化方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0669598B1 (en) * 1994-02-28 1999-10-27 STMicroelectronics S.r.l. Filter for reducing noise and exalting image digital signals edges according to fuzzy logic
US6674903B1 (en) * 1998-10-05 2004-01-06 Agfa-Gevaert Method for smoothing staircase effect in enlarged low resolution images
US6717622B2 (en) * 2001-03-30 2004-04-06 Koninklijke Philips Electronics N.V. System and method for scalable resolution enhancement of a video image
US8544005B2 (en) * 2003-10-28 2013-09-24 International Business Machines Corporation Autonomic method, system and program product for managing processes
CN2686242Y (zh) * 2004-04-02 2005-03-16 深圳市方向科技有限公司 以低分辨率的节目源实现高清数字电视广播装置
KR100587143B1 (ko) * 2004-05-06 2006-06-08 매그나칩 반도체 유한회사 영상 신호의 에지 검출 방법
JP4534594B2 (ja) * 2004-05-19 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
KR20050121148A (ko) * 2004-06-21 2005-12-26 삼성전자주식회사 영상보간방법 및 영상보간장치
GB2423660B (en) * 2005-02-25 2010-08-18 Imagination Tech Ltd A method and apparatus for controlling overshoot in a video enhancement system
US7876973B2 (en) 2006-01-12 2011-01-25 Integrity Applications Incorporated Edge ringing artifact suppression methods and apparatuses
JP4683294B2 (ja) * 2006-03-16 2011-05-18 ソニー株式会社 画像処理装置および方法、プログラム記録媒体、並びにプログラム
US8081838B2 (en) * 2007-03-16 2011-12-20 Massachusetts Institute Of Technology System and method for providing two-scale tone management of an image
JP2009037460A (ja) * 2007-08-02 2009-02-19 Sanyo Electric Co Ltd 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
JP2009212969A (ja) * 2008-03-05 2009-09-17 Toshiba Corp 画像処理装置、画像処理方法、及び画像処理プログラム
KR100952667B1 (ko) * 2008-03-20 2010-04-13 중앙대학교 산학협력단 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법
US8300948B2 (en) * 2008-11-28 2012-10-30 Broadcom Corporation De-ringing operation for image processing
KR101658772B1 (ko) * 2008-12-19 2016-09-22 가부시키가이샤 한도오따이 에네루기 켄큐쇼 전자기기
KR101548285B1 (ko) * 2009-01-20 2015-08-31 삼성전자주식회사 고해상도 영상 획득 장치 및 그 방법
TWI468020B (zh) * 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
US8554005B1 (en) * 2009-04-02 2013-10-08 Hewlett-Packard Development Company, L.P. Digital image enhancement method and system that embolden or thin image features
US8571355B2 (en) * 2009-08-13 2013-10-29 Samsung Electronics Co., Ltd. Method and apparatus for reconstructing a high-resolution image by using multi-layer low-resolution images
US8330827B2 (en) 2009-11-19 2012-12-11 Eastman Kodak Company Increasing image resolution using combined differential image
CN102111531B (zh) * 2009-12-28 2012-11-14 微盟电子(昆山)有限公司 往返缩放的影像放大方法
JP4991887B2 (ja) * 2010-01-13 2012-08-01 シャープ株式会社 撮像画像処理システム、撮像画像処理システムの制御方法、プログラムおよび記録媒体
JP5366855B2 (ja) * 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム
US8655109B2 (en) * 2011-08-05 2014-02-18 Adobe Systems Incorporated Regression-based learning model for image upscaling
US8483516B2 (en) * 2011-08-16 2013-07-09 National Taiwan University Super resolution system and method with database-free texture synthesis
US8571309B2 (en) * 2011-11-15 2013-10-29 At&T Intellectual Property I, L.P. System and method of image upsampling
US9286658B2 (en) * 2012-03-22 2016-03-15 Qualcomm Incorporated Image enhancement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140460A (ja) * 2008-11-13 2010-06-24 Sony Corp 画像処理装置および方法、並びにプログラム
JP2010212782A (ja) * 2009-03-06 2010-09-24 Toshiba Corp 画像鮮鋭化装置、画像鮮鋭化方法

Also Published As

Publication number Publication date
US20140009469A1 (en) 2014-01-09
KR20140007511A (ko) 2014-01-20
CN103546664A (zh) 2014-01-29
US9384533B2 (en) 2016-07-05

Similar Documents

Publication Publication Date Title
KR101934261B1 (ko) 이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치
CN109978788B (zh) 卷积神经网络生成方法、图像去马赛克方法及相关装置
JP6352617B2 (ja) 映像処理装置及びその方法
TWI406571B (zh) Image Processing Method for Enhancing Image Edge Resolution
US9148580B2 (en) Transforming wide dynamic range images to reduced dynamic range images
US8457433B2 (en) Methods and systems for image noise filtering
US7983511B1 (en) Methods and apparatus for noise reduction in digital images
US8238685B2 (en) Image noise reduction method and image processing apparatus using the same
KR20160064953A (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
US20120230601A1 (en) Image processing apparatus, image processing method, and program
CN106204441B (zh) 一种图像局部放大的方法及装置
CN103873740B (zh) 图像处理装置及信息处理方法
US10255665B2 (en) Image processing device and method, image capturing device, program, and record medium
JP2012068763A (ja) 画像処理装置
KR20150127598A (ko) 이미지 특징들에 의한 주파수 리프팅 초해상도의 제어
US8532373B2 (en) Joint color channel image noise filtering and edge enhancement in the Bayer domain
WO2008102898A1 (ja) 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム
WO2014102876A1 (ja) 画像処理装置、および、画像処理方法
US8031945B2 (en) Image-processing device, image-processing method, program of image-processing method, and recording medium recording program of image-processing method
JP4868249B2 (ja) 映像信号処理装置
JP2010193154A (ja) 画像処理装置および画像処理方法
KR102470242B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
JP2008021219A (ja) 画像処理装置及び方法
JP2010211552A (ja) 画像処理方法及びコンピュータプログラム
JP5327199B2 (ja) 画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120709

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170615

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120709

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180402

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181025

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20181226

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20181227

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20211124

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20221123

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20241126

Start annual number: 7

End annual number: 7