KR102146560B1 - 영상 보정 방법 및 장치 - Google Patents
영상 보정 방법 및 장치 Download PDFInfo
- Publication number
- KR102146560B1 KR102146560B1 KR1020140099973A KR20140099973A KR102146560B1 KR 102146560 B1 KR102146560 B1 KR 102146560B1 KR 1020140099973 A KR1020140099973 A KR 1020140099973A KR 20140099973 A KR20140099973 A KR 20140099973A KR 102146560 B1 KR102146560 B1 KR 102146560B1
- Authority
- KR
- South Korea
- Prior art keywords
- weight
- pixel
- pixels
- image
- determining
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000003702 image correction Methods 0.000 claims abstract description 121
- 238000001914 filtration Methods 0.000 claims description 53
- 239000003086 colorant Substances 0.000 claims description 31
- 230000007423 decrease Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 238000012935 Averaging Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 16
- 230000001965 increasing effect Effects 0.000 description 13
- 230000006866 deterioration Effects 0.000 description 9
- 239000003623 enhancer Substances 0.000 description 5
- 230000002787 reinforcement Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 125000001475 halogen functional group Chemical group 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20008—Globally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
입력 영상을 구성하는 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보를 획득하는 단계, 입력 영상은 픽셀들이 균일하게 분포하는지 여부에 따라 구분되는 복수의 영역들을 포함하고, 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여 픽셀들 중 적어도 하나의 픽셀이 포함되는 영역을 나타내는 가중치를 결정하는 단계, 및 결정된 가중치에 기초하여 입력 영상을 보정하는 단계를 포함하는 영상 보정 방법이 개시된다.
Description
본 개시는 영상을 보정하는 방법 및 장치에 관한 것이다. 구체적으로는, 영상의 전송 또는 처리 과정에서 발생하는 의사 윤곽(false contour) 또는 헤일로(Halo)와 같은 노이즈를 제거함으로써 영상 화질을 개선하기 위한 방법 및 장치에 관한 것이다.
텔레비젼, 포터블 미디어 플레이어(Portable Media player), 스마트폰, 블루-레이 디스크 플레이어(Blu-ray Disc player) 등의 다양한 미디어 재생기에 포함되는 디스플레이를 통해 영상을 표시함에 있어서, 디스플레이의 출력 비트보다 입력 영상 비트가 적은 경우에 의사 윤곽 노이즈가 발생할 수 있다. 특히, 완만한 기울기(smooth gradient)에 따라 픽셀 값들이 변화하는 영역을 포함하는 영상 내에서 의사 윤곽 노이즈가 발생하기 쉽다. 따라서, 의사 윤곽 노이즈의 발생을 방지하고, 의사 윤곽을 제거함으로써 완만한 기울기에 따라 픽셀 값들이 변화하는 영역을 부드럽게 표현할 수 있는 기술의 개발이 요구된다.
종래에는, 관심 픽셀과 이웃하는 이웃 픽셀들의 픽셀 값들이 단조 증가하거나 단조 감소하는지 여부를 판단하고, 관심 픽셀의 픽셀 값과 이웃하는 이웃 픽셀들의 픽셀 값들 간의 변화량에 기초하여, 변화량이 임계값보다 큰 영역을 의사 윤곽을 포함하는 영역으로서 결정하는 기술이 이용되었다.
구체적으로, 종래 기술에 따르면, 관심 픽셀의 픽셀 값과 이웃하는 이웃 픽셀들의 픽셀 값들 간의 변화량을 측정하여 단조 증가 또는 단조 감소일 때, 관심 픽셀이 평탄 영역 내에 포함되는 것으로 판단한다. 그리고, 이웃하는 픽셀들의 픽셀 값들의 변화량이 관심 영역 내에서 단조 증가하다가 일시 감소하거나, 단조 감소하다가 일시 증가하는 경우, 관심 영역 내에 의사 윤곽이 존재하는 것으로 판단된다.
그러나, 종래 기술에 따른 의사 윤곽 검출 방법은, 노이즈가 많이 포함된 일반 방송 영상에서 낮은 정확도를 가질 뿐만 아니라, 영상을 구성하는 픽셀들의 밝기가 전체적으로 어두운 저계조 영상의 경우나, 저계조 영역을 포함하는 영상의 경우에 의사 윤곽을 검출하는 정확도가 급격히 떨어지는 현상이 발생한다. 따라서, 종래 기술에 의하면 의사 윤곽이 정확하게 검출되지 않으므로, 의사 윤곽을 모두 제거하여 영상의 화질이 충분히 개선되는 결과를 기대하기 어렵다.
한편, 대비 강화(Contrast enhancement, CE)란, 입력 영상을 구성하는 픽셀들에 대해 픽셀들의 색상 또는 세기(또는, 밝기)를 변환하는 함수를 적용함으로써, 영상에 포함되는 픽셀들 간의 대비가 크도록 픽셀들의 값을 변화시키는 영상 처리 방법이다. 예를 들어, 영상에 대해 대비 강화 처리를 수행하는 방법에는, 전역 대비 강화(Global CE) 방식과 지역 대비 강화(Local CE) 방식이 있을 수 있다.
전역 대비 강화 방식은, 영상 전체에 대해서 하나의 변환 함수를 적용하는 방식이다. 지역 대비 강화 방식은, 영상에 포함되는 복수의 영역들 각각에 대해서 서로 다른 변환 함수들을 적용하는 방식이다. 지역 대비 강화 방식은, 전역 대비 강화 방식보다 각 영역 간의 대비를 더욱 강화할 수 있다는 장점이 있다. 그러나, 지역 대비 강화 방식은, 헤일로(Halo) 또는 의사 윤곽과 같은 영상의 화질 열화를 유발하기 쉽다는 단점이 있다.
지역 대비 강화 방식에 의한 영상의 화질 열화를 설명하기 위하여, 입력 영상이 넓은 평탄 영역과 강한 엣지를 포함하고, 입력 영상의 평탄 영역 내의 픽셀들은 동일한 픽셀 값들을 갖는 경우를 예로 들어 설명한다. 입력 영상의 평탄 영역 내의 픽셀들은 동일한 픽셀 값들을 가짐에도 불구하고, 입력 영상에 대해 지역 대비 강화를 수행하는 경우, 입력 영상의 각 영역들에 대해서는 서로 다른 변환 함수들이 적용된다. 즉, 평탄 영역 내에서, 엣지와 인접하는 영역과 엣지로부터 멀리 떨어진 영역에 대해서는 서로 다른 변환 함수들이 적용된다.
따라서, 엣지와 인접하는 평탄 영역 내의 픽셀들과, 엣지로부터 멀리 떨어진 평탄 영역 내의 픽셀들은 서로 다른 값을 가지게 된다. 즉, 입력 영상에 대해 지역 대비 강화를 수행하는 경우, 평탄 영역에서 헤일로 또는 의사 윤곽과 같은 화질 열화가 발생한다. 그러므로, 지역 대비 강화에 의해 영상의 선명도가 높아지는 효과는 유지하면서도, 화질 열화를 방지할 수 있는 기술이 요구된다.
평탄 영역 내에 존재하는 의사 윤곽을 효과적으로 제거함으로써 영상의 화질을 개선할 수 있는 방법 및 장치가 제공된다.
또한, 지역 대비 강화에 의해 영상의 선명도가 높아지는 효과는 유지하면서도, 화질 열화를 방지할 수 있는 방법 및 장치가 제공된다.
본 개시의 일 실시예에 따른 영상 보정 방법은, 입력 영상을 구성하는 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보를 획득하는 단계; 상기 입력 영상은 상기 픽셀들이 균일하게 분포하는지 여부에 따라 구분되는 복수의 영역들을 포함하고, 상기 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여 상기 픽셀들 중 적어도 하나의 픽셀이 포함되는 영역을 나타내는 가중치를 결정하는 단계; 및 상기 결정된 가중치에 기초하여 상기 입력 영상을 보정하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 방법에 있어서, 상기 가중치를 결정하는 단계는, 상기 입력 영상을 제1 크기의 블록들로 분할하고, 상기 적어도 하나의 픽셀이 포함되는 영역을 나타내는 고해상도 가중치를 결정하는 단계; 상기 입력 영상을 상기 제1 크기보다 큰 제2 크기의 블록들로 분할하고, 상기 적어도 하나의 픽셀이 포함되는 영역을 나타내는 저해상도 가중치를 결정하는 단계; 및 상기 고해상도 가중치 및 상기 저해상도 가중치에 기초하여, 상기 적어도 하나의 픽셀이 포함되는 영역을 나타내는, 상기 적어도 하나의 픽셀에 대한 상기 가중치를 결정하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 방법에 있어서, 상기 고해상도 가중치 및 상기 저해상도 가중치에 기초하여 상기 가중치를 결정하는 단계는, 상기 고해상도 가중치 및 상기 저해상도 가중치 중 큰 값을 상기 가중치로서 결정하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 방법에 있어서, 상기 가중치를 결정하는 단계는, 상기 픽셀들이 포함되는 영역들을 나타내는, 상기 픽셀들에 대한 가중치들을 결정하는 단계; 상기 픽셀들의 색상에 대한 정보에 기초하여 상기 가중치들을 적어도 하나의 그룹으로 분류하는 단계; 및 상기 적어도 하나의 그룹에 포함되는 가중치들에 대해서 평균 필터링을 수행하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 방법에 있어서, 상기 입력 영상을 보정하는 단계는, 상기 입력 영상의 적어도 일부에 대해서 로우 패스 필터링을 수행하는 단계; 및 상기 결정된 가중치를 적용하여, 상기 입력 영상과 상기 로우 패스 필터링이 수행된 영상을 조합하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 방법에 있어서, 상기 입력 영상을 보정하는 단계는, 상기 입력 영상의 적어도 일부에 대해서 전역 대비 강화(Contrast Enhancement, CE) 및 지역 대비 강화를 수행하는 단계; 및 상기 결정된 가중치를 적용하여, 상기 전역 대비 강화가 수행된 영상 및 상기 지역 대비 강화가 수행된 영상을 조합하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 방법에 있어서, 상기 가중치를 결정하는 단계는, 상기 입력 영상을 제1 크기의 블록들로 분할하는 단계; 상기 블록들 각각에 대해서, 각 블록에 포함되는 픽셀들의 밝기를 나타내는 값들의 정규화된 분산값을 획득하는 단계; 상기 적어도 하나의 픽셀이 포함되는 블록인 중심 블록 및 소정 방향을 따라 상기 중심 블록과 이웃하는 이웃 블록들의 정규화된 분산값들의 분산을 획득하는 단계; 및 상기 중심 블록 및 상기 이웃 블록들의 정규화된 분산값들의 분산에 기초하여, 상기 적어도 하나의 픽셀에 대한 제1 가중치를 결정하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 방법에 있어서, 상기 가중치를 결정하는 단계는, 상기 입력 영상을 제1 크기의 블록들로 분할하는 단계; 상기 블록들 각각에 대해서, 각 블록에 포함되는 픽셀들의 밝기를 나타내는 값들의 정규화된 분산값을 획득하는 단계; 상기 적어도 하나의 픽셀이 포함되는 블록인 중심 블록 및 상기 중심 블록과 소정 방향을 따라 이웃하는 이웃 블록들의 정규화된 분산값들의 분산을 획득하는 단계; 상기 중심 블록 및 상기 중심 블록과 소정 방향을 따라 이웃하는 이웃 블록들의 정규화된 분산값들의 분산에 기초하여, 상기 적어도 하나의 픽셀에 대한 제1 가중치를 결정하는 단계; 상기 중심 블록의 정규화된 분산값에 기초하여, 상기 적어도 하나의 픽셀에 대한 제2 가중치를 결정하는 단계; 상기 중심 블록을 포함하는 제1 영역의 정규화된 분산값과 상기 중심 블록을 포함하는 제1 영역보다 큰 제2 영역의 정규화된 분산값의 차이에 기초하여, 상기 적어도 하나의 픽셀에 대한 제3 가중치를 결정하는 단계; 상기 중심 블록에 포함되는 픽셀들의 색상들을 나타내는 값들의 최대값과 최소값의 차에 기초하여, 상기 적어도 하나의 픽셀에 대한 제4 가중치를 결정하는 단계; 및 상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치 중 적어도 하나에 기초하여, 상기 가중치를 결정하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 방법에 있어서, 상기 가중치를 결정하는 단계는, 상기 입력 영상을 제2 크기의 블록들로 분할하는 단계; 상기 적어도 하나의 픽셀이 포함되는 블록인 중심 블록에 포함되는 픽셀들 중에서 중심에 위치한 중심 픽셀을 기준으로 소정 방향을 따라 픽셀들의 밝기를 나타내는 값들이 증가하고 감소하는지 여부에 기초하여, 상기 적어도 하나의 픽셀에 대한 제5 가중치를 결정하는 단계; 상기 중심 블록에 포함되는 픽셀들의 색상들을 나타내는 값들의 최대값과 최소값의 차에 기초하여, 상기 적어도 하나의 픽셀에 대한 제6 가중치를 결정하는 단계; 및 상기 제5 가중치 및 상기 제6 가중치 중 적어도 하나에 기초하여, 상기 가중치를 결정하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 방법에 있어서, 상기 로우 패스 필터링을 수행하는 단계는, 상기 입력 영상의 이전 프레임을 구성하는 픽셀들을 다운스케일링함으로써 획득된 저해상도 영상 데이터에 대해서 로우 패스 필터링을 수행하는 단계; 상기 입력 영상의 현재 프레임을 구성하는 픽셀들로 구성되는 고해상도 영상 데이터에 대해서 로우 패스 필터링을 수행하는 단계; 및 상기 결정된 가중치를 적용하여, 상기 입력 영상, 상기 로우 패스 필터링된 저해상도 영상 데이터 및 상기 로우 패스 필터링된 고해상도 영상 데이터를 조합하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 방법에 있어서, 상기 복수의 영역들은, 균일한 밝기 및 색상을 갖는 픽셀들을 포함하는 평탄 영역, 상기 입력 영상이 나타내는 물체의 형상 또는 질감을 구현하는 픽셀들을 포함하는 질감 영역, 및 상기 평탄 영역 및 상기 질감 영역에 포함되지 않는 중간 영역을 포함할 수 있다.
한편, 본 개시의 일 실시예에 따른 영상 보정 장치는, 입력 영상을 구성하는 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보를 획득하고, 상기 입력 영상은 상기 픽셀들이 균일하게 분포하는지 여부에 따라 구분되는 복수의 영역들을 포함하고, 상기 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여 상기 픽셀들 중 적어도 하나의 픽셀이 포함되는 영역을 나타내는 가중치를 결정하는, 영역 분류부; 및 상기 결정된 가중치에 기초하여 상기 입력 영상을 보정하는, 영상 보정부를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 장치에 있어서, 상기 영역 분류부는, 상기 입력 영상을 제1 크기의 블록들로 분할하고, 상기 적어도 하나의 픽셀이 포함되는 영역을 나타내는 고해상도 가중치를 결정하는, 고해상도 가중치 결정부; 상기 입력 영상을 상기 제1 크기보다 큰 제2 크기의 블록들로 분할하고, 상기 적어도 하나의 픽셀이 포함되는 영역을 나타내는 저해상도 가중치를 결정하는, 저해상도 가중치 결정부; 및 상기 고해상도 가중치 및 상기 저해상도 가중치에 기초하여, 상기 적어도 하나의 픽셀이 포함되는 영역을 나타내는, 상기 적어도 하나의 픽셀에 대한 상기 가중치를 결정하는, 가중치 통합부를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 장치에 있어서, 상기 가중치 통합부는, 상기 고해상도 가중치 및 상기 저해상도 가중치 중 큰 값을 상기 가중치로서 결정할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 장치에 있어서, 상기 영역 분류부는, 상기 픽셀들이 포함되는 영역들을 나타내는, 상기 픽셀들에 대한 가중치들을 결정하는, 가중치 결정부; 및 상기 픽셀들의 색상에 대한 정보에 기초하여 상기 가중치들을 적어도 하나의 그룹으로 분류하고, 상기 적어도 하나의 그룹에 포함되는 가중치들에 대해서 평균 필터링을 수행하는, 가중치 개선부를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 장치에 있어서, 상기 영상 보정부는, 상기 입력 영상의 적어도 일부에 대해서 로우 패스 필터링을 수행하고, 상기 결정된 가중치를 적용하여, 상기 입력 영상과 상기 로우 패스 필터링이 수행된 영상을 조합하는, 비트 깊이 강화부를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 장치에 있어서, 상기 영상 보정부는, 상기 입력 영상의 적어도 일부에 대해서 전역 대비 강화 및 지역 대비 강화를 수행하고, 상기 결정된 가중치를 적용하여, 상기 전역 대비 강화가 수행된 영상 및 상기 지역 대비 강화가 수행된 영상을 조합하는 대비 강화부를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 장치에 있어서, 상기 영역 분류부는, 상기 입력 영상을 제1 크기의 블록들로 분할하고, 상기 블록들 각각에 대해서, 각 블록에 포함되는 픽셀들의 밝기를 나타내는 값들의 정규화된 분산값을 획득하고, 상기 적어도 하나의 픽셀이 포함되는 블록인 중심 블록 및 소정 방향을 따라 상기 중심 블록과 이웃하는 이웃 블록들의 정규화된 분산값들의 분산을 획득하고, 상기 중심 블록 및 상기 이웃 블록들의 정규화된 분산값들의 분산에 기초하여, 상기 적어도 하나의 픽셀에 대한 제1 가중치를 결정하는, 제1 가중치 결정부를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 장치에 있어서, 상기 영역 분류부는, 상기 입력 영상을 제1 크기의 블록들로 분할하고, 상기 블록들 각각에 대해서, 각 블록에 포함되는 픽셀들의 밝기를 나타내는 값들의 정규화된 분산값을 획득하고, 상기 적어도 하나의 픽셀이 포함되는 블록인 중심 블록 및 상기 중심 블록과 소정 방향을 따라 이웃하는 이웃 블록들의 정규화된 분산값들의 분산을 획득하고, 상기 중심 블록 및 상기 중심 블록과 소정 방향을 따라 이웃하는 이웃 블록들의 정규화된 분산값들의 분산에 기초하여, 상기 적어도 하나의 픽셀에 대한 제1 가중치를 결정하는, 제1 가중치 결정부; 상기 중심 블록의 정규화된 분산값에 기초하여, 상기 적어도 하나의 픽셀에 대한 제2 가중치를 결정하는, 제2 가중치 결정부; 상기 중심 블록을 포함하는 제1 영역의 정규화된 분산값과 상기 중심 블록을 포함하는 제1 영역보다 큰 제2 영역의 정규화된 분산값의 차이에 기초하여, 상기 적어도 하나의 픽셀에 대한 제3 가중치를 결정하는, 제3 가중치 결정부; 상기 중심 블록에 포함되는 픽셀들의 색상들을 나타내는 값들의 최대값과 최소값의 차에 기초하여, 상기 적어도 하나의 픽셀에 대한 제4 가중치를 결정하는, 제4 가중치 결정부; 및 상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치 중 적어도 하나에 기초하여, 상기 가중치를 결정하는, 가중치 통합부를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 장치에 있어서, 상기 영역 분류부는, 상기 입력 영상을 제2 크기의 블록들로 분할하고, 상기 적어도 하나의 픽셀이 포함되는 블록인 중심 블록에 포함되는 픽셀들 중에서 중심에 위치한 중심 픽셀을 기준으로 소정 방향을 따라 픽셀들의 밝기를 나타내는 값들이 증가하고 감소하는지 여부에 기초하여, 상기 적어도 하나의 픽셀에 대한 제5 가중치를 결정하는, 제5 가중치 결정부; 상기 중심 블록에 포함되는 픽셀들의 색상들을 나타내는 값들의 최대값과 최소값의 차에 기초하여, 상기 적어도 하나의 픽셀에 대한 제6 가중치를 결정하는, 제6 가중치 결정부; 및 상기 제5 가중치 및 상기 제6 가중치 중 적어도 하나에 기초하여, 상기 가중치를 결정하는, 가중치 통합부를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 장치에 있어서, 상기 비트 깊이 강화부는, 상기 입력 영상의 이전 프레임을 구성하는 픽셀들을 다운스케일링함으로써 획득된 저해상도 영상 데이터에 대해서 로우 패스 필터링을 수행하는, 제1 로우 패스 필터; 상기 입력 영상의 현재 프레임을 구성하는 픽셀들로 구성되는 고해상도 영상 데이터에 대해서 로우 패스 필터링을 수행하는, 제2 로우 패스 필터; 및 상기 결정된 가중치를 적용하여, 상기 입력 영상, 상기 로우 패스 필터링된 저해상도 영상 데이터 및 상기 로우 패스 필터링된 고해상도 영상 데이터를 조합하는, 조합부를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 장치에 있어서, 상기 복수의 영역들은, 균일한 밝기 및 색상을 갖는 픽셀들을 포함하는 평탄 영역, 상기 입력 영상이 나타내는 물체의 형상 또는 질감을 구현하는 픽셀들을 포함하는 질감 영역, 및 상기 평탄 영역 및 상기 질감 영역에 포함되지 않는 중간 영역을 포함할 수 있다.
한편, 본 개시의 일 실시예에 따른 영상을 보정하는 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체에 있어서, 상기 영상 보정 방법은, 입력 영상을 구성하는 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보를 획득하는 단계; 상기 입력 영상은 상기 픽셀들이 균일하게 분포하는지 여부에 따라 구분되는 복수의 영역들을 포함하고, 상기 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여 상기 픽셀들 중 적어도 하나의 픽셀이 포함되는 영역을 나타내는 가중치를 결정하는 단계; 및 상기 결정된 가중치에 기초하여 상기 입력 영상을 보정하는 단계를 포함하는 것을 특징으로 할 수 있다.
도 1 내지 6은 본 개시의 일 실시예에 따른 영상 보정 장치의 구성을 나타내는 블록도이다.
도 7은 본 개시의 일 실시예에 따른 영상 보정 장치에 포함되는 비트 깊이 강화부의 구성을 나타내는 블록도이다.
도 8은 본 개시의 일 실시예에 따른 영상 보정 장치에 포함되는 대비 강화부의 구성을 나타내는 블록도이다.
도 9는 본 개시의 일 실시예에 따른 영상 보정 방법을 나타내는 흐름도이다.
도 10은 본 개시의 일 실시예에 따라 적어도 하나의 픽셀에 대한 가중치를 결정하는 방법을 나타내는 흐름도이다.
도 11은 본 개시의 일 실시예에 따라 결정된 가중치에 기초하여 영상을 보정하는 방법을 나타내는 흐름도이다.
도 12는 본 개시의 일 실시예에 따라 결정된 가중치에 기초하여 영상을 보정하는 방법을 나타내는 흐름도이다.
도 13은 본 개시의 일 실시예에 따라 적어도 하나의 픽셀들이 포함되는 영역의 특성을 결정하는 방법을 설명하기 위한 도면이다.
도 14a는 본 개시의 일 실시예에 따라 영상 보정 장치로 입력되는 영상의 예를 도시한다.
도 14b는 본 개시의 일 실시예에 따라 입력 영상이 복수의 영역들로 구분된 1차 결과를 도시한다.
도 14c는 본 개시의 일 실시예에 따라, 픽셀들의 색상에 기초하여 입력 영상이 복수의 영역들로 구분된 2차 결과를 도시한다.
도 15a, 15b, 15c 및 15d는 본 개시의 일 실시예에 따라 영상을 보정하기 위해 적용되는 가중치를 필터링하기 위한 필터를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 영상 보정 장치에 포함되는 비트 깊이 강화부의 구성을 나타내는 블록도이다.
도 8은 본 개시의 일 실시예에 따른 영상 보정 장치에 포함되는 대비 강화부의 구성을 나타내는 블록도이다.
도 9는 본 개시의 일 실시예에 따른 영상 보정 방법을 나타내는 흐름도이다.
도 10은 본 개시의 일 실시예에 따라 적어도 하나의 픽셀에 대한 가중치를 결정하는 방법을 나타내는 흐름도이다.
도 11은 본 개시의 일 실시예에 따라 결정된 가중치에 기초하여 영상을 보정하는 방법을 나타내는 흐름도이다.
도 12는 본 개시의 일 실시예에 따라 결정된 가중치에 기초하여 영상을 보정하는 방법을 나타내는 흐름도이다.
도 13은 본 개시의 일 실시예에 따라 적어도 하나의 픽셀들이 포함되는 영역의 특성을 결정하는 방법을 설명하기 위한 도면이다.
도 14a는 본 개시의 일 실시예에 따라 영상 보정 장치로 입력되는 영상의 예를 도시한다.
도 14b는 본 개시의 일 실시예에 따라 입력 영상이 복수의 영역들로 구분된 1차 결과를 도시한다.
도 14c는 본 개시의 일 실시예에 따라, 픽셀들의 색상에 기초하여 입력 영상이 복수의 영역들로 구분된 2차 결과를 도시한다.
도 15a, 15b, 15c 및 15d는 본 개시의 일 실시예에 따라 영상을 보정하기 위해 적용되는 가중치를 필터링하기 위한 필터를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
종래에는, 입력 영상에 포함되는 픽셀들의 픽셀 값들이 단조 증가하는지 또는 단조 감소하는지 여부에 기초하여 의사 윤곽을 포함하는 영역을 결정하는 기술이 이용되었다. 종래 기술에 따르면, 노이즈가 많은 일반 방송 영상 및 영상을 구성하는 픽셀들의 밝기가 전체적으로 어두운 저계조 영상에 대해서는 의사 윤곽 검출의 정확도가 현저히 떨어진다는 단점이 있다.
따라서 이러한 단점을 극복하기 위해서는, 원본 영상(고해상도 영상)을 커널 필터(Kernel filter)를 통과시킴으로써 커널 필터에서의 신호 판단량에 따라 원본 영상에 포함되는 소정 영역이 평탄 영역인지 질감 영역인지를 판단해야 하고, 영상을 구성하는 각 영역별로 신호를 분석해야 한다.
또한, 평탄 영역으로서 인지되는 소정 영역을 영상으로부터 구분하기 위해서는, 소정 영역보다 넓은 영역에 포함되는 픽셀들의 값들의 변화량을 주지할 필요가 있다. 따라서 원본 영상으로부터 생성된 저해상도 영상의 신호 변화량을 판단함으로써, 평탄 영역으로서 인지되는 영역을 구분하는 방법이 이용될 수 있다.
도 1은 본 개시의 일 실시예에 따른 영상 보정 장치의 구성을 나타내는 블록도이다.
도 1 에 도시된 영상 보정 장치 (100) 는 영상 재생 기능을 갖는 다양한 전자 기기 내에 포함되거나, 연결되는 장치일 수 있다. 예를 들어, 영상 보정 장치(100)는, 텔레비전, 블루-레이 디스크 플레이어, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 및 네비게이션 등을 포함할 수 있다. 그러나 본 개시는 이에 한정되지 않는다.
도 1에 도시된 바와 같이, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 영역 분류부(110) 및 영상 보정부(120)를 포함할 수 있다.
본 개시의 일 실시예에 따른 영역 분류부(110)는, 입력되는 영상으로부터, 영상을 구성하는 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보를 획득할 수 있다. 예를 들어, 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보는, 각 픽셀의 밝기를 나타내는 값, 색상을 나타내는 값, 및 색차를 나타내는 값 중 적어도 하나를 포함할 수 있다.
영역 분류부(110)는, 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여, 입력되는 영상을 복수의 영역들로 구분할 수 있다. 영상은, 픽셀들이 균일하게 분포하는지 여부에 따라 구분되는 복수의 영역들을 포함할 수 있다. 예를 들어, 영역 분류부(110)는, 평탄 영역, 질감 영역, 및 중간 영역 중 적어도 하나로서, 입력 영상의 복수의 영역들을 구분할 수 있다.
평탄 영역은, 저주파 영역 및/또는 완만한 기울기(smooth)를 갖는 영역을 의미할 수 있다. 저주파 영역이란, 영역을 구성하는 데이터의 저주파 성분이 우세한 영역을 의미하는 것으로, 영상의 많은 부분을 차지하는 단일하고 단순한 물체를 나타내는 영역을 의미할 수 있다.
예를 들어, 맑은 하늘에 떠 있는 열기구를 나타내는 영상 내에서 저주파 영역은, 하늘을 나타내는 영역일 수 있다. 또한, 완만한 경사를 갖는 영역이란, 영역을 구성하는 픽셀들의 픽셀 값이 작은 기울기로 단조 증가 또는 단조 감소하는 영역을 의미한다. 다시 말해서, 평탄 영역은 균일한 밝기 및 색상을 갖는 픽셀들을 포함하는 영역일 수 있다.
질감 영역은, 영상이 나타내는 물체의 형상 또는 질감을 구현하는 엣지 및/또는 세부 사항(Detail)을 포함하는 영역을 의미할 수 있다. 질감 영역은, 영역을 구성하는 데이터의 고주파 성분이 우세한 영역으로서, 영역을 구성하는 데이터가 짧은 거리 간격(short distance scale)으로 빠르게 변화하는 영역일 수 있다. 예를 들어, 맑은 하늘에 떠 있는 열기구를 나타내는 영상 내에서 질감 영역은, 열기구를 나타내는 영역일 수 있다.
중간 영역은, 평탄 영역 및 질감 영역으로 구분되지 않은 영역을 의미할 수 있다.
영역 분류부(110)는, 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여 입력되는 영상을 복수의 영역들로 구분하고, 픽셀들 중 적어도 하나의 픽셀이 포함되는 영역을 나타내는 가중치를 결정할 수 있다. 즉, 영역 분류부(110)는, 영상을 구성하는 픽셀들 중 적어도 하나의 픽셀이 포함되는 영역이 평탄 영역인지 질감 영역인지 판단할 수 있다. 영역 분류부(110)는, 판단 결과에 기초하여 적어도 하나의 픽셀이 포함되는 영역에 대해 적합한 처리를 수행할 수 있도록, 적어도 하나의 픽셀에 대한 가중치를 결정할 수 있다. 결정된 가중치는 영상을 보정하기 위해 이용될 수 있다.
예를 들어, 영역 분류부(110)는, 영상을 구성하는 픽셀들 중 적어도 하나의 픽셀이 포함되는 영역을 나타내는 가중치로서, 적어도 하나의 픽셀이 질감 영역에 포함될 확률 값을 결정할 수 있다. 블록이란, 영상을 분석하기에 앞서, 영상을 분할하는 단위를 의미한다. 복수의 블록들로 분할된 영상은, 각각의 블록 별로 처리될 수 있다.
영역 분류부(110)는, 적어도 하나의 픽셀을 포함하는 블록 내에 포함되는 픽셀들의 밝기를 나타내는 값들의 정규화된 분산 값을 획득할 수 있다. 영역 분류부(110)는, 획득된 분산 값을 임계값과 비교하여, 적어도 하나의 픽셀이 질감 영역에 포함될 확률을 결정할 수 있다. 영역 분류부(110)는, 영상을 구성하는 픽셀들 각각에 대해서 확률 값을 결정하고, 픽셀들 각각에 대한 확률 값을 나타내는 확률 맵을 생성하고, 생성된 확률 맵에 기초하여 입력되는 영상을 복수의 영역들로 구분할 수 있다.
영상을 구성하는 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여, 각 픽셀에 대한 가중치를 결정하는 방법과 관련하여서는, 후에 도 6을 참조하여 구체적으로 설명한다.
영역 분류부(110)는, 영역을 구성하는 픽셀들에 대해서 각 픽셀이 질감 영역에 포함될 확률 값을 결정하고, 결정된 확률 값이 1인 픽셀들로 구성되는 영역을 질감 영역으로, 결정된 확률 값이 0인 픽셀들로 구성되는 영역을 평탄 영역으로, 확률 값이 0 과 1 사이에서 결정되는 픽셀들로 구성되는 영역을 중간 영역으로 구분할 수 있다.
한편, 평탄 영역은 의사 윤곽 노이즈를 포함할 수 있다. 특히, 영상에 대한 비트 깊이 조절에 의해서, 낮은 기울기를 갖는 색상 분포 또는 일정한 색상 분포를 가지는 평탄 영역 내에 의사 윤곽 노이즈가 발생하기 쉽다. 따라서, 디스플레이되는 영상의 화질을 개선하기 위하여, 평탄 영역 내의 의사 윤곽 노이즈가 제거되어야 한다.
다만, 미세한 세부 사항(detail)을 포함하는 질감 영역과 사소한 노이즈를 포함하는 평탄 영역, 그리고 의사 윤곽을 포함하는 영역과 엣지(edge)를 포함하는 영역은 서로 구분되기 어려운 유사한 특성을 가지고 있다.
따라서, 본 개시의 일 실시예에 따른 영역 분류부(110)는, 영상을 상대적으로 작은 크기의 블록 단위로 분할하여 처리한 고해상도 분석 결과와, 영상을 상대적으로 큰 크기의 블록 단위로 분할하여 처리한 저해상도 분석 결과를 합성함으로써 영역 분류의 정확도를 높일 수 있다. 영역 분류부(110)는, 고해상도 분석 결과와 저해상도 분석 결과를 합성한 후, 그 특성이 유사한 영역들을 재분류하는 동작을 추가로 수행할 수 있다. 예를 들어, 영역 분류부(110)는, 색상이 유사한 영역 별로 영역을 재분류하는 방법을 이용할 수 있다.
한편, 실시간으로 영상을 처리함에 있어서, 장치의 제한된 처리 속도로 인해 현재 프레임에 대한 고해상도 분석 결과와 저해상도 분석 결과를 동시에 획득하는데 어려움이 있을 수 있다. 따라서, 본 개시의 일 실시예에 따른 영역 분류부(110)는, 현재 프레임에 대한 고해상도 분석 결과와 이전 프레임에 대한 저해상도 분석 결과를 이용하여, 영상에 포함되는 복수의 영역들을 분류할 수 있다.
한편, 본 개시의 일 실시예에 따른 영상 보정부(120)는, 영역 분류부(110)에서 결정된 가중치에 기초하여, 영상을 보정할 수 있다.
예를 들어, 영상 보정부(120)는, 영역 분류부(1120)에서 평탄 영역으로 분류된 영역에 대해서, 의사 윤곽 노이즈를 제거하기 위한 처리를 수행함으로써 영상을 보정할 수 있다.
구체적으로, 일 실시예에 따른 영상 보정부(120)는, 입력되는 영상 내에 포함되는 노이즈를 제거하기 위한 로우 패스 필터링을 수행함에 있어서, 영역 분류부(110)에서 결정된 가중치를 적용할 수 있다.
예를 들어, 영상 보정부(120)는 영상을 보정하기 위하여 확률 맵을 이용할 수 있다. 영상 보정부(120)는 질감 영역에 포함되는 것으로 결정된 픽셀들에 대해서는 가중치 1이 설정되고 평탄 영역에 포함되는 것으로 결정된 픽셀들에 대해서는 가중치 0이 설정된 확률 맵을 이용하여 영상을 보정할 수 있다.
영상 보정부(120)는, 질감 영역으로 분류되는 영역에 대해서는 로우 패스 필터링을 적용하지 않고 원본 영상에 포함되는 데이터를 출력하고, 평탄 영역으로 분류되는 영역에 대해서는 로우 패스 필터링을 적용하여, 필터링된 영상 데이터를 출력할 수 있다. 따라서, 영상 보정부(120)는, 입력 영상이 나타내는 물체의 형상 또는 질감을 유지하면서도, 평탄 영역 내에 포함되는 의사 윤곽을 제거할 수 있다.
다른 일 실시예에 따른 영상 보정부(120)는, 입력되는 영상에 대해 지역 대비 강화를 수행함에 있어서, 영역 분류부(110)에서 결정된 가중치를 적용할 수 있다.
예를 들어, 영상 보정부(120)는, 질감 영역에 포함되는 것으로 결정된 픽셀들에 대해서는 가중치 1이 설정되고, 평탄 영역에 포함되는 것으로 결정된 픽셀들에 대해서는 가중치 0이 설정된 확률 맵을 이용하여, 영상을 보정할 수 있다.
영상 보정부(120)는, 입력 영상에 대해 지역 대비 강화 및 전역 대비 강화를 모두 수행할 수 있다. 영상 보정부(120)는, 지역 대비 강화 및 전역 대비 강화 결과를 조합함으로써, 보정된 영상을 출력할 수 있다. 영상 보정부(120)는, 지역 대비 강화 결과와 전역 대비 강화 결과를 조합함에 있어서, 질감 영역으로 분류되는 영역에 대해서는 지역 대비 강화 결과에 높은 가중치를 적용하고, 전역 대비 강화 결과에 낮은 가중치를 적용할 수 있다.
또한, 영상 보정부(120)는, 평탄 영역으로 분류되는 영역에 대해서는 지역 대비 강화 결과에 낮은 가중치를 적용하고, 전역 대비 강화 결과에 높은 가중치를 적용할 수 있다. 따라서, 영상 보정부(120)는, 지역 대비 강화에 의해 영상의 선명도가 높아지는 효과는 유지하면서도, 지역 대비 강화에 의해 평탄 영역 내에 발생할 수 있는 화질 열화를 방지할 수 있다.
도 2는 본 개시의 일 실시예에 따른 영상 보정 장치의 구성을 나타내는 블록도이다. 도 2는 본 개시의 일 실시예에 따른 영역 분류부(110)의 구체적인 블록도를 도시한다.
본 개시의 일 실시예에 따른 영역 분류부(110)는, 영역 분류의 정확도를 높이기 위하여, 영상을 상대적으로 작은 크기의 블록 단위로 분할하여 처리한 고해상도 분석 결과와 함께 영상을 상대적으로 큰 크기의 블록 단위로 분할하여 처리한 저해상도 분석 결과를 이용할 수 있다.
도 2에 도시된 바와 같이, 본 개시의 일 실시예에 따른 영역 분류부(110)는, 저해상도 가중치 결정부(112), 고해상도 가중치 결정부(112) 및 가중치 통합부(113)를 포함할 수 있다.
고해상도 가중치 결정부(112)는, 입력되는 영상을 제1 크기의 블록들로 분할하여 분석함으로써, 적어도 하나의 픽셀이 포함되는 영역을 나타내는 고해상도 가중치를 결정할 수 있다. 고해상도 가중치 결정부(112)는, 적어도 하나의 픽셀을 포함하는 제1 크기의 블록들 내의 픽셀들을 분석함으로써, 적어도 하나의 픽셀이 포함되는 영역이 질감 영역인지 평탄 영역인지 여부를 판단할 수 있다. 고해상도 가중치 결정부(112)는, 판단 결과에 기초하여, 적어도 하나의 픽셀에 대한 고해상도 가중치를 결정할 수 있다.
예를 들어, 고해상도 가중치 결정부(112)는, 적어도 하나의 픽셀이 포함되는 영역을 나타내는 고해상도 가중치로서, 적어도 하나의 픽셀이 질감 영역에 포함될 확률 값을 결정할 수 있다. 고해상도 가중치 결정부(112)는, 적어도 하나의 픽셀의 주변 픽셀들의 밝기를 나타내는 값들의 분포에 기초하여, 적어도 하나의 픽셀이 질감 영역에 포함될 확률 값을 결정할 수 있다.
저해상도 가중치 결정부(111)는, 입력 영상을 제1 크기보다 큰 제2 크기의 블록들로 분할하여 분석함으로써, 적어도 하나의 픽셀이 포함되는 영역을 나타내는 저해상도 가중치를 결정할 수 있다. 저해상도 가중치 결정부(111)는, 적어도 하나의 픽셀을 포함하는 제2 크기의 블록들 내의 픽셀들을 분석함으로써, 적어도 하나의 픽셀이 포함되는 영역이 질감 영역인지 평탄 영역인지 여부를 판단할 수 있다. 저해상도 가중치 결정부(111)는, 판단 결과에 기초하여, 적어도 하나의 픽셀에 대한 저해상도 가중치를 결정할 수 있다.
예를 들어, 저해상도 가중치 결정부(111)는, 적어도 하나의 픽셀이 포함되는 영역을 나타내는 저해상도 가중치로서, 적어도 하나의 픽셀이 질감 영역에 포함될 확률 값을 결정할 수 있다. 고해상도 가중치 결정부(111)는, 적어도 하나의 픽셀의 주변 픽셀들의 밝기를 나타내는 값들의 분포에 기초하여, 적어도 하나의 픽셀이 질감 영역에 포함될 확률 값을 결정할 수 있다.
가중치 통합부(113)는, 고해상도 가중치 및 저해상도 가중치에 기초하여, 적어도 하나의 픽셀이 포함되는 영역을 나타내는, 적어도 하나의 픽셀에 대한 가중치를 결정할 수 있다. 즉, 가중치 통합부(113)는, 고해상도 가중치 및 저해상도 가중치에 기초하여, 적어도 하나의 픽셀이 질감 영역에 포함될 확률을 적어도 하나의 픽셀에 대한 가중치로서 결정할 수 있다.
가중치 통합부(113)는, 고해상도 가중치 및 저해상도 가중치를 조합하여 하나의 확률 값을 획득할 수 있다. 예를 들어, 가중치 통합부(113)는, 고해상도 가중치 및 저해상도 가중치 중 큰 값을 적어도 하나의 픽셀에 대한 가중치로서 결정할 수 있다.
본 개시의 일 실시예에 따른 영역 분류부(110)는, 가중치 통합부(113)에서 결정된 적어도 하나의 픽셀에 대한 가중치를 영상 보정부(120)로 출력할 수 있다. 그러나, 본 개시는 이에 한정되지 않는다.
도 2에 도시된 바와 같이, 영역 분류부(110)는 가중치 개선부(115)를 더 포함할 수 있다.
가중치 결정부(114)는, 픽셀들에 대한 가중치들을 결정할 수 있다. 픽셀들에 대한 가중치들은, 픽셀들이 포함되는 영역들을 나타낼 수 있다. 즉, 가중치 결정부(114)는, 적어도 하나의 픽셀이 포함되는 영역이 질감 영역일 확률을 결정함으로써, 결정된 확률을 적어도 하나의 픽셀에 대한 가중치로서 결정할 수 있다. 가중치 결정부(114)는, 영상을 구성하는 각 픽셀이 질감 영역에 포함될 확률을 나타내는 확률 맵을 생성하고, 생성된 확률 맵에 기초하여 입력 영상을 복수의 영역들로 구분할 수 있다.
가중치 개선부(115)는, 픽셀들의 색상들에 대한 정보에 기초하여, 가중치 결정부(114)에서 결정된 가중치들을 개선할 수 있다. 즉, 가중치 개선부(115)는, 가중치 결정부(114)에서 결정된 가중치들에 있어서, 픽셀들의 색상들에 대한 정보에 기초하여 가중치들을 적어도 하나의 그룹으로 분류할 수 있다. 예를 들어, 가중치 개선부(115)는, 색상들이 서로 유사한 픽셀들을 포함하는 영역에 대해 매핑된 가중치들을 하나의 그룹으로 분류할 수 있다. 가중치 개선부(115)는 분류된 적어도 하나의 그룹에 포함되는 가중치들에 대해서 평균 필터링을 수행할 수 있다.
본 개시의 일 실시예에 따른 가중치 개선부(115)는, 유사한 색을 가진 영역 내에서만 평균 필터링을 수행함으로써, 영상이 나타내는 물체의 형상에 따라 질감 영역 및 평탄 영역 중 적어도 하나를 영상으로부터 정확하게 구분할 수 있다. 유사한 색을 가진 영역이란, 영역 내에 포함되는 픽셀들의 색상을 나타내는 값들 또는 색차를 나타내는 값들이 소정 범위 내에 포함되는 영역을 의미할 수 있다. 소정 범위란, 실험적으로 미리 결정된 범위일 수 있다.
가중치 개선부(115)는, 유사한 색을 가진 영역 내에서만 평균 필터링을 수행함으로써 영역 분류 정확도를 높이고, 평균 필터링된 가중치를 임계값과 비교하는 연산을 통해 가중치 결정부(114)에서 결정된 확률 맵을 개선(refine)할 수 있다.
도 14a는 본 개시의 일 실시예에 따라 영상 보정 장치로 입력되는 영상의 예를 도시한다. 도 14a에서 열기구를 나타내는 영역(1401)과 “Vivid and Vibrant”라는 글자를 나타내는 영역(1402)은 질감 영역에 해당하고, 질감 영역(1401, 1402) 내에 포함되지 않는 하늘을 나타내는 영역은 평탄 영역에 해당한다.
도 14b는 본 개시의 일 실시예에 따라 입력 영상이 복수의 영역들로 구분된 1차 결과를 도시한다.
도 14b는 입력 영상 내에 포함되는 픽셀들 각각이 질감 영역 내에 포함될 확률을 나타내는 값을 매핑한 확률 맵을 도시한다. 도 14b에서 흰색으로 표시된 영역은 질감 영역으로 분류된 영역이며, 검은색으로 표시된 영역은 평탄 영역으로 분류된 영역이다. 도 14b에서 회색으로 표시된 영역은 중간 영역으로 분류된 영역이며, 픽셀에 할당되는 회색의 명도가 높아질수록 해당 픽셀이 질감 영역일 확률이 높아지는 것을 의미할 수 있다. 도 14b를 살펴보면, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 상당히 높은 정확도로 영상 내에 포함되는 질감 영역과 평탄 영역을 분류하였다. 다만, 열기구를 나타내는 영역(1401) 내의 일부 영역을 평탄 영역으로 잘못 분류한 것이 확인된다.
따라서, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 픽셀들의 색상들에 대한 정보에 기초하여 도 14b에 도시된 1차 결과를 개선할 수 있다.
도 14c는 본 개시의 일 실시예에 따라, 픽셀의 색상에 기초하여 입력 영상이 복수의 영역들로 구분된 2차 결과를 도시한다.
도 14c에서 흰색으로 표시된 영역은 질감 영역으로 분류된 영역이며, 검은색으로 표시된 영역은 평탄 영역으로 분류된 영역이다. 도 14c에서 회색으로 표시된 영역은 중간 영역으로 분류된 영역이며, 픽셀에 할당되는 회색의 명도가 높아질수록 해당 픽셀이 질감 영역일 확률이 높아지는 것을 의미할 수 있다.
도 14b를 살펴보면, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 상당히 높은 정확도로 영상 내에 포함되는 질감 영역과 평탄 영역을 분류하였다. 다만, 열기구를 나타내는 영역(1401) 내의 일부 영역을 평탄 영역으로 잘못 분류한 것이 확인된다.
도 14c에 도시된 바와 같이, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 색상이 유사한 영역에 대해서 평균화 처리를 수행함으로써, 영상이 나타내는 물체의 형상에 따라 질감 영역 및 평탄 영역을 분류할 수 있다.
도 3은 본 개시의 일 실시예에 따른 영상 보정 장치의 구성을 나타내는 블록도이다. 도 3에 도시된 바와 같이, 본 개시의 일 실시예에 따른 영상 보정부(120)는, 비트 깊이 강화부(122)를 포함할 수 있다.
비트 깊이 강화부(122)는, 영상의 적어도 일부에 대해서 로우 패스 필터링을 수행하고, 영역 분류부(110)에서 결정된 가중치를 적용하여, 입력 영상과 로우 패스 필터링이 수행된 영상을 조합할 수 있다.
비트 깊이 강화부(122)는, 적어도 하나의 로우 패스 필터를 포함할 수 있다. 비트 깊이 강화부(122)에 포함되는 로우 패스 필터는, 입력되는 영상의 고주파 성분을 제거하기 위해서 다양한 사이즈의 필터 탭(filter tab)을 갖는 비선형 평균 필터를 포함할 수 있다.
즉, 비트 깊이 강화부(122)는, 인접한 픽셀들을 평균화함으로써 픽셀 값들 간의 차이(disparity)를 줄일 수 있다. 결과적으로 비트 깊이 강화부(122)는, 로우 패스 필터를 이용하여 평탄 영역의 픽셀 값들을 평활화(smoothing)할 수 있다.
또한, 비트 깊이 강화부(122)는, 픽셀들의 픽셀 값들이 단조 증가 또는 단조 감소하는 영역에 대해 로우 패스 필터링을 적용함으로써 비연속성(Discontinuity)이 발생하지 않도록, 입력 영상의 고해상도 영상 데이터에 대해 로우 패스 필터링한 결과와, 입력 영상의 저해상도 영상 데이터에 대해 로우 패스 필터링한 결과를 조합하여 비트 깊이를 높일 수 있다. 입력 영상의 고해상도 영상 데이터는, 입력 영상의 현재 프레임을 구성하는 픽셀들에 대한 정보로부터 획득될 수 있다. 입력 영상의 저해상도 영상 데이터는, 입력 영상의 이전 프레임을 구성하는 픽셀들에 대해 평균화 및 샘플링을 적용하여 획득될 수 있다. 예를 들어, 비트 깊이 강화부(122)는, 8비트 입력 영상으로부터 14비트 출력 영상을 생성할 수 있다.
비트 깊이 강화부(122)는, 입력 영상을 구성하는 소정의 픽셀에 대한 픽셀 값과 해당 픽셀에 대해 로우 패스 필터링이 수행된 값을, 영역 분류부(110)에서 결정된 가중치를 적용하여 조합할 수 있다. 예를 들어, 비트 깊이 강화부(122)는, 영역 분류부(110)에서 질감 영역에 포함되는 것으로 결정된 픽셀에 대해서는, 입력 영상으로부터 획득된 픽셀 값을 그대로 출력할 수 있다. 반면에, 비트 깊이 강화부(122)는, 영역 분류부(110)에서 평탄 영역에 포함되는 것으로 결정된 픽셀에 대해서는, 로우 패스 필터링된 픽셀 값을 출력할 수 있다.
예를 들어, 입력 영상을 구성하는 픽셀들 중 픽셀(i, j)의 픽셀 값 RGBIN(i, j)과, 입력 영상에 대해 로우 패스 필터링이 수행되어 생성된 영상을 구성하는 픽셀들 중 픽셀(i, j)의 픽셀 값 RGBLPF(i, j)와, 픽셀(i, j)가 질감 영역에 포함될 확률 값 pij가 주어진 경우를 예로 들어 설명한다. 비트 깊이 강화부(122)가 출력하는 영상을 구성하는 픽셀들 중 픽셀(i, j)의 픽셀 값RGBOUT(i, j)은 다음의 수학식 1과 같이 나타낼 수 있다.
도 4는 본 개시의 일 실시예에 따른 영상 보정 장치의 구성을 나타내는 블록도이다. 도 4에 도시된 바와 같이, 본 개시의 일 실시예에 따른 영상 보정부(120)는, 대비 강화부(124)를 포함할 수 있다.
대비 강화부(124)는, 입력 영상의 적어도 일부에 대해서 전역 대비 강화 및 지역 대비 강화를 수행할 수 있다. 대비 강화부(124)는, 영역 분류부(110)에서 결정된 적어도 하나의 픽셀에 대한 가중치를 적용하여, 전역 대비 강화가 수행된 영상 및 지역 대비 강화가 수행된 영상을 조합할 수 있다.
대비 강화란, 영상 내에 포함되는 픽셀들의 밝기를 나타내는 값들이 좁은 밝기 값 범위 내에 집중되어 있는 영상(예를 들어, 영상의 밝기가 전체적으로 어두운 영상 또는 영상의 밝기가 전체적으로 밝은 영상 등)에 대해서, 선명도를 강화하기 위한 영상 처리 방법이다. 영상의 대비(contrast)는 영상의 히스토그램에 의해 확인될 수 있다. 구체적으로, 대비 강화부(124)는, 영상 내에 포함되는 픽셀들의 밝기를 나타내는 값들이 보다 넓은 범위에서 분포되도록, 영상의 적어도 일부에 대해 변환 함수를 적용할 수 있다.
대비 강화부(124)는, 영상 전체에 대해서 적용될 하나의 변환 함수를 결정하고, 입력 영상에 대해 결정된 변환 함수를 적용함으로써 전역 대비 강화를 수행할 수 있다.
또한, 대비 강화부(124)는, 영상을 복수의 블록들로 분할하고, 각 블록에 대해서 적용될 복수의 변환 함수들을 결정하고, 입력되는 영상의 각 블록에 대해 서로 다른 변환 함수를 적용함으로써 지역 대비 강화를 수행할 수 있다.
대비 강화부(124)는, 영역 분류부(110)에서 결정된 가중치에 기초하여, 각각의 픽셀들이 영상의 평탄 영역을 형성하는데 기여하고 있는지 여부를 알 수 있다.
대비 강화부(124)는, 평탄 영역의 형성과 관련도가 낮은 픽셀에 대해서는, 지역 대비 강화 결과에 높은 가중치를 두어 전역 대비 강화가 수행된 영상 및 지역 대비 강화가 수행된 영상을 조합할 수 있다. 즉, 대비 강화부(124)는, 질감 영역에 포함될 확률이 높은 픽셀들에 대해서는 지역 대비 강화에 의해 선명도가 높아지도록 입력 영상을 처리할 수 있다.
반면에, 대비 강화부(124)는, 평탄 영역의 형성과 관련도가 높은 픽셀에 대해서는, 전역 대비 강화 결과에 높은 가중치를 두어 전역 대비 강화가 수행된 영상 및 지역 대비 강화가 수행된 영상을 조합할 수 있다. 즉, 대비 강화부(124)는, 평탄 영역에 포함될 확률이 높은 픽셀들에 대해서는, 지역 대비 강화보다 전역 대비 강화에 의해 선명도가 높아지도록 입력 영상을 처리할 수 있다. 따라서, 본 개시의 일 실시예에 따른 대비 강화부(124)는, 영역 분류부(110)에서 수행된 영역 분류 결과에 기초하여 지역 대비 강화를 선택적으로 수행함으로써, 지역 대비 강화로 인한 화질 열화를 방지할 수 있다.
예를 들어, 입력 영상에 대해 지역 대비 강화가 수행되어 생성된 영상을 구성하는 픽셀들 중 픽셀(i, j)의 픽셀 값 RGBLOCAL(i, j)과, 입력 영상에 대해 전역 대비 강화가 수행되어 생성된 영상을 구성하는 픽셀들 중 픽셀(i, j)의 픽셀 값 RGBGLOBAL(i, j)과, 픽셀(i, j)가 질감 영역에 포함될 확률 값 pij가 주어졌을 때, 대비 강화부(124)가 출력하는 영상을 구성하는 픽셀들 중 픽셀(i, j)의 픽셀 값 RGBOUT(i, j)은 다음의 수학식 2와 같이 나타낼 수 있다.
도 5는 본 개시의 일 실시예에 따른 영상 보정 장치의 구성을 나타내는 블록도이다. 도 5에 도시된 바와 같이, 본 개시의 일 실시예에 따른 영상 보정부(120)는, 비트 깊이 강화부(122) 및 대비 강화부(124)를 포함할 수 있다.
도 5에 도시된 비트 깊이 강화부(122) 및 대비 강화부(124)는, 도 3에 도시된 비트 깊이 강화부(122) 및 도 4에 도시된 대비 강화부(124)에 대응되므로, 중복되는 설명은 생략한다.
도 5에 도시된 바와 같이, 본 개시의 일 실시예에 따른 대비 강화부(124)는, 입력 영상 및 영역 분류부(110)로부터 획득된 가중치에 기초하여 보정된 영상을 비트 깊이 강화부(122)에게로 출력할 수 있다.
비트 깊이 강화부(122)는, 대비 강화부(124)에서 보정된 영상 및 영역 분류부(110)로부터 획득된 가중치에 기초하여, 출력 영상을 생성할 수 있다.
다만, 본 개시는 도 5에 도시된 블록도에 제한되지 않는다. 예를 들어, 비트 깊이 강화부(122)에서 입력 영상을 처리한 후 보정된 영상을 출력하고, 대비 강화부(124)에서 비트 깊이 강화부(122)로부터 출력된 보정된 영상을 처리한 후 출력 영상을 출력하는 순서로 각 구성이 배치되고 동작할 수 있다.
도 6은 본 개시의 일 실시예에 따른 영상 보정 장치의 구성을 나타내는 블록도이다. 도 6은 본 개시의 일 실시예에 따른 영역 분류부(110)의 구체적인 블록도를 도시한다.
도 6에 도시된 바와 같이, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 썸네일 영상 생성부(130) 및 프레임 지연부(140)를 더 포함할 수 있다.
본 개시의 일 실시예에 따른 영역 분류부(110)는, 영역 분류의 정확도를 높이기 위하여, 영상을 상대적으로 작은 크기의 블록 단위로 분할하여 처리한 고해상도 분석 결과와 함께 영상을 상대적으로 큰 크기의 블록 단위로 분할하여 처리한 저해상도 분석 결과를 이용할 수 있다.
이 때, 영역 분류부(110)가 실시간으로 영상을 처리함에 있어서, 제한된 처리 속도로 인해 현재 프레임에 대한 고해상도 분석 결과와 저해상도 분석 결과를 동시에 획득하는데 어려움이 있을 수 있다. 따라서, 본 개시의 일 실시예에 따른 영역 분류부(110)는, 현재 프레임에 대한 고해상도 분석 결과와 이전 프레임에 대한 저해상도 분석 결과를 이용하여, 영상에 포함되는 복수의 영역들을 분류할 수 있다.
도 6에 도시된 바와 같이, 고해상도 가중치 결정부(112)는, 입력 영상의 현재 프레임을 분석함으로써, 고해상도 가중치를 결정할 수 있다.
프레임 지연부(140)는, 입력 영상을 지연(delay)시킬 수 있다. 썸네일 영상 생성부(130)는, 지연된 입력 영상에 대해 평균화 및 샘플링을 수행함으로써 저해상도 영상 데이터를 획득할 수 있다. 즉, 썸네일 영상 생성부(130)는, 이전 프레임을 구성하는 픽셀들을 다운스케일링함으로써 저해상도 영상 데이터를 획득할 수 있다.
저해상도 가중치 결정부(111)는, 프레임 지연부(140)로부터 출력된 저해상도 데이터를 분석함으로써, 저해상도 가중치를 결정할 수 있다. 이전 프레임이란, 영상 보정부(120)에서 처리하고 있는 프레임(즉, 현재 프레임)의 이전에 처리된 프레임을 의미할 수 있다.
도 6에 도시된 바와 같이, 본 개시의 일 실시예에 따른 영역 분류부(110)는 다양한 방식을 이용하여 적어도 하나의 픽셀에 대한 가중치를 결정할 수 있다.
본 개시의 일 실시예에 따른 영역 분류부(110)는, 제1 가중치 결정부(112.1), 제2 가중치 결정부(112.2), 제3 가중치 결정부(112.3) 및 제4 가중치 결정부(112.4)를 포함하는 고해상도 가중치 결정부(112)를 포함할 수 있다. 또한, 영역 분류부(110)는, 제5 가중치 결정부(111.1) 및 제6 가중치 결정부(111.2)를 포함하는 저해상도 가중치 결정부(111)를 포함할 수 있다. 그러나, 본 개시의 고해상도 가중치 결정부(112) 및 저해상도 가중치 결정부(111)는 도 6에 도시된 것에 한정되지 않으며, 보다 많거나 적은 가중치 결정부를 포함할 수 있다.
먼저, 제2 가중치 결정부(112.2)는, 질감 영역 내에 포함되는 픽셀들의 밝기를 나타내는 값들의 분산이 크다는 특성을 이용하여, 질감 영역 및/또는 평탄 영역을 영상으로부터 분류할 수 있다. 제2 가중치 결정부(112.2)는, 영상을 블록 단위로 분할하고, 블록들 각각에 대해서, 각 블록에 포함되는 픽셀들의 밝기를 나타내는 값들의 분산값을 획득할 수 있다. 예를 들어, 제2 가중치 결정부(112.2)는, 각 블록의 중심에 위치한 중심 픽셀을 기준으로, 각 블록에 포함되는 픽셀들의 밝기를 나타내는 값들의 분산값을 획득할 수 있다.
제2 가중치 결정부(112.2)는, 적어도 하나의 픽셀을 포함하는 중심 블록의 분산값이 임계값보다 클 경우, 적어도 하나의 픽셀이 질감 영역 내에 포함되는 것으로 결정할 수 있다. 다만, 동일한 입력 영상일 지라도, 입력 영상의 전체 밝기가 k배 낮아지면, 입력 영상을 분할하는 각 블록의 분산값 또한 k배 낮아지게 된다. 따라서, 입력 영상에서 질감 영역으로 분류되던 영역도, 영상의 전체 밝기가 낮아지면 평탄 영역으로 분류되는 문제가 있을 수 있다.
입력 영상의 밝기에 따라, 질감 영역 및 평탄 영역을 분류하는 정확도가 떨어지는 문제점을 보완하기 위해서, 중심 픽셀 주변의 MxN 크기의 윈도우 내의 분산을 윈도우 내의 평균 밝기로 정규화(Normalized)한 정규화된 분산(Normalized variance) 값에 기초하여 영역을 분류하는 방법이 이용될 수 있다. 입력 영상의 밝기를 정규화하기 위해 이용되는 윈도우의 크기(MxN)는 실험적으로 결정된 최적화된 값일 수 있다.
구체적으로, 제2 가중치 결정부(112.2)는, 입력되는 영상을 제1 크기의 블록들로 분할하고, 블록들 각각에 대해서, 각 블록에 포함되는 픽셀들의 밝기를 나타내는 값들의 정규화된 분산값을 획득할 수 있다. 제2 가중치 결정부(112.2)는, 적어도 하나의 픽셀이 포함되는 블록인 중심 블록의 정규화된 분산값을 획득할 수 있다. 제2 가중치 결정부(112.2)는, 중심 블록의 정규화된 분산값에 기초하여, 적어도 하나의 픽셀에 대한 제2 가중치를 결정할 수 있다.
예를 들어, 중심 픽셀(i,j)을 포함하는 중심 블록의 정규화된 분산값을 NVij라고 할 때, 제2 가중치 결정부(112.2)는 중심 블록의 중심에 위치한 중심 픽셀(i,j)에 대한 가중치 Pij를 다음의 수학식 3에 나타낸 바와 같이 결정할 수 있다.
TH0 및 TH1은, 중심 픽셀(i, j)에 대한 가중치 Pij를 결정하기 위해서 미리 결정된 임계값들이다. 예를 들어, TH0 및 TH1은 실험적으로 최적화된 값일 수 있다.
수학식 3에 도시된 바와 같이, 제2 가중치 결정부(112.2)는 중심 블록의 정규화된 분산값(NVij)이 임계값(TH0)보다 큰 경우, 중심 블록 내에 포함되는 중심 픽셀이 질감 영역 내에 포함되는 것으로 결정할 수 있다. 즉, 제2 가중치 결정부(112.2)는, 중심 블록에 포함되는 픽셀들의 밝기를 나타내는 값들의 차이가 큰 경우, 중심 픽셀이 질감 영역 내에 포함되는 것으로 판단할 수 있다.
수학식 3에 도시된 바와 같이, 제2 가중치 결정부(112.2)는 중심 블록의 정규화된 분산값(NVij)이 임계값(TH1)보다 작은 경우, 중심 블록 내에 포함되는 중심 픽셀이 평탄 영역 내에 포함되는 것으로 결정할 수 있다. 즉, 제2 가중치 결정부(112.2)는, 중심 블록에 포함되는 픽셀들의 밝기를 나타내는 값들이 유사한 경우, 중심 픽셀이 평탄 영역 내에 포함되는 것으로 판단할 수 있다.
수학식 3에 도시된 바와 같이, 제2 가중치 결정부(112.2)는 중심 블록의 정규화된 분산값(NVij)이 임계값(TH0)보다 작거나 같고, 임계값(TH1)보다 크거나 같은 경우, 중심 블록 내에 포함되는 중심 픽셀이 중간 영역 내에 포함되는 것으로 결정할 수 있다. 제2 가중치 결정부(112.2)는, 중심 픽셀이 포함된 중간 영역의 특성이 질감 영역의 특성에 가까운지, 평탄 영역의 특성에 가까운지 여부를 0부터 1 사이의 값으로 나타낼 수 있다. 즉, 제2 가중치 결정부(112.2)는, 중심 블록에 포함되는 중심 픽셀이 질감 영역 내에 포함될 확률이 높은지, 평탄 영역 내에 포함될 확률이 높은지 여부를 0부터 1 사이의 값으로 나타낼 수 있다. 제2 가중치 결정부(112.2)는 결정된 확률 값을 중심 픽셀에 대한 가중치로서 결정할 수 있다.
다음으로, 제3 가중치 결정부(112.3)는 아주 미세한 밝기 변화를 포함하는 질감 영역을 평탄 영역과 구별할 수 있다. 제3 가중치 결정부(112.3)는 영상을 블록 단위로 분할하고, 평탄 영역 내에 포함되는 블록은 주변 영역과 유사한 밝기 변화를 갖지만, 질감 영역 내에 포함되는 블록은 엣지나 세부 사항의 존재로 인하여 주변 영역과의 밝기 변화의 차이가 크다는 특성을 이용할 수 있다.
구체적으로, 제3 가중치 결정부(112.3)는, 입력되는 영상을 제1 크기의 블록들로 분할하고, 적어도 하나의 픽셀을 포함하는 중심 블록을 포함하는 제1 영역의 정규화된 분산값을 획득할 수 있다. 제3 가중치 결정부(112.3)는, 중심 블록을 포함하는 제1 영역보다 큰 제2 영역의 정규화된 분산값을 획득할 수 있다. 제3 가중치 결정부(112.3)는, 제1 영역의 정규화된 분산값과 제2 영역의 정규화된 분산값의 차이를 산출할 수 있다. 제3 가중치 결정부(112.3)는 중심 블록을 포함하는, 제1 영역보다 크고 제2 영역보다 작은 제 3 영역의 정규화된 분산값을 획득할 수 있다.
제3 가중치 결정부(112.3)는, 제 3 영역의 정규화된 분산값에 제1 영역의 정규화된 분산값과 제2 영역의 정규화된 분산값의 차이를 곱함으로써, 중심 블록에 대한 다중 영역 기반의 정규화된 분산값을 획득할 수 있다. 제3 가중치 결정부(112.3)는, 다중 영역 기반의 정규화된 분산값에 기초하여, 적어도 하나의 픽셀에 대한 제3 가중치를 결정할 수 있다.
예를 들어, 중심 픽셀(i,j)을 포함하는 중심 블록을 기준으로 획득된 다중 영역 기반의 정규화된 분산값을 MWNVij(Multi-Window based Normalized Variance)라고 할 때, 제3 가중치 결정부(112.3)는 중심 블록의 중심에 위치한 중심 픽셀(i,j)에 대한 제3 가중치 Pij를 다음의 수학식 4에 나타낸 바와 같이 결정할 수 있다.
TH2 및 TH3은, 중심 픽셀(i, j)에 대한 가중치 Pij를 결정하기 위해서 미리 결정된 임계값이다. 예를 들어, TH2 및 TH3은 실험적으로 최적화된 값일 수 있다.
수학식 4에 도시된 바와 같이, 제3 가중치 결정부(112.3)는 중심 블록을 기준으로 획득된 다중 영역 기반의 정규화된 분산값(MWNVij)이 임계값(TH3)보다 작을 경우, 중심 블록 내에 포함되는 중심 픽셀이 평탄 영역 내에 포함되는 것으로 결정할 수 있다. 즉, 제3 가중치 결정부(112.3)는, 중심 블록이 주변 영역과 유사한 밝기 변화를 갖는 경우, 중심 픽셀이 평탄 영역 내에 포함되는 것으로 판단할 수 있다.
수학식 4에 도시된 바와 같이, 제3 가중치 결정부(112.3)는 중심 블록의 다중 영역 기반의 정규화된 분산값(MWNVij)이 임계값(TH2)보다 큰 경우, 중심 블록 내에 포함되는 중심 픽셀이 질감 영역 내에 포함되는 것으로 결정할 수 있다. 즉, 제3 가중치 결정부(112.3)는, 중심 블록이 주변 영역과 비교하여 밝기 변화의 차이가 큰 경우, 중심 픽셀이 질감 영역 내에 포함되는 것으로 판단할 수 있다.
수학식 4에 도시된 바와 같이, 제3 가중치 결정부(112.3)는 중심 블록의 다중 영역 기반의 정규화된 분산값(MWNVij)이 임계값(TH2)보다 작거나 같고, 임계값(TH3)보다 크거나 같은 경우, 중심 블록 내에 포함되는 중심 픽셀이 중간 영역 내에 포함되는 것으로 결정할 수 있다. 제3 가중치 결정부(112.3)는, 중심 픽셀이 포함된 중간 영역의 특성이 질감 영역의 특성에 가까운지, 평탄 영역의 특성에 가까운지 여부를 0부터 1 사이의 값으로 나타낼 수 있다. 즉, 제3 가중치 결정부(112.3)는, 중심 블록에 포함되는 중심 픽셀이 질감 영역 내에 포함될 확률이 높은지, 평탄 영역 내에 포함될 확률이 높은지 여부를 0부터 1 사이의 값으로 나타낼 수 있다. 제3 가중치 결정부(112.3)는 결정된 확률 값을 중심 픽셀에 대한 가중치로서 결정할 수 있다.
주변과의 밝기 차이가 아주 미세한 단일 선(Line)을 포함하고 있는 질감 영역 내의 중심 블록의 경우, 중심 블록의 정규화된 분산값이 작고, 중심 블록이 주변 영역과 유사한 밝기 변화를 갖는다. 따라서, 제2 가중치 결정부(112.2) 및 제3 가중치 결정부(112.3)는, 미세한 선을 포함하는 질감 영역을 분류하기 어려운 점이 있다.
제1 가중치 결정부(112.1)는, 주변과의 밝기 차이가 아주 미세한 단일 선을 포함하고 있는 질감 영역을 영상으로부터 분류할 수 있다. 제1 가중치 결정부(112.1)는 영상을 블록 단위로 분할하고, 특정 방향성에 따른 블록들 간의 정규화된 분산(Normalized variance) 값이 유사한 경우, 질감 영역으로 분류할 수 있다.
구체적으로, 제1 가중치 결정부(112.1)는, 입력되는 영상을 제1 크기의 블록들로 분할하고, 블록들 각각에 대해서, 각 블록에 포함되는 픽셀들의 밝기를 나타내는 값들의 정규화된 분산값을 획득할 수 있다. 제1 가중치 결정부(112.1)는, 적어도 하나의 픽셀이 포함되는 블록인 중심 블록의 정규화된 분산값이 0보다 큰 경우, 중심 블록과 소정 방향을 따라 이웃하는 이웃 블록들의 정규화된 분산값들의 분산을 획득할 수 있다. 제1 가중치 결정부(112.1)는, 중심 블록 및 중심 블록과 소정 방향을 따라 이웃하는 이웃 블록들의 정규화된 분산값들의 분산에 기초하여, 적어도 하나의 픽셀에 대한 제1 가중치를 결정할 수 있다.
도 13은 본 개시의 일 실시예에 따라 적어도 하나의 픽셀들이 포함되는 영역의 특성을 결정하는 방법을 설명하기 위한 도면이다.
도 13에 도시된 바와 같이, 제1 가중치 결정부(112.1)는 중심 픽셀(i,j)를 포함하는 중심 블록의 정규화된 분산값(NVij)을 획득하고, 중심 블록의 근방에 위치한 이웃 블록들의 정규화된 분산값들(NVi -2j-2, NVi -2j-1, ..., NVi +2j+1, NVi +2j+2)을 획득할 수 있다.
제1 가중치 결정부(112.1)는, 중심 블록의 정규화된 분산값(NVij)이 0보다 큰 경우, 중심 블록과 소정 방향(θ)을 따라 이웃하는 이웃 블록들의 정규화된 분산값들의 분산(LNVθ i,j)을 획득할 수 있다. 도 13에 도시된 바와 같이, 제1 가중치 결정부(112.1)는, 중심 블록으로부터 수평 방향을 따라 이웃하는 이웃 블록들(NVi ,j-2, NVi ,j-1, NVi ,j+1, NVi ,j+2)의 정규화된 분산값들의 분산(LNV90 i ,j), 중심 블록으로부터 수직 방향을 따라 이웃하는 이웃 블록들(NVi -2,j, NVi -1,j, NVi +1,j, NVi +2,j)의 정규화된 분산값들의 분산(LNV0 i ,j), 중심 블록으로부터 사선 방향을 따라 이웃하는 이웃 블록들(NVi -2,j-2, NVi -1,j-1, NVi +1,j+1, NVi +2,j+2)의 정규화된 분산값들의 분산들(LNV45 ij), 및 중심 블록으로부터 사선 방향을 따라 이웃하는 이웃 블록들(NVi -2,j+2, NVi -1,j+1, NVi+1,j-1, NVi +2,j-2)의 정규화된 분산값들의 분산들(LNV-45 ij) 중 적어도 하나를 획득할 수 있다.
중심 픽셀(i,j)을 포함하는 중심 블록의 정규화된 분산값 NVi ,j가 0보다 크고, 중심 블록과 소정 방향(θ)을 따라 이웃하는 이웃 블록들의 정규화된 분산값들의 분산을 LNVθ i,j라고 할 때, 제1 가중치 결정부(112.1)는 중심 블록의 중심에 위치한 중심 픽셀(i,j)에 대한 제1 가중치 pij를 다음의 수학식 5에 나타낸 바와 같이 결정할 수 있다.
TH4는, 중심 픽셀(i, j)에 대한 가중치 pij를 결정하기 위해서 미리 결정된 임계값이다. 예를 들어, TH4는 실험적으로 최적화된 값일 수 있다.
수학식 5에 도시된 바와 같이, 제1 가중치 결정부(112.1)는 중심 블록과 소정 방향(θ)을 따라 이웃하는 이웃 블록들의 정규화된 분산값들의 분산(LNVθ i,j)이 임계값(TH4)보다 작을 경우, 중심 블록에 포함되는 중심 픽셀이 질감 영역 내에 포함되는 것으로 결정할 수 있다. 즉, 제1 가중치 결정부(112.1)는, 중심 블록을 기준으로 적어도 하나의 방향을 따라 이웃하는 이웃 블록들 간의 분산값들이 유사한 경우, 중심 픽셀이 질감 영역 내에 포함되는 것으로 판단할 수 있다.
다음으로, 제4 가중치 결정부(112.4)는, 질감 영역은 영역 내에 많은 색상 변화가 있는 반면, 평탄 영역의 경우는 유사한 색상을 가진 픽셀들로 이루어지는 특성을 이용할 수 있다.
제4 가중치 결정부(112.4)는 영상을 블록 단위로 분할하고, 블록 내의 픽셀들의 색상을 나타내는 값들의 차이가 큰 경우, 질감 영역으로 분류할 수 있다.
구체적으로, 제4 가중치 결정부(112.4)는, 입력되는 영상을 제1 크기의 블록들로 분할하고, 블록들 각각에 대해서, 각 블록에 포함되는 픽셀들의 색상 또는 색차를 나타내는 값들을 획득할 수 있다. 제4 가중치 결정부(112.4)는, 적어도 하나의 픽셀이 포함되는 블록인 중심 블록에 포함되는 픽셀들의 색상들을 나타내는 값들의 최대값 및 최소값을 획득할 수 있다. 제4 가중치 결정부(112.4)는 최대값 및 최소값의 차이에 기초하여, 적어도 하나의 픽셀에 대한 제4 가중치를 결정할 수 있다. 제4 가중치 결정부(112.4)는 최대값 및 최소값의 차이가 임계값보다 큰 경우, 적어도 하나의 픽셀이 질감 영역 내에 포함되는 것으로 판단하고, 제4 가중치를 결정할 수 있다.
예를 들어, 제4 가중치 결정부(112.4)는 중심 블록 내의 픽셀들을 YcbCr과 같이, 각 픽셀의 밝기 성분과 색차 성분을 나타내는 색표현 방식에 따라 표현할 수 있다. 다음의 수학식 6에 나타낸 바와 같이, 제4 가중치 결정부(112.4)는 중심 픽셀(i,j)을 포함하는 중심 블록 내에 포함되는 픽셀들의 밝기 성분(Y)들의 최대값(Ymax)과 최소값(Ymin)의 차, 및 색차 성분들(Cb, Cr)의 최대값(Cbmax, Crmax)과 최소값(Cbmin, Crmin)의 차의 가중치 합으로부터 중심 픽셀(i,j)에 대한 색상 편차 Kij를 산출할 수 있다.
제4 가중치 결정부(112.4)는, 중심 픽셀(i,j)에 대한 색상 편차를 Kij라고 할 때, 중심 픽셀에 대한 제4 가중치 pij를 다음의 수학식 7에 나타낸 바와 같이 결정할 수 있다.
TH5 및 TH6은, 중심 픽셀(i, j)에 대한 가중치 Pij를 결정하기 위해서 미리 결정된 임계값이다. 예를 들어, TH5 및 TH6은 실험적으로 최적화된 값일 수 있다.
수학식 7에 도시된 바와 같이, 제4 가중치 결정부(112.4)는 중심 블록 내에 포함되는 픽셀들 간의 색상 편차(Kij)가 임계값(TH5)보다 큰 경우, 중심 블록에 포함되는 중심 픽셀이 질감 영역 내에 포함되는 것으로 결정할 수 있다. 즉, 제4 가중치 결정부(112.4)는, 중심 블록 내에 많은 색상 변화가 있는 경우, 중심 픽셀이 질감 영역 내에 포함되는 것으로 판단할 수 있다.
수학식 7에 도시된 바와 같이, 제4 가중치 결정부(112.4)는 중심 블록 내에 포함되는 픽셀들 간의 색상 편차(Kij)가 임계값(TH6)보다 작은 경우, 중심 블록에 포함되는 중심 픽셀이 평탄 영역 내에 포함되는 것으로 결정할 수 있다. 즉, 제4 가중치 결정부(112.4)는, 중심 블록 내에 색상 변화가 적은 경우, 중심 픽셀이 평탄 영역 내에 포함되는 것으로 판단할 수 있다.
수학식 7에 도시된 바와 같이, 제4 가중치 결정부(112.4)는 중심 블록의 색상 편차(Kij)가 임계값(TH5)보다 작거나 같고, 임계값(TH6)보다 크거나 같은 경우, 중심 블록 내에 포함되는 중심 픽셀이 중간 영역 내에 포함되는 것으로 결정할 수 있다. 제4 가중치 결정부(112.4)는, 중심 픽셀이 포함된 중간 영역의 특성이 질감 영역의 특성에 가까운지, 평탄 영역의 특성에 가까운지 여부를 0부터 1 사이의 값으로 나타낼 수 있다. 즉, 제4 가중치 결정부(112.4)는, 중심 블록에 포함되는 중심 픽셀이 질감 영역 내에 포함될 확률이 높은지, 평탄 영역 내에 포함될 확률이 높은지 여부를 0부터 1 사이의 값으로 나타낼 수 있다. 제4 가중치 결정부(112.4)는 결정된 확률 값을 중심 픽셀에 대한 가중치로서 결정할 수 있다.
본 개시의 일 실시예에 따른 영역 분류부(110)는, 제5 가중치 결정부(111.5) 및 제6 가중치 결정부(111.6)를 포함하는 저해상도 가중치 결정부(111)를 포함할 수 있다. 그러나, 본 개시의 저해상도 가중치 결정부(112)는 도 6에 도시된 것에 한정되지 않으며, 보다 많거나 적은 가중치 결정부를 포함할 수 있다.
저해상도 가중치 결정부(111)는, 입력 영상의 해상도 기준으로 질감 영역과 평탄 영역을 분류하는 고해상도 가중치 결정부(112)와 달리, 입력 영상을 다운스케일링한 저해상도 영상 데이터를 분석한 결과에 기초하여 입력 영상으로부터 질감 영역과 평탄 영역을 분류한다. 예를 들어, 입력 영상을 다운 스케일링한 저해상도 영상 데이터는, 썸네일 영상 생성부(130)에서, 입력 영상을 평활화(smoothing)한 후, 다운 샘플링함으로써 획득될 수 있다.
고해상도 가중치 결정부(112)에 의해서 좁은 시야로 영상을 관찰하는 경우, 미세한 세부 사항(Detail)을 갖는 질감 영역은 평탄 영역으로 잘못 분류될 수 있다. 그러나, 미세한 세부 사항을 갖는 질감 영역에 대해서 보다 넓은 시야로 관찰한다면, 주변에 위치한 엣지 성분에 의해 평탄 영역으로 분류되지 않을 수 있다.
선(Line)이나 글자(Text) 등을 포함하는 질감 영역의 경우, 질감 영역 내에 포함되는 엣지들의 사이에 위치한 중심 픽셀을 기준으로 멀어질수록 질감 영역 내에 포함되는 픽셀들의 밝기를 나타내는 값들의 증감 방향이 바뀐다.
예를 들어, 흰색 배경에 쓰여진 글자들을 나타내는 영상의 경우, 높은 해상도로 해당 영상을 관찰할 경우, 글자들 사이의 영역이 평탄 영역으로 잘못 분류될 수 있다. 반면에 낮은 해상도로 해당 영상을 관찰할 경우, 글자들 사이에 위치한 중심 픽셀을 기준으로 소정 방향에 따라, 글자를 나타내는 영역에서는 픽셀들의 밝기가 어두워졌다가, 배경을 나타내는 영역에서는 픽셀들의 밝기가 다시 밝아지는 것이 관찰될 수 있다.
한편, 픽셀들의 밝기를 나타내는 값이 단조 증가 또는 단조 감소하는 평탄 영역 내에서, 비트 깊이 조절로 인해 의사 윤곽이 발생할 수 있다. 이 때, 평탄 영역은, 의사 윤곽의 경계에서 관찰되는 밝기 차이에 관계없이, 밝기 변화의 증감 방향이 바뀌지 않고 유지된다. 제5 가중치 결정부(111.5)는 이러한 특성을 이용하여, 영상으로부터 질감 영역을 분류할 수 있다.
구체적으로, 제5 가중치 결정부(111.5)는, 영상을 제2 크기의 블록들로 분할하고, 적어도 하나의 픽셀이 포함되는 블록인 중심 블록에 포함되는 픽셀들의 밝기를 나타내는 값들을 획득할 수 있다. 이 때, 제2 크기의 블록은, 고해상도 가중치 결정부(112)에서 영상을 분할하기 위해 이용하는 제1 크기의 블록보다 클 수 있다.
제5 가중치 결정부(111.5)는, 중심 블록 내에서 중심 픽셀을 기준으로 소정 방향을 따라 픽셀들의 밝기를 나타내는 값들이 증가하고 감소하는지 여부, 즉, 제5 가중치 결정부(111.5)는, 중심 블록 내에서 픽셀들의 밝기의 증감 방향이 달라지는 여부에 기초하여, 적어도 하나의 픽셀에 대한 제5 가중치를 결정할 수 있다.
예를 들어, 제5 가중치 결정부(111.5)는, 적어도 하나의 픽셀을 포함하는 중심 블록 내에서 소정 방향을 따라 픽셀들의 밝기를 나타내는 값들이 단조 증가 또는 단조 감소하는 경우, 적어도 하나의 픽셀이 평탄 영역에 포함되는 것으로 결정할 수 있다. 제5 가중치 결정부(111.5)는, 적어도 하나의 픽셀이 평탄 영역에 포함되는 것으로 결정하고, 적어도 하나의 픽셀에 대한 가중치로서 0을 설정할 수 있다.
또한, 제5 가중치 결정부(111.5)는, 적어도 하나의 픽셀을 포함하는 중심 블록 내에서 소정 방향을 따라 픽셀들의 밝기를 나타내는 값들의 증감 방향이 달라지는 경우, 적어도 하나의 픽셀이 질감 영역에 포함되는 것으로 결정할 수 있다. 제5 가중치 결정부(111.5)는, 적어도 하나의 픽셀이 질감 영역에 포함되는 것으로 결정하고, 적어도 하나의 픽셀에 대한 가중치로서 1을 설정할 수 있다.
다음으로, 제6 가중치 결정부(111.6)는, 질감 영역은 영역 내에 많은 색상 변화가 있는 반면, 평탄 영역의 경우는 유사한 색상을 가진 픽셀들로 이루어지는 특성을 이용할 수 있다. 일반적으로 평탄 영역의 경우, 평탄 영역 내에 포함되는 픽셀들의 색상을 나타내는 값들이 유사하다. 또한, 의사 윤곽이 발생하기 쉬운, 단조 증감 또는 단조 감소하는 밝기 기울기를 갖는 그라데이션(Gradation) 영역의 경우에도 영역 내에 포함되는 픽셀들의 밝기를 나타내는 값들의 변화는 있지만, Cb/Cr 채널과 같은 색차 성분의 변화가 크지 않다. 제6 가중치 결정부(111.6)는, 이러한 특성을 이용하여 블록에 포함되는 픽셀들의 색상을 나타내는 값들의 최대값과 최소값의 차에 기초하여, 영상으로부터 평탄 영역 및 질감 영역을 분류할 수 있다.
구체적으로, 제6 가중치 결정부(111.6)는, 입력되는 영상을 제2 크기의 블록들로 분할하고, 블록들 각각에 대해서, 각 블록에 포함되는 픽셀들의 색상 또는 색차를 나타내는 값들을 획득할 수 있다. 제6 가중치 결정부(111.6)는, 적어도 하나의 픽셀이 포함되는 블록인 중심 블록에 포함되는 픽셀들의 색상들을 나타내는 값들의 최대값 및 최소값을 획득할 수 있다. 제6 가중치 결정부(111.6)는 최대값 및 최소값의 차이에 기초하여, 적어도 하나의 픽셀에 대한 제6 가중치를 결정할 수 있다. 제6 가중치 결정부(111.6)는 최대값 및 최소값의 차이가 임계값보다 큰 경우, 적어도 하나의 픽셀이 질감 영역 내에 포함되는 것으로 판단하고, 제6 가중치를 결정할 수 있다.
예를 들어, 제6 가중치 결정부(111.6)는 중심 블록 내의 픽셀들을 YcbCr과 같이, 각 픽셀의 밝기 성분과 색차 성분을 나타내는 색표현 방식에 따라 표현할 수 있다. 다음의 수학식 8에 나타낸 바와 같이, 제6 가중치 결정부(111.6)는 중심 픽셀(i,j)을 포함하는 중심 블록 내에 포함되는 픽셀들의 색차 성분들(Cb, Cr)의 최대값(Cbmax, Crmax)과 최소값(Cbmin, Crmin)의 차의 가중치 합으로부터 중심 픽셀(i,j)에 대한 색상 편차 K’ij를 산출할 수 있다.
제6 가중치 결정부(111.6)는, 중심 픽셀(i,j)에 대한 색상 편차를 K’ij 라고 할 때, 중심 픽셀(i,j)에 대한 제6 가중치 Pij를 다음의 수학식 9에 나타낸 바와 같이 결정할 수 있다.
TH7 및 TH8은, 중심 픽셀(i, j)에 대한 가중치 Pij를 결정하기 위해서 미리 결정된 임계값이다. 예를 들어, TH7 및 TH8은 실험적으로 최적화된 값일 수 있다.
수학식 9에 도시된 바와 같이, 제6 가중치 결정부(111.6)는 중심 블록 내에 포함되는 픽셀들 간의 색상 편차(K’ij)가 임계값(TH7)보다 큰 경우, 중심 블록에 포함되는 중심 픽셀이 질감 영역 내에 포함되는 것으로 결정할 수 있다. 즉, 제6 가중치 결정부(111.6)는, 중심 블록 내에 많은 색상 변화가 있는 경우, 중심 픽셀이 질감 영역 내에 포함되는 것으로 판단할 수 있다.
수학식 9에 도시된 바와 같이, 제6 가중치 결정부(111.6)는 중심 블록 내에 포함되는 픽셀들 간의 색상 편차(K’ij)가 임계값(TH8)보다 작은 경우, 중심 블록에 포함되는 중심 픽셀이 평탄 영역 내에 포함되는 것으로 결정할 수 있다. 즉, 제6 가중치 결정부(111.6)는, 중심 블록 내에 색상 변화가 적은 경우, 중심 픽셀이 평탄 영역 내에 포함되는 것으로 판단할 수 있다.
수학식 9에 도시된 바와 같이, 제6 가중치 결정부(111.6)는 중심 블록의 색상 편차(K’ij)가 임계값(TH7)보다 작거나 같고, 임계값(TH8)보다 크거나 같은 경우, 중심 블록 내에 포함되는 중심 픽셀이 중간 영역 내에 포함되는 것으로 결정할 수 있다. 제6 가중치 결정부(111.6)는, 중심 블록에 포함되는 중심 픽셀이 질감 영역 내에 포함될 확률이 높은지, 평탄 영역 내에 포함될 확률이 높은지 여부를 0부터 1 사이의 값으로 나타낼 수 있다. 제6 가중치 결정부(111.6)는 결정된 확률 값을 중심 픽셀에 대한 가중치로서 결정할 수 있다.
가중치 통합부(113)는, 가중치 결정부들(111, 112)에서 결정된 가중치들을 조합하여, 적어도 하나의 픽셀에 대한 하나의 가중치를 결정할 수 있다.
예를 들어, 가중치 통합부(113)는, 고해상도 가중치 결정부(112)에서 결정된 제1 가중치, 제2 가중치, 제3 가중치 및 제4 가중치 중 적어도 하나에 기초하여, 적어도 하나의 픽셀에 대한 가중치를 결정할 수 있다. 또는, 가중치 통합부(113)는, 저해상도 가중치 결정부(111)에서 결정된 제5 가중치 및 제6 가중치 중 적어도 하나에 기초하여, 적어도 하나의 픽셀에 대한 가중치를 결정할 수 있다.
또는, 가중치 통합부(113)는, 고해상도 가중치 결정부(112)에서 결정된 제1 가중치, 제2 가중치, 제3 가중치 및 제4 가중치와, 저해상도 가중치 결정부(111)에서 결정된 제5 가중치 및 제6 가중치를 조합하여, 적어도 하나의 픽셀에 대한 가중치로서 결정할 수 있다. 예를 들어, 가중치 통합부(113)는, 제1 가중치 내지 제6 가중치 중에서 최대값을 적어도 하나의 픽셀에 대한 가중치로서 결정할 수 있다.
예를 들어, 입력 영상의 픽셀(i, j)에 대하여, 제1 가중치 결정부(112.1)에서 결정된 제1 가중치를 Pij HR1 이라 하고, 제2 가중치 결정부(112.2)에서 결정된 제2 가중치를 Pij HR2 이라 하고, 제3 가중치 결정부(112.3)에서 결정된 제3 가중치를 Pij HR3 이라 하고, 제4 가중치 결정부(112.4)에서 결정된 제4 가중치를 Pij HR4 이라 하자. 제5 가중치 결정부(111.5)에서 결정된 제5 가중치를 Pij LR1 이라 하고, 제6 가중치 결정부(111.6)에서 결정된 제6 가중치를 Pij LR2 이라 하자.
가중치 통합부(113)는, 수학식 10에 나타낸 바와 같이, 제1 가중치 내지 제6 가중치들의 최대값을 획득하여, 적어도 하나의 픽셀(i,j)에 대한 가중치Pij를 결정할 수 있다.
가중치 개선부(115)는, 픽셀들의 색상들에 대한 정보에 기초하여, 가중치 통합부(113)에서 결정된 가중치를 개선할 수 있다. 가중치 개선부(115)는, 색상들이 서로 유사한 영역들을 하나의 그룹으로 분류하고, 분류된 적어도 하나의 그룹에 포함되는 가중치들에 대해서 평균 필터링을 수행할 수 있다.
도 6에 도시된 바와 같이, 가중치 개선부(115)는, 썸네일 영상 생성부(130)로부터 출력되는 저해상도 영상 데이터로부터, 영상에 포함되는 픽셀들의 색상들에 대한 정보를 획득할 수 있다. 가중치 개선부(115)는, 획득된 픽셀들의 색상들에 대한 정보에 기초하여, 가중치 통합부(113)에서 결정된 가중치를 개선할 수 있다.
한편, 영상 보정부(120)는, 영역 분류부(110)에서 결정된 가중치에 기초하여, 입력 영상을 보정할 수 있다. 구체적으로, 영상 보정부(120)는, 영역 분류부(110)에서 결정된 가중치에 기초하여, 입력 영상의 평탄 영역 및 질감 영역에 대해 적합한 영상 처리를 수행할 수 있다.
일 예로서, 영상 보정부(120)는, 입력 영상 내에 포함되는 노이즈를 제거하기 위한 로우 패스 필터링을 수행함에 있어서, 영역 분류부(110)에서 결정된 가중치를 적용할 수 있다. 다른 예로서, 영상 보정부(120)는, 입력 영상에 대해 지역 대비 강화를 수행함에 있어서, 영역 분류부(110)에서 결정된 가중치를 적용할 수 있다.
예를 들어, 입력 영상에 대해 로우 패스 필터링을 수행함에 있어서, 영상 보정부(120)는, 입력 영상의 고해상도 영상 데이터에 대해 로우 패스 필터링한 결과와, 입력 영상의 저해상도 영상 데이터에 대해 로우 패스 필터링한 결과를 조합하여 비트 깊이를 높일 수 있다. 이 때, 입력 영상의 고해상도 영상 데이터는, 입력 영상의 현재 프레임을 구성하는 픽셀들에 대한 정보로부터 획득될 수 있다. 다만, 도 6에 도시된 바와 같이, 입력 영상의 저해상도 영상 데이터는, 썸네일 영상 생성부(130)에서 입력 영상의 이전 프레임에 대해 평균화 및/또는 샘플링을 적용함으로써 획득될 수 있다.
영상 보정부(120)는, 영상의 전송 또는 처리 과정에서 발생하는 의사 윤곽 또는 헤일로 등의 노이즈가 제거됨으로써 화질이 개선된 출력 영상을 출력한다.
도 7은 본 개시의 일 실시예에 따른 영상 보정 장치에 포함되는 비트 깊이 강화부(122)의 구성을 나타내는 블록도이다.
도 7에 도시된 바와 같이, 비트 깊이 강화부(122)는, 제1 로우 패스 필터(710), 제2 로우 패스 필터(720), 및 조합부(730)를 포함할 수 있다.
제1 로우 패스 필터(710)는, 입력 영상의 이전 프레임을 구성하는 픽셀들을 다운스케일링함으로써 획득된 저해상도 영상 데이터(LR)에 대해서 로우 패스 필터링을 수행할 수 있다. 도 6을 참조하면, 제1 로우 패스 필터(710)는, 썸네일 영상 생성부(130)로부터, 영상의 이전 프레임을 구성하는 픽셀들을 다운스케일링함으로써 획득된 저해상도 영상 데이터(LR)를 획득할 수 있다.
제1 로우 패스 필터(710)에서 필터링하는 저해상도 영상 데이터(LR)는, 비트 깊이 강화부(122)에서 비트 깊이 조절 동작의 대상이 되는 프레임의 이전에 처리된 프레임을 썸네일 영상 생성부(130)에서 다운 스케일링함으로써 생성된 것일 수 있다. 저해상도 영상 데이터(LR)는, 프레임 지연부(140)에서 지연되어 출력된 프레임을 다운 스케일링함으로써 생성된 것일 수 있다.
제2 로우 패스 필터(720)는, 영상의 현재 프레임을 구성하는 픽셀들로 구성되는 고해상도 영상 데이터(HR)에 대해서 로우 패스 필터링을 수행할 수 있다. 제2 로우 패스 필터(720)에서 처리하는 고해상도 영상 데이터(HR)는 입력 영상 그 자체를 의미할 수 있다.
조합부(730)는, 영역 분류부(110)에서 결정된 적어도 하나의 픽셀에 대한 가중치(P)를 수신할 수 있다. 조합부(730)에서 영역 분류부(110)로부터 수신하는 가중치(P)는, 입력 영상을 구성하는 픽셀들 각각이 질감 영역 내에 포함될 확률 값들을 포함할 수 있다.
조합부(730)는, 영역 분류부(110)에서 결정된 가중치(P)를 적용하여, 입력 영상, 제1 로우 패스 필터(710)에서 필터링된 저해상도 영상 데이터 및 제2 로우 패스 필터(720)에서 필터링된 고해상도 영상 데이터를 조합할 수 있다.
먼저, 조합부(730)는, 제1 로우 패스 필터(710)에서 필터링된 저해상도 영상 데이터 및 제2 로우 패스 필터(720)에서 필터링된 고해상도 영상 데이터를 가중치 합(weight sum)함으로써 비트 깊이가 증가된 필터링된 데이터를 생성할 수 있다. 예를 들어, 조합부(730)는, 8~10비트 입력 영상에 대해 로우 패스 필터링을 적용함으로써, 14~18비트의 필터링된 데이터를 생성할 수 있다.
다음으로, 조합부(730)는, 입력 영상, 제1 로우 패스 필터(710) 및 제2 로우 패스 필터(720)를 거쳐 필터링된 데이터 및 영역 분류부(110)로부터 수신되는 가중치(P)에 기초하여 출력 영상을 생성할 수 있다. 조합부(830)로부터 출력되는 영상(RGBOUT)은, 상술한 수학식 1에 따라 입력 영상(RGBIN)과 필터링된 데이터(RGBLPF)를 가중치(P)를 적용하여 조합함으로써 생성될 수 있다.
또한, 도 7에는 도시되지 않았으나, 본 개시의 일 실시예에 따른 조합부(730)는 14~18비트의 필터링된 데이터와 입력 영상을 조합하여 생성된 영상을 8~10비트의 디스플레이에서 출력하기 위하여, 에러 분산(Error Diffusion) 방식을 이용한 양자화 작업을 추가로 수행하는 고 비트 렌더링(High-bit rendering)부를 더 포함할 수 있다.
도 8은 본 개시의 일 실시예에 따른 영상 보정 장치에 포함되는 대비 강화부(124)의 구성을 나타내는 블록도이다.
도 8에 도시된 바와 같이, 대비 강화부(124)는, 지역 대비 강화부(810), 전역 대비 강화부(820) 및 조합부(830)를 포함할 수 있다.
지역 대비 강화부(810)는, 입력 영상을 복수의 블록들로 분할하고, 각 블록에 대해서 적용될 복수의 변환 함수들을 결정하고, 입력 영상의 각 블록에 대해 서로 다른 변환 함수를 적용함으로써 지역 대비 강화를 수행할 수 있다. 복수의 변환 함수들은, 각 블록 내에 포함되는 픽셀들의 밝기를 나타내는 값들이 보다 넓은 범위에서 분포하도록, 픽셀들의 밝기를 나타내는 값들을 변환하는 함수들일 수 있다.
전역 대비 강화부(820)는, 영상 전체에 대해서 적용될 하나의 변환 함수를 결정하고, 입력되는 영상에 대해 변환 함수를 적용함으로써 전역 대비 강화를 수행할 수 있다. 영상 전체에 대해서 적용될 하나의 변환 함수는, 영상 내에 포함되는 픽셀들의 밝기를 나타내는 값들이 보다 넓은 범위에서 분포하도록 변환하는 함수일 수 있다.
조합부(830)는, 영역 분류부(110)에서 결정된 적어도 하나의 픽셀에 대한 가중치(P)를 수신할 수 있다. 조합부(830)에서 영역 분류부(110)로부터 수신하는 가중치(P)는, 입력 영상을 구성하는 픽셀들 각각이 질감 영역 내에 포함될 확률 값들을 포함할 수 있다.
조합부(830)는, 영역 분류부(110)에서 결정된 가중치(P)를 적용하여, 지역 대비 강화부(810)에서 입력 영상에 대해 지역 대비 강화가 수행된 영상 및 전역 대비 강화부(820)에서 입력 영상에 대해 전역 대비 강화가 수행된 영상을 조합할 수 있다. 조합부(830)는, 영상 내에 포함되는 각 픽셀이 평탄 영역 내에 포함되는지, 질감 영역 내에 포함되는지 여부에 기초하여, 지역 대비 강화 결과와 전역 대비 강화 결과가 혼합된 출력 영상을 생성할 수 있다.
조합부(830)는, 지역 대비 강화부(810)에서 처리된 영상 데이터, 전역 대비 강화부(820)에서 처리된 영상 데이터, 및 영역 분류부(110)로부터 수신되는 가중치(P)에 기초하여 출력 영상을 생성할 수 있다. 조합부(830)로부터 출력되는 영상은, 상술한 수학식 2에 따라 지역 대비 강화 처리된 영상 데이터(RGBLOCAL)와 전역 대비 강화 처리된 영상 데이터(RGBGLOBAL)를 가중치(P)를 적용하여 조합함으로써 생성될 수 있다.
도 9는 본 개시의 일 실시예에 따른 영상 보정 방법을 나타내는 흐름도이다.
도 9에 도시된 영상 보정 방법은 도 1에 도시된 영상 보정 장치(100) 에 의해 수행될 수 있다. 구체적으로 단계 S910 및 S920은 도 1의 영역 분류부(110)에서 수행될 수 있으며, 단계 S930은 도 1의 영상 보정부(120)에서 수행될 수 있다. 따라서, 도 1에 대한 설명은 도 9에 도시된 영상 보정 방법에도 적용될 수 있으며, 중복되는 설명은 생략한다.
단계 S910에서 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 영상을 구성하는 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보를 획득할 수 있다. 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보는, 각 픽셀의 밝기를 나타내는 값, 색상을 나타내는 값 및 색차를 나타내는 값 중 적어도 하나를 포함할 수 있다. 예를 들어, 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보는, RGB 방식에 따라 표현되거나, YcbCr 방식에 따라 표현될 수 있다.
단계 S920에서 본 개시의 일 실시예에 따른 영상 보정 장치(100)는 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여 픽셀들 중 적어도 하나의 픽셀이 포함되는 영역을 나타내는 가중치를 결정할 수 있다.
영상은 픽셀들이 균일하게 분포하는지 여부에 따라 구분되는 복수의 영역들을 포함할 수 있다. 예를 들어, 영상은, 평탄 영역, 질감 영역, 및 중간 영역 중 적어도 하나를 포함할 수 있다.
영상 보정 장치(100)는, 적어도 하나의 픽셀이 질감 영역에 포함될 확률을 나타내는 값을, 적어도 하나의 픽셀에 대한 가중치로서 결정할 수 있다.
도 10은 본 개시의 일 실시예에 따라 적어도 하나의 픽셀에 대한 가중치를 결정하는 방법을 나타내는 흐름도이다.
도 10의 단계 S1010에 도시된 바와 같이, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는 입력되는 영상을 제1 크기의 블록들로 분할하여 분석함으로써, 적어도 하나의 픽셀이 포함되는 영역을 나타내는 고해상도 가중치를 결정할 수 있다. 영상 보정 장치(100)는, 적어도 하나의 픽셀을 포함하는 제1 크기의 블록들 내의 픽셀들을 분석함으로써, 적어도 하나의 픽셀이 포함되는 영역이 질감 영역인지 평탄 영역인지 여부를 판단할 수 있다. 영상 보정 장치(100)는, 적어도 하나의 픽셀이 질감 영역에 포함될 확률이 높다고 판단될수록 1에 가까운 값을 고해상도 가중치로서 결정할 수 있다.
단계 S1020에서, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는 입력 영상을 제1 크기보다 큰 제2 크기의 블록들로 분할하여 분석함으로써, 적어도 하나의 픽셀이 포함되는 영역을 나타내는 저해상도 가중치를 결정할 수 있다. 영상 보정 장치(100)는, 입력되는 영상을 보다 넓은 시야로 분석함으로써, 적어도 하나의 픽셀이 포함되는 영역이 질감 영역인지 평탄 영역인지 여부를 판단할 수 있다. 영상 보정 장치(100)는, 적어도 하나의 픽셀이 질감 영역에 포함될 확률이 높다고 판단될수록 1에 가까운 값을 저해상도 가중치로서 결정할 수 있다.
단계 S1030에서, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는 고해상도 가중치 및 저해상도 가중치에 기초하여, 적어도 하나의 픽셀이 포함되는 영역을 나타내는, 적어도 하나의 픽셀에 대한 가중치를 결정할 수 있다. 예를 들어, 영상 보정 장치(100)는, 고해상도 가중치 및 저해상도 가중치 중 큰 값을 적어도 하나의 픽셀에 대한 가중치로서 결정할 수 있다.
단계 S1040에서, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는 픽셀들의 색상들에 대한 정보에 기초하여 가중치들을 적어도 하나의 그룹으로 분류할 수 있다. 예를 들어, 영상 보정 장치(100)는, 색상들이 서로 유사한 픽셀들을 포함하는 영역에 대해 매핑된 가중치들을 하나의 그룹으로 분류할 수 있다.
단계 S1050에서, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는 적어도 하나의 그룹에 포함되는 가중치들에 대해서 평균 필터링을 수행할 수 있다. 영상 보정 장치(100)는 유사한 색을 가진 영역 내에서만 평균 필터링을 수행함으로써, 영상이 나타내는 물체의 형상에 따라 질감 영역 및 평탄 영역 중 적어도 하나를 영상으로부터 정확하게 구분할 수 있다.
도 9로 돌아와서, 단계 S930에서 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 단계 S920에서 결정된 가중치에 기초하여 영상을 보정할 수 있다.
영상 보정 장치(100)는, 단계 S920에서 결정된 가중치에 기초하여, 평탄 영역으로 분류된 영역에 대해서 의사 윤곽 노이즈를 제거하기 위한 처리를 수행함으로써 영상을 보정할 수 있다.
도 11은 본 개시의 일 실시예에 따라 결정된 가중치에 기초하여 영상을 보정하는 방법을 나타내는 흐름도이다.
도 11에 도시된 바와 같이, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는 영상의 적어도 일부에 대해서 로우 패스 필터링을 수행하고, 단계 S920에서 결정된 가중치를 적용하여, 입력 영상과 로우 패스 필터링이 수행된 영상을 조합할 수 있다.
구체적으로, 단계 S1110에서 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 영상의 이전 프레임을 구성하는 픽셀들을 다운스케일링함으로써 획득된 저해상도 영상 데이터에 대해서 로우 패스 필터링을 수행할 수 있다. 영상 보정 장치(100)로 입력되는 영상이 동영상인 경우, 영상 보정 장치(100)는 영상의 현재 프레임 내에 포함되는 의사 윤곽을 제거하기 위해서, 이전 프레임으로부터 획득된 저해상도 영상 데이터를 이용할 수 있다.
단계 S1120에서 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 영상의 현재 프레임을 구성하는 픽셀들로 구성되는 고해상도 영상 데이터에 대해서 로우 패스 필터링을 수행할 수 있다. 고해상도 영상 데이터는, 입력 영상의 원본 데이터 그 자체일 수 있다.
단계 S1130에서 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 단계 S920에서 결정된 가중치를 적용하여, 원본 영상, 로우 패스 필터링된 저해상도 영상 데이터 및 로우 패스 필터링된 고해상도 영상 데이터를 조합할 수 있다.
본 개시의 일 실시예에 따른 영상 보정 장치(100)는 단계 S920에서 결정된 가중치를 적용하여 영상의 적어도 일부에 대해서만 로우 패스 필터링을 수행할 수 있다. 영상 보정 장치(100)는, 질감 영역에 포함되는 것으로 결정된 픽셀에 대해서는, 원본 영상으로부터 획득된 픽셀 값을 그대로 출력할 수 있다. 반면에, 영상 보정 장치(100)는, 영역 분류부(110)에서 평탄 영역에 포함되는 것으로 결정된 픽셀에 대해서는, 로우 패스 필터링된 픽셀 값을 출력할 수 있다.
따라서, 영상 보정 장치(100)는, 입력 영상의 평탄 영역에 대해서는 의사 윤곽 노이즈를 제거하면서도, 질감 영역에 대해서는 불필요한 필터링에 의한 원본 영상의 왜곡이 발생하지 않도록 하여 영상의 화질을 개선할 수 있다.
도 12는 본 개시의 일 실시예에 따라 결정된 가중치에 기초하여 영상을 보정하는 방법을 나타내는 흐름도이다.
단계 S1210에서 본 개시의 일 실시예에 따른 영상 보정 장치(100)는 영상의 적어도 일부에 대해서 전역 대비 강화를 수행할 수 있다. 영상 보정 장치(100)는, 영상에 포함되는 픽셀들의 밝기 차이가 증가되도록, 하나의 변환 함수를 적용하여 전역 대비 강화를 수행할 수 있다.
단계 S1220에서 본 개시의 일 실시예에 따른 영상 보정 장치(100)는 영상의 적어도 일부에 대해서 지역 대비 강화를 수행할 수 있다. 영상 보정 장치(100)는, 영상에 포함되는 픽셀들의 밝기 차이가 증가되도록, 영상에 포함되는 복수의 영역들에 대해서 복수의 변환함수들을 적용하여 지역 대비 강화를 수행할 수 있다.
단계 S1230에서 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 단계 S920에서 결정된 가중치를 적용하여, 전역 대비 강화가 수행된 영상 및 지역 대비 강화가 수행된 영상을 조합할 수 있다. 단계 S920에서 결정된 가중치는, 영상에 포함되는 각 픽셀이 질감 영역에 포함될 확률을 나타내는 값일 수 있다.
영상 보정 장치(100)는, 질감 영역에 포함될 확률이 높은 픽셀들에 대해서는, 전역 대비 강화 결과보다 지역 대비 강화 결과에 높은 가중치를 둘 수 있다. 즉, 영상 보정 장치(100)는, 질감 영역에 포함될 확률이 높은 픽셀들에 대해서는 지역 대비 강화 처리를 수행함으로써, 선명도가 높아지도록할 수 있다.
반면에, 영상 보정 장치(100)는, 평탄 영역에 포함될 확률이 높은 픽셀들에 대해서는, 지역 대비 향상 결과보다 전역 대비 강화 결과에 높은 가중치를 둘 수 있다. 즉, 영상 보정 장치(100)는, 평탄 영역에 포함될 확률이 높은 픽셀들에 대해서는 전역 대비 강화 처리를 수행함으로써, 지역 대비 강화로 인한 화질 열화를 방지할 수 있다.
상술한 바와 같이, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 평탄 영역의 형성과 관련이 높은 픽셀 값들에 대해서 전역 대비 강화 결과에 높은 가중치 w를 적용하여, 전역 대비 향상 결과와 지역 대비 강화 결과를 조합한다. 이 때, 픽셀 값의 변화에 따라서 픽셀에 적용되는 가중치 w의 크기가 변화가 큰 경우, 입력 픽셀 값의 변화에 따라 w의 편차가 커지고, 결과적으로 출력 픽셀 값의 변화도 커지게 된다. 따라서, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 픽셀 값의 변화에 따른 가중치 w의 변화 폭을 줄여줌으로써 출력을 안정시킬 수 있다.
도 15a, 15b, 15c 및 15d는 본 개시의 일 실시예에 따라 영상을 보정하기 위해 적용되는 가중치를 필터링하기 위한 필터를 설명하기 위한 도면이다.
도 15a에 도시된 바와 같이, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 각 픽셀 값에 따라 평탄 영역에 포함되는 픽셀의 개수(Flat Pixel Count)를 카운팅할 수 있다. 영상 보정 장치(100)는, 미리 결정된 함수를 이용하여, 평탄 영역에 포함되는 픽셀의 개수를 평탄 영역 가중치(Flat weight)로 변환할 수 있다. 평탄 영역 가중치란, 소정 픽셀에 대해 지역 대비 강화를 수행한 결과와 전역 대비 강화를 수핸한 결과를 조합함에 있어서, 전역 대비 강화를 수행한 결과에 부여하는 가중치를 의미할 수 있다.
예를 들어, 영상 보정 장치(100)는, 도 15b에 도시된 함수를 이용하여 평탄 영역에 포함되는 픽셀의 개수를 평탄 영역 가중치로 변환할 수 있다. 영상 보정 장치(100)는, 평탄 영역에 포함되는 픽셀의 개수가 많은 픽셀 값일수록 높은 평탄 영역 가중치를 부여할 수 있다.
도 15c에 도시된 바와 같이, 영상 보정 장치(100)는, 모든 픽셀 값들에 대해서 평탄 영역 가중치를 산출할 수 있다. 도 15c에 도시된 바와 같이, 픽셀 값의 변화에 따라서, 평탄 영역 가중치의 변화가 클 수 있다. 입력 픽셀 값의 변화에 따라 평탄 영역 가중치의 편차가 커지면, 결과적으로 출력 픽셀 값의 변화도 커지게 된다. 즉, 도 15c에 도시된 바와 같이, 픽셀 값의 변화에 따른 평탄 영역 가중치의 변화가 연속적이지 않기 때문에, 픽셀 값이 1만 차이나도 평탄 영역 가중치가 크게 변하게 된다.
따라서, 영상 보정 장치(100)는, 연속적인 픽셀 값에 대해서 연속적인 평탄 영역 가중치의 변화를 가지기 위해서, 픽셀 값에 따른 평탄 영역 가중치를 가공할 수 있다.
도 15d에 도시된 바와 같이, 영상 보정 장치(100)는, 도 15c의 평탄 영역 가중치를 평활화(smoothing)함으로써 가공된 평탄 영역 가중치(1501)를 획득할 수 있다. 그러나 본 개시의 일 실시예에 따른 영상 보정 장치(100)는 도 15d에 제한되지 않으며, 영상 보정 장치(100)는 로우 패스 필터 또는 램프 형태의 필터 등을 적용함으로써 평탄 영역 가중치를 가공할 수 있다.
상술한 바와 같이, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는, 초고화질(Ultra High Definition, UHD) 영상과 같이 프레임당 많은 비트수를 갖는 하이 비트(High-bit) 입력 영상을 전송하고 처리하는 과정에서 발생하는 의사 윤곽 등의 노이즈를 제거함으로써, 영상의 화질을 개선할 수 있다. 또한, 본 개시의 일 실시예에 따른 영상 보정 장치(100)는 지역 대비 강화에 의해 영상의 선명도가 높아지는 효과는 유지하면서도, 화질 열화를 방지할 수 있는 방법 및 장치가 제공할 수 있다.
본 개시의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속한다.
Claims (23)
- 입력 영상을 구성하는 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보를 획득하는 단계;
상기 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여 상기 픽셀들 중 적어도 하나의 픽셀에 대한 가중치를 결정하는 단계에 있어서, 상기 가중치는 상기 적어도 하나의 픽셀이 평탄 영역 또는 질감 영역에 포함될 확률 값을 나타내는, 상기 가중치를 결정하는 단계; 및
상기 결정된 가중치에 기초하여 로우 패스 필터링 및 대비 강화 중 적어도 하나를 수행하는 단계를 포함하고,
상기 가중치를 결정하는 단계는,
상기 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여, 상기 픽셀들에 대한 가중치들을 결정하는 단계;
상기 픽셀들의 색상에 대한 정보에 기초하여 상기 가중치들을 적어도 하나의 그룹으로 분류하는 단계; 및
상기 적어도 하나의 그룹에 포함되는 가중치들에 대해서 평균화 처리를 수행하는 단계를 포함하는, 영상 화질 개선 방법. - 제1 항에 있어서,
상기 픽셀들에 대한 가중치들을 결정하는 단계는,
상기 입력 영상을 제1 크기의 블록들로 분할하고, 상기 적어도 하나의 픽셀이 포함되는 영역을 나타내는 고해상도 가중치를 결정하는 단계;
상기 입력 영상을 상기 제1 크기보다 큰 제2 크기의 블록들로 분할하고, 상기 적어도 하나의 픽셀이 포함되는 영역을 나타내는 저해상도 가중치를 결정하는 단계; 및
상기 고해상도 가중치 및 상기 저해상도 가중치에 기초하여, 상기 적어도 하나의 픽셀이 포함되는 영역을 나타내는, 상기 적어도 하나의 픽셀에 대한 상기 가중치를 결정하는 단계를 포함하는, 영상 화질 개선 방법. - 제2 항에 있어서,
상기 고해상도 가중치 및 상기 저해상도 가중치에 기초하여 상기 가중치를 결정하는 단계는,
상기 고해상도 가중치 및 상기 저해상도 가중치 중 큰 값을 상기 가중치로서 결정하는 단계를 포함하는, 영상 화질 개선 방법. - 삭제
- 제1 항에 있어서,
상기 결정된 가중치에 기초하여 로우 패스 필터링 및 대비 강화 중 적어도 하나를 수행하는 단계는,
상기 입력 영상의 적어도 일부에 대해서 로우 패스 필터링을 수행하는 단계; 및
상기 결정된 가중치를 적용하여, 상기 입력 영상과 상기 로우 패스 필터링이 수행된 영상을 조합하는 단계를 포함하는, 영상 화질 개선 방법. - 제1 항에 있어서,
상기 결정된 가중치에 기초하여 로우 패스 필터링 및 대비 강화 중 적어도 하나를 수행하는 단계는,
상기 입력 영상의 적어도 일부에 대해서 전역 대비 강화(Contrast Enhancement, CE) 및 지역 대비 강화를 수행하는 단계; 및
상기 결정된 가중치를 적용하여, 상기 전역 대비 강화가 수행된 영상 및 상기 지역 대비 강화가 수행된 영상을 조합하는 단계를 포함하는, 영상 화질 개선 방법. - 제1 항에 있어서,
상기 픽셀들에 대한 가중치들을 결정하는 단계는,
상기 입력 영상을 제1 크기의 블록들로 분할하는 단계;
상기 블록들 각각에 대해서, 각 블록에 포함되는 픽셀들의 밝기를 나타내는 값들의 정규화된 분산값을 획득하는 단계;
상기 적어도 하나의 픽셀이 포함되는 블록인 중심 블록 및 소정 방향을 따라 상기 중심 블록과 이웃하는 이웃 블록들의 정규화된 분산값들의 분산을 획득하는 단계; 및
상기 중심 블록 및 상기 이웃 블록들의 정규화된 분산값들의 분산에 기초하여, 상기 적어도 하나의 픽셀에 대한 제1 가중치를 결정하는 단계를 포함하는, 영상 화질 개선 방법. - 제1 항에 있어서,
상기 픽셀들에 대한 가중치들을 결정하는 단계는,
상기 입력 영상을 제1 크기의 블록들로 분할하는 단계;
상기 블록들 각각에 대해서, 각 블록에 포함되는 픽셀들의 밝기를 나타내는 값들의 정규화된 분산값을 획득하는 단계;
상기 적어도 하나의 픽셀이 포함되는 블록인 중심 블록 및 상기 중심 블록과 소정 방향을 따라 이웃하는 이웃 블록들의 정규화된 분산값들의 분산을 획득하는 단계;
상기 중심 블록 및 상기 중심 블록과 소정 방향을 따라 이웃하는 이웃 블록들의 정규화된 분산값들의 분산에 기초하여, 상기 적어도 하나의 픽셀에 대한 제1 가중치를 결정하는 단계;
상기 중심 블록의 정규화된 분산값에 기초하여, 상기 적어도 하나의 픽셀에 대한 제2 가중치를 결정하는 단계;
상기 중심 블록을 포함하는 제1 영역의 정규화된 분산값과 상기 중심 블록을 포함하는 제1 영역보다 큰 제2 영역의 정규화된 분산값의 차이에 기초하여, 상기 적어도 하나의 픽셀에 대한 제3 가중치를 결정하는 단계; 및
상기 중심 블록에 포함되는 픽셀들의 색상들을 나타내는 값들의 최대값과 최소값의 차에 기초하여, 상기 적어도 하나의 픽셀에 대한 제4 가중치를 결정하는 단계를 포함하는, 영상 화질 개선 방법. - 제1 항에 있어서,
상기 픽셀들에 대한 가중치들을 결정하는 단계는,
상기 입력 영상을 제2 크기의 블록들로 분할하는 단계;
상기 적어도 하나의 픽셀이 포함되는 블록인 중심 블록에 포함되는 픽셀들 중에서 중심에 위치한 중심 픽셀을 기준으로 소정 방향을 따라 픽셀들의 밝기를 나타내는 값들이 증가하고 감소하는지 여부에 기초하여, 상기 적어도 하나의 픽셀에 대한 제5 가중치를 결정하는 단계; 및
상기 중심 블록에 포함되는 픽셀들의 색상들을 나타내는 값들의 최대값과 최소값의 차에 기초하여, 상기 적어도 하나의 픽셀에 대한 제6 가중치를 결정하는 단계를 포함하는, 영상 화질 개선 방법. - 제5 항에 있어서,
상기 로우 패스 필터링을 수행하는 단계는,
상기 입력 영상의 이전 프레임을 구성하는 픽셀들을 다운스케일링함으로써 획득된 저해상도 영상 데이터에 대해서 로우 패스 필터링을 수행하는 단계; 및
상기 입력 영상의 현재 프레임을 구성하는 픽셀들로 구성되는 고해상도 영상 데이터에 대해서 로우 패스 필터링을 수행하는 단계를 포함하는, 영상 화질 개선 방법. - 제1 항에 있어서,
상기 평탄 영역은, 균일한 밝기 및 색상을 갖는 픽셀들을 포함하는 영역이고, 상기 질감 영역은 상기 입력 영상이 나타내는 물체의 형상 또는 질감을 구현하는 픽셀들을 포함하는 영역인 것을 특징으로 하는, 영상 화질 개선 방법. - 입력 영상을 구성하는 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보를 획득하고, 상기 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여 상기 픽셀들 중 적어도 하나의 픽셀에 대한 가중치를 결정하고, 상기 가중치는 상기 적어도 하나의 픽셀이 평탄 영역 또는 질감 영역에 포함될 확률 값을 나타내는, 영역 분류부; 및
상기 결정된 가중치에 기초하여 로우 패스 필터링 및 대비 강화 중 적어도 하나를 수행하는, 영상 보정부를 포함하고,
상기 영역 분류부는,
상기 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여 상기 픽셀들에 대한 가중치들을 결정하는, 가중치 결정부; 및
상기 픽셀들의 색상에 대한 정보에 기초하여 상기 가중치들을 적어도 하나의 그룹으로 분류하고, 상기 적어도 하나의 그룹에 포함되는 가중치들에 대해서 평균화 처리를 수행하는, 가중치 개선부를 포함하는, 영상 화질 개선 장치. - 제12 항에 있어서,
상기 가중치 결정부는,
상기 입력 영상을 제1 크기의 블록들로 분할하고, 상기 적어도 하나의 픽셀이 포함되는 영역을 나타내는 고해상도 가중치를 결정하는, 고해상도 가중치 결정부;
상기 입력 영상을 상기 제1 크기보다 큰 제2 크기의 블록들로 분할하고, 상기 적어도 하나의 픽셀이 포함되는 영역을 나타내는 저해상도 가중치를 결정하는, 저해상도 가중치 결정부; 및
상기 고해상도 가중치 및 상기 저해상도 가중치에 기초하여, 상기 적어도 하나의 픽셀이 포함되는 영역을 나타내는, 상기 적어도 하나의 픽셀에 대한 상기 가중치를 결정하는, 가중치 통합부를 포함하는, 영상 화질 개선 장치. - 제13 항에 있어서,
상기 가중치 통합부는,
상기 고해상도 가중치 및 상기 저해상도 가중치 중 큰 값을 상기 가중치로서 결정하는 것을 특징으로 하는, 영상 화질 개선 장치. - 삭제
- 제12 항에 있어서,
상기 영상 보정부는,
상기 입력 영상의 적어도 일부에 대해서 로우 패스 필터링을 수행하고, 상기 결정된 가중치를 적용하여, 상기 입력 영상과 상기 로우 패스 필터링이 수행된 영상을 조합하는, 비트 깊이 강화부를 포함하는, 영상 화질 개선 장치. - 제12 항에 있어서,
상기 영상 보정부는,
상기 입력 영상의 적어도 일부에 대해서 전역 대비 강화 및 지역 대비 강화를 수행하고, 상기 결정된 가중치를 적용하여, 상기 전역 대비 강화가 수행된 영상 및 상기 지역 대비 강화가 수행된 영상을 조합하는 대비 강화부를 포함하는, 영상 화질 개선 장치. - 제12 항에 있어서,
상기 가중치 결정부는,
상기 입력 영상을 제1 크기의 블록들로 분할하고, 상기 블록들 각각에 대해서, 각 블록에 포함되는 픽셀들의 밝기를 나타내는 값들의 정규화된 분산값을 획득하고, 상기 적어도 하나의 픽셀이 포함되는 블록인 중심 블록 및 소정 방향을 따라 상기 중심 블록과 이웃하는 이웃 블록들의 정규화된 분산값들의 분산을 획득하고, 상기 중심 블록 및 상기 이웃 블록들의 정규화된 분산값들의 분산에 기초하여, 상기 적어도 하나의 픽셀에 대한 제1 가중치를 결정하는, 제1 가중치 결정부를 포함하는, 영상 화질 개선 장치. - 제12 항에 있어서,
상기 가중치 결정부는,
상기 입력 영상을 제1 크기의 블록들로 분할하고, 상기 블록들 각각에 대해서, 각 블록에 포함되는 픽셀들의 밝기를 나타내는 값들의 정규화된 분산값을 획득하고, 상기 적어도 하나의 픽셀이 포함되는 블록인 중심 블록 및 상기 중심 블록과 소정 방향을 따라 이웃하는 이웃 블록들의 정규화된 분산값들의 분산을 획득하고, 상기 중심 블록 및 상기 중심 블록과 소정 방향을 따라 이웃하는 이웃 블록들의 정규화된 분산값들의 분산에 기초하여, 상기 적어도 하나의 픽셀에 대한 제1 가중치를 결정하는, 제1 가중치 결정부;
상기 중심 블록의 정규화된 분산값에 기초하여, 상기 적어도 하나의 픽셀에 대한 제2 가중치를 결정하는, 제2 가중치 결정부;
상기 중심 블록을 포함하는 제1 영역의 정규화된 분산값과 상기 중심 블록을 포함하는 제1 영역보다 큰 제2 영역의 정규화된 분산값의 차이에 기초하여, 상기 적어도 하나의 픽셀에 대한 제3 가중치를 결정하는, 제3 가중치 결정부;
상기 중심 블록에 포함되는 픽셀들의 색상들을 나타내는 값들의 최대값과 최소값의 차에 기초하여, 상기 적어도 하나의 픽셀에 대한 제4 가중치를 결정하는, 제4 가중치 결정부; 및
상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치 중 적어도 하나에 기초하여, 상기 가중치를 결정하는, 가중치 통합부를 포함하는, 영상 화질 개선 장치. - 제12 항에 있어서,
상기 가중치 결정부는,
상기 입력 영상을 제2 크기의 블록들로 분할하고, 상기 적어도 하나의 픽셀이 포함되는 블록인 중심 블록에 포함되는 픽셀들 중에서 중심에 위치한 중심 픽셀을 기준으로 소정 방향을 따라 픽셀들의 밝기를 나타내는 값들이 증가하고 감소하는지 여부에 기초하여, 상기 적어도 하나의 픽셀에 대한 제5 가중치를 결정하는, 제5 가중치 결정부;
상기 중심 블록에 포함되는 픽셀들의 색상들을 나타내는 값들의 최대값과 최소값의 차에 기초하여, 상기 적어도 하나의 픽셀에 대한 제6 가중치를 결정하는, 제6 가중치 결정부; 및
상기 제5 가중치 및 상기 제6 가중치 중 적어도 하나에 기초하여, 상기 가중치를 결정하는, 가중치 통합부를 포함하는, 영상 화질 개선 장치. - 제16 항에 있어서,
상기 비트 깊이 강화부는,
상기 입력 영상의 이전 프레임을 구성하는 픽셀들을 다운스케일링함으로써 획득된 저해상도 영상 데이터에 대해서 로우 패스 필터링을 수행하는, 제1 로우 패스 필터;
상기 입력 영상의 현재 프레임을 구성하는 픽셀들로 구성되는 고해상도 영상 데이터에 대해서 로우 패스 필터링을 수행하는, 제2 로우 패스 필터; 및
상기 결정된 가중치를 적용하여, 상기 입력 영상, 상기 로우 패스 필터링된 저해상도 영상 데이터 및 상기 로우 패스 필터링된 고해상도 영상 데이터를 조합하는, 조합부를 포함하는, 영상 화질 개선 장치. - 제12 항에 있어서,
상기 평탄 영역은, 균일한 밝기 및 색상을 갖는 픽셀들을 포함하는 영역이고, 상기 질감 영역은, 상기 입력 영상이 나타내는 물체의 형상 또는 질감을 구현하는 픽셀들을 포함하는 영역인 것을 특징으로 하는, 영상 화질 개선 장치. - 영상 화질 개선 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체에 있어서,
상기 영상 화질 개선 방법은,
입력 영상을 구성하는 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보를 획득하는 단계;
상기 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여 상기 픽셀들 중 적어도 하나의 픽셀에 대한 가중치를 결정하는 단계에 있어서, 상기 가중치는 상기 적어도 하나의 픽셀이 평탄 영역 또는 질감 영역에 포함될 확률 값을 나타내는, 상기 가중치를 결정하는 단계; 및
상기 결정된 가중치에 기초하여 로우 패스 필터링 및 대비 강화 중 적어도 하나를 수행하는 단계를 포함하고,
상기 가중치를 결정하는 단계는,
상기 픽셀들의 밝기 및 색상 중 적어도 하나에 대한 정보에 기초하여, 상기 픽셀들에 대한 가중치들을 결정하는 단계;
상기 픽셀들의 색상에 대한 정보에 기초하여 상기 가중치들을 적어도 하나의 그룹으로 분류하는 단계; 및
상기 적어도 하나의 그룹에 포함되는 가중치들에 대해서 평균화 처리를 수행하는 단계를 포함하는 것을 특징으로 하는, 컴퓨터로 판독 가능한 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/625,256 US9773300B2 (en) | 2014-02-17 | 2015-02-18 | Method and apparatus for correcting image based on distribution of pixel characteristic |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201461940788P | 2014-02-17 | 2014-02-17 | |
| US61/940,788 | 2014-02-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150097367A KR20150097367A (ko) | 2015-08-26 |
| KR102146560B1 true KR102146560B1 (ko) | 2020-08-20 |
Family
ID=54059383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140099973A KR102146560B1 (ko) | 2014-02-17 | 2014-08-04 | 영상 보정 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9773300B2 (ko) |
| KR (1) | KR102146560B1 (ko) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10410398B2 (en) * | 2015-02-20 | 2019-09-10 | Qualcomm Incorporated | Systems and methods for reducing memory bandwidth using low quality tiles |
| JP2017021759A (ja) * | 2015-07-15 | 2017-01-26 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2017107075A1 (en) * | 2015-12-22 | 2017-06-29 | SZ DJI Technology Co., Ltd. | System, method, and mobile platform for supporting bracketing imaging |
| WO2018070723A1 (ko) * | 2016-10-11 | 2018-04-19 | 엘지전자(주) | 영상의 부호화/복호화 방법 및 이를 위한 장치 |
| KR101869226B1 (ko) * | 2017-01-23 | 2018-06-19 | 성균관대학교산학협력단 | 이종 카메라를 위한 시차 맵 생성 방법 |
| KR102333764B1 (ko) * | 2017-03-20 | 2021-11-30 | 엘지전자 주식회사 | 영상표시장치 |
| US10628921B1 (en) * | 2017-03-21 | 2020-04-21 | Ambarella International Lp | Tone based non-smooth detection |
| EP3617991A4 (en) * | 2017-04-26 | 2020-12-09 | Sony Interactive Entertainment Inc. | LEARNING DEVICE, IMAGE RECOGNITION DEVICE, LEARNING PROCEDURE AND PROGRAM |
| CN107481278B (zh) * | 2017-08-21 | 2019-06-28 | 北京大学深圳研究生院 | 基于混合框架的图像位深度扩展方法及装置 |
| US10997947B2 (en) | 2018-05-29 | 2021-05-04 | Samsung Electronics Co., Ltd. | Electronic device and control method thereof |
| US10762655B1 (en) * | 2018-09-11 | 2020-09-01 | Apple Inc. | Disparity estimation using sparsely-distributed phase detection pixels |
| US20200137380A1 (en) * | 2018-10-31 | 2020-04-30 | Intel Corporation | Multi-plane display image synthesis mechanism |
| GB2578769B (en) | 2018-11-07 | 2022-07-20 | Advanced Risc Mach Ltd | Data processing systems |
| GB2583061B (en) * | 2019-02-12 | 2023-03-15 | Advanced Risc Mach Ltd | Data processing systems |
| DE112019007583T5 (de) * | 2019-08-27 | 2022-04-14 | Lg Electronics Inc. | Ein Anzeigegerät und Verfahren zu deren Betrieb |
| CN112911186B (zh) * | 2019-12-03 | 2023-03-24 | RealMe重庆移动通信有限公司 | 图像存储方法及装置、电子设备、存储介质 |
| US11978183B2 (en) * | 2020-08-24 | 2024-05-07 | Hanwha Vision Co., Ltd. | Image processing device and image enhancing method thereof |
| US20220138919A1 (en) * | 2020-11-04 | 2022-05-05 | Renesas Electronics Corporation | Image processing device and image processing method |
| KR102604109B1 (ko) * | 2020-12-09 | 2023-11-21 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
| TW202243455A (zh) * | 2021-04-20 | 2022-11-01 | 南韓商三星電子股份有限公司 | 影像處理電路、產生增強影像及校正第一影像的系統晶片 |
| KR102661177B1 (ko) * | 2022-07-07 | 2024-04-29 | 엘지전자 주식회사 | 디스플레이 장치 및 그의 동작 방법 |
| CN116074640B (zh) * | 2023-02-17 | 2024-12-24 | 展讯通信（上海）有限公司 | 图像处理方法及相关装置 |
| US20240334073A1 (en) * | 2023-03-28 | 2024-10-03 | Apple Inc. | Multi-illumination white balance circuit with thumbnail image processing |
| US20240404029A1 (en) * | 2023-06-05 | 2024-12-05 | Samsung Electronics Co., Ltd. | Locally-adaptive multi-scale image enhancement |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008306501A (ja) * | 2007-06-07 | 2008-12-18 | Canon Inc | 画像処理装置、画像処理方法、及びプログラム |
| US20090041373A1 (en) * | 2006-02-22 | 2009-02-12 | Sony Deutschland Gmbh | Method for Discriminating Textures Regions and Homogeneous or Flat Regions in an Image and Methods for Estimating Noise in an Image Sequence |
| JP2012510760A (ja) * | 2008-12-01 | 2012-05-10 | マーベル ワールド トレード リミテッド | ビット解像度の向上 |
Family Cites Families (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5173949A (en) * | 1988-08-29 | 1992-12-22 | Raytheon Company | Confirmed boundary pattern matching |
| US5436665A (en) * | 1992-03-03 | 1995-07-25 | Kabushiki Kaisha Toshiba | Motion picture coding apparatus |
| EP0600709B1 (en) * | 1992-12-01 | 2000-03-29 | Canon Kabushiki Kaisha | Range-image processing apparatus and method |
| US5477272A (en) * | 1993-07-22 | 1995-12-19 | Gte Laboratories Incorporated | Variable-block size multi-resolution motion estimation scheme for pyramid coding |
| US5644406A (en) * | 1995-05-11 | 1997-07-01 | Xerox Corporation | Method for selecting an optimum encoding process for a block of pixels from a plurality of predefined encoding processes |
| US5684895A (en) * | 1995-05-11 | 1997-11-04 | Xerox Corporation | Method for decoding a compressed image |
| US6236405B1 (en) * | 1996-07-01 | 2001-05-22 | S3 Graphics Co., Ltd. | System and method for mapping textures onto surfaces of computer-generated objects |
| KR100377179B1 (ko) | 2000-05-17 | 2003-03-26 | 주식회사 하이닉스반도체 | 이미지 신호 처리 장치에서의 블록 분포도를 이용한분포도 평탄화장치 |
| JP4151225B2 (ja) | 2001-03-15 | 2008-09-17 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理のための装置、方法及びプログラム |
| JP4201602B2 (ja) * | 2001-04-20 | 2008-12-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像を改善させるための画像処理装置及び方法並びにこの画像処理装置を有する画像表示装置 |
| US7181086B2 (en) * | 2002-06-06 | 2007-02-20 | Eastman Kodak Company | Multiresolution method of spatially filtering a digital image |
| US6859204B2 (en) * | 2002-07-01 | 2005-02-22 | Xerox Corporation | Dynamic threshold system for multiple raster content (MRC) representation of documents |
| EP1398733A1 (en) * | 2002-09-12 | 2004-03-17 | GRETAG IMAGING Trading AG | Texture-based colour correction |
| EP1465436A1 (en) | 2003-04-03 | 2004-10-06 | Sony International (Europe) GmbH | Natural impression preservation for histogram equalized images |
| KR100504594B1 (ko) * | 2003-06-27 | 2005-08-30 | 주식회사 성진씨앤씨 | 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법 |
| JP2007527567A (ja) * | 2003-07-02 | 2007-09-27 | セラーテム・テクノロジー・インコーポレイテッド | 領域エッジのシャープネス補正を伴う画像シャープニング |
| EP1515274A1 (en) | 2003-07-07 | 2005-03-16 | Sony International (Europe) GmbH | Method and apparatus for obtaining histograms from an image |
| JP4151793B2 (ja) * | 2004-11-15 | 2008-09-17 | オリンパス株式会社 | 撮像装置および画像の高解像化方法 |
| KR100718081B1 (ko) | 2005-04-18 | 2007-05-16 | 삼성전자주식회사 | 의사윤곽 제거장치 및 그 방법 |
| JP4710635B2 (ja) * | 2006-02-07 | 2011-06-29 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
| EP1840831A1 (en) | 2006-03-31 | 2007-10-03 | Sony Deutschland Gmbh | Adaptive histogram equalization for images with strong local contrast |
| JP4999163B2 (ja) * | 2006-04-17 | 2012-08-15 | 富士フイルム株式会社 | 画像処理方法および装置ならびにプログラム |
| WO2007142109A1 (ja) * | 2006-05-31 | 2007-12-13 | Nec Corporation | 画像高解像度化装置及び画像高解像度化方法並びにプログラム |
| TR201810171T4 (tr) * | 2006-10-03 | 2018-08-27 | Vestel Elektronik Sanayi Ve Ticaret Anonim Sirketi | Bir girdi görüntüsündeki halka şeklinde artefaktları en aza indirmek için yöntem ve aparat. |
| EP1962513A1 (en) * | 2007-02-26 | 2008-08-27 | Vestel Elektronik Sanayi ve Ticaret A.S. | Methods and apparatus for processing of a digital image |
| US7888651B2 (en) * | 2007-05-21 | 2011-02-15 | The Board Of Trustees Of The Leland Stanford Junior University | Method and system for using tissue-scattered coincidence photons for imaging |
| US8068700B2 (en) * | 2007-05-28 | 2011-11-29 | Sanyo Electric Co., Ltd. | Image processing apparatus, image processing method, and electronic appliance |
| US8417050B2 (en) * | 2007-07-31 | 2013-04-09 | Hewlett-Packard Development Company, L.P. | Multi-scale robust sharpening and contrast enhancement |
| US8014596B2 (en) * | 2007-10-30 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for background color extrapolation |
| US8345158B2 (en) * | 2008-03-21 | 2013-01-01 | Sony Corporation | Merging video with time-decimated high-resolution imagery to form high-resolution video frames |
| US8111923B2 (en) * | 2008-08-14 | 2012-02-07 | Xerox Corporation | System and method for object class localization and semantic class based image segmentation |
| TW201021541A (en) * | 2008-11-19 | 2010-06-01 | Altek Corp | Image compensation method and digital image acquisition device using the same |
| US8339475B2 (en) * | 2008-12-19 | 2012-12-25 | Qualcomm Incorporated | High dynamic range image combining |
| US20110280494A1 (en) * | 2009-01-20 | 2011-11-17 | Koninklijke Philips Electronics N.V. | Method and apparatus for generating enhanced images |
| JP5701874B2 (ja) | 2009-07-21 | 2015-04-15 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | ビデオ画像の検出およびエンハンスメントのための方法およびシステム |
| JP2011029998A (ja) | 2009-07-27 | 2011-02-10 | Sony Corp | 画像記録装置、画像記録方法、及びプログラム |
| US20130004061A1 (en) * | 2010-03-12 | 2013-01-03 | National University Corporation Nagoya Institute Of Technology | Image processing device, image processing program, and method for generating image |
| US9113143B2 (en) * | 2012-06-29 | 2015-08-18 | Behavioral Recognition Systems, Inc. | Detecting and responding to an out-of-focus camera in a video analytics system |
| US9202267B1 (en) * | 2013-03-14 | 2015-12-01 | Marseille Networks, Inc. | System and method to enhance and process a digital image |
| US20150071532A1 (en) * | 2013-09-11 | 2015-03-12 | Omron Corporation | Image processing device, computer-readable recording medium, and image processing method |
| WO2015095529A1 (en) * | 2013-12-19 | 2015-06-25 | Google Inc. | Image adjustment using texture mask |
| US9330445B2 (en) * | 2014-04-29 | 2016-05-03 | Himax Imaging Limited | Local contrast enhancement method and apparatus |
-
2014
- 2014-08-04 KR KR1020140099973A patent/KR102146560B1/ko active IP Right Grant
-
2015
- 2015-02-18 US US14/625,256 patent/US9773300B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090041373A1 (en) * | 2006-02-22 | 2009-02-12 | Sony Deutschland Gmbh | Method for Discriminating Textures Regions and Homogeneous or Flat Regions in an Image and Methods for Estimating Noise in an Image Sequence |
| JP2008306501A (ja) * | 2007-06-07 | 2008-12-18 | Canon Inc | 画像処理装置、画像処理方法、及びプログラム |
| JP2012510760A (ja) * | 2008-12-01 | 2012-05-10 | マーベル ワールド トレード リミテッド | ビット解像度の向上 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160035069A1 (en) | 2016-02-04 |
| US9773300B2 (en) | 2017-09-26 |
| KR20150097367A (ko) | 2015-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102146560B1 (ko) | 영상 보정 방법 및 장치 | |
| US9569827B2 (en) | Image processing apparatus and method, and program | |
| WO2020108018A1 (zh) | 游戏场景处理方法、装置、电子设备以及存储介质 | |
| US10290081B2 (en) | System for image dehazing by modifying lower bound of transmittance and method therefor | |
| US9542728B2 (en) | Apparatus and method for processing color image using depth image | |
| JP5900208B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN109743473A (zh) | 视频图像3d降噪方法、计算机装置及计算机可读存储介质 | |
| CN102663714B (zh) | 基于显著性的红外图像强固定模式噪声抑制方法 | |
| JP2013020617A (ja) | グレースケール文字画像正規化装置及び方法 | |
| US8144996B1 (en) | Image processing apparatus | |
| US20140348428A1 (en) | Dynamic range-adjustment apparatuses and methods | |
| CN107636728A (zh) | 用于确定图像的深度图的方法和装置 | |
| JP2004166007A (ja) | 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体 | |
| US8135228B2 (en) | Apparatus and method for immersion generation | |
| Rani et al. | Contrast enhancement using improved adaptive gamma correction with weighting distribution technique | |
| US20120250105A1 (en) | Method Of Analyzing Digital Document Images | |
| JP5614550B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
| KR102010086B1 (ko) | 미세조직의 상 분할 방법 및 장치 | |
| US8693769B2 (en) | Image classification methods and systems | |
| JP2017085570A (ja) | 画像補正方法及び画像補正装置 | |
| US9154671B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4516994B2 (ja) | デジタル画像の背景色を決定するための方法およびシステム | |
| US20190259168A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| KR20190058753A (ko) | 영상 처리 방법 및 이를 수행하는 영상 처리 장치 | |
| KR20230068894A (ko) | 디스플레이 장치 및 그 동작방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20140804 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20181101 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20140804 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200108 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200615 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200813 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20200814 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20240524 |