KR20060056304A

KR20060056304A - 적응적 화질 개선 장치 및 그 방법

Info

Publication number: KR20060056304A
Application number: KR1020060040656A
Authority: KR
Inventors: 김회율; 이종명; 김형준
Original assignee: 한양대학교 산학협력단
Priority date: 2006-05-04
Filing date: 2006-05-04
Publication date: 2006-05-24
Also published as: KR100768035B1

Abstract

본 발명은 화질 개선 장치에 관한 것으로, 보다 상세하게는 히스토그램의 적응적 변형(AMH: Adaptively Modified Histogram)을 이용하여 변환함수를 얻고, 이를 사용하여 입력되는 영상의 각 화소의 밝기값을 재조절하여 화질을 개선하는 장치 및 그 방법에 관한 것이다. 본 발명의 일 실시예에 따른 적응적 화질 개선 장치는 입력되는 영상신호의 각 화소가 갖는 밝기값에 따른 히스토그램의 분포를 산출하는 히스토그램 산출부와, 향상계수를 조절하여 상기 히스토그램의 분포를 적응적으로 변환하는 적응적 히스토그램 변환부와, 그리고 상기 변환된 히스토그램에 대한 누적분포함수를 산출하고, 상기 누적분포함수에 기초하여 상기 입력되는 영상신호에 대응하는 밝기값을 결정하는 밝기값 보정부를 포함한다. 히스토그램에서 각 밝기값의 발생 빈도의 크기에 따라 히스토그램을 조절하고, 이로부터 획득되는 비선형적 변환함수를 이용하여 화질을 개선한다.

히스토그램, 적응적 변형, 화질, 개선

Description

적응적 화질 개선 장치 및 그 방법{Apparatus and method for adaptive image enhancement}

도 1은 화질 개선 방법의 동작 개념을 설명하기 위한 원 영상의 히스토그램.

도 2는 종래의 BUBO 방법을 이용한 화질 개선 방법에 의한 변환함수의 그래프.

도 3은 본 발명의 바람직한 일 실시예에 따른 변환함수를 나타낸 그래프.

도 4는 본 발명의 바람직한 일 실시예에 따른 적응적 화질 개선 장치의 개략적인 구성블록도.

도 5는 본 발명의 바람직한 일 실시예에 따른 히스토그램의 조정 방법을 나타내는 도면.

도 6은 도 5의 조정 방법에 따른 조정 결과를 나타내는 도면.

도 7은 기존의 BUBO 방법에 따른 히스토그램 변환 결과와 본 발명의 바람직한 일 실시예에 따른 히스토그램 변환 결과를 나타낸 도면.

도 8은 본 발명의 바람직한 일 실시예에 따른 적응적 화질 개선 방법의 흐름도.

<도면의 주요부분에 대한 부호의 설명>

410 : 히스토그램 산출부

420 : 적응적 히스토그램 변환부

430 : 밝기값 보정부

431 : 누적분포함수 산출부

433 : 누적분포함수 보정부

435 : 변환함수 산출부

437 : 밝기 조절부

본 발명은 화질 개선 장치에 관한 것으로, 보다 상세하게는 히스토그램의 적응적 변형(AMH: Adaptively Modified Histogram)을 이용하여 변환함수를 얻고, 이를 사용하여 입력되는 영상의 각 화소의 밝기값을 재조절하여 화질을 개선하는 장치 및 그 방법에 관한 것이다.

현재 가속화되고 있는 디지털 기술의 발전으로 인해 음성, 영상 등을 포함하는 정보 이용의 공간적 한계가 점차 무너지고 있다. 이러한 환경 속에서 동영상 화질 향상의 요구는 날로 높아지고 있으며, 동영상 제공자들은 사용자에게 양질의 화면을 제공하기 위한 다양한 영상 처리 방법을 연구하고 있다.

디지털 영상에는 인공조명이나 자연조명이 포함되며 조명광의 세기가 강하거나 약하여 영상의 식별이 어려운 결과물이 생길 수도 있다. 이러한 영상에서는 표현하고자 하는 밝기값, 농도값 또는 명암도(gray level)(이하에서는, '밝기값'이라 통칭한다)의 범위, 즉 밝기값의 동적 영역(dynamic range)을 늘림으로써 화질을 향상할 수 있다. 동적 영역을 증가시키는 여러 가지 방법 중에서 가장 널리 쓰이는 방법 중의 하나가 히스토그램 평활화(histogram equalization)이다.

히스토그램은 디지털 영상 안에서 화소들에 대한 밝기값의 분포를 나타냄으로써 영상의 특징을 제공한다. 히스토그램 평활화의 궁극적인 목적은 변환 이후에 변환 전과 비교하여 평탄한 분포를 가진 히스토그램을 생성하는 것이다. 히스토그램을 이용하여 변환함수를 얻고, 이를 이용하여 원 영상의 밝기값의 동적 영역은 재조절되어 화질이 향상된다. 이 때 동적 영역의 증감 정도는 원 영상에서의 밝기값들의 발생 빈도에 비례하게 된다.

하지만, 기존의 히스토그램 평활화 방법은 히스토그램에 의한 변환함수에만 의존하므로 변환 영상의 밝기값이 과도하게 변하는 문제가 존재한다. 히스토그램 평활화에서 변환함수는 발생 빈도가 큰 밝기값 부분에서 가파른 기울기로 나타나고 그렇지 않은 밝기값 부분에서 완만한 기울기로 나타나므로, 원 영상에서 특정한 밝기값들의 발생 빈도가 크게 높거나 낮은 경우, 즉 원 영상에 밝은 화소들이 많이 분포하거나 어두운 화소들이 많이 분포하는 경우 그것으로부터 계산된 변환함수에 의해 오히려 화질이 떨어지는 결과를 보여준다.

이와 같은 기존의 히스토그램 평활화의 문제점을 해결하기 위해 다양한 화질 개선 방법이 제안되었다. 기존의 방법으로는 BBHE(Brightness Preserving Bi-Histogram Equalization), DSIHE(Dualistic Sub-Image Histogram Equalization), RMSHE(Recursive Mean-Separate Histogram Equalization), MMBEBHE(Minimum Mean Brightness Error Bi-Histogram Equalization) 방법과 같이 변환 영상에서 원 영상의 평균 밝기를 보존하기 위해 원 영상을 부분 영상으로 나누어 평활화하는 방법이 있고, CLAHE(Contrast Limited Adaptive Histogram Equalization), BUBO(Bin Underflow and Bin Overflow) 방법과 같이 과도한 밝기 변화를 방지하기 위해 히스토그램을 제한하여 변환함수를 얻는 방법이 있다.

도 1은 화질 개선 방법의 동작 개념을 설명하기 위한 원 영상의 히스토그램을 나타내고, 도 2는 종래의 BUBO 방법을 이용한 화질 개선 방법에 의한 변환함수의 그래프이다.

도 1을 참조하면, x축은 0 내지 L-1 범위에 존재하는(예를 들어, L은 256, 1024 등의 값이 될 수 있음) 원 영상의 밝기값을 나타내고, y축은 각 밝기값에 해당하는 원 영상 내의 화소의 발생 빈도, 즉 화소의 발생개수 또는 발생확률을 나타내는 임의의 히스토그램(100)이 도시되어 있다. 히스토그램(100)은 A 영역에 밝기값이 집중되어 있는 특징을 가지고 있다.

기존의 BUBO(Bin Underflow and Bin Overflow) 방법은 전역적인 상한값(overflow threshold)과 하한값(underflow threshold)을 이용하여 히스토그램 명암도의 발생 빈도를 제한하고 보상함으로써 화질을 개선하는 방법이다. BUBO 방법 에 의한 화질 개선 방법에 따르면, 밝기값의 발생 빈도의 상한값을 C_BO로 설정하고, 밝기값의 발생 빈도가 C_BO를 초과하는 경우에는 밝기값의 발생 빈도를 C_BO로 재설정한다. 이에 따라 원 영상의 히스토그램(100)은 BUBO 방법에 의해 히스토그램(110)으로 변환된다.

밝기값의 발생 빈도가 C_BO를 초과하는 경우에는 밝기값의 발생 빈도를 C_BO로 재설정되는 A 영역의 밝기값 범위 [k, k+6](하나의 일례로, 6 이외의 임의의 자연수일 수 있음)는 동일한 발생 빈도를 가지게 된다. 따라서, A 영역의 변환함수는 도 2에 도시된 것과 같은 선형 증가의 직선(200)으로 나타나게 된다. 따라서, A 영역에서 원 영상의 밝기값은 직선(200)의 기울기에 따라 고정된 비율로 변화하게 되어 비슷한 밝기값을 가지는 영상의 세밀한 부분을 판단하기에는 한계가 존재하는 문제점이 있다. 인간의 시각이 판단하는 밝기값은 단순히 절대적인 밝기의 세기에 의존하지 않음을 실험으로써 증명되었고 이것을 Weber의 법칙이라고 한다. 따라서, 비슷한 빛의 밝기 정도를 인간의 시각이 인지하기 위해서는 밝기의 향상 정도를 밝기값의 분포에 따라 다르게 적용해야 밝기의 정도를 명확히 구별할 수 있다.

또한, 기존의 화질 개선 방법들은 특정 영상에만 우수한 성능을 보이고 화질 향상 정도에 한계가 존재하여 다양한 멀티미디어 분야에 적용이 불가능하다.

따라서, 본 발명은 히스토그램에서 각 밝기값의 발생 빈도의 크기에 따라 히 스토그램을 조절하고, 이로부터 획득되는 비선형적 변환함수를 이용하여 화질을 개선하는 적응적 화질 개선 장치 및 그 방법을 제공한다.

또한, 본 발명은 히스토그램으로부터 밝기값의 발생 빈도를 조절하게 됨에 따라 과도한 밝기 변화를 제어하고, 각 밝기값의 발생 빈도의 크기에 따라 변환되는 영상의 밝기를 적응적으로 향상시켜 비슷한 밝기값이 집중된 특정 영상 영역의 세밀한 영상 정보까지 식별 가능한 적응적 화질 개선 장치 및 그 방법을 제공한다.

또한, 처리 속도가 빨라 영상의 실시간 처리에도 적용가능한 적응적 화질 개선 장치 및 그 방법을 제공한다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

상기 목적들을 달성하기 위하여, 본 발명의 일 측면에 따르면, 입력되는 영상신호의 각 화소가 갖는 밝기값에 따른 히스토그램의 분포를 산출하는 히스토그램 산출부; 향상계수를 조절하여 상기 히스토그램의 분포를 적응적으로 변환하는 적응적 히스토그램 변환부; 및 상기 변환된 히스토그램에 대한 누적분포함수를 산출하고, 상기 누적분포함수에 기초하여 상기 입력되는 영상신호에 대응하는 밝기값을 결정하는 밝기값 보정부를 포함하는 적응적 화질 개선 장치가 제공될 수 있다.

바람직하게는, 상기 밝기값 보정부는, 상기 변환된 히스토그램에 대한 누적분포함수를 산출하는 누적분포함수 산출부; 상기 산출된 누적분포함수의 최대치가 상기 입력되는 영상신호의 총 화소 개수가 되도록 상기 누적분포함수를 보정하는 누적분포함수 보정부; 상기 보정된 누적분포함수를 보상하여 밝기값에 대한 변환함수를 산출하는 변환함수 산출부; 및 상기 변환함수를 이용하여 상기 입력되는 영상신호의 밝기값을 조절하여 출력하는 밝기 조절부를 포함할 수 있다.

또한, 상기 변환함수 산출부는 발생 빈도가 큰 밝기값은 인접 밝기값과의 밝기 차이가 상대적으로 크도록 설정하고, 발생 빈도가 작은 밝기값은 인접 밝기값과의 밝기 차이가 상대적으로 작도록 설정할 수 있다.

그리고 상기 적응적 히스토그램 변환부는 하기의 수학식에 의해 상기 히스토그램의 분포를 변환시킬 수 있다.

여기서, p[k]는 상기 히스토그램에서의 밝기값 k의 발생 빈도, max는 상기 히스토그램에서의 최대 발생 빈도, min은 상기 히스토그램에서의 최소 발생 빈도, mid는 상기 max와 상기 min의 평균값,

는 상기 향상계수,

는 상기 밝기값 k의 변환된 발생 빈도이다.

또한, 상기 향상계수를 수동으로 설정하는 향상계수 설정부를 더 포함하거나 상기 입력되는 영상신호의 평균 밝기값인 전체 평균 밝기와, 상기 전체 평균 밝기 를 기준으로 분할된 부분 영상의 평균 밝기값인 상위 평균 밝기 및 하위 평균 밝기를 이용하여 상기 향상계수를 산출하는 향상계수 산출부를 더 포함할 수 있다. 상기 향상계수 산출부는 하기의 수학식에 의해 상기 향상계수(

)를 산출할 수 있다.

여기서, X_m은 상기 전체 평균 밝기, X_ml은 상기 하위 평균 밝기, X_mu는 상기 상위 평균 밝기, L은 전체 밝기값의 수이다.

상기 목적들을 달성하기 위하여, 본 발명의 다른 측면에 따르면, (a) 입력되는 영상신호의 각 화소가 갖는 밝기값에 따른 히스토그램을 생성하는 단계; (b) 향상계수를 조절하여 상기 히스토그램의 분포를 적응적으로 변환하는 단계; (c) 상기 변환된 히스토그램에 대한 누적분포함수를 산출하는 단계; 및 (d) 상기 누적분포함수에 기초하여 상기 입력되는 영상신호에 대응하는 밝기값을 결정하는 단계를 포함하는 적응적 화질 개선 방법이 제공될 수 있다.

바람직하게는, 상기 단계 (d)는, (d-1) 상기 산출된 누적분포함수의 최대치가 상기 입력되는 영상신호의 총 화소 개수가 되도록 상기 누적분포함수를 보정하는 단계; (d-2) 상기 보정된 누적분포함수를 보상하여 밝기값에 대한 변환함수를 산출하는 단계; 및 (d-3) 상기 변환함수를 이용하여 상기 입력되는 영상신호의 각 화소에 대한 밝기값을 조절하여 출력하는 단계를 포함할 수 있다.

여기서, 상기 단계 (d-2)는 발생 빈도가 큰 밝기값은 인접 밝기값과의 밝기 차이가 상대적으로 크도록 설정하고, 발생 빈도가 작은 밝기값은 인접 밝기값과의 밝기 차이가 상대적으로 작도록 설정할 수 있다.

또한, 상기 단계 (b)는 하기의 수학식에 의해 상기 히스토그램의 분포를 변환시킬 수 있다.

는 상기 향상계수,

는 상기 밝기값 k의 변환된 발생 빈도이다.

또한, 상기 단계 (b) 이전에, (A) 상기 향상계수를 수동으로 설정하는 단계를 더 포함하거나 (A) 상기 입력되는 영상신호의 평균 밝기값인 전체 평균 밝기와, 상기 전체 평균 밝기를 기준으로 분할된 부분 영상의 평균 밝기값인 상위 평균 밝기 및 하위 평균 밝기를 이용하여 상기 향상계수를 산출하는 단계를 더 포함할 수 있다. 여기서, 상기 단계 (A)는 하기의 수학식에 의해 상기 향상계수(

)를 산출할 수 있다.

여기서, X_m은 상기 전체 평균 밝기, X_ml은 상기 하위 평균 밝기, X_mu는 상기 상위 평균 밝기, L은 전체 밝기의 수이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 적응적 화질 개선 장치 및 그 방법의 바람직한 실시예를 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 동일 또는 유사한 개체를 순차적으로 구분하기 위한 식별기호에 불과하다.

이하에서는 입력되는 영상신호의 히스토그램으로 도 1에 도시된 히스토그램(100)을 가정하여 설명하지만, 해당 기술분야에서 통상의 지식을 가진 자라면 이에 한정되는 것은 아님을 알 수 있을 것이다.

도 3은 본 발명의 바람직한 일 실시예에 따른 변환함수를 나타낸 그래프이다.

x축은 입력되는 영상신호의 변환 전 밝기값 k, k+1, …, k+6을 나타내고, y축은 비선형적 변환함수(300)에 의해 변환된 밝기값 f[k], f[k+1], …, f[k+6]을 나타낸다.

앞서 설명한 바와 같이 기존의 BUBO 방법에 의할 경우 변환함수는 도 2에 도시된 선형 증가의 직선(200)이 되며, 입력되는 영상신호의 변환 전 밝기값의 간격과 변환 후 밝기값의 간격이 일정하다. 실제 히스토그램(100)은 밝기값 k+3에서 최대 발생 빈도를 나타내고, 밝기값이 k 및/또는 k+6으로 감소 및/또는 증가하는 경우 발생 빈도가 감소하지만, 변환에 있어서 이러한 특성을 전혀 반영하지 못하고 있다.

하지만, 도 3에 도시된 비선형적 변환함수(300)에 의할 경우 d로 동일 간격을 가지는 변환 전 밝기값이 변환 후에는 f[k+3]을 중심으로 f[k] 및/또는 f[k+6]으로 감소 및/또는 증가하는 경우 간격이 d1 및/또는 d1'에서 d3 및/또는 d3'로 점점 감소한다. 즉, 히스토그램(100)의 각 밝기값에서의 발생 빈도의 크기를 판단하여 큰 발생 빈도를 갖는 밝기값(여기서는, k+3)과 작은 발생 빈도를 갖는 밝기값(여기서는, k, k+6)의 밝기 향상 정도를 서로 다르게 적용한다.

발생 빈도가 큰 밝기값은 입력되는 영상신호에서 차지하는 비중이 큰 밝기값으로, 인접 밝기값과의 밝기 차이를 크게 하여야 인접 밝기값 간의 구별이 명확해지는 영상을 얻을 수 있다. 또한, 발생 빈도가 작은 밝기값은 입력되는 영상신호에서 차지하는 비중이 작은 밝기값으로, 인접 밝기값과의 밝기 차이를 크게 할 필요가 없다. 이와 같이 밝기값의 발생 빈도에 따라 밝기 향상 정도를 다르게 적용하면 영상의 세밀한 부분까지 구별이 가능해지는 장점이 있다.

이하에서는 도 3에 도시된 것과 같은 비선형적 변환함수(300)를 획득하기 위한 적응적 화질 개선 장치 및 그 방법에 대하여 상세히 설명한다.

도 4는 본 발명의 바람직한 일 실시예에 따른 적응적 화질 개선 장치의 개략적인 구성블록도이고, 도 5는 본 발명의 바람직한 일 실시예에 따른 히스토그램의 조정 방법을 나타내는 도면이며, 도 6은 도 5의 조정 방법에 따른 조정 결과를 나타내는 도면이다.

적응적 화질 개선 장치(400)는 히스토그램 산출부(410), 적응적 히스토그램 변환부(420) 및 밝기값 보정부(430)를 포함한다. 추가적으로 향상계수 산출부(440a) 및/또는 향상계수 설정부(440b)를 더 포함할 수 있다.

히스토그램 산출부(410)는 원 영상, 즉 입력되는 영상신호를 구성하고 있는 각 화소들의 밝기값을 계산하고, 각 밝기값마다의 화소 발생 빈도를 산출하여 히스토그램을 생성한다. 화소 발생 빈도는 화소의 발생 개수 또는 화소의 발생 확률(즉, 화소의 발생 개수를 총 화소의 수로 나눈 값)이 될 수 있다. 히스토그램 산출부(410)에 의해 산출되는 히스토그램의 분포는, 예를 들어 도 1에 도시된 히스토그램(100)과 같은 모양이 될 수 있다.

적응적 히스토그램 변환부(420)는 향상계수를 조절하여 히스토그램 산출부(410)에서 산출된 히스토그램을 적응적으로 변환한다. 히스토그램의 적응적 변환은 도 5 및 도 6에 도시되어 있다.

도 5를 참조하면, 히스토그램 산출부(410)에 의해 산출된 히스토그램의 일례(500)가 도시되어 있다. x축을 밝기값으로, y축을 해당 밝기값의 발생 빈도로 정하는 경우에, 발생 빈도가 가장 많은 최대 발생 빈도를 max, 발생 빈도가 가장 작은 최소 발생 빈도를 min으로 설정한다. 그리고 mid는 max와 min의 중간값으로, 예를 들어 max와 min의 평균값이 될 수 있다.

도 6을 참조하면, 본 발명의 바람직한 일 실시예에 따른 비선형적 특성을 지닌 변환함수에 의해 조정된 히스토그램(600)은 P_AMH[k]와 같이 나타난다. 조정된 히스토그램(600)은 하기의 수학식 1에 의해 변환 전 히스토그램(500)으로부터 변환된다.

여기서, p[k]는 변환 전 히스토그램(500)에서의 밝기값 k의 발생 빈도, max는 변환 전 히스토그램(500)에서의 최대 발생 빈도, min은 변환 전 히스토그램(500)에서의 최소 발생 빈도, mid는 max와 min의 평균값,

는 향상계수,

는 밝기값 k의 변환된 발생 빈도를 나타낸다.

상기 수학식 1에 의할 때 향상계수

값의 증가는 도 5를 참조하면 기준값 인 mid로부터 멀어지게 하는 정도가 증가하게 되므로 그것으로부터 얻어진 변환 함수를 이용할 때 밝기값의 펼쳐지는 정도가 증가하여 밝기값의 발생 빈도에 따른 인접 밝기값과의 대비가 커지게 된다.

여기서, 향상계수

는 향상계수 산출부(440a)에 의해 산출되거나 향상계수 설정부(440b)에 의해 수동으로 설정될 수 있다. 향상계수라 함은 입력되는 영상신호의 화질 개선 정도 또는 화질 향상 정도를 결정하는 계수를 의미한다.

향상계수 설정부(440b)에 의해 설정되는 경우는 사용자에 의해 0 이상의 값으로 결정된다.

또는 향상계수 산출부(440a)에 의해 자동으로 산출되는 경우 향상계수

는 하기의 수학식 2에 의해 정해진다.

여기서, X_m은 전체 평균 밝기, X_ml은 하위 평균 밝기, X_mu는 상위 평균 밝기, L은 전체 밝기값의 수이다. 전체 평균 밝기는 입력되는 영상신호의 평균 밝기값이고, 전체 평균 밝기를 기준으로 분할된 부분 영상, 즉 전체 평균 밝기보다 큰 밝기값을 가지는 화소들로 구성된 부분 영상의 평균 밝기값으로부터 상위 평균 밝기를, 전체 평균 밝기보다 작은 밝기값을 가지는 화소들로 구성된 부분 영상의 평균 밝기 값으로부터 하위 평균 밝기를 산출할 수 있다. 즉, 상위 평균 밝기 및 하위 평균 밝기는 하기의 수학식 3에 의해 구해질 수 있다.

,

변환 전 히스토그램(500)에서 입력되는 영상신호의 평균 밝기값보다 낮은 영역에 밝기값이 집중되어 있는 경우 X_m과 X_ml의 차이는 X_m과 X_mu의 차이보다 작게 나타나므로, 평균 밝기값보다 작은 밝기값을 갖는 부분 영상의 향상계수

를 작게 하여 히스토그램(500)의 조정 정도를 크게 하고, 평균 밝기값보다 큰 밝기값을 갖는 부분 영상의 향상계수

를 크게 하여 히스토그램(500)의 조정 정도를 작게 한다. 반면에 평균 밝기값보다 높은 영역에 밝기값이 집중되어 있는 경우 상술한 것과는 반대로 향상계수

값을 결정하게 된다.

밝기값 보정부(430)는 변환된 히스토그램에 대한 누적분포함수를 산출하고, 산출된 누적분포함수에 기초하여 입력되는 영상신호에 대응하는 밝기값을 결정한다.

밝기값 보정부(430)는 누적분포함수 산출부(431), 누적분포함수 보정부(433), 변환함수 산출부(435) 및 밝기 조절부(43)를 포함한다.

누적분포함수 산출부(431)는 적응적 히스토그램 산출부(420)에서 변환된 히 스토그램(600)의 분포로부터 하기의 수학식 4에 의해 누적분포함수를 산출한다. 여기서, 변화된 히스토그램(600)은 각 밝기값에 대한 발생 확률을 나타내는 것으로 가정한다.

누적분포함수 보정부(433)는 누적분포함수의 최대값이 입력되는 영상신호의 총 화소 수와 일치하도록 한다. 그리고 변환함수 산출부(435)는 최대값이 입력되는 영상신호의 총 화소 수와 일치된 누적분포함수를 하기의 수학식 5에 의해 영상에서 표현가능한 밝기값인 0 내지 L-1로 정규화한다.

밝기 조절부(437)는 상기 수학식 5에 따르는 변환 함수를 이용하여 입력되는영상신호의 밝기값을 변화시켜 화질이 개선된 영상신호를 출력한다.

도 7은 기존의 BUBO 방법에 따른 히스토그램 변환 결과와 본 발명의 바람직한 일 실시예에 따른 히스토그램 변환 결과를 나타낸 도면이다.

도 7의 (a) 및 (d)는 임의의 입력되는 영상신호의 히스토그램을 나타내고 있다. 임의의 입력되는 영상신호에 대하여 BUBO 방법에 의할 때 BUBO 변환 함수는 도 7의 (e)와 같이 나타나는 반면에 본 발명에 따른 적응적 히스토그램 변환 방법에 의할 대 변환 함수는 도 7의 (b)와 같이 나타난다. BUBO 방법에 의한 변환 함수가 선형 영역에서의 기울기가 훨씬 크고, 전체적으로 선형 영역이 연속되고 있음을 알 수 있다. 하지만, 본 발명에 따른 변환 함수는 기울기가 BUBO 방법에 의한 변환 함수보다 작으며 전체적으로 비선형적인 특성을 가지고 있음을 알 수 있다.

도 7의 (f)를 참조하면, BUBO 방법에 의한 히스토그램은 선형적인 변환 함수에 의해 각 발생빈도에 따른 밝기값 간의 간격이 동일하거나 유사함을 알 수 있다. 하지만, 도 7의 (c)를 참조하면, 본 발명에 따른 히스토그램은 밝기값이 집중된 중심 부분에서는 밝기값 간의 간격이 넓으며, 밝기값이 분산된 가장자리 부분에서는 밝기값 간의 간격이 좁음을 알 수 있다.

도 7의 (c)와 같은 히스토그램에 의할 때 밝기값의 발생 빈도에 따라 밝기 향상 정도를 다르게 적용하게 되어 영상의 세밀한 부분까지 구별이 가능해지는 장점이 있다.

도 8은 본 발명의 바람직한 일 실시예에 따른 적응적 화질 개선 방법의 흐름도이다.

단계 S810에서 히스토그램 산출부(410)는 입력되는 영상신호의 각 화소가 갖는 밝기값에 따른 히스토그램을 생성한다. 그리고 단계 S820에서 향상계수

를 조절하여 히스토그램의 분포를 적응적으로 변환한다. 단계 S830에서는 상기한 단계 S820에서 변환된 히스토그램에 대한 누적분포함수를 산출한다.

그리고 단계 S840에서 누적분포함수에 기초하여 입력되는 영상신호에 대응하는 밝기값을 결정한다. 단계 S840은 다음과 같은 단계를 포함할 수 있다.

단계 S841에서 누적분포함수의 최대치가 입력되는 영상신호의 총 화소 개수가 되도록 누적분포함수를 보정한다. 그리고 단계 S843에서 보정된 누적분포함수를 보상, 즉 정규화하여 밝기값에 대한 변환함수를 산출한다. 이후 단계 S845에서 변환함수를 이용하여 입력되는 영상신호의 각 화소에 대한 밝기값을 조절하여 출력한다. 각 단계에서의 상세한 내용에 대해서는 자세히 상술하였는 바 그 상세한 설명은 생략한다.

상술한 바와 같이, 본 발명에 따른 적응적 화질 개선 장치 및 그 방법은 히스토그램에서 각 밝기값의 발생 빈도의 크기에 따라 히스토그램을 조절하고, 이로부터 획득되는 비선형적 변환함수를 이용하여 화질을 개선한다.

또한, 히스토그램으로부터 밝기값의 발생 빈도를 조절하게 됨에 따라 과도한 밝기 변화를 제어하고, 각 밝기값의 발생 빈도의 크기에 따라 변환되는 영상의 밝기를 적응적으로 향상시켜 비슷한 밝기값이 집중된 특정 영상 영역의 세밀한 영상 정보까지 식별 가능하다.

또한, 처리 속도가 빨라 영상의 실시간 처리에도 적용가능하다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

입력되는 영상신호의 각 화소가 갖는 밝기값에 따른 히스토그램의 분포를 산출하는 히스토그램 산출부;

향상계수를 조절하여 상기 히스토그램의 분포를 적응적으로 변환하는 적응적 히스토그램 변환부; 및

상기 변환된 히스토그램에 대한 누적분포함수를 산출하고, 상기 누적분포함수에 기초하여 상기 입력되는 영상신호에 대응하는 밝기값을 결정하는 밝기값 보정부

를 포함하는 적응적 화질 개선 장치.
제1항에 있어서, 상기 밝기값 보정부는,

상기 변환된 히스토그램에 대한 누적분포함수를 산출하는 누적분포함수 산출부;

상기 산출된 누적분포함수의 최대치가 상기 입력되는 영상신호의 총 화소 개수가 되도록 상기 누적분포함수를 보정하는 누적분포함수 보정부;

상기 보정된 누적분포함수를 보상하여 밝기값에 대한 변환함수를 산출하는 변환함수 산출부; 및

상기 변환함수를 이용하여 상기 입력되는 영상신호의 밝기값을 조절하여 출 력하는 밝기 조절부

를 포함하는 것을 특징으로 하는 적응적 화질 개선 장치.
제1항에 있어서,

상기 변환함수 산출부는 발생 빈도가 큰 밝기값은 인접 밝기값과의 밝기 차이가 상대적으로 크도록 설정하고, 발생 빈도가 작은 밝기값은 인접 밝기값과의 밝기 차이가 상대적으로 작도록 설정하는 것을 특징으로 하는 적응적 화질 개선 장치.
제1항에 있어서,

상기 적응적 히스토그램 변환부는 하기의 수학식에 의해 상기 히스토그램의 분포를 변환시키는 것을 특징으로 하는 적응적 화질 개선 장치.

여기서, p[k]는 상기 히스토그램에서의 밝기값 k의 발생 빈도, max는 상기 히스토그램에서의 최대 발생 빈도, min은 상기 히스토그램에서의 최소 발생 빈도, mid는 상기 max와 상기 min의 평균값,
는 상기 향상계수,
는 상기 밝기값 k의 변환된 발생 빈도임.
제1항에 있어서,

상기 향상계수를 수동으로 설정하는 향상계수 설정부를 더 포함하는 적응적 화질 개선 장치.
제1항에 있어서,

상기 입력되는 영상신호의 평균 밝기값인 전체 평균 밝기와, 상기 전체 평균 밝기를 기준으로 분할된 부분 영상의 평균 밝기값인 상위 평균 밝기 및 하위 평균 밝기를 이용하여 상기 향상계수를 산출하는 향상계수 산출부를 더 포함하는 적응적 화질 개선 장치.
제6항에 있어서,

상기 향상계수 산출부는 하기의 수학식에 의해 상기 향상계수(
)를 산출하는 것을 특징으로 하는 적응적 화질 개선 장치.

여기서, X_m은 상기 전체 평균 밝기, X_ml은 상기 하위 평균 밝기, X_mu는 상기 상위 평균 밝기, L은 전체 밝기값의 수임.
(a) 입력되는 영상신호의 각 화소가 갖는 밝기값에 따른 히스토그램을 생성하는 단계;

(b) 향상계수를 조절하여 상기 히스토그램의 분포를 적응적으로 변환하는 단계;

(c) 상기 변환된 히스토그램에 대한 누적분포함수를 산출하는 단계; 및

(d) 상기 누적분포함수에 기초하여 상기 입력되는 영상신호에 대응하는 밝기값을 결정하는 단계

를 포함하는 적응적 화질 개선 방법.
제8항에 있어서, 상기 단계 (d)는,

(d-1) 상기 산출된 누적분포함수의 최대치가 상기 입력되는 영상신호의 총 화소 개수가 되도록 상기 누적분포함수를 보정하는 단계;

(d-2) 상기 보정된 누적분포함수를 보상하여 밝기값에 대한 변환함수를 산출하는 단계; 및

(d-3) 상기 변환함수를 이용하여 상기 입력되는 영상신호의 각 화소에 대한 밝기값을 조절하여 출력하는 단계

를 포함하는 것을 특징으로 하는 적응적 화질 개선 방법.
제9항에 있어서,

상기 단계 (d-2)는 발생 빈도가 큰 밝기값은 인접 밝기값과의 밝기 차이가 상대적으로 크도록 설정하고, 발생 빈도가 작은 밝기값은 인접 밝기값과의 밝기 차이가 상대적으로 작도록 설정하는 것을 특징으로 하는 적응적 화질 개선 방법.
제8항에 있어서,

상기 단계 (b)는 하기의 수학식에 의해 상기 히스토그램의 분포를 변환시키는 것을 특징으로 하는 적응적 화질 개선 방법.

여기서, p[k]는 상기 히스토그램에서의 밝기값 k의 발생 빈도, max는 상기 히스토그램에서의 최대 발생 빈도, min은 상기 히스토그램에서의 최소 발생 빈도, mid는 상기 max와 상기 min의 평균값,
는 상기 향상계수,
는 상기 밝기값 k의 변환된 발생 빈도임.
제8항에 있어서, 상기 단계 (b) 이전에,

(A) 상기 향상계수를 수동으로 설정하는 단계를 더 포함하는 적응적 화질 개선 방법.
제8항에 있어서, 상기 단계 (b) 이전에,

(A) 상기 입력되는 영상신호의 평균 밝기값인 전체 평균 밝기와, 상기 전체 평균 밝기를 기준으로 분할된 부분 영상의 평균 밝기값인 상위 평균 밝기 및 하위 평균 밝기를 이용하여 상기 향상계수를 산출하는 단계를 더 포함하는 적응적 화질 개선 방법.
제13항에 있어서,

상기 단계 (A)는 하기의 수학식에 의해 상기 향상계수(
)를 산출하는 것을 특징으로 하는 적응적 화질 개선 방법.

여기서, X_m은 상기 전체 평균 밝기, X_ml은 상기 하위 평균 밝기, X_mu는 상기 상위 평균 밝기, L은 전체 밝기의 수임.