KR102664343B1 - 영상의 대조비 개선 장치 및 방법 - Google Patents

Abstract

확률밀도함수 산출부가, 입력 영상에 포함된 각각의 픽셀 값의 히스토그램에 기초하여 입력 영상의 확률밀도함수(Probability Density Function, PDF)를 산출하는 단계, 매핑 함수 생성부가, 입력 영상의 확률밀도함수에 기초하여 산출된 누적분포함수(Cumulative Distribution Function, CDF)와 입력 영상에 포함된 픽셀의 밝기 최대값, 밝기 최소값 및 밝기 평균값에 기초하여 매핑 함수(Mapping Function)를 생성하는 단계 및 출력 영상 생성부가, 입력 영상 및 매핑 함수에 기초하여, 입력 영상의 대조비를 개선한 영상인 출력 영상을 생성하는 단계를 포함하는, 영상의 대조비 개선 방법 및 이를 위한 장치에 관한 것이다.

Description

영상의 대조비 개선 장치 및 방법{APPARATUS AND METHOD FOR IMPROVING CONTRAST RATIO OF IMAGE}

본 발명은 입력 영상의 대조비를 개선한 출력 영상을 생성하기 위한 영상의 대조비 개선 장치 및 방법에 관한 것이다.

일반적인 비전 카메라는 인간이 인지할 수 있는 다이나믹 레인지(dynamic range, DR)에 비해 한정된 정보만을 저장할 수 있기 때문에 이러한 카메라로 촬영한 디지털 영상은 시각 정보의 손실이 발생하며, 그 결과, 디지털 영상은 종종 세부 시각 정보가 사라지는 등의 실제 풍경과 상이한 정보를 제공하게 되는 문제가 있다.

대조비 개선 방법은 촬영에 사용된 카메라 파라미터를 알 수 없는 상황에서 디지털 영상의 정보만을 활용하여 사용자가 느끼는 영상의 대조비를 향상시키기 위한 방법으로, 대조비 개선 방법은 상대적으로 낮은 계산 복잡도로도 효과적으로 사용자가 인지하는 영상 품질의 향상을 도모할 수 있기 때문에 정지 영상 및 동영상 재생을 제공하는 다양한 전자기기의 소프트웨어에서 폭넓게 사용되고 있다.

그러나, 종래의 대조비 개선 방법은 누적분포함수(Cumulative Distribution Function, CDF) 자체를 매핑 함수(Mapping Function)으로 사용하기 때문에, 과도한 확장에 의한 영상의 평균 밝기의 급격한 변화, 노이즈 증가 등의 영상 왜곡이 발생할 수 있는 문제가 있으며, 이러한 위험을 낮추기 위해 가중치 합에서 균일 분포(uniform distribution)의 히스토그램의 비중을 너무 높일 경우, 대조비 개선이 효과를 보기 어려운 문제가 있다.

등록특허공보 제10-1238249호 (2013.02.21)

본 발명의 목적은, 상기 문제점을 해결하기 위한 것으로, 입력 영상의 확률밀도함수에 기초하여 산출된 누적분포함수(Cumulative Distribution Function, CDF)와 입력 영상에 포함된 픽셀의 밝기 최대값, 밝기 최소값 및 밝기 평균값에 기초하여 매핑 함수(Mapping Function)를 생성하고, 입력 영상 및 매핑 함수에 기초하여, 입력 영상의 대조비를 개선한 영상인 출력 영상을 생성하기 위함이다.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기한 목적을 달성하기 위하여, 본 발명의 실시예에 따른 영상의 대조비 개선 방법은 확률밀도함수 산출부가, 입력 영상에 포함된 각각의 픽셀 값의 히스토그램에 기초하여 입력 영상의 확률밀도함수(Probability Density Function, PDF)을 산출하는 단계, 매핑 함수 생성부가, 입력 영상의 확률밀도함수에 기초하여 산출된 누적분포함수(Cumulative Distribution Function, CDF)와 입력 영상에 포함된 픽셀의 밝기 최대값, 밝기 최소값 및 밝기 평균값에 기초하여 매핑 함수(Mapping Function)를 생성하는 단계 및 출력 영상 생성부가, 입력 영상 및 매핑 함수에 기초하여, 입력 영상의 대조비를 개선한 영상인 출력 영상을 생성하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 누적분포함수(Cumulative Distribution Function, CDF)와 입력 영상에 포함된 픽셀의 밝기 최대값, 밝기 최소값 및 밝기 평균값에 기초하여 매핑 함수(Mapping Function)를 생성할 수 있다.

본 발명의 일 실시예에 따르면, 생성된 매핑 함수는 인간의 시각인지시스템과 동일한 형태의 밝기반응함수(Luminance Response Function, LRF)로써 생성되기 때문에, 인간의 눈에 보다 친화적인 밝기 분포를 가지면서도 개선된 대조비를 나타내는 출력 영상을 생성할 수 있다.

도 1은 본 발명의 실시예에 따른, 영상의 대조비 개선 장치를 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른, 영상의 대조비 개선 장치 및 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른, 영상의 대조비 개선 장치 및 방법에서 제1 파라미터()에 따른 영상의 대조비 향상 결과를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른, 영상의 대조비 개선 장치 및 방법과 종래의 대조비 개선 방법을 비교하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른, 영상의 대조비 개선 장치 및 방법과 종래의 대조비 개선 방법을 비교하기 위한 도면이다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

이하, 본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다.

도 1은 본 발명의 실시예에 따른, 영상의 대조비 개선 장치를 설명하기 위한 구성도이다. 도 2는 본 발명의 실시예에 따른, 영상의 대조비 개선 장치 및 방법을 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른, 영상의 대조비 개선 장치 및 방법에서 제1 파라미터()에 따른 영상의 대조비 향상 결과를 설명하기 위한 도면이다. 도 4는 본 발명의 실시예에 따른, 영상의 대조비 개선 장치 및 방법과 종래의 대조비 개선 방법을 비교하기 위한 도면이다. 도 5는 본 발명의 실시예에 따른, 영상의 대조비 개선 장치 및 방법과 종래의 대조비 개선 방법을 비교하기 위한 도면이다.

우선, 본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법을 설명하기에 앞서, 종래의 대조비 개선 방법을 설명한다.

먼저, 종래의 기술 중 히스토그램 평활화(Histogram Equalization, HE) 기반의 방법을 설명한다.

히스토그램 평활화(Histogram Equalization, HE)은 입력 영상의 픽셀 밝기 분포를 활용하여 대조비를 개선하며, 히스토그램 평활화는 영상의 대조비가 낮은 이유를 영상의 픽셀 밝기 분포가 특정 값 주변으로 다소 집중되어 있기 때문으로 분석한다.

따라서 히스토그램 평활화는 영상의 각 픽셀 값의 히스토그램을 계산하여 영상의 확률밀도함수(Probability Density Function, PDF)를 추정하며, 이를 이용해 누적분포함수(Cumulative Distribution Function, CDF)를 계산한다.

히스토그램 평활화는 [0,1]의 출력 범위를 갖는 누적분포함수를 [0,I_max]로 스케일링한 후, 이를 매핑 함수(Mapping Function)로 사용하며, 누적분포함수는 영상 내에서 높은 분포를 갖는 밝기 값에서 높은 기울기를 나타내기 때문에, 이를 매핑 함수로 사용하면 밀집된 밝기 값 분포를 분산시키는 효과가 있다.

히스토그램 수정 방법을 이용한 히스토그램 평활화와 관련하여, 앞서 설명했듯이 히스토그램 평활화 방법은 입력 영상의 누적분포함수를 매핑 함수로 사용하기 때문에, 영상의 밝기 값이 극단적으로 집중되어 있는 경우 영상의 밝기를 과도하게 변화시켜 영상 왜곡을 발생시키는 경우가 있다.

이를 해결하기 위해 매핑 함수를 생성하기 위한 영상의 히스토그램에서 크게 왜곡을 유발할 수 있는 부분을 수정하는 다양한 방법이 연구되었으며, 특히 가장 널리 사용되고 있는 히스토그램 수정 방법은 균일 분포(uniform distribution)의 누적분포함수를 매핑 함수로 사용할 경우 출력 영상이 입력 영상과 완전히 동일하다는 점에 착안하여, 입력 영상의 히스토그램을 균일 분포의 히스토그램과의 가중치 합(weighted sum)을 통해 수정함으로써 과도한 왜곡을 방지한다.

감마 함수를 이용한 방법과 관련하여, 감마 함수는 단일 파라미터를 통해 다양한 형태의 함수를 생성할 수 있으며, 하나의 함수 내에서 특정 구간은 압축하고 다른 구간은 확장하는 특성을 갖고 있기 때문에, 고전적인 대조비 개선 방법의 매핑 함수로 널리 사용되어 왔으며, 최근 감마 함수의 파라미터를 입력 영상의 누적분포함수로 대체하여 매핑 함수의 압축 및 확장 구간을 입력 영상에 적응적으로 설정하는 방법이 제안되었다.

그러나, 히스토그램 평활화 기반의 방법은 누적분포함수를 매핑 함수로 사용하기 때문에 과도한 확장에 의한 영상의 평균 밝기의 급격한 변화, 노이즈 증가 등의 영상 왜곡이 발생할 수 있는 가능성이 항상 존재하며, 이러한 위험을 낮추기 위해 가중치 합에서 균일 분포의 히스토그램의 비중을 너무 높일 경우, 대조비 개선이 효과를 보기 어려운 문제가 있다.

따라서, 사전에 입력 영상의 분포 특성을 알기 어려운 대조비 개선의 특성 상 균일 분포와 가중치 합의 비중을 정하기가 쉽지 않다.

또한, 감마 함수를 이용한 방법의 경우 밝은 구간의 밝기 값을 압축해 버리는 특성으로 인하여, 영상의 밝은 부분의 세부정보가 사라지거나, 출력 영상의 평균 밝기가 전체적으로 밝아지는 경향을 보이는 문제가 있으며, 대조비 향상의 목적이 사용자가 느끼는 영상 품질의 향상임에도 불구하고, 매핑 함수의 구성에 있어서 인간의 밝기 인식 방식을 고려하지 않고 영상의 픽셀 밝기의 재분포에만 집중하는 문제가 있다.

이제 도 1을 참조하여 본 발명의 실시예에 따른, 영상의 대조비 개선 장치를 설명한다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 영상의 대조비 개선 장치(100)는 확률밀도함수 산출부(110), 매핑 함수 생성부(120) 및 출력 영상 생성부(130)를 포함한다.

확률밀도함수 산출부(110)는, 입력 영상에 포함된 각각의 픽셀 값의 히스토그램에 기초하여 입력 영상의 확률밀도함수(Probability Density Function, PDF)를 산출한다.

매핑 함수 생성부(120)는, 입력 영상의 확률밀도함수에 기초하여 산출된 누적분포함수(Cumulative Distribution Function, CDF)와 입력 영상에 포함된 픽셀의 밝기 최대값, 밝기 최소값 및 밝기 평균값에 기초하여 매핑 함수(Mapping Function)를 생성한다.

출력 영상 생성부(130)는, 입력 영상 및 매핑 함수에 기초하여, 입력 영상의 대조비를 개선한 영상인 출력 영상을 생성한다.

인간의 시각인지시스템은 눈으로 밝기를 인식하는 과정에서 시그모이드 형태의 밝기반응함수(luminance response function, LRF)를 매핑 함수로써 사용하기 때문에, 본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법은, 누적분포함수 또는 감마 함수를 매핑 함수로 사용하는 기존 방법과 달리, 입력영상에 적응적으로 동작하는 시그모이드 형태의 밝기반응함수를 생성하고, 이를 매핑 함수로 사용함으로써 인간의 눈에 보다 친화적인 밝기 분포를 가지면서도 개선된 대조비를 나타내는 영상을 생성할 수 있다.

나아가, 본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법은 기존의 대조비 개선 방법들이 갖는 장점인 가벼운 계산 복잡도를 유지하면서, 출력 영상의 대조비가 기존 방법에 비해 향상되는 효과가 있다.

이제 도 2를 참조하여, 본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법을 계속 설명한다.

본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법은 입력 영상에 적응적인 시그모이드 형태의 밝기반응함수를 생성하고, 밝기반응함수를 매핑 함수로 하여 영상의 대조비를 향상시킨다.

여기서 매핑 함수는 입력 영상의 누적분포함수로부터 얻을 수 있는 적어도 하나의 정보를 파라미터로 사용하여 생성될 수 있으며, 생성된 매핑 함수는 일대일 매핑을 통해 픽셀 밝기를 변화시키기 때문에 빠른 수행속도를 보일 수 있다.

이때, 매핑 함수 생성부(120)가 생성하는 픽셀의 입력 밝기(I)에 대한 시그모이드 형태의 매핑 함수는 아래 수학식 1과 같다.

[수학식 1]

이때, L은 영상의 그레이 레벨(grey-level)의 개수를 나타내며, I_max,I_min은 각각 입력 영상의 픽셀 밝기의 최대, 최소값을 나타낸다.

스티븐의 법칙(Steven's law)에 의하면 인간의 인지 반응은 상기한 수학식 1과 유사하게 일반화 할 수 있으며, 지수부 a(I)는 베버 분수(Weber Fraction)에 비례한다. 또한 베버 분수는 영상의 픽셀 값에 대하여 지수 함수 형태로 추정할 수 있으므로, 이를 식으로 정리하면 아래 수학식 2와 같다.

[수학식 2]

여기서, 제1 파라미터()는 영상의 대조비 확장 정도를 조절하고 제2 파라미터()는 출력 영상의 평균 밝기를 조절하며, g(I)는 인간의 눈의 대조비 민감도와 관련이 있는 함수로 영상의 픽셀 밝기에 적응적으로 매핑 함수가 동작하게 하는 역할을 한다.

일반적으로 인간의 눈의 대조비 민감도는 밝기 값 자체만이 아니라 영상내 픽셀의 밝기 분포와 밀접한 관련이 있기 때문에, 본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법은 아래 수학식 3과 같이 영상의 픽셀 밝기와 밝기분포를 의미하는 누적분포함수 값의 평균으로 g(I)를 설정한다.

[수학식 3]

상술한 수학식 2에서 제2 파라미터()는 출력 영상의 평균 밝기를 조절하는 함수이기 때문에, 입력 영상과 출력 영상의 평균 밝기를 비슷하게 유지해 주기 위해 평균 밝기에 해당하는 픽셀 밝기 I_mean이 입력으로 들어갔을 때 매핑 함수의 출력이 입력과 동일하도록 설정하였으며, 이를 식으로 정리하면 아래 수학식 4와 같다.

[수학식 4]

이때, 대조비 확장 정도를 조절하는 제1 파라미터()에 따른 영상의 대조비 향상 결과는 도 3에 도시된 바와 같다.

여기서 도 3(a)는 입력 영상, 도 3(b)는 매핑 함수의 제1 파라미터()의 변화에 따른 출력 영상의 그래프 값, 도 3(c)는 제1 파라미터()가 1.2인 경우, 도 3(d)는 제1 파라미터()가 1.6인 경우, 도 3(e)는 제1 파라미터()가 2.0인 경우, 도 3(f)는 제1 파라미터()가 2.4인 경우를 각각 나타낸다.

도 3에 도시된 바와 같이, 제1 파라미터()가 증가함에 따라 대조비가 확장되는 양이 증가함을 확인할 수 있으며, 그 결과 제1 파라미터()는 본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법이 적용되는 영상 재생 기기에 적합하도록 조절될 수 있다.

이제 도 4를 참조하여, 본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법과 종래의 대조비 개선 방법을 비교한다.

공인 디지털 영상 데이터 베이스를 이용하여, 종래의 대조비 개선 방법과 본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법을 비교하였으며, 영상의 객관적 대조비 지표로 EME(Measure of Enhancement)를 사용하였으며, EME(Measure of Enhancement)는 대조비가 높을수록 큰 값을 나타낸다.

한편, 입력 영상과 출력 영상의 평균 밝기 변화를 비교하기 위하여 AMBE(Absolute Mean Brightness Error)를 사용하였으며, AMBE(Absolute Mean Brightness Error)는 입력 영상의 평균 밝기와 출력 영상의 평균 밝기가 유사할수록 작은 값을 가진다.

도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법을 활용하면, 종래의 대조비 개선 방법에 비하여 월등한 대조비 수치를 보이면서도 입출력 영상의 평균 밝기 변화는 가장 낮음을 확인할 수 있다.

나아가, 수행시간은 기존의 히스토그램 평활화 방법보다 빠른 것을 확인하였으며, 기존의 감마 함수 기반 방법과 유사할 정도로 짧은 것을 확인할 수 있다.

이제 도 5를 참조하여, 본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법과 종래의 대조비 개선 방법을 비교한다.

도 5의 좌측 첫번째 영상은 원본 영상, 좌측 두번째 영상은 히스토그램 평활화 방법에 기초한 출력 영상, 좌측 세번째 영상은 감마 함수 기반 방법에 기초한 출력 영상, 좌측 네번째 영상은 본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법을 적용한 출력 영상이다.

도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 영상의 대조비 개선 장치 및 방법을 활용하는 경우, 종래의 방법에 비해 영상의 왜곡이 적을 뿐만 아니라 평균 밝기가 유지되면서도 원본 영상 대비 대조비를 효과적으로 향상시킬 수 있음을 확인할 수 있다.

이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.

100: 영상의 대조비 개선 장치
110: 확률밀도함수 산출부
120: 매핑 함수 생성부
130: 출력 영상 생성부

Claims (5)

1. 확률밀도함수 산출부가, 입력 영상에 포함된 각각의 픽셀 값의 히스토그램에 기초하여 상기 입력 영상의 확률밀도함수(Probability Density Function, PDF)를 산출하는 단계;
   매핑 함수 생성부가, 상기 입력 영상의 확률밀도함수에 기초하여 산출된 누적분포함수(Cumulative Distribution Function, CDF)와 상기 입력 영상에 포함된 픽셀의 밝기 최대값, 밝기 최소값 및 밝기 평균값에 기초하여 매핑 함수(Mapping Function)를 생성하는 단계; 및
   출력 영상 생성부가, 상기 입력 영상 및 상기 매핑 함수에 기초하여, 상기 입력 영상의 대조비를 개선한 영상인 출력 영상을 생성하는 단계;를 포함하고,
   상기 매핑 함수는 시그모이드 형태의 밝기반응함수이며,
   상기 매핑 함수를 생성하는 단계에서,
   상기 출력 영상의 대조비 확장 정도를 조절하는 제1 파라미터를 입력받고, 상기 출력 영상의 평균 밝기를 조절하는 제2 파라미터를 계산하며, 상기 제1 파라미터 및 상기 제2 파라미터에 기초하여, 상기 매핑 함수를 생성하고,
   상기 매핑 함수는 베버 분수에 비례하는 지수부 함수 a(I)와 지수적으로 연관되며,
   상기 지수부 함수 a(I)는 하기 수학식 1에 따라 산출되는 것을 특징으로 하는 영상의 대조비 개선 방법.
   [수학식 1]
   
   여기서, 는 제1 파라미터, 는 제2 파라미터, g(I)는 대조비 민감도 함수를 의미한다.
2. 삭제
3. 삭제
4. 삭제
5. 삭제