KR100477702B1 - 비디오 신호에 대해 시간에 따라 변화하는 비선형 변환을이용한 적응적 콘트라스트 개선 방법 - Google Patents

Abstract

본 발명은 적응적 콘트라스트 개선 방법에 관한 것으로서, 이 방법에 의해 시간에 따라 변화하는 신호의 콘트라스트가 개선된다. 각 디지털 화상은 최소 한계 C에서 최대 한계 U 까지의 범위내 그라데이션 레벨들을 갖는 샘플들로 나타내어진다. 제1디지털 화상을 나타내는 샘플들의 그라데이션 레벨들의 평균값이 결정된다. 제1변환 함수는 평균값 보다 작거나 같은 그라데이션 레벨들을 갖는 샘플들의 분포에 따라 생성된다. 제2변환 함수는 평균값 보다 크거나 같은 그라데이션 레벨들을 갖는 샘플들의 분포에 따라 생성된다. 제1변환 함수 및 제2변환 함수는 콘트라스트 개선 변환을 형성하기 위해 사용되고, 이 변환은 룩업 테이블의 형태로 생성됨이 바람직하다. 콘트라스트 개선 변환은 첫 번째 디지털 화상을 나타내거나 시간적으로 다음에 이어지는 화상을 나타내는 샘플들의 집합에 적용된다.

Description

비디오 신호에 대해 시간에 따라 변화하는 비선형 변환을 이용한 적응적 콘트라스트 개선 방법{Adaptive contrast enhancement method using time-varying nonlinear transforms on a video signal}

현재의 디지털 비디오 기술은 디지털 비디오 디스크(DVD) 플레이어 및 디지털 텔레비전(DTV) 시스템과 같은 소비 제품에 통용되는 비디오 품질을 상당히 향상시켜 왔다. 이러한 것은 DTV 시스템의 비디오 품질이 현재의 아날로그 TV 시스템들에 통용되는 비디오 품질과 비교될 때 특히 자명하게 된다. 그러나, 그와 같은 디지털 비디오 시스템들은 단지 신호 대 잡음비(SNR) 및 해상도에 따른 비디오 품질만을 향상시킨다는 것에 유의해야 한다. 비디오 개선과 관련해, 가령 대비(콘트라스트, contrast) 개선, 밝기(brightness) 개선 및 세부 개선과 같은 다양한 다른 이슈들이 존재한다. 일반적으로, 비디오 개선 처리는 디스플레이 되는 비디오의 시각적 현상을 개선하도록 모색하는 기술들의 모음으로 이뤄진다. 그 기술들은 주로 그레이 레벨(gray level) 및 콘트라스트 조작, 잡음 감소, 엣지(edge) 크리스프닝(crispening) 및 샤프닝(sharpening)을 포함하며, 이는 예를 들어 윌리 인터사이언스에서 나온, W.K. 프랫의 [디지털 이미지 프로세싱] 두번째 판본을 참조하면 알 수 있다. 이미지 복구 문제와는 달리, 비디오나 이미지 개선 방법들은 데이터에 있는 고유한 정보량을 증가시키거나 수학적 모델링을 필요로 하지는 않는다. 일반적으로, 비디오 개선시 수반되는 기본 동작은 소정의 이미지 시퀀스를 조작해 디스플레이 매체 상에서의 그 표시가 개선될 수 있도록 하는 것이다. 개선에 대한 기준을 정량화하는 것은 어려운 일이기 때문에, 수 많은 비디오 개선 기술들은 경험적이며 만족스러운 결과를 얻기 위해 인터랙티브(interactive)한 절차들을 필요로 한다.

비디오 개선에 사용 가능한 기술들 가운데에서, 콘트라스트 개선이 가장 중요한 것일 수 있는데, 이는 이미지의 전체적인 표시가 사람에게 어떻게 인식될 것이냐에 대해 콘트라스트 개선이 근본적인 역할을 하기 때문이다. 사람의 인식은 절대치들 자체가 아닌 콘트라스트에 대해 민감하다는 것이 잘 알려져 있다(가령, 1989년 프렌티스 홀, 잉글우드 클립스에서 발간한 A. K. Jain의 [디지털 이미지 프로세싱의 기본]에서 알 수 있다). 따라서 사람이 더 잘 인식할 수 있는 이미지를 제공하기 위해 이미지의 콘트라스트를 개선시키는 것은 당연한 것이 된다.

콘트라스트 개선은 엣지 크리스프닝(edge crispening)이나 피킹(peaking)과 같은 국소적 표시 보다는 주어진 이미지의 전체적 표시에 주의를 기울인다. 예를 들어, 루트 방식(root law) 및 로그 방식(logarithmic law) 등의 콘트라스트 모델들이 A.K. Jain에서 발견될 수 있다. 콘트라스트 조작에 의한 이미지 개선의 어플리케이션들은 의료용 이미지 처리, 천문학용 이미지 처리, 위성 이미지 처리, 적외선 이미지 처리 등과 같은 다양한 분야에 이용되어져 왔다. 예를 들어, 히스토그램 등화(histogram equalization)는 X-레이 이미지의 상세 부분을 현저히 개선시켜, 종양 검출을 용이하게 할 수 있기 때문에 X-레이 이미지 프로세싱에 유용한 방법이다.

콘트라스트 개선에 대한 몇 가지 방법들이 말로는 가능하지만, 그 주요 어플리케이션은 여전히 이미지들에 국한되어 있다. 따라서, 그러한 방법들의 직접적인 어플리케이션들이 어떤 자연스럽지 못한 표시나 과도한 개선(over-enhancement)과 같은 어떤 시각적 결함을 야기할 수도 있으므로 본질적으로 시간에 따라 변화하는(time-varying) 특성을 가진 비디오 시퀀스에 적용될 수 있는 방법을 찾기가 어려운 것이다. 그래서, 이러한 콘트라스트 개선의 방법들은 TV 등과 같은 이미지들의 시퀀스 형태로 비디오 콘텐츠를 제공하는 소비자 용품에 적합하게 사용될 수 없다.

본 발명이 이루고자 하는 기술적 과제는 비디오 신호의 시간-변화(time-varying) 특성에 맞게 시간에 따라 변화하는 비디오 신호의 이미지나 화상의 콘트라스트를 적응적으로 개선시키는 방법을 제공하는데 있다.

상기 과제를 해결하기 위해, 시간적으로 순서지어진 복수의 디지털 화상들을 포함하며 시간에 따라 변화하는 비디오 신호의 콘트라스트를 적응적으로 개선하는 방법이 본 발명에 의해 제공된다. 디지털 화상들 각각은 샘플들의 집합으로 표현된다. 각각의 샘플은 최소 한계 C에서 최대 한계 U까지의 범위 안에 있는 그라데이션(gradation) 레벨을 가진다. 적어도 제1변환 함수와 제2변환함수를 포함하는 콘트라스트 개선 변환은, a) 디지털 화상 중 제1화상에 대해, 최소 한계 C와 최대 한계 U 사이에서, 디지털 화상들 중 제1화상에 대한 샘플들의 그라데이션 레벨들의 평균값임이 바람직한 제1값을 선택하는 단계; b) 디지털 화상들 중 제1화상을 나타내는 샘플들의 집합을 적어도, 제1값 보다 크지 않은 그라데이션 레벨들을 가진 샘플들을 포함한 제1영역과 제1값보다 적은 그라데이션 레벨들을 가진 샘플들을 포함한 제2영역으로 분리하는 단계; c) 제1영역의 그라데이션 레벨들의 분포에 의존하는 제1변환 함수를 선택하는 단계; 및 d) 제2영역의 그라데이션 레벨들의 분포에 의존하는 제2변환 함수를 선택하는 단계를 실행함으로써 생성된다.

디지털 화상의 콘트라스트는, 디지털 화상을 표현하는 샘플들의 집합에 콘트라스트 개선 변환을 적용함으로써 개선된다. 개선되는 실제 디지털 화상은 디지털 화상들 중 제1화상일 것이며, 이 경우 디지털 화상들 중 그 제1화상은 개선 변환이 생성되는 동안 저장된다.

시간적으로 서로 근접하여 놓여진 두 화상들의 그라데이션 레벨 분포들 사이의 높은 상관성 때문에, 디지털 화상들 중 제1화상부터 생성된 개선 변환은 바로 다음에 이어지는 것이 바람직한 연속된 디지털 화상에 적용될 수 있으므로, 그 연속된 디지털 화상의 콘트라스트를 개선시킨다. 이 경우, 이와 유사한 방식으로, 디지털 화상들 중 제1화상에 적용될 실제 개선 변환은 디지털 화상들 중 제1화상에 대해 시간적으로 선행하는 디지털 화상으로부터 얻어질 것이다. 여기서, 콘트라스트 개선 변환을 생성하는데 사용되고 있는 디지털 화상은 계속해서 그 콘트라스트 개선 변환을 그 화상에 적용하도록 저장될 필요는 없으며, 이는 콘트라스트 개선 변환이 연속되는 다음의 디지털 화상에 적용될 것이기 때문이다. 그러나, 두 경우 모두에 있어서, 콘트라스트 개선 변환은 시간적으로 순서지어지고 시간에 따라 변화하는 비디오 신호를 표현하는 샘플들의 그라데이션 레벨들의 분포에 따라 적응적으로 변화될 것이다. 콘트라스트 개선 변환은 룩업 테이블의 형태로 생성됨이 바람직하다. 콘트라스트 개선 변환은 적어도 어떤 범위 안의 샘플들의 동적 범위를 증가시켜 콘트라스트를 개선시킨다.

본 발명의 다른 특징에 의하면, a) 단계는, 디지털 화상들 중 제1화상을 나타내는 모든 샘플들의 그라데이션 레벨로부터 평균값 m을 산출하고, 제1값이 평균값 m이 되도록 선택하는 단계를 포함한다.

본 발명의 또 다른 특징에 의하면, 본 발명의 방법은, 콘트라스트를 개선시키는 단계를 수행할 때 개선되는 디지털 화상을, 디지털 화상들 중 제1화상 또는 그 제1화상에 대해 시간적으로 이어지는 디지털 화상들 중 하나로서 선택하는 단계를 포함한다.

본 발명의 또 다른 특징에 의하면, 콘트라스트를 개선시키는 단계를 수행할 때 개선되는 디지털 화상은 디지털 화상들 중 제1화상에 대해 시간적으로 바로 다음에 오는 화상이 된다.

본 발명의 또 다른 특징에 의하면, 본 발명의 방법은, 최소 한계 C에서 최대 한계 U까지의 범위 내 입력 그라데이션 레벨들을 받고 입력 그라데이션 레벨들의 해당 범위와 비교할 때 적어도 두 범위들 안에서 증가된 동적 범위를 가지는 해당 출력 그라데이션 레벨들을 제공하기 위한 룩업 테이블을 생성하도록 콘트라스트 개선 변환을 이용하는 단계; 및 샘플들의 집합에 그 룩업 테이블을 적용해 본질적으로 콘트라스트 개선 변환이 샘플들의 집합에 적용되게 함으로써 큰트라스트를 개선시키는 단계를 수행하는 단계를 포함한다.

본 발명의 또 다른 추가적 특징에 의하면, 콘트라스트 개선 변환을 생성하는 단계는, 그라데이션(gradation) 레벨의 함수로서 변화하고, 최소 한계 C에서 0이 되고, 제1값에서 0이 되며, 최소 한계 C에서 제1값까지의 범위 안에서 오직 하나의 극한값만을 가지는 제1개선 함수로부터 제1변환 함수를 생성함으로써 제1변환 함수를 선택하는 단계를 수행하고; 그라데이션 레벨의 함수로서 변화하고, 제1값에서 0이 되게 하고, 최대 한계 U에서 0이 되게 하고, 제1값에서 최대 한계 U까지의 범위 안에서 단 하나의 극한값만을 갖는 제2개선 함수로부터 제2변환 함수를 생성함으로써 제2변환 함수를 선택하는 단계를 수행함을 특징으로 한다.

본 발명의 또 다른 추가적 특징에 의하면, 콘트라스트 개선 변환을 구성하는 단계는, 제1개선 함수를 최소 한계 C에서 제1값까지의 범위 안에서 음이 아닌 것으로 선택하는 단계; 제1분포율의 함수로서 단조 증가하고, 제1분포율이 0이 될 때 -1이 되고 제1분포율이 1이 되면 1이 되는 제1이득 함수를 선택하는 단계; 제2개선 함수를 제1값에서 최고 한계치 U까지의 범위 안에서 음이 아닌 것으로 선택하는 단계; 제2분포율의 함수로서 단조 증가하고, 제2분포율이 0일 때 -1이 되고 제2분포율이 1일 때 1이 되는 제2이득 함수를 선택하는 단계; 제1개선 함수가 그 극한값에 있기 위한 한 그라데이션 레벨의 값을 결정함으로써 제2값을 정의하는 단계; 제2개선 함수가 그 극한값에 있기 위한 한 그라데이션 레벨의 값을 결정함으로써 제3값을 정의하는 단계; 최소 한계 C에서 제2값까지의 범위 안에서 그라데이션 레벨들을 갖는 샘플들의 집합내 여러 샘플들을 최소 한계 C에서 제1값까지의 범위내에서 그라데이션 레벨들을 갖는 샘플들의 집합내에 있는 여러 샘플들로 나누어 제1분포율을 구하는 단계; 제1값에서 제3값까지의 범위 안에서 그라데이션 레벨들을 갖는 집합 내 여러 샘플들을 제1값에서 최대 한계 U까지의 범위내 그라데이션 레벨들을 갖는 집합 내 여러 샘플들로 나누어 제2분포율을 구하는 단계; 제1분포율에서의 제1이득 함수를 산출하여 제1이득 상수를 구하는 단계; 제2분포율에서의 제2이득 함수를 산출하여 제2이득 상수를 구하는 단계; 제1개선 함수와 제1이득 함수를 곱해 제1변환 함수를 생성하는 단계; 및 제2개선 함수와 제2이득 함수를 곱해 제2변환 함수를 생성하는 단계를 포함한다.

본 발명의 또 다른 특징에 의하면, 콘트라스트 개선 변환을 생성하는 단계는, 제1개선 함수가 최소 한계 C에서 제1값까지의 범위 내에서 음(-)이 아닌 것으로 선택될 때 제1분포율의 함수로서 단조 증가하고, 제1분포율이 0이 될 때 -1이 되고, 제1분포율이 1이 될 때 1이 되는 제1이득 함수를 선택하는 단계; 제2개선 함수가 제1값부터 최대 한계 U까지의 범위 내에서 음(-)이 아닌 것으로 선택될 때 제2분포율의 함수로서 단조 증가하고, 제2분포율이 0이 될 때 -1이 되고, 제2분포율이 1이 될 때 1이 되는 제2이득 함수를 선택하는 단계; 제1개선 함수가 최소 한계 C에서 제1값까지의 범위 내에서 양(+)이 아닌 것으로 선택될 때, 제1분포율의 함수로서 단조 감소하고, 제1분포율이 0이 될 때 1이 되고, 제1분포율이 1이 될 때 -1이 되는 제1이득 함수를 선택하는 단계; 제2개선 함수가 제1값에서 최대 한계 U까지의 범위 내에서 양(+)이 아닌 것으로 선택될 때, 제2분포율의 함수로서 단조 감소하고, 제2분포율이 0이 될 때 1이 되고, 제2분포율이 1이 될 때 -1이 되는 제2이득 함수를 선택하는 단계; 제1개선 함수가 극한값에 있도록 그라데이션 레벨의 값을 결정함으로써 제2값을 정의하는 단계; 제2개선 함수가 극한값에 있도록 그라데이션 레벨의 값을 결정함으로써 제3값을 정의하는 단계; 최소 한계 C에서 제2값까지의 범위 내 그라데이션 레벨들을 갖는 샘플들의 집합 내 다수의 샘플들을, 최소 한계 C에서 제1값까지의 범위 내 그라데이션 레벨들을 갖는 집합 내 다수의 샘플들로 나누어 제1분포율을 구하는 단계; 제1값에서 제3값까지의 범위 내 그라데이션 레벨들을 갖는 집합 내 다수의 샘플들을, 제1값에서 최대 한계 U까지의 범위 내 그라데이션 레벨들을 갖는 집합 내 다수의 샘플들로 나누어 제2분포율을 구하는 단계; 제1분포율에서의 제1이득 함수를 산출해 제1이득 상수를 구하는 단계; 제2분포율에서의 제2이득 함수를 산출해 제2이득 상수를 구하는 단계; 제1개선 함수를 제1이득 함수와 곱해 제1변환 함수를 생성하는 단계; 및 제2개선 함수를 제2이득 함수와 곱해 제2변환 함수를 생성하는 단계를 포함한다.

본 발명의 또 다른 추가적 특징에 의하면, 본 발명의 방법은, 이 상수이고 x가 입력 샘플일 때, 제1개선 함수가 (x-C)(m-x)가 되게 선택하는 단계; 및 가 상수일 때, 제2개선 함수는 (m-x)(x-U)가 되도록 선택하는 단계를 포함한다.

본 발명의 추가적인 특징에 의하면, 본 발명의 방법은 을 1/(m-C) 보다 크지 않도록 선택하는 단계; 및 을 1/(U-m) 보다 크지 않도록 선택하는 단계를 포함한다.

본 발명의 추가적 특징에 의하면, 본 발명의 방법은, 을 1/(m-C)가 되도록 선택하는 단계; 및 가 1/(U-m)이 되도록 선택하는 단계를 포함한다.

본 발명의 부수적 특징에 따르면, 이 제1분포율일 때 제1이득 함수를 2-1이 되도록 선택하는 단계; 및 가 제2분포율일 때 제2이득 함수를 2-1이 되도록 선택하는 단계를 포함한다.

이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명하며, 화상(picture) 또는 이미지(image)라는 용어는 일련의 비디어 시퀀스 화상들 중 한 화상을 나타내는데 사용됨을 주지해야 한다. 은 n 시점에 입력되고 있는 비디오 시퀀스의 화상(프레임 또는 필드)을 나타내며, 이때 은 개선될 샘플들로 이뤄져 있다고 가정한다. 각각의 샘플들은 {C, C+1,...,U} 범위내에 있는 그라데이션 레벨을 나타내며, 여기서 C는 비디오 시스템의 가장 어두운 그라데이션 레벨을 나타내고 U는 가장 밝은 그라데이션 레벨을 나타낸다. 대부분의 비디오 시스템에서, 보통 C=0이고 U=255 이지만, C와 U의 실제 값들은 어플리케이션에 따라 달라질 수 있다.

개시된 알고리즘의 제1패러미터(제1값)는 입력 비디오 화상 의 평균 밝기(brightness), 또는 평균 m임이 바람직하다. 평균값 m으로 좋은 결과들이 얻어지기 때문에 이 패러미터를 사용하는 것이 바람직하지만, 평균값 m에서 벗어난 다른 값이 대신 사용될 수도 있다. 개념상으로는 C와 U 사이의 여러 값들 중 어떤 것이라도 사용될 수 있지만, 그 평균이나 평균에 근접한 값을 사용하여 평균 밝기가 변하지 않거나 적어도 심각하게는 변하지 않도록 하는 것이 바람직하다. 이러한 개념은 이하에서 더 설명될 것이다. 이제, h(x)가 의 확률 밀도 함수(PDF)를 나타내고, 그 그라데이션 레벨이 x와 같은 의 샘플의 개수를 표현한다고 하자. 정의에 의해, 는 개선되어야 할 입력 비디오 화상 의 총 샘플들의 개수를 나타낸다. 그러면, 그 샘플들의 평균이 와 같이 계산될 수 있다. 이와 달리 평균 m은 단순히 개선되어야 할 입력 비디오 화상내 샘플들의 그라데이션 레벨들을 모두 더해 그 결과를 N으로 나눔으로써 산출될 수도 있다.

평균치 m에 기초해, 입력 화상 은 사실상 두 개의 서브 화상(sub-pictures)으로 군집된다: 그 중 하나는 평균치 m보다 작거나 같은 그라데이션 값들을 갖는 샘플들로 이뤄지고, 나머지 하나는 평균치 m 보다 크거나 같은 그라데이션 값들을 갖는 샘플들로 이뤄진다. 그러면, 군집된 서브 화상들의 편도 히스트그램과 연관된 다음의 수학식 1 및 2와 같은 패러미터들이 산출된다.

위에서 및 는 각각 C와 m 사이의 변수들과 m과 U 사이의 변수들이다. 과 의 값을 결정하는 것에 대해서는 개선 함수들과 관련해 추후 설명될 것이다. 와 패러미터들은 그 그라데이션 레벨이 각각 (C, )과 (m, ) 안에 있는 샘플들의 총 개수를 나타낸다.

입력되고 있는 비디오 화상의 패러미터들인 와 를 계산해 산출한 후, (C, m) 및 (m, U) 영역안에서 각각의 샘플 분포를 나타내는 추가 패러미터들이 결정된다. 제1분포율 과 제2분포율 는 다음의 수학식 3과 같이 결정된다.

여기서 이고, 이다. 과 는 각각 그라데이션 레벨들이 (C, m) 및 (m, U) 내에 있는 샘플들의 총 개수를 나타냄을 알아야 한다.

또, 정의에 따라 및 임을 주지한다. 이 패러미터들은 각각의 샘플들이 각 범위 (C, m) 및 (m, U) 안에서 어떻게 분포되는지를 가리킨다. 예를 들어, =1인 제1분포율은 (C, m) 범위내 샘플들이 서브 영역인 내에서만 분포되어 있음을 의미하고, 반대로 =0은 (C, m) 범위 안에 있는 샘플들 중 어느것도 서브 영역인 안에 분포되지 않음을 의미한다. 제2분포율인 값에 대해서도 동일한 해석이 이뤄질 수 있다. 제1분포율 과 제2분포율 는 제1이득 함수 의 값들과 제2이득 함수 의 값들을 정하는데 사용된다. 이 이득 함수들의 동작 및 목적이 이하에서 설명될 것이다.

도 1은 x가 입력 샘플의 입력 그라데이션 레벨을 나타내고 f(x)가 변환된 출력을 나타내는 변환을 도시하고 있다. 이 변환은 본 발명의 특징적인 개선 방법 너머의 개념을 설명하는데 사용될 것이다. 이 특정 예에서, 영역 (p, k)내의 그라데이션 값들은 영역(p, k') 내 값들로 매핑됨을 알 수 있다. 중요한 것은, 그라데이션 레벨이 (p, k) 안에 있는 샘플들의 동적 범위 이 변환의 결과로서 까지 증가되었다는 것이다. 이 변환을 사용함으로써, 입력 화상이 영역 (p, k) 내에서 영역 (k, q) 내에서 보다 더 많은 샘플들을 가질 때 이미지의 전체적인 콘트라스트는 증가될 수 있는데, 이는 그 샘플들의 동적 범위가 증가되었기 때문이다. 따라서, 도 1에 도시된 변환은, 더 많은 샘플들이 영역 (k, q)에서 보다 영역 (p, k)에서 분포되어 있을 때, 콘트라스트를 개선시키는데 적합하다. 한편, 영역 (k, q)에 분포된 샘플들이 영역 (p, k)에서 보다 많으면, 도 2에 도시된 것과 같은 변환 함수가 동일한 논리를 이용해 화상의 전체 콘트라스를 증가시키는데 사용될 수 있음을 용이하게 알 수 있다.

적응적 콘트라스트 개선은 입력되고 있는 비디오 시퀀스의 입력 화상의 (p, q)의 샘플 분포에 따라 도 1 및 도 2에 도시된 변환을 적절히 결합함으로써 가능하게 된다. 따라서, 콘트라스트 개선 방법 이면의 기본적인 목적은 화상의 전체 콘트라스트를 증가시키기 위해 입력 화상의 그라데이션 레벨 분포에 따라 변환 함수를 적응적으로 조정한다는 것이다. 수학식 3의 제1분포율 및 제2분포율 를 정의하는 목적은 이러한 목적을 위해 변환 함수를 조정할 수 있도록 하려는 것이다.

제1개선 함수 은 영역 (C, m)에 대해 정의되고, 제2개선 함수 는 영역 (m, U)에 대해 정의된다. 이 개선 함수들 및 은 이하의 조건을 부과하여 그 각각의 영역에서 양(+)이 되도록 선택된다:

1.

2. 모든 실수들 에 대해, 는 (C, m) 내에 단 한 개의 극한값(일정 영역의 한 최소값 또는 일정 영역의 한 최대값)을 가진다. 즉, 은 일 때 에서만 만족된다.

3. 모든 실수들 에 대해, 는 (m, U) 내에 단 한 개의 극한값(일정영역의 한 최소값 또는 일정 영역의 한 최대값)을 가진다. 즉, 은 일 때 에서만 만족된다.

개선 함수가 상기 1, 2, 3의 조건을 만족하는 한 어떤 임의의 개선 함수들이라도 사용될 수 있다. 상기 1, 2, 3의 조건을 만족하는 개선 함수 의 몇몇 예들이 도 3a 내지 도 3c에 도시되어 있다.

과 는 수학식 1과 2에 규정된 편도 히스토그램들을 산출하기 위한 화상의 군집과 관련된 것임을 주지해야 한다. 일단 어플리케이션에 따라 개선 함수들이 결정되었으면, 과 인 각각의 그라데이션 레벨들을 결정하여 과 의 값들을 얻을 수 있다. 또, 상기 조건 1로 인해, 과 의 값들은 m의 함수일 것임을 알 수 있다.

개선 함수들인 와 의 이득을 각각 영역 (C, m) 및 (m, U)에서의 편도 히스토그램 분포에 따라 조정하기 위해, 제1이득 함수 과 제2이득 함수 가 각각 정의된다. 이 이득 함수들은 각각 제1분포율 과 제2분포율 의 함수임을 주지한다. 또, 수학식 3에서 정의된 제1분포율 과 제2분포율 은 영역 (C, m) 및 (m, U)에서의 각각의 샘플 분포를 특징짓는 것임을 알아야 한다. 이득 함수들의 목적을 이루기 위해 다음의 두 가지 조건들이 이득 함수에 부과된다:

1'.

2'. 는 제1분포율 에 대해 단조 증가하는 함수이고, 는 제2분포율 에 대해 단조 증가하는 함수이다.

여기서 제1개선 함수 및 제2개선 함수 는 각각 영역 (C, m) 및 (m, U)에서 음(-)이 아니라고 가정한다. 따라서, 제1이득 함수 의 값은, 제1분포율 이 0에서 1까지 변화할 때, -1에서 1까지 변화하고, 제2이득 함수 의 값은 제2분포율 이 0에서 1까지 변화할 때, -1에서 1까지 변화할 것이다. 이득 패러미터들의 역할은 도 1과 도 2와 관련해 논의된 샘플 분포에 따른 개선 함수들을 조정하는데 있다는 것을 알아야 한다. 또, 제1이득 함수 과 제2이득 함수 의 값들이 화상에서 화상으로 변화하는 동안 그 이득 패러미터들은 어느 한 화상에 대해 일정한 값을 가질 것이라는 것 역시 주지해야 한다.

이득 함수들이 상기 조건 1', 2'를 만족하는 한 어떤 임의의 이득 함수라도 사용될 수 있다. 이득 함수의 몇몇 예들이 도 4a 내지 도 4c에 도시되어 있다.

만약 제1개선 함수 와 제2개선 함수 가 각각 영역 (C, m) 및 (m, U) 에서 양(+)이 아니라고 가정하면, 상기 조건 1' 및 2'는 다음과 같이 바뀌어야 한다:

1".

2". 는 제1분포율 에 대해 단조 감소하는 함수이고, 는 제2분포율 에 대해 단조 감소하는 함수이다.

상술한 이득 함수들 및 과 개선 함수들 및 에 기반해, 다음 수학식 4와 같은 적응적 콘트라스트 개선 변환이 얻어질 수 있다.

적응 콘트라스트 개선 변환 는 제1변환 함수 및 제2변환 함수 를 포함한다. (C, U)에서의 입력 그라데이션 레벨은 x가 (C, m)에 속할 때() 에 의해 변화하고, x가 (m, U)에 속하면() 에 의해 변화한다는 것을 주지해야 한다. 또, 최대 변화는 각각 및 일 때 이뤄짐을 알아야 한다. 수학식 4에 주어진 적응 콘트라스트 변환 은, 여기서 으로 한정했기 때문에 m을 m으로 매핑한다. 이러한 한정은 변환된 화상의 평균 밝기가 입력 화상의 평균 밝기에 비해 그다지 크게 변화하지 않게 하기 위해 성립된다.

비디오 신호의 특성이나 그라데이션 레벨 분포는 화상에서 화상으로 변화하기 때문에, 수학식 4에 개시된 적응 콘트라스트 개선 변환 의 특징은 화상에서 화상으로 변화한다는 것을 주지하는 것은 중요한 일이다. 보다 상세히 말하면, 평균값 m, 제1분포율 및 제2분포율 가 화상에서 화상으로 변화하기 때문에, 수학식 4에 개시된 적응 콘트라스트 개선 변환 의 최종 형태 역시 화상에서 화상으로 변화하게 되는 것이다. 이는 콘트라스트 개선 방법의 성격이 적응적이라는 것을 확인시키는 것이다.

도 5a 내지 도 5c는 수학식 4의 적응적 콘트라스트 개선 변환 의 동작을 도시하기 위한 예를 보인 것이다. 도 5a는 각각 과 에서 최대값을 가지는 제1개선 함수 와 제2개선 함수 의 예를 도시한 것이다. 도 5b는 수학식 4에 주어진 적응적 콘트라스트 개선 변환 을 이용해 입력 그라데이션 레벨들에 더해진, 및 항의 곡선을 보인 것이다. 이 예에서, 이고, 이다. 마지막으로, 도 5c는 입력 비디오에 적용하기로 된 , 수학식 4에서 주어진 변환의 곡선이다. 상술한 조건 1' 및 2'와 함께 제1이득 함수 와 제2이득 함수 를 결정하는 목적을 유념할 때, 샘플들이 변환 이전 보다 더 많은 콘트라스트를 가지도록 영역내 샘플들의 동적 범위가 까지 증가되었다는 것을 주지해야 한다. 이와 동일하게, 영역 내 샘플들은, 동적 범위가 로부터 까지 증가하였기 때문에 변환 이후 더 많은 콘트라스트를 가질 것이다. 결과적으로, 이미지 전체의 콘트라스트가 향상될 수 있게 된다.

요약하면, 수학식 4에 주어진 적응적 콘트라스트 개선 변환 에 따른 콘트라스트 개선 방법은 다음과 같이 설명될 수 있다:

ㄱ) 상술한 1 ~ 3, 1' 및 2'에 개시된 각각의 조건을 만족하는, 의 구체적 함수 형태를 미리 정한다.

ㄴ) PDF, 즉 입력되고 있는 화상 의 h(x)를 산출하고, 동시에 입력 화상의 평균 m을 산출한다.

ㄷ) 평균과 PDF를 토대로, 군집된 히스토그램(clustered histogram)과 관련한 수학식 1과 2의 패러미터들 를 산출한다.

ㄹ) 패러미터 로부터 제1 및 제2분포율(수학식 3의 )를 계산한다. 그리고나서 제1 및 제2이득 함수들인 를 계산한다.

ㅁ) 상기 패러미터들이 일단 계산되었으면, 수학식 4에 주어진 적응적 콘트라스트 개선 변환 를 이용해 x=C,...,U 그라데이션 레벨들에 대한 변환 룩업 테이블(LUT)를 생성한다.

ㅂ) LUT를 입력되고 있는 비디오 입력 신호에 적용한다.

도 6a는 적응적 콘트라스트 개선 방법을 구현하는 장치의 제1실시예를 도시한 블록도이다. 입력되고 있는 화상은, 기능 블록(12)에 도시된 바와 같이 화상으로부터 얻어진 패러미터들을 이용해 변환 LUT가 생성되는 동안, 메모리(10) 안에 저장된다. 메모리(10)는 변환 LUT가 기능 블록(14)에 도시된 것과 같이 변환 LUT를 생성하는데 사용된 화상에 적용될 수 있도록, 한 프레임 또는 필드 주기 동안 입력 비디오를 지연시키기 위해 제공된다.

일반적으로 비디오 시퀀스는 시간적 방향성과 높은 상관성을 가지며, 그렇기 때문에 대부분의 어플리케이션에 있어서 한 화상으로부터 생성된 LUT 변환이 비디오 시퀀스의 이어지는 화상에 적용될 수 있게 된다. 도 6b는 적응적 콘트라스트 개선 방법을 구현하는 장치(30)의 제2실시예를 도시한 블록도이다. 입력되고 있는 화상은, 입력되고 있는 화상으로부터 얻어진 패러미터들을 이용해 변환 LUT가 생성되는 동안, 메모리 안에 저장된다. 비디오 시퀀스에 있어 이전 화상으로부터 생성되었던 변환이 지금 입력되고 있는 화상에도 적용된다. 이와 같이, 지금 입력되고 있는 화상으로부터 생성되는 변환은 비디오 시퀀스에 있어 이어지는 다음 화상에도 적용될 것이다. 변환 LUT를 입력 화상에 적용하는 것은 입력 픽셀 그라데이션 레벨 x에 대한 를 출력하는 픽셀 바이 픽셀(pixel by pixel) 연산이다. 상술한 두 실시예 모두에서, LUT 변환은 화상 동기(SYNC) 신호와 동기되는 방식으로 갱신될 수 있다.

적응적 콘트라스트 개선 방법은 입력중인 화상의 샘플 분포에 의존하는, 개선 함수들인 와 적응적 이득 조정 함수들인 의 결합에 따른 것이다. 역시, 어느 임의의 함수라도 그들이 상기 조건들(1~3, 1', 2')을 감당하는 한 f, 로 사용될 수 있다.

예를 들기 위해, 이하에서 본 발명의 방법에 대한 상세한 실시예를 설명할 것이다. 수학식 4의 적응적 개선 변환 에 사용되는 제1 및 제2개선 함수들이 다음의 이차 다항식과 같이 제공된다.

는 미리 정해진 상수들이다. 상기 함수들은 1~3에 명시된 조건들을 만족시키는 것임을 주지해야 한다. 은 각각 와 일 때에만 만족된다는 것을 쉽사리 알 수 있다. 따라서 이 경우 이고 이다. 그러면 수학식 4에서 주어진 적응적 콘트라스트 개선 변환 가 다음과 같이 산출된다:

상술한 바와 같이, 1' 및 2'에 주어진 조건을 만족하는 제1이득 함수 및 제2이득 함수 의 선택은 자유자재로 된다. 실제로, 상이한 이득 함수들은 의 상이한 특성을 파생시킬 것이므로, 그 선택은 특정 어플리케이션에 따라 달라질 수 있다. 제1이득 함수 및 제2이득 함수 에 대한 간단한 선택은 다음과 같다:

위의 제1이득 함수 의 실시예는, 서브 영역인 의 여러 샘플들이 묶여질 때(가령, ) 수학식 7의 변환 중 처음 부분을 위한 이 단순히 "무시(bypass)"되기 때문에, 에서의 샘플 분포들을 동등하게 다룰 것이다. 수학식 8에 나와 있는, 제2이득 함수인 의 실시예 역시 이와 동일하게 설명될 수 있다.

수학식 7에 주어진 변환을 직접 적용하는데 있어 한가지 중요한 문제는, m의 값에 따라 발생할 수 있는 그레이 반전(gray inversion) 문제이다. 그레이 반전은 다음과 같은 관계를 내포하고 있다:

그레이 반전 문제를 막기 위해, 수학식 10과 같은 상수의 간단한 대수 조작을 이용하면, 수학식 11과 같이 가 경계지어진다는 것을 쉽게 보일 수 있다.

따라서, 의 경계값을 얻으면, 수학식 6에 주어진 변환은 다음과 같이 된다.

본 발명에 의하면, 비디오 신호의 시간-변화(time-varying) 특성에 맞게 시간에 따라 변화하는 비디오 신호의 이미지나 화상의 콘트라스트를 적응적으로 개선시키게 된다.

도 1은 소정 범위내의 그라데이션 레벨들을 갖는 샘플들의 동적 범위를 증가시키는데 사용될 수 있는 변환예를 도시한 것이다.

도 2는 다른 범위내 그라데이션 레벨들을 갖는 샘플들의 동적 범위를 증가시키는데 사용될 수 있는 변환예를 도시한 것이다.

도 3a-3c는 개선 함수들의 예를 도시한 것이다.

도 4a-4c는 이득 개선 함수들의 예를 도시한 것이다.

도 5a는 개선 함수 및 의 예를 도시한 것이다.

도 5b는 및 의 곡선을 도시한 것이다.

도 5c는 도 5b에 도시된 및 를 이용해 구해진 변환 함수의 곡선이다.

도 6a는 적응 콘트라스트 개선 방법을 구현하기 위한 장치의 제1실시예에 대한 블록도이다.

도 6b는 적응 콘트라스트 개선 방법을 구현하기 위한 장치의 제2실시예에 대한 블록도이다.

Claims (16)

1. 적응적 콘트라스트 개선 방법에 있어서,

   각각의 샘플들이 최소 한계 C에서 최대 한계 U의 범위 안에서 한 그라데이션(gradation) 레벨을 가질 때, 각각이 상기 샘플들의 집합으로 표현되는 시간적 순서로 된 복수개의 디지털 화상들을 포함하는, 시간에 따라 변화하는 비디오 신호를 구하는 단계;

   a) 디지털 화상들 중 제1화상에 대해, 최소 한계 C와 최대 한계 U 사이에서 제1값을 선택하는 단계; b) 디지털 화상들 중 제1화상을 나타내는 샘플들의 집합을 최소한, 제1값 보다 크지 않은 그라데이션 레벨의 샘플들을 갖는 제1부분과 제1값 보다 적지 않은 그라데이션 레벨의 샘플들을 갖는 제2부분으로 나누는 단계; c) 제1부분 안의 그라데이션 레벨의 분포에 따라 제1변환 함수를 선택하는 단계; 및 d) 제2부분 안의 그라데이션레벨의 분포에 따라 제2변환 함수를 선택하는 단계를 수행하여, 적어도 제1변환 함수와 제2변환 함수를 포함한 콘트라스트 개선 변환을 생성하는 단계; 및

   디지털 화상을 나타내는 샘플 집합에 적응적 개선 변환을 적용해 디지털 화상의 콘트라스를 개선시키는 단계를 포함함을 특징으로 하는 적응적 콘트라스트 개선 방법.
2. 제1항에 있어서, 상기 a) 단계는,

   디지털 화상들 중 제1화상을 나타내는 모든 샘플들의 그라데이션 레벨로부터 평균값 m을 산출하는 단계; 및

   제1값이 상기 평균 값 m이 되도록 선택하는 단계를 포함함을 특징으로 하는 적응적 콘트라스트 개선 방법.
3. 제1항에 있어서,

   디지털 화상들 중 제1화상과 현재 그 제1화상에 대해 시간적으로 연속되는 디지털 화상들 중 하나로 이뤄진 그룹으로부터, 콘트라스트를 개선하는 단계를 수행할 때 개선되는 디지털 화상을 선택하는 단계를 포함함을 특징으로 하는 적응적 콘트라스트 개선 방법.
4. 삭제
5. 제1항에 있어서, 콘트라스트 개선 단계를 수행할 때 개선되는 디지털 화상은 디지털 화상들 중 그 제1화상에 대해 시간적으로 바로 다음에 연속되는 화상임을 특징으로 하는 적응적 콘트라스트 개선 방법.
6. 제1항에 있어서,

   최소 한계 C에서 최대 한계 U까지의 범위내 입력 그라데이션 레벨들을 수신하고, 입력 그라데이션 레벨들의 해당 범위들과 비교할 때 적어도 두 영역내에서 하나의 증가된 동적 범위를 갖는 해당 출력 그라데이션 레벨을 제공하기 위한 룩업 테이블을 생성하도록 콘트라스트 개선 변환을 이용하는 단계; 및

   상기 룩업 테이블을 샘플들의 집합에 적용함에 따라 본질적으로 콘트라스트 개선 변환을 샘플들의 집합에 적용시킴으로써 콘트라스트를 개선시키는 단계를 수행하는 단계를 포함함을 특징으로 하는 적응적 콘트라스트 개선 방법.
7. 제6항에 있어서, 상기 a) 단계는,

   디지털 화상들 중 제1화상을 나타내는 모든 샘플들의 그라데이션 레벨로부터 평균값 m을 산출하는 단계; 및

   제1값을 평균값 m이 되도록 선택하는 단계를 포함함을 특징으로 하는 적응적 콘트라스트 개선 방법.
8. 제6항에 있어서, 상기 콘트라스트 개선 변환을 생성하는 단계는,

   그라데이션 레벨의 함수로서 변화하고, 최소 한계 C에서 0이 되고, 제1값에서 0이 되고, 최소 C에서 제1값까지의 범위 안에 단 한 개의 극한값을 가지는 제1개선 함수로부터 제1변환 함수를 생성함으로써 제1변환 함수를 선택하는 단계를 수행하는 단계; 및

   그라데이션 레벨의 함수로서 변화하고, 제1값에서 0이 되고, 최대 한계 U에서 0이 되며, 제1값에서 최대 한계 U 까지의 범위 안에서 단 한 개의 극한값을 가지는 제2개선 함수로부터 제2변환 함수를 생성함으로써 제2변환 함수를 선택하는 단계를 수행하는 단계를 포함함을 특징으로 하는 적응적 콘트라스트 개선 방법.
9. 제8항에 있어서, 상기 콘트라스트 개선 변환을 생성하는 단계는,

   제1개선 함수가 최소 한계 C에서 제1값 까지의 범위 안에서 음(-)이 아닌 것이 되도록 선택하는 단계;

   제1분포율이 0이 될 때 -1이 되고, 제1분포율이 1이 될 때 1이 되며, 제1분포율의 함수로서 단조 증가하는 제1이득 함수를 선택하는 단계;

   제2개선 함수가 제1값에서 최대 한계 U까지의 범위 안에서 음(-)이 아닌 것이 되도록 선택하는 단계;

   제2분포율이 0이 될 때 -1이 되고 제2분포율이 1이 될 때 1이 되며, 제2분포율의 함수로서 단조 증가하는 제2이득 함수를 선택하는 단계;

   제1개선 함수가 극한값에 있도록 그라데이션 레벨의 값을 결정함으로써 제2값을 정의하는 단계;

   제2개선 함수가 극한값에 있도록 그라데이션 레벨의 값을 결정함으로써 제3값을 정의하는 단계;

   최소 한계 C에서 제2값까지의 범위 안에서 그라데이션 레벨들을 갖는 샘플들의 집합 내 다수의 샘플들을, 최소 한계 C에서 제1값까지의 범위 안에서 그라데이션 레벨들을 갖는 집합 내 다수의 샘플들로 나누어 제1분포율을 구하는 단계;

   제1값에서 제3값까지의 범위 내 그라데이션 레벨들을 갖는 집합 내 다수의 샘플들을, 제1값에서 최대 한계 U까지의 범위 내 그라데이션 레벨들을 갖는 집합 내 다수의 샘플들로 나누어 제2분포율을 구하는 단계;

   제1분포율에서 제1이득 함수를 산출해 제1이득 상수를 구하는 단계;

   제2분포율에서 제2이득 함수를 산출해 제2이득 상수를 구하는 단계;

   제1개선 함수를 제1이득 함수와 곱해 제1변환 함수를 생성하는 단계; 및

   제2개선 함수를 제2이득 함수와 곱해 제2변환 함수를 생성하는 단계를 포함함을 특징으로 하는 적응적 콘트라스트 개선 방법.
10. 제8항에 있어서, 상기 콘트라스트 개선 변환을 생성하는 단계는,

    제1개선 함수가 최소 한계 C에서 제1값까지의 범위 내에서 음(-)이 아닌 것으로 선택될 때 제1분포율의 함수로서 단조 증가하고, 제1분포율이 0이 될 때 -1이 되고, 제1분포율이 1이 될 때 1이 되는 제1이득 함수를 선택하는 단계;

    제2개선 함수가 제1값부터 최대 한계 U까지의 범위 내에서 음(-)이 아닌 것으로 선택될 때 제2분포율의 함수로서 단조 증가하고, 제2분포율이 0이 될 때 -1이 되고, 제2분포율이 1이 될 때 1이 되는 제2이득 함수를 선택하는 단계;

    제1개선 함수가 최소 한계 C에서 제1값까지의 범위 내에서 양(+)이 아닌 것으로 선택될 때, 제1분포율의 함수로서 단조 감소하고, 제1분포율이 0이 될 때 1이 되고, 제1분포율이 1이 될 때 -1이 되는 제1이득 함수를 선택하는 단계;

    제2개선 함수가 제1값에서 최대 한계 U까지의 범위 내에서 양(+)이 아닌 것으로 선택될 때, 제2분포율의 함수로서 단조 감소하고, 제2분포율이 0이 될 때 1이 되고, 제2분포율이 1이 될 때 -1이 되는 제2이득 함수를 선택하는 단계;

    제1개선 함수가 극한값에 있도록 그라데이션 레벨의 값을 결정함으로써 제2값을 정의하는 단계;

    제2개선 함수가 극한값에 있도록 그라데이션 레벨의 값을 결정함으로써 제3값을 정의하는 단계;

    최소 한계 C에서 제2값까지의 범위 내 그라데이션 레벨들을 갖는 샘플들의 집합 내 다수의 샘플들을, 최소 한계 C에서 제1값까지의 범위 내 그라데이션 레벨들을 갖는 집합 내 다수의 샘플들로 나누어 제1분포율을 구하는 단계;

    제1값에서 제3값까지의 범위 내 그라데이션 레벨들을 갖는 집합 내 다수의 샘플들을, 제1값에서 최대 한계 U까지의 범위 내 그라데이션 레벨들을 갖는 집합 내 다수의 샘플들로 나누어 제2분포율을 구하는 단계;

    제1분포율에서의 제1이득 함수를 산출해 제1이득 상수를 구하는 단계;

    제2분포율에서의 제2이득 함수를 산출해 제2이득 상수를 구하는 단계;

    제1개선 함수를 제1이득 함수와 곱해 제1변환 함수를 생성하는 단계; 및

    제2개선 함수를 제2이득 함수와 곱해 제2변환 함수를 생성하는 단계를 포함함을 특징으로 하는 적응적 콘트라스트 개선 방법.
11. 제10항에 있어서, 상기 a) 단계는

    디지털 화상들 중 제1화상을 나타내는 모든 샘플들의 그라데이션 레벨로부터 평균값 m을 산출하는 단계; 및

    제1값이 그 평균값 m이 되게 선택하는 단계를 포함함을 특징으로 하는 적응적 콘트라스트 개선 방법.
12. 제11항에 있어서,

    이 상수이고 x가 입력 샘플일 때, 제1개선 함수가 (x-C)(m-x)가 되게 선택하는 단계; 및

    가 상수일 때, 제2개선 함수는 (m-x)(x-U)가 되도록 선택하는 단계를 포함함을 특징으로 하는 적응적 콘트라스트 개선 방법.
13. 제12항에 있어서,

    이 1/(m-C) 보다 크지 않도록 선택하는 단계; 및

    은 1/(U-m) 보다 크지 않도록 선택하는 단계를 포함함을 특징으로 하는 적응적 콘트라스트 개선 방법.
14. 제12항에 있어서,

    이 1/(m-C)가 되도록 선택하는 단계; 및

    은 1/(U-m)이 되도록 선택하는 단계를 포함함을 특징으로 하는 적응적 콘트라스트 개선 방법.
15. 제12항에 있어서,

    이 제1분포율일 때, 제1이득 함수는 이 되도록 선택하는 단계; 및

    가 제2분포율일 때, 제2이득 함수는 이 되도록 선택하는 단계를 포함함을 특징으로 하는 적응적 콘트라스 개선 방법.
16. 제15에 있어서,

    은 1/(m-C)가 되도록 선택하는 단계; 및

    는 1/(U-m)이 되도록 선택하는 단계를 포함함을 특징으로 하는 적응적 콘트라스트 개선 방법.