KR100588706B1 - 이미지 센서의 화질 개선을 위한 히스토그램 평탄화 장치 및 평탄화 방법 - Google Patents

Abstract

본 발명은 Y_mean 값과 Y_range의 중간값으로 결정되는 Y_target 값과의 차가 큰 경우에 발생하는 색의 짤림과 색의 왜곡현상을 제거하여 이미지 센서의 화질을 개선하는 히스토그램 평탄화 장치 및 그 방법을 제공하기 위한 것이며, 이를 위해 본 발명은 이미지 센서의 화질 개선을 위한 히스토그램 평탄화 장치에 있어서, 사용자에 의해 프로그램이 가능한 제1 및 제2 변수와 상기 이미지 센서의 프레임 내 화소들로부터 출력되는 이미지 값들의 평균값에 응답하여 상기 평균값이 상기 이미지 센서의 임계 범위 값의 중간값보다 작은 제1 경우와 크거나 같은 제2 경우 각각에 대해 서로 다른 타겟 포인트 이미지 값을 설정하여 평탄화 동작을 수행하는 수단을 구비한다.

이미지 센서, 평탄화, 임계 범위, 화질 개선, 매핑

Description

이미지 센서의 화질 개선을 위한 히스토그램 평탄화 장치 및 평탄화 방법{HISTOGRAM EQUALIZATION APPARATUS FOR IMPROVING IMAGE QUALITY IN IMAGE SEMSOR AND EQUALIZATION METHOD THEREOF}

도 1은 히스토그램 평탄화의 동작 원리를 개념적으로 설명하기 위한 도면.

도 2는 히스토그램 평탄화를 위한 종래의 히스토그램 평탄화 장치의 구성도.

도 3은 히스토그램 평탄화를 위한 본 발명에 따른 히스토그램 평탄화 장치의 일실시 구성도.

* 도면의 주요 부분에 대한 설명

300 : 평균값 생성부 310 : 나눗셈기

320 : 비교기 330 : 타겟 포인트 결정부

본 발명은 이미지 센서에 관한 것으로서, 특히 이미지 신호 처리 시 사용되 는 히스토그램 평탄화(Histogram Equalization) 장치 및 방법에 관한 것이다.

일반적으로, 히스토그램 평탄화는 이미지 신호 처리 시 너무 어둡거나 너무 밝은 조명에 의해 발생되는 화면의 불분명함을 개선하기 위한 방법으로, 각 프레임(Frame) 내 화소들의 이미지 값들에 대한 평균을 먼저 구하고, 이 평균값을 임계 범위(Dynamic Range)의 중앙으로 옮겨, 이를 기준으로 프레임의 다른 모든 화소의 이미지 값을 새로운 값으로 매핑하여 처리한다.

도 1은 히스토그램 평탄화의 동작 원리를 개념적으로 설명하기 위한 도면으로, 프레임 내 화소들의 이미지 값(Y)들에 대한 평균을 "Y_mean"이라고 할때 이 평균값이 임계 범위의 중간값 "Y_target"으로 옮겨지는 과정을 도시한 것이다. 임계 범위의 중간값인 "Y_target"에 따라 평균값(Y_mean)보다 큰 임의의 이미지 값 Y_a1은 새로운 값 Y_a2로, 평균값(Y_mean)보다 작은 임의의 이미지 값 Y_b1은 새로운 값 Y_b2로 각각 매핑된다.

상기의 이러한 매핑 관계를 식으로 나타내면, 아래 수학식 1과 같다.

Y_a2 = Y_range - [Y_target ÷ (Y_range - Y_mean) × (Y_range - Y_a1)]

Y_b2 = (Y_target ÷ Y_mean) × Y_b1

여기서, Y_range는 임계 범위 값이고, Y_target은 임계 범위의 중간에 해당되는 값이다.

상기와 같이 이루어지는 히스토그램 평탄화로, 상대적으로 너무 어두운 화면은 어느 정도 밝아지게 되고, 반대로 상대적으로 너무 밝은 화면은 어두워지도록 적절하게 화면이 조정된다.

도 2는 히스토그램 평탄화를 위한 종래의 히스토그램 평탄화 장치의 구성도로서, 상기 수학식 1의 수식을 구현하기 위한 하드웨어 구성이다.

좀더 구체적으로 종래의 히스토그램 평탄화 장치를 살펴보면, 종래의 히스토그램 평탄화 장치는 프레임 유닛 생성부(도면에 도시되지 않음)의 제어에 응답하여 프레임 내 화소들로부터 출력되는 이미지 값(Y_in)들을 입력받아 평균값(Y_mean)을 생성하기 위한 평균값 생성부(100)와, 화소들로부터 출력되는 이미지 값(Y_in)과 평균값 생성부(100)로부터의 평균값(Y_mean)을 입력받아 서로 비교하여 비교 결과 신호(select)를 출력하는 비교기(130)와, 평균값 생성부(150)로부터의 Y_mean, Y_in, 임계 범위의 중간값(Y_target) 및 임계 범위의 이미지 값(Y_range)을 입력받아 Y_target보다 큰 Y_in을 새로운 이미지 값으로 매핑하기 위한 제1 매핑부(140)와, 평균값 생성부(150)로부터의 Y_mean, Y_in 및 Y_target을 입력받아 Y_target보다 작은 Y_in을 새로운 이미지 값으로 매핑하기 위한 제2 매핑부(150)와, 비교기(130)로부터의 비교 결과 신호(select)에 응답하여 상기 제1 매핑부(140) 및 상기 제2 매핑부(150)로부터의 매핑된 새로운 이미지 값을 선택적으로 출력하기 위한 멀티플렉서(160)로 이루어지며, 상기 제1 및 제2 매핑부(140, 150) 각각은, 상기 수학식 1의 수식 구현을 위해 뺄셈기, 곱셈기 및 나눗셈기 등으로 구성된다.

그러나, 상기와 같이 구성된 종래의 히스토그램 평탄화 장치는, Y_mean 값의 타겟 포인트인 Y_target 값이 임계 범위의 중간값으로 항상 고정되어 있기 때문에 Y_mean 값과 Y_target 값의 차가 큰 경우(상대적으로 너무 어둡거나 너무 밝은 화면) 잘못된 이미지 컬러값(Fault Color)을 발생하게 되는 문제가 있다. 실험 결과에 따르면, Y_target이 "128"이고 Y_mean 값이 "60" 내지 "70" 정도일 때(즉, 어두운 화면일 때) 그리고 Y_mean 값이 "200" 내지 "220" 정도일 때(즉, 밝은 화면일 때), 색의 짤림과 색의 왜곡현상이 일어나고, 이러한 현상은 밝은 화면인 경우 더 심하게 발생한다.

본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로써, Y_mean 값과 Y_range의 중간값으로 결정되는 Y_target 값과의 차가 큰 경우에 발생하는 색의 짤림과 색의 왜곡현상을 제거하여 이미지 센서의 화질을 개선하는 히스토그램 평탄화 장치 및 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명은, 이미지 센서의 화질 개선을 위한 히스토그램 평탄화 장치에 있어서, 사용자에 의해 프로그램이 가능한 제1 및 제2 변수와 상기 이미지 센서의 프레임 내 화소들로부터 출력되는 이미지 값들의 평균값에 응답하여 상기 평균값이 상기 이미지 센서의 임계 범위 값의 중간값보다 작은 제1 경우와 크거나 같은 제2 경우 각각에 대해 서로 다른 타겟 포인트 이미지 값을 설정하여 평탄화 동작을 수행하는 수단을 포함한다.

또한, 본 발명은 이미지 센서의 화질 개선을 위한 히스토그램 평탄화 방법에 있어서, 사용자에 의해 프로그램이 가능한 제1 및 제2 변수와 상기 이미지 센서의 프레임 내 화소들로부터 출력되는 이미지 값들의 평균값에 응답하여, 상기 평균값이 상기 이미지 센서의 임계 범위 값의 중간값보다 작은 제1 경우와 크거나 같은 제2 경우 각각에 대해 서로 다른 타겟 포인트 이미지 값을 설정하여 평탄화 동작을 수행한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.

먼저, 본 발명을 간단히 요약하면, 본 발명에 따른 히스토그램 평탄화 장치는 Y_mean의 값에 응답하여 타겟 포인트(Y_target)의 값을 임계 범위의 중간값이 아닌 중간값에 가까우면서 색의 왜곡이나 짤림 현상을 일어나지 않도록 하는 임의 값으로 자동 설정하도록 함으로써 Y_mean 값과 Y_target 값의 차가 큰 경우에 발생하는 색의 짤림과 색의 왜곡현상을 제거한다.

이를 위해 Y_mean이 임계 범위의 중간값보다 클 때는 Y_target을 임계 범위의 중간값보다 다소 크게, 반대로 Y_mean이 임계 범위의 중간값보다 작을 때는 Y_target을 임계 범위의 중간값보다 다소 작게 조정하여, Y_mean과 Y_target의 차가 심할 경우 그 차이를 작게 해주는 프로토콜(protocol)을 사용한다.

상기의 프로토콜에 따라 Y_mean의 값이 임계 범위의 중간값(Dynamic_Half) 보다 크거나 같을 때, Y_target을 식으로 나타내면, 아래 수학식 2와 같다.

Y_target = Dynamic_Half + (Y_mean - Dynamic_Half) / Histo_High

반대로, Y_mean의 값이 임계 범위의 중간값(Dynamic_Half)보다 작을 경우, 상기 프로토콜에 의한 Y_target은 아래 수학식 3과 같다.

Y_target = Dynamic_Half - (Dynamic_Half - Y_mean) / Histo_Low

상기 수학식 2 및 3에서 Histo_High 및 Histo_Low는 프로그램가능한 파라미터로서, 사용자가 그 값을 조절할 수 있다. 그러나, 하드웨어를 간단히 구성하기 위해서 나눗셈의 젯수가 되는 Histo_High 및 Histo_Low의 값을 2의 승수인 1, 2, 4, 8, 16, 32의 값 중 하나로 설정한다. 실험 결과, Histo_High의 값이 "2", Histo_Low의 값이 "8" 또는 "16"일 때, 화면이 가장 잘 나왔고 색의 왜곡이나 짤림 현상이 일어나지 않았다.

도 3은 히스토그램 평탄화를 위한 본 발명에 따른 히스토그램 평탄화 장치의 일실시 구성도로서, Y_mean의 값에 응답하여 Y_target의 값을 사용자 정의에 따라 결정하고, 결정된 Y_target 값으로부터 프레임 내 화소들의 이미지 값(Y_in)들을 새로운 이미지 값(Y_out)으로 매핑하기 위한 하드웨어 구성이다.

도면에 도시된 바와 같이, 본 발명에 따른 히스토그램 평탄화 장치는 프레임 유닛 생성부(도면에 도시되지 않음)의 제어에 응답하여 프레임 내 화소들로부터 출력되는 이미지 값(Y_in)들을 입력받아 평균값(Y_mean)을 생성하기 위한 평균값 생성부(300)와, 임계 범위의 이미지 값(Y_range)을 입력받아 임계 범위의 중간값(Dynamic_Half)을 생성하기 위한 나눗셈기(310)와, 나눗셈기(310)로부터의 Dynamic_Half와 평균값 생성부(300)로부터의 평균값(Y_mean)을 입력받아 서로 비교하여 비교 결과 신호(select)를 출력하는 비교기(320)와, 사용자에 의한 프로그램 가능한 변수 Histo_Low, Histo_High, 나눗셈기(310)로부터의 Dynamic_Half 및 평균값 생성부(300)로부터의 Y_mean에 응답하여 타겟 포인트(Y_target)를 결정하기 위한 타겟 포인트 결정부(330)와, 타겟 포인트 결정부(330)로부터의 Y_target와 Y_range, Y_mean을 입력받아 Y_in을 새로운 이미지 값으로 매핑하기 위한 매핑부(200)로 이루어지며, 상기 매핑부(200)는 상기 도 2의 종래 기술에 도시된 것과 동일하게 구성된다.

여기서, 일반적인 이미지 센서에서의 Y_range는 "0" 에서 "255"이지만, 이는 고정된 값이 아니고 사용자에 의해 변화될 수 있는 값이며, 이를 위해, 별도의 Y_range 값을 저장하는 레지스터를 더 포함하여 구성할 수 있으며, 변수 Histo_Low, Histo_High 역시 프로그램을 위해 각각을 저장하기 위한 레지스터들을 더 포함한다.

타겟 포인트 결정부(330)는 Y_mean, Dynamic_Half 및 Histo_Low를 입력받아 Y_mean의 값이 Dynamic_Half 보다 작은 경우의 Y_target을 결정하기 위한 제1 결정부(331), Y_mean, Dynamic_Half 및 Histo_High를 입력받아 Y_mean의 값이 Dynamic_Half 보다 크거나 같은 경우의 Y_target을 결정하기 위한 제2 결정부(332), 및 비교기(320)로부터의 비교 결과 신호(select)에 응답하여 상기 제1 및 제2 결정부(331, 332)로부터의 Y_target을 선택적으로 출력하기 위한 멀티플렉서(333)로 이루어지며, 상기 제1 결정부(331)는 상기 수학식 3의 수식 구현을 위해 2개의 뺄셈기 및 나눗셈기로 구성되고, 상기 제2 결정부(332)는 상기 수학식 2의 수식 구현을 위해 뺄셈기, 나눗셈기 및 덧셈기로 구성된다.

상기와 같이 구성되는 본 발명의 히스토그램 평탄화 장치는, 타겟 포인트 결정부(330)에서 사용자에 의해 프로그램된 변수 Histo_Low 및 Histo_High 값으로 Y_mean이 Dynamic_Half보다 작은 경우 및 Y_mean이 Dynamic_Half보다 크거나 같은 경우 각각에 대해 서로 다른 값의 Y_target을 구하고, Y_mean과 Dynamic_Half의 비교 결과 신호(select)로 상기 제1 및 제2 결정부(331, 332)로부터의 Y_target 중 하나를 선택하여 매핑부(200)로 출력함으로써, Y_mean이 Dynamic_Half보다 클 때는 Y_target을 Dynamic_Half보다 커지도록 조정하고, Y_mean이 Dynamic_Half보다 작을 때는 Y_target을 Dynamic_Half보다 작아지도록 조정한다. 그에 따라, Y_mean과 Dynamic_Half와의 차가 클 경우(상대적으로 너무 어둡거나 너무 밝은 화면) 그 차이를 작게 함으로써 올바른 이미지 컬러값을 발생할 수 있다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여 야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

상기와 같이 이루어지는 본 발명은, Y_target 값을 일정한 값으로 고정시키지 않고, 사용자에 의해 프로그램이 가능한 변수 Histro_Low, Histro_High에 응답하여 Y_mean의 값이 Dynamic_Half 보다 작은 경우와 Y_mean의 값이 Dynamic_Half 보다 크거나 같은 경우 각각에 대해 서로 다른 Y_targer 값을 설정하여 평탄화함으로써, 색의 짤림과 색의 왜곡현상을 제거하여 이미지 센서의 화질을 개선하는 효과가 있다.

또한, 본 발명의 이미지 평탄화 장치는 디지털 스틸 카메라(Digital Still Camera), PC 카메라 등의 어플리케이션에 적용되어 이미지 화질을 개선할 수 있는 탁월한 효과를 구현할 수 있다.

Claims (8)

1. 이미지 센서의 화질 개선을 위한 히스토그램 평탄화 장치에 있어서,

   사용자에 의해 프로그램이 가능한 제1 및 제2 변수와 상기 이미지 센서의 프레임 내 화소들로부터 출력되는 이미지 값들의 평균값에 응답하여, 상기 평균값이 상기 이미지 센서의 임계 범위 값의 중간값보다 작은 제1 경우와 크거나 같은 제2 경우 각각에 대해 서로 다른 타겟 포인트 이미지 값을 설정하여 평탄화 동작을 수행하는 수단

   을 구비하는 히스토그램 평탄화 장치.
2. 제 1 항에 있어서, 상기 평탄화 동작을 수행하는 수단은,

   제어 신호에 응답하여 상기 이미지 값을 차례로 입력받아 상기 평균값을 생성하기 위한 평균값 생성 수단;

   상기 임계 범위 값을 입력받아 상기 임계 범위 값의 중간값을 생성하기 위한 중간값 생성 수단;

   상기 중간값 생성 수단으로부터 출력되는 상기 중간값 및 상기 평균값 생성 수단으로부터의 상기 평균값을 입력받아 서로 비교하여 비교 결과 신호를 출력하기 위한 비교 수단;

   상기 제1 및 제2 변수, 상기 중간값, 상기 평균값 및 상기 비교 결과 신호에 응답하여 상기 제1 및 제2 경우 각각에 대해 서로 다른 상기 타겟 포인트 이미지 값을 결정하여 출력하기 위한 타겟 포인트 결정 수단; 및

   상기 타겟 포인트 결정 수단으로부터의 상기 타겟 포인트 이미지 값, 상기 임계 범위 값, 상기 평균값에 응답하여 상기 이미지 값을 새로운 이미지 값으로 매핑하기 위한 매핑 수단을 구비하는 것을 특징으로 하는 히스토그램 평탄화 장치.
3. 제 1 항 또는 제 2 항에 있어서, 상기 임계 범위 값은,

   어플리케이션에 따라 상기 사용자에 의해 프로그램가능한 것을 특징으로 하는 히스토그램 평탄화 장치.
4. 제 2 항에 있어서, 상기 타겟 포인트 결정 수단은,

   상기 평균값, 상기 임계 범위 값의 중간값 및 상기 제1 변수를 입력받아 상기 제1 경우에 대한 상기 타겟 포인트 이미지 값을 결정하기 위한 제1 결정 수단;

   상기 평균값, 상기 임계 범위 값의 중간값 및 상기 제2 변수를 입력받아 상기 제2 경우에 대한 상기 타겟 포인트 이미지 값을 결정하기 위한 제2 결정 수단; 및

   상기 비교 수단으로부터의 비교 결과 신호에 응답하여 상기 제1 및 제2 결정 수단으로부터 출력되는 상기 타겟 포인트 이미지 값을 선택적으로 출력하기 위한 선택 수단을 구비하는 것을 특징으로 하는 히스토그램 평탄화 장치.
5. 제 4 항에 있어서, 상기 제1 결정 수단은,

   상기 평균값 및 상기 임계 범위 값의 중간값을 입력받아 상기 중간값으로부터 상기 평균값을 빼기 위한 제1 뺄셈 수단;

   상기 제1 뺄셈 수단의 뺄셈 결과로부터 상기 제1 변수를 나누기 위한 나눗셈 수단; 및

   상기 임계 범위 값의 중간값으로부터 상기 나눗셈 수단의 나눗셈 결과를 빼기 위한 제2 뺄셈 수단을 구비하는 것을 특징으로 하는 히스토그램 평탄화 장치.
6. 제 4 항에 있어서, 상기 제2 결정 수단은,

   상기 평균값 및 상기 임계 범위 값의 중간값을 입력받아 상기 평균값으로부터 상기 중간값을 빼기 위한 뺄셈 수단;

   상기 뺄셈 수단의 뺄셈 결과로부터 상기 제2 변수를 나누기 위한 나눗셈 수단; 및

   상기 임계 범위 값의 중간값과 상기 나눗셈 수단의 나눗셈 결과를 더하기 위한 덧셈 수단을 구비하는 것을 특징으로 하는 히스토그램 평탄화 장치.
7. 제 1 항 또는 제 2 항에 있어서, 상기 제1 및 제2 변수는 각각,

   1, 2, 4, 8, 16, 32 중 선택된 하나의 값인 것을 특징으로 하는 히스토그램 평탄화 장치.
8. 이미지 센서의 화질 개선을 위한 히스토그램 평탄화 방법에 있어서,

   사용자에 의해 프로그램이 가능한 제1 및 제2 변수와 상기 이미지 센서의 프레임 내 화소들로부터 출력되는 이미지 값들의 평균값에 응답하여, 상기 평균값이 상기 이미지 센서의 임계 범위 값의 중간값보다 작은 제1 경우와 크거나 같은 제2 경우 각각에 대해 서로 다른 타겟 포인트 이미지 값을 설정하여 평탄화 동작을 수행하는 히스토그램 평탄화 방법.

Images