KR100614334B1

KR100614334B1 - 영상 처리 장치

Info

Publication number: KR100614334B1
Application number: KR1020040013931A
Authority: KR
Inventors: 이은실; 변성찬
Original assignee: 엘지전자 주식회사
Priority date: 2004-03-02
Filing date: 2004-03-02
Publication date: 2006-08-18
Also published as: EP1571593A3; EP1571593A2; CN1665278A; KR20050088560A; US20050195298A1

Abstract

저조도 환경에서 고선명 영상을 구현할 수 있는 영상 처리 장치가 개시된다.

본 발명의 영상 처리 장치는, 저조도 환경의 영상을 취득하기 위한 수단; 상기 취득된 영상을 히스토그램을 이용하여 고선명 영상으로 보정하기 위한 수단; 및 상기 보정된 고선명 영상을 출력하기 위한 수단을 포함한다.

영상처리장치, 저조도 환경, 히스토그램, 계조

Description

영상 처리 장치{Image processing device}

도 1은 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치의 개략적인 구성을 나타낸 도면.

도 2는 도 1의 조도 보정부를 상세하게 나타낸 도면.

도 3은 본 발명의 저조도 환경에서 취득된 영상에 대한 히스토그램 분포 변화를 나타낸 도면.

도 4는 도 2의 히스토그램 스트레칭부에 의해 영상이 재배열되는 모습을 나타낸 일 예시도.

도 5는 도 2의 히스토그램 스트레칭부에 의해 영상이 재배열되는 모습을 나타낸 다른 예시도.

<도면의 주요 부분에 대한 부호의 명칭>

1 : 영상 취득부 2 : 영상 보정부

3 : 영상 확대부 4 : 조도 개선부

5 : 포맷 변환부 6 : 영상 출력부

11 : 히스토그램 산출부 12 : 임계치 설정부

13 : 히스토그램 스트레칭부 14 : 색상 보정부

본 발명은 영상 장치에 관한 것으로, 특히 저조도 환경에서 고선명 영상을 구현할 수 있는 영상 처리 장치에 관한 것이다.

최근 들어, 디지털 캠코더, 카메라폰 등을 포함하는 디지털 영상 처리 장치에 대한 수요가 급격히 증대되면서 그 기능들이 갈수록 다양화되고 지능화 되고 있다.

이에 따라, 상기 디지털 영상 처리 장치는 정지 영상 또는 동영상이 취득될 때 지원되는 해상도도 점차 늘어나면서, 일반 환경, 즉 대낮이나 형광램프 등의 조명 하에서의 고조도 환경에서의 영상취득은 어느 정도 사용자를 만족시키는 수준에 도달하고 있다.

하지만, 사용자는 일반환경에서의 영상취득뿐만 아니라 극장 안, 암실, 야간 등의 저조도 환경에서도 고선명이 보장되는 영상을 취득하고자 하는 욕구가 강력하게 생기고 있다. 예를 들면, 콘서트 장에서 자신이 좋아하는 스타의 열광하는 모습이라든지, 야간에 바다를 배경으로 영상을 취득한다든지 할 때에는 일반환경이 아닌 저조도 환경에서 영상이 취득될 것이다.

현재까지 이와 같은 저조도 환경에서 고선명 영상을 보장하기 위해 여러 가지 방법들이 제시되었다.

즉, 종래의 영상 처리 장치에서는 플래시(flash)를 사용하는 방법, 노출 시 간을 늘려주는 방법 그리고 휘도를 제어하는 방법 등이 주로 사용되었다.

플래시를 사용하는 방법은 플래쉬를 장착한 영상 처리 장치에만 사용이 가능하고, 또한 플래쉬를 장착한 경우에도 극장 안과 같은 공공 장소에서는 플래쉬에 의한 순간적인 광선으로 인해 다른 사람이 방해받을 염려가 있으므로 그 사용가능성에 상당한 제한을 받게 된다. 또한, 플래쉬를 사용하는 방법은 영상 촬영 전에 플래쉬가 작동되지 않은 낮은 조도 상태에서 피사체를 보게 되므로,프리뷰(preview) 상에서 피사체를 구별하지 못하게 되는 문제점이 있었다.

노출시간을 늘려주는 방법은 초당 취득되는 영상 수가 줄어들게 되며, 사용자의 손떨림 등에 민감하게 반응하게 되어 사용자가 영상 취득을 위하여 피사체를 포함한 원하는 조작을 하기가 상당히 불편해지는 문제점이 있었다.

또한, 휘도를 제어하는 방법은 이미 국내특허출원 제 10-1999-059628호로 출원된 바 있는데, 촬상한 영상의 휘도 데이터와 기 설정된 휘도 레벨의 임계값을 비교하고, 그 비교 결과에 따라 보상할 이득값을 조정한 다음, 각 선택신호에 따라 촬상한 이미지 데이터를 저조도에서 자동으로 계조 (contrast) 보상함으로써, 주위 환경이 변하더라도 선택신호의 제어만으로 영상의 계조 및 휘도를 용이하게 조절할 수 있다. 하지만, 이러한 휘도 제어 방법도 프리뷰시에는 저조도를 유지하면서 디스플레이되기 때문에 피사체를 정확하게 구별하지 못하는 단점이 있었다.

따라서, 종래의 영상 처리 장치는 저조도 환경에서 영상을 취득하기가 용이하지 않으며, 비록 영상을 취득한다 하더라고 저조도 환경에 기인하여 선명한 영상을 얻을 수 없는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 저조도 환경에서 취득된 영상을 보정하여 조도를 개선함으로써, 고선명의 영상을 구현할 수 있는 영상 처리 장치를 제공함에 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 바람직한 일 실시예에 따르면, 영상 처리 장치는, 저조도 환경의 영상을 취득하기 위한 수단; 상기 취득된 영상을 히스토그램을 이용하여 고선명 영상으로 보정하기 위한 수단; 및 상기 보정된 고선명 영상을 출력하기 위한 수단을 포함한다.

상기 영상 처리 장치에 따르면, 상기 고선명 영상으로 보정하기 위한 수단은, 상기 취득된 영상에 대한 히스토그램 분포수를 산출하기 위한 수단; 상기 산출된 히스토그램 분포수에 대한 최소값 및 최대값을 설정하기 위한 수단; 상기 설정된 최소값 및 최대값 사이에 분포하는 화소수들을 소정 계조 범위로 재배열하는 히스토그램 스트레칭을 수행하기 위한 수단; 및 상기 히스토그램 스트레칭 수단에서의 계조 보정에 의한 밝기 변화율을 이용하여 색상 보정을 수행하기 위한 수단을 포함할 수 있다.

상기 히스토그램 스트레칭 수단은 상기 최소값 및 최대값 사이에 분포된 화소수들을 상기 소정 계조 범위 내에 선형적으로 균일하게 분포되도록 재배열할 수 있다.

또는, 상기 히스토그램 스트레칭 수단은 상기 최소값 및 최대값 사이에 분포된 화소수들을 상기 소정 계조 범위 내에 곡선으로 분포되도록 재배열할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치의 개략적인 구성을 나타낸 도면이다. 도 2는 도 1의 조도 보정부를 상세하게 나타낸 도면이다.

도 1을 참조하면, 본 발명의 영상 처리 장치는, 저조도 환경의 영상을 취득하기 위한 영상 취득부(1)와, 상기 영상 취득부(1)로부터 취득된 저조도 환경의 영상의 휘도 및 색상을 보정하기 위한 영상 보정부(2)와, 상기 영상 보정부(2)로부터 보정된 영상을 출력하기 위한 영상 출력부(6)를 포함하여 구성된다.

상기 영상 취득부(1)는 일반적인 영상(저조도 환경의 영상을 포함)을 취득하기 위한 부재로서, CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등과 같은 이미지 센서 등이 사용될 수 있다. 하지만, 본 발명에서는 저조도 환경에서 취득된 영상을 고선명 영상으로 만드는 것에 주안점을 두고 있으므로, 이하에서 영상은 모두 저조도 환경에서 취득된 영상을 의미한다.

상기 영상 보정부(2)는 상기 영상 취득부(1)로부터 취득된 저조도 환경의 영상을 개선하여 고선명 영상으로 만들어주기 위한 부재로서, 영상 확대부(3), 조도 조정부(4) 및 포맷 변환부(5)를 포함한다.

상기 영상 확대부(3)는 상기 취득된 영상을 사용자가 요청한 줌 배율에 따라 소정 크기의 영상으로 확대한다. 이때, 상기 취득된 영상이 확대될 수 있는 최대 크기는 상기 영상 출력부(6)의 화면 크기인 것이 바람직하다. 만일 고 배율에 의해 상기 영상 출력부(6)의 화면 크기 이상으로 상기 취득된 영상이 확대되도록 사용자에 의해 요청되면, 통상적으로 이러한 요청은 받아들여지지 않고 대신 상기 영상 출력부(6)의 화면 크기로 확대될 수 있다.

상기 영상 확대부(3)는 사용자에 의해 줌 배율 조절이 가능하여, 해당 피사체에 대한 거리나 초점 등을 조절하여 소정의 줌배율로 확대 또는 축소시켜 영상의 해상도를 최적화시킬 수 있다. 만일 해당 피사체에 대한 거리나 초점 등이 제대로 설정되어 있는 경우에는 사용자의 별도의 줌 배율 조절을 하지 않아도 되므로, 상기 영상 확대부(3)가 필요치 않을 수도 있다. 즉, 상기 영상 확대부(3)는 해당 피사체에 대한 영상의 해상도를 조절해야 할 필요성이 요구될 때 사용될 수 있다.

상기 영상 확대부(3)에 의해 확대된 영상은 앞서 설명한 바와 같이 저조도 환경에서 취득된 영상이므로, 곧바로 디스플레이 화면 등으로 출력되면 저조도에 기인하여 해당 영상의 피사체에 대한 식별이 용이하지 않게 된다.

따라서, 상기 취득된 영상이 화면상에 출력되기 전에 소정의 과정, 즉 조도 조정부(4)에 의해 휘도 및 색상이 보정되는 과정이 요구되어진다.

일반적으로, 저조도 환경에서 취득된 영상의 계조 분포는 주로 낮은 레벨 영역에 존재하게 된다. 따라서, 이와 같이 낮은 레벨 영역에 주로 분포하는 화소수들을 보다 상위 레벨로 적절히 재배열하게 되면, 해당 영상의 콘트라스트가 향상되어 보다 선명하게 피사체를 식별할 수 있다.

이를 위해 본 발명에서는 조도 조정부(4)가 도입되었다.

상기 조도 조정부(4)는 기본적으로 히스토그램을 이용하여 조도를 개선하게 된다.

이와 같은 조도 조정부(4)는 도 2에 나타낸 바와 같이 히스토그램 산출부(11), 임계치 설정부(12), 히스토그램 스트레칭부(13) 및 색상 보정부(14)를 포함한다.

상기 히스토그램 산출부(11)는 상기 영상 취득부(1) 또는 상기 영상 확대부(3)로부터 얻어진 저조도 환경의 영상에 대한 히스토그램 분포수를 산출한다. 즉, 히스토그램은 상기 저조도 환경의 영상에서 각 계조별 화소 분포수를 산출하는 것으로서, 도 3에 나타낸 바와 같이 저조도 환경의 영상의 화소수들은 주로 낮은 계조 영역에 대다수가 분포하게 된다.

다시 말해, 히스토그램 산출부(11)는 상기 저조도 환경의 영상에 대해 각 계조별 히스토그램 분포수를 산출하고, 이와 같이 산출된 히스토그램 분포수를 살펴보면, 0 내지 255 계조에서 주로 100 계조 레벨 이하에 거의 대부분의 화소수들이 분포하게 된다. 따라서, 이러한 히스토그램 분포수를 통해 이와 같이 상기 저조도 환경의 영상의 화소수들이 낮은 계조 영역에 분포하게 됨에 따라 해당 피사체는 배경 등과 밝기에 있어서 별 차이가 발생되지 않게 되어 식별이 어렵게 되는 것을 알 수 있다.

이러한 문제점을 해결하기 위해 본 발명의 임계치 설정부(12)는 주로 낮은 계조 영역에 분포하는 화소수들의 하한 임계치(예컨대, 하한 계조값) 및 상한 임계치(예컨대, 상한 계조값)를 각각 최소값(Min)과 최대값(Max)으로 설정한다.

이와 같이 산출된 히스토그램 분포수로부터 최소값(Min)과 최대값(Max)을 설 정하는 방법에는 여러 가지가 있을 수 있다. 즉, 고정된 최소값 및 최대값을 설정하는 방법과 퍼센트를 이용하여 최소값 및 최대값을 설정하는 방법 등이 그것이다.

먼저, 고정된 최소값 및 최대값을 설명하는 방법은 0 내지 255 계조의 히스토그램 분포수를 가지는 영상에 대해 고정된 특정 최소값과 최대값을 설정하는 것이다. 이와 같은 특정 최소값 및 최대값은 미리 설정되는 것이 가능하고, 또한 필요할 경우 변경될 수도 있다. 예를 들면, 고정된 특정 최소값과 최대값이 각각 45와 200으로 설정될 수 있다.

퍼센트를 이용하여 최소값 및 최대값을 설정하는 방법은 앞서 언급한 바와 같이, 영상을 히스토그램 분포시키면, 각 계조별 화소 분포수를 나타내는 히스토그램 분포수가 나타나게 되고, 이러한 히스토그램 분포수의 분포 퍼센트를 고려하여 최소값 및 최대값을 설정하는 것이다.

일 예로, 전체 영상의 화소수를 100%로 할 때, 화소 분포수가 전체 화소수의 5% 이상이 되는 계조값을 최소값으로 설정하고, 화소 분포수가 전체 화소수의 95% 이하가 되는 계조값을 최대값으로 설정할 수 있다.

상기 히스토그램 스트레칭부(13)는 상기 임계치 설정부(12)에서 설정된 최소값(Min) 및 최대값(Max)을 이용하여 상기 최소값 및 최대값 사이에 분포하는 원 영상, 즉 상기 영상 취득부(1)로부터 취득된 영상의 화소들을 소정 계조 범위로 재배열시킨다.

이때, 상기 취득된 영상의 화소들을 재배열시키는 방법에는 여러 가지가 있을 수 있지만, 본 발명에서는 두 가지 실시예를 설명한다.

첫 번째로, 상기 임계치 설정부(12)에서 설정된 최소값 및 최대값 사이에 분포하는 화소수들을 소정 계조 범위로 균일하게 분포되도록 재배열하는 방법이 있다. 여기서, 상기 소정 계조 범위는 0 내지 255 계조로 결정될 수도 있지만, 이러한 범위는 반드시 고정될 필요는 없다. 예를 들면, 소정 계조 범위는 50 내지 255 계조 사이로 정해질 수도 있다.

즉, 도 4에 나타낸 바와 같이, 상기 취득된 영상을 대상으로 설정된 최소값 및 최대값 사이에 존재하는 화소들이 소정 계조 범위(0 내지 255 계조 범위) 내에 선형적으로 균일하게 분포되도록 재배열된다.

예를 들어, 최소값(Min)이 45와 최대값(Max)이 200인 경우, 45와 200 사이에 존재하는 화소들을 0 내지 255 계조 사이로 균일하게 분포하도록 배열시킨다.

따라서, 비교적 낮은 계조 영역에 분포하는 화소들이 높은 계조 영역으로 재배열됨으로써, 보다 콘트라스트를 향상시켜 고선명 영상을 구현할 수 있다.

두 번째로, 상기 임계치 설정부(12)에서 설정된 최소값 및 최대값 사이에 분포하는 화소수들을 소정 계조 범위 내에 곡선으로 분포되도록 재배열하는 방법이 있다. 여기서, 본 발명의 소정 계조 범위는 0 계조와 255 계조로 결정되지만, 이러한 계조 범위는 반드시 고정될 필요는 없다. 예를 들어, 50 계조와 250 계조를 소정 계조 범위로 결정할 수도 있다.

즉, 도 5에 나타낸 바와 같이, 상기 취득된 영상을 대상으로 설정된 최소값 및 최대값 사이에 존재하는 화소들이 소정 계조 범위(0 내지 255 계조 범위) 내에 일부 구간(예컨대, 150 내지 255 계조 사이)이 집중되는 곡선으로 재배열될 수 있 다.

따라서, 비교적 낮은 계조 영역에 분포하는 화소들이 상대적으로 높은 계조 영역 구간(15 내지 255계조 사이)에 집중적으로 재배열됨으로서, 상기 첫 번째 방법에 비해 보다 높은 콘트라스트를 구현할 수 있다.

그러므로, 이와 같이 2가지 재배열 방법들을 포함한 여러 가지 방법들 중 가장 이상적인 방법을 선택하여 사용할 수 있다.

도 4 및 도 5에서 L은 최대 계조값을 나타내 주는 것으로서, 본 발명에서는 255 계조로 한정되었지만, 필요에 따라서는 255 계조 이하 또는 이상이 될 수도 있다.

지금까지는 주로 계조에 대한 보정에 대해 서술하였다.

하지만, 이와 같이 낮은 계조 영역에 분포하는 화소들을 보다 넓은 계조 범위로 넓혀주게 되면, 이와는 상대적으로 색의 채도(saturation)값이 낮아지게 된다. 이러한 경우, 색의 순도(purity)가 떨어지게 되어 바랜 느낌을 주게 될 수 있다.

따라서, 계조 보정과 더불어 색상 보정도 필요해지게 된다.

이에 따라, 본 발명의 색상 보정부(14)는 상기 히스토그램 스트레칭부(13)에서의 계조 보정에 의한 밝기 변화율(Y'/Y)을 색값에 반영하여 색상을 보정한다. 여기서, Y는 이전 밝기를 나타내고, Y'는 히스토그램 스트레칭부(13)에서의 계조 보정에 따른 새로운 밝기를 나타낸다.

즉, 상기 히스토그램 스트레칭부(13)에 의해 원래의 영상이 대비 출력 영상 의 밝기 변화율(Y'/Y)이 산출될 수 있다. 예를 들어, 영상이 YUV 포맷(여기서, Y는 밝기, U와 V는 색상을 나타냄)으로 이루어지고, 이전 밝기(Y)와 새로운 밝기(Y')가 산출되면, 다음과 같은 수식으로 색상 보정이 이루어질 수 있다.

즉, U'=(Y'/Y)*U, V'=(Y'/Y)*V

물론, 앞서 설명한 색상 보정은 다른 컬러 포맷(예컨대, RGB 포맷)으로 이루어진 영상에도 동일하게 적용될 수 있다.

이와 같은 색상 보정은 반드시 필요한 것은 아니며, 히스토그램 스트레칭부(13)에 의해 계조 보정이 이루어지어 색의 채도값이 낮아지게 될 때 적용될 수 있다.

한편, 상기 포맷 변환부(5)는 상기 히스토그램 스트레칭부(13)에 의해 계조 보정된 영상(필요한 경우에는 상기 색상 보정부(14)에 의해 색상 보정된 영상 포함)을 상기 영상 출력부(6)에서 사용되는 포맷으로 변환시킨다.

예를 들어, 상기 계조 보정된 영상이 YUV 포맷인 경우에는 RGB 포맷으로 변환될 수 있다.

상기 영상 출력부(6)는 상기 포맷 변환부(5)에서 변환된 영상을 화면상으로 출력한다.

상기와 같이 구성된 본 발명의 영상 처리 장치는 카메라폰, 디지털 카메라, 디지털 캠코더, 개인휴대단말기 또는 스마트폰 등에 적용될 수 있다.

이상에서 살펴본 바와 같이, 본 발명은 저조도 환경에서 취득된 영상 중 최소값 및 최대값 사이에 분포하는 화소들을 히스토그램 스트레칭에 의해 소정 계조 범위로 재배열시킴으로써, 종래에 저조도 환경에서 취득된 영상이 프리뷰 디스플레이시 피사체가 식별되지 못하는 단점을 해소하고, 나아가 콘트라스트를 향상시켜 고선명 영상을 구현할 수 있다.

또한, 본 발명은 계조 보정과 더불어 필요시 색상 보정도 하게 됨으로써, 계조 보정에 따라 색상의 채도가 낮아지는 것을 방지할 수 있다.

Claims

저조도 환경의 영상을 취득하기 위한 수단;

상기 취득된 영상에 대한 히스토그램 분포수를 산출하기 위한 수단;

상기 산출된 히스토그램 분포수에 대한 최소값 및 최대값을 설정하기 위한 수단;

상기 설정된 최소값 및 최대값 사이에 분포하는 화소수들을 소정 계조 범위로 재배열하는 히스토그램 스트레칭을 수행하기 위한 수단; 및

상기 보정된 고선명 영상을 출력하기 위한 수단을 포함하는 영상 처리 장치.
제1항에 있어서, 상기 영상 취득 수단은 CCD 또는 CMOS 중 하나로 이루어진 이미지 센서인 것을 특징으로 하는 영상 처리 장치.
삭제
제1항에 있어서, 상기 취득된 영상을 소정 줌 배율에 따라 확대하기 위한 수단을 더 포함하는 영상 처리 장치.
제1항에 있어서, 상기 히스토그램 스트레칭 수단에서의 계조 보정에 의한 밝기 변화율을 이용하여 색상 보정을 수행하기 위한 수단을 더 포함하는 영상 처리 장치.
제5항에 있어서, 상기 밝기 변화율은 계조 보정전의 밝기와 계조 보정 후의 밝기의 비율인 것을 특징으로 하는 영상 처리 장치.
제1항에 있어서, 상기 히스토그램 스트레칭된 영상을 상기 출력 수단에 사용되는 포맷으로 변환하기 위한 수단

을 더 포함하는 영상 처리 장치.
제1항에 있어서, 상기 최소값 및 최대값은 미리 고정적으로 설정되는 것을 특징으로 하는 영상 처리 장치.
제1항에 있어서, 상기 최소값 및 최대값은 상기 산출된 히스토그램 분포수의 분포 퍼센트를 고려하여 설정되는 것을 특징으로 하는 영상 처리 장치.
제1항에 있어서, 상기 소정 계조 범위는 0 내지 255 계조 사이에서 결정되는 것을 특징으로 하는 영상 처리 장치.
제1항에 있어서, 상기 히스토그램 스트레칭 수단은 상기 최소값 및 최대값 사이에 분포된 화소수들을 상기 소정 계조 범위 내에 선형적으로 균일하게 분포되도록 재배열하는 것을 특징으로 하는 영상 처리 장치.
제1항에 있어서, 상기 히스토그램 스트레칭 수단은 상기 최소값 및 최대값 사이에 분포된 화소수들을 상기 소정 계조 범위 내에 곡선으로 분포되도록 재배열하는 것을 특징으로 하는 영상 처리 장치.
제12항에 있어서, 상기 화소수들은 상기 곡선 분포 중 일부 구간에 집중 재배열되는 것을 특징으로 하는 영상 처리 장치.