KR20050071726A

KR20050071726A - 영상 처리 장치 및 그 방법

Info

Publication number: KR20050071726A
Application number: KR1020040000009A
Authority: KR
Inventors: 김유남; 이현배; 변성찬
Original assignee: 엘지전자 주식회사
Priority date: 2004-01-02
Filing date: 2004-01-02
Publication date: 2005-07-08
Also published as: CN100388758C; CN1638428A; EP1551170A2; KR100624862B1; US20050147293A1; EP1551170A3

Abstract

저조도 환경에서 고선명의 영상을 구현할 수 있는 영상 처리 장치 및 그 방법이 개시된다.

본 발명의 영상 처리 장치는 저조도 영상을 히스토그램 평활화를 이용하여 보정하기 위한 수단; 상기 보정된 영상에 내재하는 노이즈를 제거하기 위한 수단; 및 상기 노이즈가 제거된 영상을 저장하기 위한 수단을 포함한다.

따라서, 본 발명의 영상 처리 장치에 의하면, 저조도 영상을 고조도 영상으로 보정하는 동시에 불필요한 노이즈도 제거함으로써, 보다 선명한 화질 영상을 얻을 수 있는 효과가 있다.

Description

영상 처리 장치 및 그 방법{Image processing device and method thereof}

본 발명은 영상 장치에 관한 것으로, 특히 저조도 환경에서 고선명의 영상을 구현할 수 있는 영상 처리 장치 및 그 방법에 관한 것이다.

최근 들어, 디지털 캠코더, 카메라폰 등을 포함하는 디지털 영상 처리 장치의 사용자 수요가 급격히 증대되면서 그 기능들이 갈수록 다양화되고 지능화 되고 있다.

이러한 영상 처리 장치에 의해 정지 영상 또는 동영상이 취득될 때 지원되는 해상도도 점차 늘어나면서, 일반 환경, 즉 대낮이나 형광램프 등의 조명 하에서의 고조도 환경에서의 영상취득은 어느 정도 사용자를 만족시키는 수준에 도달하고 있다.

하지만, 사용자는 일반환경에서의 영상취득뿐만 아니라 극장 안, 암실, 야간 등의 저조도 환경에서도 화질이 보장되는 영상을 취득하고자 하는 욕구가 강력하게 생기고 있다. 예를 들면, 콘서트 장에서 자신이 좋아하는 스타의 열광하는 모습이라든지, 야간에 바다를 배경으로 영상을 취득한다든지 할 때에는 일반환경이 아닌 저조도 환경이 될 것이다.

종래의 영상 처리 장치는 이러한 저조도 환경에서 플래쉬(flash)를 설정하여, 저조도 환경을 순간적인 광선에 의한 고조도 환경으로 변경시킨 다음, 원하는 영상을 취득하고 있다.

하지만, 이러한 종래의 영상 처리 장치는 플래쉬가 장착되지 않았다면 저조도 환경에서 영상 취득이 불가능하게 되며, 또한 극장 안과 같은 공공장소에서는 플래쉬에 의한 순간적인 광선이 다른 사람을 방해할 염려가 있으므로 플래쉬를 사용할 수 없게 된다. 따라서, 종래의 영상 취득 장치는 저조도 환경에서 영상을 취득하기가 용이하지 않으며, 비록 영상을 취득한다 하더라고 저조도 환경에 기인하여 선명한 영상을 얻을 수 없는 문제점이 있었다.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 저조도 환경에서 취득된 영상을 대상으로 보정 및 노이즈 제거 등을 통해, 고선명의 영상을 획득할 수 있는 영상 처리 장치 및 그 방법을 제공함에 그 목적이 있다.

또한, 본 발명은 조도 레벨에 따른 적응적인 노이즈 제거방식을 자동적으로 선택 적용함으로써, 조도 환경에 따라 최적의 노이즈 제거 방식을 수행할 수 있는 영상 처리 장치 및 그 방법을 제공함에 그 목적이 있다.

또한, 본 발명은 플래쉬 등을 이용하지 않고 소프트웨어로 이용하여 영상을 처리함으로써, 다른 사람에게 방해를 주지 않고 선명한 영상을 획득할 수 있는 영상 처리 장치 및 그 방법을 제공함에 또 다른 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 바람직한 일 실시예에 따르면, 영상 처리 장치는, 저조도 영상을 히스토그램 평활화를 이용하여 보정하기 위한 수단; 상기 보정된 영상에 내재하는 노이즈를 제거하기 위한 수단; 및 상기 노이즈가 제거된 영상을 저장하기 위한 수단을 포함한다.

상기 영상 처리 장치에 따르면, 상기 노이즈 제거 수단은, 저조도 레벨값을 임계치와 비교하기 위한 수단; 상기 저조도 레벨값이 임계치 이하인 경우, 평균 필터를 이용하여 상대적으로 많은 노이즈가 제거되도록 하기 위한 수단; 및 상기 저조도 레벨값이 임계치 이상인 경우, 중간 필터가 이용하여 상대적으로 적은 노이즈가 제거되도록 하기 위한 수단을 포함한다.

상기 영상 처리 장치에 따르면, 상기 노이즈가 제거된 영상을 사용자에게 제공하기 위한 수단을 더 포함한다.

본 발명의 바람직한 다른 실시예에 따르면, 영상 처리 방법은, 저조도 영상을 히스토그램 평활화를 이용하여 보정하는 단계; 상기 보정된 영상에 내재하는 노이즈를 제거하는 단계; 및 상기 노이즈가 제거된 영상을 저장하는 단계를 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치의 개략적인 구성을 나타낸 블록도이다. 도 2는 도 1의 영상 노이즈 제거부를 상세하게 나타낸 블록도이다.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 처리 장치는 저조도 영상을 보정하기 위한 영상 보정부(1)와, 상기 보정된 영상 내에 존재하는 노이즈를 제거하기 위한 영상 노이즈 제거부(3)와, 상기 노이즈가 제거된 영상을 저장하기 위한 영상 저장부(4)와, 상기 노이즈가 제거된 영상을 사용자에게 제공하기 위한 영상 출력부(5)로 구성된다. 여기서, 상기 저조도 영상은 저조도 환경(예컨대, 암실, 극장 내, 야간 등)에서 취득되어 입력된 영상을 의미한다. 이때, 상기 저조도 영상은 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등과 같은 이미지 센서를 이용하여 취득될 수 있다.

상기 영상 보정부(1)는 조명이 없는 저조도 환경에서 영상을 취득할 때, 플래쉬 등의 부가 조명 장치 없이도 사람의 눈으로 보기에 적절한 수준까지 소프트웨어에 기반하여 상기 저조도 영상을 밝게 보정할 수 있다. 즉, 상기 영상 보정부(1)는 상기 입력되는 저조도 영상을 대상으로 히스토그램 평활화를 이용하여 고조도 영상으로 보정한다.

여기서, 히스토그램 평활화는 영상의 계조(gray level) 분포가 일정 계조에 국한되어 있을 때, 이를 평활화 하여 영상의 밝기값을 향상시킬 수 있도록 하는 기법이다.

도 4에 나타낸 바와 같이, 상기 저조도 영상에 대한 히스토그램 분포는 주로 저 계조 영역에 분포하게 된다. 이때, 히스토그램 평활화를 수행하면, 이와 같이 저 계조 영역에 상대적으로 많이 분포하는 저조도 영상이 0~255의 모든 계조 범위로 재배치 및 확대되게 된다. 따라서, 저조도 영상의 경우, 히스토그램 평활화를 수행하면, 배경과 피사체에 대해 전체적으로 어두운 영상이 어느 정도 식별이 가능한 영상으로 변환될 수 있도록 보정된다. 도 5에 나타낸 바와 같이, 원래의 영상인 저조도 영상에 비해 히스토그램 평활화를 수행한 영상이 보다 선명해지게 되는 것을 알 수 있다.

이와 같이 상기 영상 보정부(1)에 의해 저조도 영상이 고조도 영상으로 보정됨으로써, 보다 선명한 영상을 구현할 수 있게 된다.

일반적으로, 상기 저조도 영상에는 원래부터 부가된 노이즈가 존재하게 된다.

이때, 이와 같이 상기 저조도 영상을 히스토그램 평활화에 의해 고조도 영상으로 처리하게 되면, 원래부터 상기 저조도 영상에 부가된 노이즈는 증폭되게 된다.

결국, 상기 영상 보정부(1)에 의해 보다 선명한 영상을 구현할 수는 있지만, 노이즈 현상은 보정 이전보다 더 심하게 되는 문제점이 있게 된다.

이를 위해, 본 발명에서는 상기 영상 노이즈 제거부(3)가 구비되었다.

상기 영상 노이즈는 저조도 레벨값을 이용하게 되는데, 상기 저조도 레벨값은 상기 영상 보정부(1)에서 산출되게 된다. 상기 영상 보정부(1)에는 상기 저조도 영상의 저조도 레벨값을 산출하기 위한 저조도 레벨 산출부(2)가 구비될 수 있다. 상기 영상 보정부(1)는 상기 저조도 영상에 대한 보정과 동시에 상기 저조도 영상에 대한 저조도 레벨값을 산출하게 된다. 여기서, 상기 저조도 레벨값은 임의의 한 영상에 대한 밝기 정도를 수치화한 값을 의미한다. 즉, 상기 저조도 레벨값은 영상의 밝고 어두운 정도를 나타내는 정량적인 정보(quantitative information)를 의미한다.

이때, 상기 저조도 레벨값은 아래의 3가지 방법 중 하나를 이용하여 산출될 수 있다.

첫 번째로, 상기 저조도 레벨값은 전체 영상 정보 중에서 휘도(luminance)값의 히스토그램 분포에 대한 평균값으로 산출될 수 있다.

두 번째로, 상기 저조도 레벨값은 전체 영상 정보 중에서 휘도값의 히스토그램 분포에서 상위 휘도값으로부터 고려할 때, 전체 히스토그램에 대한 일정 비율을 차지하는 최소의 휘도값으로 산출될 수 있다.

세 번째로, 상기 저조도 레벨값은 전체 영상 정보 중에서 휘도값의 히스토그램 분포에서 하위 휘도값으로부터 고려할 때, 전체 히스토그램에 대한 일정 비율을 차지하는 최대의 휘도값으로 산출될 수 있다.

이와 같이 산출된 저조도 레벨값은 상기 보정된 영상과 함께 상기 영상 노이즈 제거부(3)로 입력된다.

상기 영상 노이즈 제거부(3)는 비교부(11)와, 제1 노이즈 제거부(13)와, 제2 노이즈 제거부(15)로 구성될 수 있다.

상기 비교부(11)는 상기 입력된 저조도 레벨값을 미리 설정된 임계치와 비교하여, 서로 상이하게 노이즈가 제거되도록 비교 결과값을 상기 제1 노이즈 제거부(13) 또는 상기 제2 노이즈 제거부(15)로 제공한다.

이때, 임계치는 첫 번째 방법에 따라 저조도 레벨값을 산출할 때는 120으로 설정되고, 두 번째 방법에 따라 저조도 레벨값을 산출할 때는 80으로 설정되며, 세 번째 방법에 따라 저조도 레벨값을 산출할 때는 150으로 설정되는 것이 바람직하다. 물론, 이러한 임계치는 실험적으로 가장 성능이 우수하다고 판단되는 값으로 설정되는 것이며, 120, 80, 150이 아닌 다른 값으로 설정될 수도 있다.

상기 비교부(11)에 의한 비교 결과, 상기 저조도 레벨값이 임계치 이하인 경우, 비교 결과값은 상기 제2 노이즈 제거부(15)로 제공되고, 반대로 상기 저조도 레벨값이 임계치 이상인 경우, 비교 결과값은 상기 제1 노이즈 제거부(13)로 제공된다.

따라서, 상기 제1 노이즈 제거부(13)는 상기 저조도 레벨값이 임계치 이상인 경우, 상기 보정된 영상 내에 존재하는 노이즈를 상대적으로 작게 제거한다. 이와는 반대로, 상기 제2 노이즈 제거부(15)는 상기 저조도 레벨값이 임계치 이하인 경우, 상기 보정된 영상 내에 존재하는 노이즈를 상대적으로 많이 제거한다.

이를 위해, 상기 제1 노이즈 제거부(13)에는 중간 필터(median filter)가 이용되고, 상기 제2 노이즈 제거부(15)에는 평균 필터(mean filter)가 이용될 수 있다. 따라서, 상기 중간 필터에 의한 중간 필터링을 통해 상기 보정된 영상으로부터 상대적으로 노이즈가 작게 제거되며, 상기 평균 필터에 의한 평균 필터링을 통해 상기 보정된 영상으로부터 상대적으로 노이즈가 많이 제거될 수 있다.

그러므로, 저조도 레벨값과 임계치와의 비교를 통해 상기 보정된 영상 내에 존재하는 노이즈의 증폭된 크기를 알 수 있고, 이러한 비교 결과에 따라 노이즈 증폭이 큰 영상의 경우에는 노이즈를 상대적으로 많이 제거함으로써, 피사체의 에지 성분인 고주파 성분을 약간 잃어버리더라도 노이즈를 크게 감소시킬 수 있다. 반면에, 노이즈 증폭이 작은 영상의 경우에는 노이즈를 상대적으로 적게 제거하여, 피사체의 에지 정보를 그대로 유지할 수 있게 된다.

상기 영상 노이즈 제거부(3)에서 노이즈가 제거된 영상은 사용자의 저장 요청에 따라 상기 영상 저장부(4)에 저장된다.

상기 영상 출력부(5)는 상기 사용자의 저장 요청이 없는 경우, 상기 영상 노이즈 제거부(3)에서 노이즈가 제거된 영상을 사용자에게 제공하기 위해 화면 등에 디스플레이 한다.

도 3은 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치에서 저조도 영상을 처리하는 방법을 설명하기 위한 순서도이다. 도 4는 도 3의 S 24를 상세하게 설명하기 위한 순서도이다.

도 3 및 도 4를 참조하면, 저조도 환경에서 CCD 또는 CMOS 등과 같은 이미지 센서를 이용하여 취득된 저조도 영상이 입력된다(S 21).

상기 입력된 저조도 영상에 대해 히스토그램 평활화를 수행하여 고조도 영상으로 보정된다(S 22).

이와는 별도로, 상기 입력된 저조도 영상을 바탕으로 이미 언급한 바와 같은 3가지 방법 중 하나를 이용하여 저조도 레벨값이 산출된다(S 23).

상기 저조도 레벨값을 이용하여 상기 S 21에서 보정된 영상 내에 존재하는 노이즈가 제거된다(S 24).

상기 S 24를 도 4를 참조하여 상세히 설명하면, 먼저 상기 S 21에서 보정된 영상과 상기 S 22에서 산출된 저조도 레벨값이 입력된다(S 31).

상기 입력된 저조도 레벨값이 미리 설정된 임계치 이하인지 여부가 비교 판단된다(S 33).

비교 판단 결과, 상기 저조도 레벨값이 임계치 이하인 경우, 평균 필터링을 이용하여 상기 보정 영상 내의 노이즈가 상대적으로 많이 제거된다(S 35).

비교 판단 결과, 상기 저조도 레벨값이 임계치 이상인 경우, 중간 필터링을 이용하여 상기 보정 영상 내의 노이즈가 상대적으로 적게 제거된다(S 35).

이와 같이, 노이즈의 증폭 정도를 파악하여, 증폭 정도에 따라 노이즈를 상이하게 제거함으로써, 보다 완벽하게 노이즈를 제거하면서 선명한 영상을 얻을 수 있다.

다시 도 3을 참조하면, 노이즈의 증폭 정도에 따라 노이즈가 제거된 영상은 사용자의 저장 요청이 있는 경우(S 25), 상기 노이즈가 제거된 영상이 저장된다(S 27).

반면에, 사용자로부터 저장 요청이 없는 경우, 상기 노이즈가 제거된 영상은 상기 사용자에게 제공되도록 화면상에 디스플레이 되도록 출력된다(S 26).

이상에서 설명한 본 발명에 따른 영상 처리 장치는 카메라폰, 디지털 카메라, 디지털 캠코더, 개인휴대단말기 또는 스마트 폰 등에 용이하게 적용되어 보다 선명한 영상을 구현하는데 이용될 수 있다.

이상에서 살펴 본 바와 같이, 본 발명에 의한 영상 처리 장치 및 그 방법에 따르면, 저조도 환경에서 획득된 영상을 고조도 영상으로 보정한 다음, 이때 증폭되게 되는 노이즈를 노이즈의 증폭 정도에 따라 상이하게 제거하도록 함으로써, 보다 선명한 영상을 구현할 수 있다.

또한, 본 발명에 의한 영상 처리 장치 및 그 방법에 따르면, 조도 레벨에 따라 노이즈 제거 방식을 선택적으로 적용함으로써, 보다 최적의 노이즈 제거 방식을 수행하여 최적의 선명한 화질 영상을 구현할 수 있다.

도 1은 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치의 개략적인 구성을 나타낸 블록도.

도 2는 도 1의 영상 노이즈 제거부를 상세하게 나타낸 블록도.

도 3은 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치에서 저조도 영상을 처리하는 방법을 설명하기 위한 순서도.

도 4는 도 3의 S 24를 상세하게 설명하기 위한 순서도.

도 5는 본 발명의 바람직한 일 실시예에 따른 히스토그램 평활화에 따른 히스토그램의 변화분포를 나타낸 예시도.

도 6은 본 발명의 바람직한 일 실시예에 따른 히스토그램 평활화에 따른 영상의 변화를 나타낸 예시도.

<도면의 주요 부분에 대한 부호의 명칭>

1 : 영상 보정부 2 : 저조도 레벨 산출부

3 : 영상 노이즈 제거부 4 : 영상 저장부

5 : 영상 출력부 11 : 비교부

13, 15 : 노이즈 제거부

Claims

저조도 영상을 히스토그램 평활화를 이용하여 보정하기 위한 수단;

상기 보정된 영상에 내재하는 노이즈를 제거하기 위한 수단; 및

상기 노이즈가 제거된 영상을 저장하기 위한 수단

을 포함하는 영상 처리 장치.
제1항에 있어서, 상기 저조도 영상은 저조도 환경에서 취득되어 입력된 영상인 것을 특징으로 하는 영상 처리 장치.
제1항에 있어서, 상기 히스토그램 평활화는 저 계조 영역에 상대적으로 많이 분포한 저조도 영상을 모든 계조로 재배치시키는 것을 특징으로 하는 영상 처리 장치.
제1항에 있어서, 상기 보정 수단은,

상기 입력된 저조도 영상의 저조도 레벨값을 산출하기 위한 수단

을 포함하는 영상 처리 장치.
제4항에 있어서, 상기 저조도 레벨값은 전체 영상 정보 중에서 휘도값의 히스토그램 분포에 대한 평균값으로 산출되는 것을 특징으로 하는 영상 처리 장치.
제4항에 있어서, 상기 저조도 레벨값은 전체 영상 정보 중에서 휘도값의 히스토그램 분포에서 상위 휘도값으로부터 고려할 때, 전체 히스토그램에 대한 일정 비율을 차지하는 최소의 휘도값으로 산출되는 것을 특징으로 하는 영상 처리 장치.
제4항에 있어서, 상기 저조도 레벨값은 전체 영상 정보 중에서 휘도값의 히스토그램 분포에서 하위 휘도값으로부터 고려할 때, 전체 히스토그램에 대한 일정 비율을 차지하는 최대의 휘도값으로 산출되는 것을 특징으로 하는 영상 처리 장치.
제1항 또는 제4항에 있어서, 상기 노이즈 제거 수단은,

상기 저조도 레벨값을 임계치와 비교하기 위한 수단;

상기 저조도 레벨값이 임계치 이하인 경우, 평균 필터를 이용하여 상대적으로 많은 노이즈가 제거되도록 하기 위한 수단; 및

상기 저조도 레벨값이 임계치 이상인 경우, 중간 필터가 이용하여 상대적으로 적은 노이즈가 제거되도록 하기 위한 수단

을 포함하는 영상 처리 장치.
제1항에 있어서, 상기 노이즈가 제거된 영상을 사용자에게 제공하기 위한 수단

을 더 포함하는 것을 특징으로 하는 영상 처리 장치.
제1항에 있어서, 카메라폰, 디지털 카메라, 디지털 캠코더, 개인휴대단말기 또는 스마트폰에 적용되는 영상 처리 장치.
저조도 영상을 히스토그램 평활화를 이용하여 보정하는 단계;

상기 보정된 영상에 내재하는 노이즈를 제거하는 단계; 및

상기 노이즈가 제거된 영상을 저장하는 단계

를 포함하는 영상 처리 방법.
제11항에 있어서, 상기 히스토그램 평활화는 저 계조 영역에 상대적으로 많이 분포한 저조도 영상을 모든 계조로 재배치시키는 것을 특징으로 하는 영상 처리 방법.
제11항에 있어서, 상기 보정 단계는,

상기 입력된 저조도 영상의 저조도 레벨값을 산출하는 단계

를 포함하는 영상 처리 방법.
제13항에 있어서, 상기 저조도 레벨값은 전체 영상 정보 중에서 휘도값의 히스토그램 분포에 대한 평균값으로 산출되는 것을 특징으로 하는 영상 처리 방법.
제13항에 있어서, 상기 저조도 레벨값은 전체 영상 정보 중에서 휘도값의 히스토그램 분포에서 상위 휘도값으로부터 고려할 때, 전체 히스토그램에 대한 일정 비율을 차지하는 최소의 휘도값으로 산출되는 것을 특징으로 하는 영상 처리 방법.
제13항에 있어서, 상기 저조도 레벨값은 전체 영상 정보 중에서 휘도값의 히스토그램 분포에서 하위 휘도값으로부터 고려할 때, 전체 히스토그램에 대한 일정 비율을 차지하는 최대의 휘도값으로 산출되는 것을 특징으로 하는 영상 처리 방법.
제11항 또는 제13항에 있어서, 상기 노이즈를 제거하는 단계는,

상기 저조도 레벨값을 임계치와 비교하는 단계;

상기 저조도 레벨값이 임계치 이하인 경우, 평균 필터링을 이용하여 상대적으로 많은 노이즈가 제거되도록 하는 단계; 및

상기 저조도 레벨값이 임계치 이상인 경우, 중간 필터링을 이용하여 상대적으로 적은 노이즈가 제거되도록 하는 단계

를 포함하는 영상 방법.
제11항에 있어서, 상기 노이즈가 제거된 영상을 사용자에게 제공하는 단계

를 더 포함하는 것을 특징으로 하는 영상 처리 방법.