KR101360411B1 - 레티넥스 기법을 이용한 영상처리방법 - Google Patents

Abstract

본 발명의 레티넥스 기법을 이용한 영상처리방법은 노이즈가 발생된 입력 영상을 획득하는 단계와, 입력 영상에서 선형 저대역 필터를 적용하여 블러링한 성분을 획득하는 단계와, 입력 영상으로부터 상기 획득된 블러링한 성분을 제거하여 제1영상을 획득하는 단계와, 제1영상의 밝기 범위를 조절하도록 게인 및 옵셋 성분을 결정하는 단계와, 상기 제1영상에 결정된 옵셋 성분을 덧셈기에 의해 더한 후, 곱셈기에 의해 게인 성분을 곱셈하여 제2영상을 획득하는 단계와, 유효 영역이 다른 다수의 선형 저대역 필터들로부터 제2영상들을 가중 합하여 노이즈가 제거된 최종 영상을 획득하는 단계를 포함한다.

상기와 같은 발명은 게인값 및 옵셋값을 입력 영상에 따라 자동으로 조절함으로써, 노이즈가 제거된 고품질의 영상을 제공할 수 있는 효과가 있다.

영상처리, 게인값, 옵셋값, 히스토그램, 영상 촬영부

Description

레티넥스 기법을 이용한 영상처리방법{METHOD FOR IMAGE PROCESSING USING RETINEX ALGORITHM}

본 발명은 영상처리방법에 관한 것으로, 보다 상세하게는 차량의 디스플레이 유닛에 표시되는 영상의 노이즈를 제거하기 위한 레티넥스 기법을 이용한 영상처리방법에 관한 것이다.

일반적으로, 차량에는 차량의 전방 또는 후방의 영상을 차량 내에 표시하기 위한 디스플레이 장치가 구비되어 있으며, 이러한 디스플레이 장치는 차선의 검출, 전후방 차량의 감지와 같은 기능을 수행하기 위해 차량의 전방 및 후방의 영상을 표시하는 역할을 한다.

하지만, 차량의 전방 및 후방 영상은 기후적인 잡음 또는 조명 등과 같은 노이즈에 의해 촬영되는 영상의 질이 떨어지고, 이로 인해 운전자의 편의성을 저하시킨다.

이를 해결하기 위해 최근에는 환경적 요인을 모형화하여 기후적인 노이즈를 제거하기 위해 토널 맵핑(Tonal Mapping)의 한 방법인 레티넥스 기법(Retinex Algorithm)을 사용하고 있으며, 이와 같은 레티넥스 기법은 화소의 최소값(min)과 최대값(max)을 이용하여 촬영되는 영상의 노이즈를 제거하고 있다.

하지만, 이러한 레티넥스 기법으로 보정한 영상은 영상의 가장자리 부분의 영향으로 영상이 포화되거나 어둡게 나타나 실제 응용 분야에 적용하기 힘든 문제점이 발생된다.

상기와 같은 문제점을 해결하기 위해, 본 발명은 노이즈가 제거된 고품질의 영상을 확보하기 위한 레티넥스 기법을 이용한 영상처리방법에 관한 것이다.

상술한 목적을 달성하기 위하여, 본 발명의 레티넥스 기법을 이용한 영상처리방법은 노이즈가 발생된 입력 영상을 획득하는 단계, 상기 입력 영상에서 선형 저대역 필터를 적용하여 블러링한 성분을 획득하는 단계, 상기 입력 영상으로부터 상기 획득된 블러링한 성분을 제거하여 제1 영상을 획득하는 단계, 상기 제1 영상의 밝기 범위를 조절하도록 게인 및 옵셋 성분을 결정하는 단계, 상기 결정된 옵셋 성분을 상기 제1 영상에 더한 후, 상기 결정된 게인 성분을 곱셈하여 제2 영상을 획득하는 단계; 및 상기 단계들을 통해 획득된 복수의 제2 영상들을 가중 합하여 노이즈가 제거된 최종 영상을 획득하는 단계를 포함하고, 상기 복수의 제2 영상들은 상기 블러링한 성분을 획득하는 단계에서 복수의 입력 영상들에 각각 유효 영역이 상이한 다수의 선형 저대역 필터들을 적용함으로써 획득된다.

상기 게인 및 옵셋 성분을 결정하는 단계는 제1영상을 히스토그램으로 변환하고, 변환된 히스토그램을 이용하여 결정될 수 있다.

상기 게인 성분은 255/(히스토그램의 화소수가 임계값 이상인 최대 경계값 - 히스토그램의 화소수가 임계값 이상인 최저 경계값)에 의해 결정될 수 있다.

상기 옵셋 성분은 (128/게인 성분)-히스토그램에서 최고 화소수를 가지는 경계값에 의해 결정될 수 있다.

본 발명은 게인값 및 옵셋값을 입력 영상에 따라 자동으로 조절함으로써, 노이즈가 제거된 고품질의 영상을 제공할 수 있는 효과가 있다.

또한, 본 발명은 차량에 고품질의 영상을 제공함으로써, 영상을 이용한 제어 장치의 신뢰도를 향상시킬 수 있는 효과가 있다.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상의 동일 부호는 동일한 요소를 지칭한다.

도 1은 본 발명에 따른 레티넥스 기법을 이용한 영상처리방법을 나타낸 블럭도이고, 도 2는 본 발명에 따른 입력된 영상을 나타낸 영상의 예시도이고, 도 3은 본 발명에 따른 레티넥스 기법을 이용한 영상처리방법에 의해 처리된 히스토그램을 나타낸 그래프이고, 도 4는 본 발명에 따른 레티넥스 기법을 이용한 영상처리방법에 의해 향상된 영상과 종래 영상을 비교하기 위한 영상 예시도이다.

도 1 내지 도 3을 참조하면, 본 발명에 따른 레티넥스 기법을 이용한 영상처리방법은 노이즈가 발생된 입력 영상을 획득하는 단계(S100)와, 상기 입력 영상에서 블러링된 성분을 제거하는 단계(S200)와, 상기 게인 및 옵셋값을 결정하는 단 계(S300)와, 상기 게인 및 옵셋값을 적용하여 노이즈가 제거된 최종 영상을 획득하는 단계(S400)를 포함한다.

먼저, 차량에 설치되는 영상 촬영부(미도시) 예컨대, 카메라 또는 CCD 센서로부터 도 2에 도시된 바와 같이, 노이즈 예컨대, 안개, 비, 눈 등과 같은 기후적 잡음 또는 조명에 의한 노이즈가 발생된 영상을 획득하는 단계(S100)를 수행한다. 여기서, 영상 촬영부로부터 획득된 입력 영상은 본 발명을 설명하기 위한 하나의 예시에 불과하며, 입력 영상의 종류는 한정되지 않는다.

한편, 영상 촬영부로부터 입력 영상은 수학식 1에 의한 본 발명에 따른 레티넥스 알고리즘을 사용하여 영상의 노이즈를 제거하기 위한 영상 처리를 시작한다.

여기서,

는 가중치를 나타내고, G는 게인(Gain) 성분을 나타내는 게인값(상수),

는 입력된 원본 영상을 나타내고,

는 가우시안 펑션을 나타내고, b는 옵셋(offset) 성분을 나타내는 옵셋값(상수)을 나타낸다.

영상 촬영부로부터 촬영된 노이즈가 발생된 입력 영상으로부터 선형 저대역 필터를 적용하여 블러링된 성분을 획득하는 단계를 수행한다. 블러링된 성분은 입 력 영상

을 가우시안 펑션

을 컨볼루션 하여 획득할 수 있다. 여기서,

는 수학식 2에 의해 구할 수 있다.

여기서,

는 가우시안 필터(Gaussian Surround Space Constant)로 구현되는 값이며, k는 수학식 3에 의해 구할 수 있다.

입력 영상으로부터 블러링된 영상을 획득하는 단계를 마치면, 입력 영상으로부터 블러링된 영상을 제거하는 단계(S200)를 수행한다. 앞서 설명한 바와 같이, 입력 영상으로부터 블러링된 영상을 제거하는 단계는 로그값을 취한 입력 영상으로부터 로그값을 취한 블러링된 영상의 차에 의해 구해질 수 있다.

이어서, 영상의 밝기를 제어하는 게인값 및 옵셋값을 결정하는 단계(S300)를 수행한다. 게인값 및 옵셋값은 취득된 영상에 대해 자동으로 조절하여 결정할 수 있다.

이를 위해 먼저, 앞서 입력 영상으로부터 블러링된 영상을 제거한 보정된 영 상으로부터 대해 도 3에 도시된 바와 같이, 히스토그램을 구한다. 여기서, 세로축은 화소수를 나타내고, 가로축은 보정된 영상의 픽셀의 경계면 사이의 화소수에 대한 경계면을 나타낸다. 가로축 중 0 미만 범위 내의 화소값은 실제 시각적으로 어두워지는 영상이며, 게인값과 옵셋값을 통해 화소수를 0 내지 255 범위의 밝기로 제어하여 어두운 영상의 밝기를 시각적으로 표현하도록 제어할 수 있다.

게인 값은 수학식 4에 도시된 바와 같이, 구할 수 있으며, 옵셋값은 수학식 5에 의해 구할 수 있다.

게인 값(게인 성분) = 255/(히스토그램의 화소수가 임계값 이상인 최대 경계값 - 히스토그램의 화소수가 임계값 이상인 최저 경계값)

옵셋 값(옵셋 성분) = (128/게인 성분)-히스토그램에서 최고 화소수를 가지는 경계값

여기서, 임계값은 경계면(R)에서는 화소들 중 노이즈에 의한 화소를 제거하기 위한 임계값으로 보정된 영상으로부터 구해진 히스토그램을 통해 다양하게 설정될 수 있다.

상기와 같이, 게인값 및 옵셋값을 결정하는 단계(S300)를 마치면, 수학식 1에 도시된 바와 같이, 게인값 및 옵셋값을 적용하여 최종 영상을 획득하는 단계(S400)를 수행한다.

즉, 보정된 영상에 미리 결정된 옵셋 성분 즉, 옵셋값을 덧셈기에 의해 더하고, 이어서 곱셈기에 의해 게인 성분 즉, 게인값을 곱셈 처리하여 옵셋 및 게인값이 적용된 영상을 구하고, 이후, 유효 영역이 다른 다수의 선형 저대역 필터들로부터 제2영상들을 가중 합하여 노이즈가 제거된 최종 영상을 획득할 수 있다.
즉, 최종 영상을 획득하는 단계(S400)에서는 이전 단계들(S100, S200, S300)을 통해 획득된 복수의 제2 영상들을 가중 합하여, 노이즈가 제거된 최종 영상을 획득하게 되는데, 여기서 복수의 제2 영상들은 블러링한 성분을 획득할 때 복수의 입력 영상들에 각각 유효 영역이 상이한 다수의 선형 저대역 필터들을 적용함으로써 획득될 수 있다.

도 3의 히스토그램에서 볼 수 있듯이 가장자리 부분에는 적은 수의 화소가 존재한다. 이 부분이 옵셋값과 게인값을 정하는 데에 오차로 작용할 수 있기 때문에 일정한 임계값 이하의 화소수를 가지는 경계값(R)을 무시함으로써, 가장자리 부분의 영향을 줄일 수 있다. 또한, 도 3에서의 최고점이 변환 후 128에 오도록 옵셋값을 조절함으로써, 최종 영상이 포화되거나 어둡게 나타나는 현상을 방지할 수 있다.

이로 인해 본 발명에 따른 레티넥스 기법을 이용하여 영상 처리한 결과, 도 4a에 도시된 바와 같이, 최종 영상은 원본 영상에 비해 안개와 같은 노이즈를 제거하여 고품질의 영상을 얻을 수 있었다. 반면, 도 4b에 도시된 바와 같이, 종래 레티넥스 기법을 이용하여 영상 처리된 영상은 앞서 지적한 바와 같이, 히스토그램의 가장자리 부분의 영향으로 영상이 포화되거나 어둡게 되는 현상을 볼 수 있다.

상기와 같이, 본 발명에 따른 레티넥스 기법을 이용한 영상처리방법은 게인값 및 옵셋값을 입력 영상에 따라 자동으로 조절하여 노이즈를 제거함으로써, 운전자에게 고품질의 영상을 제공할 수 있으며, 이로 인해 차량에 구비되어 영상을 이용한 제어 장치의 신뢰도를 향상시킬 수 있는 효과가 있다.

상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어 나지 않는 범위 내에서 본 발명은 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.

도 1은 본 발명에 따른 레티넥스 기법을 이용한 영상처리방법을 나타낸 블럭도.

도 2는 본 발명에 따른 입력된 영상을 나타낸 영상의 예시도.

도 3은 본 발명에 따른 레티넥스 기법을 이용한 영상처리방법에 의해 처리된 히스토그램을 나타낸 그래프.

도 4는 본 발명에 따른 레티넥스 기법을 이용한 영상처리방법에 의해 향상된 영상과 종래 영상을 비교하기 위한 영상 예시도.

Claims (4)

1. 노이즈가 발생된 입력 영상을 획득하는 단계;

   상기 입력 영상에서 선형 저대역 필터를 적용하여 블러링한 성분을 획득하는 단계;

   상기 입력 영상으로부터 상기 획득된 블러링한 성분을 제거하여 제1 영상을 획득하는 단계;

   상기 제1 영상의 밝기 범위를 조절하도록 게인 및 옵셋 성분을 결정하는 단계;

   상기 결정된 옵셋 성분을 상기 제1 영상에 더한 후, 상기 결정된 게인 성분을 곱셈하여 제2 영상을 획득하는 단계; 및

   상기 단계들을 통해 획득된 복수의 제2 영상들을 가중 합하여 노이즈가 제거된 최종 영상을 획득하는 단계를 포함하고,

   상기 복수의 제2 영상들은 상기 블러링한 성분을 획득하는 단계에서 복수의 입력 영상들에 각각 유효 영역이 상이한 다수의 선형 저대역 필터들을 적용함으로써 획득되는,

   레티넥스 기법을 이용한 영상처리방법.
2. 청구항 1에 있어서,

   상기 게인 및 옵셋 성분을 결정하는 단계는 제1영상을 히스토그램으로 변환하고, 변환된 히스토그램을 이용하여 결정하는 레티넥스 기법을 이용한 영상처리방법.
3. 청구항 2에 있어서,

   상기 게인 성분은 255/(히스토그램의 화소수가 임계값 이상인 최대 경계값 - 히스토그램의 화소수가 임계값 이상인 최저 경계값)에 의해 결정되는 레티넥스 기법을 이용한 영상처리방법.
4. 청구항 3에 있어서,

   상기 옵셋 성분은 (128/게인 성분)-히스토그램에서 최고 화소수를 가지는 경계값에 의해 결정되는 레티넥스 기법을 이용한 영상처리방법.

Images